JP6247103B2 - 帳票項目認識方法、帳票項目認識装置及び帳票項目認識プログラム - Google Patents

Description

この発明は、帳票で各項目に記入された文字を文字認識するために帳票上の各項目を認識する帳票項目認識方法、帳票項目認識装置及び帳票項目認識プログラムに関する。

従来、帳票を撮像した帳票画像から帳票に記入された文字を文字認識する装置が利用されている。通常、帳票には枠線で区切られた複数の項目が設けられている。各項目は、氏名や住所等の項目名と、該項目名に対応する内容を含んでいる。帳票の文字認識処理では記入された文字を項目毎に文字認識する。

帳票上での各項目名の位置が事前に分かっている場合は、帳票画像上での項目名の位置情報に基づいて各項目に対応して記入された文字を特定して文字認識処理が行われる。一方、帳票の種類によって帳票上での項目名の位置が異なる非定型の帳票を処理対象とする場合は、予め項目名を登録しておいて、帳票画像上で、登録された項目名に一致する文字を検索して各項目名の位置を特定してから、各項目名に対応して記入された文字を文字認識する。

このような非定型の帳票で各項目の項目名の位置を特定するために様々な技術が利用されている。例えば、特許文献１では、帳票画像上で、枠線で囲まれた領域を特定するための技術が開示されている。帳票画像上で、枠線で囲まれた領域を正確に特定することができれば、各枠内で文字認識された文字と予め登録された項目名とを比較して各項目名の位置を特定することができる。

また、特許文献２では、予め２つの項目名の位置関係を定義しておいて、帳票画像上で文字認識された２つの項目名と、これらの項目名の位置関係とに基づいて、各項目名の位置を特定する技術が開示されている。これにより、例えば、項目名を構成する一部の文字が文字認識できない場合でも、この項目名の位置を、文字認識できた残りの文字や他の項目名との位置関係に基づいて推定することができる。

また、特許文献３では、帳票画像上で各項目名の記入枠の座標等を定義した定義情報を管理して、帳票上での項目名の位置や記入枠の大きさが変更された場合に、変更後の記入枠に合わせて定義情報を更新する技術が開示されている。変更前の帳票で規定された記入枠の定義情報と変更後の帳票画像上での記入枠とのずれ量に基づいて定義情報を更新することにより、変更後の帳票でも各項目名の位置を特定することができる。

特開２０１２−６４０９８号公報 特許第４３４７６７５号明細書 特開２０１２−５９２２６号公報

しかしながら、上記従来技術では帳票画像上で各項目名の位置を正確に特定できない場合がある。例えば、特許文献１に開示された方法では、項目名が含まれる枠を正確に特定できたとしても、枠内の項目名の文字が小さく文字認識できないような場合には各項目名の位置を特定することができない。

また、特許文献２に開示された方法は、２つの項目名の相対的な位置関係が一致する帳票では有効な技術であるが、帳票の種類によって２つの項目名の位置関係が異なる場合は、いずれかを検出できない可能性がある。具体的には、第２項目は第１項目の下にあると定義されている場合に、第２項目が第１項目の上又は左右いずれかにある帳票では、第１項目又は第２項目を検出できない可能性がある。

また、特許文献３に開示された方法は、記入枠がずれた位置にある帳票や記入枠の大きさが異なる帳票では有効な技術であるが、帳票の種類に応じて定義情報を準備する必要があり手間がかかる。

本発明は、上記従来技術の課題を解消するためになされたもので、非定型の帳票を処理対象とする場合でも、各帳票を撮像した帳票画像上で、各項目を自動認識することができる帳票項目認識方法、帳票項目認識装置及び帳票項目認識プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、枠線で区切られた複数の項目を含む帳票の画像を取得した装置で帳票画像上の各項目を自動認識する帳票項目認識方法であって、所定方向に並んだ検出対象の複数項目を同じグループとして項目定義情報に定義して記憶部に記憶する項目定義記憶工程と、帳票画像上で罫線を検出して該罫線で囲まれた各領域を枠として検出する枠検出工程と、前記枠検出工程で検出された各枠内の文字を文字認識する文字認識工程と、前記文字認識工程での文字認識結果に基づいて前記各枠内の項目名を認識する項目名認識工程と、前記項目名認識工程で項目名が認識された枠の１つを着目枠として選択する着目枠選択工程と、前記項目名認識工程で項目名が認識された枠のうち、前記着目枠を基準として所定方向に並ぶ枠を、前記着目枠と同じグループに分類するグルーピング工程と、前記項目定義情報に基づいて、前記グルーピング工程でグルーピングされた各枠の項目名が属するグループを判定するグループ判定工程と、前記グループ判定工程でのグループの判定結果に基づいて各項目名の位置を決定する項目名位置決定工程とを含んだことを特徴とする。

また、本発明は、上記発明において、前記項目名認識工程で項目名が認識された枠のうち、前記項目名の認識結果の確からしさを示す信頼度に基づいて一部の枠のみを候補枠として抽出する候補枠抽出工程をさらに含み、前記着目枠選択工程では、前記候補枠抽出工程で抽出された候補枠の中から前記着目枠を選択することを特徴とする。

また、本発明は、上記発明において、前記グルーピング工程では、前記着目枠を囲う枠線を延長して、延長した前記枠線の一部を、周囲を囲う枠線の一部として共有する枠を、前記着目枠と同じグループに分類することを特徴とする。

また、本発明は、上記発明において、前記文字認識工程では、各文字について、文字認識結果の信頼度に基づいて順位付けした複数の候補文字を出力し、前記項目名認識工程では、前記文字認識工程で各文字について出力された複数の候補文字を組み合わせて、予め登録された項目名と一致する文字列が得られた場合に、該項目名を前記枠内の項目名であると認識することを特徴とする。

また、本発明は、上記発明において、前記項目定義記憶工程では、前記項目定義情報に、各項目に項目名として表示される可能性がある複数のキーワードを登録して、前記項目名認識工程では、前記キーワードを、予め登録された前記項目名として利用して、前記枠内の項目名を認識することを特徴とする。

また、本発明は、上記発明において、前記項目名認識工程では、前記文字認識工程で各文字について出力された複数の候補文字を組み合わせて、予め登録された前記項目名と一部の文字が一致する文字列が得られれば、該項目名を前記枠内の項目名であると認識することを特徴とする。

また、本発明は、上記発明において、前記グループ判定工程では、前記グルーピング工程で同じグループに分類された枠の中に、前記項目定義情報に登録された情報と矛盾する枠がある場合には、該枠を以降の処理から除外することを特徴とする。

また、本発明は、枠線で区切られた複数の項目を含む帳票の画像上で各項目を自動認識して出力する帳票項目認識装置であって、帳票画像を取得する画像取得部と、上記各工程から成る帳票項目認識方法によって、前記画像取得部によって取得した前記帳票画像上で特定した、各項目名の位置に関する情報を出力する処理結果出力部とを備えることを特徴とする。

また、本発明は、枠線で区切られた複数の項目を含む帳票の画像を取得した装置で帳票画像上の各項目を自動認識する帳票項目認識プログラムであって、所定方向に並んだ検出対象の複数項目を同じグループとして項目定義情報に定義して記憶部に記憶する項目定義記憶ステップと、帳票画像上で罫線を検出して該罫線で囲まれた各領域を枠として検出する枠検出ステップと、前記枠検出ステップで検出された各枠内の文字を文字認識する文字認識ステップと、前記文字認識ステップでの文字認識結果に基づいて前記各枠内の項目名を認識する項目名認識ステップと、前記項目名認識ステップで項目名が認識された枠の１つを着目枠として選択する着目枠選択ステップと、前記項目名認識ステップで項目名が認識された枠のうち、前記着目枠を基準として所定方向に並ぶ枠を、前記着目枠と同じグループに分類するグルーピングステップと、前記項目定義情報に基づいて、前記グルーピングステップでグルーピングされた各枠の項目名が属するグループを判定するグループ判定ステップと、前記グループ判定ステップでのグループの判定結果に基づいて各項目名の位置を決定する項目名位置決定ステップとをコンピュータに実行させることを特徴とする。

本発明によれば、上下や左右の所定方向に並ぶ帳票上の項目を予めグループとして定義した項目定義情報を利用して、帳票を撮像した画像上で所定方向に並ぶ項目名を検出することにより、各項目名の位置を正確に認識することができる。

また、本発明によれば、項目定義情報は複数項目が属するグループを定義情報とするものであるため、帳票上での座標等の情報を定義する必要がなく、定義情報を容易に作成することができる。

また、本発明によれば、複数項目が同じグループに属することを定義した項目定義情報を利用することにより、帳票の種類によって、同じグループに属する項目の順序や項目が並ぶ方向が変わったり、項目の間に同じグループに属さない項目が含まれたりする場合でも、同じグループに属する各項目名の位置を正確に認識することができる。

また、本発明によれば、認識されるべき項目名として予め登録された項目名と一部が一致する文字列が得られれば、項目名が得られたものとして処理することができるので、帳票画像上で項目名を形成する文字の一部が文字認識できない場合でも、候補となる項目名を得て各項目名の位置を認識することができる。また、得られた項目名は該項目名の信頼度に基づいて処理されるので各項目名の位置を正確に認識することができる。

また、本発明によれば、項目定義情報に、１つの項目に項目名として表示される可能性がある複数の項目名をキーワードとして登録することができるので、帳票の種類によって表示される項目名が異なる場合でも、帳票間の項目の対応関係を認識すると共に、各項目名の位置を正確に認識することができる。

図１は、本実施形態に係る帳票項目認識方法の概要を示す図である。 図２は、本実施形態に係る帳票項目認識装置の構成例を示すブロック図である。 図３は、枠内の画像の文字認識処理時に１文字とする領域を決定する方法を説明する図である。 図４は、項目名の認識処理を説明する図である。 図５は、帳票項目認識方法の手順を示すフローチャートである。 図６は、帳票の例を示す図である。 図７は、帳票で位置検出の対象とする項目の項目名をグループ別に定義した項目定義情報を示す図である。 図８は、帳票画像から枠を検出した結果を示す図である。 図９は、帳票画像で認識された項目名を示す図である。 図１０は、帳票画像で認識された項目名の中から所定の抽出基準に基づいて抽出した項目名を含む候補枠の例を示す図である。 図１１は、帳票画像で認識された項目名の中から抽出基準を緩和して抽出した項目名を含む候補枠の例を示す図である。 図１２は、項目名に関するキーワードを登録可能な項目定義情報について説明する図である。 図１３は、グルーピングする項目の方向を設定可能な項目定義情報の例を示す図である。

以下に、添付図面を参照して、本発明に係る帳票項目認識方法、帳票項目認識装置及び帳票項目認識プログラムの好適な実施形態を詳細に説明する。まず、図１を参照しながら、本発明に係る帳票項目認識方法の概要を説明する。

図１は、帳票項目認識方法の概要を説明する図である。図１（Ａ）は、帳票の例を示している。この例では、帳票に「項目Ａ」〜「項目Ｅ」の項目名を有する５つの項目が含まれている。各項目は、予め帳票に印刷された項目名を含む枠と、各項目名に対応する情報を記入するための記入枠とによって形成されている。この帳票で、同じ列にある項目Ａ、項目Ｂ及び項目Ｃと、同じ行にある項目Ｄ及び項目Ｅとを、それぞれ同じグループとして事前に定義しておく。帳票上で同じ列にある項目名及び／又は同じ行にある項目名、すなわち帳票上で垂直方向に並ぶ項目名及び／又は水平方向に並ぶ項目名を、それぞれ同じグループとして事前に定義することができる。

図１（Ｂ）は、項目Ａ、項目Ｂ及び項目Ｃを同じグループ「１」に定義し、項目Ｄ及び項目Ｅを同じグループ「２」に定義した項目定義情報を示す図である。項目定義情報には、グループ番号、項目名及び出現回数が含まれる。グループ番号は同じグループに属する項目名を示すための情報で、複数のグループを定義する場合には、異なるグループには異なるグループ番号が付される。出現回数は、グループ内で同じ項目名が出現する回数を示す情報で、例えば、同じグループ内に同じ項目名が２つ含まれる場合には、この項目名の出現回数を「２」とする。図１（Ａ）の例では、全項目の項目名が異なるので、同図（Ｂ）では全ての項目名の出現回数が「１」となっている。

まず、図１（Ａ）に示す帳票を撮像した帳票画像上で各枠が認識される。具体的には、帳票画像上で罫線を検出した後、周囲を罫線で囲まれた領域を枠として認識し、各枠に、各枠を識別するための枠番号が付される。図１（Ｃ）は帳票画像上で認識された１０個の枠を示す図である。なお、枠の認識結果には枠線のみが含まれるが、図１（Ｃ）では、各枠を示すため、各枠を識別する枠番号を括弧で示している。図１（Ｃ）では、枠００１〜枠０１０の１０個の枠が認識されている。

こうして、枠００１〜枠０１０の枠が認識されると、次に、各枠内で文字認識処理が行われる。文字認識処理時には、文字認識結果の確からしさを示す信頼度の算出も行われる。図１（Ｄ）は各枠内での文字認識結果を示す図である。文字認識の結果、枠００１、枠００５及び枠００７の各枠内で、項目名が「項目Ａ」、「項目Ｃ」及び「項目Ｄ」と正しく文字認識されている。一方、枠００３の項目名は、実際には「項目Ｂ」であるが、文字認識結果を特定することができず、信頼度の高い順に「項目Ｅ」又は「項目Ｂ」とする２つの文字認識結果が得られていることを示している。同様に、枠００８では、実際の項目名は「項目Ｅ」であるが、信頼度の高い順に「項目Ｅ」又は「項目Ｂ」とする２つの文字認識結果が得られている。なお、各枠内の項目名を決定する際には、文字認識処理と合わせて項目名認識処理を行って、帳票に含まれる項目名以外の文字認識結果が得られないようになっているが、この処理についての詳細は後述する。

文字認識結果が得られると、所定条件を満たす項目名の枠を候補枠として抽出し、抽出した候補枠のみを利用して以降の処理を続けることができる。具体的には、例えば、文字認識結果の信頼度の数値に基づいて、予め設定された所定のしきい値よりも高い信頼度を示す文字認識結果を得た枠のみを候補枠として抽出する。ただし、候補枠の抽出処理は、項目の数が多い場合や１つの項目に多数の項目名の文字認識結果を得た場合に、処理対象とするデータ量を減らして処理効率を上げることを目的とするもので、この処理を省略することも可能である。このため、図１の例では、候補枠の抽出処理を省略している。

次に、項目名の文字認識結果が得られた枠の１つが着目枠として選択される。具体的には、文字認識結果の信頼度が最も高い枠を着目枠とする。着目枠を選択する条件は変更可能となっており、信頼度に基づいて選択する他、例えば、文字認識結果として所定の項目名が得られた枠を着目枠とすることもできる。図１の例では、同図（Ｄ）に示す枠のうち「項目Ａ」との文字認識結果が得られた枠００１が着目枠として選択されたものとする。

着目枠が選択されると、次に、帳票画像上で着目枠を基準に所定方向に並ぶ枠を抽出してグルーピングする。例えば、着目枠を形成する枠線を延長して、延長した枠線に、枠線の一部が含まれることになった枠を、着目枠と同じグループとする。すなわち、延長した枠線と周囲を囲う枠線の一部を共有する枠が着目枠と同じグループに分類される。

具体的には、図１（Ｅ）に破線で示したように、項目名が「項目Ａ」の着目枠００１を形成する左右の枠線を上下方向に延長して、項目名の文字認識結果が得られた枠の中で、延長した枠線と、左右の枠線を共有することになった枠００３及び枠００５が、着目枠００１と同じグループとされる。同様に、着目枠００１を形成する上下の枠線を左右方向に延長して、項目名の文字認識結果が得られた枠の中に、延長した枠線と、上下の枠線を共有する枠があれば、この枠も着目枠００１と同じグループとされるが、図１（Ｅ）の例では、着目枠００１の左右方向に、項目名の文字認識結果が得られた枠は存在しない。この結果、「項目Ａ」の枠００１、「項目Ｅ」又は「項目Ｂ」の枠００３、「項目Ｃ」の枠００５の３つの枠が同じグループにグルーピングされる。

グルーピングの処理は、項目名の文字認識結果が得られた枠の全てが、いずれかのグループにグルーピングされるまで繰り返される。このため、枠００１を着目枠としたグルーピング処理を行った後、グルーピングされずに残った枠００７及び枠００８のうち、文字認識結果の信頼度が高い項目名「項目Ｄ」が得られた枠００７を着目枠として、同様に、グルーピング処理が行われる。この結果、「項目Ｄ」の枠００７と、「項目Ｅ」又は「項目Ｂ」の枠００８とが同じグループにグルーピングされる。

グルーピング結果が得られると、次に、項目定義情報に基づく判定処理が行われる。まず、同じグループにグルーピングされた枠００１の「項目Ａ」、枠００３の「項目Ｅ」又は「項目Ｂ」、枠００５の「項目Ｃ」の各項目名を、同図（Ｂ）に示す項目定義情報に含まれる項目名と照合して判定する処理が行われる。

枠００３の項目名は「項目Ｅ」又は「項目Ｂ」と文字認識されているが、これを「項目Ｅ」であるとすると、グルーピング結果は「項目Ａ」、「項目Ｅ」及び「項目Ｃ」を同じグループとしたことになり、図１（Ｂ）に示す項目定義情報と矛盾する結果となる。このため、枠００３の項目名は「項目Ｅ」ではないと判定される。そして、枠００３の項目名を「項目Ｂ」とすると、グルーピング結果は「項目Ａ」、「項目Ｂ」及び「項目Ｃ」を同じグループとしたことになり、項目定義情報を満たす結果となる。よって、枠００３の項目名は「項目Ｂ」であると判定される。すなわち、枠００１の項目名が「項目Ａ」、枠００３の項目名が「項目Ｂ」、枠００５の項目名が「項目Ｃ」であるとの判定結果が得られる。

次に、同じグループにグルーピングされた枠００７の「項目Ｄ」、枠００８の「項目Ｅ」又は「項目Ｂ」の各項目名を、同図（Ｂ）に示す項目定義情報に含まれる項目名と照合して判定する処理が行われる。枠００８の項目名については、これを、信頼度が高い「項目Ｅ」であるとすると、グルーピング結果は「項目Ｄ」及び「項目Ｅ」を同じグループとしたことになり、項目定義情報を満たす結果となる。また、既に枠００３の項目名を「項目Ｂ」とする判定結果が得られている所、枠００８の項目名をグループ１の「項目Ｂ」であるとすると、項目定義情報で出現回数が１回と定義された「項目Ｂ」の定義情報と矛盾する結果となる。よって、枠００８の項目名を「項目Ｂ」とした文字認識結果は採用されず、枠００８の項目名は「項目Ｅ」であると判定される。すなわち、枠００７の項目名が「項目Ｄ」、枠００８の項目名が「項目Ｅ」であるとの判定結果が得られる。

図１（Ｆ）は、項目定義情報に基づく判定を行って得られた最終結果を示す図である。項目定義情報に基づく判定を行うことにより、帳票画像から「項目Ａ」〜「項目Ｅ」の全ての項目名を得ることができる。そして、「項目Ａ」は枠００１、「項目Ｂ」は枠００３、「項目Ｃ」は枠００５、「項目Ｄ」は枠００７、「項目Ｅ」は枠００８の位置にあることを特定することができる。

このように、本発明に係る帳票項目認識方法によれば、罫線検出による各枠の検出、各枠内の項目名の認識、着目枠による候補枠のグルーピング、項目定義情報に基づくグルーピング結果の判定を行うことにより、項目定義情報に定義された項目名が含まれる枠の位置を特定することができる。この結果、項目名に対応する記入枠の位置を特定して、各項目について記入された文字を文字認識することも可能となる。

また、項目定義情報では、帳票上で同じ列にある複数の項目名及び／又は同じ行にある複数の項目名をそれぞれ同じグループとして定義するが、グループとして定義するのみで、各項目名の座標や各項目の並び順等の位置関係を特定しない。このため、帳票の種類によって各項目名の位置等が異なる非定型の帳票を処理対象とする場合でも、グループとして定義した各項目名の位置を特定することができる。具体的には、図１（Ａ）に示すように同じ列内で上から順に項目Ａ、項目Ｂ、項目Ｃと並ぶ帳票の他、例えば、項目Ａ、項目Ｃ、項目Ｂというように同じ列内で項目の順序が変更された帳票、これらの項目の間に検出対象としない余計な項目が含まれている帳票でも、図１に示す方法により、各項目名の位置を特定することができる。また、これらの項目Ａ、項目Ｂ及び項目Ｃが、列内（縦方向）ではなく同じ行内（横方向）に並んだ帳票でも、グループとして定義した各項目名の位置を特定することができる。

次に、帳票項目認識装置の構成例を説明した後、具体的な帳票を例に帳票項目認識方法を説明する。図２は、帳票項目認識装置の構成例を示すブロック図である。帳票項目認識装置は、画像取得部１０、記憶部２０、処理結果出力部３０及び制御部４０から構成される。

画像取得部１０は、処理対象となる帳票を撮像した帳票画像を取得する機能を有する。例えば、画像取得部１０がスキャナによって構成され、帳票をスキャンして帳票画像を取得する。ただし、帳票画像を取得できればその方法は特に限定されず、例えば、外部装置で生成された帳票画像のデータを通信機能により取得してもよいし、ＵＳＢメモリやメモリカード等の記憶媒体を介して帳票画像を取得してもよい。

記憶部２０は、半導体メモリやハードディスクドライブ等の記憶装置で、画像取得部１０によって取得された帳票画像２１、位置検出の対象となる複数項目をグループとして定義した項目定義情報２２、帳票画像２１の枠内の各文字を文字認識するために利用する文字認識用テンプレート２３を保存するために利用される。この他、記憶部２０は、制御部４０による制御を実現するためのソフトウェアプログラムの保存や、制御部４０による処理途中のデータや処理結果のデータを保存するためにも利用される。

処理結果出力部３０は、制御部４０の機能により帳票画像上で各項目名の位置が認識されると、この認識結果に関する情報を出力する機能を有する。また、処理結果出力部３０は、項目名の位置の認識結果に代えて又は加えて、各項目に対応して記入された文字を文字認識した処理結果を出力する機能も有している。処理結果出力部３０は、例えば、ディスプレイ等の表示装置によって構成され、帳票画像上での各項目名の位置に関する情報や各項目に対応して記入された内容の文字認識結果等をディスプレイ上に表示して出力する。ただし、処理結果の出力方法は特に限定されず、例えば、処理結果をプリンターによって印刷して出力してもよいし、処理結果のデータを着脱可能な記憶媒体へ記録したり通信機能により外部装置に向けて送信したりする出力態様であっても構わない。

制御部４０は、予め記憶部２０に保存されている項目定義情報２２に基づいて、画像取得部１０によって取得された帳票画像上で各項目名の位置を特定する機能を有している。また、制御部４０は、位置を特定した各項目に対応する記入内容を文字認識する機能を有している。なお、制御部４０は、例えば、各種の処理を実現するためのソフトウェアプログラムと、当該ソフトウェアプログラムを実行するＣＰＵと、当該ＣＰＵによって制御される各種ハードウェア等によって構成されている。制御部４０の動作に必要なソフトウェアプログラムやデータは記憶部２０に保存されるが、保存先は特に限定されず、別途専用に設けられたＲＡＭやＲＯＭ等の記憶装置に保存される態様であってもよいし、通信可能に接続されたサーバや記憶装置等に保存される態様であっても構わない。

制御部４０は、罫線検出部４１、枠検出部４２、文字認識部４３、項目名認識部４４、グループ判定部４５及び項目位置決定部４６を有する。罫線検出部４１は、帳票画像２１から各項目を形成する罫線を検出する機能を有する。罫線を検出する方法については、画像上で連続する画素を検出する従来技術を利用することができるので詳細な説明は省略する。枠検出部４２は、罫線検出部４１によって罫線が検出された後、周囲を罫線で囲まれた領域を枠として検出すると共に、各枠に、各枠を識別するための枠番号を付す機能を有する。

文字認識部４３は、枠検出部４２によって枠番号が付された各枠内の文字を文字認識する機能を有する。文字認識は、記憶部２０に保存されている文字認識用テンプレート２３を利用したＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理によって行われる。

図３は、文字認識処理時に、１文字とする領域を決定する方法を説明する図である。周囲を罫線で囲まれた枠内で、背景を形成する画素が、文字の並びと垂直な方向につながった領域を検出して、この検出位置で枠内の画像をセグメントに分割する。枠内の文字が横方向に並ぶ図３（Ａ）の例では、背景を形成する白画素が縦方向につながっている領域によって、４つのセグメント５１〜５４に分割される。４つのセグメント５１〜５４に分割された後、画像上で文字を形成する黒画素の分布領域から１文字の高さを算出すると共に、算出した高さに基づいて、１文字の幅として取り得る最大幅を決定する。例えば、文字の高さの１．５倍を１文字の最大幅とする。こうして１文字の最大幅を決定した後、１文字である可能性があるセグメントの組合せを決定する。

図３（Ａ）の例では、同図（Ｂ）〜（Ｄ）に示すように、３つの組合せとなる。図３（Ｂ）は、セグメント５１を１文字、セグメント５２を１文字、セグメント５３及びセグメント５４を合わせて１文字とする組合せである。図３（Ｃ）は、セグメント５１を１文字、セグメント５２及びセグメント５３を合わせて１文字、セグメント５４を１文字とする組合せである。図３（Ｄ）は、セグメント５１を１文字、セグメント５２を１文字、セグメント５３を１文字、セグメント５４を１文字とする組合せである。

こうして１文字とするセグメント５１〜５４の組合せが決定すると、枠内から１文字として切り出した領域の画像を用いて、文字認識用テンプレート２３を利用したＯＣＲ処理が行われる。このとき、各文字の文字認識結果として得られる候補文字について、文字認識処理の対象画像が文字認識された文字である可能性、すなわち文字認識結果の確からしさを示す信頼度が算出される。

文字認識用テンプレート２３は、例えば、漢字、平仮名、カタカナ、数字、英字等の文字データから成っている。これらの文字データの中から、セグメント５１〜５４の組合せに基づいて切り出した画像と一致する可能性がある候補文字が、信頼度が高い順に１〜１００位まで抽出される。例えば、図３（Ｂ）では、セグメント５１に含まれる文字として１００位までの候補文字が得られ、セグメント５２に含まれる文字として１００位までの候補文字が得られ、セグメント５３及びセグメント５４を合わせた文字を１文字として１００位までの候補文字が得られる。同様に、セグメント５１〜５４を図３（Ｃ）に示すように組み合わせた３文字のそれぞれについて１００位までの候補文字が得られ、セグメント５１〜５４を同図（Ｄ）に示すように組み合わせた４文字のそれぞれについて１００位までの候補文字が得られる。

図２に示す項目名認識部４４は、文字認識部４３によって得られた各文字と、予め項目名が登録された項目定義情報２２とに基づいて、項目名を認識する機能を有する。具体的には、各文字について１００位までの候補文字が得られると、候補文字を組み合わせて文字列を生成し、項目定義情報２２に登録された項目名の中に、生成した文字列と一致する項目名があるか否かを判定する。そして、一致する項目名があった場合には、文字認識した枠内の文字を、一致した項目名であると認識する。このとき、項目名を形成した各候補文字の信頼度に基づいて、項目名の信頼度が算出される。例えば、項目名を形成する全ての候補文字の信頼度から平均値を算出して、これを項目名の信頼度とする。

例えば、図３（Ａ）に示す画像について、同図（Ｂ）に示すように３文字から成るとして文字認識が行われ、各文字について１００位までの候補文字が得られると、各文字の候補文字を組み合わせて得られる文字列が、項目定義情報２２に登録されているか否かが確認される。そして、信頼度の値が１０１の１文字目の候補文字「表」、信頼度の値が１１３の２文字目の候補文字「題」、信頼度の値が１０１の３文字目の候補文字「部」を組み合わせた「表題部」という文字列が、項目定義情報２２に項目名として登録されていることが確認されると、この枠内の文字は「表題部」という項目名であると認識される。そして、この項目名「表題部」の信頼度は、３つの候補文字の信頼度の平均値１０５（＝（１０１＋１１３＋１０１）／３）として算出される。

なお、１００位までの候補文字を組み合わせて項目名とするため、１つの文字列の認識結果として、複数の項目名が得られる場合があるが、この場合は、複数の項目名を信頼度と共に記憶部２０に保存して以降の処理を行う。

帳票項目認識装置では、１００位までの候補文字を組み合わせて項目定義情報２２内で一致する項目名を検索する際に、複数文字から成る項目名のうち一部の文字が１００位までの候補文字に含まれていない場合でも、この項目名を採用して以降の処理を行うことができる。

具体的には、例えば、枠内にある４文字のそれぞれについて得られた１００位までの候補文字を組み合わせながら項目定義情報２２を検索した際に、項目定義情報２２に登録された「支払金額」という項目名と一致する候補文字の組合せが得られた場合は、図４（Ａ）に示すように、枠内の項目名は「支払金額」であると認識される。これに対して、４文字のうち、２文字目から４文字目までの候補文字から「払金額」との文字列が得られたが、１文字目の候補文字の中に「支」という文字が得られていない場合でも、該当する項目名無しとするのではなく、図４（Ｂ）に示すように、該当する文字が得られなかった１文字目を「？」という所定文字として、項目名「支払金額」に対応する「？払金額」との項目名が得られたものと認識して処理を続ける。

また、２文字以上の文字で、候補文字の中に項目名と一致する文字が得られなかった場合でも、一致する文字が得られない２文字が連続して存在しなければ、該当する文字が得られなかった文字を「？」という所定文字として、項目名が得られたものと認識して処理を続ける。具体的には、例えば、２文字目が「払」、４文字目が「額」との文字が得られたが、１文字目及び３文字目の文字で該当する文字が得られなかった場合でも、該当する項目名が無いとするのではなく、図４（Ｃ）に示すように、該当する文字が得られなかった文字を「？」という所定文字として、項目名「支払金額」に対応する「？払？額」との項目名が得られたものと認識して処理を続ける。ただし、例えば１文字目と２文字目等、連続する２文字で連続して該当する文字が得られなかった場合には、項目定義情報２２の中に該当する項目名が登録されていないものとして処理を続ける。

なお、項目名を形成する文字と一致する候補文字が得られなかった場合に、この文字に割り当てる所定文字を「？」としたが、割り当てる文字は特に限定されない。また、以降の処理では、一部の文字が得られなかった図４（Ｂ）及び（Ｃ）に示す項目名は、同図（Ａ）と同様に、項目名「支払金額」であるものとして処理される。

項目名の信頼度は、項目名を形成する各候補文字の信頼度から平均値として算出するが、図４（Ｂ）及び（Ｃ）に示すように、候補文字が得られなかった場合には、この文字の信頼度を予め定めた所定値として平均値を算出する。ただし、信頼度の算出方法がこれに限定されるものではなく、例えば、候補文字が項目名を形成する文字であるとした場合の信頼度を算出して、この算出値を用いて、項目名を形成する各候補文字の信頼度から平均値を算出してもよい。具体的には、図４（Ｂ）に示すように、項目名が「支払金額」に対応する「？払金額」であると認識された後、１文字目の文字認識処理の処理対象画像が文字認識用テンプレート２３に含まれる「支」の文字であるとしてマッチング処理を行って両者の一致度を示す信頼度を算出する。そして、算出した信頼度と２〜４文字目の文字とされた各候補文字の信頼度とによって平均値を算出し、これを項目名の信頼度とする。

図２に示すグループ判定部４５は、項目名認識部４４によって認識された各枠の項目名の信頼度に基づいて、所定条件を満たす候補枠を抽出して、候補枠の中から選択した着目枠によって候補枠をグルーピングすると共に、項目定義情報２２に基づいてグルーピング結果として得られたグループを判定する機能を有する。

項目位置決定部４６は、グループ判定部４５による判定結果に基づいて、位置検出の対象とする項目名の位置を決定する機能を有する。ここで決定された項目名の位置に関する情報等が、処理結果出力部３０によって出力される。グループ判定部４５及び項目位置決定部４６の機能についての詳細は後述する。

図５は、帳票項目認識装置によって行う帳票項目認識方法の手順を説明するフローチャートである。以下では具体的な帳票を例に帳票項目認識方法について説明する。

図６は帳票の例を示す図である。また、図７は、図６の帳票で位置検出の対象とする項目をグループ別に定義した項目定義情報２２を示す図である。図６に示す帳票で縦方向（上下方向）に並んでいる「受給者番号」、「フリガナ」及び「役職名」の項目名を同じグループとして、図７に示すようにグループ番号を「１」とする。また、図６で横方向（左右方向）に並んでいる「種別」、「支払金額」、「給与所得控除後の金額」、「所得控除の額の合計額」及び「源泉徴収税額」の項目名を同じグループとしてグループ番号を「２」とする。

項目定義情報２２は、同じ列に並ぶ複数の項目名及び／又は同じ行に並ぶ複数の項目名をそれぞれ同じグループとして定義する情報であるため、帳票の種類によって、項目が並ぶ順序や方向が異なる場合や、位置検出の対象となる項目の間に検出対象外の項目が含まれるような場合でも、検出対象とする各項目の項目名の位置を特定することができる。また、帳票上で各項目名の位置や複数の項目名の位置関係を座標等で定義する必要がないので、項目定義情報２２を容易に作成することができる。帳票を撮像した帳票画像２１と項目定義情報２２とを記憶部２０に保存した状態で項目の検出処理を開始する。

まず、罫線検出部４１が帳票画像２１上で罫線を検出して、枠検出部４２が周囲を罫線で囲まれた領域を枠として検出する（図５ステップＳ１１）。枠には、各枠を識別するための枠番号が付される。図８は、図６に示す帳票の画像から検出した枠を示す図である。なお、枠の認識結果には枠線のみが含まれるが、図８では、以下の説明を簡単にするため、各枠内に各枠を識別する枠番号を示している。図８では、図６に示す帳票から枠１〜枠２７が検出される。

枠を検出すると、文字認識部４３が各枠内の文字の文字認識処理を行って、項目名認識部４４が枠内の項目名を認識する（図５ステップＳ１２）。図３及び図４を参照しながら説明したように、文字認識部４３は、検出された各枠について、帳票画像２１から枠内の画像を切り出して、切り出した画像と、予め記憶部２０に保存されている文字認識用テンプレート２３とを利用して、文字認識処理を行う。文字認識処理により各文字について１００位までの候補文字と各候補文字の信頼度とが得られると、項目名認識部４４が、候補文字及び信頼度と、記憶部２０に保存されている項目定義情報２２とを利用して項目名を認識する。この結果、各枠内で、項目名の候補となる一又は複数の項目名が認識され、各項目名の信頼度が算出される。

図９は、図６に示す帳票の画像で認識された項目名の認識結果の例を示したものである。項目名の認識結果は、項目名の信頼度と、項目名が得られた枠番号と共に管理される。例えば、Ｎｏ．１とＮｏ．３等にあるように、同じ枠の項目名候補として、異なる項目名が得られる場合もある。なお、図９に示す信頼度は数値が小さいほど信頼度が高いことを示している。

次に、グループ判定部４５が、得られた各枠の項目名及び信頼度と、記憶部２０に保存されている項目定義情報２２とを利用して、候補枠を抽出して、候補枠の中から選択した着目枠によって候補枠をグルーピングすると共に、グルーピング結果を判定する処理を行う（図５ステップＳ１３〜Ｓ１６）。

まず、グループ判定部４５は、しきい値を基準に、項目名の信頼度が高い枠を候補枠として抽出する（ステップＳ１３）。候補枠の抽出は、項目定義情報２２に基づいて行われる。図１０は、こうして抽出された候補枠を示す図である。

具体的には、第１しきい値を１００として、図９に示す項目名の中から、信頼度の値が第１しきい値以下のもの、すなわち第１しきい値より信頼度が高いものを候補枠として抽出すると、Ｎｏ．１〜７の項目名が抽出される。ここで、Ｎｏ．３の項目名「種別」の枠番号は、Ｎｏ．３よりも信頼度が高いＮｏ．１の項目名「役職名」と同じ枠番号９であるため、信頼度の高いＮｏ．１のみが候補枠として抽出される。また、Ｎｏ．５とＮｏ．７は項目名が同じ「支払金額」であるが、この項目名は項目定義情報２２で出現回数が１回と定義されているため、信頼度の高いＮｏ．５のみが候補枠として抽出される。この結果、図１０に示すように、第１しきい値よりも信頼度が高いＮｏ．１〜７の中からＮｏ．３及びＮｏ．７を除いて、Ｎｏ．１、Ｎｏ．２、Ｎｏ．４〜６が候補枠として抽出される。

候補枠が抽出されると、グループ判定部４５は、信頼度が最も高い候補枠を着目枠として選択する（図５ステップＳ１４）。図１０では、信頼度が最も高い、すなわち信頼度の数値が最も小さいＮｏ．１の枠番号９の候補枠が着目枠として選択される。

着目枠が選択されると、グループ判定部４５は、枠検出部４２によって検出された着目枠の枠線を延長して、候補枠をグルーピングする（図５ステップＳ１５）。グルーピング処理では、着目枠の枠線を延長した各方向で、周囲を囲う枠線の一部を、延長した枠線と共有する候補枠が同じグループに分類される。

具体的には、図８に示す枠９が着目枠として選択されると、枠９の左右の枠線を上下方向に延長して、延長した枠線と、左右の枠線を共有する枠７及び枠８が、枠９と同じグループに分類される。同様に、枠９の上下の枠線を左右方向に延長して、延長した枠線と、上下の枠線を共有する枠も枠９と同じグループに分類されるが、図８の例では、左右方向で同じグループに分類される枠は存在しない。こうしてグルーピング処理を行った結果、図１０に「グルーピング結果」として示したように、Ｎｏ．１、Ｎｏ．５及びＮｏ．６の枠番号７〜９の候補枠が、同じグループ「Ａ」に分類される。

グループに分類されずに残った候補枠がある場合は、グループ判定部４５は、残った候補枠の中で信頼度が最も高い候補枠を着目枠として、この着目枠の枠線を上下方向及び左右方向へ延長して、延長した枠線を共有する候補枠を別のグループに分類する。全ての候補枠が、いずれかのグループに分類されるまで、グルーピング処理が繰り返される。図１０の例では、グループＡが得られた後、Ｎｏ．２及びＮｏ．４の候補枠がグループＡに分類されずに残るので、Ｎｏ．４よりも信頼度が高いＮｏ．２が選択され、Ｎｏ．２の枠番号１２の枠を着目枠としたグルーピング処理が行われる。図８に示す枠１２の上下の枠線を左右方向に延長して、延長した枠線と、上下の枠線を共有する枠１０、枠１１、枠１３及び枠１４が枠１２と同じグループに分類される。同様に、枠１２の左右の枠線を上下方向に延長して、延長した枠線と、左右の枠線を共有する枠も枠１２と同じグループに分類されるが、図８の例では、上下方向で同じグループに分類される枠は存在しない。こうしてグルーピング処理を行った結果、図１０に「グルーピング結果」として示したように、枠番号１２のＮｏ．２と、枠番号１０のＮｏ．４とが、同じグループ「Ｂ」に分類される。

全ての候補枠がいずれかのグループにグルーピングされると、グループ判定部４５は、項目定義情報２２に基づいてグループ判定処理を行う（図５ステップＳ１６）。グルーピングされた結果を項目定義情報２２と照合して、項目定義情報２２に一致しない候補枠は除外される。

図１０で信頼度が最も高いＮｏ．１の項目名「役職名」はグルーピング処理によってグループＡに分類されている。この項目名は、図７に示す項目定義情報２２でグループ番号１と定義されているので、図１０に「グループ判定結果」として示したように、Ｎｏ．１のグループ判定結果が「１」とされる。図１０でＮｏ．１と同じくグループＡにグルーピングされたＮｏ．６の「フリガナ」は、図７に示す項目定義情報２２でもＮｏ．１の「役職名」と同じグループ１に属するので、図１０に示すＮｏ．６のグループ判定結果が「１」とされる。同様に、図１０でグループＢにグルーピングされたＮｏ．２の「給与所得控除後の金額」及びＮｏ．４の「種別」は、図７に示す項目定義情報２２でグループ番号２と定義されているので、図１０のグループ判定結果が「２」とされる。

これに対して、図１０に示すＮｏ．５の「支払金額」は、図７に示す項目定義情報２２でグループ番号２と定義されているにも拘わらず、図１０のグループ判定結果でグループ番号１とされたグループＡにグルーピングされている。このため、グルーピング結果が項目定義情報２２と矛盾するものとして、Ｎｏ．５が候補枠から除外される。なお、一度候補枠から除外された項目名は、以降の処理でも利用されない。すなわち、図９の項目名の認識結果からＮｏ．５を削除して以降の処理が実行される。

グループ判定を終えると、グループ判定部４５は、項目定義情報２２に定義された項目名全てが検出されたか否かを判定する（図５ステップＳ１７）。項目定義情報２２に定義された項目名全てが検出されていない場合は（ステップＳ１７；Ｎｏ）、グループ判定を実行した回数を判定する（ステップＳ１８）。

グループ判定の実行回数は、予め定められた所定回数までに制限されているので、グループ判定の実行回数を判定した結果、所定回数に達している場合は（ステップＳ１８；Ｙｅｓ）、項目定義情報２２に定義された項目名全てが検出されていない場合でも、グループ判定を再度実行することなく、次の処理（ステップＳ２０）へ移行する。

一方、グループ判定の実行回数が所定回数に達していない場合には（ステップＳ１８；Ｎｏ）、グループ判定部４５は、候補枠の抽出基準を変更して（ステップＳ１９）、候補枠の抽出からグループ判定までの処理（ステップＳ１３〜１６）を再度実行する。ここで、候補枠の抽出基準とは、ステップＳ１３で候補枠を抽出した際の信頼度のしきい値を示している。

具体的には、図１０に示すグループ判定結果では、図７の項目定義情報２２に定義された項目名のうち、グループ１として定義された２つの項目名と、グループ２として定義された２つの項目名とが得られているが、項目定義情報２２に定義された項目名の一部が得られていない（ステップＳ１７；Ｎｏ）。このため、例えば、グループ判定の実行回数の上限が３回と設定されていれば、グループ判定の実行回数が１回目であり上限回数に達していないと判定されて（ステップＳ１８；Ｎｏ）、候補枠の抽出基準が変更され（ステップＳ１９）、２回目の処理（ステップＳ１３〜Ｓ１６）が実行される。

例えば、抽出基準、すなわち信頼度のしきい値を第１しきい値の１００から第２しきい値の２００へ変更して（ステップＳ１９）、図９に示す項目名の認識結果の中から、新たな候補枠を抽出する（ステップＳ１３）。候補枠の抽出基準を緩和して、新たな候補枠を抽出するものである。このとき、１回目の処理で除外されたＮｏ．５を除外して候補枠が抽出される。具体的には、図９に示す枠番号が同じＮｏ．１とＮｏ．３では、信頼度の高いＮｏ．１のみが抽出され、信頼度の低いＮｏ．３は抽出されない。また、項目定義情報２２で出現回数が１回とされているのに、同じ項目名「役職名」が２回登場するＮｏ．１とＮｏ．１０については、信頼度の高いＮｏ．１のみが抽出され、Ｎｏ．１０は抽出されない。この結果、図１１に示すように、第２しきい値よりも信頼度が高いＮｏ．１〜１１の中からＮｏ．３、Ｎｏ．５及びＮｏ．１０を除いて、Ｎｏ．１、Ｎｏ．２、Ｎｏ．４、Ｎｏ．６〜９及びＮｏ．１１が候補枠として抽出される。

候補枠が抽出されると、グループ判定部４５が、信頼度が最も高いＮｏ．１の枠番号９の候補枠を着目枠として選択し（図５ステップＳ１４）、着目枠の枠線を延長して、候補枠をグルーピングする（ステップＳ１５）。図８に示す枠９の左右の枠線を上下方向に延長して、延長した枠線と、左右の枠線を共有する枠７及び枠８が、枠９と同じグループに分類される。同様に、枠９の上下の枠線を左右方向に延長して、延長した枠線と、上下の枠線を共有する枠も枠９と同じグループに分類されるが、図８の例では、左右方向で同じグループに分類される枠は存在しない。こうしてグルーピング処理を行った結果、図１１に「グループ」として示したように、Ｎｏ．１、Ｎｏ．６及びＮｏ．９の枠番号７〜９の候補枠が、同じグループ「Ａ」に分類される。

続いて、グループ判定部４５は、グループに分類されずに残った候補枠の中で、項目名の信頼度が最も高いＮｏ．２の枠番号１２の候補枠を着目枠として、この着目枠の枠線を上下方向及び左右方向へ延長して、枠線を共有する候補枠を別のグループに分類する。

図８に示す枠１２の上下の枠線を左右方向に延長して、延長した枠線と、上下の枠線を共有する枠１０、枠１１、枠１３及び枠１４が枠１２と同じグループに分類される。同様に、枠１２の左右の枠線を上下方向に延長して、延長した枠線と、左右の枠線を共有する枠も枠１２と同じグループに分類されるが、図８の例では、上下方向で同じグループに分類される枠は存在しない。こうしてグルーピング処理を行った結果、図１１の「グループ」に示すように、Ｎｏ．２、Ｎｏ．４、Ｎｏ．７、Ｎｏ．８及びＮｏ．１１の枠番号１０〜１４の候補枠が、同じグループ「Ｂ」に分類される。

こうして全ての候補枠がいずれかのグループにグルーピングされると、グループ判定部４５は、項目定義情報２２に基づいてグループ判定処理を行う（図５ステップＳ１６）。図１１で信頼度が最も高いＮｏ．１の項目名「役職名」は、グルーピング処理によってグループＡに分類されている。この項目名は、図７に示す項目定義情報２２でグループ番号１と定義されているので、図１１に示したように、グループ判定結果が「１」とされる。同様に、図１１でグループＡに分類されたＮｏ．６の「フリガナ」及びＮｏ．９の「受給者番号」は、図７に示す項目定義情報２２でもＮｏ．１の「役職名」と同じグループ１に属しているので、図１１のグループ判定結果が「１」とされる。

次に、図１１のグループＢで信頼度が最も高いＮｏ．２の項目名「給与所得控除後の金額」は、図７に示す項目定義情報２２でグループ番号２と定義されているので、図１１のグループ判定結果が「２」とされる。同様に、図１１でグループＢに分類されたＮｏ．４の「種別」、Ｎｏ．７の「支払金額」、Ｎｏ．８の「所得控除の額の合計額」、Ｎｏ．１１の「源泉徴収税額」は、図７に示す項目定義情報２２でもＮｏ．２の「給与所得控除後の金額」と同じグループ２に属しているので、図１１のグループ判定結果が「２」とされる。

グループ判定を終えると、グループ判定部４５は、項目定義情報２２に定義された項目名全てが検出されたか否かを判定する（図５ステップＳ１７）。この結果、図１１では、図７の項目定義情報２２に定義された項目名全てが検出されているので（ステップＳ１７；Ｙｅｓ）、項目位置決定部４６が、検出結果に基づいて項目名の位置を決定する（ステップＳ２０）。具体的には、図１１に示した各項目名の位置が、同図に枠番号として示した枠位置にあると決定される。

すなわち、Ｎｏ．１の項目名「役職名」の項目は図８の枠９、Ｎｏ．６の「フリガナ」の項目は枠８、Ｎｏ．９の「受給者番号」の項目は枠７の位置であると決定される。また、Ｎｏ．２の項目名「給与所得控除後の金額」の項目は枠１２、Ｎｏ．４の「種別」の項目は枠１０、Ｎｏ．７の「支払金額」の項目は枠１１、Ｎｏ．８の「所得控除の額の合計額」の項目は枠１３、Ｎｏ．１１の「源泉徴収税額」の項目は枠１４の位置であると決定される。

このように、図２に示す帳票項目認識装置によって図５に示す帳票項目認識方法を実行することにより、検出対象とする項目のグループを定義した項目定義情報２２に基づいて、各項目の枠の位置を正確に特定することができる。また、各項目の枠位置が正確に特定されれば、各項目に対応する記入枠内の文字を文字認識して、帳票で各項目について記入された内容を正確に取得することができる。こうして得られた項目、項目の枠位置、項目に対応して記入された内容等に関する情報は処理結果出力部３０の機能により出力される。

なお、本実施形態では、グループ判定処理時に、信頼度が最も高い候補枠のグルーピング結果（図１０「役職名」のグループ「Ａ」）を、項目定義情報２２に定義されたグループ（図７「役職名」のグループ「１」）と判定する例を示したが、グルーピング結果と項目定義情報２２との対応を判定する方法がこれに限定されるものではない。例えば、多数決の原理に基づいて判定する態様であっても構わない。具体的には、グループＡに分類された候補枠のうち、項目定義情報２２でグループ１として定義されている数が、他のグループとして定義されている数より多いことに基づいて、グループＡをグループ１と判定する。例えば、図１０でグループＡに分類された３つの候補枠のうち、図７に示す項目定義情報２２で２つの項目名（Ｎｏ．１及びＮｏ．６）がグループ１として定義され、１つの項目名（Ｎｏ．５）がグループ２として定義されているので、多数決の原理に基づいて、グループＡをグループ１と判定する。

また、本実施形態では、候補枠抽出からグループ判定までの処理を、予め設定された所定回数だけ実行する態様を示したが、処理の実行回数を制限せず、項目定義情報２２に定義された全ての項目名を含むグループ判定結果が得られるまで、候補枠の抽出基準となるしきい値を緩和しながら処理を繰り返し実行する態様であっても構わない。

また、項目定義情報２２についても、図７に示す定義方法に限定されるものではなく、例えば、項目名に対してキーワードを設定して、項目名の認識処理及びグルーピング結果を判定するグループ判定処理を実行する際に、キーワードを利用する態様であってもよい。図１２は、健康診断結果通知票を例に、項目名に対してキーワードを設定可能な項目定義情報について説明する図である。図１２（Ａ）は項目定義情報を示し、同図（Ｂ）及び（Ｃ）は、この項目定義情報によって項目名の位置を特定可能な帳票の例を示している。帳票の種類によって、血色素の項目名が、図１２（Ｂ）に示すように「ヘモグロビン」と表示されたり、同図（Ｃ）に示すように「血色素」と表示されたりする場合でも、同図（Ａ）に示す項目定義情報を利用して項目名の認識処理を行うことにより、「ヘモグロビン」及び「血色素」が、いずれも血色素に対応する項目名であると認識することができる。また、グルーピング結果を判定するグループ判定時に、「血色素」及び「ヘモグロビン」のいずれの項目名が得られた場合でも、項目定義情報に基づいて、これらの項目名をグループ１として処理することにより、血色素に対応する項目名「血色素」及び「ヘモグロビン」の位置を正しく認識することができる。

また、本実施形態では、着目枠の枠線を上下方向及び左右方向の２方向へ延長してグルーピング処理を行う例を示したが、グルーピング処理の方法がこれに限定されるものではない。例えば、あるグループの項目名が常に上下方向に並ぶことが分かっているような場合には、左右方向でのグルーピング処理は行わず、上下方向の一方向でのみグルーピング処理を行うようにしてもよい。図１３は、図６に示す源泉徴収票を例に、所定方向のみでグルーピング処理を行うための項目定義情報２２を示した図である。グループ番号「１０１」は上下方向にのみグルーピング処理を行って、グループ番号「２０１」は左右方向にのみグルーピング処理を行うことを示している。上下方向にグルーピングする項目のグループを１００番台で１０１、１０２と順に定義して、左右方向にグルーピングする項目のグループを２００番台で２０１、２０２と順に定義すれば、グルーピングの方向を定めながら複数のグループを定義することができる。さらに、帳票の構成によっては、着目枠から右方向のみとか左方向のみというように、グルーピングする項目が存在する方向をさらに限定する態様であってもよい。

上述してきたように、本実施形態に係る帳票項目認識方法によれば、帳票上で所定方向に並ぶ複数項目を同じグループとして予め定義しておくことにより、この定義情報を利用して、帳票を撮像した帳票画像から、同じグループに定義された各項目の項目名の位置を正確に認識することができる。

また、項目定義情報は、複数の項目名の座標や位置関係を定義するものではなく、項目が同じグループに属することのみを定義するものであるため、帳票の種類によって、項目の並ぶ方向が変わったり、同じグループの項目の間にこのグループに属さない項目が含まれたりする場合でも、同じ定義情報を利用して、グループに属する各項目の項目名の位置を特定することができる。また、グループに属する複数項目について、帳票上で同じ行内又は列内で項目の並びが変更されたような場合でも、各項目の項目名の位置を特定することができる。項目間の位置関係や各項目の座標情報が不要であるため、項目定義情報を容易に設定することが可能である上、帳票上の項目の順序等が変更された場合でも、変更後の帳票に合わせて項目定義情報を変更する必要がない。

また、グループを定義する際に、１つの項目に項目名として表示される可能性がある複数のキーワードを設定することができるので、帳票の種類によって表示される項目名が異なるような場合でも、帳票間の項目の対応関係を認識すると共に、各項目の枠位置を正確に認識することができる。また、予め項目名を登録しておいて、登録された項目名に基づいて帳票画像上の項目名を文字認識することができるので、帳票画像上で一部の文字が正確に文字認識できない項目名がある場合でも、この項目名を認識して処理を続けることができる。

以上のように、本発明に係る帳票項目認識方法、帳票項目認識装置及び帳票項目認識プログラムは、帳票の種類によって項目の位置や項目名の表示が異なる場合でも、帳票画像上で各項目を正確に認識するために有用である。

１０ 画像取得部
２０ 記憶部
２１ 帳票画像
２２ 項目定義情報
２３ 文字認識用テンプレート
３０ 処理結果出力部
４０ 制御部
４１ 罫線検出部
４２ 枠検出部
４３ 文字認識部
４４ 項目名認識部
４５ グループ判定部
４６ 項目位置決定部

Claims (9)

1. 枠線で区切られた複数の項目を含む帳票の画像を取得した装置で帳票画像上の各項目を自動認識する帳票項目認識方法であって、
   所定方向に並んだ検出対象の複数項目を同じグループとして項目定義情報に定義して記憶部に記憶する項目定義記憶工程と、
   帳票画像上で罫線を検出して該罫線で囲まれた各領域を枠として検出する枠検出工程と、
   前記枠検出工程で検出された各枠内の文字を文字認識する文字認識工程と、
   前記文字認識工程での文字認識結果に基づいて前記各枠内の項目名を認識する項目名認識工程と、
   前記項目名認識工程で項目名が認識された枠の１つを着目枠として選択する着目枠選択工程と、
   前記項目名認識工程で項目名が認識された枠のうち、前記着目枠を基準として所定方向に並ぶ枠を、前記着目枠と同じグループに分類するグルーピング工程と、
   前記項目定義情報に基づいて、前記グルーピング工程でグルーピングされた各枠の項目名が属するグループを判定するグループ判定工程と、
   前記グループ判定工程でのグループの判定結果に基づいて各項目名の位置を決定する項目名位置決定工程と
   を含んだことを特徴とする帳票項目認識方法。
2. 前記項目名認識工程で項目名が認識された枠のうち、前記項目名の認識結果の確からしさを示す信頼度に基づいて一部の枠のみを候補枠として抽出する候補枠抽出工程
   をさらに含み、
   前記着目枠選択工程では、前記候補枠抽出工程で抽出された候補枠の中から前記着目枠を選択する
   ことを特徴とする請求項１に記載の帳票項目認識方法。
3. 前記グルーピング工程では、
   前記着目枠を囲う枠線を延長して、延長した前記枠線の一部を、周囲を囲う枠線の一部として共有する枠を、前記着目枠と同じグループに分類する
   ことを特徴とする請求項１又は２に記載の帳票項目認識方法。
4. 前記文字認識工程では、各文字について、文字認識結果の信頼度に基づいて順位付けした複数の候補文字を出力し、
   前記項目名認識工程では、前記文字認識工程で各文字について出力された複数の候補文字を組み合わせて、予め登録された項目名と一致する文字列が得られた場合に、該項目名を前記枠内の項目名であると認識する
   ことを特徴とする請求項１、２又は３に記載の帳票項目認識方法。
5. 前記項目定義記憶工程では、前記項目定義情報に、各項目に項目名として表示される可能性がある複数のキーワードを登録して、
   前記項目名認識工程では、前記キーワードを、予め登録された前記項目名として利用して、前記枠内の項目名を認識する
   ことを特徴とする請求項４に記載の帳票項目認識方法。
6. 前記項目名認識工程では、
   前記文字認識工程で各文字について出力された複数の候補文字を組み合わせて、予め登録された前記項目名と一部の文字が一致する文字列が得られれば、該項目名を前記枠内の項目名であると認識する
   ことを特徴とする請求項４又は５に記載の帳票項目認識方法。
7. 前記グループ判定工程では、
   前記グルーピング工程で同じグループに分類された枠の中に、前記項目定義情報に登録された情報と矛盾する枠がある場合には、該枠を以降の処理から除外する
   ことを特徴とする請求項１〜６のいずれか１項に記載の帳票項目認識方法。
8. 枠線で区切られた複数の項目を含む帳票の画像上で各項目を自動認識して出力する帳票項目認識装置であって、
   帳票画像を取得する画像取得部と、
   請求項１に記載した帳票項目認識方法によって、前記画像取得部によって取得した前記帳票画像上で特定した、各項目名の位置に関する情報を出力する処理結果出力部と
   を備えることを特徴とする帳票項目認識装置。
9. 枠線で区切られた複数の項目を含む帳票の画像を取得した装置で帳票画像上の各項目を自動認識する帳票項目認識プログラムであって、
   所定方向に並んだ検出対象の複数項目を同じグループとして項目定義情報に定義して記憶部に記憶する項目定義記憶ステップと、
   帳票画像上で罫線を検出して該罫線で囲まれた各領域を枠として検出する枠検出ステップと、
   前記枠検出ステップで検出された各枠内の文字を文字認識する文字認識ステップと、
   前記文字認識ステップでの文字認識結果に基づいて前記各枠内の項目名を認識する項目名認識ステップと、
   前記項目名認識ステップで項目名が認識された枠の１つを着目枠として選択する着目枠選択ステップと、
   前記項目名認識ステップで項目名が認識された枠のうち、前記着目枠を基準として所定方向に並ぶ枠を、前記着目枠と同じグループに分類するグルーピングステップと、
   前記項目定義情報に基づいて、前記グルーピングステップでグルーピングされた各枠の項目名が属するグループを判定するグループ判定ステップと、
   前記グループ判定ステップでのグループの判定結果に基づいて各項目名の位置を決定する項目名位置決定ステップと
   をコンピュータに実行させることを特徴とする帳票項目認識プログラム。

Images