JP6220770B2 - 帳票定義装置、帳票定義方法、及び帳票定義プログラム - Google Patents

Description

本発明は、帳票定義装置、帳票定義方法、及び帳票定義プログラムに関する。

紙媒体に印刷された文字等を光学的に読み取るスキャナを用いて帳票に手書きで記入された文字を読み取る前に、未記入の帳票に印刷された文字及び文字枠を検出するための画像を生成し、当該画像から印刷された文字及び文字枠の情報だけを読み取って記憶させておく。その後に、文字枠に手書きで文字が記入された帳票を読み取り、読み取った画像から手書き文字だけを抽出して記憶させておく。そして、手書き記入された文字の内容を確認したい場合に、記憶させてある文字及び文字枠の情報と、手書き文字の情報とを重ねあわせて画面に表示するといった帳票に表示されている内容を分離して処理を行う技術が存在する（例えば、特許文献１参照）。

ところで、帳票においては、文字枠の周辺に「氏名」、「口座番号」などの印刷文字をキーワードとして示すことにより、帳票の各々の文字枠にどのような文字を記入するかを記入者に示すようにしている。このような、キーワードを、コンピュータによる帳票処理において利用することができれば、文字枠に手書きで記入された内容が、明らかに間違っていないか等をチェックすることが可能となる。例えば、「氏名」というキーワードが存在するにも関わらず、キーワードに対応する文字枠に数値が記載されていた場合には、明らかに誤っているものとしてコンピュータによる文字の認識処理の際にチェックすることができる。

特許第４２６９０５９号公報

従来、コンピュータを用いた帳票処理において、上記のような帳票に印刷されるキーワードを利用するためには、帳票の作成の段階から、コンピュータを用いて、ユーザが手作業で、キーワードや文字枠を配置する位置を定義し、さらに、文字枠に記載される文字の種類などを示す属性を定義していく必要があった。
しかしながら、上記のような定義を行う作業は、ユーザの手作業によるものであるため、様々な様式が存在する帳票の各々に対応するためには、多大な労力を要する作業であるという問題がある。また、上述したような従来技術によっても、帳票を読み取った画像から、キーワードと文字枠とを対応付けるような定義情報を生成することができない問題がある。

本発明は、上記問題を解決すべくなされたもので、その目的は、任意に選択される帳票について、当該帳票の文字枠に記入される文字の属性に関連付けられるキーワードと当該文字枠とを対応付ける定義情報を生成していくことを可能とする帳票定義装置、帳票定義方法、及び帳票定義プログラムを提供することにある。

上記問題を解決するために、本発明の一態様は、帳票を光学的に読み取り帳票の画像データを生成する画像読取部と、前記画像データを２値化して帳票画像データを生成する２値化部と、前記帳票画像データに対して前記２値化により生じた欠損を埋める補正をして補正帳票画像データを生成する補正部と、前記補正帳票画像データから長方形または略長方形の形状を矩形として検出する矩形検出部と、前記矩形が文字枠矩形であるか否かを判定する矩形判定部と、前記文字枠矩形の隣接関係に基づいて、前記文字枠矩形を分類し、分類した区分の各々をフィールドとして検出するフィールド検出部と、前記帳票画像データに含まれる文字を検出する文字検出部と、前記フィールドに記入される文字の属性が予め対応付けられるキーワードを前記文字から検出するキーワード検出部と、前記キーワードに対応する前記フィールドを、前記キーワードと前記フィールドの位置関係に基づいて検出し、検出した前記フィールドを前記キーワードに対応付けて帳票定義情報記憶部に書き込むフィールド探索部と、を備えることを特徴とする帳票定義装置である。

また、本発明の一態様は、上記に記載の発明において、前記キーワードとして検出対象とする文字列または文字が予め定められており、前記キーワード検出部は、前記文字から前記キーワードを検出する際、前記予め定められている前記検出対象とする文字列または文字に完全一致、または、部分一致する前記キーワードのみを検出するようにしてもよい。

また、本発明の一態様は、上記に記載の発明において、前記キーワードに対応する前記属性を示す属性情報を予め記憶する辞書属性情報記憶部を備え、前記キーワード検出部は、
前記文字から前記キーワードを検出すると、前記キーワードに対応する前記属性情報を前記辞書属性情報記憶部から読み出し、読み出した前記属性情報を前記キーワードに対応付けて前記帳票定義情報記憶部に書き込むようにしてもよい。

また、本発明の一態様は、上記に記載の発明において、前記キーワードと前記フィールドの位置関係とは、前記キーワードが縦書きの場合に予め定められる前記フィールドが存在する方向の傾向、または、前記キーワードが横書きの場合に予め定められる前記フィールドが存在する方向の傾向によって示され、前記フィールド探索部は、前記フィールドが前記傾向を満たす場合に、当該フィールドを前記キーワードに対応する前記フィールドとして検出するようにしてもよい。

また、本発明の一態様は、上記に記載の発明において、前記矩形判定部が前記文字枠矩形でないと判定した前記矩形から、前記キーワードを囲む前記矩形を検出するキーワード対応矩形検出部を備え、前記フィールド探索部は、前記キーワードを囲む前記矩形が存在する場合、前記キーワードを囲む前記矩形と前記フィールドの位置関係を、前記キーワードと前記フィールドの位置関係として、前記キーワードに対応する前記フィールドを検出するようにしてもよい。

また、本発明の一態様は、上記に記載の発明において、前記帳票画像データを分割する罫線消去対応画像分割部と、分割された前記帳票画像データの各々から罫線を消去する罫線消去部と、前記罫線消去後の分割された前記帳票画像データを合成する罫線消去対応画像合成部と、を備え、前記罫線消去対応画像分割部は、前記帳票画像データを分割する際に、分割の境界に存在する前記罫線が、前記罫線消去部によって消去されるように、分割後の前記帳票画像データの各々の境界において重複領域が存在するように拡張領域を設けて分割し、前記罫線消去対応画像合成部は、前記分割された前記帳票画像データの各々の前記拡張領域を削除してから合成し、前記文字検出部は、前記罫線消去対応画像合成部が出力する前記罫線が消去された前記帳票画像データから前記文字を検出するようにしてもよい。

また、本発明の一態様は、上記に記載の発明において、前記フィールド探索部は、前記フィールドに複数のキーワードを対応付けるようにしてもよい。

上記問題を解決するために、本発明の一態様は、帳票を光学的に読み取り帳票の画像データを生成し、前記画像データを２値化して帳票画像データを生成し、前記帳票画像データに対して前記２値化により生じた欠損を埋める補正をして補正帳票画像データを生成し、前記補正帳票画像データから長方形または略長方形の形状を矩形として検出し、前記矩形が文字枠矩形であるか否かを判定し、前記文字枠矩形の隣接関係に基づいて、前記文字枠矩形を分類し、分類した区分の各々をフィールドとして検出し、前記帳票画像データに含まれる文字を検出し、前記フィールドに記入される文字の属性が予め対応付けられるキーワードを前記文字から検出し、前記キーワードに対応する前記フィールドを、前記キーワードと前記フィールドの位置関係に基づいて検出し、検出した前記フィールドを前記キーワードに対応付けて記憶することを特徴とする帳票定義方法である。

上記問題を解決するために、本発明の一態様は、コンピュータに、帳票を光学的に読み取り帳票の画像データを生成する手順、前記画像データを２値化して帳票画像データを生成する手順、前記帳票画像データに対して前記２値化により生じた欠損を埋める補正をして補正帳票画像データを生成する手順、前記補正帳票画像データから長方形または略長方形の形状を矩形として検出する手順、前記矩形が文字枠矩形であるか否かを判定する手順、前記文字枠矩形の隣接関係に基づいて、前記文字枠矩形を分類し、分類した区分の各々をフィールドとして検出する手順、前記帳票画像データに含まれる文字を検出する手順、前記フィールドに記入される文字の属性が予め対応付けられるキーワードを前記文字から検出する手順、前記キーワードに対応する前記フィールドを、前記キーワードと前記フィールドの位置関係に基づいて検出する手順、検出した前記フィールドを前記キーワードに対応付けて記憶する手順、を実行させるための帳票定義プログラムである。

この発明によれば、任意に選択される帳票について、当該帳票の文字枠に記入される文字の属性に関連付けられるキーワードと当該文字枠とを対応付ける定義情報を生成していくことが可能となる。

本発明の第１実施形態による帳票定義装置の構成を示すブロック図である。 同実施形態における矩形情報記憶部のデータ構成を示す図である。 同実施形態におけるフィールド情報記憶部のデータ構成を示す図である。 同実施形態における文字情報記憶部のデータ構成を示す図である。 同実施形態における辞書属性情報記憶部のデータ構成を示す図である。 同実施形態における帳票定義情報記憶部のデータ構成を示す図である。 同実施形態における帳票定義処理を示すフローチャート（その１）である。 同実施形態における帳票定義処理を示すフローチャート（その２）である。 同実施形態の画像読取部が読み取った帳票の画像を示す図である。 同実施形態の２値化部及び補正部のスレッドによる処理を示す図である。 同実施形態の補正部による膨張処理を説明する図（その１）である。 同実施形態の補正部による膨張処理を説明する図（その２）である。 同実施形態の補正部による膨張処理を説明する図（その３）である。 同実施形態の補正部による膨張処理を説明する図（その４）である。 同実施形態の補正部による膨張処理を説明する図（その５）である。 同実施形態の補正部による膨張処理を説明する図（その６）である。 同実施形態の補正部による膨張処理を説明する図（その７）である。 同実施形態におけるフィールド検出処理を示すフローチャート（その１）である。 同実施形態におけるフィールド検出処理を示すフローチャート（その２）である。 同実施形態におけるフィールド検出処理を説明する図（その１）である。 同実施形態におけるフィールド検出処理を説明する図（その２）である。 同実施形態におけるフィールド検出処理を説明する図（その３）である。 同実施形態におけるフィールド検出処理を説明する図（その４）である。 同実施形態の罫線消去対応画像分割部による画像分割を説明する図（その１）である。 同実施形態の罫線消去対応画像分割部による画像分割を説明する図（その２）である。 同実施形態の罫線消去部のスレッドによる処理を示す図である。 同実施形態におけるキーワード外接矩形を説明する図である。 同実施形態におけるキーワードを囲む矩形を説明する図である。 同実施形態におけるフィールド探索処理を示すフローチャートである。 同実施形態によるフィールド探索処理を説明する図（その１）である。 同実施形態によるフィールド探索処理を説明する図（その２）である。 同実施形態によるフィールド探索処理を説明する図（その３）である。 同実施形態によるフィールド探索処理を説明する図（その４）である。 同実施形態によるフィールド探索処理を説明する図（その５）である。 同実施形態によるフィールド探索処理を説明する図（その６）である。 同実施形態による膨張処理の違いを説明する図（その１）である。 同実施形態による膨張処理の違いを説明する図（その２）である。 同実施形態による膨張処理の違いを説明する図（その３）である。 同実施形態による膨張処理の違いを説明する図（その４）である。 同実施形態による膨張処理の違いを説明する図（その５）である。 同実施形態による膨張処理の違いを説明する図（その６）である。 同実施形態による膨張処理の違いを説明する図（その７）である。 同実施形態による膨張処理の違いを説明する図（その８）である。 同実施形態の罫線消去対応画像分割部の効果を説明する図（その１）である。 同実施形態の罫線消去対応画像分割部の効果を説明する図（その２）である。 同実施形態の罫線消去対応画像分割部の効果を説明する図（その３）である。 本発明の第２実施形態の構成を示すブロック図である。 同実施形態のリファレンス情報記憶部のデータ構成を示す図である。

（第１実施形態）
以下、本発明の第１実施形態について図面を参照して説明する。図１は、本発明の第１実施形態による帳票定義装置１の構成を示す概略ブロック図である。帳票定義装置１において、画像読取部１０は、例えば、スキャナが適用され、光学的に紙媒体などに印刷、または手書きで記入された線図、図形、文字などのカラー画像として読み取り、読み取ったカラー画像をカラー帳票画像データとして出力する。ここでは、一例として、読み取ったカラー帳票画像データの各画素が２４ビットの色情報を有する場合について説明する。画像分割部１１は、画像読取部１０が出力するカラー帳票画像データを上下辺の中点を結んだ線分と左右辺の中点を結んだ線分とにより４等分する。

２値化部１２は、画像分割部１１によって分割された分割カラー帳票画像データに対して、各々のピクセルを２４ビットから１ビットに変換、すなわちカラーから白黒に変換して分割帳票画像データを生成する。ここで、２値化部１２が行う２値化処理は、文字検出部２４における文字の検出率を高めるために、文字の線が細くくっきりと残るような２値化を行うものとする。補正部１３は、２値化部１２が出力する分割帳票画像データに対して、線を膨張させる補正を行う。前述したように２値化部１２によって行われる２値化処理は、各ピクセルを白黒の１ビットで表すように変換するとともに、文字の線が細くくっきりと残るようにする処理である。この処理を行うと、連続した線分で構成される矩形などの形状に欠損、すなわち、不連続な部分が生じてしまうことがある。線分に欠損が生じている場合でも欠損を補間して矩形として検出するアルゴリズムは存在するが、欠損が生じていない方が、矩形検出部１５による矩形の検出率を高めることができるため、補正部１３による補正処理により、線を膨張させて欠損を埋める補正を行う。

画像合成部１４は、画像分割部１１によって４等分され、２値化部１２によって２値化された分割帳票画像データを合成して２値化された帳票画像データ（以下、２値化された帳票画像データを、帳票画像データという）を生成する。また、画像合成部１４は、画像分割部１１によって４等分され、２値化部１２によって２値化され、補正部１３によって補正された分割帳票画像データを合成して補正帳票画像データを生成する。また、画像合成部１４は、生成した帳票画像データを文字検出用の画像データとして矩形消去部２０に出力し、生成した補正帳票画像データを矩形検出用の画像データとして矩形検出部１５に出力する。

矩形検出部１５は、補正帳票画像データに含まれる長方形の形状、または略長方形の形状を矩形として画像処理により検出し、検出した矩形の左上のＸ軸とＹ軸の座標情報と、右下のＸ軸とＹ軸の座標情報とを出力する。ここで、略長方形には、４つの内角の全てが必ずしも直角ではなく、一部、または全ての角において、曲線になっているような形状も含まれる。なお、画像読取部１０が読み取った画像データにおけるＸＹ座標の原点は、左上を原点とし、Ｘ軸方向については、右方向が正、及びＹ軸方向については、下方向が正になる座標系となっており、以下の説明においても同様とする。矩形判定部１６は、矩形検出部１５が検出した矩形が、文字を記入する文字枠矩形か、それ以外の矩形であるかを、予め定められる文字枠矩形の大きさに基づいて判定する。

矩形情報記憶部５０は、図２に示すデータ構成の矩形情報を記憶しており、矩形情報は、「矩形ＩＤ（Identification）」、「左上のＸ，Ｙ座標」、「右下のＸ，Ｙ座標」、「矩形種別」「処理状態」の項目を有している。矩形ＩＤは、１つの帳票画像データにおいて各矩形を一意に識別可能なＩＤであり、矩形検出部１５が矩形を検出するごとに生成する。「矩形ＩＤ」の項目には、矩形検出部１５より矩形ＩＤを受けた矩形判定部１６により書き込まれる。「左上のＸ，Ｙ座標」及び「右下のＸ，Ｙ座標」の項目には、矩形検出部１５が検出した矩形の左上のＸ，Ｙの座標情報と、右下のＸ，Ｙの座標情報とが、これらの情報を矩形検出部１５から受けた矩形判定部１６によって書き込まれる。「矩形種別」の項目には、矩形判定部１６が判定した種別、すなわち、文字枠矩形であることを示す「文字枠」か、それ以外の矩形であることを示す「その他」が、矩形判定部１６によって書き込まれる。「処理状態」の項目は、フィールド検出部１７によって利用され、フィールド検出部１７によるフィールド検出処理によって、基準文字枠矩形として選択された場合、または、いずれかのフィールドに分類された場合、処理済みの矩形として、フィールド検出部１７によって「済み」が書き込まれる。なお、「処理状態」の項目には、矩形判定部１６が、矩形ＩＤを書き込んでレコードを生成した際、初期値として矩形判定部１６によって空欄「−」が書き込まれる。

フィールド検出部１７は、矩形情報記憶部５０から「矩形種別」の項目が「文字枠」となっている矩形情報を読み出し、読み出した文字枠矩形の隣接関係に基づいて、文字枠矩形を分類し、分類した際の区分の各々をフィールドとして検出する。ここで、フィールドとは、文字枠矩形の集合である。例えば、帳票において、氏名をカタカナ等で記入させる場合、同じ大きさの矩形を、同じ高さで、かつ同じ間隔で並べて、当該複数の矩形に氏名をカタカナ１文字ずつで記入させることが一般的である。この氏名が記入される一組の文字枠矩形の集合をフィールドという。なお、フィールドを構成する文字枠矩形の集合には、文字枠矩形が、１つの場合も含まれる。また、上記の隣接関係とは、隣接する文字枠矩形の左上のＹ座標の値が同じであるか否か、隣接する文字枠矩形がＸ軸方向に所定の範囲以内に存在するか否か、隣接する文字枠矩形の各々が、同じ又はほぼ同じ間隔で並んでいるか否か、文字枠矩形の縦方向の長さ、すなわち文字枠矩形の高さが同じであるか否かなどの隣接文字枠矩形との関係を示すものである。また、フィールド検出部１７は、検出したフィールドの左上のＸ，Ｙの座標情報及び右下のＸ，Ｙの座標情報を検出する。また、フィールド検出部１７は、検出したフィールドに対応付けて、検出した左上のＸ，Ｙの座標情報と右下のＸ，Ｙの座標情報、及びフィールドに含まれる矩形の矩形ＩＤの情報をフィールド情報記憶部５１に書き込む。

フィールド情報記憶部５１は、図３に示すデータ構成のフィールド情報を記憶しており、フィールド情報は、「フィールドＩＤ」、「左上のＸ，Ｙ座標」、「右下のＸ，Ｙ座標」、「構成矩形」の項目を有している。フィールドＩＤは、１つの帳票画像データにおいて各フィールドを一意に識別可能なＩＤであり、フィールド検出部１７がフィールドを検出するごとに生成する。「フィールドＩＤ」の項目には、当該フィールドＩＤが、フィールド検出部１７によって書き込まれる。「左上のＸ，Ｙ座標」の項目には、フィールドを構成する左端の矩形の左上のＸ，Ｙ座標情報がフィールド検出部１７によって書き込まれ、「右下のＸ，Ｙ座標」の項目には、フィールドを構成する右端の矩形の右下のＸ，Ｙ座標情報がフィールド検出部１７によって書き込まれる。「構成矩形」の項目には、フィールドを構成する矩形を示す矩形ＩＤがフィールド検出部１７によって書き込まれる。

矩形消去部２０は、矩形情報記憶部５０に記憶されている矩形情報を用いて、画像合成部１４が出力する帳票画像データに含まれる矩形を消去する。罫線消去対応画像分割部２１は、矩形消去部２０によって矩形が消去された帳票画像データを４分割して、罫線消去部２２に出力する。ここで、罫線消去対応画像分割部２１による帳票画像データの４分割は、上述した画像分割部１１が行う上下辺の中点を結ぶ線分と、左右辺の中点を結ぶ線分とによる４等分とは異なる。罫線消去対応画像分割部２１による４分割は、罫線消去部２２が線分を罫線として検出する黒色画素の長さ分、分割の境界領域を拡張する拡張領域を含んだ分割となる。罫線消去部２２は、罫線消去用に分割された帳票画像データの各々から画像処理により罫線を消去する。罫線消去対応画像合成部２３は、罫線消去部２２による罫線消去後の分割された帳票画像データの各々から上記の拡張領域を削除して合成を行う。

文字検出部２４は、罫線消去対応画像合成部２３が合成した、矩形と罫線が消去された帳票画像データから画像処理により１文字ずつ文字認識を行い、文字を検出する。文字検出部２４が、最終的に検出する文字を示す情報は、例えば、文字コードなどの文字情報である。なお、認識した文字から文字コードへの変換は、文字検出部２４が、予め内部に記憶してある変換テーブルにより変換してもよいし、文字検出部２４が、外部のデータベース等を参照して、認識した文字から文字コードへの変換を行うようにしてもよい。また、文字検出部２４は、検出した文字に外接する外接矩形を検出し、検出した外接矩形の左上のＸ，Ｙ座標情報と右下のＸ，Ｙ座標情報とを検出する。また、文字検出部２４は、検出した文字の文字情報と、文字の外接矩形の左上のＸ，Ｙ座標情報と右下のＸ，Ｙ座標情報とを文字情報記憶部５２に書き込む。

文字情報記憶部５２は、図４に示すデータ構成の文字情報を記憶し、文字情報は、「文字ＩＤ」、「認識文字」、「左上のＸ，Ｙ座標」、「右下のＸ，Ｙ座標」の項目を有する。文字ＩＤは、１つの帳票画像データにおいて認識した各文字を一意に識別可能なＩＤであり、文字検出部２４が文字を検出するごとに生成する。「文字ＩＤ」の項目には、当該文字ＩＤが、文字検出部２４によって書き込まれる。「認識文字」の項目には、文字検出部２４が画像処理により認識して検出した文字の文字情報が文字検出部２４によって書き込まれる。「左上のＸ，Ｙ座標」と「右下のＸ，Ｙ座標」の項目には、文字検出部２４が検出した、文字の外接矩形の左上のＸ，Ｙ座標情報と右下のＸ，Ｙ座標情報とが文字検出部２４によって書き込まれる。

辞書属性情報記憶部５３には、図５に示す辞書属性情報が予め記憶されている。辞書属性情報は、「キーワード」と「属性情報」の項目を有しており、「キーワード」の項目には、検出対象としている帳票に予め印刷される文字、または文字列からなる文字情報が予め記憶される。また、「キーワード」の項目の情報は、キーワード検出部２５が、文字情報記憶部５２に記憶されている文字からキーワードを検出する際に、辞書情報としても用いられる。「属性情報」の項目には、キーワードに対応付けられる属性を示す情報が予め書き込まれる。属性を示す情報とは、例えば、文字枠に記入される文字の種類などを示す情報であり、「依頼日」というキーワードであれば、年月日が書き込まれるため、数値という属性が書き込まれる。また、「依頼日」のキーワードに対するフィールドにおいて、より詳細に、西暦の下２桁を示す２つの文字枠、月を示す２つの文字枠、日を示す２つの文字枠の合計６つの文字枠から構成されることが予め定められている場合、それぞれの文字枠に記入される数字の範囲、例えば、日を示す２つの文字枠については、１つめ文字枠には、０〜３のいずれか、２つめの文字枠には０〜９のいずれかが記入されるという属性が予め書き込まれるようになっていてもよい。

「月」というキーワードであれば、２つの文字枠について、１つめの文字枠には、０か１、２つめの文字枠には、１〜９の数字が書き込まれることが属性情報として予め書き込まれるようになっていてもよいし、２つの文字枠に書き込まれる数値が、１〜１２の整数であることが属性情報として予め書き込まれるようになっていてもよい。この場合、例えば、「属性情報」の項目に、「数値（範囲指定有り）」という属性が書き込まれ、「範囲指定有り」の部分には、具体的には「１〜１２のいずれかの整数」といった内容が書き込まれることになる。
また、「都道府県」というキーワードの場合には、都道府県名のいずれかを示す漢字が書き込まれる場合もあるが、いくつかの都道府県を選択するようになっている場合、選択肢となっている所定の都道府県名が属性情報として予め書き込まれることになる。

キーワード検出部２５は、文字情報記憶部５２に記憶されている文字情報に基づいて、キーワードを構成している文字を検出し、検出したキーワードのうち辞書属性情報記憶部５３の「キーワード」の項目に予め書き込まれている文字列または文字に完全一致、または、部分一致するものをキーワードとして検出する。また、キーワード検出部２５は、キーワードを検出すると、当該キーワードに対応付けられている属性情報を辞書属性情報記憶部５３から読み出す。また、キーワード検出部２５は、検出したキーワードの外接矩形を検出し、検出した外接矩形の左上のＸ，Ｙ座標情報と右下のＸ，Ｙ座標情報を検出する。また、キーワード検出部２５は、１つの帳票画像データでキーワード検出部２５が検出したキーワードを一意に識別可能なＩＤであるキーワードＩＤを生成し、検出したキーワードと、対応する属性情報と、検出した外接矩形の左上のＸ，Ｙ座標情報と右下のＸ，Ｙ座標情報とを、生成したキーワードＩＤに対応付けて帳票定義情報記憶部５４に書き込む。また、キーワード検出部２５は、キーワードＩＤとキーワード外接矩形の情報、すなわち外接矩形の左上のＸ，Ｙ座標情報と右下のＸ，Ｙ座標情報をキーワード対応矩形検出部２６に出力する。

帳票定義情報記憶部５４は、図６に示すデータ構成の帳票定義情報を記憶し、帳票定義情報は、「キーワードＩＤ」、「内容」、「属性情報」、「左上のＸ，Ｙ座標」、「右下のＸ，Ｙ座標」、「対応矩形」、「対応フィールド」の項目を有する。「キーワードＩＤ」の項目には、キーワード検出部２５によって、キーワード検出部２５が生成したキーワードＩＤが書き込まれる。「内容」の項目には、キーワード検出部２５が検出したキーワードの内容を示す文字列または文字が書き込まれる。「属性情報」の項目には、キーワード検出部２５が、検出したキーワードに基づいて、辞書属性情報記憶部５３から読み出した属性情報が書き込まれる。「左上のＸ，Ｙ座標」と「右下のＸ，Ｙ座標」の項目には、キーワード検出部２５が検出したキーワードの外接矩形の左上のＸ，Ｙ座標情報と右下のＸ，Ｙ座標情報がキーワード検出部２５によって書き込まれる。「対応矩形」の項目には、キーワード対応矩形検出部２６が検出したキーワードを囲む矩形の矩形ＩＤがキーワード対応矩形検出部２６によって書き込まれる。「対応フィールド」の項目には、フィールド探索部２７が検出したキーワードに対応するフィールドのフィールドＩＤが、フィールド探索部２７によって書き込まれる。なお、「対応矩形」及び「対応フィールド」の項目は、キーワード検出部２５がキーワードＩＤを書き込んでレコードを生成した際に、初期値としてキーワード検出部２５によって空欄「−」が書き込まれる。

キーワード対応矩形検出部２６は、キーワード検出部２５が出力するキーワードの外接矩形の左上のＸ，Ｙ座標情報及び右下のＸ，Ｙ座標情報と、矩形情報記憶部５０に記憶されている文字枠以外の矩形の左上のＸ，Ｙ座標情報及び右下のＸ，Ｙ座標情報とに基づいて、キーワードを囲む矩形を検出する。また、キーワード対応矩形検出部２６は、検出した矩形を示す矩形ＩＤをキーワードＩＤに対応付けて帳票定義情報記憶部５４の「対応矩形」の項目に書き込む。なお、キーワードを囲む矩形が検出できなかった場合、キーワード対応矩形検出部２６は、当該項目に「なし」を書き込む。

フィールド探索部２７は、帳票定義情報記憶部５４に記憶されているキーワード外接矩形の座標情報と、フィールド情報記憶部５１に記憶されているフィールドの座標情報とを参照し、キーワードとフィールドの位置関係に基づいてキーワードに対応するフィールドを検出する。また、フィールド探索部２７は、帳票定義情報記憶部５４の「対応矩形」の項目に矩形のＩＤが記憶されている場合、キーワード外接矩形の座標情報に代えて、矩形の座標情報を矩形情報記憶部５０から読み出す。また、フィールド探索部２７は、読み出した矩形の座標情報と、フィールド情報記憶部５１に記憶されている座標情報とを参照し、キーワードを囲む矩形とフィールドの位置関係に基づいてキーワードに対応するフィールドを検出する。また、フィールド探索部２７は、検出したフィールドを示すフィールドＩＤを、当該キーワードを示すキーワードＩＤに対応付けて帳票定義情報記憶部５４の「対応フィールド」の項目に書き込む。

（帳票定義処理）
第１実施形態の帳票定義装置１による帳票定義の処理について説明する。図７及び図８は、帳票定義処理の流れを示すフローチャートである。画像読取部１０が、帳票を光学的に読み取り、例えば、図９に示す２４ビットで構成されるカラー帳票画像データＦを出力する（ステップＳａ１）。画像分割部１１は、画像読取部１０から出力されるカラー帳票画像データＦを４等分する（ステップＳａ２）。ここで、４等分とは、カラー帳票画像データＦの上下辺の中点を結ぶ線分と、左右辺の中点を結ぶ線分によって分割することであり、図１０に、４等分した左上の分割カラー帳票画像データＦ−Ｄ１を示す。２値化部１２と補正部１３は、図１０に示すようにスレッド１，２，３，４の４つのスレッドから構成され、各々のスレッド１，２，３，４は、それぞれ、画像分割部１１によって分割された分割カラー帳票画像データＦ−Ｄ１，Ｆ−Ｄ２，Ｆ−Ｄ３，Ｆ−Ｄ４に対して処理を行う。４つのスレッド１，２，３，４によりマルチスレッド処理を行うことで、分割カラー帳票画像データＦ−Ｄ１，Ｆ−Ｄ２，Ｆ−Ｄ３，Ｆ−Ｄ４の２値化の処理及び補正の処理が並行に行われ、画像処理の速度が向上するとともに、２値化品質の向上等を図ることができる。

画像分割部１１は、スレッド１，２，３，４の４つのスレッドの各々に分割した分割カラー帳票画像データＦ−Ｄ１，Ｆ−Ｄ２，Ｆ−Ｄ３，Ｆ−Ｄ４を出力する。２値化部１２のスレッド１は、画像分割部１１によって分割された左上の分割カラー帳票画像データＦ−Ｄ１を受けて、２値化を行い、分割帳票画像データＢＦ−Ｄ１を生成する（ステップＳａ３−１）。補正部１３のスレッド１は、分割帳票画像データＢＦ−Ｄ１が生成されると、矩形検出用の補正を行い、補正後の補正分割帳票画像データＢＦ−Ｄ１−Ｃを出力する（ステップＳａ４−１）。

矩形検出部１５による矩形の検出の処理は、長方形の形状、または略長方形の形状を矩形として検出する処理であり、矩形として検出するためには、矩形を構成する線において欠損がないことが条件となる。一方で、２値化部１２による２値化は、文字検出部２４によって文字が検出できるよう、文字の線が細くくっきりと残るような２値化を行う必要があり、この２値化の際に、矩形を構成する線に欠損が生じてしまう場合がある。したがって、補正部１３による補正処理は、線を膨張させて、２値化処理により生じた欠損を埋める画像処理となる。図１１から図１７は、補正部１３による補正処理を示す図である。補正部１３が行う膨張処理としては、以下に説明する、膨張処理Ａ、膨張処理Ｂ、膨張処理Ｃから、いずれかが予め選択されるものとする。

（膨張処理Ａ）
膨張処理Ａは、線を膨張させる際の一般的なアルゴリズムである。膨張処理Ａは、補正部１３が、１つずつの画素を選択していき、例えば、図１１に示すように、中央の「×」を注目画素として選択した場合に、注目画素の周辺に１つでも黒色の画素があれば、注目画素を黒色に置き換える処理である。具体的には、補正部１３は、注目画素が白色の画素であるとき、当該画素を膨張、すなわち黒色に変換させるか否かの判定を行う。そのために、まず、注目画素の周辺の画素、すなわち図１１に示す「○」のマークが付された画素に黒色があるか否かを判定する。図１１の例では、右下の画素が黒色であるため、補正部１３は、図１２のように注目画素を黒色に置き換える。これにより、膨張が行われる。補正部１３は、この処理を全ての画素について行うことにより、２値化された分割帳票画像データに含まれる線を膨張させていく。なお、図１１、１２の例では、指定周辺範囲を１としているため、注目画素の周辺は８近傍の画素となっているが、指定周辺範囲を２以上として周辺の画素を増やして、より多くの場合に膨張させるようにしてもよい。

（膨張処理Ｂ）
膨張処理Ｂは、注目画素の指定周辺範囲に存在する黒色画素の割合に基づいて、注目画素を黒色に置き換える処理である。上記の膨張処理Ａにおいて説明したように、指定周辺範囲を１とすると、指定周辺範囲は「○」で示される８近傍の画素となる。補正部１３に予め定められる割合を２５％とし、２５％以上の場合に補正部１３が注目画素を黒色に置き換えるとする。図１１の場合、周辺に１つの黒色画素が存在する。８個のうちの２５％は、２個となるため、図１１の場合、補正部１３は、注目画素を黒色に置き換えない。これに対して図１３のような場合、周辺に２つの黒色画素が存在する。したがって、補正部１３は、図１４に示すように注目画素を黒色に置き換える。補正部１３は、この処理を全ての画素について行うことにより、２値化された分割帳票画像データに含まれる線を膨張させることができる。なお、指定周辺範囲は、１に限られず、指定周辺範囲を２以上として周辺の画素を増やすようにしてもよい。

（膨張処理Ｃ）
膨張処理Ｃは、上記の膨張処理Ｂの手法に対してさらに黒色画素の分布の重みを膨張の判定要素に加えることで、より矩形の補正に特化させた膨張処理である。補正部１３は、図１５に示すように、「×」で示される中央の画素を注目画素として選択した場合、左右指定範囲画素に存在する黒色画素の数をカウントする。指定範囲を２とした場合、「○」で示される画素が左右指定範囲画素となる。補正部１３は、黒色画素をカウントする際に、黒色画素が注目画素から左に存在する場合、重みを「−１」し、右に存在する場合、重みを「＋１」する。なお、重みの初期値は０である。図１５の場合、左に黒色画素が１つ、右に黒色画素が２つ存在するため、黒色画素の個数としては３となる。膨張処理Ｂでは、指定周辺範囲の黒色画素の割合に基づいて注目画素を黒色に置き換えるか否かを判定していた。これに対して、膨張処理Ｃでは、予め定められる閾値を用いる。ここで、例えば、閾値を２とする。黒色画素の個数３は、閾値２以上の場合に該当するため、補正部１３は、注目画素について黒色への置き換えを行うと判定する。次に、補正部１３は、重みについて算出を行う。図１５の例では、左に１つ、右に２つ黒色画素が存在するため、補正部１３は、−１＋１＋１＝＋１として重みを算出する。重みが＋１の場合、注目画素から右に１画素ずらし、図１６において矢印によって示される画素を膨張させる起点とする。そして、起点となる画素の両側の画素を黒色に置き換える。置き換えると、図１７のようになり、結果として、白色であった注目画素「×」が黒色に置き換えられることになる。補正部１３は、上記の処理を注目画素の上下指定範囲の画素についても行い、この左右上下指定範囲の画素についての処理を全画素について行う。

図１０に戻り、スレッド２、３、４において、ステップＳａ３−１と同様に、分割カラー帳票画像データＦ−Ｄ２、Ｆ−Ｄ３、Ｆ−Ｄ４に対して、２値化部１２による２値化の処理が行われ、これにより２値化部１２による２値化の処理が完了する（ステップＳａ３）。また、スレッド２、３、４において、ステップＳａ４−１と同様に、補正部１３による上記の線を膨張させる補正の処理が行われ、これにより補正部１３による補正の処理が完了する（ステップＳａ４）。

２値化部１２及び補正部１３のスレッド１，２，３，４は、それぞれ補正されていない２値化された分割帳票画像データＢＦ−Ｄ１，ＢＦ−Ｄ２，ＢＦ−Ｄ３，ＢＦ−Ｄ４と、補正されている２値化された分割帳票画像データＢＦ−Ｄ１−Ｃ，ＢＦ−Ｄ２−Ｃ，ＢＦ−Ｄ３−Ｃ，ＢＦ−Ｄ４−Ｃの２種類の画像データを出力する。このとき、補正部１３による補正処理に要した時間について遅延が生じるため、処理の同期が行われ、これら２種類の画像データは、同じタイミングで画像合成部１４に対して２値化部１２と補正部１３とが出力する。画像合成部１４は、分割帳票画像データＢＦ−Ｄ１，ＢＦ−Ｄ２，ＢＦ−Ｄ３，ＢＦ−Ｄ４が、スレッド１，２，３，４から出力されると、これらを合成してキーワード検出用の帳票画像データＢＦを出力して、接続点Ｂに進む（ステップＳａ２０）。
また、画像合成部１４は、補正分割帳票画像データＢＦ−Ｄ１−Ｃ，ＢＦ−Ｄ２−Ｃ，ＢＦ−Ｄ３−Ｃ，ＢＦ−Ｄ４−Ｃが、スレッド１，２，３，４から出力されると、これらを合成して矩形検出用の補正帳票画像データＢＦ−Ｃを出力する（ステップＳａ５）。

矩形検出部１５は、補正帳票画像データＢＦ−Ｃに含まれる矩形を画像処理によって検出し、検出した矩形ごとに、左上のＸ，Ｙの座標情報と、右下のＸ，Ｙの座標情報を検出する。矩形検出部１５は、矩形を一意に識別可能な矩形ＩＤを生成し、生成した矩形ＩＤと、検出した左上のＸ，Ｙの座標情報と、右下のＸ，Ｙの座標情報とを対応付けて矩形判定部１６に出力する（ステップＳａ６）。矩形判定部１６は、矩形検出部１５が出力する左上のＸ，Ｙの座標情報と、右下のＸ，Ｙの座標情報と、予め内部に定められている文字枠矩形の大きさの情報とを比較して、矩形検出部１５が出力する矩形が文字枠矩形であるか否かを判定する（ステップＳａ７）。なお、矩形検出部１５が検出する矩形は、上述したように必ずしも長方形ではなく、略長方形も含まれるため、大きさの比較は、一致するか否かではなく、予め定められる文字枠矩形の大きさを基準として、大きすぎないか、または、小さすぎないかという一定の範囲に存在するか否かを判定することになる。したがって、文字枠矩形の大きさの条件に加えて、当該範囲の条件についても矩形判定部１６の内部に予め定められることになる。矩形判定部１６は、文字枠矩形であると判定した場合、矩形ＩＤと、左上のＸ，Ｙの座標情報と、右下のＸ，Ｙの座標情報と、「文字枠」を示す情報とを対応付けて矩形情報記憶部５０に書き込む。一方、矩形判定部１６は、文字枠矩形でないと判定した場合、矩形ＩＤと、左上のＸ，Ｙの座標情報と、右下のＸ，Ｙの座標情報と、「その他」を示す情報とを対応付けて矩形情報記憶部５０に書き込む（ステップＳａ８）。

矩形判定部１６による矩形情報記憶部５０への矩形情報の書き込みが終了すると、接続点Ａを通じて、図８に示すように、フィールド検出部１７によるフィールド検出処理が開始される(ステップＳａ９)。フィールド検出部１７に対して処理の開始を通知する構成としては、例えば、矩形検出部１５から、１つの補正帳票画像データについての矩形検出の処理の完了の通知を受けた矩形判定部１６が、最後の矩形情報を矩形情報記憶部５０に書き込んだ際に、処理完了の通知を、フィールド検出部１７に対する処理開始の通知として出力する構成が適用される。

（フィールド検出処理）
図１８、１９は、フィールド検出部１７によるフィールド検出処理を示すフローチャートである。フィールド検出部１７は、矩形情報記憶部５０において「矩形種別」の項目が「文字枠」であって、「処理状態」の項目が、「済み」となっていない矩形を参照し、参照した文字枠矩形のうち左上の頂点のＸ軸の座標値が最も小さい文字枠矩形を基準文字枠矩形として選択する（ステップＳｂ１）。フィールド検出部１７は、選択した基準文字枠矩形の左上の頂点のＹ軸の座標値を参照し、当該座標値と、左上の頂点のＹ軸の座標値が概ね等しい他の文字枠矩形を抽出する（ステップＳｂ２）。図２０は、ステップＳｂ２の処理を示す図である。基準文字枠矩形として文字枠矩形Ｒ１を選択した場合、フィールド検出部１７は、左上のＹ軸の座標値が等しいか、ほぼ等しい文字枠矩形Ｒ３、Ｒ５を他の文字枠矩形として抽出し、文字枠矩形Ｒ２、Ｒ４は、抽出しない。この処理は、フィールドを構成する文字枠は、横書きの場合には、上辺がＹ軸において同じ位置、またはほぼ同じ位置になっていることから、この条件を満たす他の文字枠矩形を抽出することを目的としている。フィールド検出部１７は、ステップＳｂ２において、他の文字枠矩形を抽出したかを判定し、抽出していない場合、接続点Ｃを通じてステップＳｂ１４に進む。一方、フィールド検出部１７は、他の文字枠矩形を抽出した場合、ステップＳｂ４に進む。

フィールド検出部１７は、他の文字枠矩形を抽出した場合、基準文字枠矩形として選択した矩形の左上のＸ軸の座標値と、抽出した他の文字枠矩形の左上のＸ軸の座標値との差、すなわち、隣接する文字枠矩形との間の距離が、予め定められる所定値以下である他の文字枠矩形を隣接文字枠矩形として選択する。このとき、所定値以下の条件を満たす他の文字枠矩形が複数存在する場合、基準文字枠矩形との距離が最も近い他の文字枠矩形を隣接文字枠矩形として選択する（ステップＳｂ４）。フィールド検出部１７は、選択した隣接文字枠矩形にさらに隣接文字枠矩形が存在するか否かを判定する（ステップＳｂ５）。選択した隣接文字枠矩形にさらに隣接文字枠矩形が存在すると判定した場合、フィールド検出部１７は、選択した隣接文字枠矩形を基準文字枠矩形に置き換えてステップＳｂ４からの処理を繰り返す（ステップＳｂ６）。

図２１は、ステップＳｂ４〜Ｓｂ６の処理を示す図である。同図において、例えば、文字枠矩形Ｒ１〜Ｒ４は、同じ大きさであり、文字枠矩形Ｒ１〜Ｒ４のＸ軸方向の幅は、全て８ピクセルであり、予め定められる所定値の範囲が１２ピクセルであるとする。最初に基準文字枠矩形として選択された文字枠矩形Ｒ１の左上のＸ軸の座標値と、文字枠矩形Ｒ２〜Ｒ４の左上のＸ軸の文字枠矩形の差を算出する。基準文字枠矩形Ｒ１と、文字枠矩形Ｒ２，Ｒ３，Ｒ４との差は、それぞれ、（８＋２＝１０）ピクセル、（１０＋８＋３＝２１）ピクセル、（２１＋８＋１０＝３９）ピクセルとなり、３ピクセル範囲内に存在するのは、文字枠矩形Ｒ２となる。フィールド検出部１７は、文字枠矩形Ｒ２を隣接文字枠矩形として選択し、さらに、文字枠矩形Ｒ２を基準文字枠矩形として、ステップＳｂ４以降の処理を繰り返す。文字枠矩形Ｒ３も、文字枠矩形Ｒ２との関係では、ステップＳｂ４の条件を満たすことから、フィールド検出部１７は、隣接文字枠矩形として選択する。文字枠矩形Ｒ４については、文字枠矩形Ｒ３との関係では、ステップＳｂ４の条件を満たさないことから、フィールド検出部１７は、隣接文字枠矩形として選択しない。したがって、図２１の場合、隣接文字枠矩形としてフィールド検出部１７が選択するのは文字枠矩形Ｒ２，Ｒ３となる。

一方、ステップＳｂ５において、選択した隣接文字枠矩形にさらに隣接文字枠矩形が存在しないと判定した場合、フィールド検出部１７は、隣接文字枠矩形として選択した文字枠矩形の個数を判定する。選択した隣接文字枠矩形の個数が０個の場合、フィールド検出部１７は、接続点Ｃを通じてステップＳｂ１４に進む。選択した隣接文字枠矩形の個数が１個の場合、フィールド検出部１７は、接続点Ｅを通じてステップＳｂ１０に進む。選択した隣接文字枠矩形の個数が複数個の場合、フィールド検出部１７は、接続点Ｄを通じてステップＳｂ８に進む（ステップＳｂ７）。図１９に示すステップＳｂ８において、フィールド検出部１７は、ステップＳｂ１で最初に基準文字枠矩形として選択した文字枠矩形を基準文字枠矩形として再設定する（ステップＳｂ８）。

フィールド検出部１７は、基準文字枠矩形を基準として、選択した複数の文字枠矩形のうち概ね等間隔に並んでいる文字枠矩形を抽出する（ステップＳｂ９）。図２２は、ステップＳｂ９の処理を示す図であり、例えば、文字枠矩形Ｒ１が、基準文字枠矩形として選択されている場合、フィールド検出部１７は、２ピクセルの等間隔で並んでいる文字枠矩形Ｒ２，Ｒ３を抽出する。これに対して、文字枠矩形Ｒ３と文字枠矩形Ｒ４との距離は、５ピクセルになっており、等間隔ではないため、フィールド検出部１７は、文字枠矩形Ｒ４を抽出しない。

フィールド検出部１７は、基準文字枠矩形を基準として、左上のＸ軸の座標値が基準文字枠矩形の次に小さい隣接文字枠矩形、すなわち基準文字枠矩形に隣接する文字枠矩形を選択する。そして、フィールド検出部１７は、選択した隣接文字枠矩形の高さ、すなわち左上のＹ軸の座標値と左下のＹ軸の座標値の差と、基準文字枠矩形の高さとが概ね等しいか否かを判定する（ステップＳｂ１０）。フィールド検出部１７は、基準文字枠矩形の高さと、選択した隣接文字枠矩形の高さが概ね等しいと判定した場合、ステップＳｂ１１に進む。一方、フィールド検出部１７は、基準文字枠矩形の高さと、選択した隣接文字枠矩形の高さが概ね等しくないと判定した場合、ステップＳｂ１４に進む。

フィールド検出部１７は、基準文字枠矩形の高さと、選択した隣接文字枠矩形の高さが概ね等しいと判定した場合、選択した隣接文字枠矩形をフィールドを構成する文字枠矩形として選択する（ステップＳｂ１１）。フィールド検出部１７は、フィールドを構成する文字枠矩形として選択した隣接文字枠矩形にさらに隣接文字枠矩形が存在するか否かを判定する（ステップＳｂ１２）。フィールドを構成する文字枠矩形として選択した隣接文字枠矩形にさらに隣接文字枠矩形が存在すると判定した場合、フィールド検出部１７は、フィールドを構成する文字枠矩形として選択した隣接文字枠矩形を基準文字枠矩形に置き換えてステップＳｂ１０からの処理を繰り返す（ステップＳｂ１３）。図２３は、ステップＳｂ１０〜Ｓｂ１３の処理を示す図であり、フィールド検出部１７は、文字枠矩形Ｒ１と、文字枠矩形Ｒ２とは、高さが概ね等しいため文字枠矩形Ｒ２をフィールドを構成する文字枠矩形として選択する。これに対して、フィールド検出部１７は、文字枠矩形Ｒ２と文字枠矩形Ｒ３との高さが異なるため、文字枠矩形Ｒ３をフィールドを構成する文字枠矩形として選択しない。

ここまでの文字枠矩形の分類処理で、ステップＳｂ１で基準文字枠矩形として選択した文字枠矩形を１つだけ含む区分か、または、ステップＳｂ１で基準文字枠矩形として選択した文字枠矩形及び１つまたは複数のフィールドを構成する隣接文字枠矩形を含む区分への分類が完了する。フィールド検出部１７は、フィールドＩＤを生成し、生成したフィールドＩＤに対応付けて、分類した区分に含まれる文字枠矩形の矩形ＩＤを１つのフィールドとしてフィールド情報記憶部５１に書き込む（ステップＳｂ１４）。フィールド検出部１７は、フィールドを構成する全ての矩形の矩形ＩＤに対応する矩形情報記憶部５０の「処理状態」の項目に「済み」の項目を書き込む（ステップＳｂ１５）。フィールド検出部１７は、矩形情報記憶部５０を参照し、「矩形種別」が「文字枠」であって「処理状態」の項目に「済み」が書き込まれていない矩形が存在するか否かを判定する（ステップＳｂ１６）。フィールド検出部１７は、「矩形種別」が「文字枠」であって「処理状態」の項目に「済み」が書き込まれていない矩形が存在する場合、ステップＳｂ１からの処理を繰り返し、「矩形種別」が「文字枠」であって「処理状態」の項目に「済み」が書き込まれていない文字枠矩形が存在しない場合、フィールド検出処理を終了する。

（矩形と罫線の消去）
図８の接続点Ｂに戻り、矩形消去部２０は、矩形情報記憶部５０に記憶されている矩形情報を用いて、帳票画像データＢＦから矩形を消去する（ステップＳａ２１）。矩形消去部２０に対して処理の開始を通知する構成としては、例えば、矩形検出部１５から、１つの補正帳票画像データについての矩形検出の処理の完了の通知を受けた矩形判定部１６が、最後の矩形情報を矩形情報記憶部５０に書き込んだ際に、その処理完了の通知を、矩形消去部２０に対する処理開始の通知として出力する構成が適用される。罫線消去対応画像分割部２１は、矩形消去部２０が出力する矩形が消去された帳票画像データＢＦ−Ｒを受けて、罫線消去用の画像の分割を行う（ステップＳａ２２）。

ここで、図２４、２５を参照しつつ、罫線消去用の画像の分割について説明する。罫線を消去する画像処理としては、例えば、３０ピクセル以上の黒色画素が連続している部分を罫線と判定して白色のピクセルに置き換えて罫線を消去していく画像処理などが適用される。なお、罫線は、直線に限られるものではなく曲線なども含み、罫線であるか否かの判定は、黒色画素の連続数の変わりに、黒色画素の密度などであってもよい。罫線消去用の画像分割とは、罫線消去部２２における罫線であるか否かの判定処理を考慮して、境界領域において罫線の判定処理が上手く行われるように境界を少し拡張し、少し大きめの領域に分割する処理である。具体的には、図２５に示すように、帳票画像データＢＦ−Ｒの上下辺の中点を結ぶ線分、すなわちＤＬ１の線分と、左右辺の中点を結ぶ線分、すなわちＤＬ２の線分によって区切られる領域よりも、拡張領域ＥＸ１と拡張領域ＥＸ２を加えた少し大きめの領域（１）となるように画像分割を行う。

例えば、連続する３０ピクセルで罫線と判定する場合、線分ＤＬ１の左側に１ピクセルだけ存在し、残りの２９ピクセルが線分Ｄ１と垂直方向に直線で線分ＤＬ１の右側に存在する場合であっても線分ＤＬ１の左側の１ピクセルを罫線として消去する必要がある。そのため、拡張する拡張領域ＥＸ１の幅を２９ピクセルとすることにより、線分ＤＬ１の左側の１ピクセルは、罫線消去部２２による罫線の消去処理において、連続して存在する３０ピクセルの左端のピクセルとなり、消去されることになる。縦方向の拡張領域ＥＸ２についても同様に２９ピクセルとなる。なお、拡張領域ＥＸ１，ＥＸ２の大きさは、どれだけのピクセルを罫線として判定するかという画像処理の構成に依存するとともに、画像読取部１０が読み取った画像の解像度によっても適宜変更されるものである。

図２５のように分割した場合、少し大きめの領域に分割することから、図２４に示すように領域（１）、（２）、（３）、（４）は、境界領域においてお互い重なった部分が存在することになる。なお、図２４において、領域（１）と領域（４）は、太線で境界線を表し、領域（２）と領域（３）は、境界線を破線で示している。罫線消去対応画像合成部２３において画像を合成する場合には、それぞれ、線分ＤＬ１及び線分ＤＬ２によって区切られる領域、すなわち領域（１）については、罫線消去後に、拡張領域ＥＸ１，ＥＸ２の部分を削除した領域を合成する。

図２６に示すように、罫線消去対応画像分割部２１は、矩形が消去された帳票画像データＢＦ−Ｒを４つの領域に分割すると、各々を、罫線消去部２２を構成するスレッド１，２，３，４に出力する。スレッド１における処理について説明すると、分割された分割帳票画像データＢＦ−ＲＤ１Ｗ（上記の領域（１）に対応）は、罫線消去部２２のスレッド１によって画像処理により罫線の消去が行われる（ステップＳａ２３−１）。罫線消去部２２のスレッド１は、罫線を消去した分割帳票画像データＢＦ−ＲＬＤ１Ｗを出力する。スレッド１と同様の処理がスレッド２，３，４においても行われ、これにより、罫線消去の処理が完了し、スレッド１，２，３，４の各々が罫線を消去した分割帳票画像データＢＦ−ＲＬＤ２Ｗ，ＢＦ−ＲＬＤ３Ｗ，ＢＦ−ＲＬＤ４Ｗを出力する（ステップＳａ２３）。４つのスレッド１，２，３，４によりマルチスレッド処理を行うことで、分割帳票画像データＢＦ−ＲＤ１Ｗ，ＢＦ−ＲＤ２Ｗ，ＢＦ−ＲＤ３Ｗ，ＢＦ−ＲＤ４Ｗに対する罫線消去の処理が並行に行われるため、計算量が多い罫線消去の処理の処理負荷を軽減して画像処理の速度を向上させることができる。

罫線消去対応画像合成部２３は、分割帳票画像データＢＦ−ＲＬＤ１Ｗの中から、図２５に示す拡張領域ＥＸ１，ＥＸ２を含まない画像領域の画像を抽出する。換言すると、罫線消去対応画像合成部２３は、分割帳票画像データＢＦ−ＲＬＤ１Ｗについて、拡張領域ＥＸ１，ＥＸ２を除いた画像を取得する。また、罫線消去対応画像合成部２３は、分割帳票画像データＢＦ−ＲＬＤ２Ｗ，ＢＦ−ＲＬＤ３Ｗ，ＢＦ−ＲＬＤ４Ｗにおいても同様に、それぞれの拡張領域ＥＸ１，ＥＸ２に相当する拡張領域を含まない画像領域を抽出する。罫線消去対応画像合成部２３は、抽出した分割帳票画像データＢＦ−ＲＬＤ１Ｗ，ＢＦ−ＲＬＤ２Ｗ，ＢＦ−ＲＬＤ３Ｗ，ＢＦ−ＲＬＤ４Ｗを合成し、罫線と矩形が消去された帳票画像データＢＦ−ＲＬＷを出力する（ステップＳａ２４）。

（文字の検出）
文字検出部２４は、罫線と矩形が消去された帳票画像データＢＦ−ＲＬＷから画像処理により文字を１文字ずつ検出し、検出した文字を文字コードなどの文字情報へ変換する。また、文字検出部２４は、検出した文字の座標情報、すなわち、左上のＸ，Ｙ座標と右下のＸ，Ｙ座標を検出する。文字検出部２４は、文字を検出するごとに文字ＩＤを生成し、生成した文字ＩＤと、検出した文字の文字コードなどの文字情報と、検出した文字の座標情報とを文字情報記憶部５２に書き込む（ステップＳａ２５）。

（キーワードの検出）
キーワード検出部２５は、１つの帳票画像データにおいて文字検出部２４による文字検出の処理が全て完了すると、検出された文字からキーワードを検出する。なお、キーワード検出部２５に対して処理の開始を通知する構成としては、例えば、文字検出部２４が、１つの帳票画像データにおいて、全ての文字の検出処理を完了すると、処理完了の通知をキーワード検出部２５に対する処理開始の通知として出力する構成が適用される。

キーワード検出部２５によるキーワードの検出は、まず、文字情報記憶部５２に記憶されている文字の位置関係、大きさ、文字同士の並びの間隔などの情報に基づいて可能性のあるキーワードを全て検出していく。そして、検出したキーワードのなかで、辞書属性情報記憶部５３の「キーワード」の項目に記憶されている文字列または文字に完全一致、または部分一致するキーワードを検出する（ステップＳａ２６）。ここで、キーワード検出部２５が、検出したキーワードが、例えば「振込み手数料」である場合、キーワード検出部２５は、辞書属性情報記憶部５３の「キーワード」の項目に完全一致、または、部分一致するキーワードが存在するか否かを判定する。ここでは、検出したキーワードに完全一致する「振込み手数料」が「キーワード」の項目に存在するため、キーワード検出部２５は、「振込み手数料」をキーワードとして検出する。キーワード検出部２５は、キーワードを検出すると、検出したキーワードに対応する属性情報を辞書属性情報記憶部５３から読み出す。図５の例では、「振込み手数料」のキーワードに属性情報として「数値」が記憶されているため、「数値」を属性情報として読み出す（ステップＳａ２７）。

例えば、キーワード検出部２５が、文字情報記憶部５２に記憶されている文字から「ご依頼日」のようなキーワードを検出したとする。この場合、「ご依頼日」のキーワードは、辞書属性情報記憶部５３の「キーワード」の項目に記憶されている「依頼日」と「日」の双方に部分一致する。したがって、キーワード検出部２５は、部分一致するものがあるため、キーワードとして「ご依頼日」を検出することになるが、これに対する「属性情報」を正しく読み出すことができない。そのため、部分一致するものが複数存在する場合には、最も多くの文字数で一致したものに対応すると判定し、それに対応する属性情報を読み出すことになる。

キーワード検出部２５は、キーワード外接矩形の座標情報を検出する。図２７は、キーワード外接矩形ＫＣＲを示す図であり、例えば、「氏名」というキーワードを検出した場合、キーワード外接矩形は、「氏名」というキーワードのＸ軸における最小と最大の座標、及びＹ軸における最小と最大の座標によって囲まれる矩形となる。したがって、キーワード検出部２５は、「氏名」というキーワードの場合、文字情報記憶部５２に記憶されている「氏」と「名」のそれぞれの左上のＸ，Ｙ座標情報と、右下のＸ、Ｙ座標情報から、Ｙ軸については、最小と最大の座標情報をそれぞれｙ_１とｙ_２として選択する。また、キーワード検出部２５は、Ｘ軸については、左に配置されている「氏」の左上のＸ軸の座標情報を、最小の座標値ｘ_１とし、右に配置されている「名」の右下のＸ軸の座標情報を、最大の座標値ｘ_２として選択する。これにより、キーワード検出部２５は、キーワード「氏名」のキーワード外接矩形の座標情報として、左上のＸ，Ｙ座標情報（ｘ_１，ｙ_１）、及び右下のＸ，Ｙ座標情報（ｘ_２，ｙ_２）を検出する（ステップＳａ２８）。キーワード検出部２５は、新たなキーワードを検出するごとに、キーワードＩＤを生成し、生成したキーワードＩＤと、検出したキーワードと、キーワードに対応する属性情報と、キーワード外接矩形の左上のＸ，Ｙの座標情報及び右下のＸ，Ｙの座標情報とを対応付けて帳票定義情報記憶部５４に書き込む（ステップＳａ２９）。

また、キーワード検出部２５は、キーワードＩＤ、左上のＸ，Ｙの座標情報、右下のＸ，Ｙの座標情報をキーワード対応矩形検出部２６に出力する。キーワード対応矩形検出部２６は、キーワード検出部２５から左上のＸ，Ｙの座標情報、右下のＸ，Ｙの座標情報を受けて、２つの座標によって定められるキーワード外接矩形を囲む適切な大きさの矩形が存在するか否かを、矩形情報記憶部５０に記憶されている「矩形種別」が「その他」の矩形の中から検出する。適切な大きさの矩形とは、例えば、キーワードを囲む矩形として大きすぎない矩形を意味する。具体的には、図２８に示すように、キーワード対応矩形検出部２６は、予め定められるＸ軸方向の閾値と、Ｙ軸方向の閾値を内部に記憶しており、キーワード外接矩形ＫＣＲの左上のＸ、Ｙ座標（ｘ_１，ｙ_１）及び右下のＸ，Ｙ座標（ｘ_２，ｙ_２）と、矩形ＫＲの左上のＸ、Ｙ座標（Ｘ_１，Ｙ_１）及び右下のＸ，Ｙ座標（Ｘ_２，Ｙ_２）とに基づいて、ｘ_１−Ｘ_１，Ｘ_２−ｘ_２，ｙ_１−Ｙ_１，Ｙ_２−ｙ_２を算出する。上述したように座標系は、左上を原点とし、Ｘ軸については、右方向、Ｙ軸については、下方向を正としていることから、「氏名」というキーワードが、矩形ＫＲに囲まれている場合、上記の４つの式により得られる値は、全て正の値となる。また、キーワード対応矩形検出部２６は、ｘ_１−Ｘ_１の差及びＸ_２−ｘ_２の差のそれぞれが、上記のＸ軸方向の閾値以内であり、ｙ_１−Ｙ_１の差及びＹ_２−ｙ_２の差のそれぞれが、上記のＹ軸方向の閾値以内である場合、キーワード外接矩形を囲む適切な大きさの矩形であると判定する。キーワード対応矩形検出部２６は、この判定処理により、キーワード外接矩形を囲む矩形を検出した場合、検出した矩形の矩形ＩＤを矩形情報記憶部５０から読み出し、キーワードＩＤと、読み出した矩形ＩＤとを対応付けて帳票定義情報記憶部５４の「対応矩形」の項目に書き込む。なお、キーワードを囲む矩形が検出できなかった場合、キーワード対応矩形検出部２６は、「対応矩形」の項目に「なし」を書き込む（ステップＳａ３０）。

（フィールド探索処理）
フィールド探索部２７は、帳票定義情報記憶部５４に書き込まれたキーワードに対応して帳票に印刷されているフィールドをフィールド情報記憶部５１から検出し、キーワードとフィールドの対応付けを行うフィールド探索処理を行う（ステップＳａ３１）。このとき、フィールド検出部１７によるステップＳａ９のフィールド検出処理が完了している必要があるため、フィールド検出処理が完了していない場合、フィールド探索部２７は、完了するまで待機して処理の同期を行う。

図２９は、フィールド探索処理の流れを示すフローチャートである。フィールド探索部２７は、帳票定義情報記憶部５４の「対応フィールド」の項目が、「−」で示される空欄となっているレコードを選択する（ステップＳｃ１）。フィールド探索部２７は、選択したレコードの「対応矩形」の項目に矩形ＩＤが記憶されているか否かを判定する（ステップＳｃ２）。フィールド探索部２７は、「対応矩形」の項目に矩形ＩＤが記憶されていない、すなわち「なし」となっている場合、帳票定義情報記憶部５４の「左上のＸ，Ｙ座標」と「右下のＸ，Ｙ座標」の座標情報、すなわちキーワード外接矩形の座標情報を読み出して基準矩形情報とする（ステップＳｃ３）。一方、フィールド探索部２７は、「対応矩形」の項目に矩形ＩＤが記憶されていると判定した場合、当該矩形ＩＤを読み出し、矩形情報記憶部５０から当該矩形ＩＤに対応する「左上のＸ，Ｙ座標」と「右下のＸ，Ｙ座標」の座標情報を読み出して基準矩形情報とする（ステップＳｃ４）。これにより、フィールド探索部２７は、矩形ＩＤが存在する場合は、図３０に示すようにキーワードを囲む矩形ＫＲ１の座標情報を、矩形ＩＤがない場合は、図３１に示すようにキーワード外接矩形ＫＣＲ１の座標情報を取得する。

フィールド探索部２７は、基準矩形情報に基づいて、基準矩形の形状が、縦長であるか、または横長であるかを判定する。縦長とは、キーワードが縦書きになっていることを示し、横長とは、キーワードが横書きになっていることを示す（ステップＳｃ５）。なお、キーワードの内容が１文字である場合などで、縦と横の辺の長さが同じ場合、縦長、横長のいずれを選択してもよい。

フィールド探索部２７は、基準矩形の形状が縦長であると判定した場合、図３０に示すように、横書きの帳票では、対応するフィールドは、右方向に存在する傾向がある。そこで、基準矩形の形状が縦長の場合、矩形ＫＲ１を基準矩形とし、以下の３つのパラメータを設定する（ステップＳｃ６）。３つのパラメータとは、すなわち、１）基準頂点：基準矩形の右上の座標、２）高さ：基準矩形の高さ±予め定められる誤差、３）横幅：Ｘ軸方向についての標準探索範囲±誤差、である。この３つのパラメータにより、図３２に示すようなフィールド探索範囲ＶＳＡ１を定める。ここで、１）の基準頂点とは、フィールド探索範囲ＶＳＡ１の座標位置を定める基準座標である。２）の高さとは、基準頂点にＹ軸方向の正方向に基準矩形の高さを加え、さらに予め定められる誤差をＹ軸の正負の方向に加えた値となる。３）の横幅とは、基準頂点にＸ軸方向の正方向に、予め定められるＸ軸方向についての標準探索範囲を加え、さらに予め定められる誤差をＸ軸の正負の方向に加えた値となる。３）のパラメータにおけるＸ軸方向についての標準探索範囲とは、経験的に定められるフィールドが存在すると想定される範囲であり、画像の解像度によって変化する値である。また、誤差についても同様に、経験的に定められる値であり、画像の解像度によって変化する値であり、高さと横幅の誤差の値は、同じ値であってもよいし、異なる値であってもよい。

一方、フィールド探索部２７は、基準矩形の形状が横長であると判定した場合、図３１に示すように、横書きの帳票では、対応するフィールドは、右、左下、または下方向に存在する傾向がある。そこで、基準矩形の形状が横長の場合、キーワード外接矩形ＫＣＲ１を基準矩形として、図３３に示すように３つのフィールド探索範囲ＨＳＡ１，ＨＳＢ１，ＨＳＣ１を設定する（ステップＳｃ７）。基準矩形の右に存在するフィールド探索範囲ＨＳＡ１は、１）基準頂点：基準矩形の右上の座標、２）高さ：基準矩形の高さ±誤差、３）横幅：Ｘ軸方向についての標準探索範囲±誤差の３つのパラメータにより設定される。基準矩形の左下に存在するフィールド探索範囲ＨＳＢ１は、１）基準頂点：基準矩形の左下の座標、２）高さ：Ｙ軸方向についての標準探索範囲±誤差、３）横幅：基準矩形の横幅／２の３つのパラメータにより設定される。基準矩形の下方向に存在するフィールド探索範囲ＨＳＣ１は、１）基準頂点：基準矩形の左下の座標、２）高さ：Ｙ軸方向についての標準探索範囲±誤差、３）横幅：基準矩形の横幅の３つのパラメータにより設定される。ここで、Ｘ軸方向についての標準探索範囲及びＹ軸方向についての標準探索範囲とは、経験的に定められるフィールドが存在すると想定される範囲であり、画像の解像度によって変化する値である。なお、Ｙ軸方向についての標準探索範囲は、フィールド探索範囲ＨＳＢ１，ＨＳＣ１について同じ値であってもよいし、異なる値であってもよい。また、誤差についても同様に、経験的に定められる値であり、画像の解像度によって変化する値であり、フィールド探索範囲ＨＳＡ１，ＨＳＢ１，ＨＳＣ１のそれぞれについて、同じ値であってもよいし、異なる値であってもよい。また、フィールド探索範囲ＨＳＡ１の高さと横幅の誤差の値は、同じ値であってもよいし、異なる値であってもよい。

フィールド探索部２７は、設定したフィールド探索範囲にフィールドが存在するか否かを判定する（ステップＳｃ８）。具体的には、フィールド探索部２７は、フィールド情報記憶部５１に記憶されている各フィールドの「左上のＸ，Ｙ座標」と「右下のＸ，Ｙ座標」の項目の座標値を参照し、これら２つの座標値によって囲まれる領域が、設定したフィールド探索範囲と重複するか否かによって判定を行う。例えば、図３２のフィールド探索範囲ＶＳＡ１の場合、図３４に示すようにフィールドＦＥ１の左側の部分がフィールド探索範囲ＶＳＡ１と重複しているので、フィールド探索部２７は、フィールドが存在するとして判定する。また、図３３のフィールド探索範囲ＨＳＡ１，ＨＳＢ１，ＨＳＣ１の場合、フィールドＦＥ２は、フィールド探索範囲ＨＳＢ１とは左側の部分で、フィールド探索範囲ＨＳＣ１とは中央の部分で重複しており、フィールド探索範囲ＨＳＡ１とは、右側の上方の一部が重複している。したがって、フィールド探索部２７は、フィールドが存在するとして判定する。

フィールド探索部２７は、フィールドが存在する判定した場合、当該フィールドのフィールドＩＤをフィールド情報記憶部５１から読み出す。そして、フィールド探索部２７は、処理対象のキーワードのキーワードＩＤに対応付けて、読み出したフィールドＩＤを帳票定義情報記憶部５４の「対応フィールド」の項目に書き込んで、キーワードとフィールドとを対応付ける（ステップＳｃ９）。なお、フィールド探索部２７は、あるキーワードについて、複数のフィールドを検出した場合、フィールドの左上の頂点と基準頂点の距離が最も短いフィールドを、当該キーワードに対するフィールドとして検出する。一方、フィールド探索部２７は、フィールドが存在しないと判定した場合、処理対象のキーワードのキーワードＩＤに対応付けて、帳票定義情報記憶部５４の「対応フィールド」の項目に「処理済み」と書き込む（ステップＳｃ１０）。

フィールド探索部２７は、帳票定義情報記憶部５４の「対応フィールド」の項目が空欄を示す「−」となっているレコードが存在するか否かを判定する（ステップＳｃ１１）。空欄になっているレコードが存在する場合、フィールド探索部２７は、ステップＳｃ１からの処理を繰り返す。一方、空欄になっているレコードが存在しない場合、フィールド探索部２７は、フィールド探索処理を終了する。

上記の第１実施形態の構成により、画像読取部１０が、帳票を光学的に読み取って帳票の画像データを生成し、２値化部１２によって、２値化された帳票画像データが生成される。補正部１３は、帳票画像データに対して２値化処理によって生じた欠損を埋める補正を行い補正帳票画像データを生成する。矩形検出部１５は、補正帳票画像データから矩形を検出し、フィールド検出部１７は、検出された矩形に基づいて、フィールドを検出する。一方、矩形消去部２０と罫線消去部２２によって矩形と罫線が消去された帳票画像データから、文字検出部２４は、文字を検出し、キーワード検出部２５は、検出された文字に基づいてキーワードを検出し、辞書属性情報記憶部５３に記憶されているキーワードに対応付けられている属性情報を読み出す。フィールド探索部２７は、フィールド検出部１７が検出したフィールドとキーワード検出部２５が検出したキーワードを対応付け、帳票定義情報記憶部５４に、帳票の定義情報として、キーワードとフィールドと属性情報とを関連付けて記憶させる。これにより、帳票を光学的に読み取って生成した帳票画像データから、手書き文字を記入させるフィールドと、当該フィールドに記入させる文字の種類等を示す属性情報が関連付けられるキーワードとを抽出して、関係のあるフィールドとキーワードとを対応付けることが可能となる。したがって、その後に、手書き記入された帳票を読み取った際に、フィールドとキーワードと属性情報とを対応付けた定義情報に基づいて、フィールドに記入された手書き文字の文字種が正しいものであるかといった判定処理が可能となり、誤っている場合、記入者に修正を促すことで、帳票に手書きで記入される情報の精度を高めることが可能となる。

また、上記の第１実施形態では、文字の検出率を高めるために細い線になるような２値化をした帳票画像データと、当該２値化された帳票画像データに対して、２値化処理によって生じた欠損を埋めるため線を膨張させる補正をして、矩形検出用の補正帳票画像データとの２種類の画像データを生成する構成にしている。この構成より、文字の検出率と、矩形の検出率の双方の精度を高めることが可能となる。一般に、矩形検出用に画像データを補正すると全体的に黒の割合が増えてしまい、特に、黒が多く分布している箇所ほど黒に補正される傾向があり、「番」や「麗」などの文字はつぶれやすい。この場合、文字の認識が難しくなるため、検出した文字列と辞書情報とのマッチングの精度が低下する。これを避けるため、文字の線が細くくっきりとなるような文字検出用の２値化と、線を太くする矩形検出用の２値化を行う２つの２値化の構成が必要となる。これに対して、第１実施形態では、２値化処理の際にまず、文字検出用の線を細くした画像データを生成し、その後に、矩形検出用に２値化によって生じた欠損を埋めるため線を膨張させる補正処理を行う構成となっている。そのため、二重に２値化処理の構成を備えなくてもよい構成となっている。そして、この構成により、文字が潰れにくい補正が可能となるため、より精度良く項目名を特定することができる。

補正部１３では、矩形の検出率を高める補正、すなわち、上述した膨張処理Ａ，Ｂ，Ｃのいずれかによる補正が行われている。これら膨張処理Ａ，Ｂ，Ｃの処理は、いずれも線を膨張させる処理であるが、大きく膨張させすぎると、付近の矩形と接触してしまい、矩形として正しく検出できなくなり、また、付近の矩形、文字、ノイズと接触して本来存在しない新たな矩形、すなわちノイズ矩形を生成してしまうことがある。したがって、他の矩形と接触させず、また、ノイズ矩形を生じさせないようにするためには、指定周辺範囲、指定範囲、閾値などのパラメータをどのように設定するかが重要となる。このパラメータの設定の違いによる効果の相違について図３６から図４３を参照して説明する。

図３６は、画像読取部１０によって光学的に読み取られたカラーの画像データであり、図３７は、２値化部１２による２値化処理によって、矩形を構成する連続線分に欠損が生じている状態を示す図である。図中において、斜線で塗りつぶされた箇所は、２値化された後の黒色のピクセルを示しており、黒色で塗りつぶされた箇所は、膨張処理による膨張によって黒色に塗りかえられたピクセルを示す。図３８から図４０は、図３７に示す画像データに対して、膨張処理Ｂを、それぞれ、指定周辺範囲１で、閾値を１、２、３と段階的に増加させていった場合の処理結果と、３つの指標についての判定結果を示す図である。ここで、３つの指標とは、矩形の補正、矩形の接触、ノイズ矩形であり、矩形の補正については、矩形の欠損が埋められている場合は、「○」を示し、矩形の欠損が残っている場合は、「×」を示す。矩形の接触については、２つの矩形が接触していない場合は、「○」を示し、接触している場合は、「×」を示す。ノイズ矩形については、膨張処理を行うことによって生じた線分により囲まれてしまった白色領域の有無を示し、そのような白色領域が有る場合には「○」、無い場合には「×」を示す。

図３８に示す指定周辺範囲１で、閾値１の場合には、矩形の欠損はなくなっており、膨張処理によって生じた白色部分はないため、「矩形の補正」と「ノイズ矩形」の指標については「○」となっているが、膨張させることで隣接する矩形同士が接触してしまっているため、矩形の接触の指標については「×」となる。図３９に示す指定周辺範囲１で、閾値２の場合には、矩形の欠損はなくなっておらず、また、膨張させることで隣接する矩形同士が接触してしまっており、線分で囲まれた白色の領域が新たに生じてしまっている。したがって、図３９では、「矩形の補正」、「矩形の接触」、「ノイズ矩形」の３つの指標について、いずれも「×」となっている。図４０に示す指定周辺範囲１で、閾値３の場合には、矩形の欠損はなくなっておらず、また、膨張させることで隣接する矩形同士が接触してしまっているため「矩形の補正」、「矩形の接触」、の指標については、「×」である。これに対して、線分で囲まれた白色領域が新たに生じていないため「ノイズ矩形」については、「○」となっている。

図４１から図４３は、膨張処理Ｃを、それぞれ、指定範囲２で、閾値を１、２、３と段階的に増加させていった場合の処理結果と、３つの指標についての判定結果を示す図である。図４０に示す指定範囲２、閾値１の場合、矩形の欠損はなくなっておらず、また、膨張させることで隣接する矩形同士が接触してしまっており、線分で囲まれた白色の領域が新たに生じてしまっている。したがって、図４１では、「矩形の補正」、「矩形の接触」、「ノイズ矩形」の３つの指標について、いずれも「×」となっている。図４２は、指定範囲２、閾値２の場合であり、矩形の欠損はなくなっており、また、膨張させることで隣接する矩形同士が接触することもなく、線分で囲まれた白色の領域が新たに生じていない。したがって、図４２では、「矩形の補正」、「矩形の接触」、「ノイズ矩形」の３つの指標について、いずれも「○」となっている。図４３は、指定範囲２、閾値２の場合であり、矩形の欠損はなくなっていない。ただし、膨張させることで隣接する矩形同士が接触することはなく、線分で囲まれた白色の領域も新たに生じていない。したがって、図４３では、「矩形の補正」の指標については、「×」であるが、「矩形の接触」、「ノイズ矩形」の指標については、「○」となっている。
したがって、図３７のような帳票画像データに対する図３８から図４３の処理の例は、図４２の指定範囲２及び閾値２とした膨張処理Ｃが最も良い膨張処理であることが分かる。この結果は、処理の対象となる矩形の欠損状態にもよるため、矩形の欠損状態が、異なる場合には、異なる結果が得られる場合もある。

また、上記の第１実施形態では、罫線消去部２２による罫線の消去をスレッド処理により行うために、罫線消去対応画像分割部２１により、画像データが４分割される。そして、その際に、境界領域の罫線が消えるように、分割する領域を４等分する場合よりも少し広い領域となるように４分割するようにしている。この効果を図４４から図４６を用いて示す。なお、図４４から図４６に示す例では、罫線消去の性能を示すため、矩形消去部２０による矩形の消去を行わず、矩形も含めた罫線の全てを消去する構成としている。図４４は、画像合成部１４が出力する２値化された帳票画像データＢＦを示す図である。図４４において、線分ＤＬ１と線分ＤＬ２は、帳票画像データＢＦを４等分する線分である。４等分した分割帳票画像データに対して罫線消去部２２による罫線処理を行って画像を合成すると、図４５に示すように、線分ＤＬ１，線分ＤＬ２による分割の境界である境界領域ＷＡ１，ＷＡ２で囲まれた領域の罫線を消去することができない。これに対して、図２４、図２５を参照して説明した拡張領域をともなう分割を行って罫線消去を行うと、図４６に示すように境界領域ＷＡ１，ＷＡ２における罫線を消去できていることがわかる。

なお、上記の第１実施形態において、画像分割部１１や、罫線消去対応画像分割部２１における帳票画像データの分割数を４分割とし、スレッドの数を４としているが、本発明の構成は、当該実施の形態には限られない。分割数は、２分割でもよく、また、４分割以上であってもよい。スレッドについては、分割数に応じた個数を配置することになるが、分割数や分割のサイズによってスレッドによる２値化や罫線消去の処理結果に影響を及ぼすため、その影響度合いを考慮して分割数及び分割サイズは定められることになる。また、帳票画像データを分割せず、スレッドによる処理をしない構成であってもよい。
また、分割の形状についても、図４４に示すような線分ＤＬ１，ＤＬ２によって４分割する形状に限られず、縦線のみでの４分割、または、横線のみでの４分割などであってもよい。また、画像分割部１１は、罫線消去対応画像分割部２１と同様に、拡張領域を設けて画像データを４分割してもよい。これにより、画像分割部１１による画像分割後の画像データが２値化されるときに、各画像データは重複する領域を有するため、各画像データの２値化の品質が極端に異なることを抑制することができる。

また、上記の第１実施形態において、画像分割部１１による画像データの分割をした後で２値化部１２による２値化処理をしているが、本発明の構成は、当該実施の形態に限られない。例えば、分割前のカラーの帳票画像データに対して２値化処理をした後に、画像データの分割を行って補正部１３による補正処理のみをスレッドで行うようにしてもよい。

また、上記の第１実施形態において、補正部１３は、上述した膨張処理Ａ，Ｂ，Ｃのいずれかにより黒色画素の部分を膨張させて、矩形の欠損を埋めるようにしているが、これらの処理に限られることなく、連続線の欠損を埋める手法であればどのような手法であってもよい。

また、上記の第１実施形態において、矩形ＩＤは、矩形検出部１５が生成するものとしているが、矩形判定部１６が生成するようになっていてもよい。
また、上記の第１実施形態において、矩形消去部２０に、矩形検出部１５が検出した矩形を消去させることで矩形の消去の精度を高めているが、矩形は線で構成されていることから、矩形消去部２０を備えず、罫線消去部２２により、罫線とともに矩形も消去させるようにしてもよい。

また、上記の第１実施形態において、文字検出部２４は、検出した文字の座標データ、すなわち、左上のＸ，Ｙ座標と右下のＸ，Ｙ座標を検出し、これにより、文字の位置やサイズが特定されるようになっているが、本発明の構成は、当該実施の形態に限られない。例えば、文字検出部２４は、左上のＸ，Ｙ座標と右下のＸ，Ｙ座標を検出する代わりに、検出した文字の中心、または、重心の位置と、フォントサイズのような文字サイズを検出して、文字情報記憶部５２に書き込むようにしてもよい。

また、上記の第１実施形態において、キーワード検出部２５は、辞書属性情報記憶部５３の「キーワード」の項目に記憶されている文字列または文字に完全一致、または、部分が一致するキーワードを検出するようにしているが、本発明の構成は、当該実施の形態に限られない。また、帳票定義装置１に接続される外部の辞書情報を参照して、日本語として意味を成しているキーワードを検出するといった手法や、日本語の文法から構文を解析してキーワードを検出するような手法が適用されてもよい。また、キーワードは、通常、体言止めで帳票に印刷されていることから、「振り込み手数料」などをキーワードとして検出する一方、「カタカナでご記入ください。」などの文章はキーワードとして検出しないといった手法であってもよい。これらの場合において、辞書属性情報記憶部５３の「キーワード」の項目に記憶されている文字列または文字と完全一致、または、部分一致しないキーワードを検出する場合もあるが、その場合、帳票定義情報記憶部５４の「属性情報」は、空欄を示す「−」が書き込まれることになる。

また、上記の第１実施形態において、キーワード検出部２５は、「ご依頼日」などのキーワードを検出した場合、辞書属性情報記憶部５３の「キーワード」の項目の文字列または文字のうち部分一致したものの中で最も一致する文字数の多いものに対応付けられている属性情報を読み出すようにしているが、本発明の構成は、当該実施の形態に限られない。例えば、「ご依頼日」のように丁寧語の接頭辞が付与されているものについては、接頭辞を除いた上で、完全一致するものだけを検索するようにしてもよい。また、辞書属性情報記憶部５３の「キーワード」と「属性情報」の項目に、予め想定される接頭辞などが付与された全ての文字列（例えば、「ご依頼日」や「御依頼日」）を、対応する属性情報とともに予め記憶させて、完全一致するものだけを検索するようにしてもよい。また、キーワード検出部２５に検出させるキーワードを限定させたい場合、辞書属性情報記憶部５３の「キーワード」の項目に記憶されている文字列または文字と一致する部分のみをキーワードとして検出させるようにしてもよい。例えば、キーワード検出部２５が「カタカナでご記入ください。」という文字列をキーワードとして検出した場合、当該キーワードは、辞書属性情報記憶部５３の「キーワード」の項目の「カタカナ」と部分一致するため、一致する部分である、「カタカナ」をキーワードとして検出する。この場合、キーワード検出部２５は、キーワード外接矩形の座標情報についても、「カタカナ」の部分についての座標情報を検出することになる。

なお、上記の第１実施形態の構成では、フィールド検出部１７が行うフィールド検出処理は、帳票が横書きであることを前提としているが、帳票が縦書きの場合であっても、縦横の関係を入れ替えてフィールドの検出処理を行うことが可能である。

また、上記の第１実施形態の構成において、フィールド探索部２７は、キーワードを囲む矩形が存在する場合は、キーワード外接矩形を用いずに、キーワードを囲む矩形を用いて、キーワードに対応するフィールドを検出している。これは、フィールドが、キーワードを囲む矩形を縦、または横に拡張した領域に存在する可能性が高いことから、キーワード外接矩形を用いるよりも、より高い確率でフィールドを検出することを目的とする処理であるが、本発明の構成は、当該実施の形態に限られない。例えば、フィールド探索部２７による処理をすべてキーワード外接矩形を用いて行ってもよく、その場合、帳票定義装置１は、キーワード対応矩形検出部２６を備える必要がない。

また、第１実施形態において、１つのキーワードには、１つのフィールドを対応付けるという限定を設ける場合、フィールド探索部２７は、キーワードに対応するとして検出したフィールドのフィールドＩＤが既に帳票定義情報記憶部５４の「対応フィールド」の項目に記憶されているか否かを判定し、既に他のキーワードに対応付けられている場合、処理対象のキーワードの「対応フィールド」の項目には「処理済み」を書き込む。さらに、フィールド探索部２７が、１つのキーワードに対して、複数の対応するフィールドを検出した場合、最初に、他のキーワードに対応付けられているフィールドを除き、残ったフィールドのなかでフィールドの左上の頂点と基準頂点の距離が最も短いフィールドを当該キーワードに対応するフィールドとして検出するようにしてもよい。

（第２実施形態）
図４７は、本発明の第２実施形態による、帳票定義装置１ａの構成を示すブロック図である。第１実施形態と同一の構成については、同一の符号を付し、以下、異なる構成について説明する。第２実施形態では、フィールド探索部２７ａと、リファレンス情報記憶部５５とを備える。
帳票の形式によっては、１つのフィールドに対して複数のキーワードが対応することがある。例えば、「氏名」及び「カタカナでご記入ください。」という２つのキーワードが、氏名をカタカナで記入するフィールドの近くに印刷されていることがある。このとき、１つのフィールドに２つ以上のキーワードを対応付けることで、フィールドに記入される文字を複数の属性情報で特定することが可能となり、手書き記入される文字の文字種等についての精度をさらに高めることができる。

帳票定義装置１ａにおいて、リファレンス情報記憶部５５は、図４８に示すデータ構成を有しており、「フィールドＩＤ」と「対応キーワード」と「属性情報」の項目を有する。「フィールドＩＤ」の項目には、フィールド探索部２７ａが、フィールド探索処理によって、キーワードに対応するフィールドを検出した場合、検出したフィールドのフィールドＩＤがフィールド探索部２７ａによって書き込まれる。「対応キーワード」の項目には、当該フィールドＩＤに対応するキーワードＩＤがフィールド探索部２７ａによって書き込まれる。「属性情報」の項目には、キーワードＩＤに対応するキーワードの属性情報がフィールド探索部２７ａによって書き込まれる。

フィールド探索部２７ａは、図２９に示した第１実施形態のフィールド探索処理において、キーワードに対応するフィールドを検出し、ステップＳｃ９において、帳票定義情報記憶部５４の「対応フィールド」の項目に検出したフィールドのフィールドＩＤを書き込む。このとき、フィールド探索部２７ａは、処理対象のキーワードＩＤに対応付けられている属性情報を帳票定義情報記憶部５４から読み出し、検出したフィールドのフィールドＩＤに対応付けて、処理対象のキーワードＩＤと、読み出した属性情報とをリファレンス情報記憶部５５に書き込む。リファレンス情報記憶部５５において、既に、当該フィールドＩＤのレコードが存在する場合、キーワードＩＤと属性情報を当該レコードに追記していく。例えば、図４８のフィールド２の例に示すように、既に、「対応キーワード」に「キーワード４」が書き込まれており、「属性情報」に「文字」が書き込まれている場合に、フィールド探索部２７ａが、キーワード５に対応するフィールドとしてフィールド２を検出した場合、「キーワード５」と「カタカナ文字」をフィールド２のレコードに追加して書き込む。

上記の第２実施形態の構成により、リファレンス情報記憶部５５を備えることにより、フィールドに対応付けられている複数のキーワードＩＤと、当該キーワードＩＤに対応する属性情報とを検出することが可能となり、手書き記入される文字の文字種等についての精度をさらに高めることができる。
なお、第２実施形態のような構成を備えなくとも、第１実施形態における帳票定義情報記憶部５４の「対応フィールド」の項目に記憶されている情報に基づいて、１つのフィールドに対応付けられているキーワードと属性情報を全て検索することで、第２実施形態の目的を達成することもできる。

なお、上記の第１及び第２実施形態における帳票定義情報記憶部５４、及び第２実施形態におけるリファレンス情報記憶部５５は、帳票定義装置１の外部、例えば、手書き記入された帳票を読み取って、手書き記入された文字の分析や蓄積を行う装置側に備えられていてもよい。その場合、キーワード検出部２５、キーワード対応矩形検出部２６、フィールド探索部２７，２７ａは、通信線などを経由して帳票定義情報記憶部５４やリファレンス情報記憶部５５にデータを書き込んだり読み出したりすることになる。

上述した実施形態における帳票定義装置１、１ａをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１ 帳票定義装置
１０ 画像読取部
１１ 画像分割部
１２ ２値化部
１３ 補正部
１４ 画像合成部
１５ 矩形検出部
１６ 矩形判定部
１７ フィールド検出部
２０ 矩形消去部
２１ 罫線消去対応画像分割部
２２ 罫線消去部
２３ 罫線消去対応画像合成部
２４ 文字検出部
２５ キーワード検出部
２６ キーワード対応矩形検出部
２７ フィールド探索部
５０ 矩形情報記憶部
５１ フィールド情報記憶部
５２ 文字情報記憶部
５３ 辞書属性情報記憶部
５４ 帳票定義情報記憶部

Claims (9)

1. 帳票を光学的に読み取り帳票の画像データを生成する画像読取部と、
   前記画像データを２値化して帳票画像データを生成する２値化部と、
   前記帳票画像データに対して前記２値化により生じた欠損を埋める補正をして補正帳票画像データを生成する補正部と、
   前記補正帳票画像データから長方形または略長方形の形状を矩形として検出する矩形検出部と、
   前記矩形が文字枠矩形であるか否かを判定する矩形判定部と、
   前記文字枠矩形の隣接関係に基づいて、前記文字枠矩形を分類し、分類した区分の各々をフィールドとして検出するフィールド検出部と、
   前記帳票画像データに含まれる文字を検出する文字検出部と、
   前記フィールドに記入される文字の属性が予め対応付けられるキーワードを前記文字から検出するキーワード検出部と、
   前記キーワードに対応する前記フィールドを、前記キーワードと前記フィールドの位置関係に基づいて検出し、検出した前記フィールドを前記キーワードに対応付けて帳票定義情報記憶部に書き込むフィールド探索部と、
   を備えることを特徴とする帳票定義装置。
2. 前記キーワードとして検出対象とする文字列または文字が予め定められており、
   前記キーワード検出部は、
   前記文字から前記キーワードを検出する際、前記予め定められている前記検出対象とする文字列または文字に完全一致、または、部分一致する前記キーワードのみを検出する
   ことを特徴とする請求項１に記載の帳票定義装置。
3. 前記キーワードに対応する前記属性を示す属性情報を予め記憶する辞書属性情報記憶部を備え、
   前記キーワード検出部は、
   前記文字から前記キーワードを検出すると、前記キーワードに対応する前記属性情報を前記辞書属性情報記憶部から読み出し、読み出した前記属性情報を前記キーワードに対応付けて前記帳票定義情報記憶部に書き込む
   ことを特徴とする請求項１または請求項２に記載の帳票定義装置。
4. 前記キーワードと前記フィールドの位置関係とは、前記キーワードが縦書きの場合に予め定められる前記フィールドが存在する方向の傾向、または、前記キーワードが横書きの場合に予め定められる前記フィールドが存在する方向の傾向によって示され、
   前記フィールド探索部は、
   前記フィールドが前記傾向を満たす場合に、当該フィールドを前記キーワードに対応する前記フィールドとして検出する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の帳票定義装置。
5. 前記矩形判定部が前記文字枠矩形でないと判定した前記矩形から、前記キーワードを囲む前記矩形を検出するキーワード対応矩形検出部を備え、
   前記フィールド探索部は、
   前記キーワードを囲む前記矩形が存在する場合、前記キーワードを囲む前記矩形と前記フィールドの位置関係を、前記キーワードと前記フィールドの位置関係として、前記キーワードに対応する前記フィールドを検出する
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の帳票定義装置。
6. 前記帳票画像データを分割する罫線消去対応画像分割部と、
   分割された前記帳票画像データの各々から罫線を消去する罫線消去部と、
   前記罫線消去後の分割された前記帳票画像データを合成する罫線消去対応画像合成部と、を備え、
   前記罫線消去対応画像分割部は、
   前記帳票画像データを分割する際に、分割の境界に存在する前記罫線が、前記罫線消去部によって消去されるように、分割後の前記帳票画像データの各々の境界において重複領域が存在するように拡張領域を設けて分割し、
   前記罫線消去対応画像合成部は、
   前記分割された前記帳票画像データの各々の前記拡張領域を削除してから合成し、
   前記文字検出部は、
   前記罫線消去対応画像合成部が出力する前記罫線が消去された前記帳票画像データから前記文字を検出する
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の帳票定義装置。
7. 前記フィールド探索部は、
   前記フィールドに複数のキーワードを対応付ける
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の帳票定義装置。
8. 帳票を光学的に読み取り帳票の画像データを生成し、
   前記画像データを２値化して帳票画像データを生成し、
   前記帳票画像データに対して前記２値化により生じた欠損を埋める補正をして補正帳票画像データを生成し、
   前記補正帳票画像データから長方形または略長方形の形状を矩形として検出し、
   前記矩形が文字枠矩形であるか否かを判定し、
   前記文字枠矩形の隣接関係に基づいて、前記文字枠矩形を分類し、分類した区分の各々をフィールドとして検出し、
   前記帳票画像データに含まれる文字を検出し、
   前記フィールドに記入される文字の属性が予め対応付けられるキーワードを前記文字から検出し、
   前記キーワードに対応する前記フィールドを、前記キーワードと前記フィールドの位置関係に基づいて検出し、
   検出した前記フィールドを前記キーワードに対応付けて記憶する
   ことを特徴とする帳票定義方法。
9. コンピュータに、
   帳票を光学的に読み取り帳票の画像データを生成する手順、
   前記画像データを２値化して帳票画像データを生成する手順、
   前記帳票画像データに対して前記２値化により生じた欠損を埋める補正をして補正帳票画像データを生成する手順、
   前記補正帳票画像データから長方形または略長方形の形状を矩形として検出する手順、
   前記矩形が文字枠矩形であるか否かを判定する手順、
   前記文字枠矩形の隣接関係に基づいて、前記文字枠矩形を分類し、分類した区分の各々をフィールドとして検出する手順、
   前記帳票画像データに含まれる文字を検出する手順、
   前記フィールドに記入される文字の属性が予め対応付けられるキーワードを前記文字から検出する手順、
   前記キーワードに対応する前記フィールドを、前記キーワードと前記フィールドの位置関係に基づいて検出する手順、
   検出した前記フィールドを前記キーワードに対応付けて記憶する手順、
   を実行させるための帳票定義プログラム。