JP3851742B2 - 帳票処理方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、帳票を種別を効率よく識別、分類するための帳票識別方法に関する。
【０００２】
【従来の技術】
従来、画像を識別するために、例えば、特開昭６１−７５４７７号には、格納すべき対象文書の見本文書（複数個）の画像あるいはその特徴パターンをあらかじめ記憶しておき，格納すべき対象文書の画像から特徴パターンを抽出して、上記見本文書の特徴パターンと比較し同一であると判定した見本文書の分類コードを入力文書に付与することによって、自動的に分類コードの決定を行う方法が提案されている。
【０００３】
しかし、例えば特開昭６１−７５４７７号では、画像の水平・垂直線分の積分値（水平・垂直方向への長い線分の画素数の加算）を用いていることから、異なる文書が同一の直線部を有している場合には区別ができない他、画像が傾いていたり、位置づれがある場合には、画像レベルでの位置合わせや傾き補正が難しいという問題があった。
【０００４】
この問題を解決するために、例えば、特開平０８−２５５２３６号では、帳票画像から抽出した罫線枠の情報をハッシュテーブルを利用し、帳票間で照合することで識別を行う処理を提案している。これは、登録帳票に対して帳票画像から抽出した罫線枠の連結性を検査し、その連結罫線枠の外接長方形により正規化し、各罫線枠の中心座標をハッシュテーブルに登録する。一方、識別対象の帳票に対しても同様に、帳票画像から罫線枠を抽出し、連結罫線枠より正規化する。最後に、各罫線枠の中心座標で登録しておいたハッシュテーブルを検索し、最もヒットした登録帳票の種別を該当する帳票とするという手法である。
【０００５】
【発明が解決しようとする課題】
大量・多品種の帳票を扱うにつれ、罫線枠の物理的な構造にのみに基づいている手法では、同じ構造をもっていても異なる種類の帳票として分類したい場合、例えば、枠情報が一致していてもプレ印字文字のみが違うもの、色情報のみが違うものなどでは、認識性能に限界がでてきた。
【０００６】
そこで、本発明は、罫線枠等の物理的な構造のみに限定することなく、色情報、キーワード認識結果など、複数の特徴を用いて性能のよい帳票識別を可能にする帳票識別方法およびそれを用いた帳票識別装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の帳票識別方法は、入力された識別対象の帳票の画像から複数の特徴量を抽出し、そのうちの１つと登録帳票の特徴量とを比較して該識別対象の帳票の種別が識別できなかったとき、前記複数の特徴量のうちの他の特徴量と前記登録帳票の特徴量とを比較して該識別対象の帳票の種別を識別することにより、罫線枠等の物理的な構造のみに限定することなく、色情報、キーワード認識結果など、複数の特徴を用いて性能のよい帳票識別を可能にする。
【０００８】
本発明の帳票識別方法は、入力された帳票の画像から帳票の種別を特定するための色および罫線および文字列のうちの少なくとも１つを特徴量として抽出し、複数の登録帳票をこれらに共通する前記特徴量で予め分類しておき、入力された識別対象の帳票の画像から抽出された前記特徴量のうち、該識別対象の帳票の種別を識別する際に用いる特徴量を選択し、この選択された特徴量で分類された登録帳票の特徴量に基づき該識別対象の帳票の種別を識別することにより、検索範囲を絞りながら、大量・多品種の帳票の識別を可能にし、性能のよい帳票識別結果を得ることができる。
【０００９】
好ましくは、入力された識別対象の帳票の画像の種別に応じて、該帳票の画像から抽出する特徴量を選択する。
【００１０】
好ましくは、前記識別対象の帳票の画像から抽出された特徴量に一致する帳票が登録されていないとき、該特徴量に最も類似する登録帳票の特徴量を用いて該帳票を登録する。
【００１１】
好ましくは、帳票の特徴量として色を抽出する際、各画素の色を周辺画素の色を基に判定する。
【００１２】
本発明の帳票識別装置は、入力された識別対象の帳票の画像から複数の特徴量を抽出する抽出手段と、この抽出手段で抽出された複数の特徴量のうちの１つと登録帳票の特徴量とを比較して該識別対象の帳票の種別を識別する第１の識別手段と、この第１の識別手段で前記識別対象の帳票の種別が識別できなかったとき、前記複数の特徴量のうちの他の特徴量と前記登録帳票の特徴量とを比較して該識別対象の帳票の種別を識別する第２の識別手段とを具備したことにより、罫線枠等の物理的な構造のみに限定することなく、色情報、キーワード認識結果など、複数の特徴を用いて性能のよい帳票識別を可能にする。
【００１３】
本発明の帳票識別装置は、入力された帳票の画像から帳票の種別を特定するための色および罫線および文字列のうちの少なくとも１つを特徴量として抽出する抽出手段と、複数の登録帳票をこれらに共通する前記特徴量で分類する分類手段と、入力された識別対象の帳票の画像から抽出された前記特徴量のうち、該識別対象の帳票の種別を識別する際に用いる特徴量を選択し、この選択された特徴量で分類された登録帳票の特徴量に基づき該識別対象の帳票の種別を識別する識別手段とを具備したことにより、検索範囲を絞りながら、大量・多品種の帳票の識別を可能にし、性能のよい帳票識別結果を得ることができる。
【００１４】
好ましくは、入力された識別対象の帳票の画像の種別に応じて、該帳票の画像から抽出する特徴量を選択する。
【００１５】
好ましくは、前記識別対象の帳票の画像から抽出された特徴量に一致する帳票が登録されていないとき、該特徴量に最も類似する登録帳票の特徴量を用いて該帳票を登録する。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
【００１７】
図１は、本実施形態にかかる帳票画像を識別するための帳票識別装置の構成例を示したもので、画像入力部１とディスプレイ装置６と入力デバイス７と各種記憶手段（入力データメモリ３、保存部８、フォーマット情報記憶部４）をバスに接続して構成されている。
【００１８】
図１には、帳票登録部２と帳票識別部４をハードウエア資源として示しているが、画像入力部１とディスプレイ装置６と入力デバイス７と各種記憶手段（入力データメモリ３、保存部８、フォーマット情報記憶部４）とＣＰＵとを有したコンピュータに実行させることのできるプログラムとしてフロッピーディスク、ＣＤ−ＲＯＭ等の記憶媒体に記録して頒布することもできる。
【００１９】
図１に示す帳票識別装置は、帳票登録モードと帳票識別モードの２種類のモードを有し、帳票登録モードにおいては、以下のように動作する。すなわち、画像入力部１は登録する帳票（登録帳票）をスキャンして、得られた画像を帳票登録部２に与える。入力データメモリ３は入力された画像を記憶しておくものである。帳票登録部２は入力された画像にカラー分離、線分抽出、文字枠抽出、文字認識、枠抽出などの認識処理を施し、認識結果をディスプレイ装置６に表示してユーザに提示し、ユーザとの対話的な処理によって、登録帳票の各種構成要素を抽出して、フォーマット情報を生成してフォーマット情報記憶部４に登録する。
【００２０】
一方、帳票識別モード時に以下のように動作する。すなわち、画像入力部１はファイリングすべき各々の帳票をスキャンして、得られた画像を帳票識別部５に与える。帳票識別部５はフォーマット情報記憶部４に登録された複数のフォーマット情報をもとにして、ファイリングすべき帳票が、登録された帳票のうちのどれと一致しているかを基に識別する。そしてその結果をディスプレイ装置６に表示することによって、得られた識別結果をユーザに提示し、ユーザとの対話的な処理によって確認を行ったのち、例えばマウス、キーボード、電子ペン等の入力装置から構成される指示デバイス７を用いてユーザにより処理が指示される。最後に、帳票登録部２で登録された登録帳票のフォーマット情報と帳票識別部５で得られた帳票のフォーマット情報とに基づき、入力画像を保存部８にファイリングする。ただし、この対話処理を省略し、自動保存を行い、複数枚を保存した後に確認作業を行うことも可能である。
【００２１】
次に、上記した各動作モードで行われる処理を、より詳細に説明する。まず、帳票登録モードについて説明する。
【００２２】
図２は、帳票登録モードにおける処理動作を説明するためのフローチャートである。まず、スキャナによって入力された登録帳票の画像がディスプレイ装置６上に表示される（ステップＳ１）。そして、この入力画像に対し、帳票登録部２では、カラー分離処理を行って、背景画像、罫線およびプレ印字部抽出を行う（ステップＳ２）。次に罫線・プレ印字部として得られたデータに対しては、色解析処理（ステップＳ３）、２値化処理（ステップＳ４）が実行される。さらに、要素抽出処理（ステップＳ５）が施され、罫線、文字枠、文字コードなどの帳票の種別を識別する際に用いる特徴的な要素（特徴量）の抽出を行う。最後に、追加・修正処理（ステップＳ６）によって、ユーザからの指示に従って、データを編集し、最終的にフォーマット情報を作成して、フォーマット情報記録部４に登録する（ステップＳ７）。
【００２３】
次に、ステップＳ２のカラー分離処理における背景画像検出およびその除去処理について説明する。
【００２４】
入力画像に対して、画素ごとにＲＧＢの値をＨＳＶ（色相、彩度、明度）に変換する。この値から、ヒストグラムをとって、もっとも値の多い値を背景色値とする。背景色が決定されたら、背景部分を全体画像から除去する。もちろん、背景色の検出は他の方法を用いてもよい。
【００２５】
入力画像は、背景部分、罫線部分、文字部分が存在すると考えることができるので、背景画像が除去された時点で残された画像は、罫線・プレ印字文字部と考えられる。したがって、これらの画像について２値化した後（ステップＳ４）、また、色解析を行い、色特徴の抽出を行った後（ステップＳ３）、画像から図形特徴や文字コード等の各種要素を抽出する（ステップＳ４）。
【００２６】
ステップＳ４の２値化処理では、たとえば、ステップＳ２のカラー分離処理によって背景部分が削除されているので、残った画像は、罫線、プレ印字文字、手書き文字などの要素になると考えてよいので、背景以外のデータが黒になるように２値化できればよい。
【００２７】
ステップＳ３の色解析はたとえば以下の方法で行う。すでに、入力画像の中から、背景部分が削除されているので、色部分についてのみ処理を行う。色部分についてのみ、ＲＧＢ空間もしくはＨ（色相）−Ｓ（彩度）空間に投票し、クラスタリングにより帳票に存在する色を判定する。たとえば、図３に示したように、あらかじめ、帳票に使われるような罫線の色成分に相当する投票箱をＨ−Ｓの色空間に配置しておいて、抽出された画素に対して色成分を計算して、投票箱に投票していく方法をとる。たとえば、赤に相当する投票箱（領域）Ｒ１、青に相当する投票箱（領域）Ｒ５を設けて、各画素の色成分で投票を行い、最終的に投票数や投票画素全体に対して占める割合を算出して、当選か落選かを決定する。この方法によって対象帳票の代表色を記録する。色種だけではなく、帳票内で用いられている色の割合も保存しておいてもよい。色の特徴を解析する方法は、従来より提唱されているほかの手法をもちいてもかまわない。
【００２８】
ステップＳ５の要素抽出では、罫線枠（罫線、文字枠）、文字コードなどを抽出する。罫線の抽出はたとえば以下の方法で行う。すなわち、ここでは、罫線は４点から構成される枠情報であると考え、抽出を行う。まず、入力データをラスタスキャンしてその追跡開始点を検出した後、その追跡開始点から時計周りあるいは反時計周りに図形境界がつくる閉曲線を追跡することによって輪郭線抽出が行なわれる。このような閉曲線追跡により抽出された輪郭の情報は座標点列、あるいは方向コードの列であるチェインコードとして保存される。この輪郭抽出処理については、従来より種々提唱されている他の輪郭抽出の手法を用いても良いことは言うまでもない。
【００２９】
次に、輪郭線データをもとに、画像の交差部や角点という特徴点を抽出する。これは、例えば輪郭点列から凸点列を検出し、それに対応付く凹点列を抽出する。この特徴点抽出は例えば曲率算出処理によって求められた曲率ｋを所定の閾値Ｋ０、Ｋ１と比較し、ｋ≦Ｋ０ なる点列を凹点列、ｋ≧Ｋ１ となる点を凸点列とすることにより実現される。
【００３０】
尚、この特徴点抽出処理を、図形の細線化処理や芯線化処理によって実現してもよい。例えば、細線化データでは線分の端点には凸部が存在し、細線の交差点には凹点が存在することから、特徴抽出が可能となる。
【００３１】
次に、これらの点列の組合せから枠を抽出する。枠の抽出は、例えば注目点近郊にある４点の座標の組合せから、図形が長方形または平行四辺形をなすかどうかを判断することにより容易に枠領域が抽出可能である。このとき、枠抽出は他の手法を用いてもよいことはいうまでもない。
【００３２】
文字枠抽出はたとえば以下の方法で行なう。画像を連結領域ごとにラベル付けし、外接図形を求める。次に隣接する外接図形がある閾値内の距離にある場合には併合してみる。併合を行なった場合に再度外接図形を計算し、下線の方向（傾き）の変動がある閾値以内の場合には同一文字列であるとする。なお、文字枠抽出方法は従来より種々提唱されている手法など他の方法を用いてもよい。
【００３３】
文字抽出はたとえば以下の方法で行なう。画像を連結領域ごとにラベル付けし、外接図形を求める。外接図形の大きさがある閾値内である場合には文字候補として文字認識を行なう。なお、文字抽出方法は従来より種々提唱されている手法など他の方法を用いてもよい。
【００３４】
以上のように抽出された要素に対しては、ステップＳ６において、追加・修正が行われる。
【００３５】
ディスプレイ装置６に表示された入力画像から抽出された各種要素は、例えば、ステップＳ１で入力された登録帳票の画像の上に重畳表示されて、ユーザによりデータ修正が行なわれるようになっている。修正方法は、従来利用している図形作成ツールなどと同様に行うことが可能である。
【００３６】
最後にユーザによる修正により最終的に作成されたフォーマット情報がフォーマット情報記憶部４に登録される（ステップＳ７）。その際、フォーマット情報にはキーワードまたはファイル名を付与し、保存する。
【００３７】
ここで、図４を参照して、カラー帳票の特徴を説明する。帳票には、その構成要素として、罫線枠、罫線色、予め印字されている文字列（プレ印字文字列）領域Ｒ１、Ｒ２があげられる。
【００３８】
図５は登録された登録帳票のフォーマット情報（ここでは、そのイメージを示している）の４つの例であり、各登録帳票からは、色情報の違いも含めて特徴量となる構成要素（罫線枠、文字列（プレ印字文字））が抽出されている。
【００３９】
これらの帳票は、色情報のみ共通のもの、プレ印字の一部が共通のもの、罫線枠の一部が共通のもの等が存在する。
【００４０】
例えば、後述する帳票識別モードにおいては、登録帳票と識別対象の帳票とで最初に照合すべきもの（第１の特徴量）を色情報とする。すなわち、図６に示すように、第１の特徴量として罫線色とすると、登録帳票ＡとＢ、ＣとＤは、同じフォーマット群として分類される。また、帳票の先頭にあるプレ印字＃１を第２の特徴量として、これを基に分類すると、帳票見本ＣとＤとが同じフォーマット郡として分類される。さらに、帳票の右下にあるプレ印字＃２を第３の特徴量として、これを基に分類すると帳票見本Ａ〜Ｃが同じフォーマットとして分類される。
【００４１】
図６に示した分類方法に限らず、複数の登録帳票のフォーマット情報には、罫線枠の構造のみが一致していて、プレ印字のある場所やその文字列（文字コード）、罫線色のみが違うものなど、多種存在することから、できるだけ登録帳票を分離しやすい観点から分類することが望ましい。
【００４２】
次に、帳票識別モードについて詳細に説明する。
【００４３】
図７は帳票識別モードにおける処理動作を説明するためのフローチャートである。まず、スキャナによって入力された識別対象の帳票の画像がディスプレイ装置６上に表示される（ステップＳ１１）。そして、この入力画像に対し、帳票識別部５は画像分離処理を施し（ステップＳ１２）、背景画像、黒領域（文字列部分）、罫線およびプレ印字部を抽出する。
【００４４】
罫線・プレ印字部として得られたデータに対しては、色解析処理（ステップＳ１３）、２値化処理（ステップＳ１４）が施される。さらに、要素抽出処理（ステップＳ１５）が施され、罫線、文字枠、文字コードなどの要素抽出を行う。
【００４５】
ここでの背景画像検出処理、色解析処理、罫線、文字枠、文字コードなどの要素抽出処理、２値化処理については、帳票登録時と同様であるので説明を省く。なお、ここでは、必ずしも文字認識処理を行う必要はない。文字認識処理は、必要に応じて、後述するステップＳ１９にて行うようにしてもよい。
【００４６】
ステップＳ１２における黒領域抽出処理は、たとえば以下の方法で行う。黒領域は、画素ごとにＲＧＢの値をＨＳＶ（色相、彩度、明度）に変換した場合、明度Ｖや彩度Ｓが小さくなる。したがって、しきい値処理によって黒画素部分を抽出することが可能になる。もちろん、黒画素領域の抽出は他の方法を用いてもよい。もちろん、帳票の罫線やプレ印字文字に黒が用いられている場合は、黒領域も罫線・プレ印字部と同様に取り扱ってもよい。
【００４７】
次に、ステップＳ１５の要素抽出処理で得られたデータから、登録帳票と識別対象の帳票とで最初に照合すべきもの（第１の特徴量）を選択する（ステップＳ１６）。そして、帳票識別を行う（ステップＳ１７）。
【００４８】
ここで、帳票識別処理の一例として、ハッシュテーブルを用いて帳票識別を行う場合について説明する。なお、この手法について特開平０８−２５５２３６号に開示されており、登録帳票から抽出された特徴量からハッシュテーブルを作成する前処理と、入力画像から特徴を抽出し、投票を行い認識する認識処理とに分けることができる。
【００４９】
また、ここでハッシュテーブルを作成する際には、複数の登録帳票を分類した結果を１つの登録帳票として扱っていてもよい。この場合も以下の説明がそのまま当てはまる。
【００５０】
まず、図８を参照してハッシュテーブルの作成処理について説明する。図２を参照して説明したように、帳票を登録する際には、その帳票の画像の入力（ステップＳ３１）、帳票の各構成要素の抽出（ステップＳ３２）を行う。そこで、ハッシュテーブルを作成するために、既にフォーマット情報記憶部４に記憶されているフォーマット情報を基に、罫線枠の中心座標、文字列枠の中心座標、連結枠情報などの特徴量を抽出し、これらの値を規格化する。例えば、最大値を「１」とした場合の相対的な値を算出する（ステップＳ３３）。
【００５１】
この規格化された値を用いて、例えば、罫線枠の中心座標、文字列枠の中心座標といった各特徴量毎にハッシュテーブルテーブルを作成する。
【００５２】
図９に、特徴量として、罫線枠の中心座標を用いた場合のハッシュテーブルの一例を示す。全ての登録帳票（Ａ〜Ｆ）の罫線枠の中心座標をハッシュテーブル上に埋め込んだ場合を示している。傾きに関しては直線データをもとに傾き補正してあることを前提としているので、罫線枠は水平・垂直線分のみから構成されていると考えてよい。ここでは、ハッシュテーブルを作成するときの基底（規格化する特徴量のパラメータ）のとり方は、水平・垂直線分上に位置する点で表現する。特に、帳票の場合には連結する長方形枠が多く存在することから、基底には、連結長方形枠の外接図形の幅と高さ情報を用いる。規定には、帳票そのものののサイズを用いてもよいし、基準になるものが統一されていればよい。
【００５３】
次に、図１０に示すフローチャートを参照して、ハッシュテーブルを用いた帳票識別処理動作について説明する。図７を参照して説明したように、帳票の識別を行う際には、識別対象の帳票の画像の入力（ステップＳ４１）、罫線、文字枠などの特徴量の抽出を行う（ステップＳ４２）。
【００５４】
抽出された特徴量からさらに、罫線枠の中心座標、文字列枠の中心座標、連結枠情報などの特徴量を抽出し、これらの値を規格化する（ステップＳ４３）。
【００５５】
そして、この規格化されてた特徴量を用いてハッシュテーブル上の当該特徴量に該当する特徴点のエリアを検索する（ステップＳ４４）。このエリアは予め定められた範囲の検索エリアで、そのエリア内に登録帳票の特徴点があれば、その登録帳票に投票する（ステップＳ４５）。具体的には、登録された登録帳票名（フォーマット番号）ごとにヒストグラムを作成しておいて、検索したエリア内の登録帳票名（フォーマット番号）ごとに投票を行う。これらの処理を識別対象の帳票の有する特徴点の数だけ繰り返し（ステップＳ４６）、ヒストグラムの最も大きい登録帳票との類似度を計算し、識別結果として出力する（ステップＳ４７、ステップＳ４８）。
【００５６】
例えば、図１１に示すような罫線枠の中心座標にるハッシュテーブルにおいて、登録帳票が６枚あるとして、識別対象の帳票として、フォーマット番号「Ａ」の帳票（サンプル帳票）を識別する場合について説明する。当該サンプル帳票には特徴点が９点あり、図１１のハッシュテーブル上のハッチング部分は各特徴点に対応する予め定めれた範囲の検索エリアである。この場合、図１２に示すように、サンプル帳票の特徴点に対応する各検索エリアに存在する登録帳票の特徴点を基に各登録帳票に投票した結果、フォーマット番号「Ａ」の登録帳票の投票数は「８」と最も大きく、次に、フォーマット番号「Ｄ」の登録帳票の投票数「２」、フォーマット番号「Ｅ」の登録帳票の投票数「１」、フォーマット番号「Ｆ」の登録帳票の投票数「１」と続いている。
【００５７】
そこで、上記４つの登録帳票との類似度を求めることにする。類似度は、例えば次式（１）で定義されるものであるとする。すなわち、各登録帳票ｔの投票数をＮｔ、識別対象の帳票の長方形枠数をｋ、登録帳票ｔの長方形枠数をＲｔとすると、類似度Ｓは、
Ｓ ＝ （Ｎｔ×２×１００）／（ｋ＋Ｒｔ） …（１）
と表すことができる。
【００５８】
式（１）を用いて類似度を算出した結果を図１２に示す。
【００５９】
よって、サンプル帳票にもっとも類似しているのは、類似度が最も高いフォーマット番号「Ａ」の登録帳票であることが分かる。
【００６０】
以上、ハッシュテーブルを用いた帳票の識別方法について説明したが、この場合に限らず、他の識別方法を用いてもよい。
【００６１】
次に、識別対象の帳票（サンプル帳票）について第２の特徴量を用いた詳細調査を行うことを考える。この時点で、フォーマット番号「Ａ」の登録帳票が１つの登録帳票のみであれば、それを識別結果として出力すればよく（ステップＳ２６）、第２の特徴量を用いた詳細調査は省略できる。
【００６２】
例えば、図１３に示すように、フォーマット番号「Ａ」という登録帳票には、（ａ）図、（ｂ）図に示すような２種類の登録帳票が含まれているとする。これらの２つの登録帳票は、罫線枠、罫線枠の色がともに同一であり、異なる部分は、プレ印字されている文字列である。したがって、この２つの登録帳票のフォーマット情報には、識別に必要な文字枠（文字領域）と文字列とが含まれている。
【００６３】
例えば、図１４に示すように、図１３（ａ）、（ｂ）に示した各登録帳票のフォーマット情報は、文字識別すべき２カ所のプレ印字領域Ｒ１、Ｒ２が登録されている。詳細調査が必要な場合は、識別対象の帳票（サンプル帳票）に対し、この２カ所に記載されている文字列を順次抽出し、文字認識を行う（ステップＳ１８〜ステップＳ１９）。１カ所の文字認識で１つの登録帳票に確定できなかったときは、確定できるまで文字認識を繰り返す（ステップＳ１８〜ステップＳ１９）。
【００６４】
文字列抽出、文字認識については、既存の方法を用いればよい。ここで認識された文字列が図１３（ａ）、（ｂ）のどちらか一方の帳票に一致するか、または、一致度が高いかによって、詳細識別結果とする。
【００６５】
文字認識を繰り返し、識別対象の帳票に詳細調査が必要なくなれば、識別対象の帳票がある１つの登録帳票に一致したことになり（ステップＳ１８）、その識別結果を出力または保存する（ステップＳ２６）。
【００６６】
図１３の例では、プレ印字領域Ｒ１のみ文字認識すれば、どちらの帳票であるか確定できるが、ここで確定できない場合は、さらに、プレ印字領域Ｒ２を文字認識する、他の特徴量を用いて、さらに詳細調査を繰り返す。ここでは、帳票が確定できるまで特徴量をかえて識別を行うか、またはもっとも類似しているものを提示してもよい。該当帳票がない場合には新しく登録追加することも可能である。
【００６７】
（第２の実施形態）
次に、帳票登録における登録帳票の分類について、より詳細に説明する。
【００６８】
図１５は、登録された登録帳票（Ａ〜Ｅ）のフォーマット情報をイメージ的に示してものである。図１５において、登録帳票ＡとＢとＣ、ＤとＥは、それぞれ罫線構造としては共通のものを持ち登録帳票ＡとＢとＥ、ＣとＤは、用いられる色としては共通である。このように、各特徴（色、罫線、プレ印字＃１、プレ印字＃２）による分類を行うと、図１６のように、それぞれの特徴について２つのグループに分類できる。
【００６９】
ここで、帳票識別モードにおいて、図７のステップＳ１６で選定される第１の特徴量が色情報であるとすると、この段階で絞り込まれた登録帳票に対し、さらに第２の特徴量として罫線を用いて、前述したように、ハッシュテーブルを用いて帳票の識別を行う。この様に、帳票登録時に識別に用いられる特徴量を想定し、登録帳票を分類しておくことによって、識別作業の効率化および識別誤りの削減ができる。
【００７０】
（第３の実施形態）
次に、識別対象の帳票の画像のタイプによって識別に用いる特徴量を選択する場合について、図１７に示すフローチャートを参照して説明する。
【００７１】
まず、スキャナによって入力された識別対象の帳票の画像がディスプレイ装置６上に表示される（ステップＳ５１）。そして、この入力画像がどの画像タイプ（２値画像、濃淡画像、カラー画像）に属するかを判断する（ステップＳ５２）。画像タイプの判断には、ユーザがいずれの画像タイプであるかを指示することにより判断するようにしてもよい。
【００７２】
画像タイプにより帳票の識別に用いる特徴量が異なる。すなわち、例えば、２値画像の場合は、罫線枠、プレ印字文字（ステップＳ５４）、濃淡画像の場合は、濃淡の濃度分布、罫線枠、プレ印字文字（ステップＳ５５）、カラー画像の場合は、罫線色、罫線枠、プレ印字文字（ステップＳ５６）が特徴量としてあげられる。最後に各特徴量のうちで、第１の特徴量を選定する（ステップＳ５７）。
【００７３】
例えば、２値画像の場合には、第１の特徴量として罫線枠を選定する。同様に、濃淡画像の場合には濃度分布、カラー画像の場合には罫線色を第１の特徴量として選定する。その後は、各画像タイプに対応した特徴量の抽出処理のみを行って、前述したようなハッシュテーブルを用いた帳票識別、プレ印字文字の照合等を行えばよい。
【００７４】
この場合、画像タイプに応じて予め抽出すべき特徴量が限定されるので、帳票識別結果を得るまでの時間が短縮できる。
【００７５】
なお、識別に用いる特徴量は、上記特徴量に限らず、他の特徴量を用いてもよい。同様に、画像タイプによって、識別に用いる特徴量は、第１の特徴量に限らず、第２、第３の特徴量を併用してもよい。
【００７６】
（第４の実施形態）
次に、帳票識別の結果、該当する帳票が得られなかった場合、すなわち、未登録の帳票の識別を行ってしまった場合の処理動作について、図１８に示すフローチャートを参照して説明する。
【００７７】
図７に示す処理を行った結果（ステップＳ６１、ステップＳ６２）、識別対象の帳票と同一の登録帳票が存在したときは、それを帳票識別結果として出力する（ステップＳ６３、ステップＳ６４）。以上の詳細な処理は、図７に示したフローチャートと同様である。一方、識別対象の帳票と同一の登録帳票が存在しなかったとき（ステップＳ６３）、類似帳票があるかどうかを判断する（ステップＳ６５）。類似帳票であるかどうかは、検索時に用いた類似度など帳票の類似性を評価できるものを用いて、評価する。そして、類似度が所定の閾値以上のものを提示してもよいし、もっとも類似度が高いものを提示してもよい。ここで類似する帳票が存在しない場合は、現在識別しようとしている入力された帳票を図２に示したように新規登録する（ステップＳ６６）。
【００７８】
もし、類似帳票があれば、その類似帳票のフォーマット情報を流用して、現在識別しようとしている帳票の追加登録を行う（ステップＳ６７）。
【００７９】
例えば、図１９（ａ）に示すようなフォーマット情報の登録帳票が既に登録されていて、現在識別しようとしている入力された帳票が図１９（ｂ）であるとする。そして、この入力帳票に最も類似するものが図１９（ａ）に示した登録帳票であるとする。
【００８０】
図１９（ａ）に示す帳票と図１９（ｂ）に示す帳票とは、プレ印字文字のみしか違わないので、改めて登録するには、登録の手間がかかる他、フォーマット情報記憶部４における登録帳票のフォーマット情報の容量も必要になるので、ここでは、図１９（ａ）に示す登録帳票の変形として、図１９（ｂ）に示す帳票中の異なる部分、すなわち、プレ印字文字のみを追加登録して、新たな登録帳票の登録を行うものである。
【００８１】
このような他の登録帳票のフォーマット情報を流用した登録帳票の登録方法としては、例えば、図２０に示したように、罫線タイプと色、プレ印字文字を別々に部品登録し、各登録帳票は、そのフォーマット番号に対応させて、例えば、図２１に示すように、図２０に示した部品の組み合わせで表現する。
【００８２】
このように、登録帳票の要素を部品化して、それらを組み合わせて１つの登録帳票のフォーマット情報を作成することにより、部分的に一致する複数の登録帳票を登録する場合、登録の手間を最小限にし、また、登録データ容量も減らすことが可能になる。
【００８３】
また、この場合、帳票識別を行う際も前述同様に行える。
【００８４】
（第５の実施形態）
帳票登録モード、帳票識別モードに共通して言えることだが、例えば、図２のステップＳ３における色解析処理、図７のステップＳ１３における色解析処理において、入力された帳票画像の各画素に対して、その画素の持つ色の情報が抽出すべき色であるかどうかを判断する過程における処理について説明する。すなわち、抽出すべき色とそれ以外の取り除くべき色または背景色が存在する状態から、抽出すべき色を抽出するか、または、不要なものを取り除く操作を行う時に、抽出すべきものと、それ以外の両者の中間的な状態である中間色であると判断された画素の周囲の画素の色の判定状態を調べ、これによって、その画素が抽出すべき色を持つかどうかを判断する。
【００８５】
図２２に示すフローチャートを参照して、以上述べたような色判断処理動作について説明する。
【００８６】
まず、黒領域に抽出処理について説明する。図２３（ａ）は、原画像である。ここで、領域ｘ１は黒線、領域ｘ２、ｘ３は色付きの線である。図２３（ａ）に示した原図ををスキャンした直後の画像データを図２３（ｂ）に示す。図２３（ｂ）において、領域ｘ５は、黒と判断される部分、領域ｘ４、ｘ６は、色付きと判断される部分である。スキャナでは、このように、黒の領域における色付きの領域との境界上が色付きとなることがある。 そこで、まず、図２３（ｂ）に示したようなデータから黒の領域ｘ５のみを抽出する（ステップＳ７１）。次に、図２３（ｃ）に示すように、この黒の領域ｘ５の周辺領域はｘ４、ｘ６であるが、この領域ｘ４、ｘ６の色を調べる（ステップＳ７２）。領域ｘ４、ｘ６の色が白でない、すなわち、中間色であるときは、この領域を黒と判定する（ステップＳ７３、ステップＳ７４）。そして、このとき黒と判定された領域ｘ４、ｘ６と、もともと黒と判定されている領域ｘ５とを合わせて図２３（ｄ）に示すように、黒領域と定める。
【００８７】
一方、色付き領域の抽出処理の場合は、この逆を行う。まず、色付きと判断される領域ｘ４、ｘ６を抽出し、これと接しているとともに、黒領域と判断される領域ｘ５に接していない領域、すなわち領域ｘ２、ｘ３に相当する部分を抽出し、これを色付き領域と判定する。
【００８８】
しかしながら、図２４に示すように、黒領域ｘ１３の左側境界部分ｘ１２が色付きになっていない場合には、上記の方法では、領域ｘ１２が色付きとは見なされずに抽出からもれてしまう。そこで、次のような処理を行う。
【００８９】
まず、色付きと判断され、かつ、黒領域と判断される領域ｘ１３に接していない領域、すなわち、領域ｘ１１を抽出し、それとは別の黒領域ｘ１３と接している色付きの領域ｘ１２、ｘ１４を抽出する。領域ｘ１２、ｘ１４のうち、色付きと判断された領域、すなわち、領域ｘ１１に接している部分を色付きと判断する。こうすることによって、領域ｘ１１、ｘ１２を色付きとして抽出される。
【００９０】
以上の説明は、白、黒、色付きという分類で説明しているが、色については何を対象にしてもよい。一般に抽出すべき色（複数の色でもよく、以下同様に「色」といった場合に必ずしも単色を意味するものではない。また、色には、白や黒、灰色なども含めて考える）に対して、それ以外の色または背景色が存在する状態から、抽出すべき色を抽出するか、または不要なものを取り除く操作を行うときに、両者の中間色の考え方を導入し、この中間色であると判断された画素の周囲の画素の状態、すなわち、抽出すべき色かそうでないか、また、中間色であるなどの状態によって、最終的にその画素を抽出すべきか否かを判断する。
【００９１】
なお、中間色は、例えば、抽出すべき色と背景になる色の平均として定義される色と定義してもよい。
【００９２】
（効果）
以上説明したように、上記実施形態によれば、色情報または罫線情報またはプレ印字文字の認識結果など、複数の特徴を有する登録帳票を共通の特徴で予め分類しておくことにより、検索範囲を絞りながら、大量・多品種の帳票の識別を可能にし、性能のよい帳票識別結果を得ることができる。
【００９３】
また、共通要素をもつ帳票を、その共通要素の組み合わせとして管理することによって、効率よい帳票登録が可能になる。
【００９４】
【発明の効果】
以上説明したように、本発明によれば、複数の特徴を有する大量・多品種の帳票の識別を可能にし、性能のよい帳票識別結果を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかる帳票識別装置の構成例を示した図。
【図２】投票登録処理動作について説明するためのフローチャート。
【図３】色判定のための投票空間の一例を示した図。
【図４】帳票の特徴を説明するための図。
【図５】登録帳票のフォーマット情報の具体例を示した図。
【図６】登録帳票の分類例を示した図。
【図７】投票識別処理動作について説明するためのフローチャート。
【図８】ハッシュテーブル作成処理動作を説明するためのフローチャート。
【図９】罫線枠の中心座標によるハッシュテーブルの一具体例を示した図。
【図１０】ハッシュテーブルを用いた帳票識別処理動作を説明するためのフローチャート。
【図１１】ハッシュテーブル上の検索エリアを具体的に示した図。
【図１２】ハッシュテーブルを用いた登録帳票の検索結果の一例を示した図。
【図１３】特徴の一部分が異なる類似する帳票の一例を示した図。
【図１４】帳票中の文字認識すべき領域を示した図。
【図１５】登録帳票のフォーマット情報をイメージ的に示した図。
【図１６】登録帳票を色、罫線、プレ印字文字で分類した結果の一例を示した図。
【図１７】識別対象の帳票の画像のタイプによって識別に用いる特徴量を選択する場合の処理動作を説明するためのフローチャート。
【図１８】未登録帳票の登録処理動作の一例を示したフローチャート。
【図１９】未登録帳票と、それに類似する登録帳票の一例を示した図。
【図２０】帳票の特徴的な要素を部品化した場合の、部品の登録例を示した図。
【図２１】図２０に示した部品を用いて帳票の特徴量を表現した場合の帳票の登録例を示した図。
【図２２】色判断処理動作を説明するためのフローチャート。
【図２３】色判断処理を説明するための図。
【図２４】色判断処理を説明するための図。
【符号の説明】
１…画像入力部
２…帳票登録部
３…入力データメモリ
４…フォーマット情報記憶部
５…帳票識別部
６…ディスプレイ装置
７…指示デバイス
８…保存部

Claims (9)

1. 入力された帳票を登録する帳票登録手段と、
   入力された帳票の種別を識別する帳票識別手段と、
   を備えた帳票処理装置における帳票処理方法であって、
   前記帳票登録手段が、入力された帳票の画像から、帳票の種別を特定するための罫線タイプ、文字列及び色を含む複数の特徴量を抽出する第１の抽出ステップと、
   前記帳票登録手段が、入力された帳票の種別毎に、前記特徴量として抽出された、罫線タイプ、文字列及び色を含む複数の要素を組合せて当該種別の帳票のフォーマットを表したフォーマット情報を記憶手段に記憶するステップと、
   前記帳票識別手段が、入力された識別対象の帳票の画像のタイプに基づき、罫線、文字列及び色を含む複数の特徴量のなかから、当該識別対象の帳票の画像から抽出する１または複数の特徴量を選択する選択ステップと、
   前記帳票識別手段が、前記識別対象の帳票の画像から、前記選択ステップで選択された特徴量を抽出する第２の抽出ステップと、
   前記帳票識別手段が、前記第２の抽出ステップで抽出された前記識別対象の帳票の特徴量と前記記憶手段に記憶されたフォーマット情報との間の類似度に基づき、前記記憶手段に登録されている種別のなかから、前記識別対象の帳票に対応する種別を決定するステップと、
   前記識別対象の帳票に対応する種別が前記記憶手段に登録されていないとき、前記帳票登録手段が、当該識別対象の帳票の特徴量に最も類似するフォーマット情報を修正することにより当該識別対象の帳票のフォーマット情報を生成し、前記記憶手段に記憶するステップと、
   を含むことを特徴とする帳票処理方法。
2. 前記第 1 及び第２の抽出ステップで帳票の特徴量として罫線及び文字列の色を抽出する際、黒領域及び当該黒領域に接している中間色の領域は「黒」と判定し、黒以外の色付き領域のうち前記中間色の領域に接しているが黒領域に接していない領域は「色付き」と判定することを特徴とする請求項１記載の帳票処理方法。
3. 前記第 1 及び第２の抽出ステップで帳票の特徴量として罫線及び文字列の色を抽出する際、黒領域に接している黒以外の色付き領域のうち、当該黒領域に接していない色付き領域に接している領域は「色付き」と判定することを特徴とする請求項１記載の帳票処理方法。
4. 入力された帳票の画像から、帳票の種別を特定するための罫線タイプ、文字列及び色を含む複数の特徴量を抽出する第１の抽出手段と、
   入力された帳票の種別毎に、前記特徴量として抽出された、罫線タイプ、文字列及び色を含む複数の要素を組合せて当該種別の帳票のフォーマットを表したフォーマット情報を記憶する記憶手段と、
   入力された識別対象の帳票の画像のタイプに基づき、罫線、文字列及び色を含む複数の特徴量のなかから、当該識別対象の帳票の画像から抽出する１または複数の特徴量を選択する選択手段と、
   前記識別対象の帳票の画像から、前記選択手段で選択された特徴量を抽出する第２の抽出手段と、
   前記第２の抽出手段で抽出された前記識別対象の帳票の特徴量と前記記憶手段に記憶されたフォーマット情報との間の類似度に基づき、前記記憶手段に登録されている種別のなかから、前記識別対象の帳票に対応する種別を決定する手段と、
   前記識別対象の帳票に対応する種別が前記記憶手段に登録されていないとき、当該識別対象の帳票の特徴量に最も類似するフォーマット情報を修正することにより当該識別対象 の帳票のフォーマット情報を生成し、前記記憶手段に記憶する手段と、
   を含むことを特徴とする帳票処理装置。
5. 前記第 1 及び第２の抽出手段で帳票の特徴量として罫線及び文字列の色を抽出する際、黒領域及び当該黒領域に接している中間色の領域は「黒」と判定し、黒以外の色付き領域のうち前記中間色の領域に接しているが黒領域に接していない領域は「色付き」と判定することを特徴とする請求項４記載の帳票処理装置。
6. 前記第 1 及び第２の抽出手段で帳票の特徴量として罫線及び文字列の色を抽出する際、黒領域に接している黒以外の色付き領域のうち、当該黒領域に接していない色付き領域に接している領域は「色付き」と判定することを特徴とする請求項４記載の帳票処理装置。
7. コンピュータを、
   入力された帳票の画像から、帳票の種別を特定するための罫線タイプ、文字列及び色を含む複数の特徴量を抽出する第１の抽出手段、
   入力された帳票の種別毎に、前記特徴量として抽出された、罫線タイプ、文字列及び色を含む複数の要素を組合せて当該種別の帳票のフォーマットを表したフォーマット情報を記憶する記憶手段、
   入力された識別対象の帳票の画像のタイプに基づき、罫線、文字列及び色を含む複数の特徴量のなかから、当該識別対象の帳票の画像から抽出する１または複数の特徴量を選択する選択手段、
   前記識別対象の帳票の画像から、前記選択手段で選択された特徴量を抽出する第２の抽出手段、
   前記第２の抽出手段で抽出された前記識別対象の帳票の特徴量と前記記憶手段に記憶されたフォーマット情報との間の類似度に基づき、前記記憶手段に登録されている種別のなかから、前記識別対象の帳票に対応する種別を決定する手段、
   前記識別対象の帳票に対応する種別が前記記憶手段に登録されていないとき、当該識別対象の帳票の特徴量に最も類似するフォーマット情報を修正することにより当該識別対象の帳票のフォーマット情報を生成し、前記記憶手段に記憶する手段、
   として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
8. 前記第 1 及び第２の抽出手段で帳票の特徴量として罫線及び文字列の色を抽出する際、黒領域及び当該黒領域に接している中間色の領域は「黒」と判定し、黒以外の色付き領域のうち前記中間色の領域に接しているが黒領域に接していない領域は「色付き」と判定することを特徴とする請求項７記載の記録媒体。
9. 前記第 1 及び第２の抽出手段で帳票の特徴量として罫線及び文字列の色を抽出する際、黒領域に接している黒以外の色付き領域のうち、当該黒領域に接していない色付き領域に接している領域は「色付き」と判定することを特徴とする請求項７記載の記録媒体。

Images