JP4592984B2 - 画像照合装置、画像照合方法、及び画像照合プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像照合装置、画像照合方法、及び画像照合プログラムに関し、特に、帳票をイメージ読取装置で読み取り、予め払込機関に登録された複数の種類の帳票との照合を行う画像照合装置、画像照合方法、及び画像照合プログラムに関する。
従来、市町村税等の税金の振込や、ガス、水道、電気料金等の公共料金の振込等に帳票と呼ばれる３連の振込用紙が使用されている。３連の帳票はミシン目によって分離可能である。このような３連の帳票は、例えば、左側の部分が銀行や郵便局の窓口でお金を支払った人の領収書として使用され、真ん中の部分が取りまとめ店（銀行や郵便局）の保管用として使用され、右側の部分が料金が払い込まれる機関に送られるようになっている。
【０００２】
銀行等の払込窓口に差し出された帳票は、イメージ読取装置によって読み取られて帳票の種類が判別される。このため、銀行等の払込機関には帳票の照合を行うためのデータベースがあり、予め各市町村や公共機関が発行する帳票の種々の形式が登録されている。帳票の種類がイメージ読取装置によって判別されると、例えば、帳票がＡ市が発行した税金の振込用のものであると判別されると、Ａ市の文字認識の定義情報がデータベースから読み取られ、帳票の金額の部分が認識されて表示器に表示され、それを窓口の係員が確認するようになっている。
【０００３】
一方、このような帳票の認識システムにおいて銀行等の払込窓口で帳票を読み取るイメージ読取装置は、帳票の読取専用に設置されているわけではなく、色々な用途に使用できるようになっている。そして、イメージ読取装置はＡ４縦サイズのものが主流となっている。
ところが、帳票の中にはＡ４縦サイズのイメージ読取装置では読み取れない大きな帳票も存在するので、このような帳票はわざわざＡ３サイズのイメージ読取装置まで持っていって読み取らねばならず、その改善が望まれていた。
【０００４】
【従来の技術】
図１(a) は従来のＡ３サイズイメージリーダ３で帳票１を読み取る状態を説明する図である。Ａ３サイズイメージリーダ３のイメージ読取用のガラス面３Ａには、イメージを読み取らせる書類の隅部を突き当てることによって位置を定めるためのガイド５が設けられている。帳票１はその左上の隅がこのガイド５に突き当てられた状態でガラス面３Ａに置かれ、カバー３Ｂが閉じられた後にこのＡ３サイズイメージリーダ３がオンされてＡ３サイズイメージリーダ３に帳票１が読み取られる。
【０００５】
図１(b) は(a) のイメージリーダ３で読み取られた読取イメージ１０を示すものである。Ａ３サイズイメージリーダ３はガラス面３Ａが広いので、大きなサイズの帳票１でもその全体（３連の帳票Ａ、帳票Ｂ、及び帳票Ｃ）を読み取ることができる。読み取られたイメージ１０は、帳票イメージ１１とその周囲の黒背景９とから構成される。なお、この例ではイメージリーダ３で読み取られた帳票イメージ１１は正立状態になっているが、帳票１が上下逆の向きで読み取られた場合には、帳票イメージ１１は倒立状態となる。
【０００６】
一方、図２(a) は、図１(a) に示した大きさの帳票１を従来のＡ４サイズイメージリーダ４で読み取る場合を示している。Ａ４サイズイメージリーダ４のガラス面４Ａの上にもガイド５が設けられている。Ａ４サイズイメージリーダ４でサイズの大きな帳票１を読み取る場合には、当然ながら帳票１の一部がＡ４サイズイメージリーダ４からはみ出す。
【０００７】
図２(b) は(a) のＡ４サイズイメージリーダ４で読み取られた正立状態の帳票１の読取イメージ１０Ａを示すものである。読取イメージ１０Ａは、正立状態の帳票１のイメージ１１Ｓと黒背景９とから構成されている。また、図２(c) は(a) のＡ４サイズイメージリーダ４で読み取られた倒立状態の帳票１の読取イメージ１０Ｂを示すものである。読取イメージ１０Ｂは、倒立状態の帳票１のイメージ１１Ｔと黒背景９とから構成されている。
【０００８】
【発明が解決しようとする課題】
しかしながら、前述のようにＡ４サイズイメージリーダ４からはみ出すサイズの帳票１をＡ４サイズイメージリーダ４で読み取ると、帳票全体が読み取れずに、帳票１を読み取る方向によって帳票１の左右端のどちらかが帳票イメージから切れてしまう。このような場合、帳票を照合する機関のデータベースに帳票の一部のイメージが照合用として登録されていれば、一部の特徴のマッチングによって帳票同士の照合が可能である。ところが、帳票全体のイメージが照合用として登録されていた場合は、帳票全体の特徴によるマッチングができず、帳票の照合が行えないという問題点があった。
【０００９】
そこで、本発明は、帳票全体のイメージが照合用として登録されているような画像照合装置において、帳票の一部しか読み取れないイメージリーダで帳票を読み取った場合でも、また逆に、帳票の一部のイメージが照合用として登録されているような画像照合装置において、帳票全体のイメージを読み取れるイメージリーダで帳票を読み取った場合でも、帳票の照合を確実に行うことができる画像照合装置および画像照合方法を提供することを目的としている。
【００１０】
【課題を解決するための手段】
前記目的を達成する本発明の画像照合装置は、画像読取装置で読み取られた帳票のイメージを、予めデータベースに登録されている複数の帳票のイメージと順次照合し、イメージの一致を検出して帳票の種類を判定する画像照合装置であって、画像入力部に接続された読取りサイズの異なる複数の画像読取装置と、データベースに登録された帳票の登録イメージを順次読み出す登録イメージ読出手段と、画像読取装置から入力された帳票イメージから帳票端座標を検出し、縦方向の座標端間距離と横方向の座標端間距離から縦サイズと横サイズを求めて、帳票サイズを判定する帳票サイズ判定処理手段と、画像読取装置の読取りサイズが登録イメージのサイズよりも小さく、読み取った帳票イメージのサイズが登録イメージのサイズよりも小さい場合に、読み出した登録イメージのサイズを読み取った帳票イメージのサイズに合わせて切り出し、画像読取装置の読取りサイズが登録イメージのサイズよりも大きく、読み取った帳票イメージのサイズが登録イメージのサイズよりも大きい場合に、読み取った帳票イメージのサイズを登録イメージのサイズに合わせて切り出して、読み取った帳票イメージのサイズと登録イメージのサイズとを合わせるイメージ切出手段と、イメージ切出手段によって登録イメージとサイズが合わされた帳票イメージから帳票に印刷された情報の特徴を抽出する特徴抽出処理手段と、抽出した帳票の特徴を、イメージ切出手段によって帳票イメージとサイズが合わされた登録イメージの特徴と順次マッチングさせる特徴照合処理手段と、帳票の特徴が登録イメージの特徴と一致した場合に、その登録イメージから帳票の種類を判定する帳票判定手段とを備えることを特徴としている。
【００１１】
なお、この場合、データベースから読み出した全ての登録イメージに対して、特徴照合処理手段により帳票の特徴の一致が得られなかった場合には、登録イメージを９０度の倍数だけ回転させてからイメージ切出手段に送る、イメージ回転手段を更に設けることができる。
また、前記目的を達成する本発明の画像照合方法は、画像読取装置で読み取られた帳票のイメージを、予めデータベースに登録されている複数の帳票のイメージと順次照合し、イメージの一致を検出して帳票の種類を判定する画像照合装置において、その画像入力部に読取りサイズの異なる複数の画像読取装置が接続された場合の画像照合方法であって、帳票の種類判定時に、データベースに登録された帳票の登録イメージを順次読み出し、画像読取装置から入力された帳票イメージから帳票端座標を検出し、縦方向の座標端間距離と横方向の座標端間距離から縦サイズと横サイズを求めて、帳票サイズを判定し、画像読取装置の読取りサイズが登録イメージのサイズよりも小さく、読み取った帳票イメージのサイズが登録イメージのサイズよりも小さい場合には、読み出した登録イメージのサイズを読み取った帳票イメージのサイズに合わせて切り出し、画像読取装置の読取りサイズが登録イメージのサイズよりも大きく、読み取った帳票イメージのサイズが登録イメージのサイズよりも大きい場合には、読み取った帳票イメージのサイズを登録イメージのサイズに合わせて切り出し、帳票イメージから帳票に印刷された情報の特徴を抽出しておき、抽出した帳票の特徴と登録イメージの特徴と順次マッチングさせ、帳票の特徴が登録イメージの特徴と一致した場合に、その登録イメージから帳票の種類を判定することを特徴としている。
【００１２】
更に、前記目的を達成する本発明の画像照合プログラムは、コンピュータに、帳票の種類判定時に、データベースに登録された帳票の登録イメージを順次読み出す登録イメージ読出手順と、画像読取装置から入力された帳票イメージから帳票端座標を検出し、縦方向の座標端間距離と横方向の座標端間距離から縦サイズと横サイズを求めて、帳票サイズを判定する帳票サイズ判定手順と、画像読取装置の読取りサイズが登録イメージのサイズよりも小さく、読み取った帳票イメージのサイズが登録イメージのサイズよりも小さい場合には、読み出した登録イメージのサイズを読み取った帳票イメージのサイズに合わせて切り出し、画像読取装置の読取りサイズが登録イメージのサイズよりも大きく、読み取った帳票イメージのサイズが登録イメージのサイズよりも大きい場合には、読み取った帳票イメージのサイズを登録イメージのサイズに合わせて切り出すイメージ切出手順と、帳票イメージから帳票に印刷去れた情報の特徴を抽出する特徴抽出手順と、抽出した帳票の特徴と登録イメージの特徴と順次マッチングさせる特徴照合手順、及び、帳票の特徴が登録イメージの特徴と一致した場合に、その登録イメージから帳票の種類を判定する帳票判定手順とを実行させるためのプログラムである。
本発明の画像照合装置、画像照合方法、及び画像照合プログラムによれば、帳票の照合を行う場合に、所定のイメージサイズの帳票をデータベースに事前登録しておくだけで、帳票を読み取るイメージリーダの大きさに左右されることなく、帳票の一部、または全部をイメージリーダで読み取って、帳票の特徴と登録イメージの特徴とを比較するだけで帳票の種類を判定することができる。
【００１３】
【発明の実施の形態】
以下添付図面を用いて本発明の実施形態を具体的な実施例に基づいて詳細に説明する。なお、本発明の画像照合装置、画像照合方法、及び画像照合プログラムは色々な書類の内容をデータベースに登録されたイメージと照合して書類を特定するのに使用されるが、説明を簡単にするために、以後の実施形態では、書類が帳票である実施例を説明する。
【００１４】
図３は本発明の画像照合装置２の一実施例の構成を示すものである。本発明が対象とする画像照合装置２には、そのイメージ入力部に読み取りサイズの異なる複数種類のイメージリーダ、例えばこの実施例のように、Ａ３サイズイメージリーダ３と、Ａ４サイズイメージリーダ４とが接続されているものとする。また、この実施例の画像照合装置２には、キーボード６、データベース７、および表示器８が接続されている。
【００１５】
画像照合装置２には、入出力インタファース２０、ＣＰＵ（中央処理装置）２１、ＲＡＭ（読み書きメモリ）２２、制御プログラム等が記憶されたＲＯＭ（読出専用メモリ）２３があり、バス２５によって相互に接続されている。前述のＡ３サイズイメージリーダ３、Ａ４サイズイメージリーダ４、キーボード６、及びデータベース７は入出力インタフェース２０に接続されている。また、表示器８は、画像照合装置２内に設けられた表示制御部２４を介して入出力インタフェース２０に接続されている。更に、データベース７には、予め照合しようとする帳票、例えば、近隣の市町村の電気の払込用の帳票のフォーム、ガス・水道・電気等の公共料金の払込用の帳票のフォームがＡ３サイズイメージリーダ３またはＡ４サイズイメージリーダ４、或いは、キーボードを通じて入力され、事前登録イメージ１７として登録されている。
【００１６】
まず、最初の実施例として、データベース７に登録された事前登録イメージ１７が帳票全体のイメージである場合について説明する。
図４は図３の画像照合装置２の機能をブロックで示すものである。帳票サイズの判定処理部３０には複数のイメージリーダによって読み取られたイメージデータが入力されるようになっており、帳票サイズの判定処理部３０は入力された読取イメージデータに基づいて帳票のサイズを判定する。帳票サイズの判定処理部３０からは、判定された帳票のサイズがイメージの切出処理部３１に送られ、入力されたイメージデータが帳票の特徴抽出処理部３２に送られる。イメージ切出処理部３１はデータベース７にアクセスしてデータベース７に登録されている帳票の登録イメージを少なくとも１つ読み出す。
【００１７】
イメージ切出処理部３１は帳票サイズの判定処理部３０から入力される帳票のサイズに応じて読み出した登録イメージを切出し処理する。登録イメージには帳票の特徴部分のデータも含まれており、この特徴部分のデータは特徴照合処理部３３に送られる。一方、帳票の特徴抽出処理部３２は、帳票サイズの判定処理部３０からの読取イメージから帳票の特徴部分を抽出して特徴照合処理部３３に送る。特徴照合処理部３３は、帳票の特徴抽出処理部３２から入力された帳票の特徴部分を、イメージ切出処理部３１から入力された帳票の特徴部分と照合し、一致した場合は登録イメージと読取イメージとを帳票処理部３４に送り、一致しない場合は次の帳票の登録イメージに対して同様の処理を行う。帳票処理部３４は登録イメージに含まれるデータに基づいて読取イメージから払込金額等のデータを読み取り、必要な処理を行う。
【００１８】
帳票の特徴抽出処理部３２から入力された帳票の特徴部分が、イメージ切出処理部３１から入力された全ての帳票の特徴部分と一致しなかった場合は、帳票の特徴照合処理部３３にある切出帳票イメージの回転指示部３５が、イメージ切出処理部３１に回転指示を出力し、イメージ切出処理部３１が再び最初から順次読み出した帳票全体の登録イメージを、例えば、１８０度回転させてから切出し処理を行うようにする。そして、１８０度回転させた切出登録イメージと読取イメージとの比較が順次行われる。
【００１９】
帳票全体の登録イメージを１８０度回転させた後に切出処理を行って得られた切出登録イメージの全てが読取イメージと一致しなかった場合は、切出帳票イメージの回転指示部３５が、イメージ切出処理部３１に再度回転指示を出力し、イメージ切出処理部３１が読み出した帳票全体の登録イメージを、例えば、９０度回転させてから切出し処理を行うようにし、前述と同様の照合処理を行う。更に、これでも切出登録イメージの全てが読取イメージと一致しなかった場合は、切出帳票イメージの回転指示部３５が、イメージ切出処理部３１に再度回転指示を出力し、イメージ切出処理部３１が読み出した帳票全体の登録イメージを２７０度回転させてから切出し処理を行うようにし、前述と同様の照合処理を行う。この処理でも一致がない場合は、読み取った帳票がこの画像照合装置では処理できないものの時である。
【００２０】
以上のような画像照合装置２の帳票の照合動作を、より具体的な例に基づいて以下に説明する。
（１）帳票サイズの抽出処理
Ａ３サイズイメージリーダ３により帳票１を読み取った時のイメージ１０は図１(b) で説明した通りであり、帳票イメージ１１からは、３枚の帳票（Ａ，Ｂ，Ｃ）の全体が読み取れる。一方、この帳票１を図２(a) で説明したようなＡ４サイズイメージリーダ４で読み取ると、帳票１の全体を読み取ることができない。そして、帳票Ａの左上端をガイド５の突き当て位置に合わせて読み取った時のイメージ１０Ａは図２(b) で説明した通りであり、イメージ１０Ａは黒背景９と帳票イメージ１１Ｓとを含んでいる。また、帳票１を上下逆の向きにして、帳票Ｃの右下端をガイド５の突き当て位置に合わせて読み取った時のイメージ１０Ｂは図２(c) で説明した通りであり、イメージ１０Ｂは黒背景９と帳票イメージ１１Ｔとを含んでいる。
【００２１】
帳票１の種類によっては、帳票Ａが重要であったり、帳票Ｃが重要であったりするが、前述の２通りの読取り方法により、重要部分がどちら側であっても必要な部分の読取りが可能となる。
なお、図２(a) のＡ４サイズイメージリーダ４で帳票１の帳票Ｃを読み取る場合、帳票Ａをガイド５の左側にはみ出させて帳票Ｃを読み取る方法もある。しかしながら、このようにすると帳票１の位置がガイド５によって規定されず、帳票１が斜行する可能性が大きい。帳票１の斜行は、帳票１の読取り方向における帳票１の左上端をガイド５に突き当てて合わせることで防止することができ、精度の高い画像照合を実現することができる。従って、帳票Ａをガイドの左側にはみ出させて帳票Ｃを読み取る方法は照合精度が悪くなるので良い方法ではない。
【００２２】
そして、図２(b) に示すようにＡ４サイズイメージリーダ４で読み取った読取イメージ１０Ａに対して、この実施例では帳票サイズを抽出するために以下の処理を行う。
(A) 図５に示すように４方向から内側へ読取イメージ１０Ａを走査する。
(B) 走査の結果、黒画素から白画素への変化する走査線が最も多いポイントを帳票端座標と決定する。
【００２３】
・上から内側への走査の結果、帳票端座標は（ａ）となる。
・左から内側への走査の結果、帳票端座標は（ｂ）となる。
・下から内側への走査の結果、帳票端座標は（ｃ）となる。
・右から内側への走査の結果、帳票端座標は（ｄ）となる。
なお、この場合のように右端が帳票Ｂが読取イメージ１０Ａからはみ出ている場合はイメージ端がそのまま帳票端となる。また、Ａ３サイズイメージリーダ３で帳票１を読み取った時は、その読取イメージ１０（図１(b) 参照）には帳票イメージ１１の４方に黒背景９があるため、４方からの走査で帳票端座標を抽出することになる。
【００２４】
(C) この結果、得られた帳票端座標からＡ４サイズイメージリーダ４で読み取られた帳票サイズを以下のように決定することができる。これを図６に示す。
・縦サイズ：Ｈ１＝（ｃ）−（ａ）
・横サイズ：Ｗ１＝（ｄ）−（ｂ）
（２）切出しイメージの作成
事前登録したイメージは図７に示すように縦サイズがＨ２、横サイズがＷ２のＡ３サイズであることが分かっており、読み取ったイメージは図５で説明した帳票サイズの抽出処理により、縦サイズがＨ１、横サイズがＷ１のＡ４サイズであることが分かる。Ａ４サイズの読取イメージを図６に示す。この両者がマッチング対象イメージであり、両者のサイズを比較した結果は以下のようになる。
【００２５】
・高さ比較：Ｈ１＝Ｈ２
・幅比較 ：Ｗ１＜Ｗ２
この結果から、図７のＡ３サイズイメージを、図８(a) に示すように太線帳票位置で分割し、図８(b) に示すようにＡ４サイズ分のイメージ分だけ切出す。よって、図６に示したＡ４サイズの読取イメージは、図８(b) に示した切出登録イメージと照合することにより、帳票の種類を判別することができる。
（３）帳票特徴の抽出
図６に示したＡ４サイズの読取イメージを図８(b) に示した切出登録イメージと照合する際は、帳票の特徴を抽出し、この帳票の特徴同士を照合することが行われる。帳票の特徴としては、罫線情報と、文字情報とがあり、これらを抽出して照合が行われる。
【００２６】
(3-1) 罫線情報の抽出
罫線は、読取イメージの縦、横方向に所定閾値以上の長さをもち、均一幅で連続する黒画素を罫線と判定する。その罫線の開始、終了座標（Ｘ，Ｙ）を帳票の特徴とする。図９(a) は罫線情報抽出を説明するものである。罫線情報抽出の結果、３本の縦罫線と５本の横罫線が抽出された場合を例にとって説明する。
【００２７】
この場合は、抽出された各罫線について罫線の開始座標と罫線の終了座標を抽出する。縦罫線の開始座標は罫線の上端座標であり、縦罫線の終了座標は罫線の下端座標である。また、横罫線の開始座標は罫線の左端座標であり、横罫線の終了座標は罫線の右端座標である。
このようにして縦、横の罫線の開始座標と終了座標を抽出した後は、縦罫線、および横罫線の座標情報を互いに比較し、罫線の交点を抽出してこれを帳票の特徴に加える。交点は図９(b) に示すように抽出した縦、横罫線について９種類ある。縦罫線と横罫線の関係をこの９種類に当てはめて交点を求めると図９(c) に示す●印のようになる。この交点数、および交点座標を読み取ったイメージにおける帳票の特徴として抽出する。
【００２８】
(3-2) 文字情報の抽出
所定閾値のサイズをもつ黒画素の集まりを、文字を構成するラベル情報として抽出し、これを帳票の特徴とする。特徴とする文字情報は、抽出した文字配置、および文字数（全文字数、または連続する文字数）である。
図１０(a) 〜図１０(c) は文字情報の抽出を説明する図である。図１０(a) に示すような帳票の読取イメージの中から、所定閾値サイズに該当する、文字を構成する黒画素の集まり（ラベル情報）を抽出すると、図１０(b) のようになる。ここでは、罫線を構成する黒画素の集まりは、文字を示す所定閾値サイズより大きくなるため削除される。
【００２９】
次に、図１０(b) の状態から更に、特徴を抽出するため特徴文字ラベル抽出を大きい文字に限定する。所定閾値サイズが所定値より小さい小さいサイズの文字を除くと、文字情報は図１０(c) のようになる。この結果から、特徴文字情報として、文字数が１３文字であることと、各文字毎の開始／終了座標（Ｘ，Ｙ）が抽出される。
（４）帳票特徴のマッチング
以上のようにして読み取ったイメージと、事前登録したイメージについて、抽出した特徴情報同士を比較する。
【００３０】
それぞれの特徴毎に、総特徴数、例えば、罫線情報の場合は、縦罫線数と横罫線数の和、に対して、一致する特徴数の比率を算出する。各比率の総和が所定の閾値を超える場合、２つのイメージは一致すると判断する。
このようにして、読み取ったイメージと事前登録したイメージとの照合が行われる。
（５）帳票イメージの回転処理
(5-1) １８０度の回転処理
ところが、以上のような照合を行っても、読み取ったイメージをデータベースに事前に登録したイメージと個々に比較した時に全く一致しないことがある。このような場合は、読み取りを行った帳票のイメージがデータベースに事前に入力されていなかった場合も原因として考えられるが、大抵の場合は、Ａ４イメージリーダに対して、帳票を正規の向きで読み取らせていないことが原因である。
【００３１】
そこで、本発明では、特徴のマッチングの結果、不一致となった場合には、帳票が図１１(a) に示すように、倒立状態でイメージリーダに読み取られたと判断し、切出しイメージ作成処理に戻る。帳票が倒立状態で読み取られた場合は、帳票が１８０度回転させられた状態であるので、この場合は、図７で説明したＡ３サイズの事前登録イメージを図１１(b) に示すように、１８０度回転させる。そして、（２）の切出しイメージの作成処理において図１１(c) に示すような切出しイメージを作り、（３）と（４）の処理を再度実行して特徴のマッチングを行う。
【００３２】
この事前登録イメージの１８０度の回転処理により、殆どの場合、読み取ったイメージとデータベースに事前に登録したイメージとが一致する。
(5-2) その他の角度の回転処理
ところが、事前登録イメージの１８０度の回転処理を行っても、読み取ったイメージをデータベースに事前に登録したイメージと個々に比較した時に全く一致しないことがある。このような場合は、Ａ４イメージリーダに対して、帳票を正規の向きに対して９０度、或いは２７０度回転させた状態で読み取らせている可能性がある。
【００３３】
そこで、本発明では、帳票の正立状態と倒立状態を考慮した特徴のマッチングの結果、不一致となった場合には、帳票が図１２(a) に示すように正立状態から９０度回転させられた状態でイメージリーダに読み取られた状態、或いは、帳票が図１２(d) に示すように正立状態から２７０度回転させられた状態でイメージリーダに読み取られた状態の２つの場合について、切出しイメージ作成処理を実行する。
【００３４】
即ち、最初に帳票が正立状態から９０度回転させられて読み取られた場合と判断して、図７で説明したＡ３サイズの事前登録イメージを図１２(b) に示すように、９０度回転させる。そして、（２）の切出しイメージの作成処理において図１２(c) に示すような切出しイメージを作り、（３）と（４）の処理を再度実行して特徴のマッチングを行う。
【００３５】
特徴のマッチングの結果、これでも不一致となった場合には、最初に帳票が正立状態から２７０度回転させられて読み取られた場合と判断して、図７で説明したＡ３サイズの事前登録イメージを図１２(e) に示すように、２７０度回転させる。そして、（２）の切出しイメージの作成処理において図１２(f) に示すような切出しイメージを作り、（３）と（４）の処理を再度実行して特徴のマッチングを行う。
【００３６】
この事前登録イメージの１８０度の回転処理、その後の９０度と２７０度の回転処理によっても読み取ったイメージとデータベースに事前に登録したイメージとが一致しない場合には、読み取ったイメージがデータベースに事前に登録したイメージに含まれていない場合か、機械の故障の場合であるので、本発明の対象外である。
【００３７】
ここで、以上のような動作を行う本発明の画像照合装置２の照合方法の実施例の手順をフローチャートを用いて説明する。
図１３は、事前登録イメージがＡ３サイズの場合の画像照合装置２の照合方法の手順を示すものである。帳票がイメージリーダの上に載置され、イメージリーダの読取スタートボタンが押されると、この手順がスタートする。
【００３８】
ステップ３０１ではイメージリーダによる帳票の読取処理が行われ、データベースに登録されている登録イメージの読出番号Ｎが初期値である１に設定されると共に、登録イメージの回転を行うか否かの回転フラグＲが初期値である０（回転を実行しない）に設定される。続くステップ３０２では、帳票の読み込みを行ったイメージリーダがＡ３タイプ（図にはＡ３型と表示）イメージリーダか否かが判定される。
【００３９】
帳票の読み込みを行ったイメージリーダがＡ３タイプのイメージリーダである場合はステップ３０３に進み、Ａ３サイズの登録イメージを順次読み出してイメージリーダから読み取られた帳票のイメージとの照合が行われる。この場合は、イメージリーダから読み取った帳票イメージのサイズが、データベースに登録されている登録イメージのサイズと一致するので、単にイメージリーダから読み取った帳票イメージを、データベースから読み出した登録イメージと順次１対１で照合すれば良い。また、イメージリーダから読み取った帳票イメージがデータベースから順次読み出した登録イメージと一致しない場合には、データベースから読み出した登録イメージを１８０度回転させて同じ動作を行えば、帳票がデータベースに登録されていない場合を除き、帳票イメージが何れかの登録イメージと一致する。（Ａ３サイズイメージリーダの場合は帳票の９０度回転や２７０度回転はしないと考えられる。）一致した場合は、帳票イメージに一致する登録イメージの情報に従って、通常の帳票処理が行われてこのルーチンを終了する。よって、この場合の照合についてはこれ以上の説明を省略する。
【００４０】
一方、帳票の読み込みを行ったイメージリーダがＡ３タイプのイメージリーダでない場合、即ち、図６で説明したＡ４タイプのイメージリーダである場合はステップ３０４に進む。ステップ３０４ではＮ番目の登録イメージがデータベースから読み出される。最初にこのステップ３０４に進んできた時には、１番目の登録イメージがデータベースから読み出される。データベースから読み出された登録イメージは図７で説明したようなＡ３サイズである。
【００４１】
続くステップ３０５では回転フラグＲの値が０か否かが判定される。回転フラグＲはステップ３０１で０にされているので、ステップ３０５の判定はＹＥＳとなる。この結果、データベースから読み出された登録イメージはそのままの状態でステップ３０６に進む。ステップ３０６では読み出されたＡ３サイズの登録イメージが、図８(a) ，(b) で説明したように、読み取られたＡ４サイズの帳票の読取イメージの大きさに合わせて切り出し処理される。この結果、読み取られた帳票のＡ４サイズの読取イメージと登録イメージのサイズが同じになる。
【００４２】
次のステップ３０７では、図９(a) 〜(c) および図１０(a) 〜(c) で説明したように、読み取られた帳票イメージとＡ４サイズに切り出された登録イメージの、帳票の特徴が抽出される。そして、続くステップ３０８において両者の帳票の特徴が一致したか否かが判定される。両者の帳票の特徴が一致した場合はステップ３１７に進み、読み取られた帳票イメージに一致する登録イメージの情報に従って、通常の帳票処理が行われてこのルーチンを終了する。
【００４３】
一方、ステップ３０８で読み取られた帳票のＡ４サイズの読取イメージと登録イメージのサイズが一致しない場合はステップ３０９に進み、データベースに登録されている登録イメージの読出番号Ｎが１だけインクリメントされる。次のステップ３１０では、インクリメントされた登録イメージの読出番号Ｎが、データベースに登録された登録番号の最大値Ｎmax であるか否かが判定される。登録イメージの読出番号Ｎが最大値Ｎmax でない場合はステップ３０４に戻り、読出番号Ｎが次の番号の登録イメージに対して以上説明したステップ３０４からステップ３０８までの照合手順が繰り返される。ステップ３０９において登録イメージの読出番号Ｎを１だけインクリメントして行われる照合手順は、ステップ３０８において、読み取られた帳票イメージが登録イメージに一致するまで、或いは、ステップ３１０の判定がＹＥＳになるまで続けられる。
【００４４】
また、ステップ３０９においてインクリメントされた登録イメージの読出番号Ｎが、ステップ３１０でデータベースに登録された登録番号の最大値Ｎmax に一致した場合はステップ３１１に進む。ステップ３１１では、読み取られた帳票のＡ４サイズの読取イメージと、正立状態の登録イメージとの間に一致するものは無かったと判断し、回転フラグＲの値に１が加えられると共に、データベースから読み出す登録イメージの読出番号Ｎが初期値の１に戻されてステップ３０４に戻る。ここではＲ＝１は登録イメージを１８０度回転させる処理を示すものとする。
【００４５】
このようにして、ステップ３１１を通過した後は、ステップ３０４における登録イメージの読出処理の後のステップ３０５の判定がＮＯとなる。この時はステップ３１２に進み、回転フラグＲの値が１か否かが判定される。回転フラグＲの値が１の場合はステップ３１３に進み、ステップ３０４で読み出した登録イメージを１８０度回転してステップ３０６に戻る。この処理は図１１(a) で説明したように、イメージリーダに帳票が倒立状態で置かれて読み取りが行われたことを想定したものである。１８０度回転させられた登録イメージは図１１(b) で説明した状態となる。
【００４６】
ステップ３０６に戻った後は前述の手順と同様に、ステップ３０６で登録イメージの切出し処理、ステップ３０７で読み取った帳票イメージと切り出された登録イメージの帳票の特徴の抽出処理が行われた後にステップ３０８で照合判定が行われ、両者が一致しなかった場合はステップ３０９とステップ３１０を経て３０４に戻る。そして、以後、ステップ３０４からステップ３１０の手順にステップ３１２とステップ３１３の手順が加えられた手順が、ステップ３０８の判定がＹＥＳになるまで、あるいは、ステップ３１０の判定がＹＥＳになるまで続けられる。
【００４７】
以上の判定手順により、殆どの場合、イメージリーダで読み取られたイメージが登録イメージに一致する。しかしながら、この手順においてもステップ３１０で登録イメージの読出番号Ｎがデータベースに登録された登録番号の最大値Ｎmax に一致した場合は再度ステップ３１１に進み、回転フラグＲの値に１が加えられると共に、データベースから読み出す登録イメージの読出番号Ｎが初期値の１に戻されてステップ３０４に戻る。この場合は、イメージリーダで読み取られた帳票の読取イメージが正立状態でも倒立状態でもなく、図１２(a) で説明した９０度回転されられた状態、あるいは、図１２(d) で説明した２７０度回転されられた状態と考えられる。ここではＲ＝２が登録イメージの９０度回転、Ｒ＝３が２７０度回転を示すものとする。
【００４８】
そこで、この実施例では、回転フラグＲの値が０の時も１の時もイメージリーダで読み取られた帳票の読取イメージが登録イメージを切り出したものと一致しない時には、回転フラグＲの値を更にインクリメントしてＲ＝２として同様の処理を行う。更に、回転フラグＲの値が０〜２の何れの時もイメージリーダで読み取られた帳票の読取イメージが読出イメージを切り出したものと一致しない時には、回転フラグＲの値を更にインクリメントしてＲ＝３として同様の処理を行う。そして、回転フラグＲの値が０〜３の何れの場合でもイメージリーダで読み取られた帳票の読取イメージが登録イメージを切り出したものと一致しない時には、イメージリーダで読み取られた帳票の読取イメージがデータベースに登録された登録イメージの中に存在しないと判定する。
【００４９】
ステップ３１１において回転フラグＲの値が２にインクリメントされた時は、以後のステップ３０５の判定がＮＯとなり、次のステップ３１２の判定もＮＯとなってステップ３１４に進み、ステップ３１４でＹＥＳとなってステップ３１５に進む。そして、ステップ３１５においてステップ３０４で読み出した登録イメージを、図１２(b) で説明したように、９０度回転してステップ３０６に戻る。ステップ３０６に戻った後は前述の手順と同様に、ステップ３０６からステップ３０８の処理が行われ、ステップ３０８の照合判定で帳票の読取イメージが登録イメージと一致しなかった場合はステップ３０９とステップ３１０を経て３０４に戻る。そして、以後、ステップ３０４からステップ３１０の手順にステップ３１２、ステップ３１４、およびステップ３１５の手順が加えられた手順が、ステップ３０８の判定がＹＥＳになるまで、あるいは、ステップ３１０の判定がＹＥＳになるまで続けられる。
【００５０】
ステップ３１１において回転フラグＲの値が３にインクリメントされた時は、以後のステップ３０５の判定がＮＯとなり、次のステップ３１２の判定もＮＯとなってステップ３１４に進み、ステップ３１４でもＮＯとなってステップ３１６に進む。そして、ステップ３１６においてステップ３０４で読み出した登録イメージを、図１２(e) で説明したように、２７０度回転してステップ３０６に戻る。ステップ３０６に戻った後は前述の手順と同様に、ステップ３０６からステップ３０８の処理が行われ、ステップ３０８の照合判定で帳票の読取イメージが登録イメージと一致しなかった場合はステップ３０９とステップ３１０を経て３０４に戻る。そして、以後、ステップ３０４からステップ３１０の手順にステップ３１２、ステップ３１４、およびステップ３１６の手順が加えられた手順が、ステップ３０８の判定がＹＥＳになるまで、あるいは、ステップ３１０の判定がＹＥＳになるまで続けられる。
【００５１】
このように、この実施例では、Ａ４サイズのイメージリーダに帳票がどの向きに置かれた場合でも、Ａ４サイズのイメージリーダによって読み取られた読取データと、データベースに事前登録されたＡ３サイズの登録データとの照合を行うことができる。
図１４は、事前登録イメージがＡ４サイズの場合の、本発明の画像照合装置の動作の手順の一実施例を示すフローチャートである。この実施例でも、帳票がイメージリーダの上に載置され、イメージリーダの読取スタートボタンが押されると、この手順がスタートする。なお、事前登録イメージがＡ４サイズの場合の、画像照合装置の動作手順は、事前登録イメージがＡ３サイズの場合の画像照合装置の動作手順と共通の手順が多いので、同じ手順には同じステップ番号を付してその説明を簡略化する。
【００５２】
事前登録イメージがＡ４サイズの時も、ステップ３０１でイメージリーダによる帳票の読取処理が行われ、登録イメージの読出番号Ｎが初期値の１に設定されると共に、登録イメージの回転フラグＲが初期値の０に設定される。続くステップ３０２では、帳票の読み込みを行ったイメージリーダがＡ３タイプ（図にはＡ３型と表示）イメージリーダか否かが判定される。
【００５３】
ステップ３０２において、帳票の読み取りを行ったイメージリーダがＡ３タイプのイメージリーダであると判定された場合は、読取イメージのサイズの方が登録イメージのサイズよりも大きいので、読取イメージのサイズを登録イメージのサイズに合わせる必要がある。よってこの場合はステップ４０１に進み、Ａ３サイズの読出イメージの切出しが行われてからステップ３０４に進む。Ａ３サイズの読出イメージの切出しは決められた１方向から行われる。この切出し処理により、Ａ３サイズイメージリーダで読み取った読出イメージのサイズが、Ａ４サイズイメージリーダで読み取った読出イメージのサイズと同じになる。また、ステップ３０２で帳票の読み取りを行ったイメージリーダがＡ４タイプのイメージリーダであると判定された場合は、読取イメージのサイズが登録イメージのサイズに一致している。よってこの場合はそのままステップ３０４に進む。
【００５４】
ステップ３０４におけるデータベースからのＮ番目の登録イメージの読み出しと、続くステップ３０５における回転フラグＲの値が０か否かの判定は前述の実施例と同じである。また、ステップ３０５で回転フラグＲの値が０でない時に実行されるステップ３１２〜ステップ３１６の処理、即ち、読み出した登録イメージの回転処理も前述の実施例と同じである。よって、ここでは、回転フラグＲの値が０の時だけについて処理を説明する。
【００５５】
ステップ３０５で回転フラグＲの値が０と判定された時はステップ４０２に進む。ステップ４０２では、イメージリーダがＡ４サイズの場合の読取イメージまたはイメージリーダがＡ３サイズの場合の切り出された読取イメージの帳票の特徴が抽出されると共に、登録イメージの特徴が抽出される。そして、続くステップ３０８において両者の帳票の特徴が一致したか否かが判定される。両者の帳票の特徴が一致した場合はステップ３１７に進み、読み取られた帳票イメージに一致する登録イメージの情報に従って、通常の帳票処理が行われてこのルーチンを終了する。
【００５６】
一方、ステップ３０８で読み取られた帳票のＡ４サイズの読取イメージと登録イメージの帳票の特徴が一致しない場合はステップ３０９に進み、データベースに登録されている登録イメージの読出番号Ｎが１だけインクリメントされる。次のステップ３１０では、インクリメントされた登録イメージの読出番号Ｎが、データベースに登録された登録番号の最大値Ｎmax であるか否かが判定される。登録イメージの読出番号Ｎが最大値Ｎmax でない場合はステップ３０４に戻って読出番号Ｎが次の番号の登録イメージに対して同様の照合手順が繰り返される。また、ステップ３１０で登録イメージの読出番号Ｎが登録番号の最大値Ｎmax に一致した場合はステップ３１１に進む。ステップ３１１では、回転フラグＲの値に１が加えられると共に、データベースから読み出す登録イメージの読出番号Ｎが初期値の１に戻されてステップ３０４に戻る。
【００５７】
このようにして、ステップ３１１を１度でも通過した後は、ステップ３０４における登録イメージの読出処理の後のステップ３０５の判定がＮＯとなり、以後ステップ３１２からステップ３１６の登録イメージの回転処理が行われた後に同様の照合判定が行われる。
このように、この実施例では、Ａ４サイズまたはＡ３サイズのイメージリーダに帳票がどの向きに置かれた場合でも、イメージリーダによって読み取られた読取データと、データベースに事前登録されたＡ４サイズの登録データとの照合を行うことができる。
【００５８】
以上説明した画像照合手順は、コンピュータに画像照合プログラムとして記憶させることができる。
なお、以上の実施例では、帳票を対象にして説明したが、本発明は特に帳票の照合に限定されるものではなく、他の書類についても本発明を有効に適用することができる。
【００５９】
【発明の効果】
以上説明したように、従来の方式では、同じ書類でも読取イメージと事前登録イメージのイメージサイズが異なるものをマッチングする場合は、両方のイメージについて事前登録する必要があったが、本発明により、一方のイメージサイズのみを事前登録しておけば、イメージリーダがＡ４サイズであっても、Ａ３サイズであっても、帳票全体、一部のどちらもマッチングすることが可能となるという効果がある。
【００６０】
また、イメージリーダに帳票がどのような向きで置かれても、事前登録イメージとの照合が可能であるという効果がある。
【図面の簡単な説明】
【図１】(a) は従来のＡ３サイズイメージリーダと帳票を示す図、(b) は(a) のイメージリーダで読み取られた帳票のイメージを示す図である。
【図２】(a) は従来のＡ４サイズイメージリーダの平面図、(b) は(a) のイメージリーダで読み取られた正立状態の帳票のイメージを示す図、(c) は(a) のイメージリーダで読み取られた倒立状態の帳票のイメージを示す図である。
【図３】本発明の画像照合装置の構成を示すブロック図である。
【図４】図３の画像照合装置の機能をブロックで示す機能ブロック図である。
【図５】Ａ４サイズイメージリーダで帳票を読み取ったイメージの走査を説明する説明図である。
【図６】Ａ４サイズイメージリーダで読み取った帳票の読取イメージを示す説明図である。
【図７】本発明の画像照合装置のデータベースに登録されるＡ３サイズの事前登録イメージを示す説明図である。
【図８】(a) は事前登録イメージの分割前のイメージを示す図であり、(b) は分割後の切出しイメージを示す図である。
【図９】(a) は読み取った帳票の罫線情報を説明する図、(b) は交点の種類を示すパターン図、(c) は(a) の罫線から抽出された交点を示す図である。
【図１０】(a) は読み取った帳票のイメージから文字情報と罫線を抽出した状態を示す図、(b) は(a) の帳票イメージから形成情報を削除して文字サイズラベルを抽出した状態を示す図、(c) は(b) の文字サイズラベルから特徴文字ラベルのみを抽出した状態を示す図である。
【図１１】(a) はＡ４サイズイメージリーダに帳票が倒立状態で置かれた時の読取イメージを示す図、(b) は(a) に示す帳票の向きに対して事前登録イメージを１８０度回転させた状態を示す図、(c) は帳票の向きに合わせて事前登録イメージから切り出されたイメージを示す図である。
【図１２】(a) はＡ４サイズイメージリーダに帳票が正立状態から９０度回転させられて置かれた時の読取イメージを示す図、(b) は(a) に示す帳票の向きに対して事前登録イメージを９０度回転させた状態を示す図、(c) は帳票の向きに合わせて事前登録イメージから切り出されたイメージを示す図、(d) はＡ４サイズイメージリーダに帳票が正立状態から２７０度回転させられて置かれた時の読取イメージを示す図、(e) は(d) に示す帳票の向きに対して事前登録イメージを２７０度回転させた状態を示す図、(f) は帳票の向きに合わせて事前登録イメージから切り出されたイメージを示す図である。
【図１３】事前登録イメージがＡ３サイズの場合の、本発明の画像照合装置の動作の手順の一実施例を示すフローチャートである。
【図１４】事前登録イメージがＡ４サイズの場合の、本発明の画像照合装置の動作の手順の一実施例を示すフローチャートである。
【符号の説明】
１…帳票
２…画像照合装置
３…Ａ３サイズイメージリーダ
４…Ａ４サイズイメージリーダ
５…ガイド
７…データベース
１０…読取イメージ
１１…帳票イメージ
１７…事前登録イメージ

Claims (5)

1. 画像読取装置で読み取られた帳票のイメージを、予めデータベースに登録されている複数の帳票のイメージと順次照合し、イメージの一致を検出して前記帳票の種類を判定する画像照合装置であって、
   画像入力部に接続された読取りサイズの異なる複数の画像読取装置と、
   前記データベースに登録された帳票の登録イメージを順次読み出す登録イメージ読出手段と、
   前記画像読取装置から入力された帳票イメージから帳票端座標を検出し、縦方向の座標端間距離と横方向の座標端間距離から縦サイズと横サイズを求めて、帳票サイズを判定する帳票サイズ判定処理手段と、
   前記画像読取装置の読取りサイズが前記登録イメージのサイズよりも小さく、読み取った帳票イメージのサイズが前記登録イメージのサイズよりも小さい場合に、読み出した前記登録イメージのサイズを読み取った帳票イメージのサイズに合わせて切り出し、前記画像読取装置の読取りサイズが前記登録イメージのサイズよりも大きく、読み取った帳票イメージのサイズが前記登録イメージのサイズよりも大きい場合に、読み取った前記帳票イメージのサイズを前記登録イメージのサイズに合わせて切り出して、読み取った帳票イメージのサイズと登録イメージのサイズとを合わせるイメージ切出手段と、
   前記イメージ切出手段によって前記登録イメージとサイズが合わされた帳票イメージから帳票に印刷された情報の特徴を抽出する特徴抽出処理手段と、
   抽出した前記帳票の特徴を、前記イメージ切出手段によって前記帳票イメージとサイズが合わされた登録イメージの特徴と順次マッチングさせる特徴照合処理手段と、
   前記帳票の特徴が登録イメージの特徴と一致した場合に、その登録イメージから帳票の種類を判定する帳票判定手段と、
   を備えることを特徴とする画像照合装置。
2. 請求項１に記載の画像照合装置であって、
   前記データベースから読み出した全ての登録イメージに対して、前記特徴照合処理手段により帳票と登録イメージとの特徴の一致が得られなかった場合に、前記登録イメージ読取手段によって読み出された登録イメージを、９０度の倍数だけ回転させてから前記イメージ切出手段に送る、登録イメージ回転手段を更に備えることを特徴とする画像照合装置。
3. 画像読取装置で読み取られた帳票のイメージを、予めデータベースに登録されている複数の帳票のイメージと順次照合し、イメージの一致を検出して前記帳票の種類を判定する画像照合装置において、その画像入力部に読取りサイズの異なる複数の画像読取装置が接続された場合の画像照合方法であって、
   帳票の種類判定時に、前記データベースに登録された帳票の登録イメージを順次読み出す登録イメージ読出ステップと、
   前記画像読取装置から入力された帳票イメージから帳票端座標を検出し、縦方向の座標端間距離と横方向の座標端間距離から縦サイズと横サイズを求めて、帳票サイズを判定する帳票サイズ判定ステップと、
   前記画像読取装置の読取りサイズが前記登録イメージのサイズよりも小さく、読み取った帳票イメージのサイズが前記登録イメージのサイズよりも小さい場合には、読み出した前記登録イメージのサイズを読み取った帳票イメージのサイズに合わせて切り出し、前記画像読取装置の読取りサイズが前記登録イメージのサイズよりも大きく、読み取った帳票イメージのサイズが前記登録イメージのサイズよりも大きい場合には、読み取った前記帳票イメージのサイズを前記登録イメージのサイズに合わせて切り出すイメージ切出ステップと、
   前記帳票イメージから帳票に印刷された情報の特徴を抽出する特徴抽出ステップと、
   抽出した前記帳票の特徴と前記登録イメージの特徴と順次マッチングさせる特徴照合ステップと、
   前記帳票の特徴が登録イメージの特徴と一致した場合に、その登録イメージから帳票の種類を判定する帳票判定ステップと、
   を備えることを特徴とする画像照合方法。
4. 請求項３に記載の画像照合方法であって、
   前記データベースから読み出した全ての登録イメージに対して、前記特徴照合ステップにおいて帳票と登録イメージとの特徴の一致が得られなかった場合に、前記登録イメージ又は読取イメージを、９０度の倍数だけ回転させてから前記イメージ切出ステップを実行させる、イメージ回転ステップを更に備えることを特徴とする画像照合方法。
5. コンピュータに、
   帳票の種類判定時に、前記データベースに登録された帳票の登録イメージを順次読み出す登録イメージ読出手順と、
   前記画像読取装置から入力された帳票イメージから帳票端座標を検出し、縦方向の座標端間距離と横方向の座標端間距離から縦サイズと横サイズを求めて、帳票サイズを判定する帳票サイズ判定手順と、
   前記画像読取装置の読取りサイズが前記登録イメージのサイズよりも小さく、読み取った帳票イメージのサイズが前記登録イメージのサイズよりも小さい場合には、読み出した前記登録イメージのサイズを読み取った帳票イメージのサイズに合わせて切り出し、前記画像読取装置の読取りサイズが前記登録イメージのサイズよりも大きく、読み取った帳票イメージのサイズが前記登録イメージのサイズよりも大きい場合には、読み取った前記帳票イメージのサイズを前記登録イメージのサイズに合わせて切り出すイメージ切出手順と、
   前記帳票イメージから帳票に印刷された情報の特徴を抽出する特徴抽出手順と、
   抽出した前記帳票の特徴と前記登録イメージの特徴と順次マッチングさせる特徴照合手順、及び、
   前記帳票の特徴が登録イメージの特徴と一致した場合に、その登録イメージから帳票の種類を判定する帳票判定手順と、
   を実行させるためのプログラム。

Images