JP3558493B2

JP3558493B2 - 用紙位置合わせ装置、用紙位置合わせ方法及び用紙位置合わせプログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP3558493B2
Application number: JP15255797A
Authority: JP
Inventors: 幸治橋本
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1997-06-10
Filing date: 1997-06-10
Publication date: 2004-08-25
Anticipated expiration: 2017-06-10
Also published as: JPH113431A; US6351560B1

Description

【０００１】
【発明の属する技術分野】
本発明は、用紙の位置合わせ技術に関し、特に固定の情報とそれ以外の追加の情報の領域を含む帳票等の用紙上の情報をイメージ・スキャナ等でディジタル情報に変換し、光学式文字読取装置（ＯＣＲ）等により文字コードに変換する場合や、固定の情報を含む帳票等に、新たに追加の情報を印字する場合の、用紙の位置合わせ装置、用紙位置合わせ方法及び用紙位置合わせプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
一般に、会合の出欠調査等のように、固定の情報とそれ以外の追加の情報とを含む複数枚の用紙を多数の人に配付して必要箇所に必要情報を書き込んで貰い、回収後にＯＣＲなどにより上記追加の情報を読み取ることが必要となることがある。この場合に、回収した用紙が熱等により伸縮していたり、イメージ・スキャナのオート・ドキュメント・フィーダ（ＡＤＦ）を介して用紙を供給する際に斜めに供給されたり、用紙をイメージ・スキャナの用紙読み取り位置に配置しても蓋をした際にその読み取り位置から用紙がずれてしまう等のように、用紙が正確にイメージ・スキャナの用紙読み取り位置に配置されない場合がある。この場合に、上記追加の情報の用紙上の領域をＯＣＲが正確に認識していないと、上記追加の情報を正確に読み取ることができない。このため、ＯＣＲが読み取った用紙のイメージの中から上記追加の情報の領域を見つけ出す、所謂「用紙位置合わせ」が必要である。
【０００３】
【従来の技術】
従来の用紙位置合わせには、大きく分けて以下の３通りの方法がある。
第１の方法は、図２８に示されるように、用紙上の情報をイメージ・スキャナによりディジタル・イメージ化する段階で背景を黒とすることにより、用紙端を検出し、上下または左右の用紙端の間隔や用紙端の傾き具合に基づいて用紙の伸縮や傾斜を推定し、用紙端からの距離によって追加情報領域の位置を特定する方法である。
【０００４】
第２の方法は、用紙中に目印となる専用のマークを数カ所印刷し，ＯＣＲにより読み取ったイメージ中からその専用マークを検出することで用紙の伸縮と傾斜を推定し、同時に追加情報領域の位置を特定する方法である。
第３の方法は、罫線等の抽出し易い情報に着目して用紙中の図柄の中から、罫線などの情報を抽出し、抽出した罫線などの情報を追加情報領域に対応付けることにより追加情報領域の位置を特定する方法である。
【０００５】
【発明が解決しようとする課題】
上記第１の方法によれば、黒背景機能を持つ普及型の廉価なＯＣＲは少ないことに加え、用紙を斜めにコピーした場合に、紙端からの追加情報領域の位置がずれるとその位置を特定できないという問題がある。
上記第２の方法によれば、用紙に専用マークを印刷する必要が生じるのでその分だけ用紙の作成に手間がかかり、価格が高くなるという問題がある。
【０００６】
上記第３の方法によれば、現状では安定して抽出できるのは罫線のみの場合が多いため，罫線のない用紙は処理ができないという問題がある。
上記の問題点に鑑み，本発明の目的は、上述の第２および第３の方法のそれぞれの問題点を補うかたち、即ち、用紙中の図柄の一部をそのまま、一種のマークとして取り扱うことにより、黒背景機能を持たないＯＣＲでも用紙位置合わせを可能にし、且つ、専用マークを不要とし，さらに用紙中の罫線の有無に左右されずに用紙の位置合わせを可能にする、用紙位置合わせ装置、用紙位置合わせ方法及び用紙位置合わせ用記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するために、本発明により提供されるものは、学習用紙上の固定情報を読み取って得られた画像から所定数の照合用小領域を選択し、選択された照合用小領域内の情報をメモリに格納し、固定情報と同一の情報を含む入力用紙上の情報を読み取って得られた画像と、メモリに格納されている照合用小領域内の情報とを照合することにより、照合用小領域内の情報と同一の情報を含む入力用紙上の小領域を検索し、検索された入力用紙上の小領域と照合用小領域との対応関係に基づいて、学習用紙の任意の位置に対応する入力用紙画像上の位置を決定し、選択されてメモリに格納された照合用小領域のうち、３つを頂点とする第１の三角形と、３つの小領域の図柄と一致する図柄を持つとして検索された入力用紙画像上の３つの小領域を頂点とする第２の三角形とのいずれか一方を基準三角形とし、該基準三角形に合同になるように他方の三角形を変形して第３の三角形を形成し、該第３の三角形の内部の図柄と基準三角形の内部の図柄が所定の評価値により一致と判定された場合にのみ、該小領域領域は正しく検索されたと判定するようにした、用紙位置合わせ装置、用紙位置合わせ方法および用紙位置合わせプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０００８】
好ましくは、光電変換装置により読み取られた学習用紙上の画像からエッジ画像を抽出し、そのエッジ画像に基づいて照合用小領域として最適な小領域を選択する。
本発明により、用紙中の図柄の一部をそのまま、照合用マークとして取り扱うことにより、黒背景機能を持たないＯＣＲでも用紙位置合わせが可能になり、且つ、専用マークが不要になり，さらに用紙中の罫線の有無に左右されずに用紙の位置合わせが可能になる。
【０００９】
【発明の実施の形態】
図１（ａ）は本発明による用紙位置合わせの処理の概要を示す説明図である。同図に示されるように、本発明においては、まず、図の上段（辞書作成の段）に示されるように、未記入の学習用紙上の固定情報を光電変換装置により読み取って得られたデジタル画像から所定数の照合用領域を選択して辞書メモリに格納する。
【００１０】
次に、図の下段（位置合わせの段）に示されるように、上記学習用紙と同一の情報を含み、且つ追加の情報用の領域に追加の情報を記入済の入力用紙上の情報を光電変換装置により読み取って得られたデジタル画像から辞書メモリに格納されている照合用小領域の画像と一致する画像を検索して、その検索された画像の位置と辞書メモリ内の照合用小領域の画像の位置との対応点リストを得る。
【００１１】
そして図１（ｂ）は、この対応点リストを用いて学習用紙画像上の任意の点に対応する入力用紙画像上の位置を推定する方法の例の説明図である。図の上段に示されるように、上記対応点リストは、学習用紙の画像中の位置（例えば、▲１▼（５０、１００）、▲２▼（５０、２３０）、▲３▼（１４０、５０））とそれに対応する入力用紙の画像中の位置（▲１▼′（６０、９０）、▲２▼′（４０、２２０）、▲３▼′（１５０、６０））との対応関係を表している。この対応関係により、図の下段に示されるように、学習用紙の画像上の任意の箇所（例えば▲４▼）は、例えば▲１▼→▲２▼のベクトルの定数倍と▲１▼→▲３▼のベクトルの定数倍を足したものにより表現できる。ここで用いた各定数を、入力用紙の画像上の各ベクトル（▲１▼′→▲２▼′および▲１▼′→▲３▼′）に適用すれば、学習画像上の▲４▼に対応する入力画像上の▲４▼′の位置を推定できる。これにより、例えば追加の情報用の領域に手書きで書き込まれた文字の認識など用紙中の任意の場所を読み取ろうとする用紙処理に必要な位置合わせが行える。
【００１２】
図２は本発明による用紙位置合わせ装置の概略システム構成図である。同図において、１はイメージ・スキャナ、２はＯＣＲソフトウエアを搭載するホストコンピュータ、３はディスプレイ、４は用紙の一例としての帳票である。
帳票４上の情報はイメージスキャナ１によりディジタル画像に変換され、そのディジタル画像はホストコンピュータ２に送られる。ホストコンピュータ２は入力されたディジタル画像を文字コードに変換する。この文字コードへの変換に際して、本発明によるＯＣＲソフトウエアは、入力用紙の位置合わせを上記のように、又以下により詳細に説明するようにして行うことにより、入力帳票がイメージ・スキャナ１に対して斜めに入力されたり、入力帳票が伸縮したりしていても入力帳票上の書き込み領域を正確に判定するので、手書き文字を正確に認識することができる。
【００１３】
図３は図２におけるホストコンピュータ２の構成例を示すブロック図である。図３に示すように、ホストコンピュータ２は、ＣＰＵ５と、メモリ６と、ハードディスク７と、ＣＤ−ＲＯＭなどの外部記憶装置８とからなっている。本発明によるＯＣＲソフトウエアは、ハードディスク７に格納してもよいし、外部記憶装置８に記憶させて必要に応じてメモリ６に読み込ませても、またモデム９を介して回線先のデータベースから必要に応じてメモリ６に読み込ませてもよい。
【００１４】
図４は本発明による用紙位置合わせ装置の概略を示すブロック図である。このブロック図は図２の概略システム構成図を機能ブロック化したものである。図４において、４１は固定情報と追加の書き込み領域とを含む学習用紙、４２は図１のイメージ・スキャナ１及びホストコンピュータ２を含む文字読取システムである。文字読取システム４２は、学習用紙４１または、学習用紙４１上の固定情報と同一の情報を含み、且つ追加の情報を有する入力用紙４６上の情報を光学的に読み取ってディジタル画像を得る光学変換装置４３と、学習用紙４１から光学変換装置４３により得られたディジタル画像から所定数の照合用小領域を選択する選択手段４４と、選択手段４４により選択された照合用小領域内の情報を格納する辞書メモリ４５と、入力用紙４６から光学変換装置４３により得られた画像と、辞書メモリ４５に格納されている照合用小領域内の情報とを照合することにより、照合用小領域内の情報と実質的に同一の情報を含む入力用紙上の小領域を検索する検索手段４７と、検索手段４７により検索された入力用紙４６上の小領域と照合用小領域との対応関係に基づいて、追加の情報を識別してその中の文字を認識する文字認識手段４８とを備えている。
【００１５】
さらに、光電変換装置４３により得られた画像から手書き入力領域等の読取領域を選択する読取領域選択部４９と、その読取領域の座標を格納する読取領域辞書５０も備えている。そして、選択手段４４は読取領域辞書５０に格納された読取領域の座標を考慮して照合用小領域を選択する。
図５は図４の装置による辞書メモリ作成方法の概略を示すフローチャートである。先ずステップ５１で学習用帳票をイメージ・スキャナ１（図２）に入力する。次いでステップ５２でイメージ・スキャナ１は入力された学習用帳票上の情報をスキャンすることにより光電変換してディジタル画像の学習用帳票イメージを得る。次にステップ５３で、読取領域選択部により上記学習用帳票イメージ上で読取箇所の位置情報を設定し、読取領域辞書５０に格納する。読取箇所とは、例えば、固定情報以外の情報が手書きで書き込まれる箇所である。次いでステップ５４で、照合用小領域としては不適切な領域に関する情報を獲得する。この不適切な領域としては、後に詳述するように、例えば、網掛けの領域や上記の読取箇所等がある。次にステップ５５にて照合用小領域の候補を自動的に選択するか、ステップ５６にて照合用小領域の候補を手動にて選択する。次にステップ５７にて、こうして選択された小領域の候補が入力帳票のスキューや伸縮に耐えるものかどうかを、選択された照合用小領域を変形させて変形前の照合用小領域に基づいて上記変形された照合用小領域を探索するシミュレーション（後に詳述する）を行うことにより、不適切な照合用小領域は棄却して一層最適な照合用小領域のみを残す。そして、ステップ５８で、残された照合用小領域の位置及びその中の図柄情報を辞書メモリに保存する。
【００１６】
図６は図４の装置による基準位置の対応リストの作成方法の概略を示すフローチャートである。まずステップ６１で入力帳票をイメージ・スキャナ１に入力する。次いでステップ６２でイメージ・スキャナ１は入力された入力用帳票上の情報をスキャンすることにより光電変換してディジタル画像の入力用帳票イメージを得る。次に、ステップ６３で辞書メモリ４５（図４）を参照して、ステップ６４で辞書メモリ４５に格納されている小領域の画像と一致する画像を入力用帳票イメージがら探索する。ついでステップ６５にて、探索結果の正誤を後に詳述する手法でチェックし、ステップ６７で正しいと判定された入力帳票イメージ内の小領域と照合用小領域との対応関係のリストを作成する。
【００１７】
以下に、具体例を用いて本発明による用紙位置合わせ方法を説明する。
位置合わせ方法の概略
図７は、学習用紙の一例である。この学習用紙上には「吉尾さんを歓迎する会」の案内のための固定情報が記載されている。この学習用紙のコピーが親睦会の会員に配布されるか回覧される。この用紙の下方の「氏名」「出欠」「リクエスト」の欄は網掛けとなっている。この網掛けの欄の下の空欄に親睦会のメンバーが手書き等により必要事項を記入するようになっている。この学習用紙上の固定情報が記入されている適当な複数の場所を辞書メモリ４５（図４）に格納するための照合用小領域として以下に記載する方法で選択する。
【００１８】
まず、図７の学習用紙のディジタル画像を高速処理のために間引く。ここでは一例として間引き率を１／４として、図８に示すディジタル画像を得る。なお、図８は辞書作成のためのスムージングなど各種前処理を施してある。図８の学習用紙イメージを１／４に間引いた画像において、その用紙の図柄の中から予め複数個の照合用小領域８１〜９４を定める。本実施例では１つの照合用小領域は３２ドット×３２ドットである。これらの小領域の座標とその中の画像を辞書メモリ４５に格納する。
【００１９】
間引きは一種の特徴抽出であり，用紙イメージの傾斜・伸縮の吸収および処理の高速化が目的である。
図９は図７に示した学習用紙のコピーの空欄に手書きで書き込まれた用紙を示す図である。この手書きで書き込まれた用紙イメージをやはり１／４に間引いた画像を図１０に示す。
【００２０】
図１０の中の画像中から図８にある各照合用小領域をイメージマッチングにより探索する。探索された各小領域画像を図１０に点線で示す。図８に示した学習用紙上の照合用小領域の各々の例えば左上隅の座標（辞書メモリ４５に格納されている）と、図１０に示した入力用紙上の検索された小領域の各々の左上隅の座標との対応を付けて、図１１に示す様な表を得る。図１１においては、全部で１４個の小領域について、辞書メモリ側の座標と検索された小領域の座標との対応関係が示されている。例えば、破線１１１で囲まれた番号２の横に列記された破線１１３で囲まれた数字６４０、７８８、６００、８００は、小領域の、辞書メモリ側の座標は（６４０、７８８）で、検索された小領域の座標は（６００、８００）であることを示している。破線１１１で囲まれた番号１の横に記された破線１１２で囲まれた数字１４は小領域が１４個存在することを示している。この表における対応点を基に、学習用紙のイメージ中の任意座標に対応する、入力用紙のイメージ中の座標を求めることが可能になる。
辞書作成処理アルゴリズム
次に、図５のステップ５４および５５の詳細である辞書作成処理アルゴリズムを図１２に示すフローチャートにより説明する。
【００２１】
（１）網掛領域とベタ領域の検出（ステップ１２１）
ステップ１２１の網掛領域の検出では、図７の学習用紙のイメージにおける小区間ごとのドットの有無の頻度や量などを検出することにより、網掛領域を検出する。図７から検出した網掛領域の例を図１３に示す。同様の手法で、ベタ領域（全部黒の領域）も検出する。これらの、網掛領域およびベタ領域は、辞書メモリ４５に格納すべき照合用小領域としては不適切な領域である。
【００２２】
（２）画像前処理（ステップ１２２）
ステップ１２２の画像前処理では、図７の学習用紙のイメージに対してゴミ取りとスムージングの処理を行い、１／４に間引きを行う。図７のイメージに対し本処理を施したものが図８である。
本処理は小領域選択の為に必須なものであり、処理を施すと図８に示すような状態になるが、実際に辞書に格納されるマッチング用画像としては、本処理を施したものでも、１／４間引きだけが行われたものでもどちらでも構わないが、辞書画像と同様の画像処理が入力画像に対しても行われることが必要である。
【００２３】
本実施例では、高速化のため入力画像には１／４間引きだけを施すようにしており、従って辞書に格納する画像も１／４間引き処理だけを施されたものを使用しているため、図８と図１０では若干絵の雰囲気が異なっている。
ここでの間引き率は，位置合わせ時に使用する間引き率と同じ１／４を使用している。
【００２４】
（３）エッジ画像の生成（ステップ１２３）
ステップ１２２による処理後の画像について、学習用紙上の図柄の縦エッジと横エッジを抽出する。その際、１ドットサイズで周囲から例えば３ドット以上離れたものはゴミとして除いておく。例として、図８の画像の縦エッジ画像を図１４に示し、横エッジ画像を図１５に示す。
【００２５】
（４）８×８単位にエッジ特徴量を計測（ステップ１２４）
特徴小領域の選択は２４ドット×２４ドットで行うが、各特徴量の計算を高速化するため，いったん８ドット×８ドット単位で計算し、その後この結果を使用する。
即ち、ステップ１２３で生成したエッジ画像を、図１６に示すように８ドット×８ドット単位のメッシュに分割し、各単位ごとにエッジなどの特徴量をカウントする。
【００２６】
エッジなどの特徴量とは、主にエッジ特徴画像におけるドット数であり、例として以下のものがある。
ｎｔ（総エッジ量…エッジの黒画素数）
ｎｈ（横エッジ量…横方向エッジの黒画素数）
ｎｖ（縦エッジ量…縦方向エッジの黒画素数）
ｎｃ（黒画素量…黒画素数）
ｈｈ（横投影断面）
ｖｖ（縦投影断面）
ｎｇ（不適量＝網掛量）
図１７は，図１６中のメッシュの中の一つの照合用小領域を拡大した場合で説明用に図柄を簡単化した想定イメージ図である。この図形を例として、各特徴量の求め方を説明する。
【００２７】
図１７に示される画像のエッジ画像を図１８に示し、縦エッジのみの画像を図１９に示し、横エッジのみの画像を図２０に示す。図１８は、図１９と図２０の論理和画像である。従って、上記（３）で求めた縦エッジ画像と横エッジ画像を論理和することで得られる。
図１８のエッジ図形の総黒画素数８が、総エッジ量ｎｔである。
【００２８】
図１９の縦エッジ図形の総黒画素数６が、縦エッジ量ｎｖである。
図２０の横エッジ図形の総黒画素数６が、横エッジ量ｎｈである。
図１７の総黒画素数９が，黒画素量ｎｃである。
図１７の図形の縦投影の断面情報（０００１１１００）が、縦投影断面ｖｖである。
図１７の図形の横投影の断面情報（００１１１０００）が，横投影断面ｈｈである。
【００２９】
上記（１）で生成した網掛マップを参照して、対象領域内での網掛に該当する領域のドット数を不適量ｎｇとしてカウントする（図１７の例ではｎｇは０である）。
上記（１）では、間引いていない画像を元に網掛領域とベタ領域の検出しているので、その分を考慮して間引いた状態に換算する。
【００３０】
（５）２４ドット×２４ドット単位に特徴量をまとめる（ステップ１２５）
ステップ１２４で生成した８ドット×８ドット単位のマップを２４ドット×２４ドット単位にまとめて得点を付ける。
この得点の付与に際して、位置合わせに使用する各小領域のサイズは３２ドット×３２ドットであるが、イメージマッチングにおいては、この小領域内の周辺部は傾斜や伸縮などの影響を受けやすいため、周辺部の図柄は得点に加えない。
【００３１】
具体的には、ステップ１２４で生成した８ドット×８ドット単位のエッジ特徴量マップを１単位として、図２１のように縦５単位（８×５＝４０ドット）、横５単位（８×５＝４０ドット）の領域を考える。図２１の各メッシュ（８ドット×８ドット）には、ステップ１２４の処理により各種の特徴量が求められている。これら５×５＝２５単位の領域を内側領域の９単位（図２２中のＡ１〜Ａ９の領域）と外側領域の１６単位（図２２中のＢの領域）とに分けて考え、Ａ１〜Ａ９領域とＢ領域それぞれについて、ステップ１２４で求めた各特徴量を、以下のように単純に加算して和を求める。
【００３２】
Ａ領域について：
総エッジ量Ａ Σｎｔ＝ｎｔ［Ａ１］＋ｎｔ［Ａ２］＋．．．．．＋ｎｔ［Ａ９］
横エッジ量Ａ Σｎｈ，縦エッジ量Ａ Σｎｖ，黒画素数Ａ Σｎｃ，不適量Ａ Σｎｇ
も同様にして求める。
縦投影断面Ａ Σｖｖ＝｛（ｖｖ［Ａ１］ＯＲｖｖ［Ａ２］ＯＲｖｖ［Ａ３］）＜＜１６｝ＯＲ｛（ｖｖ［Ａ４］ＯＲｖｖ［Ａ５］ＯＲｖｖ［Ａ６］）＜＜８｝ＯＲ（ｖｖ［Ａ７］ＯＲｖｖ［Ａ８］ＯＲｖｖ［Ａ９］
ここで＜＜１６は１６ビットシフトを示し、＜＜８は８ビットシフトを示す。
横投影断面Ａ Σｈｈも同様にして求める。
例えば、ｈｈ［Ａ１］〜ｈｈ［Ａ９］がそれぞれ次の値を持つとする。
ｈｈ［Ａ１］＝（０００００００１）ｈｈ［Ａ２］＝（００００１０００）ｈｈ［Ａ３］＝（１０００００００）
ｈｈ［Ａ４］＝（００００００１０）ｈｈ［Ａ５］＝（０００１００００）ｈｈ［Ａ６］＝（０１００００００）
ｈｈ［Ａ７］＝（０００００１００）ｈｈ［Ａ８］＝（００１０００００）ｈｈ［Ａ９］＝（００１０００００）
すると、Ａ Σ ｈｈは
Ａ Σ ｈｈ＝｛（ｈｈ［Ａ１］ＯＲｈｈ［Ａ４］ＯＲｈｈ［Ａ７］）＜＜１６｝ＯＲ｛（ｈｈ［Ａ２］ＯＲｈｈ［Ａ５］ＯＲｈｈ［Ａ８］）＜＜８｝ＯＲｈｈ［Ａ３］ＯＲｈｈ［Ａ６］ＯＲｈｈ［Ａ９］＝｛（０００００１１１）＜＜１６｝ＯＲ｛（００１１１０００）＜＜８｝ＯＲ１１１０００００＝０００００１１１００１１１０００１１１０００００
となる。実際の計算では

となる。
【００３３】
Ａ領域と同様にしてＢ領域についても、各特徴量（ＢΣｎｔ，ＢΣｎｈ，ＢΣｎｖ，ＢΣｎｃ，ＢΣｎｇ）を求める。
一方、照合用小領域の図柄の構成物のサイズが大きい方が、イメージマッチングにおいて入力用紙がスキャナに対して傾斜して入力されたり入力用紙が伸縮したりしても、より確実に照合ができると考えられる。この考えを反映させるため、縦方向および横方向のエッジ量に対し下限を設ける。即ち、ＢＩＴ（Ａ Σｖｖ）およびＢＩＴ（Ａ Σｈｈ）が予め定めた一定値以下の場合は、この領域は無効とする。ここでＢＩＴ（ｎ）は、ｎという０／１の列中の１の個数を表すものとする。これにより、例えば縦方向のみあるいは横方向のみにエッジがある図柄は照合用小領域の候補から排除される。
【００３４】
照合用小領域の図柄の構成物のサイズを計測するもう一つの尺度としてランレングスを利用する。
即ち、当該Ａ領域内の各単位について，縦方向ランレグス情報ｖ＿ｒｕｎ（０）．．．ｖ＿ｒｕｎ（ｉ）と横方向ランレングス情報ｈ＿ｒｕｎ（０）．．．．．ｈ＿ｒｕｎ（ｊ）を求めたら、
ＷＶ＝ｒｏｏｔ（ Σ ｖ＿ｒｕｎ × ｖ＿ｒｕｎ），ＷＨ＝ｒｏｏｔ（ Σ ｈ＿ｒｕｎ × ｈ＿ｒｕｎ）
を求め、図形幅特徴とする。この図形幅特徴を得点に反映させることにより、図柄として太い線のもの程得点が高くなる。
【００３５】
前述のように実際に使用する各照合用小領域の大きさは３２ドット×３２ドットであるが、その照合用小領域の得点はその中央部の２４ドット×２４ドットについて算出する。
照合用小領域内の周辺部は、前述のように入力用紙が傾斜や伸縮した場合に照合が不正確になりやすいので、照合用小領域の周辺部は何も特徴が無い方が望ましい。したがってその考えを反映させるため、周辺部Ｂの総エッジ量の密度が中央部Ａの総エッジ量の密度より大きい場合（Ａ Σｎｔ＜ＢΣｎｔ × ９／１６の場合）は、この領域は照合用小領域として採用しないことにする。
【００３６】
（６）小領域単位に得点を付け、重複チェックをする（ステップ１２６）
ステップ１２５までの処理により、用紙イメージをメッシュに分割し、各領域毎に各種の特徴量を求めた。
このステップ１２６では、各照合用小領域ごとに特徴量に基づいて得点化し、序列を作る。
【００３７】
即ち、ステップ１２５で求めた各特徴情報に以下のようにそれぞれ重みを付けて加算してそれぞれの指標を得、それらを以下のように加減算することにより総合的な得点とする。
ＮＣ＝（４００ −｜４００ − Ａ Σｎｃ｜）＊０．７
ＮＶ＝Ａ Σｎｖ× １．５
ＮＨ＝Ａ Σｎｈ× １．５
ＶＶ＝ＷＶ× １．０
ＨＨ＝ＷＨ× １．０
ＮＧ＝（ＡΣｎｇ× ２．０＋ＢΣｎｇ） ×２０．０
ＲＮ＝（ＡΣｎｃ× １０．０）／ＡΣｎｔ
得点ＰＴ＝ＮＣ＋ＮＶ＋ＮＨ＋ＶＶ＋ＨＨ＋ＲＮ − ＮＧ
なお、上記の重みは一例であり、経験的に適宜最適な重みを付ければよい。
【００３８】
こうして、各照合用小領域には得点が与えられ、その得点が大きい程照合用小領域として適しており、入力用紙の傾斜や伸縮、ノイズといった入力イメージの変動があっても、より確実に照合ができる。
上記の得点中、ＲＮは中央部Ａについて黒画素量の和に重み付けしたものを総エッジ量の和で割り算した値であり、画像の線の太さを表す指標となっている。この指標ＲＮが大きい程、画像の線は太い。指標ＲＮが予め定めたしきい値を下回る場合は図柄としての特徴が少ないので、この領域は照合用小領域として採用しないことにする。
【００３９】
一方、イメージマッチングにおいては、図形としては入力用紙の傾斜や伸縮、ノイズといった入力イメージの変動があっても確実に照合ができるが、入力用紙上で類似図形が近傍にあるとどの小領域と照合用小領域とが一致したかの区別がつかない。この問題に対処するために、当該２４ドット×２４ドットのイメージによって近傍を探索し、類似図形がある場合（判定はマッチング結果の第一候補と第二候補の距離差が一定以下）は、ペナルティとして得点を大きく下げる。
【００４０】
これにより、入力用紙の傾斜や伸縮、ノイズといった入力イメージの変動に対して確実に照合ができる場合でも、類似図形が近くにあると得点は下がる。
（７）個数の絞り込み（ステップ１２７）
ステップ１２６までの処理により，学習用紙のイメージ中に２４ドット×２４ドット単位で得点を付けた。この中から必要数の特徴箇所をピックアップする。照合用小領域の得点は高い方が良いが、照合用小領域は用紙上にまんべんなく分布することも必要であるため、以下の方法で選別を行う。
【００４１】
即ち、得点の低い順に、周囲に自身より高得点の小領域があるか否かを見て、ある場合には自身を削除し、ない場合は自身を残す。これにより照合用小領域が密集する地域では高得点のものだけが残るし、照合用小領域が過疎な地域では、低得点でも残る。
ただし、得点には絶対的なしきい値を設けておき、それを下回れば無条件に除外する。
【００４２】
例えば以下のように、一次元上に分布する照合用小領域Ａ〜Ｊを考える。ただし（）内は得点を示す。
Ａ（３００）Ｂ（４００）Ｃ（２５０）Ｄ（６００）Ｅ（１００）Ｆ（２００）Ｇ（６００）Ｈ（５００）Ｉ（４００）Ｊ（５００）
上記の照合用小領域のうち、隣りあうものを比較して、上記のアルゴリズムで選別を行うと、照合用小領域Ｂ，Ｄ，Ｇ，Ｊが残る。
【００４３】
もし得点順に上位４個を選ぶとＤ，Ｇ，Ｈ，Ｊとなるが、これは分布が考慮されていないため、偏る可能性がある。
（８）ずらしによる位置の微調整（ステップ１２８）
ここまでの処理により，位置合わせのためのイメージマッチングに適した安定した特徴的な箇所が照合用小領域として残っているはずである。
【００４４】
ステップ１２６では、小領域の周辺部に特徴が少ないことを条件として比較を行った。したがって、この段階で残っているものは、それらの条件に合致したものばかりであるが、残っている照合用小領域の各々のごく近傍に関しては更に最適な箇所があるかもしれない。
つまりステップ１２６での比較は初期の８ドット×８ドット単位なので、８ドット以内の近傍に、より最適なものがあるかもしれない。
【００４５】
そこで２４ドット×２４ドットの中央部を周辺部に対してずらしながら、周辺部のみの特徴量を求め，周辺部の特徴量が最も少ない時の３２ドット×３２ドットの領域を照合用小領域として選択することにする。
以上の処理を行うことにより、図７の学習用紙のイメージから、図８に示したような照合用小領域が自動的に選択される。これらの照合用小領域は、入力用紙の位置合わせのために使用される特徴的な場所であり、入力用紙がスキャナに対して斜めに挿入されたり、入力用紙が伸縮していても、イメージマッチングを安定に行うために有効な照合用領域である。
読取箇所情報などの設定（図５のステップ５３）
２値イメージのイメージマッチングにおいては、手書き文字などは完全にノイズと同じで、学習用紙上の画像に対する変形に等しく、このようなノイズがあると誤マッチの原因となる。従って文字等が記入される領域は予め照合用小領域として選択されるべきではない。
【００４６】
文字認識装置などでは，用紙上の読取りたい領域を予め座標等で記録しておく辞書（図４の読取領域辞書５０）が存在する。
この読取領域辞書５０を参照することにより、用紙中の読取領域情報が得られるので、網掛けの場合と同様にマッピングと換算により、読取領域マップを作り、特徴量の計算においても、網掛け同様の方式で、不適特徴量ｎｇとしてカウントする。これにより網掛け同様に、照合用小領域の候補として読取（記入）領域が選ばれにくくし、それにより位置合わせ時にイメージマッチングの精度を向上させる。
小領域探索のシミュレーション（図５のステップ５７）
イメージマッチングにおいては、スキューや伸縮等による画像の変形は誤マッチの原因となる。スキュー・伸縮の影響の度合いは、その図柄によって大きく左右される。例えば極端な場合だが、図２３はスキューに強い図形で、右側は左側を９０度回転した画像だが、形状に変化がないのでイメージマッチングに悪影響はない。一方、図２４も同様に右側は左側を９０度回転したものだが、両者を重ねても重なる部分はごく一部しかないのでイメージマッチングとしてスキューに弱い図形である。
【００４７】
学習用紙上で採用される照合用小領域の画像は、もっと複雑な図形になるため、マルや線のように単純に分けられない。
照合用小領域の選択の元となった学習用紙の画像から、許容すべきスキューや伸縮の限界値の組合せパターンで変形した幾つかの画像を生成し、それらの画像上から照合用小領域の候補（図５のステップ５５で選択されたもの）をイメージマッチングマッチングにより探索し、各小領域候補について、組合せパターン数のうち所定数以上のイメージマッチングが正しいと判断された場合にその照合用小領域候補を実際の照合用小領域として採用することにする。
【００４８】
具体的には、小領域自体は、学習用紙の画像から選択しているため、その座標を変形に使用したスキュー・伸縮パラメータで変換すれば、変形画像上での対応座標が求められる。従ってこの座標と探索結果の座標との距離によって、元の画像と変形画像とがイメージマッチングをしたかどうか（イメージマッチングの正解・不正解）が判断できる。
【００４９】
このイメージマッチングの正誤の度合いを、その小領域候補のスキュー・伸縮に対する耐久度と見なし、耐久度の低いものは照合用小領域としては無効とすることで、位置合わせ時においては、スキュー・伸縮を含む画像に対しても安定した精度を保てる小領域のみが辞書メモリ４５に格納される。
実施例として、スキュー５度、縦伸縮９０％〜１１０％、横伸縮９０％〜１１０％の変化までは、許容範囲として用紙イメージを処理したい場合は、辞書メモリ作成時において小領域候補が選ばれたら、以下の８パターンのパラメータで、学習画像を変形し８枚の画像を生成する。
【００５０】
スキュー（左５度）、縦伸縮（１１０％）、横伸縮（１１０％）
スキュー（右５度）、縦伸縮（１１０％）、横伸縮（１１０％）
スキュー（左５度）、縦伸縮（９０％）、横伸縮（１１０％）
スキュー（右５度）、縦伸縮（９０％）、横伸縮（１１０％）
スキュー（左５度）、縦伸縮（１１０％）、横伸縮（９０％）
スキュー（右５度）、縦伸縮（１１０％）、横伸縮（９０％）
スキュー（左５度）、縦伸縮（９０％）、横伸縮（９０％）
スキュー（右５度）、縦伸縮（９０％）、横伸縮（９０％）
次に、各小領域候補の座標（学習用紙上の座標）を、それぞれ上記８パターンのパラメータで変換すると、各変形画像上での対応位置が求められる。これが正解座標となる。
【００５１】
そして実際に、各変形画像上で、それぞれの小領域候補についてイメージマッチングを行い、探索結果と正解座標との距離を求め、しきい値により正誤に分ける。
その結果を各小領域ごとにまとめ、正解率が一定以上（例えば８パターン中６パターン以上正解など）であればその小領域を合格とし、そうでなければ、許容すべきスキュー・伸縮に耐えられない図柄と見なし棄却する。
照合用小領域の手動選択（図５のステップ５６）
以上に述べた方法により，学習用紙のイメージ中から自動的に選択した小領域は、イメージマッチングに適したものであるということが一応は言える。しかし用紙の図柄のバリエーションは無限であり、全ての図柄に対してイメージマッチングに適した小領域が選択されるとは限らない。もし、イメージマッチングに不適切な小領域が辞書メモリ４５に格納された場合は、それを取り除く必要がある。
【００５２】
また，逆に辞書メモリ４５に格納すべき小領域としては選ばれていないが、照合用小領域として適切な場所をユーザが発見する可能性もある。この場合は，この場所を照合用小領域として辞書メモリ４５に追加する必要が生じる。
この目的のために、辞書メモリ４５の持つ学習イメージを表示し、グラフィカル・ユーザ・インターフェース（ＧＵＩ）環境により、任意の箇所に、位置合わせに使用する照合用小領域を設定できるようにすれば、追加や削除といった編集が行え、本発明による用紙位置合わせ装置がより柔軟なものとなる。場合によっては，新規作成としてユーザが照合用小領域を全て手動により選択することも可能である。
探索した小領域のチェック（図６のステップ６５）
照合用小領域の図柄と入力用紙上の図柄とのイメージマッチングにおいては、入力用紙の傾斜や伸縮やノイズといった変動に加え、類似図形などと間違える場合がある。ここでは、イメージマッチングによる間違いを補正する方式を説明する。この方式を上記した用紙位置合わせ方法に組み込むことにより、用紙位置合わせの精度が向上する。
【００５３】
具体的には、探索により、辞書メモリ４５中の特徴的箇所である照合用小領域の３つとイメージマッチングする入力用紙上の３つの小領域が探索されたら、まず辞書メモリ側の上記３つの照合用小領域の各々の例えば左上隅の座標をそれぞれＡ１，Ａ２，Ａ３として３点Ａ１，Ａ２，Ａ３を頂点とする三角形△Ａと、それに対応する探索した入力用紙上の３点Ｂ１，Ｂ２，Ｂ３を頂点とする三角形△Ｂとを考える。
【００５４】
これらの三角形の例を図２５と図２６に示す．図２５は三角形△Ａの例で，学習用の未記入用紙のイメージの３点（各点は、上記の辞書メモリ作成方法により得られた照合用小領域の１点に相当する）を頂点とする三角形で切り出したものである。図２６は三角形△Ｂの例で，入力された用紙イメージの中から既述の３点に対応する領域をイメージマッチングにより探し出し、それらの点を頂点とする三角形で切り出したものである。
【００５５】
三角形△Ａ内の任意の点Ｃは
Ｃ＝ｍ× Ｖｅｃ（Ａ１，Ａ２）＋ｎ ×Ｖｅｃ（Ａ１，Ａ３）により表せる。
ただし、上記式中のｍおよびｎは任意の定数、Ｖｅｃ（Ｎ１，Ｎ２）は、点Ｎ１から点Ｎ２へのベクトルを表す。
三角形△Ａを三角形△Ｂに写像すると、△Ａ上の点Ｃは、△Ｂ上の点Ｄとして以下のように表せる。
【００５６】
Ｄ＝ｍ× Ｖｅｃ（Ｂ１，Ｂ２）＋ｎ ×Ｖｅｃ（Ｂ１，Ｂ３）
こうして三角形△Ａ（図２５）を変形して、三角形△Ｂ（図２６）と合同の三角形△Ｅ（図２７）を形成する。この変形により、三角形△Ａの内部の図柄も三角形△Ｅに写像される。
次いで、三角形△Ｅの内部の図柄と三角形△Ｂの内部の図柄についてイメージマッチングを行う。上記３つの頂点を含む小領域の探索が全て正しい場合は，この三角形内部の図柄も一致するはずであり、上記３つの頂点を含む小領域の探索が間違っていれば、三角形内部の図柄は一致しないはずである。これにより，小領域箇所のイメージマッチング探索結果が正しかったか否かを判定できる。
【００５７】
なお本実施例では、△Ａを△Ｂに写像しているが、これは黒画素の少ない方が変形の為の計算量が少なくなる処理方式を使用しているため、高速化を考慮してのことである。従って、△Ｂを△Ａに写像して△Ｃを生成しても、小領域探索結果のチェックという目的には何ら支障はない。
以上の実施の形態では、文字読取装置（ＯＣＲ）により読み取られる帳票上の手書き文字の位置を認識する場合について説明したが、本発明はこれに限られず、例えば固定情報が印刷されている用紙の書き込み位置にプリンタにより印字する場合にも、その書き込み位置を認識する場合にも適用可能であることは当業者に明らかである。
【００５８】
【発明の効果】
以上の説明から明らかなように、本発明によれば、用紙中の図柄の一部をそのまま、一種のマークとして取り扱うことにより、黒背景機能を持たないＯＣＲでも用紙位置合わせを可能にし、且つ、専用マークを不要とし，さらに用紙中の罫線の有無に左右されずに用紙の位置合わせを可能にする、用紙位置合わせ装置、用紙位置合わせ方法及び用紙位置合わせ用記録媒体が提供される。
【図面の簡単な説明】
【図１】本発明による用紙位置合わせの処理の概要を示す説明図である。
【図２】本発明による用紙位置合わせ装置の概略システム構成図である。
【図３】図２におけるホストコンピュータ２の構成例を示すブロック図である。
【図４】本発明による用紙位置合わせ装置の概略を示すブロック図である。
【図５】図４の装置による辞書メモリ作成方法の概略を示すフローチャートである。
【図６】図４の装置による基準位置の対応リストの作成方法の概略を示すフローチャートである。
【図７】学習用紙の画像の一例を示す図である。
【図８】図７の学習用紙の画像を間引いた画像を示す図である。
【図９】入力用紙の画像の一例を示す図である。
【図１０】図９に入力用紙の画像を間引いた画像を示す図である。
【図１１】照合用小領域と入力用紙の小領域との対応点を示す表図である。
【図１２】図５のステップ５４および５５の詳細である辞書作成処理アルゴリズムを示すフローチャートである。
【図１３】図７から検出した網掛領域の例を示す図である。
【図１４】図８の画像の縦エッジ画像を示す図である。
【図１５】図８の画像の横エッジ画像を示す図である。
【図１６】図１２のステップ１２３で生成したエッジ画像を、８ドット×８ドット単位のメッシュに分割した図である。
【図１７】メッシュの中の一つの照合用小領域を拡大した図である。
【図１８】図１７に示される画像のエッジ画像を示す図である。
【図１９】図１７に示される画像の縦エッジ画像を示す図である。
【図２０】図１７に示される画像の横エッジ画像を示す図である。
【図２１】８ドット×８ドット単位のエッジ特徴量マップを１単位として、縦５単位（８×５＝４０ドット）、横５単位（８×５＝４０ドット）の領域を示す図である。
【図２２】図２１の領域を内側領域と外側領域に分けた図である。
【図２３】スキューに強い図形を示す図である。
【図２４】スキューに弱い図形を示す図である。
【図２５】３つの照合用小領域を頂点とする三角形△Ａを示す図である。
【図２６】探索した入力用紙上の３つの小領域を頂点とする三角形△Ｂを示す図である。
【図２７】図２５の三角形△Ａを変形して、図２６の三角形△Ｂと合同にした三角形△Ｅを示す図である。
【図２８】従来の用紙位置合わせの説明図である。
【符号の説明】
４１…学習用紙
４２…文字読取システム
４３…光電変換装置
４４…選択手段
４５…辞書メモリ
４６…入力用紙
４７…検索手段
４８…文字認識手段
４９…読取領域選択部
５０…読取領域辞書

Claims

学習用紙上の固定情報を読み取って得られた画像から所定数の照合用小領域を選択する選択手段と、
前記選択手段により選択された前記照合用小領域内の情報を格納するメモリと、
前記固定情報と同一の情報を含む入力用紙上の情報を読み取って得られた画像と、前記メモリに格納されている前記照合用小領域内の情報とを照合することにより、前記照合用小領域内の情報と同一の情報を含む入力用紙上の小領域を検索する検索手段と、
前記検索手段により検索された前記入力用紙上の小領域と前記照合用小領域との対応関係に基づいて、前記学習用紙の任意の位置に対応する前記入力用紙画像上の位置を決定する決定手段とを備え、
前記選択されて前記メモリに格納された照合用小領域のうち、３つを頂点とする第１の三角形と、前記３つの小領域の図柄と一致する図柄を持つとして検索された入力用紙画像上の３つの小領域を頂点とする第２の三角形とのいずれか一方を基準三角形とし、該基準三角形に合同になるように他方の三角形を変形して第３の三角形を形成し、該第３の三角形の内部の図柄と前記基準三角形の内部の図柄が所定の評価値により一致と判定された場合にのみ、該小領域領域は正しく検索されたと判定するようにした、用紙位置合わせ装置。
前記選択手段は、読み取られた前記学習用紙上の画像からエッジ画像を抽出するエッジ画像抽出手段と、前記エッジ画像に基づいて前記照合用小領域として最適な小領域を選択する最適小領域選択手段とを備えることを特徴とする請求項１に記載の用紙位置合わせ装置。
前記最適小領域選択手段は、前記照合用小領域を複数の小サブ領域に分割する小サブ領域分割手段と、前記エッジ画像に基づいて照合用の図柄として適している度合いを表す特徴量を前記小サブ領域毎に算出する特徴量算出手段と、所定数の前記小サブ領域毎にまとめて複数の大サブ領域を構成する大サブ領域構成手段と、前記大サブ領域の各々について前記特徴量に基づいて照合用の図柄として適している度合いを表す得点を算出する大サブ領域得点算出手段とを備え、前記得点の高い大サブ領域から順に前記照合用小領域を選択するようにしたことを特徴とする請求項２に記載の用紙位置合わせ装置。
前記特徴量算出手段は、前記小サブ領域内のエッジの黒画素数と、前記小サブ領域内の総黒画素数とに基づき前記照合用小領域を選択するための適切特徴量を算出するようにしたことを特徴とする請求項３に記載の用紙位置合わせ装置。
前記特徴量算出手段は、前記小サブ領域内の網掛け部分の画素数に基づき前記照合用小領域として不適切な不適切特徴量を算出するようにしたことを特徴とする請求項４に記載の用紙位置合わせ装置。
前記特徴量算出手段は、前記小サブ領域内の読取対象部分の画素数に基づき前記照合用小領域として不適切な不適切特徴量を算出するようにしたことを特徴とする請求項４記載の用紙位置合わせ装置。
前記学習用紙の画像に対し、スキュー及び伸縮の複数組みの限界値を適用して、複数の変形学習用紙画像を生成し、これらを入力画像と見立てて前記さらに最適な位置合わせ用小領域の検索を行い、その検索結果の正誤を所定の値をもって行い、誤検索が所定数以上存在する小領域は棄却するようにした、請求項１に記載の用紙位置合わせ装置。
前記文字読取装置の使用者が前記学習用紙上の任意の小領域を前記照合用小領域として選択するようにした、請求項１に記載の用紙位置合わせ装置。
学習用紙上の固定情報を読み取って得られた画像から所定数の照合用小領域を選択し、
選択された前記照合用小領域内の情報をメモリに格納し、
固定情報と同一の情報を含む入力用紙上の情報を読み取って得られた画像と、前記メモリに格納されている前記照合用小領域内の情報とを照合することにより、前記照合用小領域内の情報と同一の情報を含む入力用紙上の小領域を検索し、
前記検索された前記入力用紙上の小領域と前記照合用小領域との対応関係に基づいて、前記学習用紙の任意の位置に対応する前記入力用紙画像上の位置を決定するというステップを備え、
前記選択されて前記メモリに格納された照合用小領域のうち、３つを頂点とする第１の三角形と、前記３つの小領域の図柄と一致する図柄を持つとして検索された入力用紙画像上の３つの小領域を頂点とする第２の三角形とのいずれか一方を基準三角形とし、該基準三角形に合同になるように他方の三角形を変形して第３の三角形を形成し、該第３の三角形の内部の図柄と前記基準三角形の内部の図柄が所定の評価値により一致と判定された場合にのみ、該小領域領域は正しく検索されたと判定するようにすることを特徴とする用紙位置合わせ方法。
前記選択するステップは、読み取られた前記学習用紙上の画像からエッジ画像を抽出し、前記エッジ画像に基づいて前記照合用小領域として最適な小領域を選択する、というステップを備えることを特徴とする請求項９に記載の用紙位置合わせ方法。
前記最適な小領域を選択するステップは、前記照合用小領域を複数の小サブ領域に分割し、前記エッジ画像に基づいて、照合用の図柄として適している度合いを表す特徴量を前記小サブ領域毎に算出し、所定数の前記小サブ領域毎にまとめて複数の大サブ領域を構成し、前記大サブ領域の各々について前記特徴量に基づいて照合用の図柄として適している度合いを表す得点を算出し、前記得点の高い大サブ領域から順に前記照合用小領域を選択する、というステップを備えることを特徴とする請求項１０に記載の用紙位置合わせ方法。
前記特徴量を算出するステップは、前記小サブ領域内のエッジの黒画素数と、前記小サブ領域内の総黒画素数とに基づき前記照合用小領域を選択するための適切特徴量を算出する、というステップを備えることを特徴とする請求項１１に記載の用紙位置合わせ方法。
前記特徴量を算出するステップは、前記小サブ領域の各々の網掛け部分の画素数に基づき前記照合用小領域として不適切な不適切特徴量を算出する、というステップを備える、請求項１２に記載の用紙位置合わせ方法。
前記特徴量を算出するステップは、前記小サブ領域内の読取対象部分の画素数に基づき前記照合用小領域として不適切な不適切特徴量を算出する、というステップを備える、請求項１２に記載の用紙位置合わせ方法。
前記学習用紙の画像に対し、スキュー及び伸縮の複数組みの限界値を適用して、複数の変形学習用紙画像を生成し、これらを入力画像と見立てて前記さらに最適な位置合わせ用小領域の検索を行い、その検索結果の正誤を所定の値をもって行い、誤検索が所定数以上存在する小領域は棄却するようにした、請求項９に記載の用紙位置合わせ方法。
前記文字読取装置の使用者が前記学習用紙上の任意の小領域を前記照合用小領域として選択するようにする、請求項９に記載の用紙位置合わせ方法。
固定情報を含む学習用紙を読み取って得られた画像から所定数の照合用小領域を選択させる選択手段と、
選択された前記照合用小領域内の情報をメモリに格納させる格納手段と、
前記固定情報と同一の情報を含む入力用紙から読み取られた画像と、前記メモリに格納されている前記照合用小領域内の情報とを照合することにより、前記照合用小領域内の情報と同一の情報を含む入力用紙上の小領域を検索させる検索手段と、
前記検索された前記入力用紙上の小領域と前記照合用小領域との対応関係に基づいて、前記学習用紙の任意の位置に対応する前記入力用紙画像上の位置を決定させる決定手段とを備え、前記選択されて前記メモリに格納された照合用小領域のうち、３つを頂点とする第１の三角形と、前記３つの小領域の図柄と一致する図柄を持つとして検索された入力用紙画像上の３つの小領域を頂点とする第２の三角形とのいずれか一方を基準三角形とし、該基準三角形に合同になるように他方の三角形を変形して第３の三角形を形成し、該第３の三角形の内部の図柄と前記基準三角形の内部の図柄が所定の評価値により一致と判定された場合にのみ、該小領域領域は正しく検索されたと判定するようにすることを特徴とする用紙位置合わせプログラムを記憶したコンピュータ読み取り可能な記録媒体。