JPH113431A - 用紙位置合わせ装置、用紙位置合わせ方法及び用紙位置合わせプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
用紙位置合わせ装置、用紙位置合わせ方法及び用紙位置合わせプログラムを記録したコンピュータ読み取り可能な記録媒体Info
- Publication number
- JPH113431A JPH113431A JP9152557A JP15255797A JPH113431A JP H113431 A JPH113431 A JP H113431A JP 9152557 A JP9152557 A JP 9152557A JP 15255797 A JP15255797 A JP 15255797A JP H113431 A JPH113431 A JP H113431A
- Authority
- JP
- Japan
- Prior art keywords
- small
- small area
- image
- information
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Abstract
(57)【要約】
【課題】 黒背景機能なしで、専用マークを用いずに、
且つ用紙中の罫線の有無に左右されずに用紙の位置合わ
せを可能にすること。 【解決手段】 学習用紙の画像から所定数の照合用小領
域を選択し、選択された照合用小領域内の情報をメモリ
に格納し、照合用小領域内の情報と同一情報を含む入力
用紙上の小領域を検索し、検索された入力用紙上の小領
域と照合用小領域との対応関係に基づいて、学習用紙の
任意の位置に対応する入力用紙画像上の位置を決定す
る。
且つ用紙中の罫線の有無に左右されずに用紙の位置合わ
せを可能にすること。 【解決手段】 学習用紙の画像から所定数の照合用小領
域を選択し、選択された照合用小領域内の情報をメモリ
に格納し、照合用小領域内の情報と同一情報を含む入力
用紙上の小領域を検索し、検索された入力用紙上の小領
域と照合用小領域との対応関係に基づいて、学習用紙の
任意の位置に対応する入力用紙画像上の位置を決定す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、用紙の位置合わせ
技術に関し、特に固定の情報とそれ以外の追加の情報の
領域を含む帳票等の用紙上の情報をイメージ・スキャナ
等でディジタル情報に変換し、光学式文字読取装置（Ｏ
ＣＲ）等により文字コードに変換する場合や、固定の情
報を含む帳票等に、新たに追加の情報を印字する場合
の、用紙の位置合わせ装置、用紙位置合わせ方法及び用
紙位置合わせプログラムを記録したコンピュータ読み取
り可能な記録媒体に関する。
技術に関し、特に固定の情報とそれ以外の追加の情報の
領域を含む帳票等の用紙上の情報をイメージ・スキャナ
等でディジタル情報に変換し、光学式文字読取装置（Ｏ
ＣＲ）等により文字コードに変換する場合や、固定の情
報を含む帳票等に、新たに追加の情報を印字する場合
の、用紙の位置合わせ装置、用紙位置合わせ方法及び用
紙位置合わせプログラムを記録したコンピュータ読み取
り可能な記録媒体に関する。
【０００２】一般に、会合の出欠調査等のように、固定
の情報とそれ以外の追加の情報とを含む複数枚の用紙を
多数の人に配付して必要箇所に必要情報を書き込んで貰
い、回収後にＯＣＲなどにより上記追加の情報を読み取
ることが必要となることがある。この場合に、回収した
用紙が熱等により伸縮していたり、イメージ・スキャナ
のオート・ドキュメント・フィーダ（ＡＤＦ）を介して
用紙を供給する際に斜めに供給されたり、用紙をイメー
ジ・スキャナの用紙読み取り位置に配置しても蓋をした
際にその読み取り位置から用紙がずれてしまう等のよう
に、用紙が正確にイメージ・スキャナの用紙読み取り位
置に配置されない場合がある。この場合に、上記追加の
情報の用紙上の領域をＯＣＲが正確に認識していない
と、上記追加の情報を正確に読み取ることができない。
このため、ＯＣＲが読み取った用紙のイメージの中から
上記追加の情報の領域を見つけ出す、所謂「用紙位置合
わせ」が必要である。
の情報とそれ以外の追加の情報とを含む複数枚の用紙を
多数の人に配付して必要箇所に必要情報を書き込んで貰
い、回収後にＯＣＲなどにより上記追加の情報を読み取
ることが必要となることがある。この場合に、回収した
用紙が熱等により伸縮していたり、イメージ・スキャナ
のオート・ドキュメント・フィーダ（ＡＤＦ）を介して
用紙を供給する際に斜めに供給されたり、用紙をイメー
ジ・スキャナの用紙読み取り位置に配置しても蓋をした
際にその読み取り位置から用紙がずれてしまう等のよう
に、用紙が正確にイメージ・スキャナの用紙読み取り位
置に配置されない場合がある。この場合に、上記追加の
情報の用紙上の領域をＯＣＲが正確に認識していない
と、上記追加の情報を正確に読み取ることができない。
このため、ＯＣＲが読み取った用紙のイメージの中から
上記追加の情報の領域を見つけ出す、所謂「用紙位置合
わせ」が必要である。
【０００３】
【従来の技術】従来の用紙位置合わせには、大きく分け
て以下の３通りの方法がある。第１の方法は、図２８に
示されるように、用紙上の情報をイメージ・スキャナに
よりディジタル・イメージ化する段階で背景を黒とする
ことにより、用紙端を検出し、上下または左右の用紙端
の間隔や用紙端の傾き具合に基づいて用紙の伸縮や傾斜
を推定し、用紙端からの距離によって追加情報領域の位
置を特定する方法である。
て以下の３通りの方法がある。第１の方法は、図２８に
示されるように、用紙上の情報をイメージ・スキャナに
よりディジタル・イメージ化する段階で背景を黒とする
ことにより、用紙端を検出し、上下または左右の用紙端
の間隔や用紙端の傾き具合に基づいて用紙の伸縮や傾斜
を推定し、用紙端からの距離によって追加情報領域の位
置を特定する方法である。
【０００４】第２の方法は、用紙中に目印となる専用の
マークを数カ所印刷し, ＯＣＲにより読み取ったイメー
ジ中からその専用マークを検出することで用紙の伸縮と
傾斜を推定し、同時に追加情報領域の位置を特定する方
法である。第３の方法は、罫線等の抽出し易い情報に着
目して用紙中の図柄の中から、罫線などの情報を抽出
し、抽出した罫線などの情報を追加情報領域に対応付け
ることにより追加情報領域の位置を特定する方法であ
る。
マークを数カ所印刷し, ＯＣＲにより読み取ったイメー
ジ中からその専用マークを検出することで用紙の伸縮と
傾斜を推定し、同時に追加情報領域の位置を特定する方
法である。第３の方法は、罫線等の抽出し易い情報に着
目して用紙中の図柄の中から、罫線などの情報を抽出
し、抽出した罫線などの情報を追加情報領域に対応付け
ることにより追加情報領域の位置を特定する方法であ
る。
【０００５】
【発明が解決しようとする課題】上記第１の方法によれ
ば、黒背景機能を持つ普及型の廉価なＯＣＲは少ないこ
とに加え、用紙を斜めにコピーした場合に、紙端からの
追加情報領域の位置がずれるとその位置を特定できない
という問題がある。上記第２の方法によれば、用紙に専
用マークを印刷する必要が生じるのでその分だけ用紙の
作成に手間がかかり、価格が高くなるという問題があ
る。
ば、黒背景機能を持つ普及型の廉価なＯＣＲは少ないこ
とに加え、用紙を斜めにコピーした場合に、紙端からの
追加情報領域の位置がずれるとその位置を特定できない
という問題がある。上記第２の方法によれば、用紙に専
用マークを印刷する必要が生じるのでその分だけ用紙の
作成に手間がかかり、価格が高くなるという問題があ
る。
【０００６】上記第３の方法によれば、現状では安定し
て抽出できるのは罫線のみの場合が多いため, 罫線のな
い用紙は処理ができないという問題がある。上記の問題
点に鑑み, 本発明の目的は、上述の第２および第３の方
法のそれぞれの問題点を補うかたち、即ち、用紙中の図
柄の一部をそのまま、一種のマークとして取り扱うこと
により、黒背景機能を持たないＯＣＲでも用紙位置合わ
せを可能にし、且つ、専用マークを不要とし, さらに用
紙中の罫線の有無に左右されずに用紙の位置合わせを可
能にする、用紙位置合わせ装置、用紙位置合わせ方法及
び用紙位置合わせ用記録媒体を提供することを目的とす
る。
て抽出できるのは罫線のみの場合が多いため, 罫線のな
い用紙は処理ができないという問題がある。上記の問題
点に鑑み, 本発明の目的は、上述の第２および第３の方
法のそれぞれの問題点を補うかたち、即ち、用紙中の図
柄の一部をそのまま、一種のマークとして取り扱うこと
により、黒背景機能を持たないＯＣＲでも用紙位置合わ
せを可能にし、且つ、専用マークを不要とし, さらに用
紙中の罫線の有無に左右されずに用紙の位置合わせを可
能にする、用紙位置合わせ装置、用紙位置合わせ方法及
び用紙位置合わせ用記録媒体を提供することを目的とす
る。
【０００７】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明により提供されるものは、学習用紙上の固
定情報を読み取って得られた画像から所定数の照合用小
領域を選択し、選択された照合用小領域内の情報をメモ
リに格納し、学習用紙の情報と同一の情報を含む入力用
紙上の情報を読み取って得られた画像と、メモリに格納
されている照合用小領域内の情報とを照合することによ
り、照合用小領域内の情報と同一の情報を含む入力用紙
上の小領域を検索し、検索された入力用紙上の小領域と
照合用小領域との対応関係に基づいて、学習用紙の任意
の位置に対応する入力用紙画像上の位置を決定するよう
にした、用紙位置合わせ装置、用紙位置合わせ方法およ
び用紙位置合わせプログラムを記録したコンピュータ読
み取り可能な記録媒体である。
めに、本発明により提供されるものは、学習用紙上の固
定情報を読み取って得られた画像から所定数の照合用小
領域を選択し、選択された照合用小領域内の情報をメモ
リに格納し、学習用紙の情報と同一の情報を含む入力用
紙上の情報を読み取って得られた画像と、メモリに格納
されている照合用小領域内の情報とを照合することによ
り、照合用小領域内の情報と同一の情報を含む入力用紙
上の小領域を検索し、検索された入力用紙上の小領域と
照合用小領域との対応関係に基づいて、学習用紙の任意
の位置に対応する入力用紙画像上の位置を決定するよう
にした、用紙位置合わせ装置、用紙位置合わせ方法およ
び用紙位置合わせプログラムを記録したコンピュータ読
み取り可能な記録媒体である。
【０００８】好ましくは、光電変換装置により読み取ら
れた学習用紙上の画像からエッジ画像を抽出し、そのエ
ッジ画像に基づいて照合用小領域として最適な小領域を
選択する。本発明により、用紙中の図柄の一部をそのま
ま、照合用マークとして取り扱うことにより、黒背景機
能を持たないＯＣＲでも用紙位置合わせが可能になり、
且つ、専用マークが不要になり, さらに用紙中の罫線の
有無に左右されずに用紙の位置合わせが可能になる。
れた学習用紙上の画像からエッジ画像を抽出し、そのエ
ッジ画像に基づいて照合用小領域として最適な小領域を
選択する。本発明により、用紙中の図柄の一部をそのま
ま、照合用マークとして取り扱うことにより、黒背景機
能を持たないＯＣＲでも用紙位置合わせが可能になり、
且つ、専用マークが不要になり, さらに用紙中の罫線の
有無に左右されずに用紙の位置合わせが可能になる。
【０００９】
【発明の実施の形態】図１（ａ）は本発明による用紙位
置合わせの処理の概要を示す説明図である。同図に示さ
れるように、本発明においては、まず、図の上段（辞書
作成の段）に示されるように、未記入の学習用紙上の固
定情報を光電変換装置により読み取って得られたデジタ
ル画像から所定数の照合用領域を選択して辞書メモリに
格納する。
置合わせの処理の概要を示す説明図である。同図に示さ
れるように、本発明においては、まず、図の上段（辞書
作成の段）に示されるように、未記入の学習用紙上の固
定情報を光電変換装置により読み取って得られたデジタ
ル画像から所定数の照合用領域を選択して辞書メモリに
格納する。
【００１０】次に、図の下段（位置合わせの段）に示さ
れるように、上記学習用紙と同一の情報を含み、且つ追
加の情報用の領域に追加の情報を記入済の入力用紙上の
情報を光電変換装置により読み取って得られたデジタル
画像から辞書メモリに格納されている照合用小領域の画
像と一致する画像を検索して、その検索された画像の位
置と辞書メモリ内の照合用小領域の画像の位置との対応
点リストを得る。
れるように、上記学習用紙と同一の情報を含み、且つ追
加の情報用の領域に追加の情報を記入済の入力用紙上の
情報を光電変換装置により読み取って得られたデジタル
画像から辞書メモリに格納されている照合用小領域の画
像と一致する画像を検索して、その検索された画像の位
置と辞書メモリ内の照合用小領域の画像の位置との対応
点リストを得る。
【００１１】そして図１（ｂ）は、この対応点リストを
用いて学習用紙画像上の任意の点に対応する入力用紙画
像上の位置を推定する方法の例の説明図である。図の上
段に示されるように、上記対応点リストは、学習用紙の
画像中の位置（例えば、（５０、１００）、（５
０、２３０）、（１４０、５０））とそれに対応する
入力用紙の画像中の位置（′（６０、９０）、′
（４０、２２０）、′（１５０、６０））との対応関
係を表している。この対応関係により、図の下段に示さ
れるように、学習用紙の画像上の任意の箇所（例えば
）は、例えば→のベクトルの定数倍と→のベ
クトルの定数倍を足したものにより表現できる。ここで
用いた各定数を、入力用紙の画像上の各ベクトル（′
→′および′→′）に適用すれば、学習画像上の
に対応する入力画像上の′の位置を推定できる。こ
れにより、例えば追加の情報用の領域に手書きで書き込
まれた文字の認識など用紙中の任意の場所を読み取ろう
とする用紙処理に必要な位置合わせが行える。
用いて学習用紙画像上の任意の点に対応する入力用紙画
像上の位置を推定する方法の例の説明図である。図の上
段に示されるように、上記対応点リストは、学習用紙の
画像中の位置（例えば、（５０、１００）、（５
０、２３０）、（１４０、５０））とそれに対応する
入力用紙の画像中の位置（′（６０、９０）、′
（４０、２２０）、′（１５０、６０））との対応関
係を表している。この対応関係により、図の下段に示さ
れるように、学習用紙の画像上の任意の箇所（例えば
）は、例えば→のベクトルの定数倍と→のベ
クトルの定数倍を足したものにより表現できる。ここで
用いた各定数を、入力用紙の画像上の各ベクトル（′
→′および′→′）に適用すれば、学習画像上の
に対応する入力画像上の′の位置を推定できる。こ
れにより、例えば追加の情報用の領域に手書きで書き込
まれた文字の認識など用紙中の任意の場所を読み取ろう
とする用紙処理に必要な位置合わせが行える。
【００１２】図２は本発明による用紙位置合わせ装置の
概略システム構成図である。同図において、１はイメー
ジ・スキャナ、２はＯＣＲソフトウエアを搭載するホス
トコンピュータ、３はディスプレイ、４は用紙の一例と
しての帳票である。帳票４上の情報はイメージスキャナ
１によりディジタル画像に変換され、そのディジタル画
像はホストコンピュータ２に送られる。ホストコンピュ
ータ２は入力されたディジタル画像を文字コードに変換
する。この文字コードへの変換に際して、本発明による
ＯＣＲソフトウエアは、入力用紙の位置合わせを上記の
ように、又以下により詳細に説明するようにして行うこ
とにより、入力帳票がイメージ・スキャナ１に対して斜
めに入力されたり、入力帳票が伸縮したりしていても入
力帳票上の書き込み領域を正確に判定するので、手書き
文字を正確に認識することができる。
概略システム構成図である。同図において、１はイメー
ジ・スキャナ、２はＯＣＲソフトウエアを搭載するホス
トコンピュータ、３はディスプレイ、４は用紙の一例と
しての帳票である。帳票４上の情報はイメージスキャナ
１によりディジタル画像に変換され、そのディジタル画
像はホストコンピュータ２に送られる。ホストコンピュ
ータ２は入力されたディジタル画像を文字コードに変換
する。この文字コードへの変換に際して、本発明による
ＯＣＲソフトウエアは、入力用紙の位置合わせを上記の
ように、又以下により詳細に説明するようにして行うこ
とにより、入力帳票がイメージ・スキャナ１に対して斜
めに入力されたり、入力帳票が伸縮したりしていても入
力帳票上の書き込み領域を正確に判定するので、手書き
文字を正確に認識することができる。
【００１３】図３は図２におけるホストコンピュータ２
の構成例を示すブロック図である。図３に示すように、
ホストコンピュータ２は、ＣＰＵ５と、メモリ６と、ハ
ードディスク７と、ＣＤ−ＲＯＭなどの外部記憶装置８
とからなっている。本発明によるＯＣＲソフトウエア
は、ハードディスク７に格納してもよいし、外部記憶装
置８に記憶させて必要に応じてメモリ６に読み込ませて
も、またモデム９を介して回線先のデータベースから必
要に応じてメモリ６に読み込ませてもよい。
の構成例を示すブロック図である。図３に示すように、
ホストコンピュータ２は、ＣＰＵ５と、メモリ６と、ハ
ードディスク７と、ＣＤ−ＲＯＭなどの外部記憶装置８
とからなっている。本発明によるＯＣＲソフトウエア
は、ハードディスク７に格納してもよいし、外部記憶装
置８に記憶させて必要に応じてメモリ６に読み込ませて
も、またモデム９を介して回線先のデータベースから必
要に応じてメモリ６に読み込ませてもよい。
【００１４】図４は本発明による用紙位置合わせ装置の
概略を示すブロック図である。このブロック図は図２の
概略システム構成図を機能ブロック化したものである。
図４において、４１は固定情報と追加の書き込み領域と
を含む学習用紙、４２は図１のイメージ・スキャナ１及
びホストコンピュータ２を含む文字読取システムであ
る。文字読取システム４２は、学習用紙４１または、学
習用紙４１上の固定情報と同一の情報を含み、且つ追加
の情報を有する入力用紙４６上の情報を光学的に読み取
ってディジタル画像を得る光学変換装置４３と、学習用
紙４１から光学変換装置４３により得られたディジタル
画像から所定数の照合用小領域を選択する選択手段４４
と、選択手段４４により選択された照合用小領域内の情
報を格納する辞書メモリ４５と、入力用紙４６から光学
変換装置４３により得られた画像と、辞書メモリ４５に
格納されている照合用小領域内の情報とを照合すること
により、照合用小領域内の情報と実質的に同一の情報を
含む入力用紙上の小領域を検索する検索手段４７と、検
索手段４７により検索された入力用紙４６上の小領域と
照合用小領域との対応関係に基づいて、追加の情報を識
別してその中の文字を認識する文字認識手段４８とを備
えている。
概略を示すブロック図である。このブロック図は図２の
概略システム構成図を機能ブロック化したものである。
図４において、４１は固定情報と追加の書き込み領域と
を含む学習用紙、４２は図１のイメージ・スキャナ１及
びホストコンピュータ２を含む文字読取システムであ
る。文字読取システム４２は、学習用紙４１または、学
習用紙４１上の固定情報と同一の情報を含み、且つ追加
の情報を有する入力用紙４６上の情報を光学的に読み取
ってディジタル画像を得る光学変換装置４３と、学習用
紙４１から光学変換装置４３により得られたディジタル
画像から所定数の照合用小領域を選択する選択手段４４
と、選択手段４４により選択された照合用小領域内の情
報を格納する辞書メモリ４５と、入力用紙４６から光学
変換装置４３により得られた画像と、辞書メモリ４５に
格納されている照合用小領域内の情報とを照合すること
により、照合用小領域内の情報と実質的に同一の情報を
含む入力用紙上の小領域を検索する検索手段４７と、検
索手段４７により検索された入力用紙４６上の小領域と
照合用小領域との対応関係に基づいて、追加の情報を識
別してその中の文字を認識する文字認識手段４８とを備
えている。
【００１５】さらに、光電変換装置４３により得られた
画像から手書き入力領域等の読取領域を選択する読取領
域選択部４９と、その読取領域の座標を格納する読取領
域辞書５０も備えている。そして、選択手段４４は読取
領域辞書５０に格納された読取領域の座標を考慮して照
合用小領域を選択する。図５は図４の装置による辞書メ
モリ作成方法の概略を示すフローチャートである。先ず
ステップ５１で学習用帳票をイメージ・スキャナ１（図
２）に入力する。次いでステップ５２でイメージ・スキ
ャナ１は入力された学習用帳票上の情報をスキャンする
ことにより光電変換してディジタル画像の学習用帳票イ
メージを得る。次にステップ５３で、読取領域選択部に
より上記学習用帳票イメージ上で読取箇所の位置情報を
設定し、読取領域辞書５０に格納する。読取箇所とは、
例えば、固定情報以外の情報が手書きで書き込まれる箇
所である。次いでステップ５４で、照合用小領域として
は不適切な領域に関する情報を獲得する。この不適切な
領域としては、後に詳述するように、例えば、網掛けの
領域や上記の読取箇所等がある。次にステップ５５にて
照合用小領域の候補を自動的に選択するか、ステップ５
６にて照合用小領域の候補を手動にて選択する。次にス
テップ５７にて、こうして選択された小領域の候補が入
力帳票のスキューや伸縮に耐えるものかどうかを、選択
された照合用小領域を変形させて変形前の照合用小領域
に基づいて上記変形された照合用小領域を探索するシミ
ュレーション（後に詳述する）を行うことにより、不適
切な照合用小領域は棄却して一層最適な照合用小領域の
みを残す。そして、ステップ５８で、残された照合用小
領域の位置及びその中の図柄情報を辞書メモリに保存す
る。
画像から手書き入力領域等の読取領域を選択する読取領
域選択部４９と、その読取領域の座標を格納する読取領
域辞書５０も備えている。そして、選択手段４４は読取
領域辞書５０に格納された読取領域の座標を考慮して照
合用小領域を選択する。図５は図４の装置による辞書メ
モリ作成方法の概略を示すフローチャートである。先ず
ステップ５１で学習用帳票をイメージ・スキャナ１（図
２）に入力する。次いでステップ５２でイメージ・スキ
ャナ１は入力された学習用帳票上の情報をスキャンする
ことにより光電変換してディジタル画像の学習用帳票イ
メージを得る。次にステップ５３で、読取領域選択部に
より上記学習用帳票イメージ上で読取箇所の位置情報を
設定し、読取領域辞書５０に格納する。読取箇所とは、
例えば、固定情報以外の情報が手書きで書き込まれる箇
所である。次いでステップ５４で、照合用小領域として
は不適切な領域に関する情報を獲得する。この不適切な
領域としては、後に詳述するように、例えば、網掛けの
領域や上記の読取箇所等がある。次にステップ５５にて
照合用小領域の候補を自動的に選択するか、ステップ５
６にて照合用小領域の候補を手動にて選択する。次にス
テップ５７にて、こうして選択された小領域の候補が入
力帳票のスキューや伸縮に耐えるものかどうかを、選択
された照合用小領域を変形させて変形前の照合用小領域
に基づいて上記変形された照合用小領域を探索するシミ
ュレーション（後に詳述する）を行うことにより、不適
切な照合用小領域は棄却して一層最適な照合用小領域の
みを残す。そして、ステップ５８で、残された照合用小
領域の位置及びその中の図柄情報を辞書メモリに保存す
る。
【００１６】図６は図４の装置による基準位置の対応リ
ストの作成方法の概略を示すフローチャートである。ま
ずステップ６１で入力帳票をイメージ・スキャナ１に入
力する。次いでステップ６２でイメージ・スキャナ１は
入力された入力用帳票上の情報をスキャンすることによ
り光電変換してディジタル画像の入力用帳票イメージを
得る。次に、ステップ６３で辞書メモリ４５（図４）を
参照して、ステップ６４で辞書メモリ４５に格納されて
いる小領域の画像と一致する画像を入力用帳票イメージ
がら探索する。ついでステップ６５にて、探索結果の正
誤を後に詳述する手法でチェックし、ステップ６７で正
しいと判定された入力帳票イメージ内の小領域と照合用
小領域との対応関係のリストを作成する。
ストの作成方法の概略を示すフローチャートである。ま
ずステップ６１で入力帳票をイメージ・スキャナ１に入
力する。次いでステップ６２でイメージ・スキャナ１は
入力された入力用帳票上の情報をスキャンすることによ
り光電変換してディジタル画像の入力用帳票イメージを
得る。次に、ステップ６３で辞書メモリ４５（図４）を
参照して、ステップ６４で辞書メモリ４５に格納されて
いる小領域の画像と一致する画像を入力用帳票イメージ
がら探索する。ついでステップ６５にて、探索結果の正
誤を後に詳述する手法でチェックし、ステップ６７で正
しいと判定された入力帳票イメージ内の小領域と照合用
小領域との対応関係のリストを作成する。
【００１７】以下に、具体例を用いて本発明による用紙
位置合わせ方法を説明する。位置合わせ方法の概略 図７は、学習用紙の一例である。この学習用紙上には
「吉尾さんを歓迎する会」の案内のための固定情報が記
載されている。この学習用紙のコピーが親睦会の会員に
配布されるか回覧される。この用紙の下方の「氏名」
「出欠」「リクエスト」の欄は網掛けとなっている。こ
の網掛けの欄の下の空欄に親睦会のメンバーが手書き等
により必要事項を記入するようになっている。この学習
用紙上の固定情報が記入されている適当な複数の場所を
辞書メモリ４５（図４）に格納するための照合用小領域
として以下に記載する方法で選択する。
位置合わせ方法を説明する。位置合わせ方法の概略 図７は、学習用紙の一例である。この学習用紙上には
「吉尾さんを歓迎する会」の案内のための固定情報が記
載されている。この学習用紙のコピーが親睦会の会員に
配布されるか回覧される。この用紙の下方の「氏名」
「出欠」「リクエスト」の欄は網掛けとなっている。こ
の網掛けの欄の下の空欄に親睦会のメンバーが手書き等
により必要事項を記入するようになっている。この学習
用紙上の固定情報が記入されている適当な複数の場所を
辞書メモリ４５（図４）に格納するための照合用小領域
として以下に記載する方法で選択する。
【００１８】まず、図７の学習用紙のディジタル画像を
高速処理のために間引く。ここでは一例として間引き率
を１／４として、図８に示すディジタル画像を得る。な
お、図８は辞書作成のためのスムージングなど各種前処
理を施してある。図８の学習用紙イメージを１／４に間
引いた画像において、その用紙の図柄の中から予め複数
個の照合用小領域８１〜９４を定める。本実施例では１
つの照合用小領域は３２ドット×３２ドットである。こ
れらの小領域の座標とその中の画像を辞書メモリ４５に
格納する。
高速処理のために間引く。ここでは一例として間引き率
を１／４として、図８に示すディジタル画像を得る。な
お、図８は辞書作成のためのスムージングなど各種前処
理を施してある。図８の学習用紙イメージを１／４に間
引いた画像において、その用紙の図柄の中から予め複数
個の照合用小領域８１〜９４を定める。本実施例では１
つの照合用小領域は３２ドット×３２ドットである。こ
れらの小領域の座標とその中の画像を辞書メモリ４５に
格納する。
【００１９】間引きは一種の特徴抽出であり, 用紙イメ
ージの傾斜・伸縮の吸収および処理の高速化が目的であ
る。図９は図７に示した学習用紙のコピーの空欄に手書
きで書き込まれた用紙を示す図である。この手書きで書
き込まれた用紙イメージをやはり１／４に間引いた画像
を図１０に示す。
ージの傾斜・伸縮の吸収および処理の高速化が目的であ
る。図９は図７に示した学習用紙のコピーの空欄に手書
きで書き込まれた用紙を示す図である。この手書きで書
き込まれた用紙イメージをやはり１／４に間引いた画像
を図１０に示す。
【００２０】図１０の中の画像中から図８にある各照合
用小領域をイメージマッチングにより探索する。探索さ
れた各小領域画像を図１０に点線で示す。図８に示した
学習用紙上の照合用小領域の各々の例えば左上隅の座標
（辞書メモリ４５に格納されている）と、図１０に示し
た入力用紙上の検索された小領域の各々の左上隅の座標
との対応を付けて、図１１に示す様な表を得る。図１１
においては、全部で１４個の小領域について、辞書メモ
リ側の座標と検索された小領域の座標との対応関係が示
されている。例えば、破線１１１で囲まれた番号２の横
に列記された破線１１３で囲まれた数字６４０、７８
８、６００、８００は、小領域の、辞書メモリ側の座標
は（６４０、７８８）で、検索された小領域の座標は
（６００、８００）であることを示している。破線１１
１で囲まれた番号１の横に記された破線１１２で囲まれ
た数字１４は小領域が１４個存在することを示してい
る。この表における対応点を基に、学習用紙のイメージ
中の任意座標に対応する、入力用紙のイメージ中の座標
を求めることが可能になる。辞書作成処理アルゴリズム 次に、図５のステップ５４および５５の詳細である辞書
作成処理アルゴリズムを図１２に示すフローチャートに
より説明する。
用小領域をイメージマッチングにより探索する。探索さ
れた各小領域画像を図１０に点線で示す。図８に示した
学習用紙上の照合用小領域の各々の例えば左上隅の座標
（辞書メモリ４５に格納されている）と、図１０に示し
た入力用紙上の検索された小領域の各々の左上隅の座標
との対応を付けて、図１１に示す様な表を得る。図１１
においては、全部で１４個の小領域について、辞書メモ
リ側の座標と検索された小領域の座標との対応関係が示
されている。例えば、破線１１１で囲まれた番号２の横
に列記された破線１１３で囲まれた数字６４０、７８
８、６００、８００は、小領域の、辞書メモリ側の座標
は（６４０、７８８）で、検索された小領域の座標は
（６００、８００）であることを示している。破線１１
１で囲まれた番号１の横に記された破線１１２で囲まれ
た数字１４は小領域が１４個存在することを示してい
る。この表における対応点を基に、学習用紙のイメージ
中の任意座標に対応する、入力用紙のイメージ中の座標
を求めることが可能になる。辞書作成処理アルゴリズム 次に、図５のステップ５４および５５の詳細である辞書
作成処理アルゴリズムを図１２に示すフローチャートに
より説明する。
【００２１】（１）網掛領域とベタ領域の検出（ステッ
プ１２１） ステップ１２１の網掛領域の検出では、図７の学習用紙
のイメージにおける小区間ごとのドットの有無の頻度や
量などを検出することにより、網掛領域を検出する。図
７から検出した網掛領域の例を図１３に示す。同様の手
法で、ベタ領域（全部黒の領域）も検出する。これら
の、網掛領域およびベタ領域は、辞書メモリ４５に格納
すべき照合用小領域としては不適切な領域である。
プ１２１） ステップ１２１の網掛領域の検出では、図７の学習用紙
のイメージにおける小区間ごとのドットの有無の頻度や
量などを検出することにより、網掛領域を検出する。図
７から検出した網掛領域の例を図１３に示す。同様の手
法で、ベタ領域（全部黒の領域）も検出する。これら
の、網掛領域およびベタ領域は、辞書メモリ４５に格納
すべき照合用小領域としては不適切な領域である。
【００２２】（２）画像前処理（ステップ１２２） ステップ１２２の画像前処理では、図７の学習用紙のイ
メージに対してゴミ取りとスムージングの処理を行い、
１／４に間引きを行う。図７のイメージに対し本処理を
施したものが図８である。本処理は小領域選択の為に必
須なものであり、処理を施すと図８に示すような状態に
なるが、実際に辞書に格納されるマッチング用画像とし
ては、本処理を施したものでも、１／４間引きだけが行
われたものでもどちらでも構わないが、辞書画像と同様
の画像処理が入力画像に対しても行われることが必要で
ある。
メージに対してゴミ取りとスムージングの処理を行い、
１／４に間引きを行う。図７のイメージに対し本処理を
施したものが図８である。本処理は小領域選択の為に必
須なものであり、処理を施すと図８に示すような状態に
なるが、実際に辞書に格納されるマッチング用画像とし
ては、本処理を施したものでも、１／４間引きだけが行
われたものでもどちらでも構わないが、辞書画像と同様
の画像処理が入力画像に対しても行われることが必要で
ある。
【００２３】本実施例では、高速化のため入力画像には
１／４間引きだけを施すようにしており、従って辞書に
格納する画像も１／４間引き処理だけを施されたものを
使用しているため、図８と図１０では若干絵の雰囲気が
異なっている。ここでの間引き率は, 位置合わせ時に使
用する間引き率と同じ１／４を使用している。
１／４間引きだけを施すようにしており、従って辞書に
格納する画像も１／４間引き処理だけを施されたものを
使用しているため、図８と図１０では若干絵の雰囲気が
異なっている。ここでの間引き率は, 位置合わせ時に使
用する間引き率と同じ１／４を使用している。
【００２４】（３）エッジ画像の生成（ステップ１２
３） ステップ１２２による処理後の画像について、学習用紙
上の図柄の縦エッジと横エッジを抽出する。その際、１
ドットサイズで周囲から例えば３ドット以上離れたもの
はゴミとして除いておく。例として、図８の画像の縦エ
ッジ画像を図１４に示し、横エッジ画像を図１５に示
す。
３） ステップ１２２による処理後の画像について、学習用紙
上の図柄の縦エッジと横エッジを抽出する。その際、１
ドットサイズで周囲から例えば３ドット以上離れたもの
はゴミとして除いておく。例として、図８の画像の縦エ
ッジ画像を図１４に示し、横エッジ画像を図１５に示
す。
【００２５】（４）８×８単位にエッジ特徴量を計測
（ステップ１２４） 特徴小領域の選択は２４ドット×２４ドットで行うが、
各特徴量の計算を高速化するため, いったん８ドット×
８ドット単位で計算し、その後この結果を使用する。即
ち、ステップ１２３で生成したエッジ画像を、図１６に
示すように８ドット×８ドット単位のメッシュに分割
し、各単位ごとにエッジなどの特徴量をカウントする。
（ステップ１２４） 特徴小領域の選択は２４ドット×２４ドットで行うが、
各特徴量の計算を高速化するため, いったん８ドット×
８ドット単位で計算し、その後この結果を使用する。即
ち、ステップ１２３で生成したエッジ画像を、図１６に
示すように８ドット×８ドット単位のメッシュに分割
し、各単位ごとにエッジなどの特徴量をカウントする。
【００２６】エッジなどの特徴量とは、主にエッジ特徴
画像におけるドット数であり、例として以下のものがあ
る。 ｎｔ（総エッジ量…エッジの黒画素数） ｎｈ（横エッジ量…横方向エッジの黒画素数) ｎｖ（縦エッジ量…縦方向エッジの黒画素数) ｎｃ（黒画素量…黒画素数) ｈｈ（横投影断面） ｖｖ（縦投影断面) ｎｇ（不適量＝網掛量) 図１７は, 図１６中のメッシュの中の一つの照合用小領
域を拡大した場合で説明用に図柄を簡単化した想定イメ
ージ図である。この図形を例として、各特徴量の求め方
を説明する。
画像におけるドット数であり、例として以下のものがあ
る。 ｎｔ（総エッジ量…エッジの黒画素数） ｎｈ（横エッジ量…横方向エッジの黒画素数) ｎｖ（縦エッジ量…縦方向エッジの黒画素数) ｎｃ（黒画素量…黒画素数) ｈｈ（横投影断面） ｖｖ（縦投影断面) ｎｇ（不適量＝網掛量) 図１７は, 図１６中のメッシュの中の一つの照合用小領
域を拡大した場合で説明用に図柄を簡単化した想定イメ
ージ図である。この図形を例として、各特徴量の求め方
を説明する。
【００２７】図１７に示される画像のエッジ画像を図１
８に示し、縦エッジのみの画像を図１９に示し、横エッ
ジのみの画像を図２０に示す。図１８は、図１９と図２
０の論理和画像である。従って、上記（３）で求めた縦
エッジ画像と横エッジ画像を論理和することで得られ
る。図１８のエッジ図形の総黒画素数８が、総エッジ量
ｎｔである。
８に示し、縦エッジのみの画像を図１９に示し、横エッ
ジのみの画像を図２０に示す。図１８は、図１９と図２
０の論理和画像である。従って、上記（３）で求めた縦
エッジ画像と横エッジ画像を論理和することで得られ
る。図１８のエッジ図形の総黒画素数８が、総エッジ量
ｎｔである。
【００２８】図１９の縦エッジ図形の総黒画素数６が、
縦エッジ量ｎｖである。図２０の横エッジ図形の総黒画
素数６が、横エッジ量ｎｈである。図１７の総黒画素数
９が, 黒画素量ｎｃである。図１９の図形の縦投影の断
面情報(00011100)が、縦投影断面ｖｖである。図１９の
図形の横投影の断面情報(00111000)が, 横投影断面ｈｈ
である。
縦エッジ量ｎｖである。図２０の横エッジ図形の総黒画
素数６が、横エッジ量ｎｈである。図１７の総黒画素数
９が, 黒画素量ｎｃである。図１９の図形の縦投影の断
面情報(00011100)が、縦投影断面ｖｖである。図１９の
図形の横投影の断面情報(00111000)が, 横投影断面ｈｈ
である。
【００２９】上記（１）で生成した網掛マップを参照し
て、対象領域内での網掛に該当する領域のドット数を不
適量ｎｇとしてカウントする( 図１７の例ではｎｇは０
である）。上記（１）では、間引いていない画像を元に
網掛領域とベタ領域の検出しているので、その分を考慮
して間引いた状態に換算する。
て、対象領域内での網掛に該当する領域のドット数を不
適量ｎｇとしてカウントする( 図１７の例ではｎｇは０
である）。上記（１）では、間引いていない画像を元に
網掛領域とベタ領域の検出しているので、その分を考慮
して間引いた状態に換算する。
【００３０】（５）２４ドット×２４ドット単位に特徴
量をまとめる（ステップ１２５） ステップ１２４で生成した８ドット×８ドット単位のマ
ップを２４ドット×２４ドット単位にまとめて得点を付
ける。この得点の付与に際して、位置合わせに使用する
各小領域のサイズは３２ドット×３２ドットであるが、
イメージマッチングにおいては、この小領域内の周辺部
は傾斜や伸縮などの影響を受けやすいため、周辺部の図
柄は得点に加えない。
量をまとめる（ステップ１２５） ステップ１２４で生成した８ドット×８ドット単位のマ
ップを２４ドット×２４ドット単位にまとめて得点を付
ける。この得点の付与に際して、位置合わせに使用する
各小領域のサイズは３２ドット×３２ドットであるが、
イメージマッチングにおいては、この小領域内の周辺部
は傾斜や伸縮などの影響を受けやすいため、周辺部の図
柄は得点に加えない。
【００３１】具体的には、ステップ１２４で生成した８
ドット×８ドット単位のエッジ特徴量マップを１単位と
して、図２１のように縦５単位（８×５＝４０ドッ
ト）、横５単位（８×５＝４０ドット）の領域を考え
る。図２１の各メッシュ（８ドット×８ドット）には、
ステップ１２４の処理により各種の特徴量が求められて
いる。これら５×５＝２５単位の領域を内側領域の９単
位( 図２２中のＡの領域) と外側領域の１６単位（図２
２中のＢの領域) とに分けて考え、Ａ領域とＢ領域それ
ぞれについて、ステップ１２４で求めた各特徴量を、以
下のように単純に加算して和を求める。
ドット×８ドット単位のエッジ特徴量マップを１単位と
して、図２１のように縦５単位（８×５＝４０ドッ
ト）、横５単位（８×５＝４０ドット）の領域を考え
る。図２１の各メッシュ（８ドット×８ドット）には、
ステップ１２４の処理により各種の特徴量が求められて
いる。これら５×５＝２５単位の領域を内側領域の９単
位( 図２２中のＡの領域) と外側領域の１６単位（図２
２中のＢの領域) とに分けて考え、Ａ領域とＢ領域それ
ぞれについて、ステップ１２４で求めた各特徴量を、以
下のように単純に加算して和を求める。
【００３２】Ａ領域について： 総エッジ量A Σnt=nt[A1] + nt[A2] + ..... + nt[A9] 横エッジ量A Σnh, 縦エッジ量A Σnv, 黒画素数A Σn
c, 不適量A Σngも同様にして求める。 縦投影断面A Σvv = vv[A1] OR vv[A2] OR ..... OR vv
[A9] 横投影断面A Σhhも同様にして求める。
c, 不適量A Σngも同様にして求める。 縦投影断面A Σvv = vv[A1] OR vv[A2] OR ..... OR vv
[A9] 横投影断面A Σhhも同様にして求める。
【００３３】Ａ領域と同様にしてＢ領域についても、各
特徴量(BΣnt,BΣnh,BΣnv,BΣnc,BΣng) を求める。一
方、照合用小領域の図柄の構成物のサイズが大きい方
が、イメージマッチングにおいて入力用紙がスキャナに
対して傾斜して入力されたり入力用紙が伸縮したりして
も、より確実に照合ができると考えられる。この考えを
反映させるため、縦方向および横方向のエッジ量に対し
下限を設ける。即ち、BIT(A Σvv) およびBIT(A Σhh)
が予め定めた一定値以下の場合は、この領域は無効とす
る。ここでBIT( n )は、ｎという０／１の列中の１の個
数を表すものとする。これにより、例えば縦方向のみあ
るいは横方向のみにエッジがある図柄は照合用小領域の
候補から排除される。
特徴量(BΣnt,BΣnh,BΣnv,BΣnc,BΣng) を求める。一
方、照合用小領域の図柄の構成物のサイズが大きい方
が、イメージマッチングにおいて入力用紙がスキャナに
対して傾斜して入力されたり入力用紙が伸縮したりして
も、より確実に照合ができると考えられる。この考えを
反映させるため、縦方向および横方向のエッジ量に対し
下限を設ける。即ち、BIT(A Σvv) およびBIT(A Σhh)
が予め定めた一定値以下の場合は、この領域は無効とす
る。ここでBIT( n )は、ｎという０／１の列中の１の個
数を表すものとする。これにより、例えば縦方向のみあ
るいは横方向のみにエッジがある図柄は照合用小領域の
候補から排除される。
【００３４】照合用小領域の図柄の構成物のサイズを計
測するもう一つの尺度としてランレングスを利用する。
即ち、当該Ａ領域内の各単位について, 縦方向ランレグ
ス情報 v＿run(0) ...v＿run(i)と横方向ランレングス
情報 h＿run(0) ..... h＿run(j)を求めたら、WV = roo
t( Σ v＿run × v＿run ) ， WH = root( Σ h＿run
× h＿run )を求め、図形幅特徴とする。この図形幅特
徴を得点に反映させることにより、図柄として太い線の
もの程得点が高くなる。
測するもう一つの尺度としてランレングスを利用する。
即ち、当該Ａ領域内の各単位について, 縦方向ランレグ
ス情報 v＿run(0) ...v＿run(i)と横方向ランレングス
情報 h＿run(0) ..... h＿run(j)を求めたら、WV = roo
t( Σ v＿run × v＿run ) ， WH = root( Σ h＿run
× h＿run )を求め、図形幅特徴とする。この図形幅特
徴を得点に反映させることにより、図柄として太い線の
もの程得点が高くなる。
【００３５】前述のように実際に使用する各照合用小領
域の大きさは３２ドット×３２ドットであるが、その照
合用小領域の得点はその中央部の２４ドット×２４ドッ
トについて算出する。照合用小領域内の周辺部は、前述
のように入力用紙が傾斜や伸縮した場合に照合が不正確
になりやすいので、照合用小領域の周辺部は何も特徴が
無い方が望ましい。したがってその考えを反映させるた
め、周辺部Ｂの総エッジ量の密度が中央部Ａの総エッジ
量の密度より大きい場合( A Σnt < BΣnt × 9/16 の
場合）は、この領域は照合用小領域として採用しないこ
とにする。
域の大きさは３２ドット×３２ドットであるが、その照
合用小領域の得点はその中央部の２４ドット×２４ドッ
トについて算出する。照合用小領域内の周辺部は、前述
のように入力用紙が傾斜や伸縮した場合に照合が不正確
になりやすいので、照合用小領域の周辺部は何も特徴が
無い方が望ましい。したがってその考えを反映させるた
め、周辺部Ｂの総エッジ量の密度が中央部Ａの総エッジ
量の密度より大きい場合( A Σnt < BΣnt × 9/16 の
場合）は、この領域は照合用小領域として採用しないこ
とにする。
【００３６】（６）小領域単位に得点を付け、重複チェ
ックをする（ステップ１２６） ステップ１２５までの処理により、用紙イメージをメッ
シュに分割し、各領域毎に各種の特徴量を求めた。この
ステップ１２６では、各照合用小領域ごとに特徴量に基
づいて得点化し、序列を作る。
ックをする（ステップ１２６） ステップ１２５までの処理により、用紙イメージをメッ
シュに分割し、各領域毎に各種の特徴量を求めた。この
ステップ１２６では、各照合用小領域ごとに特徴量に基
づいて得点化し、序列を作る。
【００３７】即ち、ステップ１２５で求めた各特徴情報
に以下のようにそれぞれ重みを付けて加算してそれぞれ
の指標を得、それらを以下のように加減算することによ
り総合的な得点とする。 NC = (400 -｜400 - A Σnc｜) * 0.7 NV = A Σnv× 1.5 NH = A Σnh× 1.5 VV = WV× 1.0 HH = WH× 1.0 NG = (AΣng× 2.0 + BΣng) ×20.0 RN = (AΣnc× 10.0) / AΣnt 得点 PT = NC + NV + NH + VV + HH + RN - NG なお、上記の重みは一例であり、経験的に適宜最適な重
みを付ければよい。
に以下のようにそれぞれ重みを付けて加算してそれぞれ
の指標を得、それらを以下のように加減算することによ
り総合的な得点とする。 NC = (400 -｜400 - A Σnc｜) * 0.7 NV = A Σnv× 1.5 NH = A Σnh× 1.5 VV = WV× 1.0 HH = WH× 1.0 NG = (AΣng× 2.0 + BΣng) ×20.0 RN = (AΣnc× 10.0) / AΣnt 得点 PT = NC + NV + NH + VV + HH + RN - NG なお、上記の重みは一例であり、経験的に適宜最適な重
みを付ければよい。
【００３８】こうして、各照合用小領域には得点が与え
られ、その得点が大きい程照合用小領域として適してお
り、入力用紙の傾斜や伸縮、ノイズといった入力イメー
ジの変動があっても、より確実に照合ができる。上記の
得点中、ＲＮは中央部Ａについて黒画素量の和に重み付
けしたものを総エッジ量の和で割り算した値であり、画
像の線の太さを表す指標となっている。この指標ＲＮが
大きい程、画像の線は太い。指標ＲＮが予め定めたしき
い値を下回る場合は図柄としての特徴が少ないので、こ
の領域は照合用小領域として採用しないことにする。
られ、その得点が大きい程照合用小領域として適してお
り、入力用紙の傾斜や伸縮、ノイズといった入力イメー
ジの変動があっても、より確実に照合ができる。上記の
得点中、ＲＮは中央部Ａについて黒画素量の和に重み付
けしたものを総エッジ量の和で割り算した値であり、画
像の線の太さを表す指標となっている。この指標ＲＮが
大きい程、画像の線は太い。指標ＲＮが予め定めたしき
い値を下回る場合は図柄としての特徴が少ないので、こ
の領域は照合用小領域として採用しないことにする。
【００３９】一方、イメージマッチングにおいては、図
形としては入力用紙の傾斜や伸縮、ノイズといった入力
イメージの変動があっても確実に照合ができるが、入力
用紙上で類似図形が近傍にあるとどの小領域と照合用小
領域とが一致したかの区別がつかない。この問題に対処
するために、当該２４ドット×２４ドットのイメージに
よって近傍を探索し、類似図形がある場合( 判定はマッ
チング結果の第一候補と第二候補の距離差が一定以下)
は、ペナルティとして得点を大きく下げる。
形としては入力用紙の傾斜や伸縮、ノイズといった入力
イメージの変動があっても確実に照合ができるが、入力
用紙上で類似図形が近傍にあるとどの小領域と照合用小
領域とが一致したかの区別がつかない。この問題に対処
するために、当該２４ドット×２４ドットのイメージに
よって近傍を探索し、類似図形がある場合( 判定はマッ
チング結果の第一候補と第二候補の距離差が一定以下)
は、ペナルティとして得点を大きく下げる。
【００４０】これにより、入力用紙の傾斜や伸縮、ノイ
ズといった入力イメージの変動に対して確実に照合がで
きる場合でも、類似図形が近くにあると得点は下がる。 （７）個数の絞り込み（ステップ１２７） ステップ１２６までの処理により, 学習用紙のイメージ
中に２４ドット×２４ドット単位で得点を付けた。この
中から必要数の特徴箇所をピックアップする。照合用小
領域の得点は高い方が良いが、照合用小領域は用紙上に
まんべんなく分布することも必要であるため、以下の方
法で選別を行う。
ズといった入力イメージの変動に対して確実に照合がで
きる場合でも、類似図形が近くにあると得点は下がる。 （７）個数の絞り込み（ステップ１２７） ステップ１２６までの処理により, 学習用紙のイメージ
中に２４ドット×２４ドット単位で得点を付けた。この
中から必要数の特徴箇所をピックアップする。照合用小
領域の得点は高い方が良いが、照合用小領域は用紙上に
まんべんなく分布することも必要であるため、以下の方
法で選別を行う。
【００４１】即ち、得点の低い順に、周囲に自身より高
得点の小領域があるか否かを見て、ある場合には自身を
削除し、ない場合は自身を残す。これにより照合用小領
域が密集する地域では高得点のものだけが残るし、照合
用小領域が過疎な地域では、低得点でも残る。ただし、
得点には絶対的なしきい値を設けておき、それを下回れ
ば無条件に除外する。
得点の小領域があるか否かを見て、ある場合には自身を
削除し、ない場合は自身を残す。これにより照合用小領
域が密集する地域では高得点のものだけが残るし、照合
用小領域が過疎な地域では、低得点でも残る。ただし、
得点には絶対的なしきい値を設けておき、それを下回れ
ば無条件に除外する。
【００４２】例えば以下のように、一次元上に分布する
照合用小領域A 〜J を考える。ただし( ) 内は得点を示
す。 A(300) B(400) C(250) D(600) E(100) F(200) G(600) H
(500) I(400) J(500) 上記の照合用小領域のうち、隣りあうものを比較して、
上記のアルゴリズムで選別を行うと、照合用小領域B,D,
G,J が残る。
照合用小領域A 〜J を考える。ただし( ) 内は得点を示
す。 A(300) B(400) C(250) D(600) E(100) F(200) G(600) H
(500) I(400) J(500) 上記の照合用小領域のうち、隣りあうものを比較して、
上記のアルゴリズムで選別を行うと、照合用小領域B,D,
G,J が残る。
【００４３】もし得点順に上位４個を選ぶとD,G,H,J と
なるが、これは分布が考慮されていないため、偏る可能
性がある。 （８）ずらしによる位置の微調整（ステップ１２８） ここまでの処理により, 位置合わせのためのイメージマ
ッチングに適した安定した特徴的な箇所が照合用小領域
として残っているはずである。
なるが、これは分布が考慮されていないため、偏る可能
性がある。 （８）ずらしによる位置の微調整（ステップ１２８） ここまでの処理により, 位置合わせのためのイメージマ
ッチングに適した安定した特徴的な箇所が照合用小領域
として残っているはずである。
【００４４】ステップ１２６では、小領域の周辺部に特
徴が少ないことを条件として比較を行った。したがっ
て、この段階で残っているものは、それらの条件に合致
したものばかりであるが、残っている照合用小領域の各
々のごく近傍に関しては更に最適な箇所があるかもしれ
ない。つまりステップ１２６での比較は初期の８ドット
×８ドット単位なので、８ドット以内の近傍に、より最
適なものがあるかもしれない。
徴が少ないことを条件として比較を行った。したがっ
て、この段階で残っているものは、それらの条件に合致
したものばかりであるが、残っている照合用小領域の各
々のごく近傍に関しては更に最適な箇所があるかもしれ
ない。つまりステップ１２６での比較は初期の８ドット
×８ドット単位なので、８ドット以内の近傍に、より最
適なものがあるかもしれない。
【００４５】そこで２４ドット×２４ドットの中央部を
周辺部に対してずらしながら、周辺部のみの特徴量を求
め, 周辺部の特徴量が最も少ない時の３２ドット×３２
ドットの領域を照合用小領域として選択することにす
る。以上の処理を行うことにより、図７の学習用紙のイ
メージから、図８に示したような照合用小領域が自動的
に選択される。これらの照合用小領域は、入力用紙の位
置合わせのために使用される特徴的な場所であり、入力
用紙がスキャナに対して斜めに挿入されたり、入力用紙
が伸縮していても、イメージマッチングを安定に行うた
めに有効な照合用領域である。読取箇所情報などの設定（図５のステップ５３） ２値イメージのイメージマッチングにおいては、手書き
文字などは完全にノイズと同じで、学習用紙上の画像に
対する変形に等しく、このようなノイズがあると誤マッ
チの原因となる。従って文字等が記入される領域は予め
照合用小領域として選択されるべきではない。
周辺部に対してずらしながら、周辺部のみの特徴量を求
め, 周辺部の特徴量が最も少ない時の３２ドット×３２
ドットの領域を照合用小領域として選択することにす
る。以上の処理を行うことにより、図７の学習用紙のイ
メージから、図８に示したような照合用小領域が自動的
に選択される。これらの照合用小領域は、入力用紙の位
置合わせのために使用される特徴的な場所であり、入力
用紙がスキャナに対して斜めに挿入されたり、入力用紙
が伸縮していても、イメージマッチングを安定に行うた
めに有効な照合用領域である。読取箇所情報などの設定（図５のステップ５３） ２値イメージのイメージマッチングにおいては、手書き
文字などは完全にノイズと同じで、学習用紙上の画像に
対する変形に等しく、このようなノイズがあると誤マッ
チの原因となる。従って文字等が記入される領域は予め
照合用小領域として選択されるべきではない。
【００４６】文字認識装置などでは, 用紙上の読取りた
い領域を予め座標等で記録しておく辞書（図４の読取領
域辞書５０）が存在する。この読取領域辞書５０を参照
することにより、用紙中の読取領域情報が得られるの
で、網掛けの場合と同様にマッピングと換算により、読
取領域マップを作り、特徴量の計算においても、網掛け
同様の方式で、不適特徴量ｎｇとしてカウントする。こ
れにより網掛け同様に、照合用小領域の候補として読取
( 記入) 領域が選ばれにくくし、それにより位置合わせ
時にイメージマッチングの精度を向上させる。小領域探索のシミュレーション（図５のステップ５７） イメージマッチングにおいては、スキューや伸縮等によ
る画像の変形は誤マッチの原因となる。スキュー・伸縮
の影響の度合いは、その図柄によって大きく左右され
る。例えば極端な場合だが、図２３はスキューに強い図
形で、右側は左側を９０度回転した画像だが、形状に変
化がないのでイメージマッチングに悪影響はない。一
方、図２４も同様に右側は左側を９０度回転したものだ
が、両者を重ねても重なる部分はごく一部しかないので
イメージマッチングとしてスキューに弱い図形である。
い領域を予め座標等で記録しておく辞書（図４の読取領
域辞書５０）が存在する。この読取領域辞書５０を参照
することにより、用紙中の読取領域情報が得られるの
で、網掛けの場合と同様にマッピングと換算により、読
取領域マップを作り、特徴量の計算においても、網掛け
同様の方式で、不適特徴量ｎｇとしてカウントする。こ
れにより網掛け同様に、照合用小領域の候補として読取
( 記入) 領域が選ばれにくくし、それにより位置合わせ
時にイメージマッチングの精度を向上させる。小領域探索のシミュレーション（図５のステップ５７） イメージマッチングにおいては、スキューや伸縮等によ
る画像の変形は誤マッチの原因となる。スキュー・伸縮
の影響の度合いは、その図柄によって大きく左右され
る。例えば極端な場合だが、図２３はスキューに強い図
形で、右側は左側を９０度回転した画像だが、形状に変
化がないのでイメージマッチングに悪影響はない。一
方、図２４も同様に右側は左側を９０度回転したものだ
が、両者を重ねても重なる部分はごく一部しかないので
イメージマッチングとしてスキューに弱い図形である。
【００４７】学習用紙上で採用される照合用小領域の画
像は、もっと複雑な図形になるため、マルや線のように
単純に分けられない。照合用小領域の選択の元となった
学習用紙の画像から、許容すべきスキューや伸縮の限界
値の組合せパターンで変形した幾つかの画像を生成し、
それらの画像上から照合用小領域の候補（図５のステッ
プ５５で選択されたもの）をイメージマッチングマッチ
ングにより探索し、各小領域候補について、組合せパタ
ーン数のうち所定数以上のイメージマッチングが正しい
と判断された場合にその照合用小領域候補を実際の照合
用小領域として採用することにする。
像は、もっと複雑な図形になるため、マルや線のように
単純に分けられない。照合用小領域の選択の元となった
学習用紙の画像から、許容すべきスキューや伸縮の限界
値の組合せパターンで変形した幾つかの画像を生成し、
それらの画像上から照合用小領域の候補（図５のステッ
プ５５で選択されたもの）をイメージマッチングマッチ
ングにより探索し、各小領域候補について、組合せパタ
ーン数のうち所定数以上のイメージマッチングが正しい
と判断された場合にその照合用小領域候補を実際の照合
用小領域として採用することにする。
【００４８】具体的には、小領域自体は、学習用紙の画
像から選択しているため、その座標を変形に使用したス
キュー・伸縮パラメータで変換すれば、変形画像上での
対応座標が求められる。従ってこの座標と探索結果の座
標との距離によって、元の画像と変形画像とがイメージ
マッチングをしたかどうか（イメージマッチングの正解
・不正解）が判断できる。
像から選択しているため、その座標を変形に使用したス
キュー・伸縮パラメータで変換すれば、変形画像上での
対応座標が求められる。従ってこの座標と探索結果の座
標との距離によって、元の画像と変形画像とがイメージ
マッチングをしたかどうか（イメージマッチングの正解
・不正解）が判断できる。
【００４９】このイメージマッチングの正誤の度合い
を、その小領域候補のスキュー・伸縮に対する耐久度と
見なし、耐久度の低いものは照合用小領域としては無効
とすることで、位置合わせ時においては、スキュー・伸
縮を含む画像に対しても安定した精度を保てる小領域の
みが辞書メモリ４５に格納される。実施例として、伸縮
５度、縦伸縮 90%〜 110% 、横伸縮 90% 〜110%の変化
までは、許容範囲として用紙イメージを処理したい場合
は、辞書メモリ作成時において小領域候補が選ばれた
ら、以下の８パターンのパラメータで、学習画像を変形
し８枚の画像を生成する。
を、その小領域候補のスキュー・伸縮に対する耐久度と
見なし、耐久度の低いものは照合用小領域としては無効
とすることで、位置合わせ時においては、スキュー・伸
縮を含む画像に対しても安定した精度を保てる小領域の
みが辞書メモリ４５に格納される。実施例として、伸縮
５度、縦伸縮 90%〜 110% 、横伸縮 90% 〜110%の変化
までは、許容範囲として用紙イメージを処理したい場合
は、辞書メモリ作成時において小領域候補が選ばれた
ら、以下の８パターンのパラメータで、学習画像を変形
し８枚の画像を生成する。
【００５０】 スキュー（左5 度）、縦伸縮(110%)、横伸縮(110%) スキュー（右5 度）、縦伸縮(110%)、横伸縮(110%) スキュー（左5 度）、縦伸縮( 90%)、横伸縮(110%) スキュー（右5 度）、縦伸縮( 90%)、横伸縮(110%) スキュー（左5 度）、縦伸縮(110%)、横伸縮( 90%) スキュー（右5 度）、縦伸縮(110%)、横伸縮( 90%) スキュー（左5 度）、縦伸縮( 90%)、横伸縮( 90%) スキュー（右5 度）、縦伸縮( 90%)、横伸縮( 90%) 次に、各小領域候補の座標( 学習用紙上の座標) を、そ
れぞれ上記８パターンのパラメータで変換すると、各変
形画像上での対応位置が求められる。これが正解座標と
なる。
れぞれ上記８パターンのパラメータで変換すると、各変
形画像上での対応位置が求められる。これが正解座標と
なる。
【００５１】そして実際に、各変形画像上で、それぞれ
の小領域候補についてイメージマッチングを行い、探索
結果と正解座標との距離を求め、しきい値により正誤に
分ける。その結果を各小領域ごとにまとめ、正解率が一
定以上( 例えば８パターン中６パターン以上正解など)
であればその小領域を合格とし、そうでなければ、許容
すべきスキュー・伸縮に耐えられない図柄と見なし棄却
する。 照合用小領域の手動選択（図５のステップ５６） 以上に述べた方法により, 学習用紙のイメージ中から自
動的に選択した小領域は、イメージマッチングに適した
ものであるということが一応は言える。しかし用紙の図
柄のバリエーションは無限であり、全ての図柄に対して
イメージマッチングに適した小領域が選択されるとは限
らない。もし、イメージマッチングに不適切な小領域が
辞書メモリ４５に格納された場合は、それを取り除く必
要がある。
の小領域候補についてイメージマッチングを行い、探索
結果と正解座標との距離を求め、しきい値により正誤に
分ける。その結果を各小領域ごとにまとめ、正解率が一
定以上( 例えば８パターン中６パターン以上正解など)
であればその小領域を合格とし、そうでなければ、許容
すべきスキュー・伸縮に耐えられない図柄と見なし棄却
する。 照合用小領域の手動選択（図５のステップ５６） 以上に述べた方法により, 学習用紙のイメージ中から自
動的に選択した小領域は、イメージマッチングに適した
ものであるということが一応は言える。しかし用紙の図
柄のバリエーションは無限であり、全ての図柄に対して
イメージマッチングに適した小領域が選択されるとは限
らない。もし、イメージマッチングに不適切な小領域が
辞書メモリ４５に格納された場合は、それを取り除く必
要がある。
【００５２】また, 逆に辞書メモリ４５に格納すべき小
領域としては選ばれていないが、照合用小領域として適
切な場所をユーザが発見する可能性もある。この場合
は, この場所を照合用小領域として辞書メモリ４５に追
加する必要が生じる。この目的のために、辞書メモリ４
５の持つ学習イメージを表示し、グラフィカル・ユーザ
・インターフェース（ＧＵＩ）環境により、任意の箇所
に、位置合わせに使用する照合用小領域を設定できるよ
うにすれば、追加や削除といった編集が行え、本発明に
よる用紙位置合わせ装置がより柔軟なものとなる。場合
によっては, 新規作成としてユーザが照合用小領域を全
て手動により選択することも可能である。探索した小領域のチェック（図６のステップ６５） 照合用小領域の図柄と入力用紙上の図柄とのイメージマ
ッチングにおいては、入力用紙の傾斜や伸縮やノイズと
いった変動に加え、類似図形などと間違える場合があ
る。ここでは、イメージマッチングによる間違いを補正
する方式を説明する。この方式を上記した用紙位置合わ
せ方法に組み込むことにより、用紙位置合わせの精度が
向上する。
領域としては選ばれていないが、照合用小領域として適
切な場所をユーザが発見する可能性もある。この場合
は, この場所を照合用小領域として辞書メモリ４５に追
加する必要が生じる。この目的のために、辞書メモリ４
５の持つ学習イメージを表示し、グラフィカル・ユーザ
・インターフェース（ＧＵＩ）環境により、任意の箇所
に、位置合わせに使用する照合用小領域を設定できるよ
うにすれば、追加や削除といった編集が行え、本発明に
よる用紙位置合わせ装置がより柔軟なものとなる。場合
によっては, 新規作成としてユーザが照合用小領域を全
て手動により選択することも可能である。探索した小領域のチェック（図６のステップ６５） 照合用小領域の図柄と入力用紙上の図柄とのイメージマ
ッチングにおいては、入力用紙の傾斜や伸縮やノイズと
いった変動に加え、類似図形などと間違える場合があ
る。ここでは、イメージマッチングによる間違いを補正
する方式を説明する。この方式を上記した用紙位置合わ
せ方法に組み込むことにより、用紙位置合わせの精度が
向上する。
【００５３】具体的には、探索により、辞書メモリ４５
中の特徴的箇所である照合用小領域の３つとイメージマ
ッチングする入力用紙上の３つの小領域が探索された
ら、まず辞書メモリ側の上記３つの照合用小領域の各々
の例えば左上隅の座標をそれぞれＡ１，Ａ２，Ａ３とし
て３点Ａ１，Ａ２，Ａ３を頂点とする三角形△Ａと、そ
れに対応する探索した入力用紙上の３点Ｂ１，Ｂ２，Ｂ
３を頂点とする三角形△Ｂとを考える。
中の特徴的箇所である照合用小領域の３つとイメージマ
ッチングする入力用紙上の３つの小領域が探索された
ら、まず辞書メモリ側の上記３つの照合用小領域の各々
の例えば左上隅の座標をそれぞれＡ１，Ａ２，Ａ３とし
て３点Ａ１，Ａ２，Ａ３を頂点とする三角形△Ａと、そ
れに対応する探索した入力用紙上の３点Ｂ１，Ｂ２，Ｂ
３を頂点とする三角形△Ｂとを考える。
【００５４】これらの三角形の例を図２５と図２６に示
す. 図２５は三角形△Ａの例で, 学習用の未記入用紙の
イメージの３点( 各点は、上記の辞書メモリ作成方法に
より得られた照合用小領域の１点に相当する) を頂点と
する三角形で切り出したものである。図２６は三角形△
Ｂの例で, 入力された用紙イメージの中から既述の３点
に対応する領域をイメージマッチングにより探し出し、
それらの点を頂点とする三角形で切り出したものであ
る。
す. 図２５は三角形△Ａの例で, 学習用の未記入用紙の
イメージの３点( 各点は、上記の辞書メモリ作成方法に
より得られた照合用小領域の１点に相当する) を頂点と
する三角形で切り出したものである。図２６は三角形△
Ｂの例で, 入力された用紙イメージの中から既述の３点
に対応する領域をイメージマッチングにより探し出し、
それらの点を頂点とする三角形で切り出したものであ
る。
【００５５】三角形△Ａ内の任意の点ＣはC = m× Vec
(A1,A2) + n ×Vec(A1,A3)により表せる。ただし、上記
式中のｍおよびｎは任意の定数、Vec(N1,N2)は、点Ｎ１
から点Ｎ２へのベクトルを表す。三角形△Ａを三角形△
Ｂに写像すると、△Ａ上の点Ｃは、△Ｂ上の点Ｄとして
以下のように表せる。
(A1,A2) + n ×Vec(A1,A3)により表せる。ただし、上記
式中のｍおよびｎは任意の定数、Vec(N1,N2)は、点Ｎ１
から点Ｎ２へのベクトルを表す。三角形△Ａを三角形△
Ｂに写像すると、△Ａ上の点Ｃは、△Ｂ上の点Ｄとして
以下のように表せる。
【００５６】D = m× Vec(B1,B2) + n ×Vec(B1,B3) こうして三角形△Ａ（図２５）を変形して、三角形△Ｂ
（図２６）と合同の三角形△Ｅ（図２７）を形成する。
この変形により、三角形△Ａの内部の図柄も三角形△Ｅ
に写像される。次いで、三角形△Ｅの内部の図柄と三角
形△Ｂの内部の図柄についてイメージマッチングを行
う。上記３つの頂点を含む小領域の探索が全て正しい場
合は, この三角形内部の図柄も一致するはずであり、上
記３つの頂点を含む小領域の探索が間違っていれば、三
角形内部の図柄は一致しないはずである。これにより,
小領域箇所のイメージマッチング探索結果が正しかった
か否かを判定できる。
（図２６）と合同の三角形△Ｅ（図２７）を形成する。
この変形により、三角形△Ａの内部の図柄も三角形△Ｅ
に写像される。次いで、三角形△Ｅの内部の図柄と三角
形△Ｂの内部の図柄についてイメージマッチングを行
う。上記３つの頂点を含む小領域の探索が全て正しい場
合は, この三角形内部の図柄も一致するはずであり、上
記３つの頂点を含む小領域の探索が間違っていれば、三
角形内部の図柄は一致しないはずである。これにより,
小領域箇所のイメージマッチング探索結果が正しかった
か否かを判定できる。
【００５７】なお本実施例では、△Ａを△Ｂに写像して
いるが、これは黒画素の少ない方が変形の為の計算量が
少なくなる処理方式を使用しているため、高速化を考慮
してのことである。従って、△Ｂを△Ａに写像して△Ｃ
を生成しても、小領域探索結果のチェックという目的に
は何ら支障はない。以上の実施の形態では、文字読取装
置（ＯＣＲ）により読み取られる帳票上の手書き文字の
位置を認識する場合について説明したが、本発明はこれ
に限られず、例えば固定情報が印刷されている用紙の書
き込み位置にプリンタにより印字する場合にも、その書
き込み位置を認識する場合にも適用可能であることは当
業者に明らかである。
いるが、これは黒画素の少ない方が変形の為の計算量が
少なくなる処理方式を使用しているため、高速化を考慮
してのことである。従って、△Ｂを△Ａに写像して△Ｃ
を生成しても、小領域探索結果のチェックという目的に
は何ら支障はない。以上の実施の形態では、文字読取装
置（ＯＣＲ）により読み取られる帳票上の手書き文字の
位置を認識する場合について説明したが、本発明はこれ
に限られず、例えば固定情報が印刷されている用紙の書
き込み位置にプリンタにより印字する場合にも、その書
き込み位置を認識する場合にも適用可能であることは当
業者に明らかである。
【００５８】
【発明の効果】以上の説明から明らかなように、本発明
によれば、用紙中の図柄の一部をそのまま、一種のマー
クとして取り扱うことにより、黒背景機能を持たないＯ
ＣＲでも用紙位置合わせを可能にし、且つ、専用マーク
を不要とし, さらに用紙中の罫線の有無に左右されずに
用紙の位置合わせを可能にする、用紙位置合わせ装置、
用紙位置合わせ方法及び用紙位置合わせ用記録媒体が提
供される。
によれば、用紙中の図柄の一部をそのまま、一種のマー
クとして取り扱うことにより、黒背景機能を持たないＯ
ＣＲでも用紙位置合わせを可能にし、且つ、専用マーク
を不要とし, さらに用紙中の罫線の有無に左右されずに
用紙の位置合わせを可能にする、用紙位置合わせ装置、
用紙位置合わせ方法及び用紙位置合わせ用記録媒体が提
供される。
【図１】本発明による用紙位置合わせの処理の概要を示
す説明図である。
す説明図である。
【図２】本発明による用紙位置合わせ装置の概略システ
ム構成図である。
ム構成図である。
【図３】図２におけるホストコンピュータ２の構成例を
示すブロック図である。
示すブロック図である。
【図４】本発明による用紙位置合わせ装置の概略を示す
ブロック図である。
ブロック図である。
【図５】図４の装置による辞書メモリ作成方法の概略を
示すフローチャートである。
示すフローチャートである。
【図６】図４の装置による基準位置の対応リストの作成
方法の概略を示すフローチャートである。
方法の概略を示すフローチャートである。
【図７】学習用紙の画像の一例を示す図である。
【図８】図７の学習用紙の画像を間引いた画像を示す図
である。
である。
【図９】入力用紙の画像の一例を示す図である。
【図１０】図９に入力用紙の画像を間引いた画像を示す
図である。
図である。
【図１１】照合用小領域と入力用紙の小領域との対応点
を示す表図である。
を示す表図である。
【図１２】図５のステップ５４および５５の詳細である
辞書作成処理アルゴリズムを示すフローチャートであ
る。
辞書作成処理アルゴリズムを示すフローチャートであ
る。
【図１３】図７から検出した網掛領域の例を示す図であ
る。
る。
【図１４】図８の画像の縦エッジ画像を示す図である。
【図１５】図８の画像の横エッジ画像を示す図である。
【図１６】図１２のステップ１２３で生成したエッジ画
像を、８ドット×８ドット単位のメッシュに分割した図
である。
像を、８ドット×８ドット単位のメッシュに分割した図
である。
【図１７】メッシュの中の一つの照合用小領域を拡大し
た図である。
た図である。
【図１８】図１７に示される画像のエッジ画像を示す図
である。
である。
【図１９】図１７に示される画像の縦エッジ画像を示す
図である。
図である。
【図２０】図１７に示される画像の横エッジ画像を示す
図である。
図である。
【図２１】８ドット×８ドット単位のエッジ特徴量マッ
プを１単位として、縦５単位（８×５＝４０ドット）、
横５単位（８×５＝４０ドット）の領域を示す図であ
る。
プを１単位として、縦５単位（８×５＝４０ドット）、
横５単位（８×５＝４０ドット）の領域を示す図であ
る。
【図２２】図２１の領域を内側領域と外側領域に分けた
図である。
図である。
【図２３】スキューに強い図形を示す図である。
【図２４】スキューに弱い図形を示す図である。
【図２５】３つの照合用小領域を頂点とする三角形△Ａ
を示す図である。
を示す図である。
【図２６】探索した入力用紙上の３つの小領域を頂点と
する三角形△Ｂを示す図である。
する三角形△Ｂを示す図である。
【図２７】図２５の三角形△Ａを変形して、図２６の三
角形△Ｂと合同にした三角形△Ｅを示す図である。
角形△Ｂと合同にした三角形△Ｅを示す図である。
【図２８】従来の用紙位置合わせの説明図である。
４１…学習用紙 ４２…文字読取システム ４３…光電変換装置 ４４…選択手段 ４５…辞書メモリ ４６…入力用紙 ４７…検索手段 ４８…文字認識手段 ４９…読取領域選択部 ５０…読取領域辞書
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成１０年１月１２日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正内容】
【００２８】図１９の縦エッジ図形の総黒画素数６が、
縦エッジ量ｎｖである。図２０の横エッジ図形の総黒画
素数６が、横エッジ量ｎｈである。図１７の総黒画素数
９が, 黒画素量ｎｃである。図１７の図形の縦投影の断
面情報(00011100)が、縦投影断面ｖｖである。図１７の
図形の横投影の断面情報(00111000)が, 横投影断面ｈｈ
である。
縦エッジ量ｎｖである。図２０の横エッジ図形の総黒画
素数６が、横エッジ量ｎｈである。図１７の総黒画素数
９が, 黒画素量ｎｃである。図１７の図形の縦投影の断
面情報(00011100)が、縦投影断面ｖｖである。図１７の
図形の横投影の断面情報(00111000)が, 横投影断面ｈｈ
である。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正内容】
【００３１】具体的には、ステップ１２４で生成した８
ドット×８ドット単位のエッジ特徴量マップを１単位と
して、図２１のように縦５単位（８×５＝４０ドッ
ト）、横５単位（８×５＝４０ドット）の領域を考え
る。図２１の各メッシュ（８ドット×８ドット）には、
ステップ１２４の処理により各種の特徴量が求められて
いる。これら５×５＝２５単位の領域を内側領域の９単
位( 図２２中のＡ１〜Ａ９の領域) と外側領域の１６単
位（図２２中のＢの領域) とに分けて考え、Ａ１〜Ａ９
領域とＢ領域それぞれについて、ステップ１２４で求め
た各特徴量を、以下のように単純に加算して和を求め
る。
ドット×８ドット単位のエッジ特徴量マップを１単位と
して、図２１のように縦５単位（８×５＝４０ドッ
ト）、横５単位（８×５＝４０ドット）の領域を考え
る。図２１の各メッシュ（８ドット×８ドット）には、
ステップ１２４の処理により各種の特徴量が求められて
いる。これら５×５＝２５単位の領域を内側領域の９単
位( 図２２中のＡ１〜Ａ９の領域) と外側領域の１６単
位（図２２中のＢの領域) とに分けて考え、Ａ１〜Ａ９
領域とＢ領域それぞれについて、ステップ１２４で求め
た各特徴量を、以下のように単純に加算して和を求め
る。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正内容】
【００３２】Ａ領域について： 総エッジ量A Σnt=nt[A1] + nt[A2] + ..... + nt[A9] 横エッジ量A Σnh, 縦エッジ量A Σnv, 黒画素数A Σn
c, 不適量A Σngも同様にして求める。 縦投影断面A Σvv =｛(vv[A1] OR vv[A2] OR vv[A3]) <
< 16｝OR｛(vv[A4] OR vv[A5] OR vv[A6]) << 8 ｝ OR
(vv[A7] OR vv[A8] OR vv[A9] ここで << １６は１６ビットシフトを示し、<< 8は８ビ
ットシフトを示す。 横投影断面A Σhhも同様にして求め
る。例えば、hh[A1]〜hh[A9]がそれぞれ次の値を持つと
する。 hh[A1]=(00000001) hh[A2]=(00001000) hh[A3]=(10000000) hh[A4]=(00000010) hh[A5]=(00010000) hh[A6]=(01000000) hh[A7]=(00000100) hh[A8]=(00100000) hh[A9]=(00100000) すると、A Σhhは A Σhh= ｛(hh[A1] OR hh[A4] OR hh[A7])<<16｝OR｛(hh[A2] OR hh[A5 ] OR hh[A8])<<8 ｝OR hh[A3] OR hh[A6] OR hh[A9] = ｛(00000111)<<16｝OR｛ (00111000)<<8 ｝OR 11100000 = 000001110011100011100000 となる。実際の計算では となる。
c, 不適量A Σngも同様にして求める。 縦投影断面A Σvv =｛(vv[A1] OR vv[A2] OR vv[A3]) <
< 16｝OR｛(vv[A4] OR vv[A5] OR vv[A6]) << 8 ｝ OR
(vv[A7] OR vv[A8] OR vv[A9] ここで << １６は１６ビットシフトを示し、<< 8は８ビ
ットシフトを示す。 横投影断面A Σhhも同様にして求め
る。例えば、hh[A1]〜hh[A9]がそれぞれ次の値を持つと
する。 hh[A1]=(00000001) hh[A2]=(00001000) hh[A3]=(10000000) hh[A4]=(00000010) hh[A5]=(00010000) hh[A6]=(01000000) hh[A7]=(00000100) hh[A8]=(00100000) hh[A9]=(00100000) すると、A Σhhは A Σhh= ｛(hh[A1] OR hh[A4] OR hh[A7])<<16｝OR｛(hh[A2] OR hh[A5 ] OR hh[A8])<<8 ｝OR hh[A3] OR hh[A6] OR hh[A9] = ｛(00000111)<<16｝OR｛ (00111000)<<8 ｝OR 11100000 = 000001110011100011100000 となる。実際の計算では となる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正内容】
【００４９】このイメージマッチングの正誤の度合い
を、その小領域候補のスキュー・伸縮に対する耐久度と
見なし、耐久度の低いものは照合用小領域としては無効
とすることで、位置合わせ時においては、スキュー・伸
縮を含む画像に対しても安定した精度を保てる小領域の
みが辞書メモリ４５に格納される。実施例として、スキ
ュー５度、縦伸縮 90%〜 110% 、横伸縮 90% 〜110%の
変化までは、許容範囲として用紙イメージを処理したい
場合は、辞書メモリ作成時において小領域候補が選ばれ
たら、以下の８パターンのパラメータで、学習画像を変
形し８枚の画像を生成する。
を、その小領域候補のスキュー・伸縮に対する耐久度と
見なし、耐久度の低いものは照合用小領域としては無効
とすることで、位置合わせ時においては、スキュー・伸
縮を含む画像に対しても安定した精度を保てる小領域の
みが辞書メモリ４５に格納される。実施例として、スキ
ュー５度、縦伸縮 90%〜 110% 、横伸縮 90% 〜110%の
変化までは、許容範囲として用紙イメージを処理したい
場合は、辞書メモリ作成時において小領域候補が選ばれ
たら、以下の８パターンのパラメータで、学習画像を変
形し８枚の画像を生成する。
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図２２
【補正方法】変更
【補正内容】
【図２２】
Claims (19)
- 【請求項１】 学習用紙上の固定情報を読み取って得ら
れた画像から所定数の照合用小領域を選択する選択手段
と、 前記選択手段により選択された前記照合用小領域内の情
報を格納するメモリと、 前記固定情報と同一の情報を含む入力用紙上の情報を読
み取って得られた画像と、前記メモリに格納されている
前記照合用小領域内の情報とを照合することにより、前
記照合用小領域内の情報と同一の情報を含む入力用紙上
の小領域を検索する検索手段と、 前記検索手段により検索された前記入力用紙上の小領域
と前記照合用小領域との対応関係に基づいて、前記学習
用紙の任意の位置に対応する前記入力用紙画像上の位置
を決定する決定手段とを備えることを特徴とする用紙位
置合わせ装置。 - 【請求項２】 前記選択手段は、読み取られた前記学習
用紙上の画像からエッジ画像を抽出するエッジ画像抽出
手段と、前記エッジ画像に基づいて前記照合用小領域と
して最適な小領域を選択する最適小領域選択手段とを備
えることを特徴とする請求項１に記載の用紙位置合わせ
装置。 - 【請求項３】 前記最適小領域選択手段は、前記照合用
小領域を複数の小サブ領域に分割する小サブ領域分割手
段と、前記エッジ画像に基づいて照合用の図柄として適
している度合いを表す特徴量を前記小サブ領域毎に算出
する特徴量算出手段と、所定数の前記小サブ領域毎にま
とめて複数の大サブ領域を構成する大サブ領域構成手段
と、前記大サブ領域の各々について前記特徴量に基づい
て照合用の図柄として適している度合いを表す得点を算
出する大サブ領域得点算出手段とを備え、前記得点の高
い大サブ領域から順に前記照合用小領域を選択するよう
にしたことを特徴とする請求項２に記載の用紙位置合わ
せ装置。 - 【請求項４】 前記特徴量算出手段は、前記小サブ領域
内のエッジの黒画素数と、前記小サブ領域内の総黒画素
数とに基づき前記照合用小領域を選択するための適切特
徴量を算出するようにしたことを特徴とする請求項３に
記載の用紙位置合わせ装置。 - 【請求項５】 前記特徴量算出手段は、前記小サブ領域
内の網掛け部分の画素数に基づき前記照合用小領域とし
て不適切な不適切特徴量を算出するようにしたことを特
徴とする請求項４に記載の用紙位置合わせ装置。 - 【請求項６】 前記特徴量算出手段は、前記小サブ領域
内の読取対象部分の画素数に基づき前記照合用小領域と
して不適切な不適切特徴量を算出するようにしたことを
特徴とする請求項４記載の用紙位置合わせ装置。 - 【請求項７】 前記学習用紙の画像に対し、スキュー及
び伸縮の複数組みの限界値を適用して、複数の変形学習
用紙画像を生成し、これらを入力画像と見立てて前記さ
らに最適な位置合わせ用小領域の検索を行い、その検索
結果の正誤を所定の値をもって行い、誤検索が所定数以
上存在する小領域は棄却するようにした、請求項１に記
載の用紙位置合わせ装置。 - 【請求項８】 前記選択されて前記メモリに格納された
照合用小領域のうち、３つを頂点とする第１の三角形
と、前記３つの小領域の図柄と一致する図柄を持つとし
て検索された入力用紙画像上の３つの小領域を頂点とす
る第２の三角形とのいずれか一方を基準三角形とし、該
基準三角形に合同になるように他方の三角形を変形して
第３の三角形を形成し、該第３の三角形の内部の図柄と
前記基準三角形の内部の図柄が所定の評価値により一致
と判定された場合にのみ、該小領域領域は正しく検索さ
れたと判定するようにした、請求項１に記載の用紙位置
合わせ装置。 - 【請求項９】 前記文字読取装置の使用者が前記学習用
紙上の任意の小領域を前記照合用小領域として選択する
ようにした、請求項１に記載の用紙位置合わせ装置。 - 【請求項１０】 学習用紙上の固定情報を読み取って得
られた画像から所定数の照合用小領域を選択し、 選択された前記照合用小領域内の情報をメモリに格納
し、 固定情報と同一の情報を含む入力用紙上の情報を読み取
って得られた画像と、前記メモリに格納されている前記
照合用小領域内の情報とを照合することにより、前記照
合用小領域内の情報と同一の情報を含む入力用紙上の小
領域を検索し、 前記検索された前記入力用紙上の小領域と前記照合用小
領域との対応関係に基づいて、前記学習用紙の任意の位
置に対応する前記入力用紙画像上の位置を決定するとい
うステップを備えることを特徴とする用紙位置合わせ方
法。 - 【請求項１１】 前記選択するステップは、読み取られ
た前記学習用紙上の画像からエッジ画像を抽出し、前記
エッジ画像に基づいて前記照合用小領域として最適な小
領域を選択する、というステップを備えることを特徴と
する請求項１０に記載の用紙位置合わせ方法。 - 【請求項１２】 前記最適な小領域を選択するステップ
は、前記照合用小領域を複数の小サブ領域に分割し、前
記エッジ画像に基づいて、照合用の図柄として適してい
る度合いを表す特徴量を前記小サブ領域毎に算出し、所
定数の前記小サブ領域毎にまとめて複数の大サブ領域を
構成し、前記大サブ領域の各々について前記特徴量に基
づいて照合用の図柄として適している度合いを表す得点
を算出し、前記得点の高い大サブ領域から順に前記照合
用小領域を選択する、というステップを備えることを特
徴とする請求項１１に記載の用紙位置合わせ方法。 - 【請求項１３】 前記特徴量を算出するステップは、前
記小サブ領域内のエッジの黒画素数と、前記小サブ領域
内の総黒画素数とに基づき前記照合用小領域を選択する
ための適切特徴量を算出する、というステップを備える
ことを特徴とする請求項１２に記載の用紙位置合わせ方
法。 - 【請求項１４】 前記特徴量を算出するステップは、前
記小サブ領域の各々の網掛け部分の画素数に基づき前記
照合用小領域として不適切な不適切特徴量を算出する、
というステップを備える、請求項１３に記載の用紙位置
合わせ方法。 - 【請求項１５】 前記特徴量を算出するステップは、前
記小サブ領域内の読取対象部分の画素数に基づき前記照
合用小領域として不適切な不適切特徴量を算出する、と
いうステップを備える、請求項１３に記載の用紙位置合
わせ方法。 - 【請求項１６】 前記学習用紙の画像に対し、スキュー
及び伸縮の複数組みの限界値を適用して、複数の変形学
習用紙画像を生成し、これらを入力画像と見立てて前記
さらに最適な位置合わせ用小領域の検索を行い、その検
索結果の正誤を所定の値をもって行い、誤検索が所定数
以上存在する小領域は棄却するようにした、請求項１０
に記載の用紙位置合わせ方法。 - 【請求項１７】 前記選択されて前記メモリに格納され
た照合用小領域のうち、３つを頂点とする第１の三角形
と、前記３つの小領域の図柄と一致する図柄を持つとし
て検索された入力用紙画像上の３つの小領域を頂点とす
る第２の三角形とのいずれか一方を基準三角形とし、該
基準三角形に合同になるように他方の三角形を変形して
第３の三角形を形成し、該第３の三角形の内部の図柄と
前記基準三角形の内部の図柄が所定の評価値により一致
と判定された場合にのみ、該小領域領域は正しく検索さ
れたと判定するようにする、請求項１０に記載の用紙位
置合わせ方法。 - 【請求項１８】 前記文字読取装置の使用者が前記学習
用紙上の任意の小領域を前記照合用小領域として選択す
るようにする、請求項１０に記載の用紙位置合わせ方
法。 - 【請求項１９】 固定情報を含む学習用紙を読み取って
得られた画像から所定数の照合用小領域を選択させる選
択手段と、 選択された前記照合用小領域内の情報をメモリに格納さ
せる格納手段と、 前記固定情報と同一の情報を含む入力用紙から読み取ら
れた画像と、前記メモリに格納されている前記照合用小
領域内の情報とを照合することにより、前記照合用小領
域内の情報と同一の情報を含む入力用紙上の小領域を検
索させる検索手段と、 前記検索された前記入力用紙上の小領域と前記照合用小
領域との対応関係に基づいて、前記学習用紙の任意の位
置に対応する前記入力用紙画像上の位置を決定させる決
定手段とを備えることを特徴とする用紙位置合わせプロ
グラムを記憶したコンピュータ読み取り可能な記録媒
体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15255797A JP3558493B2 (ja) | 1997-06-10 | 1997-06-10 | 用紙位置合わせ装置、用紙位置合わせ方法及び用紙位置合わせプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US09/006,200 US6351560B1 (en) | 1997-06-10 | 1998-01-13 | Apparatus, method, and program for locating an objective on a form and a recording medium for recording the program for locating the objective on the form |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15255797A JP3558493B2 (ja) | 1997-06-10 | 1997-06-10 | 用紙位置合わせ装置、用紙位置合わせ方法及び用紙位置合わせプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH113431A true JPH113431A (ja) | 1999-01-06 |
| JP3558493B2 JP3558493B2 (ja) | 2004-08-25 |
Family
ID=15543085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15255797A Expired - Lifetime JP3558493B2 (ja) | 1997-06-10 | 1997-06-10 | 用紙位置合わせ装置、用紙位置合わせ方法及び用紙位置合わせプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6351560B1 (ja) |
| JP (1) | JP3558493B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012003753A (ja) * | 2010-06-21 | 2012-01-05 | Xerox Corp | 注釈付き文書の画像からクリーンな文書を再構築するためのシステムと方法 |
| JP2012181855A (ja) * | 2005-08-08 | 2012-09-20 | Toshiba Corp | 辞書作成方法及び識別用辞書を記憶する記憶媒体 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100752253B1 (ko) * | 1999-09-17 | 2007-08-29 | 실버브룩 리서치 피티와이 리미티드 | 컴퓨터의 명령을 위한 방법 및 시스템 |
| JP2002112025A (ja) * | 2000-10-03 | 2002-04-12 | Fujitsu Ltd | 画像補正装置および補正方法 |
| US20040083229A1 (en) * | 2001-09-04 | 2004-04-29 | Porter Robert Austin | Apparatus and method for automatically grading and inputting grades to electronic gradebooks |
| CA2375355A1 (en) * | 2002-03-11 | 2003-09-11 | Neo Systems Inc. | Character recognition system and method |
| JP7379051B2 (ja) * | 2019-09-30 | 2023-11-14 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びそのプログラム |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5887652A (ja) * | 1981-11-19 | 1983-05-25 | Ricoh Co Ltd | 画像処理装置 |
| JPS58103266A (ja) * | 1981-12-15 | 1983-06-20 | Toshiba Corp | 文字画像処理装置 |
| US4558461A (en) * | 1983-06-17 | 1985-12-10 | Litton Systems, Inc. | Text line bounding system |
| JPH0682403B2 (ja) * | 1986-03-24 | 1994-10-19 | 沖電気工業株式会社 | 光学式文字読取装置 |
| JPS63268081A (ja) * | 1987-04-17 | 1988-11-04 | インタ−ナショナル・ビジネス・マシ−ンズ・コ−ポレ−ション | 文書の文字を認識する方法及び装置 |
| US4985930A (en) * | 1987-09-24 | 1991-01-15 | Hitachi, Ltd. | Image data filing system and image data correcting method |
| JPS6482286A (en) * | 1987-09-25 | 1989-03-28 | Toshiba Corp | Image inclination detector |
| US5101448A (en) * | 1988-08-24 | 1992-03-31 | Hitachi, Ltd. | Method and apparatus for processing a document by utilizing an image |
| US5140650A (en) * | 1989-02-02 | 1992-08-18 | International Business Machines Corporation | Computer-implemented method for automatic extraction of data from printed forms |
| IL91220A (en) * | 1989-08-04 | 1995-03-30 | Ibm Israel | Compression of information |
| US5119433A (en) * | 1990-03-12 | 1992-06-02 | International Business Machines Corporation | Method and system for locating the amount field on a document |
| JP3320759B2 (ja) * | 1991-12-26 | 2002-09-03 | 株式会社東芝 | 文書画像傾き検出装置およびその方法 |
| US5535119A (en) * | 1992-06-11 | 1996-07-09 | Hitachi, Ltd. | Character inputting method allowing input of a plurality of different types of character species, and information processing equipment adopting the same |
| JPH0744682A (ja) | 1993-07-28 | 1995-02-14 | Konica Corp | 画像読取装置 |
| JPH07256214A (ja) * | 1994-03-22 | 1995-10-09 | Toshiba Corp | 郵便物の宛名読取装置および郵便物の宛名領域判別装置および郵便物の宛名印刷装置 |
| US5852676A (en) * | 1995-04-11 | 1998-12-22 | Teraform Inc. | Method and apparatus for locating and identifying fields within a document |
| EP0744711B1 (en) * | 1995-04-21 | 2002-10-02 | Canon Kabushiki Kaisha | Method and apparatus for image rotation |
-
1997
- 1997-06-10 JP JP15255797A patent/JP3558493B2/ja not_active Expired - Lifetime
-
1998
- 1998-01-13 US US09/006,200 patent/US6351560B1/en not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012181855A (ja) * | 2005-08-08 | 2012-09-20 | Toshiba Corp | 辞書作成方法及び識別用辞書を記憶する記憶媒体 |
| JP2012003753A (ja) * | 2010-06-21 | 2012-01-05 | Xerox Corp | 注釈付き文書の画像からクリーンな文書を再構築するためのシステムと方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6351560B1 (en) | 2002-02-26 |
| JP3558493B2 (ja) | 2004-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507251B (zh) | 试题图像中作答区域的定位方法、装置、电子设备及计算机存储介质 | |
| US5410611A (en) | Method for identifying word bounding boxes in text | |
| JP3445394B2 (ja) | 少なくとも二つのイメージセクションの比較方法 | |
| US4748678A (en) | Method of storing and retrieving image data | |
| JP3345224B2 (ja) | パターン抽出装置、パターン再認識用テーブル作成装置及びパターン認識装置 | |
| JP3294995B2 (ja) | 帳票読取装置 | |
| JP3943638B2 (ja) | Ｏｃｒを利用しない文書画像中のドロップワードの自動認識方法 | |
| JP6900164B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JPH08255236A (ja) | 画像のファイリング装置及びファイリング方法 | |
| JPH06124358A (ja) | 用紙上のマークを検出する方法 | |
| JP2008003740A (ja) | 入力修正方法、追記情報処理方法、追記情報処理装置、およびプログラム | |
| CN115457565A (zh) | 一种ocr文字识别方法、电子设备及存储介质 | |
| US6947596B2 (en) | Character recognition method, program and recording medium | |
| CN113158895A (zh) | 票据识别方法、装置、电子设备及存储介质 | |
| JP4594952B2 (ja) | 文字認識装置及び文字認識方法 | |
| JP3558493B2 (ja) | 用紙位置合わせ装置、用紙位置合わせ方法及び用紙位置合わせプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN111126266A (zh) | 文本处理方法、文本处理系统、设备及介质 | |
| US6968501B2 (en) | Document format identification apparatus and method | |
| JP3483919B2 (ja) | 伝票文書情報システム | |
| JP3186246B2 (ja) | 文書読取装置 | |
| US20210390328A1 (en) | Optical character recognition of documents having non-coplanar regions | |
| KR100957508B1 (ko) | 광학 문자 인식 시스템 및 방법 | |
| JP4810853B2 (ja) | 文字画像切出装置、文字画像切出方法およびプログラム | |
| JP2001126010A (ja) | 帳票処理装置、帳票定義作成方法、領域抽出方法及び記憶媒体 | |
| JP4648084B2 (ja) | 記号認識方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040304 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040420 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040518 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080528 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090528 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090528 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140528 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term |