JP3469345B2 - 画像のファイリング装置及びファイリング方法 - Google Patents
画像のファイリング装置及びファイリング方法Info
- Publication number
- JP3469345B2 JP3469345B2 JP05763395A JP5763395A JP3469345B2 JP 3469345 B2 JP3469345 B2 JP 3469345B2 JP 05763395 A JP05763395 A JP 05763395A JP 5763395 A JP5763395 A JP 5763395A JP 3469345 B2 JP3469345 B2 JP 3469345B2
- Authority
- JP
- Japan
- Prior art keywords
- format
- image
- input
- information
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【産業上の利用分野】本発明はファイリング装置及びフ
ァイリング方法に関する。
ァイリング方法に関する。
【０００２】
【従来の技術】従来の画像ファイリング方法において
は、あらかじめ保存した画像を検索するにあたって、ユ
ーザが検索のための検索キー情報をキーボードなどから
入力して検索を行っていた。この方法ではユーザがキー
を与えようとする同一種の帳票に対して必ずしも同じキ
ーワードが付与される保証がなく、また、人間が誤った
キーワードを付与してしまう場合もある。
は、あらかじめ保存した画像を検索するにあたって、ユ
ーザが検索のための検索キー情報をキーボードなどから
入力して検索を行っていた。この方法ではユーザがキー
を与えようとする同一種の帳票に対して必ずしも同じキ
ーワードが付与される保証がなく、また、人間が誤った
キーワードを付与してしまう場合もある。
【０００３】これに対して、自動的にキー情報を生成す
る方法として、文書中の文字コード・線分・枠などの情
報を認識し、自動でキーワードを抽出する方法が考えら
れる。しかしながらこの方法は、文字認識によるキーワ
ード抽出にあたって文書中のどの部分をキーワードにす
べきかなどを一意に定めることが難しく実用レベルに達
していない。
る方法として、文書中の文字コード・線分・枠などの情
報を認識し、自動でキーワードを抽出する方法が考えら
れる。しかしながらこの方法は、文字認識によるキーワ
ード抽出にあたって文書中のどの部分をキーワードにす
べきかなどを一意に定めることが難しく実用レベルに達
していない。
【０００４】また、文書中のキーワード領域を特定の色
などでマーキングし、このマーキングされた文字を読み
取って検索キーとして使用することも考えられている。
しかしながらこの方法でも、操作者の意図に反して同一
種の帳票に対して異なる検索キーが選択される問題は解
決できない。
などでマーキングし、このマーキングされた文字を読み
取って検索キーとして使用することも考えられている。
しかしながらこの方法でも、操作者の意図に反して同一
種の帳票に対して異なる検索キーが選択される問題は解
決できない。
【０００５】このように、保存した画像を後で検索しよ
うとする場合は、簡単に識別できるキーワードや識別子
を自動的にかつ、ユーザによるバラツキがないように付
与することが必要である。
うとする場合は、簡単に識別できるキーワードや識別子
を自動的にかつ、ユーザによるバラツキがないように付
与することが必要である。
【０００６】例えば、特開昭６１−７５４７７号公報
は、格納すべき対象文書の見本文書（複数個）の画像あ
るいはその特徴パターンをあらかじめ記憶しておき、当
該格納すべき対象文書の画像から特徴パターンを抽出し
て、上記見本文書の特徴パターンと比較し同一であると
判定した見本文書の分類コードを入力文書に付与するこ
とによって、自動的に分類コードの決定を行う方法を開
示している。
は、格納すべき対象文書の見本文書（複数個）の画像あ
るいはその特徴パターンをあらかじめ記憶しておき、当
該格納すべき対象文書の画像から特徴パターンを抽出し
て、上記見本文書の特徴パターンと比較し同一であると
判定した見本文書の分類コードを入力文書に付与するこ
とによって、自動的に分類コードの決定を行う方法を開
示している。
【０００７】
【発明が解決しようとする課題】しかしながら、上記し
た特開昭６１−７５４７７号公報では、特徴パターンを
抽出するにあたって画像の水平・垂直線分の積分値（水
平・垂直方向への長い線分の画素数の加算）を用いてい
ることから、異なる文書が同一の直線部を有している場
合には区別できないという欠点がある。また、画像が傾
いていたり、位置づれがある場合には、画像レベルでの
位置合わせや傾き補正が難しいという問題がある。
た特開昭６１−７５４７７号公報では、特徴パターンを
抽出するにあたって画像の水平・垂直線分の積分値（水
平・垂直方向への長い線分の画素数の加算）を用いてい
ることから、異なる文書が同一の直線部を有している場
合には区別できないという欠点がある。また、画像が傾
いていたり、位置づれがある場合には、画像レベルでの
位置合わせや傾き補正が難しいという問題がある。
【０００８】また、類似帳票が見つからなかった場合に
は、即登録帳票フォーマットの一覧表を表示してその中
から選択するようにしているが、登録帳票種別が多種多
様になるとユーザが表示画面の中から類似帳票を選択す
る作業が複雑によってユーザの作業効率を損なうもので
あった。
は、即登録帳票フォーマットの一覧表を表示してその中
から選択するようにしているが、登録帳票種別が多種多
様になるとユーザが表示画面の中から類似帳票を選択す
る作業が複雑によってユーザの作業効率を損なうもので
あった。
【０００９】本発明はこのような課題に着目してなされ
たものであり、その目的とするところは、入力画像から
フォーマット情報を認識し、そのフォーマット情報に基
づいて要素ごとのマッチングを自動的に行うことによっ
てユーザの処理工程の軽減を図ることができる画像のフ
ァイリング装置及びファイリング方法を提供することに
ある。
たものであり、その目的とするところは、入力画像から
フォーマット情報を認識し、そのフォーマット情報に基
づいて要素ごとのマッチングを自動的に行うことによっ
てユーザの処理工程の軽減を図ることができる画像のフ
ァイリング装置及びファイリング方法を提供することに
ある。
【００１０】
【課題を解決するための手段及び作用】上記の目的を達
成するために、本発明の画像のファイリング装置は、画
像を入力するための画像入力手段と、基準となる画像に
ついて、輪郭線の交差部及び角部の位置に関する情報か
ら第１フォーマット情報を生成し、これを予め登録する
フォーマット登録手段と、前記画像入力手段によって各
々入力された入力画像について、輪郭線の交差部及び角
部の位置に関する情報から第２フォーマット情報を抽出
するフォーマット抽出手段と、前記フォーマット登録手
段により登録された第１フォーマット情報と、前記フォ
ーマット抽出手段により抽出された第２フォーマット情
報とを比較して、両者の間の類似度を算出するフォーマ
ット識別手段と、このフォーマット識別手段によって算
出された類似度に基づいて、前記画像入力手段によって
入力された前記入力画像を所定の形態で保存する画像保
存手段と、を具備する。また、本発明の画像のファイリ
ング装置は、画像を入力するための画像入力手段と、前
記画像入力手段によって入力された複数のフォーマット
についての画像から、輪郭線の交差部及び角部の位置に
関する情報である登録輪郭情報を抽出して予め登録する
フォーマット登録手段と、前記画像入力手段によって各
々入力された入力画像から輪郭線の交差部及び角部の位
置に関する情報である入力輪郭情報を抽出する入力輪郭
情報抽出手段と、前記フォーマット登録手段により登録
された前記登録輪郭情報と、前記入力輪郭情報抽出手段
によって抽出された前記入力輪郭情報のそれぞれについ
て、枠領域の中心座標を算出する座標算出手段と、前記
登録輪郭情報のそれぞれについて、前記入力輪郭情報の
枠領域の中心座標との距離が閾値以下になる、前記枠領
域の中心座標の個数を算出する個数算出手段と、前記個
数算出手段によって算出された個数に基づいて、前記入
力画像を所定の形態で保存する画像保存手段と、を具備
する。
成するために、本発明の画像のファイリング装置は、画
像を入力するための画像入力手段と、基準となる画像に
ついて、輪郭線の交差部及び角部の位置に関する情報か
ら第１フォーマット情報を生成し、これを予め登録する
フォーマット登録手段と、前記画像入力手段によって各
々入力された入力画像について、輪郭線の交差部及び角
部の位置に関する情報から第２フォーマット情報を抽出
するフォーマット抽出手段と、前記フォーマット登録手
段により登録された第１フォーマット情報と、前記フォ
ーマット抽出手段により抽出された第２フォーマット情
報とを比較して、両者の間の類似度を算出するフォーマ
ット識別手段と、このフォーマット識別手段によって算
出された類似度に基づいて、前記画像入力手段によって
入力された前記入力画像を所定の形態で保存する画像保
存手段と、を具備する。また、本発明の画像のファイリ
ング装置は、画像を入力するための画像入力手段と、前
記画像入力手段によって入力された複数のフォーマット
についての画像から、輪郭線の交差部及び角部の位置に
関する情報である登録輪郭情報を抽出して予め登録する
フォーマット登録手段と、前記画像入力手段によって各
々入力された入力画像から輪郭線の交差部及び角部の位
置に関する情報である入力輪郭情報を抽出する入力輪郭
情報抽出手段と、前記フォーマット登録手段により登録
された前記登録輪郭情報と、前記入力輪郭情報抽出手段
によって抽出された前記入力輪郭情報のそれぞれについ
て、枠領域の中心座標を算出する座標算出手段と、前記
登録輪郭情報のそれぞれについて、前記入力輪郭情報の
枠領域の中心座標との距離が閾値以下になる、前記枠領
域の中心座標の個数を算出する個数算出手段と、前記個
数算出手段によって算出された個数に基づいて、前記入
力画像を所定の形態で保存する画像保存手段と、を具備
する。
【００１１】また、本発明の画像のファイリング方法
は、画像を入力するための画像入力工程と、基準となる
画像の輪郭線の交差部及び角部に関する情報から第１フ
ォーマット情報を生成し、これを予め登録するためのフ
ォーマット登録工程と、前記画像入力工程において各々
入力された入力画像の輪郭線の交差部及び角部に関する
情報から第２フォーマット情報を抽出するフォーマット
情報抽出工程と、前記フォーマット情報登録工程におい
て登録された第１フォーマット情報と、前記フォーマッ
ト情報抽出工程において抽出された第２フォーマット情
報とを比較して、両者の間の類似度を算出するファーマ
ット識別工程と、このフォーマット識別工程において算
出された類似度に基づいて、前記画像入力工程において
入力された前記入力画像を所定の形態で保存する画像保
存工程と、を具備する。
は、画像を入力するための画像入力工程と、基準となる
画像の輪郭線の交差部及び角部に関する情報から第１フ
ォーマット情報を生成し、これを予め登録するためのフ
ォーマット登録工程と、前記画像入力工程において各々
入力された入力画像の輪郭線の交差部及び角部に関する
情報から第２フォーマット情報を抽出するフォーマット
情報抽出工程と、前記フォーマット情報登録工程におい
て登録された第１フォーマット情報と、前記フォーマッ
ト情報抽出工程において抽出された第２フォーマット情
報とを比較して、両者の間の類似度を算出するファーマ
ット識別工程と、このフォーマット識別工程において算
出された類似度に基づいて、前記画像入力工程において
入力された前記入力画像を所定の形態で保存する画像保
存工程と、を具備する。
【００１２】
【実施例】以下、図面を参照して本発明の一実施例を詳
細に説明する。図１は本実施例のファイリング装置の基
本的な処理機能を表現したブロック図である。
細に説明する。図１は本実施例のファイリング装置の基
本的な処理機能を表現したブロック図である。
【００１３】本装置はフォーマット登録モードとフォー
マット識別モードの２種類のモードを有し、フォーマッ
ト登録モードにおいては本装置は以下のように動作す
る。すなわち、画像入力部１は書式を登録する基準とな
る複数の帳票をスキャンして、得られた画像信号をフォ
ーマット登録部２に与える。入力データメモリ３は入力
された画像を記憶しておくものである。フォーマット登
録部２は入力された画像に線分抽出または文字枠抽出、
または文字認識または枠抽出などの認識処理を施し、認
識結果をユーザに提示し、ユーザとの対話的な処理によ
って、読み取るべき複数の帳票のフォーマット情報を生
成してフォーマット情報ファイル４に登録する。
マット識別モードの２種類のモードを有し、フォーマッ
ト登録モードにおいては本装置は以下のように動作す
る。すなわち、画像入力部１は書式を登録する基準とな
る複数の帳票をスキャンして、得られた画像信号をフォ
ーマット登録部２に与える。入力データメモリ３は入力
された画像を記憶しておくものである。フォーマット登
録部２は入力された画像に線分抽出または文字枠抽出、
または文字認識または枠抽出などの認識処理を施し、認
識結果をユーザに提示し、ユーザとの対話的な処理によ
って、読み取るべき複数の帳票のフォーマット情報を生
成してフォーマット情報ファイル４に登録する。
【００１４】一方、フォーマット識別モード時は本装置
は以下のように動作する。すなわち、画像入力部１はフ
ァイリングすべき各々の帳票をスキャンして、得られた
画像信号をフォーマット識別部５に与える。フォーマッ
ト識別部５はフォーマット情報ファイル４に登録された
複数のフォーマット情報をもとにして、ファイリングす
べき帳票のフォーマットが登録された複数のフォーマッ
トのいずれかと類似しているか否かを識別する。そして
その結果をディスプレイ６上に表示することによって、
得られた識別結果をユーザに提示し、ユーザとの対話的
な処理によって確認を行ったのち、例えばマウス７のよ
うな指示デバイスによって処理を指示する。これは、マ
ウス７以外に、キーボードまたは電子ペンなどの入力デ
バイスを用いてもよい。最後にフォーマット登録部２に
入力されたフォーマット情報とフォーマット識別部５に
よって得られた識別結果に応じて入力画像を保存部８に
ファイリングする。
は以下のように動作する。すなわち、画像入力部１はフ
ァイリングすべき各々の帳票をスキャンして、得られた
画像信号をフォーマット識別部５に与える。フォーマッ
ト識別部５はフォーマット情報ファイル４に登録された
複数のフォーマット情報をもとにして、ファイリングす
べき帳票のフォーマットが登録された複数のフォーマッ
トのいずれかと類似しているか否かを識別する。そして
その結果をディスプレイ６上に表示することによって、
得られた識別結果をユーザに提示し、ユーザとの対話的
な処理によって確認を行ったのち、例えばマウス７のよ
うな指示デバイスによって処理を指示する。これは、マ
ウス７以外に、キーボードまたは電子ペンなどの入力デ
バイスを用いてもよい。最後にフォーマット登録部２に
入力されたフォーマット情報とフォーマット識別部５に
よって得られた識別結果に応じて入力画像を保存部８に
ファイリングする。
【００１５】以下に上記した各動作モードで行われる処
理をより詳細に説明する。まず、フォーマット登録モー
ドについて説明する。図２はフォーマット登録モードに
おける処理の流れを示す。まず、スキャナによって入力
された画像がディスプレイ６上に表示される。ステップ
Ｓ９の画像入力工程で画像が入力された後、得られた入
力画像から次のステップＳ１０で文字列枠または文字ま
たは枠情報が抽出される。
理をより詳細に説明する。まず、フォーマット登録モー
ドについて説明する。図２はフォーマット登録モードに
おける処理の流れを示す。まず、スキャナによって入力
された画像がディスプレイ６上に表示される。ステップ
Ｓ９の画像入力工程で画像が入力された後、得られた入
力画像から次のステップＳ１０で文字列枠または文字ま
たは枠情報が抽出される。
【００１６】文字枠抽出はたとえば以下の方法で行な
う。画像を連結領域ごとにラベル付けし外接図形を求め
る。次に隣接する外接図形がある閾値内の距離にある場
合には併合してみる。併合を行なった場合に再度外接図
形を計算し、下線の方向の変動がある閾値以内の場合に
は同一文字列であると判断する。このようにして得られ
た文字列の例を図３に示す。図３（ａ）は原画像、
（ｂ）は外接図形、（ｃ）は文字列抽出結果である。な
お、文字枠抽出方法は従来より種々提唱されている手法
など他の方法を用いてもよい。
う。画像を連結領域ごとにラベル付けし外接図形を求め
る。次に隣接する外接図形がある閾値内の距離にある場
合には併合してみる。併合を行なった場合に再度外接図
形を計算し、下線の方向の変動がある閾値以内の場合に
は同一文字列であると判断する。このようにして得られ
た文字列の例を図３に示す。図３（ａ）は原画像、
（ｂ）は外接図形、（ｃ）は文字列抽出結果である。な
お、文字枠抽出方法は従来より種々提唱されている手法
など他の方法を用いてもよい。
【００１７】次に文字抽出はたとえば以下の方法で行な
う。画像を連結領域ごとにラベル付けし外接図形を求め
る。外接図形の大きさがある閾値内である場合には文字
候補として文字認識を行なう。このようにして得られた
文字の例を図４に示す。図４（ａ）は原画像、（ｂ）は
外接図形、（ｃ）は文字認識結果である。なお、文字抽
出方法は従来より種々提唱されている手法など他の方法
を用いてもよい。
う。画像を連結領域ごとにラベル付けし外接図形を求め
る。外接図形の大きさがある閾値内である場合には文字
候補として文字認識を行なう。このようにして得られた
文字の例を図４に示す。図４（ａ）は原画像、（ｂ）は
外接図形、（ｃ）は文字認識結果である。なお、文字抽
出方法は従来より種々提唱されている手法など他の方法
を用いてもよい。
【００１８】次に枠情報の抽出はたとえば図５に示す以
下の方法で行う。まず、輪郭抽出処理（ステップＳ１
４）で入力データをラスタスキャンしてその追跡開始点
を検出した後、その追跡開始点から時計周りあるいは反
時計周りに図形境界がつくる閉曲線を追跡することによ
って行なわれる。このような閉曲線追跡により抽出され
た輪郭の情報は座標点列、あるいは方向コードの列であ
るチェインコードとして保存される。この輪郭抽出処理
については、従来より種々提唱されている他の輪郭抽出
の手法を用いても良いことは言うまでもない。
下の方法で行う。まず、輪郭抽出処理（ステップＳ１
４）で入力データをラスタスキャンしてその追跡開始点
を検出した後、その追跡開始点から時計周りあるいは反
時計周りに図形境界がつくる閉曲線を追跡することによ
って行なわれる。このような閉曲線追跡により抽出され
た輪郭の情報は座標点列、あるいは方向コードの列であ
るチェインコードとして保存される。この輪郭抽出処理
については、従来より種々提唱されている他の輪郭抽出
の手法を用いても良いことは言うまでもない。
【００１９】次に得られた輪郭線データをもとに画像の
交差部や角点などの特徴点を検出する（ステップＳ１
５）。これは、例えば輪郭点列から凸点列を検出してそ
れに対応付く凹列を抽出する。この特徴点抽出は例えば
曲率算出処理によって求められた曲率ｋを所定の閾値Ｋ
０，Ｋ１と比較し、（ｋ≦Ｋ０）なる点列を凹点列と
し、（ｋ≧Ｋ１）となる点を凸点列とすることにより実
現される。
交差部や角点などの特徴点を検出する（ステップＳ１
５）。これは、例えば輪郭点列から凸点列を検出してそ
れに対応付く凹列を抽出する。この特徴点抽出は例えば
曲率算出処理によって求められた曲率ｋを所定の閾値Ｋ
０，Ｋ１と比較し、（ｋ≦Ｋ０）なる点列を凹点列と
し、（ｋ≧Ｋ１）となる点を凸点列とすることにより実
現される。
【００２０】図６（ａ）には原画像例１０、図６（ｂ）
は輪郭点列１１の例を示す。このような特徴点判断によ
り、図７に示すように画像の特徴点１２が抽出される。
尚、この特徴点抽出処理を図形の細線化処理や芯線化処
理によって実現してもよい。例えば、細線化データでは
線分の端点には凸部が存在し、細線の交差点には凹点が
存在することから特徴抽出が可能となる。
は輪郭点列１１の例を示す。このような特徴点判断によ
り、図７に示すように画像の特徴点１２が抽出される。
尚、この特徴点抽出処理を図形の細線化処理や芯線化処
理によって実現してもよい。例えば、細線化データでは
線分の端点には凸部が存在し、細線の交差点には凹点が
存在することから特徴抽出が可能となる。
【００２１】次に、これらの点列の組合せから枠を抽出
する。枠の抽出は、例えば注目点近郊にある４点の座標
の組合せから、図形が長方形または平行四辺形をなすか
どうかを判断することにより容易に枠領域が抽出可能で
ある。このとき、枠抽出は他の手法を用いてもよいこと
はいうまでもない。
する。枠の抽出は、例えば注目点近郊にある４点の座標
の組合せから、図形が長方形または平行四辺形をなすか
どうかを判断することにより容易に枠領域が抽出可能で
ある。このとき、枠抽出は他の手法を用いてもよいこと
はいうまでもない。
【００２２】図８は枠データのデータ構造の例である。
例えば、四隅の座標や線幅、線種、角情報などを含む
が、他に隣接図形番号や枠に書かれるデータの属性など
の情報が記載されていてもよいし、枠データの表現方法
はどんな方法でもかまわない。最低、四隅の座標が分か
ればよい。
例えば、四隅の座標や線幅、線種、角情報などを含む
が、他に隣接図形番号や枠に書かれるデータの属性など
の情報が記載されていてもよいし、枠データの表現方法
はどんな方法でもかまわない。最低、四隅の座標が分か
ればよい。
【００２３】図２のフローチャートに戻って、次に認識
結果に基づいて確認・修正を行なう（ステップＳ１
１）。ここでは枠データの修正方法について説明する。
ユーザは例えば図９に示すように、原画像１０の上に認
識結果としての枠１３を重畳表示してデータ修正を行な
う。修正はたとえば、図１０に示されたメニューのよう
なものを選択し、マウス７などのポインティングデバイ
スを用いて図形を指示する事により実現できる。選択の
指示は電子ペン等他の入力デバイスを用いてもよく、図
形番号を表示してキーボードから対象図形番号を入力す
ることによって、削除・マージなどの処理を行うことも
できる。
結果に基づいて確認・修正を行なう（ステップＳ１
１）。ここでは枠データの修正方法について説明する。
ユーザは例えば図９に示すように、原画像１０の上に認
識結果としての枠１３を重畳表示してデータ修正を行な
う。修正はたとえば、図１０に示されたメニューのよう
なものを選択し、マウス７などのポインティングデバイ
スを用いて図形を指示する事により実現できる。選択の
指示は電子ペン等他の入力デバイスを用いてもよく、図
形番号を表示してキーボードから対象図形番号を入力す
ることによって、削除・マージなどの処理を行うことも
できる。
【００２４】図１１は枠追加の例である。この場合、ユ
ーザはメニューの枠追加の項目を選択し、ディスプレイ
６上の枠データの四隅を指示する。図１１（ａ）の画像
上に枠を追加した例が１１（ｂ）である。
ーザはメニューの枠追加の項目を選択し、ディスプレイ
６上の枠データの四隅を指示する。図１１（ａ）の画像
上に枠を追加した例が１１（ｂ）である。
【００２５】また、図１２は枠マージの例である。ユー
ザはメニューのマージの項目を選択し、マージしたい枠
を複数を指示することによって所望の枠データをマージ
することが可能である。図１２（ａ）の画像内の枠をマ
ージした例が図１２（ｂ）である。他にも回転・削除・
移動など、フォーマット登録に必要な機能を備えること
が可能である。
ザはメニューのマージの項目を選択し、マージしたい枠
を複数を指示することによって所望の枠データをマージ
することが可能である。図１２（ａ）の画像内の枠をマ
ージした例が図１２（ｂ）である。他にも回転・削除・
移動など、フォーマット登録に必要な機能を備えること
が可能である。
【００２６】ここでは特に枠データの修正方法について
述べたが、線分・文字枠・文字コードなどについても同
様に修正できることはいうまでもない。最後に図２のフ
ォーマット登録工程（ステップＳ１２）において、ユー
ザはこのフォーマットにキーワードを付与し、フォーマ
ット情報ファイル１３に保存する。
述べたが、線分・文字枠・文字コードなどについても同
様に修正できることはいうまでもない。最後に図２のフ
ォーマット登録工程（ステップＳ１２）において、ユー
ザはこのフォーマットにキーワードを付与し、フォーマ
ット情報ファイル１３に保存する。
【００２７】次にフォーマット識別モードについて詳細
に説明する。図１３はフォーマット識別モードにおける
処理の流れを示す。まず、スキャナによって入力された
画像がディスプレイ６上に表示される。ステップＳ１６
の画像入力工程で得られた識別されるべき画像から要素
抽出工程（ステップＳ１７）において要素が抽出され
る。この要素抽出工程では得られた画像から文字枠また
は文字または枠情報が抽出される。ステップＳ１８の類
似度計算では対象要素に適応した類似度計算方法で類似
性を評価する。
に説明する。図１３はフォーマット識別モードにおける
処理の流れを示す。まず、スキャナによって入力された
画像がディスプレイ６上に表示される。ステップＳ１６
の画像入力工程で得られた識別されるべき画像から要素
抽出工程（ステップＳ１７）において要素が抽出され
る。この要素抽出工程では得られた画像から文字枠また
は文字または枠情報が抽出される。ステップＳ１８の類
似度計算では対象要素に適応した類似度計算方法で類似
性を評価する。
【００２８】この類似度計算の流れを図１４のフローチ
ャートに示し、枠情報を用いた場合を例にとって類似度
計算の流れを説明する。まず、ステップＳ４０で登録フ
ォーマットと入力画像の位置合わせを行なう。枠情報を
用いた場合の位置合わせでは、まず、既に登録されてい
る帳票の枠情報の外接図形を算出する。これは、枠デー
タの座標の最大値、最小値を計算すれば容易に求められ
る。また、登録したい画像の枠抽出結果を用いて外接図
形を求めることもできる。
ャートに示し、枠情報を用いた場合を例にとって類似度
計算の流れを説明する。まず、ステップＳ４０で登録フ
ォーマットと入力画像の位置合わせを行なう。枠情報を
用いた場合の位置合わせでは、まず、既に登録されてい
る帳票の枠情報の外接図形を算出する。これは、枠デー
タの座標の最大値、最小値を計算すれば容易に求められ
る。また、登録したい画像の枠抽出結果を用いて外接図
形を求めることもできる。
【００２９】図１５は外接図形の他の求めかたを説明す
るための図である。ここでは隣接する枠をマージしてい
き、マージするものがなくなった時点で外接図形を求め
ている。（ａ）を入力帳票とし、７つの枠が抽出された
場合のマージ例である。初めに、水平方向にマージを繰
り返す。この例では、垂直方向の線分の終始点座標が一
致している枠のマージを行っている。（ａ）→（ｂ）→
（ｃ）までいったところで、水平方向のマージが終了
し、１，４，７の３つの領域にマージされる。次に垂直
方向のマージを行う。これも水平方向と同様に、今度は
水平方向の線分の終始点座標が一致している枠のマージ
を行う。この結果、（ｃ）→（ｄ）→（ｅ）のようにマ
ージされ、最終的に、（ｅ）に示す外接図形１４が出力
される。外接図形の求め方は上記した方法に限定されず
他のどのような方法を用いてもよい。
るための図である。ここでは隣接する枠をマージしてい
き、マージするものがなくなった時点で外接図形を求め
ている。（ａ）を入力帳票とし、７つの枠が抽出された
場合のマージ例である。初めに、水平方向にマージを繰
り返す。この例では、垂直方向の線分の終始点座標が一
致している枠のマージを行っている。（ａ）→（ｂ）→
（ｃ）までいったところで、水平方向のマージが終了
し、１，４，７の３つの領域にマージされる。次に垂直
方向のマージを行う。これも水平方向と同様に、今度は
水平方向の線分の終始点座標が一致している枠のマージ
を行う。この結果、（ｃ）→（ｄ）→（ｅ）のようにマ
ージされ、最終的に、（ｅ）に示す外接図形１４が出力
される。外接図形の求め方は上記した方法に限定されず
他のどのような方法を用いてもよい。
【００３０】図１６は外接図形１４の抽出結果を示す図
である。（ａ），（ｂ）はそれぞれ登録帳票と入力帳票
の例であり、（ｃ），（ｄ）は各々の外接図形１４の例
である。
である。（ａ），（ｂ）はそれぞれ登録帳票と入力帳票
の例であり、（ｃ），（ｄ）は各々の外接図形１４の例
である。
【００３１】次に、各々の枠データの中心座標データを
算出する。これは、例えば枠座標を左下隅から（ｘ０，
ｙ０），（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ
３）とした場合に、対角線の交差点を（ｃｘ，ｃｙ）と
する。登録帳票と入力帳票との各々の中心座標データ、
および外接図形データ例を図１７（ａ），（ｂ）に示
す。
算出する。これは、例えば枠座標を左下隅から（ｘ０，
ｙ０），（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ
３）とした場合に、対角線の交差点を（ｃｘ，ｃｙ）と
する。登録帳票と入力帳票との各々の中心座標データ、
および外接図形データ例を図１７（ａ），（ｂ）に示
す。
【００３２】上の左上の座標と、入力画像上の左上の座
標の位置の差分をｄｘ，ｄｙとし、登録フォーマットの
枠または入力画像の枠の中心位置１５を補正する。次
に、枠データをそれぞれ対応づける。これは例えば、登
録フォーマット上の枠データの中心座標を、ｔｃｘ，ｔ
ｃｙとし、入力データ上の枠データをｉｃｘｉｃｙとし
た場合の距離Ｄを Ｄ＝（ｉｃｘ−ｔｃｘ）2 ＋（ｉｃｙ−ｔｃｙ）2 とする。
標の位置の差分をｄｘ，ｄｙとし、登録フォーマットの
枠または入力画像の枠の中心位置１５を補正する。次
に、枠データをそれぞれ対応づける。これは例えば、登
録フォーマット上の枠データの中心座標を、ｔｃｘ，ｔ
ｃｙとし、入力データ上の枠データをｉｃｘｉｃｙとし
た場合の距離Ｄを Ｄ＝（ｉｃｘ−ｔｃｘ）2 ＋（ｉｃｙ−ｔｃｙ）2 とする。
【００３３】また、類似度は登録フォーマット上の枠に
対応する枠がある（Ｄ＜ｄｔｈ，ｄｔｈは距離の閾値）
場合に投票し、登録フォーマット上で枠全てに投票が終
わったら枠数ｎでわる。
対応する枠がある（Ｄ＜ｄｔｈ，ｄｔｈは距離の閾値）
場合に投票し、登録フォーマット上で枠全てに投票が終
わったら枠数ｎでわる。
【００３４】すなわち、
類似度＝対応する枠の数／登録帳票上の枠数
で求める。
【００３５】類似候補が検出された場合には類似候補テ
ーブルに登録する。処理の簡単化のために、類似度が閾
値Ｒｔｈより小さい場合には類似候補テーブルには登録
しない。もちろん、すべての帳票を類似候補テーブルに
登録してもよいし、出力したい類似フォーマットがもっ
とも高い類似度のものでよいのなら、類似度が現在対象
にしているフォーマットより前に計算された類似度より
高い場合にのみ登録するようにしてもよい。このように
して登録フォーマットの最後まで処理を行う。
ーブルに登録する。処理の簡単化のために、類似度が閾
値Ｒｔｈより小さい場合には類似候補テーブルには登録
しない。もちろん、すべての帳票を類似候補テーブルに
登録してもよいし、出力したい類似フォーマットがもっ
とも高い類似度のものでよいのなら、類似度が現在対象
にしているフォーマットより前に計算された類似度より
高い場合にのみ登録するようにしてもよい。このように
して登録フォーマットの最後まで処理を行う。
【００３６】処理の高速化のためには外接図形の大き
さ、枠数などで、類似度計算を行う登録フォーマットを
事前にしぼってもよい。図１８は枠データを利用した類
似度計算結果の例である。（ａ）を入力したい帳票とし
た場合の、（ｂ）〜（ｄ）の３枚の登録帳票との類似度
計算の例である。
さ、枠数などで、類似度計算を行う登録フォーマットを
事前にしぼってもよい。図１８は枠データを利用した類
似度計算結果の例である。（ａ）を入力したい帳票とし
た場合の、（ｂ）〜（ｄ）の３枚の登録帳票との類似度
計算の例である。
【００３７】次に、特開昭６１−７５４７７号公報が開
示しているような線分情報のみを使って類似度を判定す
る方法について図１９を参照して説明する。図１９
（ａ）と（ｂ）の各々の水平・垂直線分を積分した結果
をヒストグラムで表示すると、図１９（ａ），（ｂ）に
示すように一致しない。これを、本実施例のように枠抽
出結果を用いてマッチングを行い類似性を判断すると、
枠数１０、対応付いた枠数０より、類似度０／１０＊１
００＝０となって、図１９（ｃ）に示すように類似度は
０％になる。このように一見類似しているようにみえる
帳票でも、枠データを用いる事により、誤りなく類似性
を判断することができる。
示しているような線分情報のみを使って類似度を判定す
る方法について図１９を参照して説明する。図１９
（ａ）と（ｂ）の各々の水平・垂直線分を積分した結果
をヒストグラムで表示すると、図１９（ａ），（ｂ）に
示すように一致しない。これを、本実施例のように枠抽
出結果を用いてマッチングを行い類似性を判断すると、
枠数１０、対応付いた枠数０より、類似度０／１０＊１
００＝０となって、図１９（ｃ）に示すように類似度は
０％になる。このように一見類似しているようにみえる
帳票でも、枠データを用いる事により、誤りなく類似性
を判断することができる。
【００３８】図１３に戻って、次のステップＳ１９の出
力工程ではもっとも類似度の高い帳票フォーマットを提
示する。このとき、例えば図２０に示したように類似性
の高いものから順に表示してユーザーに確認し選択させ
てもよい。最後にステップＳ２０においてこのフォーマ
ット情報に基づき、フォーマット情報ファイル２０に登
録する。
力工程ではもっとも類似度の高い帳票フォーマットを提
示する。このとき、例えば図２０に示したように類似性
の高いものから順に表示してユーザーに確認し選択させ
てもよい。最後にステップＳ２０においてこのフォーマ
ット情報に基づき、フォーマット情報ファイル２０に登
録する。
【００３９】次に、図２１に示すように入力帳票が位置
ずれおよび傾いた画像であった場合の処理例について図
２２のフローチャートをもとに説明する。まず、ステッ
プＳ２１の枠認識工程では入力帳票の枠データを抽出す
る。次にステップＳ２２の外接図形抽出工程において枠
データをマージしながら外接図形を抽出する。外接図形
の抽出方法は他の方法を用いてもよいが、ここでは枠デ
ータに水平・垂直線分で構成されるような手法を用い
る。次に、外接図形の角点座標、傾き情報を用いて回転
工程（ステップＳ２３）、位置合わせ工程（ステップＳ
２４）でそれぞれ、枠データの回転、位置合わせを行
う。その後、類似度計算を行う。図２１は画像が傾いた
例であり、登録帳票（図２１（ａ））に対して、図２１
（ｂ）のような入力画像が入力された場合、枠の外接図
形の情報に基づき、図２１（ｃ）のような回転・位置合
わせを行った画像が得られる。
ずれおよび傾いた画像であった場合の処理例について図
２２のフローチャートをもとに説明する。まず、ステッ
プＳ２１の枠認識工程では入力帳票の枠データを抽出す
る。次にステップＳ２２の外接図形抽出工程において枠
データをマージしながら外接図形を抽出する。外接図形
の抽出方法は他の方法を用いてもよいが、ここでは枠デ
ータに水平・垂直線分で構成されるような手法を用い
る。次に、外接図形の角点座標、傾き情報を用いて回転
工程（ステップＳ２３）、位置合わせ工程（ステップＳ
２４）でそれぞれ、枠データの回転、位置合わせを行
う。その後、類似度計算を行う。図２１は画像が傾いた
例であり、登録帳票（図２１（ａ））に対して、図２１
（ｂ）のような入力画像が入力された場合、枠の外接図
形の情報に基づき、図２１（ｃ）のような回転・位置合
わせを行った画像が得られる。
【００４０】最後に、類似帳票抽出によって類似度の高
い登録フォーマットが得られなかった場合の処理につい
て図２３を参照して説明する。ここでは図２３（ａ）を
入力帳票フォーマットとし、（ｂ）〜（ｆ）を登録帳票
フォーマットとする。類似度を計算すると各々、図２３
に示したようになる。
い登録フォーマットが得られなかった場合の処理につい
て図２３を参照して説明する。ここでは図２３（ａ）を
入力帳票フォーマットとし、（ｂ）〜（ｆ）を登録帳票
フォーマットとする。類似度を計算すると各々、図２３
に示したようになる。
【００４１】ここで、類似ファイル出力は、
（１）最も類似性の高いものを出力するモード
（２）ある閾値を越えているものだけを類似度の高い方
から出力するモード （３）閾値に関係なく、類似度の高い方から出力するモ
ードを備えている。
から出力するモード （３）閾値に関係なく、類似度の高い方から出力するモ
ードを備えている。
【００４２】図２３の例で（１）を選択した場合には、
（ｄ）の帳票フォーマットが出力される。また、（２）
を選択し閾値５０％とした場合にも（ｄ）の帳票フォー
マットのみが出力される。（３）を選択した場合には図
２４に示すように、 （ｄ）＞（ｆ）＞（ｅ）＞（ｂ）＝（ｃ） で表示される。
（ｄ）の帳票フォーマットが出力される。また、（２）
を選択し閾値５０％とした場合にも（ｄ）の帳票フォー
マットのみが出力される。（３）を選択した場合には図
２４に示すように、 （ｄ）＞（ｆ）＞（ｅ）＞（ｂ）＝（ｃ） で表示される。
【００４３】また、ユーザがその中に該当する帳票がな
いと判断した場合には、帳票登録モードに戻ることがで
き、現在入力帳票となっている帳票の枠認識結果を確認
・修正しながら、新規登録することが可能となる。
いと判断した場合には、帳票登録モードに戻ることがで
き、現在入力帳票となっている帳票の枠認識結果を確認
・修正しながら、新規登録することが可能となる。
【００４４】次にフォーマット識別モードの他の実施例
を示す。ここではＨａｓｈ Ｔａｂｌｅをモデル画像の
データベースに用いてフォーマット識別を行なう例を示
す。処理は登録帳票の特微量を抽出してからＨａｓｈ
Ｔａｂｌｅを作成する前処理部分と、入力画像から特徴
を抽出し、投票を行い認識する認識部分とに分かれる。
図２５は前処理のＨａｓｈ Ｔａｂｌｅ作成処理の流れ
を示すフローチャートであり、図２６は認識処理の流れ
を示すフローチャートである。
を示す。ここではＨａｓｈ Ｔａｂｌｅをモデル画像の
データベースに用いてフォーマット識別を行なう例を示
す。処理は登録帳票の特微量を抽出してからＨａｓｈ
Ｔａｂｌｅを作成する前処理部分と、入力画像から特徴
を抽出し、投票を行い認識する認識部分とに分かれる。
図２５は前処理のＨａｓｈ Ｔａｂｌｅ作成処理の流れ
を示すフローチャートであり、図２６は認識処理の流れ
を示すフローチャートである。
【００４５】まず、図２５に従って前処理のながれを説
明する。登録帳票画像入力工程（ステップＳ２５）では
登録したい画像を入力する。これは既にディスクなどに
保存されているものでもよい。次の特微抽出工程（ステ
ップＳ２６）では例えば、認識結果から枠データの中心
座標、文字列枠の中心座標、連結枠情報などを抽出す
る。不変量計算工程（ステップＳ２７）では各特微量に
対する不変量を計算する。テーブル作成・出力工程（ス
テップＳ２８、Ｓ２８′）ではこのテーブル管理に必要
なデータ（不変量、モデル名、不変量を計算するのに用
いたパラメータ（以後、基底と呼ぶ））を作成してＨａ
ｓｈ Ｔａｂｌｅに登録する。
明する。登録帳票画像入力工程（ステップＳ２５）では
登録したい画像を入力する。これは既にディスクなどに
保存されているものでもよい。次の特微抽出工程（ステ
ップＳ２６）では例えば、認識結果から枠データの中心
座標、文字列枠の中心座標、連結枠情報などを抽出す
る。不変量計算工程（ステップＳ２７）では各特微量に
対する不変量を計算する。テーブル作成・出力工程（ス
テップＳ２８、Ｓ２８′）ではこのテーブル管理に必要
なデータ（不変量、モデル名、不変量を計算するのに用
いたパラメータ（以後、基底と呼ぶ））を作成してＨａ
ｓｈ Ｔａｂｌｅに登録する。
【００４６】全ての登録帳票と入力帳票に対して、利用
する特微量は枠の中の中心座標とした場合の例をとって
説明する。傾きに関しては直線データをもとに傾き補正
してあることを前提としているので、枠は水平・垂直線
分のみから構成されていると考えてよい。ここでは、Ｈ
ａｓｈ Ｔａｂｌｅを作成するときの基底のとり方は水
平・垂直線分上に位置する３点の組合せのみでよいと考
える。とくに、帳票の場合には連結する長方形枠が多く
存在することから、基底には、連結長方形枠の外接図形
の幅と高さ情報を用いる。図２７はＨａｓｈ Ｔａｂｌ
ｅの登録例を示す図である。
する特微量は枠の中の中心座標とした場合の例をとって
説明する。傾きに関しては直線データをもとに傾き補正
してあることを前提としているので、枠は水平・垂直線
分のみから構成されていると考えてよい。ここでは、Ｈ
ａｓｈ Ｔａｂｌｅを作成するときの基底のとり方は水
平・垂直線分上に位置する３点の組合せのみでよいと考
える。とくに、帳票の場合には連結する長方形枠が多く
存在することから、基底には、連結長方形枠の外接図形
の幅と高さ情報を用いる。図２７はＨａｓｈ Ｔａｂｌ
ｅの登録例を示す図である。
【００４７】次に、図２６に従って認識処理のながれを
説明する。まず、画像入力工程（ステップＳ２９）では
入力したい帳票画像を入力する。次に特微抽出工程（ス
テップＳ３０）では例えば、認識結果から枠データの中
心座標、文字列枠の中心座標など連結枠情報などを抽出
する。不変量計算工程（ステップＳ３１）では各特微量
に対する不変量を計算する。検索工程（ステップＳ３
２）ではこの不変量を用いて、対応するＴａｂｌｅ上の
エリアを検索する。投票工程（ステップＳ３３）では検
索した結果得られたデータの内条件を満たす点に投票す
る。具体的には、登録帳票名ごとにヒストグラムを作成
しておいて、検索したエリア内の登録帳票名ごとに投票
を行う。これらの処理を入力帳票の特徴点数分繰り返し
（ステップＳ３３′）、ヒストグラムの最も大きいモデ
ルを認識結果として類似度計算工程（ステップＳ３４）
において類似度を計算し、出力工程（ステップＳ３５）
で出力する。
説明する。まず、画像入力工程（ステップＳ２９）では
入力したい帳票画像を入力する。次に特微抽出工程（ス
テップＳ３０）では例えば、認識結果から枠データの中
心座標、文字列枠の中心座標など連結枠情報などを抽出
する。不変量計算工程（ステップＳ３１）では各特微量
に対する不変量を計算する。検索工程（ステップＳ３
２）ではこの不変量を用いて、対応するＴａｂｌｅ上の
エリアを検索する。投票工程（ステップＳ３３）では検
索した結果得られたデータの内条件を満たす点に投票す
る。具体的には、登録帳票名ごとにヒストグラムを作成
しておいて、検索したエリア内の登録帳票名ごとに投票
を行う。これらの処理を入力帳票の特徴点数分繰り返し
（ステップＳ３３′）、ヒストグラムの最も大きいモデ
ルを認識結果として類似度計算工程（ステップＳ３４）
において類似度を計算し、出力工程（ステップＳ３５）
で出力する。
【００４８】図２７ではブランク帳票７枚分がサンプル
として登録されていて、入力データ２７点について検索
・投票を行なう。ハッチング部分は検索領域である。こ
こで、類似度は例えば以下のように定義する。登録帳票
ごとの投票数をＮt入力帳票の長方形枠数をｋ，類似度
をＳとすると、 Ｓ＝（Ｎt ／ｋ）＊１００ で表す。
として登録されていて、入力データ２７点について検索
・投票を行なう。ハッチング部分は検索領域である。こ
こで、類似度は例えば以下のように定義する。登録帳票
ごとの投票数をＮt入力帳票の長方形枠数をｋ，類似度
をＳとすると、 Ｓ＝（Ｎt ／ｋ）＊１００ で表す。
【００４９】従ってこの図の場合、検索領域にはいって
いる登録帳票名に投票し、類似度を計算した結果、図２
８のようになる。よって、この入力帳票にもっとも類似
しているのはｂｌａｎｋ６の類似度８５１となる。図２
９は、Ｔａｂｌｅのデータ構造例である。
いる登録帳票名に投票し、類似度を計算した結果、図２
８のようになる。よって、この入力帳票にもっとも類似
しているのはｂｌａｎｋ６の類似度８５１となる。図２
９は、Ｔａｂｌｅのデータ構造例である。
【００５０】次に画像ファイリングの実施例について説
明する。入力帳票が登録帳票のデータであることが確認
された場合には、入力帳票の識別子を付与させて保存す
ることが可能となる。例えば、登録帳票名が［登録００
１］であったら、入力帳票を［登録００１データ００
１］などという名前にして保存すればファイル名から登
録帳票の種類が識別できる。ただし、画像ファイリング
方法はどのような方法を用いてもよい。
明する。入力帳票が登録帳票のデータであることが確認
された場合には、入力帳票の識別子を付与させて保存す
ることが可能となる。例えば、登録帳票名が［登録００
１］であったら、入力帳票を［登録００１データ００
１］などという名前にして保存すればファイル名から登
録帳票の種類が識別できる。ただし、画像ファイリング
方法はどのような方法を用いてもよい。
【００５１】また、入力帳票がどの種類の登録帳票かが
わかった場合には例えば、ＨａｓｈＴａｂｌｅのプロッ
ト位置から枠データの対応づけが可能である。枠データ
が対応づいたら、その枠内の画像を切り出してきて、部
分画像のみを保存することができる。例えば、登録帳票
名が［登録００１］であり、入力帳票［登録００１デー
タ００１］にした場合の部分画像名を対応枠の番号に対
応づけて、［登録００１データ００１枠００１．ｒａ
ｓ］などの画像ファイルとして蓄えてもよい。ただし、
画像ファイリング方法はどのような方法を用いてもよ
い。
わかった場合には例えば、ＨａｓｈＴａｂｌｅのプロッ
ト位置から枠データの対応づけが可能である。枠データ
が対応づいたら、その枠内の画像を切り出してきて、部
分画像のみを保存することができる。例えば、登録帳票
名が［登録００１］であり、入力帳票［登録００１デー
タ００１］にした場合の部分画像名を対応枠の番号に対
応づけて、［登録００１データ００１枠００１．ｒａ
ｓ］などの画像ファイルとして蓄えてもよい。ただし、
画像ファイリング方法はどのような方法を用いてもよ
い。
【００５２】さらに、この部分画像を文字認識すること
もできる。認識結果は例えば、［登録００１データ００
１枠００１．ｃｏｄｅ］などという名前で備えておけ
ば、登録帳票の枠００１内に描かれた画像を認識した結
果が［登録００１データ枠００１．ｃｏｄｅ］に保存さ
れていることがわかる。
もできる。認識結果は例えば、［登録００１データ００
１枠００１．ｃｏｄｅ］などという名前で備えておけ
ば、登録帳票の枠００１内に描かれた画像を認識した結
果が［登録００１データ枠００１．ｃｏｄｅ］に保存さ
れていることがわかる。
【００５３】また、登録帳票の枠００１に、例えば住所
という属性がついていたとする。登録帳票００１の記入
済み帳票は登録００１データ＊＊＊というファイル名で
保存されていることがわかっているので、例えば、住所
の項目のみの画像またはコードデータを出力したい場合
にも、［登録００１データ＊＊＊枠００１．ｒａｓ］、
［登録００１データ＊＊＊枠００１．ｃｏｄｅ］などを
検索してくればよいので効率的なファイル管理ができ
る。
という属性がついていたとする。登録帳票００１の記入
済み帳票は登録００１データ＊＊＊というファイル名で
保存されていることがわかっているので、例えば、住所
の項目のみの画像またはコードデータを出力したい場合
にも、［登録００１データ＊＊＊枠００１．ｒａｓ］、
［登録００１データ＊＊＊枠００１．ｃｏｄｅ］などを
検索してくればよいので効率的なファイル管理ができ
る。
【００５４】さらに、住所という属性のついた部分画像
のみを検索し、出力することによって住所のみの画像を
作成できる、地図という属性のついた部分画像のみを検
索し、出力することによって地図のみの画像を作成でき
るなど、目的にあった部分画像の利用やファイリングが
可能になる。
のみを検索し、出力することによって住所のみの画像を
作成できる、地図という属性のついた部分画像のみを検
索し、出力することによって地図のみの画像を作成でき
るなど、目的にあった部分画像の利用やファイリングが
可能になる。
【００５５】さらに、たとえば、家計簿などの月別の合
計欄のみをきりだし、年間の一覧表を再合成するなど、
属性をつけた部分画像の保存は様々な用途に利用するこ
とが可能になる。尚、本実施例では特微量を枠データを
もとに説明を行なったが、同様に直線、文字列枠、文字
枠などのデータを利用することができることはいうまで
もない。
計欄のみをきりだし、年間の一覧表を再合成するなど、
属性をつけた部分画像の保存は様々な用途に利用するこ
とが可能になる。尚、本実施例では特微量を枠データを
もとに説明を行なったが、同様に直線、文字列枠、文字
枠などのデータを利用することができることはいうまで
もない。
【００５６】
【発明の効果】以上述べたように、本発明によれば、入
力画像からフォーマット情報を認識し、このフォーマッ
ト情報に基づいて、画像位置合わせ・傾き補正などの処
理を行い、フォーマットごとのマッチングを行うことに
よって、異なる文書が同一直線を有していても安定した
認識ができる。また、類似帳票が見つからなかった場合
にも、類似性の高いものから順に表示しながら、ユーザ
ーの選択をあおぐことができ、ユーザが対象とする登録
帳票フォーマットの数を減少させることができるので、
ユーザーの手を煩わせることなく処理工程の軽減が図れ
る。
力画像からフォーマット情報を認識し、このフォーマッ
ト情報に基づいて、画像位置合わせ・傾き補正などの処
理を行い、フォーマットごとのマッチングを行うことに
よって、異なる文書が同一直線を有していても安定した
認識ができる。また、類似帳票が見つからなかった場合
にも、類似性の高いものから順に表示しながら、ユーザ
ーの選択をあおぐことができ、ユーザが対象とする登録
帳票フォーマットの数を減少させることができるので、
ユーザーの手を煩わせることなく処理工程の軽減が図れ
る。
【図１】本発明の一実施例に係るファイリング装置の概
略構成図である。
略構成図である。
【図２】フォーマット登録モードの処理のながれを示す
フローチャートである。
フローチャートである。
【図３】文字列枠抽出例を示す図である。
【図４】文字抽出例を示す図である。
【図５】特徴点抽出のながれを示すフローチャートであ
る。
る。
【図６】輪郭線抽出例を示す図である。
【図７】特徴点抽出結果例を示す図である。
【図８】枠のデータ構造例を示す図である。
【図９】枠データ抽出例を示す図である。
【図１０】確認・修正メニューの例を示す図である。
【図１１】枠追加例を説明するための図である。
【図１２】枠マージ例を説明するための図である。
【図１３】フォーマット識別モードの処理のながれを示
すフローチャートである。
すフローチャートである。
【図１４】類似度計算処理のながれを示すフローチャー
トである。
トである。
【図１５】枠マージによる外接図形抽出例のながれを示
す図である。
す図である。
【図１６】外接図形抽出例を示す図である。
【図１７】枠中心の例を示す図である。
【図１８】類似度計算の処理例を示す図である。
【図１９】線分情報のみに基づいて類似度を判定する従
来例と、枠情報を用いて類似度を判定する本実施例とを
比較して説明するための図である。
来例と、枠情報を用いて類似度を判定する本実施例とを
比較して説明するための図である。
【図２０】類似度計算の処理例を示す図である。
【図２１】傾いた帳票例を説明するための図である。
【図２２】傾いた帳票の処理の流れを示すフローチャー
トである。
トである。
【図２３】類似帳票例を比較して示す図である。
【図２４】類似帳票出力例を示す図である。
【図２５】Ｔａｂｌｅ作成処理の流れを示すフローチャ
ートである。
ートである。
【図２６】類似帳票認識処理の流れを示すフローチャー
トである。
トである。
【図２７】Ｔａｂｌｅの登録例を示す図である。
【図２８】投票及び類似度算出例を示す図である。
【図２９】Ｔａｂｌｅのデータ構造例を示す図である。
１…画像入力部、２…フォーマット登録部、３…入力デ
ータメモリ、４…フォーマット情報ファイル、５…フォ
ーマット識別部、６…ディスプレイ、７…マウス、８…
保存部。
ータメモリ、４…フォーマット情報ファイル、５…フォ
ーマット識別部、６…ディスプレイ、７…マウス、８…
保存部。
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ
Ｇ０６Ｔ 7/00 Ｇ０６Ｔ 7/00 Ｕ
7/40 １００ 7/40 １００Ｂ
(56)参考文献 特開 昭61−281377（ＪＰ，Ａ)
特開 昭61−75477（ＪＰ，Ａ)
特開 平１−194080（ＪＰ，Ａ)
特開 平４−233082（ＪＰ，Ａ)
特開 平６−337859（ＪＰ，Ａ)
特開 昭62−55769（ＪＰ，Ａ)
特開 平３−296883（ＪＰ，Ａ)
特開 平５−217019（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 1/00
G06F 17/30
G06T 7/00
G06T 7/40
Claims (9)
- 【請求項１】 画像を入力するための画像入力手段と、基準となる画像について、輪郭線の交差部及び角部の位
置に関する情報から第１フォーマット情報を生成し、こ
れを予め登録するフォーマット登録手段と、 前記画像入力手段によって各々入力された入力画像につ
いて、輪郭線の交差部及び角部の位置に関する情報から
第２フォーマット情報を抽出するフォーマット抽出手段
と、 前記フォーマット登録手段により登録された第１フォー
マット情報と、前記フォーマット抽出手段により抽出さ
れた第２フォーマット情報とを比較して、両者の間の 類
似度を算出するフォーマット識別手段と、 このフォーマット識別手段によって算出された類似度に
基づいて、前記画像入力手段によって入力された前記入
力画像を所定の形態で保存する画像保存手段と、 を具備したことを特徴とする画像のファイリング装置。 - 【請求項２】 前記フォーマット登録手段は、前記入力
画像から少なくとも直線または枠または文字または文字
枠を含む要素を前記第１フォーマット情報として抽出す
る要素抽出手段と、 この要素抽出手段によって得られた要素を確認・修正す
るフォーマット確認・修正手段と、 このフォーマット確認・修正手段によって確認・修正さ
れた要素を記憶するフォーマット記憶手段とを備えたこ
とを特徴とする請求項１記載の画像のファイリング装
置。 - 【請求項３】 前記フォーマット識別手段は、前記画像
入力手段によって得られた入力画像から少なくとも直線
または枠または文字または文字枠を含む要素を前記フォ
ーマット情報として抽出する要素抽出手段と、 この要素抽出手段によって得られた要素を用いて、前記
画像入力手段によって入力された入力画像が、前記フォ
ーマット登録手段によってあらかじめ登録された前記複
数のフォーマット情報のいずれかと類似しているかを判
別する判別手段と、 を有することを特徴とする請求項１または２記載の画像
のファイリング装置。 - 【請求項４】 前記フォーマット識別手段は、前記類似
度算出によって類似度が高いと判断されたフォーマット
情報を１つまたは複数提示して、識別結果の確認または
フォーマット情報の選択を行なうことを特徴とする請求
項１記載の画像のファイリング装置。 - 【請求項５】 前記フォーマット識別手段は、前記類似
度算出によって類似のフォーマット情報が検索できなか
った場合には、前記フォーマット登録手段にあらかじめ
登録された前記複数のフォーマット情報を順次提示しつ
つ検索することによって前記フォーマット情報の選択を
行なうことを特徴とする請求項１記載の画像のファイリ
ング装置。 - 【請求項６】 前記フォーマット登録手段は、フォーマ
ット識別手段によって該当するフォーマット情報が得ら
れなかった場合には、前記要素抽出手段によって得られ
た要素に基づいて前記要素を確認・修正するかまたは新
たな入力画像に基づいて新規フォーマット情報を登録す
ることを特徴とする請求項１記載の画像のファイリング
装置。 - 【請求項７】 前記保存手段は、前記フォーマット登録
手段に登録された前記フォーマット情報または前記フォ
ーマット識別手段によって得られたフォーマット情報に
基づき、入力画像全体を保存するかまたは指定領域画像
を保存するかあるいは指定領域画像をコード化して保存
するかのいずれかの方法で保存することを特徴とする請
求項１記載の画像のファイリング装置。 - 【請求項８】 画像を入力するための画像入力工程と、 基準となる画像について、輪郭線の交差部及び角部の位
置に関する情報から第１フォーマット情報を生成し、こ
れを予め登録するフォーマット登録工程と、 前記画像入力工程において各々入力された入力画像につ
いて、輪郭線の交差部及び角部の位置に関する情報から
第２フォーマット情報を抽出するフォーマット抽出工程
と、 前記フォーマット登録工程において登録された第１フォ
ーマット情報と、前記フォーマット抽出工程において抽
出された第２フォーマット情報とを比較して、両者の間
の類似度を算出するフォーマット識別工程と、 このフォーマット識別工程において算出された類似度に
基づいて、前記画像入力工程において入力された前記入
力画像を所定の形態で保存する画像保存工程と、 を具備したことを特徴とする画像のファイリング方法。 - 【請求項９】 画像を入力するための画像入力手段と、 前記画像入力手段によって入力された複数のフォーマッ
トについての画像から、輪郭線の交差部及び角部の位置
に関する情報である登録輪郭情報を抽出して予め登録す
るフォーマット登録手段と、 前記画像入力手段によって各々入力された入力画像から
輪郭線の交差部及び角部の位置に関する情報である入力
輪郭情報を抽出する入力輪郭情報抽出手段と、 前記フォーマット登録手段により登録された前記登録輪
郭情報と、前記入力輪郭情報抽出手段によって抽出され
た前記入力輪郭情報のそれぞれについて、枠領域の中心
座標を算出する座標算出手段と、 前記登録輪郭情報のそれぞれについて、前記入力輪郭情
報の枠領域の中心座標との距離が閾値以下になる、前記
枠領域の中心座標の個数を算出する個数算出手段と、 前記個数算出手段によって算出された個数に基づいて、
前記入力画像を所定の形態で保存する画像保存手段と、
を具備することを特徴とする画像のファイリング装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05763395A JP3469345B2 (ja) | 1995-03-16 | 1995-03-16 | 画像のファイリング装置及びファイリング方法 |
| US08/612,801 US5799115A (en) | 1995-03-16 | 1996-03-11 | Image filing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05763395A JP3469345B2 (ja) | 1995-03-16 | 1995-03-16 | 画像のファイリング装置及びファイリング方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08255236A JPH08255236A (ja) | 1996-10-01 |
| JP3469345B2 true JP3469345B2 (ja) | 2003-11-25 |
Family
ID=13061307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05763395A Expired - Lifetime JP3469345B2 (ja) | 1995-03-16 | 1995-03-16 | 画像のファイリング装置及びファイリング方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5799115A (ja) |
| JP (1) | JP3469345B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7948664B2 (en) | 2006-08-24 | 2011-05-24 | Sharp Kabushiki Kaisha | Image processing method, image processing apparatus, document reading apparatus, image forming apparatus, computer program and recording medium |
| US8116513B2 (en) | 2006-09-19 | 2012-02-14 | Sharp Kabushiki Kaisha | Image processing method, image processing apparatus, document reading apparatus, image forming apparatus, and recording medium |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6247009B1 (en) * | 1997-03-10 | 2001-06-12 | Canon Kabushiki Kaisha | Image processing with searching of image data |
| JP3637771B2 (ja) * | 1997-11-25 | 2005-04-13 | 三菱電機株式会社 | 文書編集出力装置 |
| JPH11306171A (ja) * | 1998-04-20 | 1999-11-05 | Fujitsu Ltd | 項目情報入力方法及び記録媒体 |
| JP3903610B2 (ja) * | 1998-09-28 | 2007-04-11 | 富士ゼロックス株式会社 | 検索装置、検索方法及び検索プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| WO2001026024A1 (fr) * | 1999-09-30 | 2001-04-12 | Fujitsu Limited | Dispositif et procede d'identification de document |
| US6589290B1 (en) * | 1999-10-29 | 2003-07-08 | America Online, Inc. | Method and apparatus for populating a form with data |
| US6981028B1 (en) * | 2000-04-28 | 2005-12-27 | Obongo, Inc. | Method and system of implementing recorded data for automating internet interactions |
| US7330876B1 (en) | 2000-10-13 | 2008-02-12 | Aol Llc, A Delaware Limited Liability Company | Method and system of automating internet interactions |
| JP2002324236A (ja) | 2001-04-25 | 2002-11-08 | Hitachi Ltd | 帳票識別方法及び帳票登録方法 |
| US8095597B2 (en) * | 2001-05-01 | 2012-01-10 | Aol Inc. | Method and system of automating data capture from electronic correspondence |
| US7281029B2 (en) * | 2003-05-13 | 2007-10-09 | Aol Llc, A Delaware Limited Liability Company | Method and system of capturing data for automating internet interactions |
| US7996759B2 (en) * | 2004-09-14 | 2011-08-09 | Oracle Internatonal Corporation | Data insertion from a database into a fixed electronic template form that supports overflow data |
| CN101133429B (zh) * | 2005-03-01 | 2010-10-06 | 公立大学法人大阪府立大学 | 文档和/或图像检索方法、文档和/或图像存储设备和检索设备 |
| US8036497B2 (en) | 2005-03-01 | 2011-10-11 | Osaka Prefecture University Public Corporation | Method, program and apparatus for storing document and/or image using invariant values calculated from feature points and method, program and apparatus for retrieving document based on stored document and/or image |
| JP4894195B2 (ja) * | 2005-08-15 | 2012-03-14 | 富士ゼロックス株式会社 | 教材処理装置、教材処理方法および教材処理プログラム |
| JP2008059546A (ja) * | 2006-08-03 | 2008-03-13 | Sharp Corp | 画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム、及び記録媒体 |
| JP4310356B2 (ja) * | 2006-11-13 | 2009-08-05 | シャープ株式会社 | 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及び記録媒体 |
| US8295603B2 (en) | 2007-03-28 | 2012-10-23 | Sharp Kabushiki Kaisha | Image processing apparatus, image forming apparatus, image processing system, and image processing method |
| US7991189B2 (en) | 2007-03-28 | 2011-08-02 | Sharp Kabushiki Kaisha | Image processing apparatus, image forming apparatus, image processing system, and image processing method |
| JP5096776B2 (ja) * | 2007-04-04 | 2012-12-12 | キヤノン株式会社 | 画像処理装置及び画像検索方法 |
| US8103108B2 (en) | 2007-05-01 | 2012-01-24 | Sharp Kabushiki Kaisha | Image processing apparatus, image forming apparatus, image processing system, and image processing method |
| US8184912B2 (en) | 2007-06-06 | 2012-05-22 | Sharp Kabushiki Kaisha | Image processing apparatus, image forming apparatus, image processing system, and image processing method |
| US8180159B2 (en) | 2007-06-06 | 2012-05-15 | Sharp Kabushiki Kaisha | Image processing apparatus, image forming apparatus, image processing system, and image processing method |
| US8121414B2 (en) | 2007-06-13 | 2012-02-21 | Sharp Kabushiki Kaisha | Image processing method, image processing apparatus, and image forming apparatus |
| JP5082637B2 (ja) * | 2007-07-10 | 2012-11-28 | 富士通株式会社 | 画像処理プログラム、画像処理方法及び画像処理装置 |
| US8351707B2 (en) | 2007-07-31 | 2013-01-08 | Sharp Kabushiki Kaisha | Image processing apparatus, image forming apparatus, image processing system, and image processing method |
| JP4469885B2 (ja) | 2007-09-07 | 2010-06-02 | シャープ株式会社 | 画像照合装置、画像照合方法、画像データ出力処理装置、プログラム、及び記録媒体 |
| JP4362528B2 (ja) | 2007-09-10 | 2009-11-11 | シャープ株式会社 | 画像照合装置、画像照合方法、画像データ出力処理装置、プログラム、及び記録媒体 |
| US8260061B2 (en) | 2007-09-21 | 2012-09-04 | Sharp Kabushiki Kaisha | Image data output processing apparatus and image data output processing method |
| JP4486987B2 (ja) | 2007-09-26 | 2010-06-23 | シャープ株式会社 | 画像データ出力処理装置、画像データ出力処理方法、プログラム及び記録媒体 |
| JP5253788B2 (ja) * | 2007-10-31 | 2013-07-31 | 富士通株式会社 | 画像認識装置、画像認識プログラムおよび画像認識方法 |
| JP4588771B2 (ja) * | 2008-02-26 | 2010-12-01 | シャープ株式会社 | 画像処理方法、画像処理装置、画像形成装置、プログラム及び記憶媒体 |
| JP4491488B2 (ja) | 2008-03-03 | 2010-06-30 | シャープ株式会社 | 画像処理装置、画像読取装置、画像データ出力処理装置、および画像処理方法 |
| JP2009271831A (ja) * | 2008-05-09 | 2009-11-19 | Sharp Corp | 画像データ処理装置 |
| JP2010109653A (ja) * | 2008-10-30 | 2010-05-13 | Kyocera Mita Corp | 画像読取装置、画像形成装置、画像読取方法および画像読取プログラム |
| JP5355156B2 (ja) * | 2009-03-12 | 2013-11-27 | 三菱電機株式会社 | 機器台帳サーバ |
| USD703219S1 (en) | 2011-02-08 | 2014-04-22 | Qualcomm Incorporated | Computing device display screen with computer-generated notification feature |
| US9483452B2 (en) | 2012-09-28 | 2016-11-01 | Apple Inc. | Generating document content from application data |
| USD756399S1 (en) * | 2013-11-15 | 2016-05-17 | Tencent Technology (Shenzhen) Company Limited | Display screen portion with animated graphical user interface |
| USD759089S1 (en) * | 2013-11-15 | 2016-06-14 | Tencent Technology (Shenzhen) Company Limited | Display screen portion with animated graphical user interface |
| JP6138038B2 (ja) * | 2013-12-16 | 2017-05-31 | 三菱電機株式会社 | 帳票識別装置および帳票識別方法 |
| TWI536798B (zh) | 2014-08-11 | 2016-06-01 | 虹光精密工業股份有限公司 | 影像分檔方法 |
| JP6325407B2 (ja) * | 2014-09-29 | 2018-05-16 | 株式会社東芝 | 情報処理装置、情報処理方法及びプログラム |
| JP2021131659A (ja) * | 2020-02-19 | 2021-09-09 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、制御方法、及びプログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6175477A (ja) * | 1984-09-21 | 1986-04-17 | Hitachi Ltd | フアイリング方式 |
| JPH01297770A (ja) * | 1988-05-26 | 1989-11-30 | Hitachi Ltd | 画像ファイリング装置のタイトル情報入力用帳票作成方法及び画像ファイリング方法 |
| JPH06348728A (ja) * | 1993-06-08 | 1994-12-22 | Hitachi Ltd | 伝票処理方法 |
-
1995
- 1995-03-16 JP JP05763395A patent/JP3469345B2/ja not_active Expired - Lifetime
-
1996
- 1996-03-11 US US08/612,801 patent/US5799115A/en not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7948664B2 (en) | 2006-08-24 | 2011-05-24 | Sharp Kabushiki Kaisha | Image processing method, image processing apparatus, document reading apparatus, image forming apparatus, computer program and recording medium |
| US8116513B2 (en) | 2006-09-19 | 2012-02-14 | Sharp Kabushiki Kaisha | Image processing method, image processing apparatus, document reading apparatus, image forming apparatus, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08255236A (ja) | 1996-10-01 |
| US5799115A (en) | 1998-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3469345B2 (ja) | 画像のファイリング装置及びファイリング方法 | |
| CN101297319B (zh) | 在电子文档中嵌入热点 | |
| JP5139716B2 (ja) | 画像検索装置及び画像検索方法 | |
| JP3425408B2 (ja) | 文書読取装置 | |
| JP3294995B2 (ja) | 帳票読取装置 | |
| JPS61267177A (ja) | 文書画像追加情報の蓄積方法 | |
| JP3452774B2 (ja) | 文字認識方法 | |
| JP3602596B2 (ja) | ドキュメントファイリング装置および方法 | |
| US6614929B1 (en) | Apparatus and method of detecting character writing area in document, and document format generating apparatus | |
| JP4704601B2 (ja) | 文字認識方法，プログラム及び記録媒体 | |
| JPH11219409A (ja) | 文書読取装置 | |
| JPH08194716A (ja) | 画像処理方法及びその装置 | |
| JP2021140831A (ja) | 帳票画像処理システム、帳票画像処理方法、および帳票画像処理プログラム | |
| JP4517822B2 (ja) | 画像処理装置及びプログラム | |
| JPH03276260A (ja) | 文字コードのタイトル処理機能を備えた電子フアイリング装置 | |
| Yamashita et al. | A document recognition system and its applications | |
| JPH0660222A (ja) | 文字認識装置 | |
| JP3817442B2 (ja) | 画像認識装置、画像認識方法、及び画像認識方法を実現するプログラムとこのプログラムの記録媒体 | |
| JP2000259847A (ja) | 情報検索方法、装置および記録媒体 | |
| JPH0689330A (ja) | 画像ファイリングシステム | |
| JP3077929B2 (ja) | 文字切出し方式 | |
| JP3412998B2 (ja) | 画像処理装置及びその方法 | |
| JP3186712B2 (ja) | 文書読取装置 | |
| JPH11187231A (ja) | 画像検索装置及び画像検索方法 | |
| WO2021117128A1 (ja) | 帳票画像処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070905 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090905 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090905 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100905 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100905 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term |