JP3463255B2 - 多値画像パターンの認識処理方法 - Google Patents
多値画像パターンの認識処理方法Info
- Publication number
- JP3463255B2 JP3463255B2 JP07208297A JP7208297A JP3463255B2 JP 3463255 B2 JP3463255 B2 JP 3463255B2 JP 07208297 A JP07208297 A JP 07208297A JP 7208297 A JP7208297 A JP 7208297A JP 3463255 B2 JP3463255 B2 JP 3463255B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- valued
- pattern
- image pattern
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Character Discrimination (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、文字や図形を中心
とする多値画像パターンの認識処理方法に係り、特に、
印刷漢字、手書き漢字、英数字、記号、数式、図形など
多くのカテゴリを対象として、しかも、かすれ、つぶれ
などの雑音が加わった画像、縞模様などからなるデザイ
ン文字、飾り文字、または文字の背景などに縞模様や写
真のような絵柄がある画像、さらには文字部分の画素値
が背景部分より薄い白ぬき文字などを対象とする多値画
像パターンの認識処理方法に関するものである。
とする多値画像パターンの認識処理方法に係り、特に、
印刷漢字、手書き漢字、英数字、記号、数式、図形など
多くのカテゴリを対象として、しかも、かすれ、つぶれ
などの雑音が加わった画像、縞模様などからなるデザイ
ン文字、飾り文字、または文字の背景などに縞模様や写
真のような絵柄がある画像、さらには文字部分の画素値
が背景部分より薄い白ぬき文字などを対象とする多値画
像パターンの認識処理方法に関するものである。
【０００２】
【従来の技術】従来、多値画像パターンの認識処理技術
としては、漢字ＯＣＲ（ＯpticalＣharacter Ｒeader）
などの文字認識処理で用いられているように、入力され
た多値の文書画像パターンに対して、しきい値処理によ
り、２画像パターンとして扱う手法（以下、第１の手法
という）、あるいは多値画像パターンから直接文字の特
徴量を抽出する手法（以下、第２の手法という）、の２
種類が知られている。
としては、漢字ＯＣＲ（ＯpticalＣharacter Ｒeader）
などの文字認識処理で用いられているように、入力され
た多値の文書画像パターンに対して、しきい値処理によ
り、２画像パターンとして扱う手法（以下、第１の手法
という）、あるいは多値画像パターンから直接文字の特
徴量を抽出する手法（以下、第２の手法という）、の２
種類が知られている。
【０００３】第１の手法では、入力された多値画像パタ
ーンにしきい値処理を行うことにより２値画像パターン
を作成し、この得られた２値画像パターンから認識のた
めの特徴をベクトルの形で抽出し、この特徴ベクトルと
予め作成してある標準辞書内の各カテゴリの標準パター
ンベクトルとの間で類似度または相違度などの識別関数
の値を求めて、最も類似した文字または図形カテゴリを
認識結果とする方法が知られている。
ーンにしきい値処理を行うことにより２値画像パターン
を作成し、この得られた２値画像パターンから認識のた
めの特徴をベクトルの形で抽出し、この特徴ベクトルと
予め作成してある標準辞書内の各カテゴリの標準パター
ンベクトルとの間で類似度または相違度などの識別関数
の値を求めて、最も類似した文字または図形カテゴリを
認識結果とする方法が知られている。
【０００４】ここで、特徴ベクトルの要素には、文字線
の方向や接続関係、位置関係などの文字線構造を反映し
た特徴量が広く用いられているが、広告や新聞の見出し
などにみられる、特異なテクスチャで構成されているデ
ザイン処理された文字や、かすれ、つぶれ、文字背景雑
音などが激しい画像に対しては、これらの特徴量が大き
く変動してしまい、十分な認識精度を得ることがほとん
ど不可能であった。このため、認識処理に入る前に、こ
のようなテクスチャや雑音を画像処理によって取り除く
方法も試みられているが、文字線そのものをテクスチャ
の一部と判断して除去してしまったり、テクスチャの一
部を文字線だと判断してよごれのついた文字パターンを
結果として出力するなどの場合、やはり上記特徴量が変
動してしまい十分に認識できなかった。また、背景部分
の方が文字部分より黒っぽい白抜き文字などが混在した
文字列を認識することもほとんど不可能であった。ま
た、これらの問題を解決するために２値画像パターンを
対象に、テクスチャや雑音を取り除かずに認識を行う手
法も提案されているが、多値画像パターンに適用するた
めには入力された多値画像パターンから２値画像パター
ンへ変換する必要があり、その際に細い線同士が接続し
てしまったり、背景領域と濃度の差が小さい文字領域が
削除されてしまうなどの問題があった。
の方向や接続関係、位置関係などの文字線構造を反映し
た特徴量が広く用いられているが、広告や新聞の見出し
などにみられる、特異なテクスチャで構成されているデ
ザイン処理された文字や、かすれ、つぶれ、文字背景雑
音などが激しい画像に対しては、これらの特徴量が大き
く変動してしまい、十分な認識精度を得ることがほとん
ど不可能であった。このため、認識処理に入る前に、こ
のようなテクスチャや雑音を画像処理によって取り除く
方法も試みられているが、文字線そのものをテクスチャ
の一部と判断して除去してしまったり、テクスチャの一
部を文字線だと判断してよごれのついた文字パターンを
結果として出力するなどの場合、やはり上記特徴量が変
動してしまい十分に認識できなかった。また、背景部分
の方が文字部分より黒っぽい白抜き文字などが混在した
文字列を認識することもほとんど不可能であった。ま
た、これらの問題を解決するために２値画像パターンを
対象に、テクスチャや雑音を取り除かずに認識を行う手
法も提案されているが、多値画像パターンに適用するた
めには入力された多値画像パターンから２値画像パター
ンへ変換する必要があり、その際に細い線同士が接続し
てしまったり、背景領域と濃度の差が小さい文字領域が
削除されてしまうなどの問題があった。
【０００５】一方、第２の手法では、多値画像パターン
の濃度分布を観測し、山線にあたるところを文字の心線
として抽出し、予め作成してある標準辞書内の各カテゴ
リごとの標準パターンの心線形状と比較する手法が知ら
れている。しかし、テクスチャなどの雑音が存在する場
合には、雑音部分を誤って文字線として抽出してしまう
ことや文字線を抽出し損ね、認識性能を劣化させる問題
があった。
の濃度分布を観測し、山線にあたるところを文字の心線
として抽出し、予め作成してある標準辞書内の各カテゴ
リごとの標準パターンの心線形状と比較する手法が知ら
れている。しかし、テクスチャなどの雑音が存在する場
合には、雑音部分を誤って文字線として抽出してしまう
ことや文字線を抽出し損ね、認識性能を劣化させる問題
があった。
【０００６】さらに、従来の文字認識技術または図形認
識技術の場合、標準辞書は大量の文字・図形データから
作成されることが一般的であるが、この大量データとＯ
ＣＲなどの利用者が入力するデータとのカテゴリ数、カ
テゴリごとの出現頻度、カテゴリ別に起きる変形の程度
などは、必ずしも一致しないため、利用者によっては予
想した認識性能が得られないという問題があった。その
ため、認識性能を向上させるために、マスクパターンを
追加することが考えられるが、現状では認識処理後に誤
認識やリジェクト文字などを逐次、目視によりマスクパ
ターンとして追加することが必要であり、利用者にとっ
ては大きな負担となっていた。
識技術の場合、標準辞書は大量の文字・図形データから
作成されることが一般的であるが、この大量データとＯ
ＣＲなどの利用者が入力するデータとのカテゴリ数、カ
テゴリごとの出現頻度、カテゴリ別に起きる変形の程度
などは、必ずしも一致しないため、利用者によっては予
想した認識性能が得られないという問題があった。その
ため、認識性能を向上させるために、マスクパターンを
追加することが考えられるが、現状では認識処理後に誤
認識やリジェクト文字などを逐次、目視によりマスクパ
ターンとして追加することが必要であり、利用者にとっ
ては大きな負担となっていた。
【０００７】
【発明が解決しようとする課題】上記のように、従来の
ＯＣＲをはじめとする認識処理技術は、デザイン文字、
かすれ、つぶれ、文字背景雑音、白抜き文字混在などの
多値化画像パターンを正しく認識できる手法が十分に確
立していなく、また認識性能を向上させるためのマスク
パターンの登録作業において利用者に大きな負担をかけ
ているという問題点があった。
ＯＣＲをはじめとする認識処理技術は、デザイン文字、
かすれ、つぶれ、文字背景雑音、白抜き文字混在などの
多値化画像パターンを正しく認識できる手法が十分に確
立していなく、また認識性能を向上させるためのマスク
パターンの登録作業において利用者に大きな負担をかけ
ているという問題点があった。
【０００８】本発明の目的は、以上のような多値画像パ
ターンの代表的な例である文字認識の従来の問題点に対
して、デザイン文字やかすれ、つぶれなどの激しい文字
変形に対処できる新規の類似度を導入することで、これ
らの雑音に強い多値パターン認識処理を実現することに
ある。さらに、本発明の他の目的は、従来のように識別
関係を用いて入力画像パターンと最も類似した文字や図
形カテゴリを出力する手法だけでなく、棄却されたパタ
ーンが発生した場合でも、該認識パターンを簡易な手段
で標準辞書に追加、登録でき、以後の認識処理では該認
識パターンを認識できる機能をもたせことにある。
ターンの代表的な例である文字認識の従来の問題点に対
して、デザイン文字やかすれ、つぶれなどの激しい文字
変形に対処できる新規の類似度を導入することで、これ
らの雑音に強い多値パターン認識処理を実現することに
ある。さらに、本発明の他の目的は、従来のように識別
関係を用いて入力画像パターンと最も類似した文字や図
形カテゴリを出力する手法だけでなく、棄却されたパタ
ーンが発生した場合でも、該認識パターンを簡易な手段
で標準辞書に追加、登録でき、以後の認識処理では該認
識パターンを認識できる機能をもたせことにある。
【０００９】
【課題を解決するための手段】本発明では、文字や図形
の入力多値画像パターンと予め作成してある文字や図形
の各カテゴリの多値マスクパターンとの間の類似度を、
互いの画素値の情報をもとに計算し、該類似度を適用し
て入力多値画像パターンのカテゴリを認識する。
の入力多値画像パターンと予め作成してある文字や図形
の各カテゴリの多値マスクパターンとの間の類似度を、
互いの画素値の情報をもとに計算し、該類似度を適用し
て入力多値画像パターンのカテゴリを認識する。
【００１０】具体的には、本発明では、識別関数として
テクスチャや雑音の乗った文字や白抜き文字混在の文字
列等に強い次の（１）式で示される新規の類似度Ｓ
g（Ｘ，Ｍjk）
テクスチャや雑音の乗った文字や白抜き文字混在の文字
列等に強い次の（１）式で示される新規の類似度Ｓ
g（Ｘ，Ｍjk）
【００１１】
【数２】
【００１２】但し、
Ｘ ：（ｘ1，ｘ2，…，ｘi，…，ｘn）なるｎ個の要
素をもつ入力多値画像パターン Ｍjk ：（ｍ1，ｍ2，…，ｍi，…，ｍn）なるｎ個の要
素をもつ、第ｊ文字又は図形カテゴリ（ｊ＝１，２，
…，Ｊ）のｋ番目（ｋ＝１，２，…，Ｋj）の多値マス
クパターン ｘi，ｍi：画像位置ｉ（＝１，２，…，ｎ）の画素値 Ａ ：ｎ個のｘiの総和 Ｂjk ：ｎ個のｍiの総和 Ｂsqjk：ｎ個の（ｍi×ｍi）の総和 Ｃjk ：ｎ個の（ｘi×ｍi）の総和 を導入し、この類似度を適用して入力多値画像パターン
の認識処理を行うことを特徴とする。
素をもつ入力多値画像パターン Ｍjk ：（ｍ1，ｍ2，…，ｍi，…，ｍn）なるｎ個の要
素をもつ、第ｊ文字又は図形カテゴリ（ｊ＝１，２，
…，Ｊ）のｋ番目（ｋ＝１，２，…，Ｋj）の多値マス
クパターン ｘi，ｍi：画像位置ｉ（＝１，２，…，ｎ）の画素値 Ａ ：ｎ個のｘiの総和 Ｂjk ：ｎ個のｍiの総和 Ｂsqjk：ｎ個の（ｍi×ｍi）の総和 Ｃjk ：ｎ個の（ｘi×ｍi）の総和 を導入し、この類似度を適用して入力多値画像パターン
の認識処理を行うことを特徴とする。
【００１３】さらに、本発明では、入力された多値画像
パターンの画素の値の情報をもとに上記類似度を適用し
て、反復学習により多値マスクパターンを新規作成・追
加・更新することを特徴とする。
パターンの画素の値の情報をもとに上記類似度を適用し
て、反復学習により多値マスクパターンを新規作成・追
加・更新することを特徴とする。
【００１４】
【発明の実施の形態】以下、本発明の一実施例について
図面により説明する。なお、以下の実施例では多値画像
パターンの代表例として文字パターンについて説明する
が、他の多値画像パターンについても同様に適用でき
る。
図面により説明する。なお、以下の実施例では多値画像
パターンの代表例として文字パターンについて説明する
が、他の多値画像パターンについても同様に適用でき
る。
【００１５】図１は、本発明の方法を適用する多値画像
パターンの認識処理装置の構成例を示すブロック図で、
１は多値画像パターン記憶回路、２は正規化処理回路、
３は多値マスクパターン記憶回路、４は認識判定回路、
５は多値マスクパターン作成回路、６は画像入出力装置
である。
パターンの認識処理装置の構成例を示すブロック図で、
１は多値画像パターン記憶回路、２は正規化処理回路、
３は多値マスクパターン記憶回路、４は認識判定回路、
５は多値マスクパターン作成回路、６は画像入出力装置
である。
【００１６】多値マスクパターン記憶回路１は、認識す
る文字の多値画像パターンを記憶している。該多値画像
パターンはｎ画素からなり、例えば画素の値は０.０か
ら１.０の間の正規化値で表される。
る文字の多値画像パターンを記憶している。該多値画像
パターンはｎ画素からなり、例えば画素の値は０.０か
ら１.０の間の正規化値で表される。
【００１７】正規化処理回路２は、多値画像パターン記
憶回路１から取り出されたｎ画素からなる多値画像パタ
ーンを入力し、例えば、従来から知られている重心と２
次モーメントを用いて位置および大きさの正規化処理を
行う。
憶回路１から取り出されたｎ画素からなる多値画像パタ
ーンを入力し、例えば、従来から知られている重心と２
次モーメントを用いて位置および大きさの正規化処理を
行う。
【００１８】多値マスクパターン記憶回路３は、入力多
値画像パターンの認識判定に用いる各カテゴリの多値マ
スクパターンを、予め各カテゴリ毎に一つあるいは複数
（一般には複数）記憶している。
値画像パターンの認識判定に用いる各カテゴリの多値マ
スクパターンを、予め各カテゴリ毎に一つあるいは複数
（一般には複数）記憶している。
【００１９】認識判定回路４は、正規化処理回路２から
正規化されたｎ画素の多値画像パターンを入力し、多値
マスクパターン記憶回路３の各カテゴリの多値マスクパ
ターン及び入力多値画像パターンの画素値の情報をもと
に、本発明で新規に導入した類似度を適用して認識また
は棄却を行い、認識結果を出力する。
正規化されたｎ画素の多値画像パターンを入力し、多値
マスクパターン記憶回路３の各カテゴリの多値マスクパ
ターン及び入力多値画像パターンの画素値の情報をもと
に、本発明で新規に導入した類似度を適用して認識また
は棄却を行い、認識結果を出力する。
【００２０】多値マスクパターン作成回路５は、画像入
出力装置６から得られる画像情報および正規化処理回路
２から追加・更新または新規作成カテゴリの正規化され
た多値画像パターンを入力して多値マスクパターンを作
成する。該多値マスクパターン作成回路５で作成された
多値マスクパターンが、多値マスクパターン記憶回路３
に新規に登録、あるいは、該多値マスクパターン記憶回
路３の内容に追加・更新される。
出力装置６から得られる画像情報および正規化処理回路
２から追加・更新または新規作成カテゴリの正規化され
た多値画像パターンを入力して多値マスクパターンを作
成する。該多値マスクパターン作成回路５で作成された
多値マスクパターンが、多値マスクパターン記憶回路３
に新規に登録、あるいは、該多値マスクパターン記憶回
路３の内容に追加・更新される。
【００２１】画像入出力装置６は、認識判定回路４から
出力される文字カテゴリ番号、類似度値、多値画像パタ
ーンなどの分類結果の情報を入力して表示したり、ま
た、例えば、オペレータがキーボードやマウスなどによ
って画像情報を入力し、表示するのに用いられる。さら
に、画像入出力装置６は、多値マスクパターン作成回路
５に多値マスクパターンの新規作成・追加・更新に必要
となる情報を送出するのに用いられる。
出力される文字カテゴリ番号、類似度値、多値画像パタ
ーンなどの分類結果の情報を入力して表示したり、ま
た、例えば、オペレータがキーボードやマウスなどによ
って画像情報を入力し、表示するのに用いられる。さら
に、画像入出力装置６は、多値マスクパターン作成回路
５に多値マスクパターンの新規作成・追加・更新に必要
となる情報を送出するのに用いられる。
【００２２】はじめに、図１の認識判定回路４におい
て、入力多値画像パターンを認識する処理について詳述
する。多値画像パターン記憶回路１から認識対象文字の
多値画像パターンが読み出され、正規化処理回路２にお
いて該文字画像パターンに対して位置および大きさの正
規化が行なわれた後、認識判定回路４に入力される。
て、入力多値画像パターンを認識する処理について詳述
する。多値画像パターン記憶回路１から認識対象文字の
多値画像パターンが読み出され、正規化処理回路２にお
いて該文字画像パターンに対して位置および大きさの正
規化が行なわれた後、認識判定回路４に入力される。
【００２３】ここで、正規化処理回路２で正規化された
文字画像パターンを正規化文字パターンＸとよぶことに
する。正規化文字パターンＸは、Ｘ＝（ｘ1，ｘ2，…，
ｘi，…ｘn）なるｎ個の要素をもつベクトルで表現で
き、各要素ｘiは画像位置ｉ（＝１，２，…，ｎ）の画
素値（例えばｘi＝０.０を白点、ｘi＝１.０を黒点、
０.０＜ｘi＜１．０を灰色点とする）を表わす。
文字画像パターンを正規化文字パターンＸとよぶことに
する。正規化文字パターンＸは、Ｘ＝（ｘ1，ｘ2，…，
ｘi，…ｘn）なるｎ個の要素をもつベクトルで表現で
き、各要素ｘiは画像位置ｉ（＝１，２，…，ｎ）の画
素値（例えばｘi＝０.０を白点、ｘi＝１.０を黒点、
０.０＜ｘi＜１．０を灰色点とする）を表わす。
【００２４】認識判定回路４は、正規化文字パターンＸ
に対して、多値マスクパターン記憶回路３の第ｊ文字カ
テゴリ（ｊ＝１，２，…，ｊ）のｋ番目（ｋ＝１，２，
…，ｋj）の多値マスクパターンＭjkと照合する。Ｍjk
は、Ｍjk＝（ｍ1，ｍ2，…，ｍi，…，ｍn）jkで表わす
と、各ｍiは多値をとり、例えばｍi＝０．０ならば白
点、ｍi＝１．０ならば黒点、０．０＜ｍi＜１．０なら
ば灰色点を表わす。
に対して、多値マスクパターン記憶回路３の第ｊ文字カ
テゴリ（ｊ＝１，２，…，ｊ）のｋ番目（ｋ＝１，２，
…，ｋj）の多値マスクパターンＭjkと照合する。Ｍjk
は、Ｍjk＝（ｍ1，ｍ2，…，ｍi，…，ｍn）jkで表わす
と、各ｍiは多値をとり、例えばｍi＝０．０ならば白
点、ｍi＝１．０ならば黒点、０．０＜ｍi＜１．０なら
ば灰色点を表わす。
【００２５】図２は、認識判定回路４において、正規化
文字パターンＸと多値マスクパターンＭjkとを照合して
認識判定する処理のフローチャートの一例を示したもの
である。
文字パターンＸと多値マスクパターンＭjkとを照合して
認識判定する処理のフローチャートの一例を示したもの
である。
【００２６】まず、正規化文字パターンＸの要素ｘiと
多値マスクパターンＭjkの要素ｍiとの間で、ｘiの総和
Ａ、ｍiの総和Ｂjk、（ｍi×ｍi）の総和Ｂsqjkおよ
び、（ｘi×ｍi）の総和Ｃjkを計数する（ステップ１０
１）。
多値マスクパターンＭjkの要素ｍiとの間で、ｘiの総和
Ａ、ｍiの総和Ｂjk、（ｍi×ｍi）の総和Ｂsqjkおよ
び、（ｘi×ｍi）の総和Ｃjkを計数する（ステップ１０
１）。
【００２７】次に、正規化文字パターンＸと多値マスク
パターンＭjkとの間の類似度Ｓg（Ｘ，Ｍjk）
パターンＭjkとの間の類似度Ｓg（Ｘ，Ｍjk）
【００２８】
【数３】
【００２９】を計算する（ステップ１０２）。ここで、
類似度Ｓg（Ｘ，Ｍjk）は、画素値（濃度）のみから求
まり、文字線の方向や接続関係などの文字構造に関する
特徴量を抽出しなくてすむため、特徴抽出の処理が容易
になり、しかも、かすれ、つぶれ、文字背景の雑音など
によって、これらの文字構造が変形しても認識性能に影
響を受けにくい特長をもっている。
類似度Ｓg（Ｘ，Ｍjk）は、画素値（濃度）のみから求
まり、文字線の方向や接続関係などの文字構造に関する
特徴量を抽出しなくてすむため、特徴抽出の処理が容易
になり、しかも、かすれ、つぶれ、文字背景の雑音など
によって、これらの文字構造が変形しても認識性能に影
響を受けにくい特長をもっている。
【００３０】次に、予め多値マスクパターン記憶回路３
に格納されている各多値マスクパターンの棄却しきい値
ｔjkを用いて認識、棄却判定処理を行なう（ステップ１
０３）。ここで、Ｓg（Ｘ，Ｍjk）≧ｔjkを満たす文字
カテゴリｊがただ１個のカテゴリしか存在しない場合、
入力文字は文字カテゴリｊに認識できたと判定する（ス
テップ１０４）。それ以外の場合は、入力文字は棄却と
判定する（ステップ１０５）。
に格納されている各多値マスクパターンの棄却しきい値
ｔjkを用いて認識、棄却判定処理を行なう（ステップ１
０３）。ここで、Ｓg（Ｘ，Ｍjk）≧ｔjkを満たす文字
カテゴリｊがただ１個のカテゴリしか存在しない場合、
入力文字は文字カテゴリｊに認識できたと判定する（ス
テップ１０４）。それ以外の場合は、入力文字は棄却と
判定する（ステップ１０５）。
【００３１】なお、上記の認識処理では、類似度Ｓ
g（Ｘ，Ｍjk）の絶対値｜Ｓg（Ｘ，Ｍjk）｜を識別関係
に用いてもよい。この｜Ｓg（Ｘ，Ｍjk）｜は、かす
れ、つぶれ、文字背景の雑音だけでなく、文字部の濃度
が背景部の濃度より濃い画像パターンから作成した多値
マスクパターンを用いても、文字部の濃度が背景部の濃
度より薄い画像パターン、いわゆる白抜き文字について
のかすれ、つぶれ、背景背景の雑音などに対しても高い
認識性能をもつ特長がある。
g（Ｘ，Ｍjk）の絶対値｜Ｓg（Ｘ，Ｍjk）｜を識別関係
に用いてもよい。この｜Ｓg（Ｘ，Ｍjk）｜は、かす
れ、つぶれ、文字背景の雑音だけでなく、文字部の濃度
が背景部の濃度より濃い画像パターンから作成した多値
マスクパターンを用いても、文字部の濃度が背景部の濃
度より薄い画像パターン、いわゆる白抜き文字について
のかすれ、つぶれ、背景背景の雑音などに対しても高い
認識性能をもつ特長がある。
【００３２】以下に、認識判定処理の具体例を図３によ
り説明する。図３は、ｎ＝１６（画素）、２文字カテゴ
リ（ｊ＝１，２），Ｋ1＝１，Ｋ2＝２の場合の正規化文
字パターンＸと多値マスクパターンＭjkとの例を示した
ものである。１１は多値マスクパターンＭ11（第１文字
カテゴリの第１番目の多値マスクパターン）である。１
２は多値マスクパターンＭ21（第２文字カテゴリの第１
番目の多値マスクパターン）である。１３は多値マスク
パターンＭ 22 （第２文字カテゴリの第２番目の多値マス
クパターン）である。２４および２５は正規化文字パタ
ーンＸの２つのパターン例である。なお、２５は２４の
正規化文字パターンの濃度値を反転した、いわゆる白抜
き文字パターンを示したものである。
り説明する。図３は、ｎ＝１６（画素）、２文字カテゴ
リ（ｊ＝１，２），Ｋ1＝１，Ｋ2＝２の場合の正規化文
字パターンＸと多値マスクパターンＭjkとの例を示した
ものである。１１は多値マスクパターンＭ11（第１文字
カテゴリの第１番目の多値マスクパターン）である。１
２は多値マスクパターンＭ21（第２文字カテゴリの第１
番目の多値マスクパターン）である。１３は多値マスク
パターンＭ 22 （第２文字カテゴリの第２番目の多値マス
クパターン）である。２４および２５は正規化文字パタ
ーンＸの２つのパターン例である。なお、２５は２４の
正規化文字パターンの濃度値を反転した、いわゆる白抜
き文字パターンを示したものである。
【００３３】はじめに、２４の正規化文字パターンＸと
１１〜１３の各多値マスクパターンＭjkと照合する場合
を説明する。２４の正規化文字パターンＸに対して、式
(１)の類似度Ｓg（Ｘ，Ｍjk）の値を計算する。ここ
で、２４の正規化文字パターンＸと１１〜１３の各多値
マスクパターンとの類似度Ｓgは、 Ｓg（Ｘ，Ｍ11）＝１.８ Ｓg（Ｘ，Ｍ21）＝３.６ Ｓg（Ｘ，Ｍ22）＝３.１ となる。ここで、ｔ21＝３.５とすると、Ｓg（Ｘ，
Ｍ21）≧３.５を満たす文字カテゴリｊ＝２がただ１個
しか存在しないため、第２文字カテゴリが認識結果とな
る。
１１〜１３の各多値マスクパターンＭjkと照合する場合
を説明する。２４の正規化文字パターンＸに対して、式
(１)の類似度Ｓg（Ｘ，Ｍjk）の値を計算する。ここ
で、２４の正規化文字パターンＸと１１〜１３の各多値
マスクパターンとの類似度Ｓgは、 Ｓg（Ｘ，Ｍ11）＝１.８ Ｓg（Ｘ，Ｍ21）＝３.６ Ｓg（Ｘ，Ｍ22）＝３.１ となる。ここで、ｔ21＝３.５とすると、Ｓg（Ｘ，
Ｍ21）≧３.５を満たす文字カテゴリｊ＝２がただ１個
しか存在しないため、第２文字カテゴリが認識結果とな
る。
【００３４】次に、２４の正規化文字パターンＸを濃度
反転した白抜き文字パターンの例として、２５の正規化
文字パターンＸの場合を説明する。この場合、識別関係
として式（１）の類似度Ｓg（Ｘ，Ｍjk）の絶対値｜Ｓg
（Ｘ，Ｍjk）｜を用いた場合、２５の正規化文字パター
ンＸと１１〜１３の各多値マスクパターンとの類似度｜
Ｓg｜は ｜Ｓg（Ｘ，Ｍ11）｜＝１.８ ｜Ｓg（Ｘ，Ｍ21）｜＝３.６ ｜Ｓg（Ｘ，Ｍ22）｜＝３.１ となり、１２の多値マスクパターンＭ21が最も類似度が
高くなる。ここで、ｔ21＝３.５とすると、Ｓg（Ｘ，Ｍ
21）≧３.５を満たす文字カテゴリｊ＝２がただ１個し
か存在しないため、２４の正規化文字パターンＸの濃度
反転パターン２５に対しても、同様に第２文字カテゴリ
が認識結果となる。
反転した白抜き文字パターンの例として、２５の正規化
文字パターンＸの場合を説明する。この場合、識別関係
として式（１）の類似度Ｓg（Ｘ，Ｍjk）の絶対値｜Ｓg
（Ｘ，Ｍjk）｜を用いた場合、２５の正規化文字パター
ンＸと１１〜１３の各多値マスクパターンとの類似度｜
Ｓg｜は ｜Ｓg（Ｘ，Ｍ11）｜＝１.８ ｜Ｓg（Ｘ，Ｍ21）｜＝３.６ ｜Ｓg（Ｘ，Ｍ22）｜＝３.１ となり、１２の多値マスクパターンＭ21が最も類似度が
高くなる。ここで、ｔ21＝３.５とすると、Ｓg（Ｘ，Ｍ
21）≧３.５を満たす文字カテゴリｊ＝２がただ１個し
か存在しないため、２４の正規化文字パターンＸの濃度
反転パターン２５に対しても、同様に第２文字カテゴリ
が認識結果となる。
【００３５】なお、この他にも、最大類似度の文字カテ
ゴリと第２位の文字カテゴリとの間で、両者の類似度の
差をもとに棄却判定を行う処理を含めることも可能であ
る。
ゴリと第２位の文字カテゴリとの間で、両者の類似度の
差をもとに棄却判定を行う処理を含めることも可能であ
る。
【００３６】次に、図１の多値マスクパターン作成回路
５において、入力した多値画像パターンの中で、誤認識
した文字や未学習の文字等から多値マスクパターンを新
規に作成し、多値マスクパターン記憶回路３の内容を新
規作成・追加・更新する処理について、２つの実施例を
説明する。
５において、入力した多値画像パターンの中で、誤認識
した文字や未学習の文字等から多値マスクパターンを新
規に作成し、多値マスクパターン記憶回路３の内容を新
規作成・追加・更新する処理について、２つの実施例を
説明する。
【００３７】＜実施例１＞
これは、入力画像パターン（サンプルパターン）の画素
の濃度の情報をもとに、式（１）の類似度Ｓgを用い
て、反復学習により各文字カテゴリの多値マスクパター
ンを新規作成する例である。
の濃度の情報をもとに、式（１）の類似度Ｓgを用い
て、反復学習により各文字カテゴリの多値マスクパター
ンを新規作成する例である。
【００３８】まず、画像入出力装置６から、新規に作成
すべき文字カテゴリ（第ｊ文字カテゴリとする）に関す
る情報が多値マスクパターン作成回路５に入力される。
多値マスクパターン作成回路５は入力画像に対して、学
習すべき文字カテゴリｊ＝１，２，…，Ｊの各文字カテ
ゴリについて、以下のステップでＫj個の多値マスクパ
ターンＭj1，Ｍj2，…，ＭjＫjを作成する。
すべき文字カテゴリ（第ｊ文字カテゴリとする）に関す
る情報が多値マスクパターン作成回路５に入力される。
多値マスクパターン作成回路５は入力画像に対して、学
習すべき文字カテゴリｊ＝１，２，…，Ｊの各文字カテ
ゴリについて、以下のステップでＫj個の多値マスクパ
ターンＭj1，Ｍj2，…，ＭjＫjを作成する。
【００３９】（ステップ１）
新規に作成すべき第ｊ文字カテゴリの多値マスクパター
ンの個数をＫj＝ｈとする。第ｊ文字カテゴリに属する
Ｎj個の入力画像パターン（正規化文字パターン）Ｘ1，
Ｘ2，…，ＸNjについて、各画素位置ｉごとに平均画素
値を求め、それを多値マスクパターンの画素値として多
値マスクパターンＭjlを作成する。また、それらの入力
画像パターン(正規化文字パターン)Ｘ1，Ｘ2，…，ＸNj
に対して多値マスクパターンＭj1の作成に用いたパター
ンとしてラベルｊｌを割り当てる。新規に作成すべき文
字カテゴリすべてについて、上記処理を行う。
ンの個数をＫj＝ｈとする。第ｊ文字カテゴリに属する
Ｎj個の入力画像パターン（正規化文字パターン）Ｘ1，
Ｘ2，…，ＸNjについて、各画素位置ｉごとに平均画素
値を求め、それを多値マスクパターンの画素値として多
値マスクパターンＭjlを作成する。また、それらの入力
画像パターン(正規化文字パターン)Ｘ1，Ｘ2，…，ＸNj
に対して多値マスクパターンＭj1の作成に用いたパター
ンとしてラベルｊｌを割り当てる。新規に作成すべき文
字カテゴリすべてについて、上記処理を行う。
【００４０】（ステップ２）
全入力画像パターンＸtについて、全文字カテゴリの全
多値マスクパターンＭjkとの間で類似度Ｓg（Ｘ，
Ｍjk）を計算し、最大類似度をもつＭlhを求める。次
に、全入力画像パターンＸｔについて、もし、ｌ（エ
ル）＝ｊならば、Ｘtは第ｊ文字カテゴリに正しく認識
できたと判定して、新たにラベルｊｈを割り当てる。さ
もなければ、Ｘtは誤認識したと判定して、新たにラベ
ルｊｅを割り当てる。この処理終了後に、もし、全入力
画像パターンＸtについて、誤認識したと判定されたＸt
（ラベルｊｅの入力画像パターン）がなければ終了す
る。さもなければ、ステップ３へ進む。
多値マスクパターンＭjkとの間で類似度Ｓg（Ｘ，
Ｍjk）を計算し、最大類似度をもつＭlhを求める。次
に、全入力画像パターンＸｔについて、もし、ｌ（エ
ル）＝ｊならば、Ｘtは第ｊ文字カテゴリに正しく認識
できたと判定して、新たにラベルｊｈを割り当てる。さ
もなければ、Ｘtは誤認識したと判定して、新たにラベ
ルｊｅを割り当てる。この処理終了後に、もし、全入力
画像パターンＸtについて、誤認識したと判定されたＸt
（ラベルｊｅの入力画像パターン）がなければ終了す
る。さもなければ、ステップ３へ進む。
【００４１】（ステップ３）
まず、第ｊ文字カテゴリの全入力画像パターンＸtにつ
いて、もし、ラベルｊｈを割り当てられている入力画像
パターンが１つ以上存在すれば、これらの入力画像パタ
ーンについてステップ１と同様の手順で新しい多値マス
クパターンＭjhを作成し、ｈ＝ｈ＋１とおく。次に、も
し、ラベルｊｅを割り当てられている入力画像パターン
が１つ以上存在するならば、これらの入力画像パターン
についてステップ１と同様の手順で、一時的な多値マス
クパターンＭjeを作成し、すべてのＸ t とＭ je との間で
類似度Ｓg（Ｘt，Ｍje）を計算し、最大類似度をもつ入
力画像パターンＸsを新規の多値マスクパターンＭjhと
し、ｈ＝ｈ＋１とおく。第ｊ文字カテゴリについて新し
い多値マスクパターンの個数をＫj＝ｈとおく。
いて、もし、ラベルｊｈを割り当てられている入力画像
パターンが１つ以上存在すれば、これらの入力画像パタ
ーンについてステップ１と同様の手順で新しい多値マス
クパターンＭjhを作成し、ｈ＝ｈ＋１とおく。次に、も
し、ラベルｊｅを割り当てられている入力画像パターン
が１つ以上存在するならば、これらの入力画像パターン
についてステップ１と同様の手順で、一時的な多値マス
クパターンＭjeを作成し、すべてのＸ t とＭ je との間で
類似度Ｓg（Ｘt，Ｍje）を計算し、最大類似度をもつ入
力画像パターンＸsを新規の多値マスクパターンＭjhと
し、ｈ＝ｈ＋１とおく。第ｊ文字カテゴリについて新し
い多値マスクパターンの個数をＫj＝ｈとおく。
【００４２】新規に作成すべきすべての文字カテゴリに
ついて、この処理を繰り返し、新しい多値マスクパター
ンを多値マスクパターン記憶回路３に記憶する。そし
て、ステップ２に戻る。
ついて、この処理を繰り返し、新しい多値マスクパター
ンを多値マスクパターン記憶回路３に記憶する。そし
て、ステップ２に戻る。
【００４３】＜実施例２＞
これは、式（１）の類似度Ｓgを用いる照合は実施例１
と同様であるが、棄却や誤認識した文字や未学習文字の
画像パターンを用いて多値マスクパターンを追加・更新
する例である。
と同様であるが、棄却や誤認識した文字や未学習文字の
画像パターンを用いて多値マスクパターンを追加・更新
する例である。
【００４４】まず、画像入出力装置６から更新すべき文
字カテゴリ（第ｊ文字カテゴリとする）に関する情報が
多値マスクパターン作成回路５に入力される。多値マス
クパターン作成回路５は正規化処理回路２から得られる
入力画像パターンに対して、更新すべき文字カテゴリｊ
＝１，２，…，Ｊの各文字カテゴリについて、以下のス
テップで多値マスクパターンを更新する。
字カテゴリ（第ｊ文字カテゴリとする）に関する情報が
多値マスクパターン作成回路５に入力される。多値マス
クパターン作成回路５は正規化処理回路２から得られる
入力画像パターンに対して、更新すべき文字カテゴリｊ
＝１，２，…，Ｊの各文字カテゴリについて、以下のス
テップで多値マスクパターンを更新する。
【００４５】（ステップ１）これは、実施例１のステップ２に対応する。
更新前の第
ｊ文字カテゴリの多値マスクパターンの個数をＫjとす
る。更新すべき全入力画像パターンＸtについて、全文
字カテゴリの全多値マスクパターンＭjk（ｊ＝１，２，
…，Ｊ）（ｋ＝１，２，…Ｋj）との間で類似度Ｓg（Ｘ
t，Ｍjk）を計算し、最大類似度をもつＭlhを求める。
いま、入力画像パターンＸtが第ｊ文字カテゴリに属す
るとする。もし、ｌ≠ｊならば、Ｘtは誤認識したと判
定して、新たにラベルｊｅを割り当てる。更新すべき全
文字カテゴリについて、この処理終了後に、もし、全入
力画像パターンＸtについて、誤認識したと判定するＸt
がなければ、終了する。さもなければ、ステップ２へい
く。
ｊ文字カテゴリの多値マスクパターンの個数をＫjとす
る。更新すべき全入力画像パターンＸtについて、全文
字カテゴリの全多値マスクパターンＭjk（ｊ＝１，２，
…，Ｊ）（ｋ＝１，２，…Ｋj）との間で類似度Ｓg（Ｘ
t，Ｍjk）を計算し、最大類似度をもつＭlhを求める。
いま、入力画像パターンＸtが第ｊ文字カテゴリに属す
るとする。もし、ｌ≠ｊならば、Ｘtは誤認識したと判
定して、新たにラベルｊｅを割り当てる。更新すべき全
文字カテゴリについて、この処理終了後に、もし、全入
力画像パターンＸtについて、誤認識したと判定するＸt
がなければ、終了する。さもなければ、ステップ２へい
く。
【００４６】（ステップ２）これは、実施例１のステップ３において、ラベルｊｅが
割り当てられた入力画像パターンについての処理に対応
する。 ラベルｊｅが割り当てられた入力画像パターンＸ
tすべてについて、実施例１のステップ１と同様の手順
で、一時的な多値マスクパターンＭjeを作成し、すべて
のＸtとＭjeとの間で類似度Ｓg（Ｘt，Ｍje）を計算
し、最大類似度をもつ入力画像パターンＸsを追加すべ
き多値マスクパターンＭj（Ｋj＋１）として多値マスク
パターン記憶回路３に記憶する。また、Ｋj＝Ｋj＋１と
おき、ステップ１に戻る。
割り当てられた入力画像パターンについての処理に対応
する。 ラベルｊｅが割り当てられた入力画像パターンＸ
tすべてについて、実施例１のステップ１と同様の手順
で、一時的な多値マスクパターンＭjeを作成し、すべて
のＸtとＭjeとの間で類似度Ｓg（Ｘt，Ｍje）を計算
し、最大類似度をもつ入力画像パターンＸsを追加すべ
き多値マスクパターンＭj（Ｋj＋１）として多値マスク
パターン記憶回路３に記憶する。また、Ｋj＝Ｋj＋１と
おき、ステップ１に戻る。
【００４７】ここで、第１および第２の実施例では、識
別関係に式（１）の類似度Ｓgを用いた場合の例を述べ
たが、識別関係としては、類似度Ｓgの絶対値を用いる
ことも可能である。
別関係に式（１）の類似度Ｓgを用いた場合の例を述べ
たが、識別関係としては、類似度Ｓgの絶対値を用いる
ことも可能である。
【００４８】さらに、以上の説明では文字を中心に示し
たが、文字以外の図形、チエックシートなどの一般の多
値パターンについても同様に適用可能である。
たが、文字以外の図形、チエックシートなどの一般の多
値パターンについても同様に適用可能である。
【００４９】
【発明の効果】請求項１の発明によれば、画像パターン
の画素値の情報に着目して新規の類似度を導入し、入力
多値画像パターンを認識することにより、文字認識の従
来手法のように、文字線の方向や接続関係などの文字線
構造に関する特徴量を抽出しなくてすむため、特徴抽出
の処理が簡単になり、しかも、かすれ、つぶれ、文字背
景の雑音だけでなく、文字部を黒点、背景を白点として
構成される、いわゆる白抜き文字についても、高い認識
性能をもつ利点がある。
の画素値の情報に着目して新規の類似度を導入し、入力
多値画像パターンを認識することにより、文字認識の従
来手法のように、文字線の方向や接続関係などの文字線
構造に関する特徴量を抽出しなくてすむため、特徴抽出
の処理が簡単になり、しかも、かすれ、つぶれ、文字背
景の雑音だけでなく、文字部を黒点、背景を白点として
構成される、いわゆる白抜き文字についても、高い認識
性能をもつ利点がある。
【００５０】請求項２の発明によれば、誤認識する入力
多値画像パターンについても、多値マスクパターンの追
加・更新を行うことで、以後これらの誤認識パターンを
認識できるようになり、容易に標準辞書の更新が可能と
なり、使えば使うほど認識性能が向上していく利点があ
る。
多値画像パターンについても、多値マスクパターンの追
加・更新を行うことで、以後これらの誤認識パターンを
認識できるようになり、容易に標準辞書の更新が可能と
なり、使えば使うほど認識性能が向上していく利点があ
る。
【図１】本発明による多値画像パターンの認識処理装置
の構成例を示すブロック図である。
の構成例を示すブロック図である。
【図２】本発明による入力多値画像パターンのカテゴリ
の判定処理の一例のフローチャートである。
の判定処理の一例のフローチャートである。
【図３】本発明による具体的判定処理を説明するための
パターン例を示す図である。
パターン例を示す図である。
１ 多値画像パターン記憶回路
２ 正規化処理回路
３ 多値マスクパターン記憶回路
４ 認識判定回路
５ 多値マスクパターン作成回路
６ 画像入出力装置
フロントページの続き
(56)参考文献 特開 平７−282199（ＪＰ，Ａ)
特開 昭61−40675（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06K 9/00 - 9/76
Claims (2)
- 【請求項１】 文字や図形の入力多値画像パターンの認
識処理方法であって、入力多値画像パターンと予め作成
してある文字や図形の各カテゴリの多値マスクパターン
との間の類似度Ｓ g （Ｘ，Ｍ jk ）を次式 【数１】 但し、 Ｘ ：（ｘ1，ｘ2，…，ｘi，…，ｘn）なるｎ個の要
素をもつ入力多値画像パターン Ｍjk ：（ｍ1，ｍ2，…，ｍi，…，ｍn）なるｎ個の要
素をもつ、第ｊ文字又は図形カテゴリ（ｊ＝１，２，
…，Ｊ）のｋ番目（ｋ＝１，２，…，Ｋj）の多値マス
クパターン ｘi，ｍi：画像位置ｉ（＝１，２，…，ｎ）の画素値 Ａ ：ｎ個のｘiの総和 Ｂjk ：ｎ個のｍiの総和 Ｂsqjk：ｎ個の（ｍi×ｍi）の総和 Ｃjk ：ｎ個の（ｘi×ｍi）の総和で計算し、該類似度Ｓ g （Ｘ，Ｍ jk ）とその絶対値｜Ｓ g
（Ｘ，Ｍ jk ）｜の一方または両方を適用して、 入力多値
画像パターンのカテゴリを認識することを特徴とする多
値画像パターンの認識処理方法。 - 【請求項２】 請求項１記載の多値画像パターンの認識
処理方法において、入力された多値画像パターンの画素
値の情報をもとに、類似度Ｓ g （Ｘ，Ｍ jk ）とその絶対
値｜Ｓ g （Ｘ，Ｍ jk ）｜の一方または両方を適用し、反
復学習により多値マクスパターンを新規作成・追加・更
新することを特徴とする多値画像パターンの認識処理方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07208297A JP3463255B2 (ja) | 1997-03-25 | 1997-03-25 | 多値画像パターンの認識処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07208297A JP3463255B2 (ja) | 1997-03-25 | 1997-03-25 | 多値画像パターンの認識処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10269322A JPH10269322A (ja) | 1998-10-09 |
| JP3463255B2 true JP3463255B2 (ja) | 2003-11-05 |
Family
ID=13479140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07208297A Expired - Fee Related JP3463255B2 (ja) | 1997-03-25 | 1997-03-25 | 多値画像パターンの認識処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3463255B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100319151B1 (ko) * | 1999-02-01 | 2002-01-05 | 구자홍 | 다중레벨 이미지 데이터 생성 방법과 다중레벨 이미지 데이터를 이용한 이미지 검색방법 |
-
1997
- 1997-03-25 JP JP07208297A patent/JP3463255B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10269322A (ja) | 1998-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8644616B2 (en) | Character recognition | |
| Gatos et al. | Automatic table detection in document images | |
| Althobaiti et al. | A survey on Arabic optical character recognition and an isolated handwritten Arabic character recognition algorithm using encoded freeman chain code | |
| Hossain et al. | Recognition and solution for handwritten equation using convolutional neural network | |
| Anugrah et al. | Latin letters recognition using optical character recognition to convert printed media into digital format | |
| Jannoud | Automatic Arabic handwritten text recognition system | |
| JP2997403B2 (ja) | 手書き文字の認識方法および装置 | |
| Chhabra et al. | High-order statistically derived combinations of geometric features for handprinted character recognition | |
| JP3463255B2 (ja) | 多値画像パターンの認識処理方法 | |
| Ajao et al. | Yoruba handwriting word recognition quality evaluation of preprocessing attributes using information theory approach | |
| Omachi et al. | Structure extraction from decorated characters using multiscale images | |
| Li et al. | Character recognition under severe perspective distortion | |
| JPH0737041A (ja) | パターン認識方法 | |
| Sahu et al. | A survey on handwritten character recognition | |
| Radhi | Text Recognition using Image Segmentation and Neural Network | |
| Alginaih et al. | Multistage hybrid Arabic/Indian numeral OCR system | |
| Rodrigues et al. | Character feature extraction using polygonal projection sweep (contour detection) | |
| Shanthi et al. | Preprocessing algorithms for the recognition of Tamil handwritten characters | |
| Parker | Vector templates and handprinted digit recognition | |
| Parker et al. | Vector templates for symbol recognition | |
| Kawtrakul et al. | Multifeature extraction for printed thai character recognition | |
| Graf et al. | Analysis of complex and noisy check images | |
| JP3446794B2 (ja) | 文字認識における多角形近似法および文字認識装置 | |
| Yadav et al. | Offline Handwritten Character Recognition using Neural Networks | |
| Ibiyemi et al. | ROBUST FEATURE-BASED RECOGNITION OF PRINTED COMPREHENSIVE HAUSA CHARACTERS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080822 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080822 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090822 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |