JPH05258058A - 位置サンプリングに基づく画像分析 - Google Patents
位置サンプリングに基づく画像分析Info
- Publication number
- JPH05258058A JPH05258058A JP4197252A JP19725292A JPH05258058A JP H05258058 A JPH05258058 A JP H05258058A JP 4197252 A JP4197252 A JP 4197252A JP 19725292 A JP19725292 A JP 19725292A JP H05258058 A JPH05258058 A JP H05258058A
- Authority
- JP
- Japan
- Prior art keywords
- image
- box
- data
- skew
- positions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/184—Extraction of features or characteristics of the image by analysing segments intersecting the pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Character Input (AREA)
Abstract
似ランダムなサンプリングで画像の特性を測定する画像
処理手法を提供する。 【構成】 スキュー、タイプフェイス、文字サイズやス
ペース配分といった属性についての情報は、いくつかの
抽出位置の特性を測定し、結果を結合して画像の特性の
測定値を得ることで得ることができる。抽出する位置の
数は画像内の位置の数よりも少ないが、統計的に有意義
な程度を達成するのに十分なものとする。抽出する位置
は、候補位置を示すランダムないし疑似ランダム数を得
て、候補位置は測定に適切な開始点かどうかを判定する
基準を適用することにより選択することができる。測定
値はエッジへの距離のように、いくつかの各々の方向の
各々の抽出する位置からの距離を示すことができる。そ
の距離を結合して、平均化等を行って分布を示すデータ
を得ることができる。画像は、各々が測定している特性
の際だった値を有するセグメントに分割することができ
る。
Description
ボレスR.C.(Bolles, R.C.)「ランダムサンプルコンセン
サス(Random Sample Consensus) :画像分析および自動
化地図製作に対するアプリケーションでのモデル適合パ
ラダイム(A Paradigm for Model Fitting with Applica
tions to Image Analysis and Automated Cartograph
y)」ACMコミュニケーションズ(Communications of t
he ACM) 、24巻、第6号1981年6月、pp.381-395には、
実験データに対しモデルを適合するパラダイムが説明さ
れている。
ムないし疑似ランダムに抽出することにより画像の特性
を測定する画像処理手法を提供する。全ての画像位置に
関した画像特性を測定する代わりに、この手法では画像
位置のランダムないし疑似ランダムに選択した小集合に
関した画像特性を測定する。そしてその結果を組み合わ
せて画像の画像特性を測定するデータを得る。
基本的な問題に対処する。すなわち従来の画像分析手法
では、画像を画素に分割し、画像の全ての画素を定義す
るデータを操作している。しかし一般的に画像は非常に
多くの画素を含んでおり、この方法は計算的に高価であ
る。
法の発見に基づいている。この手法は画像内のいくつか
の位置あるいは画像のセグメントをランダムないし疑似
ランダムに抽出するものである(以下その抽出する位置
を「サンプル集合」と称する)。従ってこの手法により
画像の全ての位置を定義するデータを操作せずに、画像
特性を全体として測定することができる。
から生じることがあるエイリアジングを防ぐことができ
る。例えば位置を規則的ないし一定のパターンで選択す
る場合、画像内の規則性ないし一定性を発生する特徴
は、その発生がサンプル集合内の位置で発生していない
あるいはサンプル集合内の全位置で発生するが他の位置
では発生しないといったパターンで発生する場合は、無
視あるいは誤って解釈されることがある。
番号をランダムないし疑似ランダムに生成し、次に示さ
れた位置の特性を測定することにより実施することがで
きる。次に別の番号を生成し、別の位置について特性を
測定すること次々に行う。抽出した位置の測定を組み合
わせると画像の特性の測定値を得ることができる。
性を測定する抽出結果データを生成する操作で行うこと
ができる。各々の位置の抽出結果データは、位置に関し
た情報を提供する1つ以上のデータ項目の集合となる
(以下それを「結果集合」と称する)。例えば結果集合
には、位置から延長しているいくつかの方向の各々のデ
ータ項目を含めることができ、その各々の方向のデータ
項目は、その方向で画像が基準を満たす最も近い位置へ
の距離を示す値とすることができる。
結合すると、画像の結合結果データを得ることができ
る。例えば上記のように結果集合を得ることができ、各
々の結果集合はいくつかの方向の各々のデータ項目を含
み、各々の方向のデータ項目はその方向の距離を示して
いると、その方向のデータ項目を平均化することにより
結合データ項目を各々の方向に対して得ることができ
る。
の測定では如何に冗長データが生成され得るかを示すあ
る画像部分の略図である。
の測定で冗長データが生成され得ることを別の方法で示
すある画像部分の略図である。
を測定する全般的な過程を示すフロー図である。
う際の全体的な過程を示すフロー図である。
う際の全体的な過程を示すフロー図である。
測定できるように画像をセグメント化する際の全般的な
過程を示すフロー図である。
より特性が測定される画像処理を実施するシステムの構
成部分を示す略ブロック図である。
グメントに対して特性を測定することにより画像の特性
を測定する過程を示すフロー図である。
出することにより画像の特性を測定する過程を示すフロ
ー図である。
際の過程を示すフロー図である。
た構成部分のエッジの間の距離を測定することによりス
キューの近似を得る過程を示すフロー図である。
似の周りの方向に対する特性画素数の分散を得ることに
よりスキューのより正確な近似を得る過程を示すフロー
図である。
1、図12の手法を共に使用できる方法を示すフロー図
である。
ominant)なタイプフェイスを測定する過程を示すフロー
図である。
ズを測定あるいはスペース配分をランダムな抽出により
測定する過程を示すフロー図である。
性を測定する並列プロセッサを含むシステムの略ブロッ
ク図である。
性を測定する並列プロセッサを含む複写機の略ブロック
図である。
することができる。図1は画像の近接した位置は、近く
の連結した構成部分に関し如何に類似した特性を有する
かを示したものである。図2は同様に、画像の連結した
構成部分の近接した位置は、連結した構成部分のエッジ
に関し如何に類似した特性を有するかを示している。図
3は画像の位置を抽出して画像の特性を測定する方法を
示している。図4は逐次マシン上のサンプル集合内の位
置の特性の測定方法を示し、図5は並列マシン上でのサ
ンプル集合内の位置の測定方法を示している。図6は画
像を測定している特性の際だった値を各々有する小さい
画像にセグメント化する方法を示している。
を測定できるものに関した近接位置である。例示した画
像特性は、最も近い連結構成部分の白領域にわたる方向
θ1の距離である。図から分かるように、全ての3つの
位置10,12,14に対する方向θ1 の最も近い連結
構成部分は構成部分20である。位置10から構成部分
20のエッジ上の位置22への距離はデータ1であり、
位置12から位置24はデータ2であり、位置14から
位置26はデータ3である。データ1、データ2、デー
タ3は各々互いに異なるが、それらの相違は比較的小さ
い。非常に小さい測定単位を使用しない限り、位置1
0,12,14の画像特性は同一である。従って3つの
全ての位置に関する特性を測定するは、冗長データがも
たらされることになる。
結構成部分50の近接位置である。例示した画像特性
は、連結構成部分50の最も近いエッジに対する黒色領
域にわたる方向θ2の距離である。位置40から構成部
分50のエッジ上の位置52の距離はデータ4で、位置
42から位置54はデータ5、位置44から位置56は
データ6である。データ4、データ5、データ6も互い
に異なるが、それらの間の相違は比較的小さく、3つの
全位置に関して特性を測定するとこれも冗長データをも
たらすことになる。
することにより画像の特性を測定する際の全般的な過程
を示している。この手法を用いると、図1と図2で説明
した冗長測定を削減できる。ボックス70のステップで
はサンプル集合位置の特性を測定する。ボックス72の
ステップでは次にボックス70からの結果を結合して画
像の特性の測定値を得る。
イプの冗長性を削減するが、サンプル集合位置を規則性
ないし一定性のパターンで選択する場合は、エイリアジ
ングを受ける。画像の規則性ないし一定性を発生する特
徴は、その発生がサンプル集合内の位置では発生してい
ないあるいはサンプル集合内の全位置で発生するが他の
位置では発生しないといったパターンで生じる場合は、
無視あるいは誤った解釈されることがある。例えば全て
のn番目の位置を規則的に抽出すると、画像の特徴がn
位置離れた間隔で生じる場合はエイリアジングをもたら
す結果になることがある。エイリアジング問題は、サン
プル集合位置をランダムないし疑似ランダムに選択する
ことで避けることができる。
逐次マシン上でランダムな選択で実施する方法を示して
いる。ボックス90のステップは抽出する画像の位置を
示す位置データをランダムに生成することで始める。ボ
ックス92のステップでは次に、表示された位置はサン
プル集合基準を満たすかどうかに基づいて分岐する。満
たさなければ、ボックス90のステップが再び行われる
が、表示された位置が基準を満たせばボックス94のス
テップで位置に関した画像特性を測定する。ボックス9
6のステップでは次に、画像の特性を測定するのに十分
な位置が抽出されたかどうかに基づいて分岐する。十分
でなければボックス90のステップが再び行われる。
を、画像内の各々の位置が、位置のデータ項目を局所メ
モリに記憶する各々の処理装置を有する並列マシンでラ
ンダムな選択で行う方法を示している。ボックス110
のステップでは、各々の処理装置が、その位置がサンプ
ル集合基準を満たすか、そしてその位置に関した画像特
性の測定結果を示すデータをもたらすかを示す基準デー
タを生成するように、処理装置を並列に作動する。この
ステップを行う際、処理装置は他の処理装置と交信して
必要なデータを得ることができる。ボックス112のス
テップでは次に、基準データがその位置の基準を満たす
処理装置からランダムなサンプル集合を選択する。サン
プル集合からの結果データはボックス114で得る。
有する1部分以上を含む画像をセグメントに分割し、そ
の各々に対して特性を測定する方法を示している。ボッ
クス130のステップは、画像を例えばテキストを含む
画像の場合はラインやワードといったように開始セグメ
ントに分割することで始める。これは画像データを操作
して、各々の開始セグメントを定義するセグメント・デ
ータを生成することで行うことができる。ボックス13
2のステップでは次に各々の開始セグメントでの特性を
測定するが、これは各々のセグメントでの位置のサンプ
ルの結果データを得て、その結果データを結合してセグ
メントの結合結果を得ることで行うことができる。次に
ボックス134のステップでは、ボックス132からの
測定値に基づいて開始セグメントをより大きなセグメン
トにグループ化して、各々測定する特性の際だった値を
有するセグメントを得る。これは結合結果を用いてどの
開始セグメントをグループに含めるべきかを判定して、
セグメントをグループ内に含むより大きなセグメントを
定義するグループ化セグメント・データを生成すること
で行うことができる。
布を抽出する際に所与のレベルの統計的意義を得るのに
必要なサンプル数の二乗に逆比例する。従って分散が既
知あるいは測定する画像特性や画像内の位置の数といっ
た要因から分析的に判定できる場合は、サンプルの必要
数は理論的に計算を通し決定することができる。
ておらず、分析的に判定できないことがしばしばある。
従って統計的抽出理論のヒューリスティックな応用を用
いて、取得するサンプル数を得ることができる。単純な
ヒューリスティックは、初期のサンプル数を選択し、選
択した数を用いて2つの測定を行うことである。即ち2
つの測定が同一あるいはほぼ同一であれば、選択した数
は十分大きいが、大きくなければ、選択した数を増分し
て2つの測定を増分した数で行うことができ、それを更
に行うことができる。
を方向の関数として測定してスキューないしフォントに
ついての情報を得るのには1000サンプルで十分であ
り、結合構成部分の間の水平、垂直距離を測定し、文字
やストローク・サイズ、スペース配分についての情報を
得るのには5000サンプルで十分であり、所与の方向
の線分に沿った所与の色の画素数の分散を測定し、スキ
ューについての情報を得るには24サンプルで十分であ
ることが分かっている。これらの結果は基礎的な測定の
分散に基づいて説明できる。即ち距離測定は、方向の関
数としてあるいは水平、垂直方向でも、比較的大きな分
散を有しているので、それには比較的多くのサンプルが
必要である。それ自身統計的測定値である分散は、比較
的小さい分散を有するので、画像のそれを測定するには
比較的少ない数のサンプルしか必要としない。
々の方法で実施して、広範囲の画像特性を測定すること
ができる。
の方法を示している。図8は画像をセグメント化する際
のステップを示している。図9は特性を測定する際に辿
る全般的なステップを示している。図10は、画像内の
ランダムな位置を示すデータを得る方法を詳細に示して
いる。
4から入力データを受け取り、出力データを出力装置1
66に与えるために接続されたプロセッサ162が含ま
れている。プロセッサ162はワークステーションのC
PUとすることができ、入力装置164と出力装置16
6はI/O装置とすることができる。例えば入力装置1
64はスキャナあるいはディジタル画像源といった画像
入力装置とすることができる。また入力装置164は周
辺記憶装置あるいは他の既知、あるいは距離を方向の関
数として示すモデル・プロファイルを受け取ることがで
きる送信媒体に対する接続を提供することができる。同
様に出力装置166は、画像特性を示しデータのような
プロセッサ162により得たデータを提供する装置とす
ることができる。
メモリ168からの命令を実行し、データの読み取り、
書き込みを行うためにデータ・メモリ170にアクセス
する。プログラム・メモリ168はプロセッサ162の
いくつかの操作を行うための命令を記憶している。デー
タ・メモリ170は図示するようにデータを記憶し、ま
た一時的にプロセッサ162がその操作を行う際に使用
する中間データを記憶することができる。
172を行って画像のセグメントの画像特性を測定する
ことができる。画像セグメント化操作172に対するコ
ールには、測定する特性を識別するデータを含めること
ができる。下記に詳細に述べるように、画像セグメント
化操作172は一方でタイル・セグメント化操作17
4、ライン・セグメント化操作176、ワード・セグメ
ント化操作178、スキュー操作180、その他の特性
操作182を呼び出して、画像をセグメントに分割し、
各々が測定する特性の際だった値を持つようにすること
ができる。スキュー操作180と他の特性操作182は
ランダム位置操作184を呼び出して抽出する位置を識
別するデータを得ることができる。
グメント化操作174、ライン・セグメント化操作17
6、ワードセグメント化操作178、スキュー操作18
0、他の特性操作182を行う際は、プロセッサ162
はデータ・メモリ170内の画像データ186にアクセ
スして分析している画像についてのデータを得、画像内
の特定の位置のデータを得ることができる。スキュー操
作180、他の特性操作182を実行することで、プロ
セッサ162は重要度データ188にアクセスして所望
のレベルの統計的重要性に対して特性を測定するために
抽出しなければならない位置の数ないし割合を示すデー
タを得ることができる。即ちこれらの操作を行うこと
で、プロセッサ162は抽出結果データ190や画像結
果データ192を生成して記憶することができる。
方法を示している。ボックス210のステップは、特定
の画像特性を測定するコールを受けて始まる。そのコー
ルは又分析する画像の源をも示している。ボックス21
2のステップではその画像源をベースに分岐し、画像を
走査するときは、ボックス214のステップは入力装置
164から走査データを受け取り、2値化し、それをデ
ータ・メモリ170に記憶する。このステップには、ノ
イズを削減するためあるいは他の無関係なデータを除去
するため、画像データの前処理も含まれる。
がスキュー、タイプフェイス、文字サイズ、スペース配
分などのテキストの特性かどうかに基づいて分岐する。
そうでなければボックス222のステップは他の当該手
法を通して特性を測定する。
キューを判定することが必要である。従ってボックス2
24のステップは、タイル・セグメント化サブルーチン
174に対する適切なコールで画像を矩形などのタイル
に分割して始まる。ボックス226のステップではスキ
ュー・サブルーチン180への適切なコールを行ってタ
イルのスキューを測定し、次にスキューに基づいてタイ
ルをスキュー・セグメントにグループ化する。このステ
ップでは全てのタイルのスキューを測定してタイルを類
似性にしたがってスキュー・セグメントにグループ化し
たり、あるいはシード・タイルから始まるスキュー・セ
グメントを成長させるように全てのタイルを測定しなく
てもよい他の戦略を用いることもできる。いずれの場合
も、隣接するタイルは十分異なるスキューを持つ場合
は、同一スキュー・セグメントに含めるべきではない。
228のステップは再びスキュー・サブルーチン180
に対すコールを行い、今回は各々のスキュー・セグメン
トのスキューを測定する。次にボックス230のステッ
プは、測定している特性がスキューかどうかに基づいて
分岐する。そうであれば、ボックス232のステップで
はボックス228からの結果をもたらし、スキューの測
定が完了する。
240のステップは反復ループを始め、その各々の反復
で1つのスキュー・セグメントの特性を測定する。ボッ
クス242のステップでは次のスキュー・セグメントを
サブセグメントに分割して反復ループを始める。これは
ライン・セグメント化操作176とワード・セグメント
化操作178へのコールで行うことができる。ライン・
セグメント化操作176とワード・セグメント化操作1
78へのコールには、分割されているスキュー・セグメ
ントの測定されたスキューを含めることができる。ライ
ン・セグメント化操作176はスキュー・セグメントに
わたって同一角度で延長している空白スペースをスキュ
ーとして見いだすことができ、隣接する空白スペース間
のそのセグメントをライン・セグメントとして扱う。ワ
ード・セグメント化操作178はライン・セグメントに
わたってスキューに垂直な角度で延長し、ワード内の潜
在的な文字間スペースよりも大きな最低幅を有する空白
スペースを見いだすことができ、隣接する空白スペース
間のセグメントをワード・セグメントとして扱う。
分割されると、ボックス244のステップは、特性がほ
ぼ同一のサブセグメントがテキスト・セグメントにグル
ープ化されるようにサブセグメントの特性を測定する。
この場合、分離したワードは異なる優占的なタイプフェ
イスを有するか、異なる文字サイズあるいはスペースを
有することがあるので、全てのサブセグメントについて
特性を測定することが必要となることがある。
と、ボックス250のステップは各々のスキュー・セグ
メントに対して得られた結果を提供する。画像に1つの
スキュー・セグメントだけが含まれる場合は、その結果
はその画像の特性を全体として測定する。
だし、その各々について画像特性を測定することができ
るが、他の方法を用いることもできる。すなわち分析す
る画像は、人間のオペレータからの情報に基づいてセグ
メント化することができる。あるいは画像を特性に対す
る単一の際だった値を持つものと想定することができ、
それは多くの場合そうである。又ボックス224や24
2のステップの前に、追加テストを行って画像が単一の
際だった値を持って現れ、セグメント化やグループ化が
不必要であるかどうかを判定することができる。例え
ば、画像が単一の優占的なタイプフェイスを有する場合
は、タイプフェイスを判定するためにセグメント化やグ
ループ化をする必要はない。同様に図11に関して下記
に説明する画像全体のスキュー測定の結果が、最低及び
最高結合距離値の間の範囲の3分の1以下の最低値を有
する場合は、画像は際だったスキューを有し、スキュー
・セグメントに分割する必要はない。このしきい値は、
ライン間距離は一般的に文字間距離よりも少なくとも3
倍あるという観測に基づいている。
244の測定操作を実施する全般的なステップを示して
いる。いくつかの測定操作の特定の実施について、下記
に詳細に述べる。
を測定するコールを受けて始まる。このコールには特性
を測定する画像のパラメータが含まれる。図8に関して
説明したように、その画像はタイル、スキュー・セグメ
ント、ワード・セグメントあるいはテキスト・セグメン
トなどの別の画像のセグメントであることがある。画像
パラメータには、例えば画素で測定したメモリ内での画
像を定義するデータの開始位置やその寸法を含めること
ができる。
いて、ボックス272のステップは抽出するサンプル数
を決定する。この数は大域変数を設定あるいは抽出する
サンプル数に等しい定数を含めることで前もって決定で
きるので、このステップはオプションである。図7に関
して上述したように、重要度データ188には、特定の
特性の所望の統計的重要度をもたらすため、抽出する必
要のある画像の数ないし割合を示すデータを含めること
ができる。例えば画像の寸法を用いて画像内の画素数を
判定し、測定する特性について抽出しなければならない
その割合を掛けて、得るべきサンプル数を得ることがで
きる。
プを全般的に辿る反復ループを始め、ボックス272か
らの数に達するまでサンプルを得る。ボックス282の
ステップはランダム位置操作184を呼び出し、測定し
ている画像のランダムな位置を得る。このコールにはボ
ックス270からの画像のパラメータを含めることがで
きる。
る特性のサンプル集合基準をボックス282で得られた
位置に対して適用する。その位置が基準を満たさなけれ
ば、ボックス282のステップを繰り返して別の位置を
得る。基準を満たす位置が得られれば、ボックス286
のステップはその位置の特性を測定するのに必要なステ
ップを取る。
と、ボックス288のステップはボックス286の各々
の反復で得られた測定値を、画像の特性の測定値と結合
する。この測定値は、ボックス270で受けたコールを
与えた過程に回答される。
86と288のステップは別の形で割り当てることがで
きる。例えば、ボックス286のステップを完全に省略
して全ての位置を得て記憶することができ、次にボック
ス288のステップが位置の特性を測定してその結果を
結合することができる。あるいはボックス286のステ
ップには各々の測定値をそれが得られたときに先回の測
定値と結合する操作を含めることができ、その場合ボッ
クス288のステップは結合結果が回答される前に測定
値を結合するのに必要な最終操作を行う。これらのステ
ップの実施方法の選択は、効率性や他の実際上の考慮に
基づいて行うことができる。
れたランダム位置操作184の実施を示している。ボッ
クス300のステップは画像パラメータを含むランダム
位置を提供するコールを受けて始まる。画像パラメータ
にはメモリ内の画像を定義するデータの開始位置、画素
で測定したその寸法、及び画素の合計数を示すデータを
含めることができる。
ムないし疑似ランダム数生成手法を通してランダム数を
生成する。ボックス304のステップは次にボックス3
02からのランダム数をボックス300からの画像パラ
メータにより定義された画像に写像し、画像内の位置を
見いだす。例えばランダム数は、画像内のゼロと画素合
計数の間で生成することができ、ランダム数は次に画像
内の行数により割ることができ、除算の整数結果は画素
が発生する行を示し、残りは行内の画素の位置を示す。
ボックス306のステップはボックス304で得られた
位置をランダム位置操作184を呼び出した過程に回答
する。
施してスキュー、タイプフェィス、文字サイズ、スペー
ス配分についての情報を提供する特性を測定する方法例
を提供する。
は、画像内のテキストのラインのスキューを測定する
が、図11は多数の方向のエッジ画素間の距離を測定す
ることによりスキューを測定する手法を例示している。
図12は、ある範囲をカバーするいくつかの方向のライ
ンの黒画素数を測定することによりスキューを測定する
手法を例示している。図11と12の手法は一般的に図
9のステップを辿るが、いくつかの点で各々は図9とは
異なっている。図13は、図11と12の手法を共に用
いて図8のボックス226と228のステップを行う方
法を例示している。
る際に取得するサンプル数は前もって決定され、例えば
大域変数の形で得ることができると想定している。図1
1のボックス320のステップは、スキューと共にスキ
ューを測定する画像のパラメータを測定するコールを受
けて始まる。ボックス322のステップは大域変数で示
されたサンプル数に達するまでサンプルを取得する反復
ループを始める。ボックス324のステップは測定して
いる画像内のランダム位置をランダム位置サブルーチン
184を呼び出したりすることで取得する。ボックス3
26のステップは次にボックス324からのランダム位
置の画素データ項目にアクセスし、隣接する位置の画素
データ項目にもアクセスする。
の画素データ項目が黒色ないし白色の適切な色を示して
いるか及び隣接している位置の1つが反対の色であるか
どうかを判定するサンプル集合基準を適用するので、ラ
ンダム位置はエッジ画素となる。そうでなければ別のラ
ンダム位置をボックス324で得る。
と、ボックス332のステップは背景色にわたりいくつ
かの方向の各々の最も近いエッジに対する距離を測定す
る。例えば画像が白の背景に対して黒の文字を有してい
れば、距離は白色画素にわたり最も近い黒色エッジ画素
あるいは最も近い白色エッジ画素に対して測定すること
ができる。ボックス334のステップは各々の方向で得
られた距離をその位置の先回得られた距離の合計に追加
し、それにより各々の位置で得られた距離の測定値を結
合する操作部分を行う。
のステップは各々の方向の距離の合計を得られたサンプ
ル数で割ることにより測定値を結合する操作を完了し、
各々の位置での平均距離を出すことができる。然るにス
キューは距離を平均化せずに判定することができるの
で、このステップはオプション的なものである。平均距
離はプロファイルを形成し、それは次にボックス342
で分析して2つの最深分離最低値を見いだす。言い替え
れば2つの最深最低値がある最低角度ε以下で分離され
た方向にあると、それらは分離最低値よりも同一最低値
の一部として扱われる。ボックス350のステップは次
にボックス342からの最深分離最低値はほぼ反対方向
にあるかどうかを判定する。これは方向が180±ε度
で分離されている場合は真となる。そうであればボック
ス352のステップは最深最低値の方向を取得し、それ
をスキュー測定を呼び出した過程に回答する。しかしそ
うでなければ、ボックス354のステップは、分析して
いる画像がテキストの画像ではない場合あるいはテキス
トに際だった方向がないようにラインが様々な方向に延
長している場合に一般的に生じる失敗を示す値を回答す
る。
る際に取得するサンプル数は前もって決定され、例えば
サブルーチンに含まれた定数の形で得ることができると
想定している。図12のボックス370のステップはス
キューを、スキューを測定する画像のパラメータ及び近
似スキュー角度と共に測定するコールを受けて始まる。
ボックス372のステップは、定数で示されたサンプル
位置数に達するまでサンプル位置を得る反復ループを始
める。ボックス374のステップは測定されている画像
内のランダム位置をランダム位置サブルーチン184を
呼び出したりして取得する。ボックス376のステップ
は次にボックス374からのランダム位置の画素データ
項目にアクセスする。
の画素データ項目が文字内の画素の色、即ち白色の背景
上の黒色の文字に対して黒色ないし黒色の背景上の白色
の文字に対して白色を示すかどうかを判定するサンプル
集合基準を適用する。そうでなければ別のランダム位置
をボックス374で得る。
ば、ボックス382のステップは画素の位置をサンプル
集合位置のアレイに追加する。次にサンプル位置数が得
られれば、ボックス390のステップはアレイ内の位置
を通過する反復ループを始める。各々の位置について、
ボックス392は、ボックス370で受け取った近似ス
キューの周りの範囲をカバーするいくつかの方向の各々
の位置を通してライン上の文字画素を計数する。各々の
計数が得られると、二乗のような演算を行い、その結果
を同一方向の先回の結果の合計に追加して、各々の方向
での分散の度合を生成する。
定し、結果を結合する操作は完了する。ボックス394
のステップでは、最大合計結果を有する方向、即ちその
方向のライン間の分散が最大である方向を見いだす。従
ってボックス394のステップは最大合計結果を有する
方向をスキューの角度として回答する。
を共に用いてスキューを検出する方法を例示している。
ボックス400のステップは、スキューを測定する画像
のパラメータでスキューを測定するコールを受けて始ま
る。ボックス402のステップは図11の手法を用いて
第1のスキューの近似を得るために測定を行う。ボック
ス404のステップは回答された結果に基づいて分岐す
る。結果が失敗を示す場合は、ボックス406のステッ
プは失敗をボックス400でコールを受けた過程に回答
する。
の場合は、ボックス410のステップはこの角度を第2
の測定を行う際の近似スキューとして用い、図12の手
法を用いてスキューのより正確な近似を得る。ボックス
412のステップでは次により正確なスキュー測定値を
ボックス400でコールを受け取った過程に回答する。
のテキストの優占的なタイプフェイスを測定することが
できるが、図14は文字内の画素から多数の方向のエッ
ジ画素への距離を測定することにより優占的なタイプフ
ェイスを測定する手法を例示している。図14の手法は
一般的に図9のステップを辿るが、いくつかの点で図9
とは異なっている。
ェイスを測定する際に取得するサンプル数は前もって決
定されており、例えば大域変数の形で得られると想定す
る。図14のボックス430のステップは優占的なタイ
プフェイスを、優占的なタイプフェイスを測定する画像
のパラメータ及び距離測定値を得るべきいくつかの方向
と共に測定するコールを受けてはじまる。ボックス43
2のステップは、大域変数により示されたサンプル数に
達するまでサンプルを得る反復ループを始める。ボック
ス434のステップは測定されている画像内のランダム
位置をランダム位置操作184を呼び出したりして取得
する。ボックス436のステップは次にボックス434
からのランダム位置の画素データ項目にアクセスする。
置の画素データ項目は文字の内部の画素に対して適切な
色、即ち画像が白色の背景に黒色のテキストを含むか、
黒色の背景に白色のテキストを含むかどうかにより黒色
か白色を示すかどうかを判定するサンプル集合基準を適
用する。代わりにこの基準は、ランダム位置は文字のエ
ッジの画素であるかどうかを判定することもできる。画
素が基準を満たさない場合は、他のランダム位置がボッ
クス434で得られる。
ば、ボックス438のステップは文字色にわたってボッ
クス430で受け取ったいくつかの方向の各々で最も近
いエッジに対する距離を測定する。例えば画像が白色の
背景上に黒色の文字を有している場合は、黒色の画素に
わたって最も近い黒色のエッジ画素に対しあるいは最も
近い白色のエッジ画素に対して距離を測定できる。ボッ
クス440のステップは各々の方向で得られた距離をそ
の方向で先回得られた距離の合計に加え、それにより各
々の方向で得られた距離の測定値を結合する操作の一部
を行う。
テップは、各々の方向の距離の合計を得られたサンプル
の数で割ることによって測定値を結合する操作を完了
し、各々の方向の平均距離を生成する。ボックス444
のステップは次に平均距離により形成されたプロファイ
ルを、各々が各々のタイプフェイスを表現するいくつか
のモデル・プロファイルと比較する。この比較は、例え
ば比較している2つのプロファイル上のいくつかの点の
ペアの各々での差の合計の平方根といった距離測定値を
得ることにより行うことができる。ボックス446のス
テップは次にボックス442からのプロファイルに最も
近いモデル・プロファイルのタイプフェイスを示すデー
タを回答し、それにより優占的なタイプフェイスの測定
を完了する。
は、いくつかのプロファイルを等化グループに集合する
分類手法でも使用することができる。
キューと縮尺の差を補償する必要がある。図8の手法で
スキューを補償する1つの方法は、図8のボックス22
8のスキューの測定の結果を、スキューの角度で最初の
測定を行うなどして、図14のボックス450の各々の
方向で用いることである。縮尺は比較を行う前にプロフ
ァイルを規準化することにより補償することができる。
像のテキストの文字サイズやスペース配分あるいはスト
ロークを測定することができる。図15は所与の方向の
連結構成エッジのがその間の距離を測定することにより
文字あるいはストロークのサイズやスペース配分を測定
する手法を例示している。図15の手法は一般的に図9
のステップを辿るが、いくつかの点で図9とは異なって
いる。
スペース配分を測定する際に得るべきサンプル数は前も
って判定されており、例えば大域変数の形で得ることが
できると想定する。図15のボックス450のステップ
は、文字サイズないしスペース配分を、サイズないしス
ペース配分を測定する画像のパラメータと共に測定する
コールを受けて始まる。コールには測定するサイズある
いはスペース配分の方向の表示が含まれている。サイズ
を測定する場合は、測定値は連結された構成部分にわた
るが、スペース配分を測定する場合は、測定値は連結さ
れた構成部分の間にある。
り示されたサンプル数に達するまで、サンプルを得る反
復ループを始める。ボックス454のステップは測定し
ている画像内のランダム位置を、ランダム位置操作18
4を呼び出すなどして取得する。ボックス456のステ
ップは次にボックス454からのランダム位置の画素デ
ータ項目にアクセスする。
の画素データ項目がエッジ画素であるかどうかを判定す
るサンプル集合基準を適用する。これはその値を隣接す
る画素の値と比較することにより行うことができる。画
素が基準を満たさない場合は、別のランダム位置をボッ
クス454で得る。
と、ボックス462のステップは連結構成部分にわたっ
て、ないし連結構成部分間で、ボックス450で示され
た方向で最も近いエッジへの距離を測定する。画像が例
えば白色の背景上に黒色の文字を有する場合、連結構成
部分にわたる距離は黒色画素にわたって最も近いエッジ
画素に対して測定することができ、連結構成部分間の距
離は白色画素にわたって最も近いエッジ画素に対して測
定することができる。ボックス464のステップは測定
した距離をヒストグラム・データ構造に含む距離範囲の
値を増分する。
のステップはヒストグラム・データ構造を操作して、ボ
ックス450で示されたサイズないしスペース配分の測
定値を得る。
補償をする必要がある。スキューを補償する1つの方法
は、ボックス462のステップが分析している画像のス
キューに関したもの以外、同一方向を使用できるように
ボックス450でスキュー補償方向を示すことである。
列マシンでも実施することができる。図16は本発明を
実施できる並列マシンの構成部分を示すものである。
160と似ている。システム470には入力装置474
からデータを受け取り、出力装置476にデータを与え
るホスト・プロセッサ472が含まれている。ホスト・
プロセッサ472はまた並列プロセッサ480とデータ
を交換するために接続されており、それは例えばシンキ
ングマシン社の接続マシンとすることができる。並列プ
ロセッサ480には各々局所メモリ484を有する処理
装置482が含まれている。画像を定義するデータは、
各々の画素の値が各々の処理装置の局所メモリに記憶さ
れるように局所メモリ484に記憶することができる。
ホスト・プロセッサ472はプログラム・メモリ490
からの命令を実行し、図7に関して上述したように、画
像処理を行う際にデータメモリ492にアクセスする。
ホスト・プロセッサ472は、各々の画素の各々の処理
装置を並列に作動して処理装置のランダムに選択したサ
ンプル集合を得るサブルーチンを実行し、それからのデ
ータを結合して画像の特性を全体として測定することが
できる。ランダム抽出はエイリアシングを招く事なく処
理装置からのデータを結合するのに必要な計算を減少で
きるので、並列実施でも有利である。
占的なタイプフェイスの識別、文字やストロークのサイ
ズやスペース配分の測定をはじめとして、多くの形で適
用することができる。図17は複写での応用例を示して
いる。
理システム504、プリンタ506が含まれている。ス
キャナ502は入力文書の画像を定義するデータを生成
することができる。画像処理システム504は図7ない
し図16に示すように実施することができ、更にスキュ
ー、優占的なタイプフェイス、文字サイズやスペース配
分の測定に加えて、光学的文字認識手法を用いて文書内
の文字を識別することができる。画像処理システム50
4は入力文書画像内の文字を識別された適切なサイズ、
位置、スキューのタイプフェイスからの同一文字の補正
バージョンによって置き換えた補正画像を定義するデー
タを生成する手法を適用することもできる。補正画像を
定義するデータは次にプリンタ506に与えて出力文書
をプリントすることができる。
ス、文字やストロークのサイズやスペース配分といった
テキスト特有の特性に関して説明を行ったが、本発明は
文字ないしワード識別にも応用できる。更に本発明は図
形特徴のスキューといった非テキスト特性にも応用する
ことができる。
って特性を測定する実施に関して説明を行ったが、本発
明は画像特性を直接的に測定する光センサに接続された
特殊回路にも実施できる。
たが、本発明は特殊ハードウエアでも実現できる。
如何に冗長データが生成され得るかを示すある画像部分
の略図である。
長データが生成され得ることを別の方法で示すある画像
部分の略図である。
全般的な過程を示すフロー図である。
的な過程を示すフロー図である。
的な過程を示すフロー図である。
ように画像をセグメント化する際の全般的な過程を示す
フロー図である。
測定される画像処理を実施するシステムの構成部分を示
す略ブロック図である。
対して特性を測定することにより画像の特性を測定する
過程を示すフロー図である。
により画像の特性を測定する過程を示すフロー図であ
る。
示すフロー図である。
のエッジの間の距離を測定することによりスキューの近
似を得る過程を示すフロー図である。
方向に対する特性画素数の分散を得ることによりスキュ
ーのより正確な近似を得る過程を示すフロー図である。
手法を共に使用できる方法を示すフロー図である。
イスを測定する過程を示すフロー図である。
るいはスペース配分をランダムな抽出により測定する過
程を示すフロー図である。
る並列プロセッサを含むシステムの略ブロック図であ
る。
る並列プロセッサを含む複写機の略ブロック図である。
システム、506 プリンタ
Claims (2)
- 【請求項1】 画像データを操作し;前記画像データは
第1の位置数を含む画像を定義し;前記画像は各々の位
置に関して画像特性を有し;前記画像の画像特性を統計
的に有意義な度合に測定する画像処理方法で;この方法
は次のステップを含む:各々ランダムに選択した前記画
像内の第2の位置数の各々について、前記画像データを
操作して各々のサンプル結果データを得、各々の位置の
サンプル結果データは前記位置に関する画像特性を測定
し;そして第2の位置数の各々のサンプル結果データを
結合して画像結果データを得;第2の数は第1の数より
少ないが前記画像結果データが前記画像に対して画像特
性を統計的に有意義な度合に測定するのに十分である。 - 【請求項2】 画像データを操作し、前記画像データは
複数の位置を含む画像を定義し、前記画像は前記位置の
各々に関する画像特性を有する画像処理方法で;この方
法は次のことを含む:次のサブステップからなるサンプ
ル結果データを得る複数ステップ:前記画像内の各々の
位置を示す各々の位置データをランダムないし疑似ラン
ダムに生成し、 前記画像データを操作して各々の位置データにより示さ
れた各々の位置に関した画像特性を測定する各々のサン
プル結果データを得る;そして各々の位置の各々のサン
プル結果データを結合して結合結果データを得るステッ
プ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US737956 | 1991-07-30 | ||
US07/737,956 US5416851A (en) | 1991-07-30 | 1991-07-30 | Image analysis based on location sampling |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH05258058A true JPH05258058A (ja) | 1993-10-08 |
JP3346795B2 JP3346795B2 (ja) | 2002-11-18 |
Family
ID=24965971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP19725292A Expired - Fee Related JP3346795B2 (ja) | 1991-07-30 | 1992-07-23 | 画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US5416851A (ja) |
EP (1) | EP0526197B1 (ja) |
JP (1) | JP3346795B2 (ja) |
DE (1) | DE69231049T2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017516171A (ja) * | 2014-03-27 | 2017-06-15 | インテル・コーポレーション | Ransacアルゴリズムの並列実行のための技術 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0604687B1 (en) * | 1992-12-30 | 2000-04-19 | Koninklijke KPN N.V. | Method for deriving character features in a character recognition system |
US5592298A (en) * | 1994-06-03 | 1997-01-07 | Xerox Corporation | Apparatus and method for detecting digitized image area coverage by counting pixels |
US5828771A (en) * | 1995-12-15 | 1998-10-27 | Xerox Corporation | Method and article of manufacture for determining whether a scanned image is an original image or fax image |
WO2001022353A1 (en) * | 1999-09-23 | 2001-03-29 | Ecryp, Inc. | Digital transmission of constantly varying fingerprint information |
CA2404654A1 (en) * | 2000-04-27 | 2001-11-08 | Litton Systems, Inc. | Method and system for fusing images |
US7411593B2 (en) * | 2001-03-28 | 2008-08-12 | International Business Machines Corporation | Image rotation with substantially no aliasing error |
DE60310766T2 (de) * | 2002-12-20 | 2007-10-11 | Koninklijke Philips Electronics N.V. | Beleuchtungsunabhängige gesichtserkennung |
US7545997B2 (en) * | 2004-09-10 | 2009-06-09 | Xerox Corporation | Simulated high resolution using binary sub-sampling |
JP2010512521A (ja) | 2006-12-15 | 2010-04-22 | オーフス ウニベルシテット | 画像解析を用いて得られる確率での不均等な抽出に基づく、対象の総量の不偏推定のための方法 |
JP4539889B2 (ja) * | 2009-02-18 | 2010-09-08 | 日本電気株式会社 | プロセッサ及びデータ収集方法 |
US8411966B2 (en) * | 2009-03-10 | 2013-04-02 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Estimation of image relations from point correspondences between images |
ES2381244T3 (es) * | 2009-09-09 | 2012-05-24 | European Central Bank | Un procedimiento para generar una imagen de seguridad en dos niveles para un billete de banco |
US10062001B2 (en) * | 2016-09-29 | 2018-08-28 | Konica Minolta Laboratory U.S.A., Inc. | Method for line and word segmentation for handwritten text images |
WO2018090011A1 (en) * | 2016-11-14 | 2018-05-17 | Kodak Alaris Inc. | System and method of character recognition using fully convolutional neural networks |
US10846523B2 (en) * | 2016-11-14 | 2020-11-24 | Kodak Alaris Inc. | System and method of character recognition using fully convolutional neural networks with attention |
WO2018127963A1 (ja) * | 2017-01-06 | 2018-07-12 | 日本電気株式会社 | パターン生成装置、画像処理装置、パターン生成方法、及びプログラムを記憶した記憶媒体 |
KR102387571B1 (ko) * | 2017-03-27 | 2022-04-18 | 삼성전자주식회사 | 라이브니스 검사 방법 및 장치 |
US10860897B2 (en) * | 2019-01-29 | 2020-12-08 | Victor Gorelik | Pattern recognition with AI maps |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL179454B (nl) * | 1952-06-28 | Jan Hendrik Gerlings | Plaatvormig kunststofelement. | |
US3297989A (en) * | 1964-03-23 | 1967-01-10 | Ling Temco Vought Inc | Probability transform generator for image recognition |
US3845466A (en) * | 1970-11-18 | 1974-10-29 | California Inst Of Techn | System and method for character recognition |
JPS5215235A (en) * | 1975-07-26 | 1977-02-04 | Fujitsu Ltd | Character recognition unit |
US4817186A (en) * | 1983-01-07 | 1989-03-28 | International Business Machines Corporation | Locating individual images in a field for recognition or the like |
US4723297A (en) * | 1984-09-27 | 1988-02-02 | Siemens Aktiengesellschaft | Method for automatic correction of character skew in the acquisition of a text original in the form of digital scan results |
SE448125B (sv) * | 1985-05-23 | 1987-01-19 | Context Vision Ab | Anordning for bestemning av graden av konstans hos en egenskap for ett omrade i en i diskreta bildelement uppdelad bild |
SE448124B (sv) * | 1985-05-23 | 1987-01-19 | Context Vision Ab | Anordning for detektering av variationsgraden av en egenskap i ett omrade av en i diskreta bildelement uppdelad bild |
SE448126B (sv) * | 1985-05-23 | 1987-01-19 | Context Vision Ab | Anordning for detektering av sprangartade forendringar av en egenskap inom ett omrade av en i diskreta bildelement uppdelad bild |
US4783826A (en) * | 1986-08-18 | 1988-11-08 | The Gerber Scientific Company, Inc. | Pattern inspection system |
US5001766A (en) * | 1988-05-16 | 1991-03-19 | At&T Bell Laboratories | Apparatus and method for skew control of document images |
US4901362A (en) * | 1988-08-08 | 1990-02-13 | Raytheon Company | Method of recognizing patterns |
GB8910749D0 (en) * | 1989-05-10 | 1989-06-28 | Sherman Robin L | Methods and apparatus for obtaining information for characterising a person or animal |
JP2523222B2 (ja) * | 1989-12-08 | 1996-08-07 | ゼロックス コーポレーション | 画像縮小/拡大方法及び装置 |
US5245674A (en) * | 1991-07-30 | 1993-09-14 | Xerox Corporation | Image processing using distance as a function of direction |
US5253307A (en) * | 1991-07-30 | 1993-10-12 | Xerox Corporation | Image analysis to obtain typeface information |
-
1991
- 1991-07-30 US US07/737,956 patent/US5416851A/en not_active Expired - Fee Related
-
1992
- 1992-07-23 JP JP19725292A patent/JP3346795B2/ja not_active Expired - Fee Related
- 1992-07-30 EP EP92306949A patent/EP0526197B1/en not_active Expired - Lifetime
- 1992-07-30 DE DE69231049T patent/DE69231049T2/de not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017516171A (ja) * | 2014-03-27 | 2017-06-15 | インテル・コーポレーション | Ransacアルゴリズムの並列実行のための技術 |
US10936766B2 (en) | 2014-03-27 | 2021-03-02 | Intel Corporation | Techniques for parallel execution of RANSAC algorithm |
Also Published As
Publication number | Publication date |
---|---|
DE69231049T2 (de) | 2000-09-14 |
EP0526197A3 (ja) | 1994-04-13 |
JP3346795B2 (ja) | 2002-11-18 |
DE69231049D1 (de) | 2000-06-21 |
US5416851A (en) | 1995-05-16 |
EP0526197A2 (en) | 1993-02-03 |
EP0526197B1 (en) | 2000-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3346795B2 (ja) | 画像処理方法 | |
US5245674A (en) | Image processing using distance as a function of direction | |
US6839466B2 (en) | Detecting overlapping images in an automatic image segmentation device with the presence of severe bleeding | |
JP3308032B2 (ja) | スキュー補正方法およびスキュー角検出方法およびスキュー補正装置およびスキュー角検出装置 | |
CN101981582B (zh) | 用于检测对象的方法和装置 | |
US7302084B2 (en) | Statistically comparing and matching plural sets of digital data | |
US6697497B1 (en) | Boundary identification and characterization through density differencing | |
US6584224B2 (en) | Template matching using correlative auto-predicative search | |
US6704456B1 (en) | Automatic image segmentation in the presence of severe background bleeding | |
US20090245638A1 (en) | Method And Apparatus For Region-Based Segmentation Image Processing Using Region Mapping | |
KR101548928B1 (ko) | 불변적인 시각적 장면 및 객체 인식 | |
US5892854A (en) | Automatic image registration using binary moments | |
KR20110010629A (ko) | 그래디언트 히스토그램을 이용한 지문 표현 | |
Chen et al. | Perfecting vectorized mechanical drawings | |
Mascaro et al. | Fast and robust skew estimation of scanned documents through background area information | |
US5923782A (en) | System for detecting and identifying substantially linear horizontal and vertical lines of engineering drawings | |
JP2004508641A (ja) | ディジタル画像のセグメンテーション | |
CN108717544A (zh) | 一种基于智能图像分析的报纸样稿文字自动检测方法 | |
US7440636B2 (en) | Method and apparatus for image processing | |
US6792131B2 (en) | System and method for performing sparse transformed template matching using 3D rasterization | |
Embrechts et al. | A parallel Euclidean distance transformation algorithm | |
US7620248B2 (en) | System and method for validating graphical components of images | |
Kurbatova et al. | Method of isolating texture areas in images | |
Uehara et al. | Towards automatic analysis of DNA microarrays | |
US11067705B1 (en) | CNN-based abnormality score map for SPECT gamma camera flood analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020726 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080906 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080906 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090906 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100906 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100906 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110906 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |