JP3559595B2 - 画像処理装置およびその方法 - Google Patents
画像処理装置およびその方法 Download PDFInfo
- Publication number
- JP3559595B2 JP3559595B2 JP31805794A JP31805794A JP3559595B2 JP 3559595 B2 JP3559595 B2 JP 3559595B2 JP 31805794 A JP31805794 A JP 31805794A JP 31805794 A JP31805794 A JP 31805794A JP 3559595 B2 JP3559595 B2 JP 3559595B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- holding
- extraction
- reading
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
- Cleaning In Electrography (AREA)
- Color Electrophotography (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は画像処理装置およびその方法に関し、例えば、多値の粒状の集合をもつカラー画像から特徴量を検出する画像処理装置およびその方法に関するものである。
【０００２】
【従来の技術】
本出願人は、フルカラー複写機などによる偽造を防止するために、複写機の出力に偽造追跡用コードを付加する技術を提案しているが、これらのコードを抽出する場合、拡大鏡を用いて目視により特徴量を検出し、その結果に基づいて偽造追跡用コードを評価・判定するのが一般的である。また、画像を高密度のスキャナで読取って、一旦、メモリに保持した後、このメモリに保持した画像をプリントアウトし、目視により特徴量を検出する方法もある。
【０００３】
【発明が解決しようとする課題】
しかし、上記従来例においては、次のような問題点があった。目視による特徴量の検出結果には、当然、その作業者の主観に依存する誤差が含まれている上、複数の画像から特徴量を検出する際は、その計測環境による誤差も大きくなる。これらの誤差を小さくするには、作業者の熟練度が要求される。また、多数の特徴量を検出しなくてはならない場合や、例え特徴量が同一であっても検出対象となる画像が多数ある場合なども、安定した検出結果を維持することが要求される。さらに、検出結果の評価についても、作業者の熟練度や、安定した評価基準を維持することが要求されるのはいうまでもない。
【０００４】
このように、拡大鏡を用いて目視により特徴量を検出する方法は、それに要する時間が長くなり、当然、コストも高くなる。さらに、検出結果は多分に誤差を含んでいると考えられるので、それが評価に値するかどうかという疑問も生じることになる。
【０００５】
本発明は、上述の問題を解決するためのものであり、原稿画像から特徴量を抽出することができる画像処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】および
【作用】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００７】
本発明にかかる画像処理装置は、原稿画像をその記録密度より高い密度で読取る読取手段と、前記読取手段によって読取られた画像を保持する保持手段と、前記保持手段に保持された画像を二値化する二値化手段と、前記二値化手段により二値化された二値画像の各連結領域の代表位置を抽出する第一の抽出手段と、前記第一の抽出手段によって抽出された前記各連結領域の代表位置を所定間隔の格子点に近似して前記代表位置間の距離を抽出する第二の抽出手段と、前記第二の抽出手段によって抽出された前記代表位置間の距離に基づいて前記原稿画像に付加された情報を検出する検出手段とを有することを特徴とする。
【０００８】
また、原稿画像をその記録密度より高い密度で読取る読取手段と、前記読取手段によって読取られたＲＧＢカラー画像を保持する保持手段と、前記保持手段に保持されたＲＧＢカラー画像の色空間をＣＭＹＫ色空間に変換する変換手段と、前記変換手段によって変換された画像から一つの色成分画像を選択する選択手段と、前記選択手段によって選択された色成分画像を二値化する二値化手段と、前記二値化手段により二値化された二値画像の各連結領域の代表位置を抽出する第一の抽出手段と、前記第一の抽出手段によって抽出された前記各連結領域の代表位置を所定間隔の格子点に近似して該代表位置間の距離を抽出する第二の抽出手段と、前記第二の抽出手段によって抽出された該代表位置間の距離に基づいて前記原稿画像に付加された情報を検出する検出手段とを有することを特徴とする。
【０００９】
本発明にかかる画像処理方法は、原稿画像をその記録密度より高い密度で読取る読取ステップと、前記読取ステップで読取った画像を保持手段に保持する保持ステップと、前記保持手段に保持された画像を二値化する二値化ステップと、前記二値化ステップにおいて二値化された二値画像の各連結領域の代表位置を抽出する第一の抽出ステップと、前記第一の抽出ステップにおいて抽出された前記各連結領域の代表位置を所定間隔の格子点に近似して該代表位置間の距離を抽出する第二の抽出ステップと、前記第二の抽出ステップにおいて抽出された該代表位置間の距離に基づいて前記原稿画像に付加された情報を検出する検出ステップとを有することを特徴とする。
【００１０】
また、原稿画像をその記録密度より高い密度で読取る読取ステップと、前記読取ステップにおいて読取られたＲＧＢカラー画像を保持手段に保持する保持ステップと、前記保持手段に保持されたＲＧＢカラー画像の色空間をＣＭＹＫ色空間に変換する変換ステップと、前記変換ステップにおいて変換された画像から一つの色成分画像を選択する選択ステップと、前記選択ステップにおいて選択された色成分画像を二値化する二値化ステップと、前記二値化ステップにおいて二値化された二値画像の各連結領域の代表位置を抽出する第一の抽出ステップと、前記第一の抽出ステップにおいて抽出された前記各連結領域の代表位置を所定間隔の格子点に近似して該代表位置間の距離を抽出する第二の抽出ステップと、前記第二の抽出ステップにおいて抽出された該代表位置間の距離に基づいて前記原稿画像に付加された情報を検出する検出ステップとを有することを特徴とする。
【００１１】
【実施例】
以下、本発明にかかる一実施例の画像処理装置を図面を参照して詳細に説明する。なお、以下では、本発明を偽造追跡用コードを抽出する装置に適用する例を説明するが、本発明はこれに限らず、多値の粒状の集合をもつカラー画像から特徴量を検出し、その検出結果を評価・判定する装置であれば、どんな目的・用途の装置にも適用することができるのはいうまでもない。
【００１２】
［構成］
図１は本発明にかかる一実施例の画像処理装置の構成例を示すブロック図で、例えばカラーインクジェットプリンタなどの偽造追跡用コードを抽出する装置である。
【００１３】
同図において、１は高密度のスキャナで、例えば１，２００ｄｐｉから２，０００ｄｐｉの密度で原稿画像を読取り、例えばＲＧＢ各８ビット計２４ビットのディジタル画像データに変換して出力するカラー画像入装置である。なお、スキャナ１の分解能は、読取る原稿画像の記録密度より充分高いことが要求される。
【００１４】
２はコンピュータで、メモリ３に予め格納されたプログラムなどに従って装置（システム）全体を制御するとともに、後述する画像処理を行なう。なお、メモリ３は、スキャナ１から出力されたディジタル画像データの格納やワークエリアとしても使用される。
【００１５】
４はディスプレイで、一連の作業を行う際に処理結果画像などを表示する。５は入力デバイスで、キーボードやマウスなどのポインティングデバイスから構成される。
【００１６】
［偽造追跡用コード］
カラーインクジェットプリンタは、四つのノズルから吐出される各色のインク、すなわちシアン，マゼンタ，イエロー，ブラックの四色のインクを記録紙上に付着させることによってカラー画像を形成する。このようなカラーインクジェットプリンタは、図２に示すように、各色のインクジェットヘッドの走査方向に平行な１ラインに対して一つの情報を埋込み、その情報の組合わせにより、偽造追跡用コードを表現する。すなわち、インクの付着状況にある特徴量をもたせた基準ラインをｎライン毎に設定し、ｎ−１ラインにおいて、予め設定された基準間隔を１とするとき、そのラインの孤立ドットの間隔が、奇数間隔が多いときは‘１’、偶数間隔が多いときは‘０’として、情報を埋込む。なお、この方法で埋込んだコードの用途は、偽造追跡に限定されるものではなく、カラーインクジェットプリンタの性能評価など、任意の目的・用途に利用可能である。
【００１７】
［抽出処理］
図３は各ラインに埋込まれた情報（以下「ライン情報」という）を抽出する処理手順の一例を示すフローチャートである。
【００１８】
まず、ステップＳ１０１で、オペレータは、被読取原稿をスキャナ１にセットする。このとき、原稿画像の形成方向、つまり原稿画像が形成されたときのインクジェットヘッドの走査方向と、スキャナ１の読取方向とが所定の関係になるように、被読取原稿セットする。続いて、オペレータが入力デバイス５により原稿のセットが完了したこと（または処理開始）を指示すると、コンピュータ２は、スキャナ１に制御信号を送って原稿画像を読取らせる。そして、コンピュータ２は、スキャナ１から出力されたディジタル画像データをメモリ３へ格納する。
【００１９】
次に、ステップＳ１０２で、コンピュータ２は、メモリ３に格納したＲＧＢ画像を、印刷カラーであるＣＭＹＫ画像に変換する。その変換手順は、まず式（１）によりＲＧＢからＣＭＹへの対数変換を行い、次に式（２）により黒成分を抽出する。さらに、式（３）により３×５のマスキング処理を行う。そして、この色変換により生成した色成分ＣＭＹＫの四枚の濃淡画像をディスプレイ４に表示する。
Ｃ ＝ −２５５／１．８×ｌｏｇ（Ｒ／２５５）
Ｍ ＝ −２５５／１．８×ｌｏｇ（Ｇ／２５５） …（１）
Ｙ ＝ −２５５／１．８×ｌｏｇ（Ｂ／２５５）
ただし、対数の底は１０
Ｋ ＝ ｍｉｎ（Ｃ，Ｍ，Ｙ） …（２）
ただし、Ｋ＾２はＫの二乗を表す
【００２０】
次に、ステップＳ１０３で、オペレータは、ディスプレイ４に表示された四枚の濃淡画像から、ライン情報の抽出に最適と思われる濃淡画像（色版）を、入力デバイス５により指定する。
【００２１】
次に、ステップＳ１０４で、コンピュータ２は、指定された濃淡画像を二値化する。この二値化方法は、その詳細は後述するが、多値の入力画像のデータ特性にばらつきが生じたとしても、出力画像中の各連結領域の大きさを、予め定めた大きさ付近にほぼ一定化し、二値画像を生成するための閾値を高速に出力するという点で優れた方法である。なお、本実施例においては、孤立ドットの平均面積を、予め、連結領域の大きさに設定する。
【００２２】
次に、ステップＳ１０５で、得られた二値画像から特徴量を抽出して、基準ラインの位置（以下「基準位置」という）を検出する。この検出方法は、その詳細は後述するが、基準ラインの指標になる所定の特徴量を二値画像から抽出して、基準位置を検出するものである。
【００２３】
次に、ステップＳ１０６で、得られた基準位置に基づいて、各ラインのライン情報を抽出する。すなわち、孤立ドット間の距離を計測して‘０’または‘１’を求める。この孤立ドット間の距離の計測方法は、その詳細は後述するが、二値画像に公知の画像処理技術であるラベリング処理を施し、各連結要素の重心位置を算出し、予め設定された基準間隔を１とした基準位置からの格子位置に、算出した重心位置を近似し、各水平ラインごとに孤立ドットとみなせる隣接連結領域、すなわち、予め設定した連結領域の連結画素数の範囲にある隣接連結領域の距離を求めるものである。
【００２４】
最後に、ステップＳ１０７で抽出したライン情報から得られた偽造追跡用コードをディスプレイ４に表示する。
【００２５】
以上の手順により、画像に埋込まれた例えば偽造追跡用のコードなどを、ほぼ自動的に抽出することができる。
【００２６】
●二値化方法
図４は二値化方法の一例を説明するフローチャートで、コンピュータ２によって実行されるものである。
【００２７】
ステップＳ２０１で、指定された濃淡画像を、図５に示すような例えば四つの領域に分割した部分画像を作成する。なお、図５の例は、画素数４ｎ（ｎは自然数）からなる指定された濃淡画像Ａを、画素数ｎの四つの部分画像Ａｋ（ｋ＝１，２，３，４）に分割した例を示している。
【００２８】
次に、ステップＳ２０２で、部分画像を形成する全画素の濃度値の和を画素数ｎで割ることにより、部分画像Ａｋそれぞれの平均濃度値Ｄａｋ（ｋ＝１，２，３，４）を算出する。なお、部分画像Ａｋの平均濃度値Ｄａｋは、そのｉ番目の画素の濃度をＰｉとすれば式（４）によって求められる。
Ｄａｋ ＝ １／ｎ・ΣＰｉ …（４）
ただし、Σ演算はｉ＝１からｎまで
【００２９】
次に、ステップＳ２０３で、得られた平均濃度値Ｄａｋと、予め設定された平均濃度値の範囲とを比較して、平均濃度値Ｄａｋが設定範囲内に入る部分画像を抽出し、さらに、設定範囲の中間値に最も近い平均濃度値Ｄａｋをもつ部分画像を選択して、これを二値化閾値決定用の部分画像とする。
【００３０】
図６はステップＳ２０３の処理の概念を示す図で、その横軸は濃度値を示し、各平均濃度値Ｄａｋは図のように分布している。破線で示すのは設定範囲であり、この範囲に含まれるには部分画像Ａ２とＡ３であるが、設定範囲の中間値に最も近いのはＡ３であり、この場合、部分画像Ａ３が閾値決定用の小領域として決定される。
【００３１】
なお、平均濃度値の範囲を予め設定する方法は、例えば、次のようなものである。図７は２５６階調の濃淡画像のサンプルについてそれらの平均濃度値および評価適用性の一例を示す図で、あるインクジェットプリンタについて調査したものである。同図において、評価適用性が「○」のものは評価用サンプル画像として採用したものであり、「×」のものは不採用としたものである。例えば、採用サンプルの下限とした平均濃度値１６２と、不採用の上限とした平均濃度値１４９の中間値１５５を用いて、平均濃度値の範囲を１５５以上２５５未満に設定する。
【００３２】
なお、評価対象のインクジェットプリンタが明らかな場合は、そのプリンタのサンプル画像によって平均濃度値の範囲を設定すればよい。また、評価対象のインクジェットプリンタが不明な場合は、可能性のあるプリンタすべてのサンプル画像によって平均濃度値の範囲を設定することになる。
【００３３】
次に、ステップＳ２０４で二値化閾値などを算出し、ステップＳ２０５でその閾値の妥当性を判定して、妥当であればステップＳ２０６で二値化を実行し、そうでなければステップＳ２０４へ戻り、妥当な閾値が得られるまでステップＳ２０４とＳ２０５とを繰り返す。
【００３４】
図８はステップＳ２０４の処理の詳細例を示すフローチャートである。
【００３５】
まず、ステップＳ２１１で、全画素数に対して、その濃度値が閾値以上の画素の割合ｐになるような閾値をｐタイル法により設定し、これを初期閾値Ｔｈ（０）とする。続いて、ステップＳ２１２で選択した部分画像（小領域）を閾値Ｔｈ（０）で二値化し、ステップＳ２１３で、生成された二値画像から、ある画素が‘１’であるときに隣接する画素が‘１’であるような連結領域を抽出する。続いて、ステップＳ２１４で抽出された各連結領域の面積（画素数）を求め、ステップＳ２１５でその分布を求め、ステップＳ２１６で連結領域面積の最頻値Ｆを得る。
【００３６】
なお、図には示さないが、ステップＳ２０５で妥当でないと判定されて図８に示す処理へ戻った場合は、次に示す漸化式によりステップＳ２１１で閾値Ｔｈ（ｎ）（ｎは自然数）を求める。なお、前述したように、本実施例においては、孤立ドットの平均面積を、予め、連結領域面積Ａｔとして設定する。
Ｔｈ（ｎ） ＝ Ｔｈ（ｎ−１） ＋ α｛Ａｔ − Ｆ（ｎ）｝ …（５）
ただし、α： 正の定数
【００３７】
ステップＳ２０５における判定は、次の何れかの条件を満足すれば妥当であると判定する。なお、Ａｔ−Ｆ（ｍ）の絶対値が所定値以下になるということは、式（５）が収束するということである。
（１） ｜Ａｔ − Ｆ（ｍ）｜ ≦ ε（所定値）
（２） ｍ ≧ Ｍ（総二値化回数）
ただし、ｍ： ０または正の整数
【００３８】
このようにして得られた閾値Ｔｈを用いて、ステップＳ２０６において、ステップＳ１０３で指定された濃淡画像を二値化する。
【００３９】
●基準位置の検出方法
図９は基準位置の検出方法の一例を説明するフローチャートで、コンピュータ２によって実行される方向特徴量を計測する処理を示すものである。
【００４０】
まず、ステップＳ３０１で連結領域それぞれの重心を算出し、ステップＳ３０２で詳細は後述するが各連結領域の特徴量を計測し、ステップＳ３０３で計測された最大の特徴量をその連結領域の特徴量とする。
【００４１】
図１０は連結領域の特徴量を計測する方法例を説明するための図で、同図に示す升それぞれは一画素を表し、陰影が付された画素は連結領域を構成している。また、破線は特徴量を計測する方向を示し、破線が交わる画素がこの連結領域の重心画素である。なお、図は四方向の特徴量を計測する例を示しているが、これに限られるものではない。
【００４２】
そして、重心画素から輪郭画素までの距離を、方向０および方向２については一画素当り例えば「１０」でカウントし、方向１および方向３については一画素当り例えば「１４」でカウントした結果を各方向の特徴量とすると、図１０に示す連結領域の各方向の特徴量は次のようになり、ステップＳ３０３では方向２の「７０」がこの連結領域の特徴量として決定される。
方向０： ４０
方向１： ２８
方向２： ７０
方向３： ２８
【００４３】
このようにして決定した連結領域の特徴量が、基準ラインの指標になる所定の特徴量と一致するラインが基準ラインである。
【００４４】
●孤立ドット間の距離の計測方法
図１１は連結領域間の距離の計測方法の一例を説明するフローチャートで、コンピュータ２によって実行されるものである。
【００４５】
まず、ステップＳ４０１で連結領域それぞれの重心などをその代表位置として決定し、ステップＳ４０２でその代表位置を予め設定された基準間隔を１とする格子点に近似し、ステップＳ４０３で隣接する連結領域間の距離を求める。図１２は代表点を格子点に近似する様子を示す図で、代表位置を最も近い基準間隔ピッチで並ぶ格子点に近似する。このように近似した結果に基づいて連結領域間の距離を求めると、図１２の上段の場合は距離「１」が得られ、下段の場合は距離「２」が得られる。
【００４６】
以上説明したように、多値の粒状の集合をもつカラー画像から特徴量を目視で検出する作業は、その作業者の主観的な評価が介入する余地が大きいが、本実施例によれば、特徴量の抽出をコンピュータによって自動化することにより、測定誤差を低減し、評価を安定にし、熟練度を不要にすることができ、その作業にかかるコストも低減することができる。とくに、偽造追跡用コードなどの抽出においては、単位時間当りに評価できる画像の数を増やすことができるので、その作業に迅速性が要求されることを考慮すると、作業に要する人・時間・装置数を大幅に削減することが可能になり、その経済効果は極めて大きい。
【００４７】
【変形例】
前述した実施例においては、二値化閾値を自動的に決定し、基準ライン位置を自動的に求め、孤立ドット間の距離を自動的に計測する例を説明したが、入力された画像によっては、これらが必ずしも自動的に決定または求められるとは限らない。このような場合、オペレータは、ディスプレイ４に表示された画像を参照して、入力デバイス５から二値化閾値，基準ライン位置，孤立ドット間の距離などを与えることもできる。
【００４８】
また、前述した実施例の装置と外部装置とを組合わせて、前述した処理の前半を外部装置で実行し、残りの処理を本装置で継続するような構成も可能である。
【００４９】
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【００５０】
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【００５１】
【発明の効果】
以上説明したように、本発明によれば、原稿画像から特徴量を抽出する画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明にかかる一実施例の画像処理装置の構成例を示すブロック図、
【図２】画像にコードを埋込む方法の一例を説明する図、
【図３】ライン情報を抽出する処理手順の一例を示すフローチャート、
【図４】二値化方法の一例を説明するフローチャート、
【図５】四つの領域に分割した部分画像の例、
【図６】二値化閾値決定用の部分画像を決定する処理の概念を示す図、
【図７】濃淡画像のサンプルについてそれらの平均濃度値および評価適用性の一例を示す図、
【図８】図４に示すステップＳ２０４の処理の詳細例を示すフローチャート、
【図９】基準位置の算出方法の一例を説明するフローチャート、
【図１０】連結成分の特徴量を計測する方法例を説明するための図、
【図１１】連結成分間の距離の計測方法の一例を説明するフローチャート、
【図１２】代表点を格子点に近似する様子を示す図である。
【符号の説明】
１ スキャナ
２ コンピュータ
３ メモリ
４ ディスプレイ
５ 入力デバイス
【産業上の利用分野】
本発明は画像処理装置およびその方法に関し、例えば、多値の粒状の集合をもつカラー画像から特徴量を検出する画像処理装置およびその方法に関するものである。
【０００２】
【従来の技術】
本出願人は、フルカラー複写機などによる偽造を防止するために、複写機の出力に偽造追跡用コードを付加する技術を提案しているが、これらのコードを抽出する場合、拡大鏡を用いて目視により特徴量を検出し、その結果に基づいて偽造追跡用コードを評価・判定するのが一般的である。また、画像を高密度のスキャナで読取って、一旦、メモリに保持した後、このメモリに保持した画像をプリントアウトし、目視により特徴量を検出する方法もある。
【０００３】
【発明が解決しようとする課題】
しかし、上記従来例においては、次のような問題点があった。目視による特徴量の検出結果には、当然、その作業者の主観に依存する誤差が含まれている上、複数の画像から特徴量を検出する際は、その計測環境による誤差も大きくなる。これらの誤差を小さくするには、作業者の熟練度が要求される。また、多数の特徴量を検出しなくてはならない場合や、例え特徴量が同一であっても検出対象となる画像が多数ある場合なども、安定した検出結果を維持することが要求される。さらに、検出結果の評価についても、作業者の熟練度や、安定した評価基準を維持することが要求されるのはいうまでもない。
【０００４】
このように、拡大鏡を用いて目視により特徴量を検出する方法は、それに要する時間が長くなり、当然、コストも高くなる。さらに、検出結果は多分に誤差を含んでいると考えられるので、それが評価に値するかどうかという疑問も生じることになる。
【０００５】
本発明は、上述の問題を解決するためのものであり、原稿画像から特徴量を抽出することができる画像処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】および
【作用】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００７】
本発明にかかる画像処理装置は、原稿画像をその記録密度より高い密度で読取る読取手段と、前記読取手段によって読取られた画像を保持する保持手段と、前記保持手段に保持された画像を二値化する二値化手段と、前記二値化手段により二値化された二値画像の各連結領域の代表位置を抽出する第一の抽出手段と、前記第一の抽出手段によって抽出された前記各連結領域の代表位置を所定間隔の格子点に近似して前記代表位置間の距離を抽出する第二の抽出手段と、前記第二の抽出手段によって抽出された前記代表位置間の距離に基づいて前記原稿画像に付加された情報を検出する検出手段とを有することを特徴とする。
【０００８】
また、原稿画像をその記録密度より高い密度で読取る読取手段と、前記読取手段によって読取られたＲＧＢカラー画像を保持する保持手段と、前記保持手段に保持されたＲＧＢカラー画像の色空間をＣＭＹＫ色空間に変換する変換手段と、前記変換手段によって変換された画像から一つの色成分画像を選択する選択手段と、前記選択手段によって選択された色成分画像を二値化する二値化手段と、前記二値化手段により二値化された二値画像の各連結領域の代表位置を抽出する第一の抽出手段と、前記第一の抽出手段によって抽出された前記各連結領域の代表位置を所定間隔の格子点に近似して該代表位置間の距離を抽出する第二の抽出手段と、前記第二の抽出手段によって抽出された該代表位置間の距離に基づいて前記原稿画像に付加された情報を検出する検出手段とを有することを特徴とする。
【０００９】
本発明にかかる画像処理方法は、原稿画像をその記録密度より高い密度で読取る読取ステップと、前記読取ステップで読取った画像を保持手段に保持する保持ステップと、前記保持手段に保持された画像を二値化する二値化ステップと、前記二値化ステップにおいて二値化された二値画像の各連結領域の代表位置を抽出する第一の抽出ステップと、前記第一の抽出ステップにおいて抽出された前記各連結領域の代表位置を所定間隔の格子点に近似して該代表位置間の距離を抽出する第二の抽出ステップと、前記第二の抽出ステップにおいて抽出された該代表位置間の距離に基づいて前記原稿画像に付加された情報を検出する検出ステップとを有することを特徴とする。
【００１０】
また、原稿画像をその記録密度より高い密度で読取る読取ステップと、前記読取ステップにおいて読取られたＲＧＢカラー画像を保持手段に保持する保持ステップと、前記保持手段に保持されたＲＧＢカラー画像の色空間をＣＭＹＫ色空間に変換する変換ステップと、前記変換ステップにおいて変換された画像から一つの色成分画像を選択する選択ステップと、前記選択ステップにおいて選択された色成分画像を二値化する二値化ステップと、前記二値化ステップにおいて二値化された二値画像の各連結領域の代表位置を抽出する第一の抽出ステップと、前記第一の抽出ステップにおいて抽出された前記各連結領域の代表位置を所定間隔の格子点に近似して該代表位置間の距離を抽出する第二の抽出ステップと、前記第二の抽出ステップにおいて抽出された該代表位置間の距離に基づいて前記原稿画像に付加された情報を検出する検出ステップとを有することを特徴とする。
【００１１】
【実施例】
以下、本発明にかかる一実施例の画像処理装置を図面を参照して詳細に説明する。なお、以下では、本発明を偽造追跡用コードを抽出する装置に適用する例を説明するが、本発明はこれに限らず、多値の粒状の集合をもつカラー画像から特徴量を検出し、その検出結果を評価・判定する装置であれば、どんな目的・用途の装置にも適用することができるのはいうまでもない。
【００１２】
［構成］
図１は本発明にかかる一実施例の画像処理装置の構成例を示すブロック図で、例えばカラーインクジェットプリンタなどの偽造追跡用コードを抽出する装置である。
【００１３】
同図において、１は高密度のスキャナで、例えば１，２００ｄｐｉから２，０００ｄｐｉの密度で原稿画像を読取り、例えばＲＧＢ各８ビット計２４ビットのディジタル画像データに変換して出力するカラー画像入装置である。なお、スキャナ１の分解能は、読取る原稿画像の記録密度より充分高いことが要求される。
【００１４】
２はコンピュータで、メモリ３に予め格納されたプログラムなどに従って装置（システム）全体を制御するとともに、後述する画像処理を行なう。なお、メモリ３は、スキャナ１から出力されたディジタル画像データの格納やワークエリアとしても使用される。
【００１５】
４はディスプレイで、一連の作業を行う際に処理結果画像などを表示する。５は入力デバイスで、キーボードやマウスなどのポインティングデバイスから構成される。
【００１６】
［偽造追跡用コード］
カラーインクジェットプリンタは、四つのノズルから吐出される各色のインク、すなわちシアン，マゼンタ，イエロー，ブラックの四色のインクを記録紙上に付着させることによってカラー画像を形成する。このようなカラーインクジェットプリンタは、図２に示すように、各色のインクジェットヘッドの走査方向に平行な１ラインに対して一つの情報を埋込み、その情報の組合わせにより、偽造追跡用コードを表現する。すなわち、インクの付着状況にある特徴量をもたせた基準ラインをｎライン毎に設定し、ｎ−１ラインにおいて、予め設定された基準間隔を１とするとき、そのラインの孤立ドットの間隔が、奇数間隔が多いときは‘１’、偶数間隔が多いときは‘０’として、情報を埋込む。なお、この方法で埋込んだコードの用途は、偽造追跡に限定されるものではなく、カラーインクジェットプリンタの性能評価など、任意の目的・用途に利用可能である。
【００１７】
［抽出処理］
図３は各ラインに埋込まれた情報（以下「ライン情報」という）を抽出する処理手順の一例を示すフローチャートである。
【００１８】
まず、ステップＳ１０１で、オペレータは、被読取原稿をスキャナ１にセットする。このとき、原稿画像の形成方向、つまり原稿画像が形成されたときのインクジェットヘッドの走査方向と、スキャナ１の読取方向とが所定の関係になるように、被読取原稿セットする。続いて、オペレータが入力デバイス５により原稿のセットが完了したこと（または処理開始）を指示すると、コンピュータ２は、スキャナ１に制御信号を送って原稿画像を読取らせる。そして、コンピュータ２は、スキャナ１から出力されたディジタル画像データをメモリ３へ格納する。
【００１９】
次に、ステップＳ１０２で、コンピュータ２は、メモリ３に格納したＲＧＢ画像を、印刷カラーであるＣＭＹＫ画像に変換する。その変換手順は、まず式（１）によりＲＧＢからＣＭＹへの対数変換を行い、次に式（２）により黒成分を抽出する。さらに、式（３）により３×５のマスキング処理を行う。そして、この色変換により生成した色成分ＣＭＹＫの四枚の濃淡画像をディスプレイ４に表示する。
Ｃ ＝ −２５５／１．８×ｌｏｇ（Ｒ／２５５）
Ｍ ＝ −２５５／１．８×ｌｏｇ（Ｇ／２５５） …（１）
Ｙ ＝ −２５５／１．８×ｌｏｇ（Ｂ／２５５）
ただし、対数の底は１０
Ｋ ＝ ｍｉｎ（Ｃ，Ｍ，Ｙ） …（２）
【００２０】
次に、ステップＳ１０３で、オペレータは、ディスプレイ４に表示された四枚の濃淡画像から、ライン情報の抽出に最適と思われる濃淡画像（色版）を、入力デバイス５により指定する。
【００２１】
次に、ステップＳ１０４で、コンピュータ２は、指定された濃淡画像を二値化する。この二値化方法は、その詳細は後述するが、多値の入力画像のデータ特性にばらつきが生じたとしても、出力画像中の各連結領域の大きさを、予め定めた大きさ付近にほぼ一定化し、二値画像を生成するための閾値を高速に出力するという点で優れた方法である。なお、本実施例においては、孤立ドットの平均面積を、予め、連結領域の大きさに設定する。
【００２２】
次に、ステップＳ１０５で、得られた二値画像から特徴量を抽出して、基準ラインの位置（以下「基準位置」という）を検出する。この検出方法は、その詳細は後述するが、基準ラインの指標になる所定の特徴量を二値画像から抽出して、基準位置を検出するものである。
【００２３】
次に、ステップＳ１０６で、得られた基準位置に基づいて、各ラインのライン情報を抽出する。すなわち、孤立ドット間の距離を計測して‘０’または‘１’を求める。この孤立ドット間の距離の計測方法は、その詳細は後述するが、二値画像に公知の画像処理技術であるラベリング処理を施し、各連結要素の重心位置を算出し、予め設定された基準間隔を１とした基準位置からの格子位置に、算出した重心位置を近似し、各水平ラインごとに孤立ドットとみなせる隣接連結領域、すなわち、予め設定した連結領域の連結画素数の範囲にある隣接連結領域の距離を求めるものである。
【００２４】
最後に、ステップＳ１０７で抽出したライン情報から得られた偽造追跡用コードをディスプレイ４に表示する。
【００２５】
以上の手順により、画像に埋込まれた例えば偽造追跡用のコードなどを、ほぼ自動的に抽出することができる。
【００２６】
●二値化方法
図４は二値化方法の一例を説明するフローチャートで、コンピュータ２によって実行されるものである。
【００２７】
ステップＳ２０１で、指定された濃淡画像を、図５に示すような例えば四つの領域に分割した部分画像を作成する。なお、図５の例は、画素数４ｎ（ｎは自然数）からなる指定された濃淡画像Ａを、画素数ｎの四つの部分画像Ａｋ（ｋ＝１，２，３，４）に分割した例を示している。
【００２８】
次に、ステップＳ２０２で、部分画像を形成する全画素の濃度値の和を画素数ｎで割ることにより、部分画像Ａｋそれぞれの平均濃度値Ｄａｋ（ｋ＝１，２，３，４）を算出する。なお、部分画像Ａｋの平均濃度値Ｄａｋは、そのｉ番目の画素の濃度をＰｉとすれば式（４）によって求められる。
Ｄａｋ ＝ １／ｎ・ΣＰｉ …（４）
ただし、Σ演算はｉ＝１からｎまで
【００２９】
次に、ステップＳ２０３で、得られた平均濃度値Ｄａｋと、予め設定された平均濃度値の範囲とを比較して、平均濃度値Ｄａｋが設定範囲内に入る部分画像を抽出し、さらに、設定範囲の中間値に最も近い平均濃度値Ｄａｋをもつ部分画像を選択して、これを二値化閾値決定用の部分画像とする。
【００３０】
図６はステップＳ２０３の処理の概念を示す図で、その横軸は濃度値を示し、各平均濃度値Ｄａｋは図のように分布している。破線で示すのは設定範囲であり、この範囲に含まれるには部分画像Ａ２とＡ３であるが、設定範囲の中間値に最も近いのはＡ３であり、この場合、部分画像Ａ３が閾値決定用の小領域として決定される。
【００３１】
なお、平均濃度値の範囲を予め設定する方法は、例えば、次のようなものである。図７は２５６階調の濃淡画像のサンプルについてそれらの平均濃度値および評価適用性の一例を示す図で、あるインクジェットプリンタについて調査したものである。同図において、評価適用性が「○」のものは評価用サンプル画像として採用したものであり、「×」のものは不採用としたものである。例えば、採用サンプルの下限とした平均濃度値１６２と、不採用の上限とした平均濃度値１４９の中間値１５５を用いて、平均濃度値の範囲を１５５以上２５５未満に設定する。
【００３２】
なお、評価対象のインクジェットプリンタが明らかな場合は、そのプリンタのサンプル画像によって平均濃度値の範囲を設定すればよい。また、評価対象のインクジェットプリンタが不明な場合は、可能性のあるプリンタすべてのサンプル画像によって平均濃度値の範囲を設定することになる。
【００３３】
次に、ステップＳ２０４で二値化閾値などを算出し、ステップＳ２０５でその閾値の妥当性を判定して、妥当であればステップＳ２０６で二値化を実行し、そうでなければステップＳ２０４へ戻り、妥当な閾値が得られるまでステップＳ２０４とＳ２０５とを繰り返す。
【００３４】
図８はステップＳ２０４の処理の詳細例を示すフローチャートである。
【００３５】
まず、ステップＳ２１１で、全画素数に対して、その濃度値が閾値以上の画素の割合ｐになるような閾値をｐタイル法により設定し、これを初期閾値Ｔｈ（０）とする。続いて、ステップＳ２１２で選択した部分画像（小領域）を閾値Ｔｈ（０）で二値化し、ステップＳ２１３で、生成された二値画像から、ある画素が‘１’であるときに隣接する画素が‘１’であるような連結領域を抽出する。続いて、ステップＳ２１４で抽出された各連結領域の面積（画素数）を求め、ステップＳ２１５でその分布を求め、ステップＳ２１６で連結領域面積の最頻値Ｆを得る。
【００３６】
なお、図には示さないが、ステップＳ２０５で妥当でないと判定されて図８に示す処理へ戻った場合は、次に示す漸化式によりステップＳ２１１で閾値Ｔｈ（ｎ）（ｎは自然数）を求める。なお、前述したように、本実施例においては、孤立ドットの平均面積を、予め、連結領域面積Ａｔとして設定する。
Ｔｈ（ｎ） ＝ Ｔｈ（ｎ−１） ＋ α｛Ａｔ − Ｆ（ｎ）｝ …（５）
ただし、α： 正の定数
【００３７】
ステップＳ２０５における判定は、次の何れかの条件を満足すれば妥当であると判定する。なお、Ａｔ−Ｆ（ｍ）の絶対値が所定値以下になるということは、式（５）が収束するということである。
（１） ｜Ａｔ − Ｆ（ｍ）｜ ≦ ε（所定値）
（２） ｍ ≧ Ｍ（総二値化回数）
ただし、ｍ： ０または正の整数
【００３８】
このようにして得られた閾値Ｔｈを用いて、ステップＳ２０６において、ステップＳ１０３で指定された濃淡画像を二値化する。
【００３９】
●基準位置の検出方法
図９は基準位置の検出方法の一例を説明するフローチャートで、コンピュータ２によって実行される方向特徴量を計測する処理を示すものである。
【００４０】
まず、ステップＳ３０１で連結領域それぞれの重心を算出し、ステップＳ３０２で詳細は後述するが各連結領域の特徴量を計測し、ステップＳ３０３で計測された最大の特徴量をその連結領域の特徴量とする。
【００４１】
図１０は連結領域の特徴量を計測する方法例を説明するための図で、同図に示す升それぞれは一画素を表し、陰影が付された画素は連結領域を構成している。また、破線は特徴量を計測する方向を示し、破線が交わる画素がこの連結領域の重心画素である。なお、図は四方向の特徴量を計測する例を示しているが、これに限られるものではない。
【００４２】
そして、重心画素から輪郭画素までの距離を、方向０および方向２については一画素当り例えば「１０」でカウントし、方向１および方向３については一画素当り例えば「１４」でカウントした結果を各方向の特徴量とすると、図１０に示す連結領域の各方向の特徴量は次のようになり、ステップＳ３０３では方向２の「７０」がこの連結領域の特徴量として決定される。
方向０： ４０
方向１： ２８
方向２： ７０
方向３： ２８
【００４３】
このようにして決定した連結領域の特徴量が、基準ラインの指標になる所定の特徴量と一致するラインが基準ラインである。
【００４４】
●孤立ドット間の距離の計測方法
図１１は連結領域間の距離の計測方法の一例を説明するフローチャートで、コンピュータ２によって実行されるものである。
【００４５】
まず、ステップＳ４０１で連結領域それぞれの重心などをその代表位置として決定し、ステップＳ４０２でその代表位置を予め設定された基準間隔を１とする格子点に近似し、ステップＳ４０３で隣接する連結領域間の距離を求める。図１２は代表点を格子点に近似する様子を示す図で、代表位置を最も近い基準間隔ピッチで並ぶ格子点に近似する。このように近似した結果に基づいて連結領域間の距離を求めると、図１２の上段の場合は距離「１」が得られ、下段の場合は距離「２」が得られる。
【００４６】
以上説明したように、多値の粒状の集合をもつカラー画像から特徴量を目視で検出する作業は、その作業者の主観的な評価が介入する余地が大きいが、本実施例によれば、特徴量の抽出をコンピュータによって自動化することにより、測定誤差を低減し、評価を安定にし、熟練度を不要にすることができ、その作業にかかるコストも低減することができる。とくに、偽造追跡用コードなどの抽出においては、単位時間当りに評価できる画像の数を増やすことができるので、その作業に迅速性が要求されることを考慮すると、作業に要する人・時間・装置数を大幅に削減することが可能になり、その経済効果は極めて大きい。
【００４７】
【変形例】
前述した実施例においては、二値化閾値を自動的に決定し、基準ライン位置を自動的に求め、孤立ドット間の距離を自動的に計測する例を説明したが、入力された画像によっては、これらが必ずしも自動的に決定または求められるとは限らない。このような場合、オペレータは、ディスプレイ４に表示された画像を参照して、入力デバイス５から二値化閾値，基準ライン位置，孤立ドット間の距離などを与えることもできる。
【００４８】
また、前述した実施例の装置と外部装置とを組合わせて、前述した処理の前半を外部装置で実行し、残りの処理を本装置で継続するような構成も可能である。
【００４９】
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【００５０】
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【００５１】
【発明の効果】
以上説明したように、本発明によれば、原稿画像から特徴量を抽出する画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明にかかる一実施例の画像処理装置の構成例を示すブロック図、
【図２】画像にコードを埋込む方法の一例を説明する図、
【図３】ライン情報を抽出する処理手順の一例を示すフローチャート、
【図４】二値化方法の一例を説明するフローチャート、
【図５】四つの領域に分割した部分画像の例、
【図６】二値化閾値決定用の部分画像を決定する処理の概念を示す図、
【図７】濃淡画像のサンプルについてそれらの平均濃度値および評価適用性の一例を示す図、
【図８】図４に示すステップＳ２０４の処理の詳細例を示すフローチャート、
【図９】基準位置の算出方法の一例を説明するフローチャート、
【図１０】連結成分の特徴量を計測する方法例を説明するための図、
【図１１】連結成分間の距離の計測方法の一例を説明するフローチャート、
【図１２】代表点を格子点に近似する様子を示す図である。
【符号の説明】
１ スキャナ
２ コンピュータ
３ メモリ
４ ディスプレイ
５ 入力デバイス
Claims (4)
- 原稿画像をその記録密度より高い密度で読取る読取手段と、
前記読取手段によって読取られた画像を保持する保持手段と、
前記保持手段に保持された画像を二値化する二値化手段と、
前記二値化手段により二値化された二値画像の各連結領域の代表位置を抽出する第一の抽出手段と、
前記第一の抽出手段によって抽出された前記各連結領域の代表位置を所定間隔の格子点に近似して前記代表位置間の距離を抽出する第二の抽出手段と、
前記第二の抽出手段によって抽出された前記代表位置間の距離に基づいて前記原稿画像に付加された情報を検出する検出手段とを有することを特徴とする画像処理装置。 - 原稿画像をその記録密度より高い密度で読取る読取手段と、
前記読取手段によって読取られたＲＧＢカラー画像を保持する保持手段と、
前記保持手段に保持されたＲＧＢカラー画像の色空間をＣＭＹＫ色空間に変換する変換手段と、
前記変換手段によって変換された画像から一つの色成分画像を選択する選択手段と、
前記選択手段によって選択された色成分画像を二値化する二値化手段と、
前記二値化手段により二値化された二値画像の各連結領域の代表位置を抽出する第一の抽出手段と、
前記第一の抽出手段によって抽出された前記各連結領域の代表位置を所定間隔の格子点に近似して該代表位置間の距離を抽出する第二の抽出手段と、
前記第二の抽出手段によって抽出された該代表位置間の距離に基づいて前記原稿画像に付加された情報を検出する検出手段とを有することを特徴とする画像処理装置。 - 原稿画像をその記録密度より高い密度で読取る読取ステップと、
前記読取ステップで読取った画像を保持手段に保持する保持ステップと、
前記保持手段に保持された画像を二値化する二値化ステップと、
前記二値化ステップにおいて二値化された二値画像の各連結領域の代表位置を抽出する第一の抽出ステップと、
前記第一の抽出ステップにおいて抽出された前記各連結領域の代表位置を所定間隔の格子点に近似して該代表位置間の距離を抽出する第二の抽出ステップと、
前記第二の抽出ステップにおいて抽出された該代表位置間の距離に基づいて前記原稿画像に付加された情報を検出する検出ステップとを有することを特徴とする画像処理方法。 - 原稿画像をその記録密度より高い密度で読取る読取ステップと、
前記読取ステップにおいて読取られたＲＧＢカラー画像を保持手段に保持する保持ステップと、
前記保持手段に保持されたＲＧＢカラー画像の色空間をＣＭＹＫ色空間に変換する変換ステップと、
前記変換ステップにおいて変換された画像から一つの色成分画像を選択する選択ステップと、
前記選択ステップにおいて選択された色成分画像を二値化する二値化ステップと、
前記二値化ステップにおいて二値化された二値画像の各連結領域の代表位置を抽出する第一の抽出ステップと、
前記第一の抽出ステップにおいて抽出された前記各連結領域の代表位置を所定間隔の格子点に近似して該代表位置間の距離を抽出する第二の抽出ステップと、
前記第二の抽出ステップにおいて抽出された該代表位置間の距離に基づいて前記原稿画像に付加された情報を検出する検出ステップとを有することを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31805794A JP3559595B2 (ja) | 1994-12-21 | 1994-12-21 | 画像処理装置およびその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31805794A JP3559595B2 (ja) | 1994-12-21 | 1994-12-21 | 画像処理装置およびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08181854A JPH08181854A (ja) | 1996-07-12 |
| JP3559595B2 true JP3559595B2 (ja) | 2004-09-02 |
Family
ID=18095007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31805794A Expired - Fee Related JP3559595B2 (ja) | 1994-12-21 | 1994-12-21 | 画像処理装置およびその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3559595B2 (ja) |
-
1994
- 1994-12-21 JP JP31805794A patent/JP3559595B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08181854A (ja) | 1996-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1505821B1 (en) | Image processing apparatus, an image forming apparatus and an image processing method | |
| US5379130A (en) | Text/image separation method | |
| US5471549A (en) | Method of detecting and correcting a direction of image data and document image filing system employing the same | |
| US6571001B2 (en) | System for detecting photocopied or laser-printed documents | |
| CN101160950B (zh) | 图像处理装置和图像处理方法 | |
| US20040036924A1 (en) | Image processing apparatus, image processing method, and storage medium of image processing program | |
| CN103914858A (zh) | 文档图像压缩方法及其在文档认证中的应用 | |
| US5978554A (en) | Image processing method and system with selection of threshold matrix, from group including matrix with thresholds interpolated from other matrixes, based on edge resemblance in reference area | |
| US7438231B2 (en) | Method for detecting forged barcodes | |
| EP0685959B1 (en) | Image processing apparatus for identifying character, photo and dot images in the image area | |
| US7151859B2 (en) | Method and system for correcting direction or orientation of document image | |
| JP3514050B2 (ja) | 画像処理装置 | |
| JP3559595B2 (ja) | 画像処理装置およびその方法 | |
| EP0522768B1 (en) | Image processor | |
| US6400834B1 (en) | Method for detecting photocopied or laser-printed documents | |
| US5748772A (en) | Image processing method and apparatus including an error calculation for calculating a difference between the values of error correction data and stored representative values | |
| US8493621B2 (en) | Optimal patch code design via device characterization | |
| JP3559596B2 (ja) | 画像処理装置およびその方法 | |
| JPS6180961A (ja) | 画信号処理方法 | |
| JP3245600B2 (ja) | 画像処理装置 | |
| JPH0775395B2 (ja) | 画像処理装置 | |
| JP2001218046A (ja) | 網点領域判定方法 | |
| JP3045777B2 (ja) | プリンタまたは撮像システムの性能を評価する方法および装置 | |
| JPS61225975A (ja) | ２値信号への変換方法 | |
| JPH0679330B2 (ja) | イメージセンサの画素分解能検査方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040202 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20040325 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040325 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040401 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040402 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040517 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040524 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090528 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120528 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120528 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140528 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |