JPH10157081A - 筋状欠陥検査方法及び装置 - Google Patents
筋状欠陥検査方法及び装置Info
- Publication number
- JPH10157081A JPH10157081A JP8319230A JP31923096A JPH10157081A JP H10157081 A JPH10157081 A JP H10157081A JP 8319230 A JP8319230 A JP 8319230A JP 31923096 A JP31923096 A JP 31923096A JP H10157081 A JPH10157081 A JP H10157081A
- Authority
- JP
- Japan
- Prior art keywords
- image
- edge
- pixels
- pixel
- streak
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Inking, Control Or Cleaning Of Printing Machines (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
トが低く且つ微細の筋状欠陥をも確実に検出できるよう
にする。 【解決手段】 印刷物を画像入力した検査画像から、印
刷物上に発生している筋状欠陥を検出する筋状欠陥検査
装置であって、印刷物から検査画像を光学的に入力する
画像入力部10と、検査画像から絵柄部分を除外する絵
柄除外部12と、絵柄部分が除外処理された画像に存在
する筋部分を強調処理する筋強調部14と、筋部分が強
調処理された画像に基づいて筋状欠陥を判定する判定部
16と、判定された筋状欠陥をモニター上に表示する欠
陥表示部18とを備えている。
Description
及び装置、特に、印刷物に発生している微細な筋状の欠
陥を検出する際に適用して好適な、筋状欠陥検査方法及
び装置に関する。
する版胴と、これを押え付けるニップロールとの間に原
反を通過させながら、該版胴に付着されたインキをその
原反に転写することにより、連続的な印刷が行われてい
る。
に、回転する版胴の表面にインキを供給するとともに、
その過剰分をドクターブレードによって掻き落すことが
行われている。
ドに微少な欠けが生じたりすると、その欠け部分が接触
している版胴には、極めて僅かであるが常時インキが残
ることになるため、原反の印刷面には、いわゆるドクタ
ー筋と呼ばれる、微細ではあるが連続した筋状の印刷欠
陥が発生することになる。
の撮像手段で印刷絵柄を画像入力し、その入力画像を画
像処理することにより印刷欠陥を検出することが行われ
ている。
像処理としては、例えば、入力画像から線分を検出する
ための各種微分オペレータの適用や、ハフ転換、パター
ン認識等の技術が知られている。
ような従来の画像処理による線分検出方法では、入力さ
れた絵柄を含む画像から絵柄のエッジと筋状欠陥を識別
して検出することが困難である。その上、ドクター筋等
の同一方向に延びる筋状欠陥は、欠陥部とその周辺との
コントラストが低い場合が多いために線分として検出し
にくく、画像中に雑音がある場合には尚更検出しにくい
という問題があった。
くなされたもので、絵柄を含んでいる検査画像から、コ
ントラストが低く、しかも、微細な筋状欠陥をも確実に
検出することができる筋状欠陥検査方法及び装置を提供
することを課題とする。
入力した検査画像から、印刷物上に発生している筋状欠
陥を検出する筋状欠陥検査方法であって、検査画像から
絵柄部分を除外処理する絵柄除外ステップと、該除外処
理後の画像に存在する筋部分を強調処理する筋強調ステ
ップと、該強調処理後の画像に基づいて筋状欠陥を判定
する判定ステップと、を有することにより、前記課題を
解決したものである。
画像から、印刷物上に発生している筋状欠陥を検出する
筋状欠陥検査装置であって、検査画像から絵柄部分を除
外処理する絵柄除外手段と、該除外処理後の画像に存在
する筋部分を強調処理する筋強調手段と、該強調処理後
の画像に基づいて筋状欠陥を判定する判定手段と、を備
えたことにより、同様に前記課題を解決したものであ
る。
実施の形態を詳細に説明する。
の筋状欠陥検査装置の概略構成を示すブロック図であ
る。
力した検査画像から、印刷物上に発生している筋状欠陥
を検出するもので、印刷物からCCDカメラ等により検
査画像を光学的に入力する画像入力部10と、入力され
た検査画像から絵柄部分を除外処理する絵柄除外部12
と、絵柄部分が除外された除外処理後の画像に存在する
筋部分を強調処理する筋強調処理部14と、筋部分が強
調された強調処理後の画像に基づいて筋状欠陥を判定す
る判定部16と、判定された筋状欠陥をモニタ上に表示
する欠陥表示部18とを備えている。
に、前記絵柄除外部12は、マスク画像作成部12A、
エッジ画像作成部12B、マスク済みエッジ画像合成部
12Cを含み、前記筋強調処理部14は縦加算部14A
を、又、前記判定部16は、二値化部16A、線認識部
16Bをそれぞれ含んで構成されている。
ついて詳述する。なお、この実施形態では、特に断らな
い限り、画像は、それを構成する各画素が0〜255の
256階調の画素値で表示されるモノクロ画像とする。
従って、カラー画像の場合は、R、G、Bの3フレーム
のモノクロ画像として同様に取り扱うことができる。
から抽出される絵柄部分のエッジをマスクするためのマ
スク画像を作成する機能を有している。
像入力部10により入力された検査画像に含まれる筋状
欠陥以外の線分や絵柄のエッジ部を検出処理の対象から
外すためのマスク画像を作成する機能を有する。具体的
には、例えば、図3に画素の配置を概念的に示したよう
に、隣接する画素との画素値の差分を計算し、これを閾
値処理することにより、明確な線や絵柄のエッジのみに
相当する二値のマスク画像を作成する。これを、便宜
上、画素を表わす記号と同一の記号で画素値を記述する
と、次の(1)、(2)式で表わすことができる。
1、Pi,j ≠Pn,m T1 :閾値
は、同一画素間では計算しないことを意味する。又、閾
値T1 は固定した値でなく、筋状欠陥のエッジが抽出さ
れない値として実験的に求め、別途設定しておく。
果、閾値T1 以上の濃度差をもった、即ち明確な線や絵
柄のエッジのみが抽出された二値画像が作成される。こ
の二値画像を、検査画像が絵柄Pと筋状欠陥(ドクター
筋)Dとを模式的に示した図4である場合を例に示す
と、図5のようになる。即ち、濃淡がはっきりしている
絵柄Pのみのエッジが抽出され、ドクター筋D等のコン
トラストの低い線状(筋状)部分のエッジは抽出されな
い二値化画像が得られる。そして、この図5の画像のエ
ッジに基づいて、該エッジをマスクするに十分な幅の、
図6に示すようなマスク部分Mが生成されたマスク画像
が作成できる。
ズ等に起因して連続した明瞭なエッジが抽出されないこ
ともあるので、エッジの膨張処理を行うことにより、エ
ッジの明瞭化を図るようにしてもよい。又、上記
(1)、(2)式を用いる抽出処理によっては任意の方
向のエッジを検出できるが、必ずしも全方向の計算をす
る必要はなく、例えば水平方向のみであってもよい。
査画像から抽出される任意のエッジを含むエッジ画像を
作成する機能を有している。即ち、このエッジ画像作成
部12Bでは、前記検査画像から、縦方法の筋状欠陥を
検出するために水平方向のエッジを全て抽出する。
い場合、水平方向で画素間の画素値の差分を計算するこ
とにより全てのエッジを求める。その際、例えば、図7
に模式的に示した水平方向の画素の配列に対応する、次
の(3)式で記述される微分オペレータを各画素に適用
することにより、コントラストが低い線部分を含む全て
のエッジを抽出することができるため、濃度差に応じた
任意のエッジを含むエッジ画像が作成される。なお、こ
の(3)式でDは、別途設定しおく1以上の定数(D≧
1)であり、因にこの実施形態ではD=2としている。
記(3)式のオペレータによる演算結果について正規化
を行うようになっている。この正規化は、対象画像の画
素値が0〜255階調であることから、上記(3)式の
単純な計算値は、完全な平坦部の場合を0として、マイ
ナスとプラスの値(最小値−510、最大値+510)
を持つことになり、このままでは0〜255階調で表示
ができないことになるので、この表示ができるようにす
るための処理である。
の(4)式のように第1項と第2項に分けて、“正規化
前の減算”を行った後、その結果について“正規化後の
加算”を行い、結果として次の(5)式による計算を行
うことに当る。但し、式中Mは正規化後の原点に当る階
調値であり、ここでは128(=256÷2)としてい
る。
計算結果を正規化することは、該(3)式の計算結果
が、例えば−510、0、+510であれば、これらを
それぞれを4で割った後、全体的に128分シフトさせ
た値である1、128、255の画素値に変換すること
を意味する。従って、この正規化により、(3)式の計
算結果を、階調値128を原点(中間値)として、+−
それぞれの方向に変化する画素値として表示することが
可能となる。
理装置で行われる、いわゆるフレーム間演算の加算や減
算の結果に対して、その画素値がマイナスになる場合
に、0〜255階調の表示ができるようにするものと実
質的に同一の処理である。具体例を挙げると、いずれも
0〜255階調表示の画像A、Bについて、(画像A−
画像B)の減算結果を画像Cとする場合、この画像Cは
−255〜+255となり、0〜255内に収まらない
ので、M=128とし、画像C=(画像A−画像B)/
2+Mにより正規化し、1〜255にする。
検査画像に適用して得られたエッジ画像を模式的に示し
たものであり、前記絵柄Pに基づく強いエッジPEとド
クター筋Dに基づく弱いエッジDEとが、抽出されてい
る。尚、このエッジ画像の作成には、上記微分オペレー
タに限らず、その他のエッジ抽出処理の方法を適用して
もよいことは言うまでもない。
は、作成されたエッジ画像とマスク画像を合成する機能
を有している。即ち、マスク済みエッジ画像合成部12
Cは、前述した画像処理により作成したエッジ画像とマ
スク画像を合成して、検査対象外の画素を決定し、これ
以降の処理からその画素を除外する働きをする。
画像を図9に概念的に示したように、エッジ画像上の画
素Pn と、これに対応するマスク画像上の画素Mn とを
比較し、画素Mn がエッジ部(マスク部分)でない場合
は、画素Pn はそのままにし、逆に、画素Mn がエッジ
部である場合は、画素Pn をマスクする(検査対象外と
する)。即ち、この合成処理は、画素Mn がエッジ部で
ない場合は、合成画像の対応する画素に対して画素Pn
の画素値をそのまま設定し、逆にエッジ部である場合
は、正規化後の原点に対応する階調値128を設定し、
エッジ画像中の強いエッジPEをマスクする処理を行っ
ていることに当る。
ク画像のエッジ部に当る合成画像の画素に、前記(5)
式で正規化の原点の画素値として設定した階調値128
を設定することであり、これにより、合成して得られる
マスク済画像についても128に正規化すると同時に、
上記エッジPEをマスクして検査対象外とした上で、前
記(3)式によるマイナスの計算結果をも0〜127の
階調値により画像表示できるようにしている。
図8のエッジ画像とについて、上述した合成処理を行う
ことにより作成したマスク済み画像を模式的に示したも
のであり、この画像には、上記のように強いエッジPE
が除外され、ドクター筋Dに基づく弱いエッジDEが残
存していることが示されている。
14Aは、絵柄部分が除外された除外処理後の画像、即
ち上記図10に示したようなマスク済み画像について、
注目画素の画素値を、該注目画素を含み、且つ、同一方
向に並ぶ所定数の画素の各画素値を加算した値に置き換
える機能を有している。これを、マスク済みエッジ画像
の画素値を縦方向に加算することにより、縦の筋を強調
し、ノイズ成分を抑制する場合について以下に説明す
る。
みエッジ画像は、階調値128を原点(基準値)とし
て、上下両方向にそれぞれエッジの強さに応じて変化す
る階調値の画素で構成されているが、その変化量は小さ
いため、画素値の差(濃度差)に閾値を設定して抽出す
る方法を採用することはできない。
階調値128を原点(=0)とした場合に、平坦部分で
は±両方向にほぼ均等に画素値が分布しているのに対
し、筋状欠陥部分の画素値は+又は−のいずれかの方向
に偏った画素値の分布をしている。
囲にある画素の画素値を、階調値128を原点として加
算することにより、平坦部分では相殺されるために大き
な変化はないが、筋状部分では+又は−のいずれかの方
向に画素値が増大するため、画素値を強調することが可
能となる。
示したもので、(B)のマスク済みエッジ画像で、画素
Pn,m から垂直方向にR画素まで各画素値を加算し、そ
の加算後の画素値を(A)に示した加算画像の画素P
n,m の画素値に設定する。即ち、加算画像の画素値を次
の(6)式で計算する。但し、この加算処理を行う際の
各画素値は、前記(5)式により正規化した値を、上述
した如く、原点に当る階調値128を実際に0にし、こ
の128を超えている画素値を+、128未満の画素値
を−とした値を使用する。なお、Rは実験的に決定する
定数である。
Pn,m+2 ...について順次実行することにより、前述
した如く、平坦部分の画素では、+−の値が相殺される
ため階調値0から大きく変化することはないが、筋状欠
陥部分の画素は+又は−のいずれか一方に画素値が強調
された加算画像が作成される。即ち、前記図10の筋状
欠陥に基づく弱いエッジDEが強調され、+又は−の明
確な画素値を有する画像が得られる。
記(6)式のように、先頭の画素についてそれより下の
画素の画素値を加算する方法に限らず、同方向に所定画
素分の画素値を加算する方法であれば任意であるが、例
えば、つぎの(6′)式のように、中間の画素値につい
て計算してもよい。
は、前記縦加算部14Aにより作成された縦の筋部分が
強調された加算画像に対して、閾値を設定して二値化処
理することにより、二値化画像を作成する機能を有して
いる。
素値を加算して+又は−の方向に強調した画素値を有す
る前記強調処理後の画像について、筋状の点(画素)と
それ以外の部分に分別するために、例えば、閾値T2
(実験的に決定する)を設定し、各画素値の絶対値が該
閾値T2 以上の値をもつ画素は筋の一部である可能性が
高いので、|Pn,m |≧T2 なら、その画素を筋状の点
の候補とするためにOnにし、逆に|Pn,m |<T2 の
場合は、筋状の点ではないとしてOffにする。なお、
ここで実行する二値化処理は、上記方法に限られず、例
えば、移動平均法や判別分析法等を利用してもよい。
は、強調処理した後に二値化して作成した上記二値化画
像に対して、Onの画素が縦方向(実質的に同一方向)
に所定数以上存在するか否かにより、その画素が縦方向
の線(筋)状の欠陥を構成しているか否かを判定する機
能を有している。
る。検出すべき筋状欠陥が非常に薄く且つ細い場合、二
値化画像上では1本の線として繋がっていない可能性が
あるため、該二値化画像に対して、図12に概念的に示
すように、画素を単位とする縦方向1ライン中にOnの
画素が閾値T3 個以上あれば検出すべき筋状欠陥と判定
とする。この閾値T3 は実験的に予め決定しておく。
素に対して行うものに限らない。画像入力された筋状欠
陥が隣接する2ライン以上に渡っている可能性もあるの
で、2ライン以上でOnの画素の数を計算するようにし
てもよい。又、必要に応じて、判定の前に、On分の画
素を縦方向に複数画素分縮小させ、次いで同画素数分膨
張させる処理を行うことにより、予め孤立点を除去する
処理等を行ってもよい。
は、検査画像を入力し、その検査画像からマスク画像を
作成するとともに、エッジ画像を作成し、次いでこれら
両画像を合成することにより、マスク済みエッジ画像を
作成し、該画像に対して、画素値を強調するために縦加
算画像を作成しその強調画像から二値化画像を作成し、
更に、その二値化画像ついて線認識を行う。
も、コントラストの高いエッジ部を処理対象から除外す
るためのマスク処理を行い、更に縦方向に加算処理を行
うことでコントラストの低い筋状欠陥を強調して検出す
る。
絵柄を含んでいる場合でも、絵柄のエッジ部を検出する
ことなく、該画像中からコントラストの低い筋状欠陥の
検出が可能となる。その結果、従来の印刷物の検査で
は、目視による検査でしか検出不可能であった、コント
ラストが低く且つ微細な、いわゆるドクター筋と呼ばれ
る筋状欠陥をも自動的に検出することが可能となる。
陥検査装置について説明する。この第2実施形態は、前
記第1実施形態で作成したマスク画像を、請求項3及び
4で示した方法で作成するようにしたものである。
て、マスク画像作成部12Aが、後述する方法で抽出す
るエッジ領域をマスク部分とするマスク画像を作成する
機能を有するエッジ領域抽出装置で構成されている以外
は、前記第1実施形態の検査装置と実質的に同一であ
る。
置は、図13にその概略構成を示すように、CCDカメ
ラ等からなる前記画像入力部10により、印刷物からの
絵柄等を入力した検査画像を記憶する入力画像記憶部2
0と、該記憶部20から読み出される入力画像(検査画
像)に対して、以下に詳述する各処理を実行可能とする
ためのパラメータ記憶部22、エッジ領域抽出部24、
膨張・収縮回数算出部28、エッジ膨張部30、エッジ
収縮部34と共に、エッジ抽出部24、エッジ膨張部3
0、エッジ収縮部34で処理した結果をそれぞれ記憶す
るエッジ領域記憶部26、エッジ膨張記憶部32、出力
画像記憶部36とを備えている。
憶部20から読み出される入力画像から、エッジ領域を
抽出する際に画素値を比較する位置を規定するための画
素数L及び判定に使用する閾値Tと、エッジをエッジ領
域から除外する平坦部の最大幅を規定するためのエッジ
間画素数Wとをパラメータとして設定する手段であり、
これらパラメータの値は、例えばキーボード等により予
め入力しておく。但し、これらパラメータには次の制約
があり、ドクター筋の場合は、例えば、W=10画素と
することができる。
エッジ領域を抽出する場合を、図14に模式的に示すよ
うに、上記パラメータ記憶部22から読み込んだパラメ
ータLとTを用い、●の注目画素Pn,m を中心としてそ
れぞれ反対方向にL画素離れた位置にある、同じく●で
示した、Pn-L,m とPn+L,m の画素値を比較し、その差
が閾値Tを超えている場合の該注目画素をエッジ領域と
して判定し、抽出する手段である。このエッジ領域抽出
部24で抽出されたエッジ領域は、一旦その記憶部26
に記憶される。なお、水平方向、水平・垂直両方向のエ
ッジ領域の場合も、同様の計算原理に基づいて抽出でき
る。
ラメータ記憶部22からパラメータWを入力すると共
に、エッジ間画素数がWの平坦部について抽出された一
対のエッジ領域の幅をそれぞれ画素単位で膨張させた場
合に該両エッジ領域が接しない(繋らない)膨張画素数
Nを膨張回数として計算し、且つ、膨張後のエッジ領域
を収縮させる収縮画素数Pを収縮回数として計算する手
段である。
張回数Nの意味を概念的に示したものであり、この図に
示されるように、回数N=NA +NB であり、NA =L
−W、NB =(W−1)/2である。
に、エッジから、上記方法で抽出したエッジ領域までの
平坦部の長さ(画素数)であり、図中左右いずれのエッ
ジ領域についても同一であるが、ここでは便宜上左のエ
ッジ領域のみについて図示したように、該エッジ領域の
右端から平坦部の右端までの画素数は、上記図5に示し
た抽出原理からLであるため、L−Wで与えられる。
Nだけ膨張させた場合に、該両エッジ領域が接しないよ
うにするために、図15(A)に示すように、中心に一
画素残すことができる画素数にする必要があることか
ら、(W−1)/2とする。但し、中心に残す画素数は
1に限らず例えば2としてもよく、その場合は、NB =
(W−2)/2とする。なお、このNB に端数が出た場
合は切り捨てる。
り、エッジ間の幅が画素数W以下の筋状の場合は、左右
のエッジ領域に対してN画素の膨張を行っても、絶対に
両エッジ領域が繋ることがないのに対し、Wを超える幅
の場合は繋ってしまう。
膨張させた後のエッジ領域を収縮させる収縮画素数P1
の計算も行う。この実施形態では、次式のようにP1 =
Nとする。
域記憶部26から読み込んだエッジ領域抽出画像に対し
て、上記算出部28で求められた膨張回数Nの画素数だ
け幅を拡げる膨張処理を行う。この膨張処理を、エッジ
領域を水平方向に一画素だけ膨張させる(回数N=1)
場合を、1次元的な信号について図16に模式的に示し
た。
領域であり、一回の膨張は、該エッジ領域を水平方向の
両側にそれぞれ一画素だけ幅を拡張することを意味す
る。
た画像データは、エッジ膨張記憶部32に記憶された
後、エッジ収縮部34に読み出され、エッジ膨張部30
で膨張したと同数の画素分だけ縮める収縮処理が行われ
る。
ッジ領域に対する収縮処理を概念的に示した。この図に
示されるように、収縮処理は、膨張したと同数の画素を
膨張後のエッジ領域の両側から減らすことを意味し、膨
張した結果、両側のエッジ領域が繋ってしまった場合を
除き、膨張前のエッジ領域に戻すことになる。この収縮
後のエッジ領域画像は出力画像記憶部36に記憶され
る。
及びTとして所定の数値を入力すると共に、入力画像に
対して、前述した原理に従ってエッジ領域の抽出、膨
張、収縮の各処理を行うことにより、エッジ間画素数が
W以下の平坦部(微小筋に当る)の場合は、エッジを含
まない位置にエッジ領域を抽出でき、逆にWを超えてい
るときはエッジを含む領域にエッジ領域を抽出できる。
収縮回数P1 が共に、前記(7)式から、L−W+(W
−1)/2=5−3+(3−1)/2=3の場合につい
て、図18〜20を参照しながら具体的に説明する。
エッジはエッジ領域とされない場合の例に当る。1次元
の入力画像信号が、図18(A)に●に示すように、幅
が2画素の場合、前記図14に示した原理に従って、注
目画素から左右にそれぞれ5画素離れた位置の画素値を
比較し、その値が閾値Tよりも大きい場合の該注目画素
をエッジ領域とする処理を行うと、2つの●の両側にそ
れぞれ網掛の丸で示した2つの画素からなるエッジ領域
が抽出された図18(B)に示す画像が得られる。
対して、左右の幅方向にそれぞれ3画素(N=3)分拡
げる膨張処理を行って図18(C)の状態にし、その
後、同じく3画素分減らす収縮を行い、最終的なエッジ
領域抽出画像として同図(D)を得る。
うに、網掛の二重丸で示した膨張処理後のエッジ領域
が、互い繋っていないため、各エッジ領域とも両側で収
縮処理が行われる。その結果、最終的に、図18(D)
に示すように、筋の両側のエッジに当る●から離れた位
置にエッジ領域が抽出される。
の場合の処理結果は、上記図18に対応する図19に示
すように、同図(C)に示される膨張処理後の状態が、
2つのエッジ領域が繋って1つの大きなエッジ領域とな
っている。
がった場合には、その部分では収縮処理が行われないよ
うになっているため、収縮後のエッジ領域は図10
(D)のように、同図(B)で抽出された左側エッジ領
域の左端から右側エッジ領域の右端まで連続したものに
なり、この収縮後のエッジ領域の内側に入力画像の同図
(A)に示される線に相当する4つの●の画素が完全に
潰されて含まれているため、エッジも当然含まれている
ことになる。
べ十分に広い、幅が17画素の場合は、前記図18、図
19より簡略化した図20に示すように、同図(B)の
段階でエッジをほぼ中心とする2L(5×2=10)の
幅のエッジ領域が抽出され、このエッジ領域に対して、
N=3の膨張処理を行っても、同図(C)に示すように
左右両エッジ領域は内側で繋がることがないため、次の
収縮処理では各エッジ領域とも両側でN=3で収縮さ
れ、同図(D)に示すように、上記(B)の場合と同一
のエッジ領域に戻る。この場合は、左右のエッジがそれ
ぞれ対応する左右のエッジ領域(網掛範囲)に完全に含
まれることになる。
図21に示した(A)の検査画像に適用する場合を例に
更に詳述する。この検査画像は、絵柄を模式的に示した
もので、幅がa〜dの4種類の矩形の絵柄等がそれぞれ
eの間隔をおいて並んだ画像に相当し、1番細いdの幅
の線がドクター筋に相当する。又、図21の(B)は、
同図(A)の水平方向の各画素の階調値を概念的に示し
たものである。
収縮の各処理結果(C)〜(E)をそれぞれ前の処理結
果と併せて示したように、パラメータW以下の細い線に
当るdの幅の場合のみ、線(筋)から離れた位置にその
線の幅に応じた幅のエッジ領域が抽出される。その結
果、上記図24から判るように、前記幅dの線の場合の
み、そのエッジが収縮後のエッジ領域に含まれず、それ
以外の幅の広いものは、全てエッジがエッジ領域に含ま
れることになる。
直方向のエッジに基づいてエッジ領域を抽出できるが、
エッジに挾まれた平端部の幅が一定(=W)以下のとき
は、そのエッジをエッジ領域として抽出しないようにで
きることから、細い線を除き、それを超える太さの線や
通常の絵柄のエッジ部分を含むエッジ領域を抽出するこ
とができる。
をマスク部分とするマスク画像を作成することにより、
平坦部及び細い筋状の欠陥を残したまま、絵柄のエッジ
のみを除外することが可能となる。
原画像(検査画像)が、図25に示すように、通常の絵
柄P1 (リング形状)、P2 (色模様)と共に、微細な
ドクター筋Dを含んでいる場合に、本実施形態の方法で
抽出したエッジ領域をマスク部分とするマスク画像は、
図26に示すイメージのようになる。即ち、前記図24
の場合と同様に、通常の絵柄部分では、エッジを中心と
するその近傍がエッジ領域(斜線部で示す)として抽出
されるが、ドクター筋Dの部分はエッジ領域に含まれな
いことになる。
1 、P2 についてはER1 、ER2で示すマスク部分
(エッジ領域)が、ドクター筋についてはその両側にE
Rd で示す2本のマスク部分が生成されたマスク画像が
作成されることになる。このマスク画像と図25の原画
像との関係を概念的に示すと図27のようになる。一
方、上記図25の検査画像から前記エッジ画像作成部1
2Bによりエッジ画像を作成すると、図28に示すよう
に、全てのエッジPE1 、PE2 、DEが抽出された画
像が得られる。
のにエッジ画像とを、前記画像合成部12Cで合成する
ことにより、図29に示すような、前記図10と実質上
同一のマスク済みエッジ画像を作成することができる。
の処理を施すことにより、通常は検出されないような、
印刷のドクター筋等の筋状欠陥を確実に検出することが
できる。
像が絵柄を含んでいる場合でも、コントラストが低く且
つ細い筋状欠陥をも、前記第1実施形態の場合と同様に
自動的に検出することが可能となる。
陥検査装置について説明する。この第3実施形態は、前
記第1実施形態で作成したマスク画像を、請求項3及び
5で示した方法で作成するようにしたものである。
数計算部28で、収縮回数(画素数)P2 を、次の
(8)式で計算するようにした以外は、前記第2実施形
態と実質上同一である。
明らかなように、前記(7)式で示した第2実施形態の
収縮画素数P1 (=N)よりも(W+1)/2画素分だ
け更に収縮させる。これを、図30、図31を用いて以
下に説明する。
画像に対して、前記図18(A)〜(D)と同様の処理
を施してエッジ領域を抽出した画像を模式的に示したも
のである。即ち、この図30は、図18(C)に相当す
るN回膨張した画像から、前記第1実施形態の場合と同
様にP1 (=N)回収縮した、同図(D)の状態に相当
する。
記図30に示した幅W以下の平坦部の左右近傍に抽出さ
れるエッジ領域ERを、更に(W+1)/2画素分収縮
させることにより、図31に示すように消減させるよう
にしている。
追加収縮回数(W+1)/2の計算根拠は、図30に示
されるエッジ領域ERの最大幅は、前記図14に示した
抽出原理からWであることから、これを両側から1画素
ずつ収縮させて消滅させるためにはW/2で足りるが、
Wが奇数の場合を考慮して(W+1)/2としているこ
とにある。但し、この場合、端数は切り捨てる。
2実施形態に比較して、幅がW以下の筋状の入力画像に
ついて、その両側に抽出されたエッジ領域を消滅させる
ことができる。
領域を用いてマスク画像を作成する場合には、第2実施
形態の作用を示した前記図24(E)に相当する図32
と前記図27に相当する図33にそれぞれ示すように、
ドクター筋Dの両側には、エッジ領域が抽出されないよ
うにできることから、それだけ被検査画像において検査
の対象となる領域を広く取り、検査の信頼性を高めるこ
とが可能となる。
陥検査装置について説明する。この第4実施形態は、前
記第1実施形態で作成したマスク画像を、請求項3及び
6で示した方法で作成するようにしたものである。
数計算部28で、収縮回数(画素数)P3 を、次の
(9)式で計算るすようにした以外は、前記第2実施形
態と実質上同一である。
明らかなように、前記(7)式で示した第2実施形態の
収縮画素数P1 (=N)よりも(L−1)画素分だけ更
に収縮させる。これを、図34、図35を用いて以下に
説明する。
る入力画像に対して、前記図18(A)〜(D)と同様
の処理を施してエッジ領域ERを抽出した画像を模式的
に示した、前記図30と同一である。又、図34(B)
は、平坦部の幅がWより大きい入力画像について、前記
図19(A)〜(D)と実質上同一の処理を施した同図
(D)に相当し、図34(C)は、平坦部の幅がWより
十分に大きい入力画像について前記図20(A)〜
(D)と実質上同一の処理を施した同図(D)に相当す
る。
回の収縮を行った状態に当る図34(A)〜(C)のそ
れぞれのエッジ領域ERに対して、前記(9)式で示し
たように、更に(L−1)画素分の収縮を行うことによ
り、対応する図35(A)〜(C)の状態にする。本実
施形態で採用する追加収縮回数(L−1)は、エッジ領
域を平坦部のエッジに対してぎりぎりまで小さくする収
縮画素数に当る。
P1 より(L−1)回だけ余分に収縮させる場合には、
前記第3実施形態の場合と同様に、幅がW以下の平坦部
については、W≦Lであることから、図35(A)のよ
うにエッジ領域ERを消滅させることができる。又、図
34(B)のように、平坦部の幅がWを超えている場
合、図35(B)に示すように、膨張処理した結果1つ
に繋ったエッジ領域ERの左右端それぞれをエッジより
1画素目まで収縮させることができるため、エッジ領域
をエッジをカバーできる最小の大きさにすることができ
る。又、図34(C)のように、平坦部の幅がWより十
分に大きい場合は、図35(C)に示すように、エッジ
の前後1画素の部分にのみエッジ領域が抽出されるよう
にできる。
ク画像を作成する場合、エッジ領域(マスク部分)は、
被検査画像において検査対象から除外する領域を意味す
るため、検査対象となる領域を広くして検査の信頼性を
高めるためには、エッジ領域は被検査画像中のエッジを
きちんとマスクした上で可能な限り(その面積が)狭い
ことが理想的である。
般的なエッジ抽出方法として最もふさわしく、本実施形
態により抽出したエッジ領域を用いることにより、理想
的な検査用のマスク画像を作成することができる。
実施形態の場合の前記図32及び図33にそれぞれ相当
する図36及び図37に示すように、幅W以下のドクタ
ー筋Dについては、前記第3実施形態と同様にエッジ領
域は抽出されず、幅W以上の通常の絵柄については、前
記第3実施形態より一段と狭いエッジ領域ERを抽出す
ることが可能となる。
が、本発明は、前記実施形態に示したものに限られるも
のでなく、その要旨を逸脱しない範囲で種々変更可能で
ある。
欠陥を検出する場合について説明したが、縦方向のみに
限定されるものではなく、例えはば水平方向であって
も、更には計算処理が難しくなるが斜方向等任意の方向
であってもよい。
(8ビット)で画像表示する装置を用い、前記(3)式
の計算結果を階調値128が原点となるように、前記
(5)式により正規化する場合を示したが、これに限ら
れるものでなく、例えば16ビットで表示できる装置を
用いる場合には、(3)式を単純に計算するだけで、正
規化しなくともよい。
としてW=3、L=5の場合を示したが、これに限定さ
れる場合でなく、対象とする画像毎に適切なパラメータ
を設定することができる。
柄を含んでいる検査画像からコントラストが低い上に微
細な筋状欠陥をも確実に検出することができる。
が概略構成を示すブロック図
画像を示す説明図
説明図
示す説明図
像を示す説明図
示す説明図
明図
置の概略構成を示すブロック図
す説明図
す説明図
す説明図
の抽出画像を示す説明図
明図
す説明図
像の一例を模式的に示す説明図
す説明図
明図
す説明図
ク済みエッジ画像を示す説明図
領域のP1 回収縮後の状態を示す説明図
領域のP1 回収縮後の状態を示す説明図
像データは、エッジ膨張記憶部32に記憶された後、エ
ッジ収縮部34に読み出され、エッジ膨張部30で膨張
したと同数の画素分だけ縮める収縮処理が行われる。
がった場合には、その部分では収縮処理が行われないよ
うになっているため、収縮後のエッジ領域は図19
(D)のように、同図(B)で抽出された左側エッジ領
域の左端から右側エッジ領域の右端まで連続したものに
なり、この収縮後のエッジ領域の内側に入力画像の同図
(A)に示される線に相当する4つの●の画素が完全に
潰されて含まれているため、エッジも当然含まれている
ことになる。
のエッジ画像とを、前記画像合成部12Cで合成するこ
とにより、図29に示すような、前記図10と実質上同
一のマスク済みエッジ画像を作成することができる。
数計算部28で、収縮回数(画素数)P3 を、次の
(9)式で計算するようにした以外は、前記第2実施形
態と実質上同一である。
欠陥を検出する場合について説明したが、縦方向のみに
限定されるものではなく、例えば水平方向であっても、
更には計算処理が難しくなるが斜方向等任意の方向であ
ってもよい。
の概略構成を示すブロック図
を示す説明図
Claims (13)
- 【請求項1】印刷物を画像入力した検査画像から、印刷
物上に発生している筋状欠陥を検出する筋状欠陥検査方
法であって、 検査画像から絵柄部分を除外処理する絵柄除外ステップ
と、 該除外処理後の画像に存在する筋部分を強調処理する筋
強調ステップと、 該強調処理後の画像に基づいて筋状欠陥を判定する判定
ステップと、を有することを特徴とする筋状欠陥検査方
法。 - 【請求項2】請求項1において、 前記絵柄除外ステップが、 検査画像から抽出される絵柄部分のエッジをマスクする
ためのマスク部分を有するマスク画像を作成するステッ
プと、 検査画像から抽出される任意のエッジを含むエッジ画像
を作成するステップと、 作成されたエッジ画像とマスク画像を合成するステップ
と、を含むことを特徴とする筋状欠陥検査方法。 - 【請求項3】請求項2において、 前記マスク画像を作成するステップでは、前記マスク部
分を検査画像から抽出されるエッジ領域で作成するとと
もに、 該エッジ領域を抽出する際に、パラメータとして、少な
くとも画素値を比較する位置を規定するための画素数L
と、エッジがエッジ領域に含まれないようにする平坦部
の最大幅を規定するためのエッジ間画素数Wとを設定す
るステップと、 注目画素を中心としてそれぞれ反対方向にL画素離れた
位置の画素値を比較し、その差が、所定の閾値を超えて
いる場合の該注目画素をエッジ領域として抽出するステ
ップと、 前記エッジ間画素数Wの幅の平坦部について抽出された
一対のエッジ領域の幅を、それぞれ画素単位で膨張させ
た場合に、該両エッジ領域が繋ることのない膨張画素数
Nを計算するステップと、 膨張後のエッジ領域を収縮させる収縮画素数Pを計算す
るステップと、 入力画像から抽出された全てのエッジ領域の幅を、その
両側でN画素ずつ膨張させるステップと、 膨張させたエッジ領域の幅を、その両側でP画素ずつ収
縮させるステップと、を含むことを特徴とする筋状欠陥
検査方法。 - 【請求項4】請求項3において、 前記収縮画素数Pを、前記膨張画素数Nと等しくするこ
とを特徴とする筋状欠陥検査方法。 - 【請求項5】請求項3において、 前記収縮画素数Pを、前記膨張画素数Nと(W+1)/
2の和にすることを特徴とする筋状欠陥検査方法。 - 【請求項6】請求項3において、 前記収縮画素数Pを、前記膨張画素数Nと(L−1)の
和にすることを特徴とする筋状欠陥検査方法。 - 【請求項7】請求項1において、 前記筋強調ステップが、 絵柄部分が除外された前記除外処理後の画像について、
注目画素の画素値を該注目画素を含み、且つ、同一方向
に並ぶ所定数の画素の各画素値を加算した値に置き換え
る処理であることを特徴とする筋状欠陥検査方法。 - 【請求項8】請求項1において、 前記判定ステップが、 筋部分が強調された前記強調処理後の画像において、画
素値の絶対値が所定値以上の画素が、実質的に同一の方
向に所定数以上存在するか否かを判定する処理であるこ
とを特徴とする筋状欠陥検査方法。 - 【請求項9】印刷物を画像入力した検査画像から、印刷
物上に発生している筋状欠陥を検出する筋状欠陥検査装
置であって、 検査画像から絵柄部分を除外処理する絵柄除外手段と 該除外処理後の画像に存在する筋部分を強調処理する筋
強調手段と、 該強調処理後の画像に基づいて筋状欠陥を判定する判定
手段と、を備えていことを特徴とする筋状欠陥検査装
置。 - 【請求項10】請求項9において、 前記絵柄除外手段が、 検査画像から抽出される絵柄部分のエッジをマスクする
ためのマスク部分を有するマスク画像を作成する手段
と、 検査画像から抽出される任意のエッジを含むエッジ画像
を作成する手段と、 作成されたエッジ画像とマスク画像を合成する手段と、
を含むことを特徴とする筋状欠陥検査装置。 - 【請求項11】請求項10において、 前記マスク画像を作成する手段が、前記マスク部分を検
査画像から抽出されるエッジ領域で作成する機能を有し
ているとともに、 該エッジ領域を抽出するために、パラメータとして、少
なくとも画素値を比較する位置を規定するための画素数
Lと、エッジがエッジ領域に含まれないようにする平坦
部の最大幅を規定するためのエッジ間画素数Wとを設定
する手段と、 注目画素を中心としてそれぞれ反対方向にL画素離れた
位置の画素値を比較し、その差が、所定の閾値を超えて
いる場合の該注目画素をエッジ領域として抽出する手段
と、 前記エッジ間画素数Wの幅の平坦部について抽出された
一対のエッジ領域の幅を、それぞれ画素単位で膨張させ
た場合に、該両エッジ領域が繋ることのない膨張画素数
Nを計算すると共に、膨張後のエッジ領域を収縮させる
収縮画素数Pを計算する手段と、 入力画像から抽出された全てのエッジ領域の幅を、その
両側でN画素ずつ膨張させる手段と、 膨張させたエッジ領域の幅を、その両側でP画素ずつ収
縮させる手段と、を備えていることを特徴とする筋状欠
陥検査装置。 - 【請求項12】請求項9において、 前記筋強調手段が、 絵柄部分が除外された前記除外処理後の画像について、
注目画素の画素値を、該注目画素を含み、且つ、同一方
向に並ぶ所定数の画素の各画素値を加算した値に置き換
える処理機能を有していることを特徴とする筋状欠陥検
査装置。 - 【請求項13】請求項9において、 前記判定手段が、 筋部分が強調された前記強調処理後の画像において、所
定画素値以上の画素が、実質的に同一の方向に所定数以
上存在するか否かを判定する処理機能を有していること
を特徴とする筋状欠陥検査装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31923096A JP3902823B2 (ja) | 1996-11-29 | 1996-11-29 | 筋状欠陥検査方法及び装置 |
PCT/JP1997/003611 WO1998015919A1 (fr) | 1996-10-09 | 1997-10-08 | Procede et appareil de detection de defauts de raies sur des documents imprimes |
US09/077,553 US6366358B1 (en) | 1996-10-09 | 1997-10-08 | Method and apparatus for detecting stripe defects of printed matter |
EP97943155A EP0872810A4 (en) | 1996-10-09 | 1997-10-08 | METHOD AND APPARATUS FOR DETECTING LINE DEFECTS ON PRINTED DOCUMENTS |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31923096A JP3902823B2 (ja) | 1996-11-29 | 1996-11-29 | 筋状欠陥検査方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10157081A true JPH10157081A (ja) | 1998-06-16 |
JP3902823B2 JP3902823B2 (ja) | 2007-04-11 |
Family
ID=18107869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31923096A Expired - Fee Related JP3902823B2 (ja) | 1996-10-09 | 1996-11-29 | 筋状欠陥検査方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3902823B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002174600A (ja) * | 2000-12-05 | 2002-06-21 | Nippon Steel Corp | 鋼板の表面疵検出装置、検出方法及び記憶媒体 |
KR100555466B1 (ko) * | 1999-03-10 | 2006-03-03 | 삼성전자주식회사 | 그래픽과 자연영상이 혼재된 영상에서의 에지검출방법 및 에지검출장치 |
US7853097B2 (en) | 2002-12-27 | 2010-12-14 | Nikon Corporation | Image processing apparatus and image processing program |
JP2017173000A (ja) * | 2016-03-18 | 2017-09-28 | 株式会社リコー | 検査装置、検査方法及びプログラム |
CN109767419A (zh) * | 2017-11-08 | 2019-05-17 | 欧姆龙株式会社 | 数据生成装置、数据生成方法及存储介质 |
JP2020085440A (ja) * | 2018-11-14 | 2020-06-04 | 東都フォルダー工業株式会社 | 一重部分と二重部分とを有するシート材の画像処理装置及びシート材の画像処理方法 |
CN112543950A (zh) * | 2018-10-15 | 2021-03-23 | 欧姆龙株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
CN114782330A (zh) * | 2022-03-31 | 2022-07-22 | 海门市博洋铸造有限公司 | 基于人工智能的炉排异常检测方法及系统 |
CN116805314A (zh) * | 2023-08-21 | 2023-09-26 | 山东新中鲁建设有限公司 | 一种建筑工程质量评估方法 |
-
1996
- 1996-11-29 JP JP31923096A patent/JP3902823B2/ja not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100555466B1 (ko) * | 1999-03-10 | 2006-03-03 | 삼성전자주식회사 | 그래픽과 자연영상이 혼재된 영상에서의 에지검출방법 및 에지검출장치 |
JP2002174600A (ja) * | 2000-12-05 | 2002-06-21 | Nippon Steel Corp | 鋼板の表面疵検出装置、検出方法及び記憶媒体 |
US7853097B2 (en) | 2002-12-27 | 2010-12-14 | Nikon Corporation | Image processing apparatus and image processing program |
US8031968B2 (en) | 2002-12-27 | 2011-10-04 | Nikon Corporation | Image processing apparatus and image processing program |
US8369651B2 (en) | 2002-12-27 | 2013-02-05 | Nikon Corporation | Image processing apparatus and image processing program |
JP2017173000A (ja) * | 2016-03-18 | 2017-09-28 | 株式会社リコー | 検査装置、検査方法及びプログラム |
CN109767419A (zh) * | 2017-11-08 | 2019-05-17 | 欧姆龙株式会社 | 数据生成装置、数据生成方法及存储介质 |
CN109767419B (zh) * | 2017-11-08 | 2023-05-16 | 欧姆龙株式会社 | 数据生成装置、数据生成方法及存储介质 |
CN112543950A (zh) * | 2018-10-15 | 2021-03-23 | 欧姆龙株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
CN112543950B (zh) * | 2018-10-15 | 2024-05-03 | 欧姆龙株式会社 | 图像处理装置、图像处理方法及计算机可读取的记录介质 |
JP2020085440A (ja) * | 2018-11-14 | 2020-06-04 | 東都フォルダー工業株式会社 | 一重部分と二重部分とを有するシート材の画像処理装置及びシート材の画像処理方法 |
CN114782330A (zh) * | 2022-03-31 | 2022-07-22 | 海门市博洋铸造有限公司 | 基于人工智能的炉排异常检测方法及系统 |
CN114782330B (zh) * | 2022-03-31 | 2022-12-16 | 海门市博洋铸造有限公司 | 基于人工智能的炉排异常检测方法及系统 |
CN116805314A (zh) * | 2023-08-21 | 2023-09-26 | 山东新中鲁建设有限公司 | 一种建筑工程质量评估方法 |
CN116805314B (zh) * | 2023-08-21 | 2023-11-14 | 山东新中鲁建设有限公司 | 一种建筑工程质量评估方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3902823B2 (ja) | 2007-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9042649B2 (en) | Color document image segmentation and binarization using automatic inpainting | |
WO1998015919A1 (fr) | Procede et appareil de detection de defauts de raies sur des documents imprimes | |
US8194941B2 (en) | Character noise eliminating apparatus, character noise eliminating method, and character noise eliminating program | |
CN110648349A (zh) | 基于背景减除和连通区域算法的焊缝缺陷分割方法 | |
WO1999038319A1 (fr) | Dispositif et procede de traitement d'image | |
US7031543B2 (en) | Grayscale image de-speckle algorithm | |
JPH0957201A (ja) | 特定色領域抽出方式および特定色領域除去方式 | |
US10715683B2 (en) | Print quality diagnosis | |
JPH10157081A (ja) | 筋状欠陥検査方法及び装置 | |
CN114022383A (zh) | 一种文字图像的摩尔纹祛除方法、装置及电子设备 | |
US8285036B2 (en) | Image processing method, image processing apparatus, and computer-readable storage medium for computer program | |
US8477988B2 (en) | Image processing apparatus, image forming apparatus and computer readable medium | |
Zhao et al. | An adaptive thresholding method for binarization of blueprint images | |
JP3816994B2 (ja) | エッジ領域抽出方法及び装置 | |
JP2008092447A (ja) | 画像処理装置、画像出力装置、および画像処理方法 | |
JPH1148457A (ja) | 筋状欠陥検査方法及び装置 | |
JP3909604B2 (ja) | 画像処理装置および画像処理方法 | |
JP3835898B2 (ja) | 二値画像作成方法及び装置並びに筋状欠陥検査方法及び装置 | |
JP5190619B2 (ja) | 被検査物の検査方法及びその検査装置 | |
JPH0915168A (ja) | 印刷物検査装置 | |
JPH0624014B2 (ja) | 濃淡画像の処理方法 | |
JP2004276476A (ja) | 印刷物検査装置、印刷物検査方法、印刷物検査処理プログラム及び当該プログラムが記録された記録媒体 | |
JP3116936B2 (ja) | 画像コントラスト強調方法と画像コントラスト処理装置 | |
JP3879092B2 (ja) | 印刷物に埋め込まれた識別情報の抽出方法及び識別情報が埋め込まれた印刷物 | |
Saha et al. | Print scum identification using DCT based computer vision method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070105 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120112 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120112 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130112 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |