JP3835898B2 - 二値画像作成方法及び装置並びに筋状欠陥検査方法及び装置 - Google Patents
二値画像作成方法及び装置並びに筋状欠陥検査方法及び装置 Download PDFInfo
- Publication number
- JP3835898B2 JP3835898B2 JP21321197A JP21321197A JP3835898B2 JP 3835898 B2 JP3835898 B2 JP 3835898B2 JP 21321197 A JP21321197 A JP 21321197A JP 21321197 A JP21321197 A JP 21321197A JP 3835898 B2 JP3835898 B2 JP 3835898B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- streak
- pixel
- edge
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Inking, Control Or Cleaning Of Printing Machines (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明が属する技術分野】
本発明は、特に、印刷物に発生している微細な筋状の欠陥を検出する際等に適用して好適な、二値画像作成方法及び装置並びに筋状欠陥検査方法及び装置に関する。
【０００２】
【従来の技術】
ＣＣＤカメラ等の撮像手段により直接入力した入力画像や、該入力画像に対して所定の処理を施して作成された処理画像が、全体的にほぼ一定の画素値からなる平坦な背景を有する画像で、その背景の中に略一定の方向に連続している筋状（線状）の部分が存在するか否かを判定したいことがある。
【０００３】
その具体的な例としては、輪転印刷機で連続的に印刷された印刷物上に、いわゆるドクター筋といわれる筋状欠陥が発生しているか否かを検査するために入力した検査画像がある。
【０００４】
図１５は、このような入力画像とその特徴を概念的に示したものである。図１５（Ａ）は、後に詳述する縦加算画像の一例に相当する入力画像を示し、該画像には、略平坦な背景の中に、縦方向に連続している筋部分Ｌが存在していると同時に、ノイズＮが存在している。そのため、この図１５（Ａ）に示した横方向のスキャンライン(I) 、(II)、(III) における階調値（輝度値）の分布プロファイルを、同図（Ｂ）、（Ｃ）、（Ｄ）にそれぞれ示したように、全てのプロファイルに筋部分に対応して略同一位置のピークＰl が認められると同時に、異なる位置にもノイズＮに起因するピークＰn が認められる。
【０００５】
このような検査画像等の入力画像から筋部分の有無を判定する場合、各画素値を二値化して作成される二値画像に基づいて、その判定処理を行うことが考えられる。その際に用いられる二値画像を作成するための二値化処理方法としては、画像内の各画素値をある固定の閾値で二値化する、固定閾値処理方法が最も一般的な方法として用いられている。
【０００６】
又、他の方法としては、入力画像において、背景に対して二値化したい対象が占める面積の比率（画素の割合）Ｐが予め分かっている場合に用いる、いわゆるＰタイル法が知られている。
【０００７】
このＰタイル法では、図１６（Ａ）に示した１ライン分の階調値の分布プロファイルを有する入力画像に対して閾値Ｔを設定する場合であれば、対応する二値画像の１ライン分について、１（ＯＮ）、０（ＯＦＦ）となる画素値の分布を同図（Ｂ）に示したように、二値画像中でＯＮとなる画素の割合Ｐが既知であることを前提に、この割合Ｐが検出したい対象の面積比率Ｐに等しくなるように閾値Ｔを決定して二値化する。
【０００８】
更に他の方法としては、画素毎に閾値を決定する移動平均法や、画像全体を格子状の複数の部分画像に分割し、それぞれの部分画像毎に閾値を決定する部分画像分割法と呼ばれる方法も知られている。
【０００９】
【発明が解決しようとする課題】
しかしながら、前記固定閾値処理方法では、適切な閾値を決定することが難しく、対象としている筋部分と背景を正しく分離することが難しいという問題がある。図１７は、これを概念的に示したもので、同図（Ａ）に示した、縦方向に延びている筋部分Ｌと共にノイズＮがある前記図１５（Ａ）と同様の入力画像から、該筋部分Ｌを抽出するために二値化する場合であれば、閾値を適切な値より低く設定すれば、二値画像（出力画像）を同図（Ｂ）に示したように、筋部分の画素はＯＮになるが、ノイズの画素の多くもＯＮになり、両者の区別が付き難くなり、逆に、高く設定すれば、同図（Ｃ）に示したように、筋部分の画素がＯＮにならず、ノイズのみが目立つ二値画像になる。
【００１０】
又、閾値を自動決定する前記Ｐタイル法では、検出したい対象の面積が予め分からない場合、又は検出したい対象の面積が変化した場合には、対象と背景を正しく分離できないという問題がある。これを、同じく前記図１５（Ａ）と同様の入力画像に対して、Ｐタイル法を適用した場合の二値化処理の結果を概念的に示した図１８を用いて説明する。
【００１１】
図１８（Ａ）の入力画像に対して、筋部分に含まれる画素数が一定であるとして、Ｐタイル法を適用すると、閾値を計算するための面積算出用の画素数が実際の筋部分より多い場合には、閾値が低く設定されることになるため、同図（Ｂ）のようにノイズも多く抽出されることになる。逆に、面積算出用の画素数が筋部分より少ない場合は、閾値が高くなって図１８（Ｃ）のように筋部分が抽出されず、階調値の大きいノイズＮのみが抽出されることになる。
【００１２】
又、面積算出用の画素数が、筋部分＋αで適切な値に設定されているとしても、入力画像に筋部分より高い階調値を持ったノイズが筋部分の画素数以上に存在している場合には、筋部分の画素を正しく二値化できないことになる。従って、このようなノイズが画像の一部に偏在し、局所的に集中している入力画像の場合には、図１８（Ｄ）に丸で囲んで示したように、局所的なノイズ等が抽出されることになるため、対象の筋部分は正確に抽出されないという問題点がある。
【００１３】
更に、動的に閾値処理する前記移動平均法は、画素毎に閾値を決定するために、前記固定閾値処理法やＰタイル法に比べて処理時間が長く必要となる。又、部分画像分割法は、移動平均法ほどではないが、格子状の各部分画像について、含まれる画素毎に計算することになるため、同様に処理時間が長く必要となるという問題がある。
【００１４】
本発明は、前記従来の問題点を解決するべくなされたもので、平坦な背景に実質上同一方向に連続した筋部分が存在する画像から、ノイズが含まれている場合でも筋部分が二値化された画像を容易且つ確実に作成することができる、二値画像作成方法及び装置を提供することを第１の課題とする。
【００１５】
本発明は、又、上記二値画像作成技術を利用し、絵柄を含んでいる検査画像から、コントラストが低く、しかも、微細な筋状欠陥をも確実に検出することができる筋状欠陥検査方法及び装置を提供することを第２の課題とする。
【００１６】
【課題を解決するための手段】
請求項１の発明は、二値画像作成方法において、実質上同一方向に連続する筋部分の存在が予想される画像を入力するステップと、入力された画像を、前記筋部分に直交する１ライン以上の幅からなる連続した部分画像に分割するステップと、分割された各部分画像毎にＰタイル法を適用して各画素を二値化するステップとを有することにより、前記第１の課題を解決したものである。
【００１７】
請求項２の発明は、二値画像作成装置において、実質上同一方向に連続する筋部分の存在が予想される画像を入力する手段と、入力された画像を、前記筋部分に直交する１ライン以上の幅からなる連続した部分画像に分割する手段と、分割された各部分画像毎にＰタイル法を適用して各画素を二値化する手段と、を備えたことにより、同様に前記第１の課題を解決したものである。
【００１８】
即ち、請求項１又は２の発明においては、二値化する際のＯＮ画素の面積が予め既知であれば、短時間で且つ正確に二値化できるＰタイル法を、筋部分の発生方向に直交する１ライン又は複数ラインからなる部分画像に、ＯＮにすべき画素数（面積）は、筋部分に含まれる画素数又はそれに近い一定の値であるとして適用することにより、入力画像中にノイズが存在する場合でも、比較的短時間で且つ正確に、各部分画像に存在する筋部分を二値化することができる。
【００１９】
これを、従来のＰタイル法では前記図１８（Ｄ）の二値化画像しか得られないような、階調値が大きいノイズが局所的に集中している入力画像の場合について説明すると、これらノイズが存在する上方約１／３の領域には、従来と同様に筋部分が二値化されない部分画像が多いが、それより下側の約２／３の領域にはノイズが所定値以下で筋部分が二値化される部分画像が多く存在するため、不連続な部分も含まれるものの、入力画像全体としてみると略一方向に連続した状態で筋部分を二値化することがでる。従って、実質上同一方向に連続する筋部分が明確に表わされた二値画像を容易且つ確実に作成することができる。
【００２０】
請求項３の発明は、印刷物を画像入力した検査画像から、印刷物上に発生している筋状欠陥を検出する筋状欠陥検査方法であって、検査画像から絵柄部分を除外処理する絵柄除外ステップと、該除外処理後の画像に存在する筋部分を強調処理する筋強調ステップと、実質上同一方向に連続する筋部分の存在が予想される該強調処理後の画像を入力するステップと、入力された画像を、前記筋部分に直交する１ライン以上の幅からなる連続した部分画像に分割するステップと、分割された各部分画像毎にＰタイル法を適用して各画素を二値化するステップと、二値化された画像に基づいて筋状欠陥を判定する判定ステップと、を有することにより、前記第２の課題を解決したものである。
【００２１】
請求項５の発明は、印刷物を画像入力した検査画像から、印刷物上に発生している筋状欠陥を検出する筋状欠陥検査装置であって、検査画像から絵柄部分を除外処理する絵柄除外手段と該除外処理後の画像に存在する筋部分を強調処理する筋強調手段と、実質上同一方向に連続する筋部分の存在が予想される該強調処理後の画像を入力する手段と、入力された画像を、前記筋部分に直交する１ライン以上の幅からなる連続した部分画像に分割する手段と、分割された各部分画像毎にＰタイル法を適用して各画素を二値化する手段と、二値化された画像に基づいて筋状欠陥を判定する判定手段と、を備えたことにより、同様に前記第２の課題を解決したものである。
【００２２】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【００２３】
図１は、本発明に係る第１実施形態の二値画像作成装置の概略構成を示し、実質上同一方向に連続する筋部分の存在が予想される画像を、Ｒ、Ｇ、又はＢの単色からなるモノクロ画像として入力するための画像入力部２と、入力された画像を、前記筋部分に直交する１ライン以上の幅からなる連続した部分画像に分割すると共に、分割された各部分画像毎にＰタイル法を適用して各画素を二値化する二値化部４と、画像を分割する際に用いる部分画像のライン数や、Ｐタイル法の閾値を決定するための画素数（面積比率）等が格納されているパラメータ記憶部６と、上記二値化部４により二値化して作成された二値画像を出力する画像出力部８とを備えている。
【００２４】
本実施形態の作用を、図２を用いて説明する。
【００２５】
図２（Ａ）は、前記画像入力部２より入力された前記図１５（Ａ）等に示したものと同様の入力画像であり、この画像には１〜３画素程度の幅で、縦方向に実質上連続した筋部分Ｌがノイズ（図示せず）と共に存在している。
【００２６】
本実施形態では、まず、前記二値化部４において、パラメータ記憶部６から読み込まれた部分画像ライン数のパラメータを用いて、上記入力画像を、図２（Ｂ）に示すように、筋部分に直交する連続した矩形の部分画像Ｉ1 、Ｉ2 ・・・に分割する。この部分画像の分割幅は、１ライン（１画素幅）でも、又は複数ラインでもよい。
【００２７】
次いで、部分画像毎に前述したＰタイル法を適用して二値化する。その際、部分画像内の筋部分の幅を考慮して、その部分画像でＯＮにする画素数を、例えば１ラインについて３画素のようにして面積比率Ｐを決定する。
【００２８】
全ての部分画像に対して、同様にＰタイル法を適用することにより、図２（Ｃ）に示すように、階調値の大きなノイズが存在する部分画像では筋部分の画素がＯＮにならないが、このようなノイズの無い多くの部分画像では筋部分の画素がＯＮになるため、画像全体として見ると筋部分Ｌが抽出されていると共に、ノイズＮが全体に分散されている二値画像が得られる。
【００２９】
なお、上記図２（Ｂ）に示したＰタイル法を適用する部分画像Ｉ1 、Ｉ2 ・・・の幅は、１ラインはもとより、複数ラインの場合は１０ライン未満の数ラインであっても当然良く、更には画像全体を２分割するライン数、即ち全スキャンラインの１／２でも効果が期待できる。
【００３０】
本実施形態では、部分画像を格子状に分割する従来の部分画像分割法の場合と異なり、予想される筋部分と直交する方向に連続した矩形の部分画像に分割している点に特徴があり、このようにすることにより、対象である筋部分を効果的に二値化することができる。
【００３１】
以上詳述した如く、本実施形態によれば、部分画像毎にＰタイル法を用いて動的に閾値を決定するようにしたので、対象物（筋部分）と背景を高い精度で分離することができる。又、部分画像が１ライン又はそれに近い複数ラインという小さい範囲にする場合には、Ｐタイル法の欠点である検出したい対象の面積変動による誤差が少なくてすみ、しかも処理時間が比較的短くてすむという利点がある。
【００３２】
次に、本発明に係る第２実施形態の筋状欠陥検査装置について説明する。
【００３３】
本実施形態の筋状欠陥検査装置は、輪転印刷時に発生する、いわゆるドクター筋を検出する際に、前記第１実施形態と実質的に同一の二値画像作成技術を利用したものである。
【００３４】
先ず、上記ドクター筋について簡単に説明する。一般に、グラビア輪転印刷機では、回転する版胴と、これを押え付けるニップロールとの間に原反を通過させながら、該版胴に付着されたインキをその原反に転写することにより、連続的な印刷が行われている。
【００３５】
このような連続的な印刷を可能とするために、回転する版胴の表面にインキを供給するとともに、その過剰分をドクターブレードによって掻き落すことが行われている。
【００３６】
ところが、何等かの理由でドクターブレードに微少な欠けが生じたりすると、その欠け部分が接触している版胴には、極めて僅かであるが常時インキが残ることになるため、原反の印刷面には、いわゆるドクター筋と呼ばれる、微細ではあるが連続した筋状の印刷欠陥が発生することになる。
【００３７】
従来、印刷物の検査には、ＣＣＤカメラ等の撮像手段で印刷絵柄を画像入力し、その入力画像を画像処理することにより印刷欠陥を検出することが行われており、以下に詳述する本実施形態でも、同様の方法で画像入力が行われる。
【００３８】
図３、図４は、本実施形態の筋状欠陥検査装置の概略構成を示すブロック図である。
【００３９】
本実施形態の検査装置は、印刷物を画像入力した検査画像から、印刷物上に発生している筋状欠陥を検出するもので、印刷物からＣＣＤカメラ等により検査画像を光学的に入力する画像入力部１０と、入力された検査画像から絵柄部分を除外処理する絵柄除外部１２と、絵柄部分が除外された除外処理後の画像に存在する筋部分を強調処理する筋強調処理部１４と、筋部分が強調された強調処理後の画像に基づいて筋状欠陥を判定する判定部１６と、判定された筋状欠陥をモニタ上に表示する欠陥表示部１８とを備えている。
【００４０】
本実施形態では、図４に詳細を示すように、前記絵柄除外部１２は、マスク画像作成部１２Ａ、エッジ画像作成部１２Ｂ、マスク済みエッジ画像合成部１２Ｃを含み、前記筋強調処理部１４は縦加算部１４Ａを、又、前記判定部１６は、二値化部１６Ａ、線認識部１６Ｂをそれぞれ含んで構成されている。
【００４１】
又、本実施形態では、上記二値化部１６Ａが、前記第１実施形態の二値化装置と同様の、実質上同一方向に連続する筋部分の存在が予想される画像を入力する手段と、入力された画像を、前記筋部分に直交する１ライン以上の幅からなる連続した部分画像に分割する手段と、分割された各部分画像毎にＰタイル法を適用して各画素を二値化する手段と、を備えている。
【００４２】
以下、上記検査装置を構成する各機能部について詳述する。なお、この実施形態では、特に断らない限り、画像は、それを構成する各画素が０〜２５５の２５６階調の画素値で表示されるモノクロ画像とする。従って、カラー画像の場合は、Ｒ、Ｇ、Ｂの３フレームのモノクロ画像として同様に取り扱うことができる。
【００４３】
前記マスク画像作成部１２Ａは、検査画像から抽出される絵柄部分のエッジをマスクするためのマスク画像を作成する機能を有している。
【００４４】
即ち、このマスク画像作成部１２Ａは、画像入力部１０により入力された検査画像に含まれる筋状欠陥以外の線分や絵柄のエッジ部を検出処理の対象から外すためのマスク画像を作成する機能を有する。具体的には、例えば、図５に画素の配置を概念的に示したように、隣接する画素との画素値の差分を計算し、これを閾値処理することにより、明確な線や絵柄のエッジのみに相当する二値のマスク画像を作成する。これを、便宜上、画素を表わす記号と同一の記号で画素値を記述すると、次の（１）、（２）式で表わすことができる。
【００４５】
（Ｐn,m が絵柄のエッジである場合）
｜Ｐi,j −Ｐn,m ｜≧Ｔ1 …（１）
（Ｐn,m が絵柄のエッジでない場合）
｜Ｐi,j −Ｐn,m ｜＜Ｔ1 …（２）
但し、ｉ＝ｎ−１，ｎ，ｎ＋１、ｊ＝ｍ−１，ｍ，ｍ＋１、
Ｐi,j ≠Ｐn,m
Ｔ1 ：閾値
【００４６】
上記但し書きでＰi,j ≠Ｐn,m とあるのは、同一画素間では計算しないことを意味する。又、閾値Ｔ1 は固定した値でなく、筋状欠陥のエッジが抽出されない値として実験的に求め、別途設定しておく。
【００４７】
上記（１）、（２）式による計算処理の結果、閾値Ｔ1 以上の濃度差をもった、即ち明確な線や絵柄のエッジのみが抽出された二値画像が作成される。この二値画像を、検査画像が絵柄Ｐと筋状欠陥（ドクター筋）Ｄとを模式的に示した図６である場合を例に示すと、図７のようになる。即ち、濃淡がはっきりしている絵柄Ｐのみのエッジが抽出され、ドクター筋Ｄ等のコントラストの低い線状（筋状）部分のエッジは抽出されない二値化画像が得られる。そして、この図７の画像のエッジに基づいて、該エッジをマスクするに十分な幅の、図８に示すようなマスク部分Ｍが生成されたマスク画像が作成できる。
【００４８】
なお、その際、実際の検査画像では、ノイズ等に起因して連続した明瞭なエッジが抽出されないこともあるので、エッジの膨張処理を行うことにより、エッジの明瞭化を図るようにしてもよい。又、上記（１）、（２）式を用いる抽出処理によっては任意の方向のエッジを検出できるが、必ずしも全方向の計算をする必要はなく、例えば水平方向のみであってもよい。
【００４９】
前記エッジ画像作成部１２Ｂは、同一の検査画像から抽出される任意のエッジを含むエッジ画像を作成する機能を有している。即ち、このエッジ画像作成部１２Ｂでは、前記検査画像から、縦方法の筋状欠陥を検出するために水平方向のエッジを全て抽出する。
【００５０】
具体的には、縦方向の筋状欠陥を検出したい場合、水平方向で画素間の画素値の差分を計算することにより全てのエッジを求める。その際、例えば、図９に模式的に示した水平方向の画素の配列に対応する、次の（３）式で記述される微分オペレータを各画素に適用することにより、コントラストが低い線部分を含む全てのエッジを抽出することができるため、濃度差に応じた任意のエッジを含むエッジ画像が作成される。なお、この（３）式でＤは、別途設定しおく１以上の定数（Ｄ≧１）であり、因にこの実施形態ではＤ＝２としている。
【００５１】
Ｐn,m ＝（２Ｐn −Ｐn+D −Ｐn-D ） …（３）
【００５２】
又、このエッジ画像作成部１２Ｂでは、上記（３）式のオペレータによる演算結果について正規化を行うようになっている。この正規化は、対象画像の画素値が０〜２５５階調であることから、上記（３）式の単純な計算値は、完全な平坦部の場合を０として、マイナスとプラスの値（最小値−５１０、最大値＋５１０）を持つことになり、このままでは０〜２５５階調で表示ができないことになるので、この表示ができるようにするための処理である。
【００５３】
正規化の具体的処理は、上記（３）式を次の（４）式のように第１項と第２項に分けて、“正規化前の減算”を行った後、その結果について“正規化後の加算”を行い、結果として次の（５）式による計算を行うことに当る。但し、式中Ｍは正規化後の原点に当る階調値であり、ここでは１２８（＝２５６÷２）としている。
【００５４】
Ｐn,m ＝（Ｐn −Ｐn+D ）＋（Ｐn −Ｐn-D ） …（４）
Ｐn,m ＝（２Ｐn −Ｐn+D −Ｐn-D ＋４Ｍ）／４ …（５）
【００５５】
即ち、この（５）式により上記（３）式の計算結果を正規化することは、該（３）式の計算結果が、例えば−５１０、０、＋５１０であれば、これらをそれぞれを４で割った後、全体的に１２８分シフトさせた値である１、１２８、２５５の画素値に変換することを意味する。従って、この正規化により、（３）式の計算結果を、階調値１２８を原点（中間値）として、＋−それぞれの方向に変化する画素値として表示することが可能となる。
【００５６】
ここで行われる正規化は、一般的な画像処理装置で行われる、いわゆるフレーム間演算の加算や減算の結果に対して、その画素値がマイナスになる場合に、０〜２５５階調の表示ができるようにするものと実質的に同一の処理である。具体例を挙げると、いずれも０〜２５５階調表示の画像Ａ、Ｂについて、（画像Ａ−画像Ｂ）の減算結果を画像Ｃとする場合、この画像Ｃは−２５５〜＋２５５となり、０〜２５５内に収まらないので、Ｍ＝１２８とし、画像Ｃ＝（画像Ａ−画像Ｂ）／２＋Ｍにより正規化し、１〜２５５にする。
【００５７】
図１０は、上記微分オペレータを前記図６の検査画像に適用して得られたエッジ画像を模式的に示したものであり、前記絵柄Ｐに基づく強いエッジＰＥとドクター筋Ｄに基づく弱いエッジＤＥとが、抽出されている。尚、このエッジ画像の作成には、上記微分オペレータに限らず、その他のエッジ抽出処理の方法を適用してもよいことは言うまでもない。
【００５８】
前記マスク済みエッジ画像合成部１２Ｃは、作成されたエッジ画像とマスク画像を合成する機能を有している。即ち、マスク済みエッジ画像合成部１２Ｃは、前述した画像処理により作成したエッジ画像とマスク画像を合成して、検査対象外の画素を決定し、これ以降の処理からその画素を除外する働きをする。
【００５９】
具体的には、作成したエッジ画像とマスク画像を図１１に概念的に示したように、エッジ画像上の画素Ｐn と、これに対応するマスク画像上の画素Ｍn とを比較し、画素Ｍn がエッジ部（マスク部分）でない場合は、画素Ｐn はそのままにし、逆に、画素Ｍn がエッジ部である場合は、画素Ｐn をマスクする（検査対象外とする）。即ち、この合成処理は、画素Ｍn がエッジ部でない場合は、合成画像の対応する画素に対して画素Ｐn の画素値をそのまま設定し、逆にエッジ部である場合は、正規化後の原点に対応する階調値１２８を設定し、エッジ画像中の強いエッジＰＥをマスクする処理を行っていることに当る。
【００６０】
従って、ここで行うマスク処理とは、マスク画像のエッジ部に当る合成画像の画素に、前記（５）式で正規化の原点の画素値として設定した階調値１２８を設定することであり、これにより、合成して得られるマスク済画像についても１２８に正規化すると同時に、上記エッジＰＥをマスクして検査対象外とした上で、前記（３）式によるマイナスの計算結果をも０〜１２７の階調値により画像表示できるようにしている。
【００６１】
図１２は、前記図８のマスク画像と、前記図１０のエッジ画像とについて、上述した合成処理を行うことにより作成したマスク済み画像を模式的に示したものであり、この画像には、上記のように強いエッジＰＥが除外され、ドクター筋Ｄに基づく弱いエッジＤＥが残存していることが示されている。
【００６２】
前記筋強調処理部１４に含まれる縦加算部１４Ａは、絵柄部分が除外された除外処理後の画像、即ち上記図１２に示したようなマスク済み画像について、注目画素の画素値を、該注目画素を含み、且つ、同一方向に並ぶ所定数の画素の各画素値を加算した値に置き換える機能を有している。これを、マスク済みエッジ画像の画素値を縦方向に加算することにより、縦の筋を強調し、ノイズ成分を抑制する場合について以下に説明する。
【００６３】
前記画像合成部１２Ｃで作成したマスク済みエッジ画像は、階調値１２８を原点（基準値）として、上下両方向にそれぞれエッジの強さに応じて変化する階調値の画素で構成されているが、その変化量は小さいため、画素値の差（濃度差）に閾値を設定して抽出する方法を採用することはできない。
【００６４】
ところが、上記マスク済みエッジ画像は、階調値１２８を原点（＝０）とした場合に、平坦部分では±両方向にほぼ均等に画素値が分布しているのに対し、筋状欠陥部分の画素値は＋又は−のいずれかの方向に偏った画素値の分布をしている。
【００６５】
従って、上記画像に対して縦方向に所定範囲にある画素の画素値を、階調値１２８を原点として加算することにより、平坦部分では相殺されるために大きな変化はないが、筋状部分では＋又は−のいずれかの方向に画素値が増大するため、画素値を強調することが可能となる。
【００６６】
図１３は、この強調計算の原理を模式的に示したもので、（Ｂ）のマスク済みエッジ画像で、画素Ｐn,m から垂直方向にＲ画素まで各画素値を加算し、その加算後の画素値を（Ａ）に示した加算画像の画素Ｐn,m の画素値に設定する。即ち、加算画像の画素値を次の（６）式で計算する。但し、この加算処理を行う際の各画素値は、前記（５）式により正規化した値を、上述した如く、原点に当る階調値１２８を実際に０にし、この１２８を超えている画素値を＋、１２８未満の画素値を−とした値を使用する。なお、Ｒは実験的に決定する定数である。
【００６７】
Ｐn,m ＝Ｐn,m+1 ＋Ｐn,m+2 ＋．．．＋Ｐn,m+R …（６）
【００６８】
同様の加算処理を、Ｐn,m+1 、Ｐn,m+2 ．．．について順次実行することにより、前述した如く、平坦部分の画素では、＋−の値が相殺されるため階調値０から大きく変化することはないが、筋状欠陥部分の画素は＋又は−のいずれか一方に画素値が強調された加算画像が作成される。即ち、前記図１２の筋状欠陥に基づく弱いエッジＤＥが強調され、＋又は−の明確な画素値を有する画像が得られる。
【００６９】
なお、筋強調処理のための加算方法は、上記（６）式のように、先頭の画素についてそれより下の画素の画素値を加算する方法に限らず、同方向に所定画素分の画素値を加算する方法であれば任意であるが、例えば、つぎの（６′）式のように、中間の画素値について計算してもよい。
【００７０】
Ｐn,m ＝Ｐn,m-R/2 ＋．．．＋Ｐn,m ＋．．．＋Ｐn,m+R/2 …（６′）
【００７１】
前記判定部１６に含まれる二値化部１６Ａは、前記縦加算部１４Ａにより作成された縦の筋部分が強調された加算画像に対して、閾値を設定して二値化処理することにより、二値化画像を作成する機能を有している。
【００７２】
具体的には、前記のように縦の筋部分の画素値を加算して＋又は−の方向に強調した画素値を有する前記強調処理後の画像について、筋状の点（画素）とそれ以外の部分に分別するために、例えば、閾値Ｔ2 を設定し、各画素値の絶対値が該閾値Ｔ2 以上の値をもつ画素は筋の一部である可能性が高いので、｜Ｐn,m ｜≧Ｔ2 なら、その画素を筋状の点の候補とするためにＯｎにし、逆に｜Ｐn,m ｜＜Ｔ2 の場合は、筋状の点ではないとしてＯｆｆにする。
【００７３】
本実施形態では、ここで実行する二値化処理として、前記第１実施形態と実質的に同一の前記図２に示した手順に従うＰタイル法により実行される。
【００７４】
前記判定部１６に含まれる線認識部１６Ｂは、強調処理した後に二値化して作成した上記二値化画像に対して、Ｏｎの画素が縦方向（実質的に同一方向）に所定数以上存在するか否かにより、その画素が縦方向の線（筋）状の欠陥を構成しているか否かを判定する機能を有している。
【００７５】
具体的には、例えば、以下のように判定する。検出すべき筋状欠陥が非常に薄く且つ細い場合、二値化画像上では１本の線として繋がっていない可能性があるため、該二値化画像に対して、図１４に概念的に示すように、画素を単位とする縦方向１ライン中にＯｎの画素が閾値Ｔ3 個以上あれば検出すべき筋状欠陥と判定とする。この閾値Ｔ3 は実験的に予め決定しておく。
【００７６】
なお、上記判定は必ずしも１ライン中の画素に対して行うものに限らない。画像入力された筋状欠陥が隣接する２ライン以上に渡っている可能性もあるので、２ライン以上でＯｎの画素の数を計算するようにしてもよい。又、必要に応じて、判定の前に、Ｏｎ分の画素を縦方向に複数画素分縮小させ、次いで同画素数分膨張させる処理を行うことにより、予め孤立点を除去する処理等を行ってもよい。
【００７７】
以上詳述した如く、本実施形態においては、検査画像を入力し、その検査画像からマスク画像を作成するとともに、エッジ画像を作成し、次いでこれら両画像を合成することにより、マスク済みエッジ画像を作成し、該画像に対して、画素値を強調するために縦加算画像を作成しその強調画像から二値化画像を作成し、更に、その二値化画像ついて線認識を行う。
【００７８】
即ち、検査画像が絵柄を含む場合であっても、コントラストの高いエッジ部を処理対象から除外するためのマスク処理を行い、更に縦方向に加算処理を行うことでコントラストの低い筋部分を強調すると共に、得られる強調画像に対して更に本発明によるＰタイル法を適用することにより、筋部分を確実に二値化し、その二値画像に基づいて筋状欠陥を検出する。
【００７９】
従って、本実施形態によれば、検査画像が絵柄を含んでいる場合でも、絵柄のエッジ部を検出することなく、該画像中からコントラストの低い筋状欠陥の検出が可能となる。その結果、従来の印刷物の検査では、目視による検査でしか検出不可能であった、コントラストが低く且つ微細な、いわゆるドクター筋と呼ばれる筋状欠陥をも自動的に検出することが可能となる。
【００８０】
以上、本発明について具体的に説明したが、本発明は、前記実施形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００８１】
例えば、二値化の具体的な対象として印刷欠陥であるドクター筋であり、しかも入力画像を所定の処理した後の画像である場合を示したが、これに限定されず、平坦な背景の中に同一方向に実質的に連続する筋状のものが存在する画像であれば、特に制限されない。
【００８２】
【発明の効果】
以上説明したとおり、請求項１又は２の発明によれば、平坦な背景に実質上同一方向に連続した筋部分が存在する画像から、ノイズが存在する場合でも筋部分が二値化された画像を容易且つ確実に作成することができる。
【００８３】
又、請求項３又は５の発明によれば、絵柄を含んでいる検査画像からコントラストが低い上に微細な筋状欠陥をも確実に検出することができる。
【図面の簡単な説明】
【図１】本発明に係る第１実施形態の二値画像作成装置の概略構成を示すブロック図
【図２】二値画像の作成手順を概念的に示す線図
【図３】本発明に係る第２実施形態の筋状欠陥検査装置の概略構成を示すブロック図
【図４】上記の検査装置の詳細を示すブロック図
【図５】マスク画像作成時のエッジ抽出を示す説明図
【図６】検査画像を模式的に示す説明図
【図７】上記検査画像より絵柄のエッジのみを抽出した画像を示す説明図
【図８】上記検査画像を基に作成したマスク画像を示す説明図
【図９】エッジ抽出に用いる微分オペレータを概念的に示す説明図
【図１０】微分オペーレータを適用して作成したエッジ画像を示す説明図
【図１１】マスク画像とエッジ画像の合成原理を概念的に示す説明図
【図１２】合成後のマスク済みエッジ画像を示す説明図
【図１３】縦方向の画素値を強調する加算方法を示す説明図
【図１４】筋状欠陥の判定処理を概念的に示す説明図
【図１５】入力画像の一例とその特徴を示す線図
【図１６】Ｐタイル法を説明するための線図
【図１７】固定閾値処理法の問題点を説明するための線図
【図１８】従来のＰタイル法の問題点を説明するための線図
【符号の説明】
２…画像入力部
４…二値化部
６…パラメータ記憶部
８…画像出力部
１０…画像入力部
１２…絵柄除外部
１２Ａ…マスク画像作成部
１２Ｂ…エッジ画像作成部
１２Ｃ…マスク済みエッジ画像合成部
１４…筋強調処理部
１４Ａ…縦加算部
１６…判定部
１６Ａ…二値化部
１６Ｂ…線認識部
１８…欠陥表示部
【発明が属する技術分野】
本発明は、特に、印刷物に発生している微細な筋状の欠陥を検出する際等に適用して好適な、二値画像作成方法及び装置並びに筋状欠陥検査方法及び装置に関する。
【０００２】
【従来の技術】
ＣＣＤカメラ等の撮像手段により直接入力した入力画像や、該入力画像に対して所定の処理を施して作成された処理画像が、全体的にほぼ一定の画素値からなる平坦な背景を有する画像で、その背景の中に略一定の方向に連続している筋状（線状）の部分が存在するか否かを判定したいことがある。
【０００３】
その具体的な例としては、輪転印刷機で連続的に印刷された印刷物上に、いわゆるドクター筋といわれる筋状欠陥が発生しているか否かを検査するために入力した検査画像がある。
【０００４】
図１５は、このような入力画像とその特徴を概念的に示したものである。図１５（Ａ）は、後に詳述する縦加算画像の一例に相当する入力画像を示し、該画像には、略平坦な背景の中に、縦方向に連続している筋部分Ｌが存在していると同時に、ノイズＮが存在している。そのため、この図１５（Ａ）に示した横方向のスキャンライン(I) 、(II)、(III) における階調値（輝度値）の分布プロファイルを、同図（Ｂ）、（Ｃ）、（Ｄ）にそれぞれ示したように、全てのプロファイルに筋部分に対応して略同一位置のピークＰl が認められると同時に、異なる位置にもノイズＮに起因するピークＰn が認められる。
【０００５】
このような検査画像等の入力画像から筋部分の有無を判定する場合、各画素値を二値化して作成される二値画像に基づいて、その判定処理を行うことが考えられる。その際に用いられる二値画像を作成するための二値化処理方法としては、画像内の各画素値をある固定の閾値で二値化する、固定閾値処理方法が最も一般的な方法として用いられている。
【０００６】
又、他の方法としては、入力画像において、背景に対して二値化したい対象が占める面積の比率（画素の割合）Ｐが予め分かっている場合に用いる、いわゆるＰタイル法が知られている。
【０００７】
このＰタイル法では、図１６（Ａ）に示した１ライン分の階調値の分布プロファイルを有する入力画像に対して閾値Ｔを設定する場合であれば、対応する二値画像の１ライン分について、１（ＯＮ）、０（ＯＦＦ）となる画素値の分布を同図（Ｂ）に示したように、二値画像中でＯＮとなる画素の割合Ｐが既知であることを前提に、この割合Ｐが検出したい対象の面積比率Ｐに等しくなるように閾値Ｔを決定して二値化する。
【０００８】
更に他の方法としては、画素毎に閾値を決定する移動平均法や、画像全体を格子状の複数の部分画像に分割し、それぞれの部分画像毎に閾値を決定する部分画像分割法と呼ばれる方法も知られている。
【０００９】
【発明が解決しようとする課題】
しかしながら、前記固定閾値処理方法では、適切な閾値を決定することが難しく、対象としている筋部分と背景を正しく分離することが難しいという問題がある。図１７は、これを概念的に示したもので、同図（Ａ）に示した、縦方向に延びている筋部分Ｌと共にノイズＮがある前記図１５（Ａ）と同様の入力画像から、該筋部分Ｌを抽出するために二値化する場合であれば、閾値を適切な値より低く設定すれば、二値画像（出力画像）を同図（Ｂ）に示したように、筋部分の画素はＯＮになるが、ノイズの画素の多くもＯＮになり、両者の区別が付き難くなり、逆に、高く設定すれば、同図（Ｃ）に示したように、筋部分の画素がＯＮにならず、ノイズのみが目立つ二値画像になる。
【００１０】
又、閾値を自動決定する前記Ｐタイル法では、検出したい対象の面積が予め分からない場合、又は検出したい対象の面積が変化した場合には、対象と背景を正しく分離できないという問題がある。これを、同じく前記図１５（Ａ）と同様の入力画像に対して、Ｐタイル法を適用した場合の二値化処理の結果を概念的に示した図１８を用いて説明する。
【００１１】
図１８（Ａ）の入力画像に対して、筋部分に含まれる画素数が一定であるとして、Ｐタイル法を適用すると、閾値を計算するための面積算出用の画素数が実際の筋部分より多い場合には、閾値が低く設定されることになるため、同図（Ｂ）のようにノイズも多く抽出されることになる。逆に、面積算出用の画素数が筋部分より少ない場合は、閾値が高くなって図１８（Ｃ）のように筋部分が抽出されず、階調値の大きいノイズＮのみが抽出されることになる。
【００１２】
又、面積算出用の画素数が、筋部分＋αで適切な値に設定されているとしても、入力画像に筋部分より高い階調値を持ったノイズが筋部分の画素数以上に存在している場合には、筋部分の画素を正しく二値化できないことになる。従って、このようなノイズが画像の一部に偏在し、局所的に集中している入力画像の場合には、図１８（Ｄ）に丸で囲んで示したように、局所的なノイズ等が抽出されることになるため、対象の筋部分は正確に抽出されないという問題点がある。
【００１３】
更に、動的に閾値処理する前記移動平均法は、画素毎に閾値を決定するために、前記固定閾値処理法やＰタイル法に比べて処理時間が長く必要となる。又、部分画像分割法は、移動平均法ほどではないが、格子状の各部分画像について、含まれる画素毎に計算することになるため、同様に処理時間が長く必要となるという問題がある。
【００１４】
本発明は、前記従来の問題点を解決するべくなされたもので、平坦な背景に実質上同一方向に連続した筋部分が存在する画像から、ノイズが含まれている場合でも筋部分が二値化された画像を容易且つ確実に作成することができる、二値画像作成方法及び装置を提供することを第１の課題とする。
【００１５】
本発明は、又、上記二値画像作成技術を利用し、絵柄を含んでいる検査画像から、コントラストが低く、しかも、微細な筋状欠陥をも確実に検出することができる筋状欠陥検査方法及び装置を提供することを第２の課題とする。
【００１６】
【課題を解決するための手段】
請求項１の発明は、二値画像作成方法において、実質上同一方向に連続する筋部分の存在が予想される画像を入力するステップと、入力された画像を、前記筋部分に直交する１ライン以上の幅からなる連続した部分画像に分割するステップと、分割された各部分画像毎にＰタイル法を適用して各画素を二値化するステップとを有することにより、前記第１の課題を解決したものである。
【００１７】
請求項２の発明は、二値画像作成装置において、実質上同一方向に連続する筋部分の存在が予想される画像を入力する手段と、入力された画像を、前記筋部分に直交する１ライン以上の幅からなる連続した部分画像に分割する手段と、分割された各部分画像毎にＰタイル法を適用して各画素を二値化する手段と、を備えたことにより、同様に前記第１の課題を解決したものである。
【００１８】
即ち、請求項１又は２の発明においては、二値化する際のＯＮ画素の面積が予め既知であれば、短時間で且つ正確に二値化できるＰタイル法を、筋部分の発生方向に直交する１ライン又は複数ラインからなる部分画像に、ＯＮにすべき画素数（面積）は、筋部分に含まれる画素数又はそれに近い一定の値であるとして適用することにより、入力画像中にノイズが存在する場合でも、比較的短時間で且つ正確に、各部分画像に存在する筋部分を二値化することができる。
【００１９】
これを、従来のＰタイル法では前記図１８（Ｄ）の二値化画像しか得られないような、階調値が大きいノイズが局所的に集中している入力画像の場合について説明すると、これらノイズが存在する上方約１／３の領域には、従来と同様に筋部分が二値化されない部分画像が多いが、それより下側の約２／３の領域にはノイズが所定値以下で筋部分が二値化される部分画像が多く存在するため、不連続な部分も含まれるものの、入力画像全体としてみると略一方向に連続した状態で筋部分を二値化することがでる。従って、実質上同一方向に連続する筋部分が明確に表わされた二値画像を容易且つ確実に作成することができる。
【００２０】
請求項３の発明は、印刷物を画像入力した検査画像から、印刷物上に発生している筋状欠陥を検出する筋状欠陥検査方法であって、検査画像から絵柄部分を除外処理する絵柄除外ステップと、該除外処理後の画像に存在する筋部分を強調処理する筋強調ステップと、実質上同一方向に連続する筋部分の存在が予想される該強調処理後の画像を入力するステップと、入力された画像を、前記筋部分に直交する１ライン以上の幅からなる連続した部分画像に分割するステップと、分割された各部分画像毎にＰタイル法を適用して各画素を二値化するステップと、二値化された画像に基づいて筋状欠陥を判定する判定ステップと、を有することにより、前記第２の課題を解決したものである。
【００２１】
請求項５の発明は、印刷物を画像入力した検査画像から、印刷物上に発生している筋状欠陥を検出する筋状欠陥検査装置であって、検査画像から絵柄部分を除外処理する絵柄除外手段と該除外処理後の画像に存在する筋部分を強調処理する筋強調手段と、実質上同一方向に連続する筋部分の存在が予想される該強調処理後の画像を入力する手段と、入力された画像を、前記筋部分に直交する１ライン以上の幅からなる連続した部分画像に分割する手段と、分割された各部分画像毎にＰタイル法を適用して各画素を二値化する手段と、二値化された画像に基づいて筋状欠陥を判定する判定手段と、を備えたことにより、同様に前記第２の課題を解決したものである。
【００２２】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【００２３】
図１は、本発明に係る第１実施形態の二値画像作成装置の概略構成を示し、実質上同一方向に連続する筋部分の存在が予想される画像を、Ｒ、Ｇ、又はＢの単色からなるモノクロ画像として入力するための画像入力部２と、入力された画像を、前記筋部分に直交する１ライン以上の幅からなる連続した部分画像に分割すると共に、分割された各部分画像毎にＰタイル法を適用して各画素を二値化する二値化部４と、画像を分割する際に用いる部分画像のライン数や、Ｐタイル法の閾値を決定するための画素数（面積比率）等が格納されているパラメータ記憶部６と、上記二値化部４により二値化して作成された二値画像を出力する画像出力部８とを備えている。
【００２４】
本実施形態の作用を、図２を用いて説明する。
【００２５】
図２（Ａ）は、前記画像入力部２より入力された前記図１５（Ａ）等に示したものと同様の入力画像であり、この画像には１〜３画素程度の幅で、縦方向に実質上連続した筋部分Ｌがノイズ（図示せず）と共に存在している。
【００２６】
本実施形態では、まず、前記二値化部４において、パラメータ記憶部６から読み込まれた部分画像ライン数のパラメータを用いて、上記入力画像を、図２（Ｂ）に示すように、筋部分に直交する連続した矩形の部分画像Ｉ1 、Ｉ2 ・・・に分割する。この部分画像の分割幅は、１ライン（１画素幅）でも、又は複数ラインでもよい。
【００２７】
次いで、部分画像毎に前述したＰタイル法を適用して二値化する。その際、部分画像内の筋部分の幅を考慮して、その部分画像でＯＮにする画素数を、例えば１ラインについて３画素のようにして面積比率Ｐを決定する。
【００２８】
全ての部分画像に対して、同様にＰタイル法を適用することにより、図２（Ｃ）に示すように、階調値の大きなノイズが存在する部分画像では筋部分の画素がＯＮにならないが、このようなノイズの無い多くの部分画像では筋部分の画素がＯＮになるため、画像全体として見ると筋部分Ｌが抽出されていると共に、ノイズＮが全体に分散されている二値画像が得られる。
【００２９】
なお、上記図２（Ｂ）に示したＰタイル法を適用する部分画像Ｉ1 、Ｉ2 ・・・の幅は、１ラインはもとより、複数ラインの場合は１０ライン未満の数ラインであっても当然良く、更には画像全体を２分割するライン数、即ち全スキャンラインの１／２でも効果が期待できる。
【００３０】
本実施形態では、部分画像を格子状に分割する従来の部分画像分割法の場合と異なり、予想される筋部分と直交する方向に連続した矩形の部分画像に分割している点に特徴があり、このようにすることにより、対象である筋部分を効果的に二値化することができる。
【００３１】
以上詳述した如く、本実施形態によれば、部分画像毎にＰタイル法を用いて動的に閾値を決定するようにしたので、対象物（筋部分）と背景を高い精度で分離することができる。又、部分画像が１ライン又はそれに近い複数ラインという小さい範囲にする場合には、Ｐタイル法の欠点である検出したい対象の面積変動による誤差が少なくてすみ、しかも処理時間が比較的短くてすむという利点がある。
【００３２】
次に、本発明に係る第２実施形態の筋状欠陥検査装置について説明する。
【００３３】
本実施形態の筋状欠陥検査装置は、輪転印刷時に発生する、いわゆるドクター筋を検出する際に、前記第１実施形態と実質的に同一の二値画像作成技術を利用したものである。
【００３４】
先ず、上記ドクター筋について簡単に説明する。一般に、グラビア輪転印刷機では、回転する版胴と、これを押え付けるニップロールとの間に原反を通過させながら、該版胴に付着されたインキをその原反に転写することにより、連続的な印刷が行われている。
【００３５】
このような連続的な印刷を可能とするために、回転する版胴の表面にインキを供給するとともに、その過剰分をドクターブレードによって掻き落すことが行われている。
【００３６】
ところが、何等かの理由でドクターブレードに微少な欠けが生じたりすると、その欠け部分が接触している版胴には、極めて僅かであるが常時インキが残ることになるため、原反の印刷面には、いわゆるドクター筋と呼ばれる、微細ではあるが連続した筋状の印刷欠陥が発生することになる。
【００３７】
従来、印刷物の検査には、ＣＣＤカメラ等の撮像手段で印刷絵柄を画像入力し、その入力画像を画像処理することにより印刷欠陥を検出することが行われており、以下に詳述する本実施形態でも、同様の方法で画像入力が行われる。
【００３８】
図３、図４は、本実施形態の筋状欠陥検査装置の概略構成を示すブロック図である。
【００３９】
本実施形態の検査装置は、印刷物を画像入力した検査画像から、印刷物上に発生している筋状欠陥を検出するもので、印刷物からＣＣＤカメラ等により検査画像を光学的に入力する画像入力部１０と、入力された検査画像から絵柄部分を除外処理する絵柄除外部１２と、絵柄部分が除外された除外処理後の画像に存在する筋部分を強調処理する筋強調処理部１４と、筋部分が強調された強調処理後の画像に基づいて筋状欠陥を判定する判定部１６と、判定された筋状欠陥をモニタ上に表示する欠陥表示部１８とを備えている。
【００４０】
本実施形態では、図４に詳細を示すように、前記絵柄除外部１２は、マスク画像作成部１２Ａ、エッジ画像作成部１２Ｂ、マスク済みエッジ画像合成部１２Ｃを含み、前記筋強調処理部１４は縦加算部１４Ａを、又、前記判定部１６は、二値化部１６Ａ、線認識部１６Ｂをそれぞれ含んで構成されている。
【００４１】
又、本実施形態では、上記二値化部１６Ａが、前記第１実施形態の二値化装置と同様の、実質上同一方向に連続する筋部分の存在が予想される画像を入力する手段と、入力された画像を、前記筋部分に直交する１ライン以上の幅からなる連続した部分画像に分割する手段と、分割された各部分画像毎にＰタイル法を適用して各画素を二値化する手段と、を備えている。
【００４２】
以下、上記検査装置を構成する各機能部について詳述する。なお、この実施形態では、特に断らない限り、画像は、それを構成する各画素が０〜２５５の２５６階調の画素値で表示されるモノクロ画像とする。従って、カラー画像の場合は、Ｒ、Ｇ、Ｂの３フレームのモノクロ画像として同様に取り扱うことができる。
【００４３】
前記マスク画像作成部１２Ａは、検査画像から抽出される絵柄部分のエッジをマスクするためのマスク画像を作成する機能を有している。
【００４４】
即ち、このマスク画像作成部１２Ａは、画像入力部１０により入力された検査画像に含まれる筋状欠陥以外の線分や絵柄のエッジ部を検出処理の対象から外すためのマスク画像を作成する機能を有する。具体的には、例えば、図５に画素の配置を概念的に示したように、隣接する画素との画素値の差分を計算し、これを閾値処理することにより、明確な線や絵柄のエッジのみに相当する二値のマスク画像を作成する。これを、便宜上、画素を表わす記号と同一の記号で画素値を記述すると、次の（１）、（２）式で表わすことができる。
【００４５】
（Ｐn,m が絵柄のエッジである場合）
｜Ｐi,j −Ｐn,m ｜≧Ｔ1 …（１）
（Ｐn,m が絵柄のエッジでない場合）
｜Ｐi,j −Ｐn,m ｜＜Ｔ1 …（２）
但し、ｉ＝ｎ−１，ｎ，ｎ＋１、ｊ＝ｍ−１，ｍ，ｍ＋１、
Ｐi,j ≠Ｐn,m
Ｔ1 ：閾値
【００４６】
上記但し書きでＰi,j ≠Ｐn,m とあるのは、同一画素間では計算しないことを意味する。又、閾値Ｔ1 は固定した値でなく、筋状欠陥のエッジが抽出されない値として実験的に求め、別途設定しておく。
【００４７】
上記（１）、（２）式による計算処理の結果、閾値Ｔ1 以上の濃度差をもった、即ち明確な線や絵柄のエッジのみが抽出された二値画像が作成される。この二値画像を、検査画像が絵柄Ｐと筋状欠陥（ドクター筋）Ｄとを模式的に示した図６である場合を例に示すと、図７のようになる。即ち、濃淡がはっきりしている絵柄Ｐのみのエッジが抽出され、ドクター筋Ｄ等のコントラストの低い線状（筋状）部分のエッジは抽出されない二値化画像が得られる。そして、この図７の画像のエッジに基づいて、該エッジをマスクするに十分な幅の、図８に示すようなマスク部分Ｍが生成されたマスク画像が作成できる。
【００４８】
なお、その際、実際の検査画像では、ノイズ等に起因して連続した明瞭なエッジが抽出されないこともあるので、エッジの膨張処理を行うことにより、エッジの明瞭化を図るようにしてもよい。又、上記（１）、（２）式を用いる抽出処理によっては任意の方向のエッジを検出できるが、必ずしも全方向の計算をする必要はなく、例えば水平方向のみであってもよい。
【００４９】
前記エッジ画像作成部１２Ｂは、同一の検査画像から抽出される任意のエッジを含むエッジ画像を作成する機能を有している。即ち、このエッジ画像作成部１２Ｂでは、前記検査画像から、縦方法の筋状欠陥を検出するために水平方向のエッジを全て抽出する。
【００５０】
具体的には、縦方向の筋状欠陥を検出したい場合、水平方向で画素間の画素値の差分を計算することにより全てのエッジを求める。その際、例えば、図９に模式的に示した水平方向の画素の配列に対応する、次の（３）式で記述される微分オペレータを各画素に適用することにより、コントラストが低い線部分を含む全てのエッジを抽出することができるため、濃度差に応じた任意のエッジを含むエッジ画像が作成される。なお、この（３）式でＤは、別途設定しおく１以上の定数（Ｄ≧１）であり、因にこの実施形態ではＤ＝２としている。
【００５１】
Ｐn,m ＝（２Ｐn −Ｐn+D −Ｐn-D ） …（３）
【００５２】
又、このエッジ画像作成部１２Ｂでは、上記（３）式のオペレータによる演算結果について正規化を行うようになっている。この正規化は、対象画像の画素値が０〜２５５階調であることから、上記（３）式の単純な計算値は、完全な平坦部の場合を０として、マイナスとプラスの値（最小値−５１０、最大値＋５１０）を持つことになり、このままでは０〜２５５階調で表示ができないことになるので、この表示ができるようにするための処理である。
【００５３】
正規化の具体的処理は、上記（３）式を次の（４）式のように第１項と第２項に分けて、“正規化前の減算”を行った後、その結果について“正規化後の加算”を行い、結果として次の（５）式による計算を行うことに当る。但し、式中Ｍは正規化後の原点に当る階調値であり、ここでは１２８（＝２５６÷２）としている。
【００５４】
Ｐn,m ＝（Ｐn −Ｐn+D ）＋（Ｐn −Ｐn-D ） …（４）
Ｐn,m ＝（２Ｐn −Ｐn+D −Ｐn-D ＋４Ｍ）／４ …（５）
【００５５】
即ち、この（５）式により上記（３）式の計算結果を正規化することは、該（３）式の計算結果が、例えば−５１０、０、＋５１０であれば、これらをそれぞれを４で割った後、全体的に１２８分シフトさせた値である１、１２８、２５５の画素値に変換することを意味する。従って、この正規化により、（３）式の計算結果を、階調値１２８を原点（中間値）として、＋−それぞれの方向に変化する画素値として表示することが可能となる。
【００５６】
ここで行われる正規化は、一般的な画像処理装置で行われる、いわゆるフレーム間演算の加算や減算の結果に対して、その画素値がマイナスになる場合に、０〜２５５階調の表示ができるようにするものと実質的に同一の処理である。具体例を挙げると、いずれも０〜２５５階調表示の画像Ａ、Ｂについて、（画像Ａ−画像Ｂ）の減算結果を画像Ｃとする場合、この画像Ｃは−２５５〜＋２５５となり、０〜２５５内に収まらないので、Ｍ＝１２８とし、画像Ｃ＝（画像Ａ−画像Ｂ）／２＋Ｍにより正規化し、１〜２５５にする。
【００５７】
図１０は、上記微分オペレータを前記図６の検査画像に適用して得られたエッジ画像を模式的に示したものであり、前記絵柄Ｐに基づく強いエッジＰＥとドクター筋Ｄに基づく弱いエッジＤＥとが、抽出されている。尚、このエッジ画像の作成には、上記微分オペレータに限らず、その他のエッジ抽出処理の方法を適用してもよいことは言うまでもない。
【００５８】
前記マスク済みエッジ画像合成部１２Ｃは、作成されたエッジ画像とマスク画像を合成する機能を有している。即ち、マスク済みエッジ画像合成部１２Ｃは、前述した画像処理により作成したエッジ画像とマスク画像を合成して、検査対象外の画素を決定し、これ以降の処理からその画素を除外する働きをする。
【００５９】
具体的には、作成したエッジ画像とマスク画像を図１１に概念的に示したように、エッジ画像上の画素Ｐn と、これに対応するマスク画像上の画素Ｍn とを比較し、画素Ｍn がエッジ部（マスク部分）でない場合は、画素Ｐn はそのままにし、逆に、画素Ｍn がエッジ部である場合は、画素Ｐn をマスクする（検査対象外とする）。即ち、この合成処理は、画素Ｍn がエッジ部でない場合は、合成画像の対応する画素に対して画素Ｐn の画素値をそのまま設定し、逆にエッジ部である場合は、正規化後の原点に対応する階調値１２８を設定し、エッジ画像中の強いエッジＰＥをマスクする処理を行っていることに当る。
【００６０】
従って、ここで行うマスク処理とは、マスク画像のエッジ部に当る合成画像の画素に、前記（５）式で正規化の原点の画素値として設定した階調値１２８を設定することであり、これにより、合成して得られるマスク済画像についても１２８に正規化すると同時に、上記エッジＰＥをマスクして検査対象外とした上で、前記（３）式によるマイナスの計算結果をも０〜１２７の階調値により画像表示できるようにしている。
【００６１】
図１２は、前記図８のマスク画像と、前記図１０のエッジ画像とについて、上述した合成処理を行うことにより作成したマスク済み画像を模式的に示したものであり、この画像には、上記のように強いエッジＰＥが除外され、ドクター筋Ｄに基づく弱いエッジＤＥが残存していることが示されている。
【００６２】
前記筋強調処理部１４に含まれる縦加算部１４Ａは、絵柄部分が除外された除外処理後の画像、即ち上記図１２に示したようなマスク済み画像について、注目画素の画素値を、該注目画素を含み、且つ、同一方向に並ぶ所定数の画素の各画素値を加算した値に置き換える機能を有している。これを、マスク済みエッジ画像の画素値を縦方向に加算することにより、縦の筋を強調し、ノイズ成分を抑制する場合について以下に説明する。
【００６３】
前記画像合成部１２Ｃで作成したマスク済みエッジ画像は、階調値１２８を原点（基準値）として、上下両方向にそれぞれエッジの強さに応じて変化する階調値の画素で構成されているが、その変化量は小さいため、画素値の差（濃度差）に閾値を設定して抽出する方法を採用することはできない。
【００６４】
ところが、上記マスク済みエッジ画像は、階調値１２８を原点（＝０）とした場合に、平坦部分では±両方向にほぼ均等に画素値が分布しているのに対し、筋状欠陥部分の画素値は＋又は−のいずれかの方向に偏った画素値の分布をしている。
【００６５】
従って、上記画像に対して縦方向に所定範囲にある画素の画素値を、階調値１２８を原点として加算することにより、平坦部分では相殺されるために大きな変化はないが、筋状部分では＋又は−のいずれかの方向に画素値が増大するため、画素値を強調することが可能となる。
【００６６】
図１３は、この強調計算の原理を模式的に示したもので、（Ｂ）のマスク済みエッジ画像で、画素Ｐn,m から垂直方向にＲ画素まで各画素値を加算し、その加算後の画素値を（Ａ）に示した加算画像の画素Ｐn,m の画素値に設定する。即ち、加算画像の画素値を次の（６）式で計算する。但し、この加算処理を行う際の各画素値は、前記（５）式により正規化した値を、上述した如く、原点に当る階調値１２８を実際に０にし、この１２８を超えている画素値を＋、１２８未満の画素値を−とした値を使用する。なお、Ｒは実験的に決定する定数である。
【００６７】
Ｐn,m ＝Ｐn,m+1 ＋Ｐn,m+2 ＋．．．＋Ｐn,m+R …（６）
【００６８】
同様の加算処理を、Ｐn,m+1 、Ｐn,m+2 ．．．について順次実行することにより、前述した如く、平坦部分の画素では、＋−の値が相殺されるため階調値０から大きく変化することはないが、筋状欠陥部分の画素は＋又は−のいずれか一方に画素値が強調された加算画像が作成される。即ち、前記図１２の筋状欠陥に基づく弱いエッジＤＥが強調され、＋又は−の明確な画素値を有する画像が得られる。
【００６９】
なお、筋強調処理のための加算方法は、上記（６）式のように、先頭の画素についてそれより下の画素の画素値を加算する方法に限らず、同方向に所定画素分の画素値を加算する方法であれば任意であるが、例えば、つぎの（６′）式のように、中間の画素値について計算してもよい。
【００７０】
Ｐn,m ＝Ｐn,m-R/2 ＋．．．＋Ｐn,m ＋．．．＋Ｐn,m+R/2 …（６′）
【００７１】
前記判定部１６に含まれる二値化部１６Ａは、前記縦加算部１４Ａにより作成された縦の筋部分が強調された加算画像に対して、閾値を設定して二値化処理することにより、二値化画像を作成する機能を有している。
【００７２】
具体的には、前記のように縦の筋部分の画素値を加算して＋又は−の方向に強調した画素値を有する前記強調処理後の画像について、筋状の点（画素）とそれ以外の部分に分別するために、例えば、閾値Ｔ2 を設定し、各画素値の絶対値が該閾値Ｔ2 以上の値をもつ画素は筋の一部である可能性が高いので、｜Ｐn,m ｜≧Ｔ2 なら、その画素を筋状の点の候補とするためにＯｎにし、逆に｜Ｐn,m ｜＜Ｔ2 の場合は、筋状の点ではないとしてＯｆｆにする。
【００７３】
本実施形態では、ここで実行する二値化処理として、前記第１実施形態と実質的に同一の前記図２に示した手順に従うＰタイル法により実行される。
【００７４】
前記判定部１６に含まれる線認識部１６Ｂは、強調処理した後に二値化して作成した上記二値化画像に対して、Ｏｎの画素が縦方向（実質的に同一方向）に所定数以上存在するか否かにより、その画素が縦方向の線（筋）状の欠陥を構成しているか否かを判定する機能を有している。
【００７５】
具体的には、例えば、以下のように判定する。検出すべき筋状欠陥が非常に薄く且つ細い場合、二値化画像上では１本の線として繋がっていない可能性があるため、該二値化画像に対して、図１４に概念的に示すように、画素を単位とする縦方向１ライン中にＯｎの画素が閾値Ｔ3 個以上あれば検出すべき筋状欠陥と判定とする。この閾値Ｔ3 は実験的に予め決定しておく。
【００７６】
なお、上記判定は必ずしも１ライン中の画素に対して行うものに限らない。画像入力された筋状欠陥が隣接する２ライン以上に渡っている可能性もあるので、２ライン以上でＯｎの画素の数を計算するようにしてもよい。又、必要に応じて、判定の前に、Ｏｎ分の画素を縦方向に複数画素分縮小させ、次いで同画素数分膨張させる処理を行うことにより、予め孤立点を除去する処理等を行ってもよい。
【００７７】
以上詳述した如く、本実施形態においては、検査画像を入力し、その検査画像からマスク画像を作成するとともに、エッジ画像を作成し、次いでこれら両画像を合成することにより、マスク済みエッジ画像を作成し、該画像に対して、画素値を強調するために縦加算画像を作成しその強調画像から二値化画像を作成し、更に、その二値化画像ついて線認識を行う。
【００７８】
即ち、検査画像が絵柄を含む場合であっても、コントラストの高いエッジ部を処理対象から除外するためのマスク処理を行い、更に縦方向に加算処理を行うことでコントラストの低い筋部分を強調すると共に、得られる強調画像に対して更に本発明によるＰタイル法を適用することにより、筋部分を確実に二値化し、その二値画像に基づいて筋状欠陥を検出する。
【００７９】
従って、本実施形態によれば、検査画像が絵柄を含んでいる場合でも、絵柄のエッジ部を検出することなく、該画像中からコントラストの低い筋状欠陥の検出が可能となる。その結果、従来の印刷物の検査では、目視による検査でしか検出不可能であった、コントラストが低く且つ微細な、いわゆるドクター筋と呼ばれる筋状欠陥をも自動的に検出することが可能となる。
【００８０】
以上、本発明について具体的に説明したが、本発明は、前記実施形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００８１】
例えば、二値化の具体的な対象として印刷欠陥であるドクター筋であり、しかも入力画像を所定の処理した後の画像である場合を示したが、これに限定されず、平坦な背景の中に同一方向に実質的に連続する筋状のものが存在する画像であれば、特に制限されない。
【００８２】
【発明の効果】
以上説明したとおり、請求項１又は２の発明によれば、平坦な背景に実質上同一方向に連続した筋部分が存在する画像から、ノイズが存在する場合でも筋部分が二値化された画像を容易且つ確実に作成することができる。
【００８３】
又、請求項３又は５の発明によれば、絵柄を含んでいる検査画像からコントラストが低い上に微細な筋状欠陥をも確実に検出することができる。
【図面の簡単な説明】
【図１】本発明に係る第１実施形態の二値画像作成装置の概略構成を示すブロック図
【図２】二値画像の作成手順を概念的に示す線図
【図３】本発明に係る第２実施形態の筋状欠陥検査装置の概略構成を示すブロック図
【図４】上記の検査装置の詳細を示すブロック図
【図５】マスク画像作成時のエッジ抽出を示す説明図
【図６】検査画像を模式的に示す説明図
【図７】上記検査画像より絵柄のエッジのみを抽出した画像を示す説明図
【図８】上記検査画像を基に作成したマスク画像を示す説明図
【図９】エッジ抽出に用いる微分オペレータを概念的に示す説明図
【図１０】微分オペーレータを適用して作成したエッジ画像を示す説明図
【図１１】マスク画像とエッジ画像の合成原理を概念的に示す説明図
【図１２】合成後のマスク済みエッジ画像を示す説明図
【図１３】縦方向の画素値を強調する加算方法を示す説明図
【図１４】筋状欠陥の判定処理を概念的に示す説明図
【図１５】入力画像の一例とその特徴を示す線図
【図１６】Ｐタイル法を説明するための線図
【図１７】固定閾値処理法の問題点を説明するための線図
【図１８】従来のＰタイル法の問題点を説明するための線図
【符号の説明】
２…画像入力部
４…二値化部
６…パラメータ記憶部
８…画像出力部
１０…画像入力部
１２…絵柄除外部
１２Ａ…マスク画像作成部
１２Ｂ…エッジ画像作成部
１２Ｃ…マスク済みエッジ画像合成部
１４…筋強調処理部
１４Ａ…縦加算部
１６…判定部
１６Ａ…二値化部
１６Ｂ…線認識部
１８…欠陥表示部
Claims (6)
- 実質上同一方向に連続する筋部分の存在が予想される画像を入力するステップと、
入力された画像を、前記筋部分に直交する１ライン以上の幅からなる連続した部分画像に分割するステップと、
分割された各部分画像毎にＰタイル法を適用して各画素を二値化するステップと、を有することを特徴とする二値画像作成方法。 - 実質上同一方向に連続する筋部分の存在が予想される画像を入力する手段と、入力された画像を、前記筋部分に直交する１ライン以上の幅からなる連続した部分画像に分割する手段と、
分割された各部分画像毎にＰタイル法を適用して各画素を二値化する手段と、を備えていることを特徴とする二値画像作成装置。 - 印刷物を画像入力した検査画像から、印刷物上に発生している筋状欠陥を検出する筋状欠陥検査方法であって、
検査画像から絵柄部分を除外処理する絵柄除外ステップと、
該除外処理後の画像に存在する筋部分を強調処理する筋強調ステップと、
実質上同一方向に連続する筋部分の存在が予想される該強調処理後の画像を入力するステップと、
入力された画像を、前記筋部分に直交する１ライン以上の幅からなる連続した部分画像に分割するステップと、
分割された各部分画像毎にＰタイル法を適用して各画素を二値化するステップと、
二値化された画像に基づいて筋状欠陥を判定する判定ステップと、を有することを特徴とする筋状欠陥検査方法。 - 請求項３において、
前記絵柄除外ステップが、
検査画像から抽出される絵柄部分のエッジをマスクするためのマスク部分を有するマスク画像を作成するステップと、
検査画像から抽出される任意のエッジを含むエッジ画像を作成するステップと、
作成されたエッジ画像とマスク画像を合成するステップと、を含むことを特徴とする筋状欠陥検査方法。 - 印刷物を画像入力した検査画像から、印刷物上に発生している筋状欠陥を検出する筋状欠陥検査装置であって、
検査画像から絵柄部分を除外処理する絵柄除外手段と
該除外処理後の画像に存在する筋部分を強調処理する筋強調手段と、
実質上同一方向に連続する筋部分の存在が予想される該強調処理後の画像を入力する手段と、
入力された画像を、前記筋部分に直交する１ライン以上の幅からなる連続した部分画像に分割する手段と、
分割された各部分画像毎にＰタイル法を適用して各画素を二値化する手段と、
二値化された画像に基づいて筋状欠陥を判定する判定手段と、を備えていことを特徴とする筋状欠陥検査装置。 - 請求項５において、
前記絵柄除外手段が、
検査画像から抽出される絵柄部分のエッジをマスクするためのマスク部分を有するマスク画像を作成する手段と、
検査画像から抽出される任意のエッジを含むエッジ画像を作成する手段と、
作成されたエッジ画像とマスク画像を合成する手段と、を含むことを特徴とする筋状欠陥検査装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21321197A JP3835898B2 (ja) | 1997-08-07 | 1997-08-07 | 二値画像作成方法及び装置並びに筋状欠陥検査方法及び装置 |
| PCT/JP1997/003611 WO1998015919A1 (fr) | 1996-10-09 | 1997-10-08 | Procede et appareil de detection de defauts de raies sur des documents imprimes |
| EP97943155A EP0872810A4 (en) | 1996-10-09 | 1997-10-08 | METHOD AND APPARATUS FOR DETECTING LINE DEFECTS ON PRINTED DOCUMENTS |
| US09/077,553 US6366358B1 (en) | 1996-10-09 | 1997-10-08 | Method and apparatus for detecting stripe defects of printed matter |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21321197A JP3835898B2 (ja) | 1997-08-07 | 1997-08-07 | 二値画像作成方法及び装置並びに筋状欠陥検査方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1153557A JPH1153557A (ja) | 1999-02-26 |
| JP3835898B2 true JP3835898B2 (ja) | 2006-10-18 |
Family
ID=16635390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21321197A Expired - Fee Related JP3835898B2 (ja) | 1996-10-09 | 1997-08-07 | 二値画像作成方法及び装置並びに筋状欠陥検査方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3835898B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3705095B2 (ja) * | 2000-08-28 | 2005-10-12 | 松下電工株式会社 | 物体表面に施色された図柄パターンの色調評価方法およびその装置 |
| JP4759181B2 (ja) * | 2001-08-02 | 2011-08-31 | キヤノン株式会社 | 画像読取方法、装置、プログラム及びプログラムを記憶した媒体 |
| JP4160991B2 (ja) * | 2006-11-29 | 2008-10-08 | シャープ株式会社 | 線状の欠陥の検出装置および半導体基板の製造装置、線状の欠陥の検出方法および半導体基板の製造方法、コンピュータを当該検出装置または… |
| JP7367462B2 (ja) * | 2019-10-29 | 2023-10-24 | コニカミノルタ株式会社 | 画像検査装置及び画像検査システム |
-
1997
- 1997-08-07 JP JP21321197A patent/JP3835898B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1153557A (ja) | 1999-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shor et al. | The shadow meets the mask: Pyramid‐based shadow removal | |
| Kiani et al. | E-shaver: An improved DullRazor® for digitally removing dark and light-colored hairs in dermoscopic images | |
| WO1998015919A1 (fr) | Procede et appareil de detection de defauts de raies sur des documents imprimes | |
| US9042649B2 (en) | Color document image segmentation and binarization using automatic inpainting | |
| CN106780486B (zh) | 一种钢板表面缺陷图像提取方法 | |
| CN110648349A (zh) | 基于背景减除和连通区域算法的焊缝缺陷分割方法 | |
| Hashimoto et al. | Referenceless image quality evaluation for whole slide imaging | |
| JPH0957201A (ja) | 特定色領域抽出方式および特定色領域除去方式 | |
| JP3902823B2 (ja) | 筋状欠陥検査方法及び装置 | |
| Amin et al. | Automatic shadow detection and removal using image matting | |
| JP3835898B2 (ja) | 二値画像作成方法及び装置並びに筋状欠陥検査方法及び装置 | |
| CN115100077A (zh) | 一种新型图像增强方法与装置 | |
| JPH1148457A (ja) | 筋状欠陥検査方法及び装置 | |
| JP3816994B2 (ja) | エッジ領域抽出方法及び装置 | |
| JP2008122139A (ja) | 用紙品質検査装置 | |
| US10346967B2 (en) | Detection of streaks in images | |
| JP4093426B2 (ja) | 検査装置、検査方法 | |
| JP5190619B2 (ja) | 被検査物の検査方法及びその検査装置 | |
| JP5157575B2 (ja) | 欠陥検出方法 | |
| JP3433331B2 (ja) | 画像検査方法及び装置 | |
| Boiangiu et al. | Methods of bitonal image conversion for modern and classic documents | |
| JP2006195622A (ja) | 画像処理装置 | |
| JPH0624014B2 (ja) | 濃淡画像の処理方法 | |
| Mamatha et al. | Performance analysis of various filters for De-noising of Handwritten Kannada documents | |
| JP4491922B2 (ja) | 表面欠陥検査方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040521 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060725 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060725 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090804 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100804 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110804 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110804 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120804 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120804 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130804 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |