JPH07190955A - Equipment for deciding extent of smear of printed matter - Google Patents

Equipment for deciding extent of smear of printed matter

Info

Publication number
JPH07190955A
JPH07190955A JP5348509A JP34850993A JPH07190955A JP H07190955 A JPH07190955 A JP H07190955A JP 5348509 A JP5348509 A JP 5348509A JP 34850993 A JP34850993 A JP 34850993A JP H07190955 A JPH07190955 A JP H07190955A
Authority
JP
Japan
Prior art keywords
stain
degree
image
obtaining
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5348509A
Other languages
Japanese (ja)
Other versions
JP3322976B2 (en
Inventor
Hiroshi Takahashi
博 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP34850993A priority Critical patent/JP3322976B2/en
Publication of JPH07190955A publication Critical patent/JPH07190955A/en
Application granted granted Critical
Publication of JP3322976B2 publication Critical patent/JP3322976B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PURPOSE:To indicate the extent of smear numerically by calculating the amount representative of the feature of smear from an image data, deciding the smear of intricate shape such as crease, and further deciding the smear at a patterned part. CONSTITUTION:A printed matter 101 is read out by means of a line sensor 103 which then delivers an image signal to an image input unit 103 where the image signal is subjected to A/D conversion and stored in an image memory 104. A feature amount extracting section 105 indicates the extent of smear numerically based on the image data stored in the memory 104, i.e., calculates an amount representative of the feature of smear. A graph display section 106 displays an approximate line representative of the relationship between the numeric amount of smear and the data thereof. An operator decides the goodness of fit between the data presented on the display section 106 and the approximate line and notifies pass or fail to a decision input section depending on the goodness of fit thus decided. A decision section 107 decides the extent of smear of a printed matter based on a numeric amount of smear extracted at the feature amount extracting section 105.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は印刷物画像を検査する装
置に関し、特に汚れた印刷物の汚損程度を判別する装置
に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus for inspecting a printed image, and more particularly to an apparatus for determining the degree of stain on a dirty printed matter.

【0002】[0002]

【従来の技術】従来、印刷物の汚損度を判別するには、
人間が印刷物を見て、主観的に判断する方法がとられて
きた。又、これらを自動化するために、判別の対象とな
る印刷物をセンサで読取り、予め設定された基準データ
と比較することによって汚損度を判別する方法が考案さ
れた。更に特開昭58−189794号公報に記載され
た発明では、印刷物の透過光量の積分値をメモリに蓄え
2値化して、その画素数をカウントとし、その画素数に
より正券、損券の判別をしている。具体的には図2に示
すように、光源201から紙葉202を介した透過光を
光電変換器203で受光してメモリ204に蓄える。そ
して2値化装置205により、メモリ204に蓄えられ
た画像データを2値化する。最後に判別装置206によ
って、2値化装置205により2値化された画素数をカ
ウントし、ある閾値以下であれば正券、そうでなければ
損券と判別する。
2. Description of the Related Art Conventionally, in order to determine the degree of stain on printed matter,
A method has been adopted in which a human looks at a printed matter and subjectively judges it. In order to automate these, a method has been devised in which a stain is determined by reading a printed matter to be determined with a sensor and comparing it with preset reference data. Furthermore, in the invention disclosed in Japanese Patent Laid-Open No. 189794/1983, the integrated value of the amount of transmitted light of a printed matter is stored in a memory, binarized, and the number of pixels is counted, and the number of pixels is used to discriminate a genuine note or an unfit note. Are doing Specifically, as shown in FIG. 2, the transmitted light from the light source 201 through the paper sheet 202 is received by the photoelectric converter 203 and stored in the memory 204. Then, the binarizing device 205 binarizes the image data stored in the memory 204. Finally, the discriminating device 206 counts the number of pixels binarized by the binarizing device 205, and if it is less than a certain threshold, it is discriminated as a genuine bill, and if not, it is discriminated.

【0003】[0003]

【発明が解決しようとする課題】上記のような特開昭5
8−189794号公報による手法では、2値化された
画素数のみで判別しているため、2値化データの形状に
ついては全く考慮していない。従って、しわなどの形状
の複雑さによる汚損については判別することができな
い。又、模様の存在する部分については判別不可能であ
る。
DISCLOSURE OF THE INVENTION Problems to be Solved by the Invention
In the method disclosed in Japanese Unexamined Patent Publication No. 8-189794, the shape of the binarized data is not considered at all because the discrimination is made only by the number of binarized pixels. Therefore, it is impossible to discriminate the stain due to the complexity of the shape such as wrinkles. Further, it is impossible to discriminate the portion where the pattern exists.

【0004】従って本発明の目的は、汚損印刷物の汚損
画像の形状を考慮し、特にしわなどの複雑な形状の汚損
判別、更に模様の存在する部分の汚損判別を行い、それ
ら汚損の度合いを数値で示すことのできる印刷物汚損判
別装置を提供することである。
Therefore, an object of the present invention is to take into consideration the shape of a dirty image of a dirty printed matter, to determine the stain of a complicated shape such as a wrinkle, and further to determine the stain of a portion having a pattern, and to determine the degree of the stain. The purpose of the present invention is to provide a printed matter stain discriminating apparatus that can be represented by.

【0005】[0005]

【課題を解決するための手段】上記課題を解決するため
に本発明による印刷物汚損度判別装置は、印刷物の画像
データを入力する手段と、前記入力手段により入力され
る画像データから汚損の特徴を示す汚損特徴量を計算す
る手段と、前記計算手段から入力される前記汚損特徴量
に基づいて、前記汚損の度合いを判別する手段とを具備
することを特徴とする。
In order to solve the above-mentioned problems, a printed matter stain degree determining apparatus according to the present invention has means for inputting image data of a printed matter, and a stain characteristic from the image data input by the input means. The present invention is characterized by comprising: means for calculating a stain characteristic amount shown; and means for determining the degree of the stain on the basis of the stain characteristic amount input from the calculating means.

【0006】又、本発明による印刷物汚損度判別装置
は、前記印刷物の画像データを入力する手段と、前記入
力手段により入力された画像データを複数の小領域に分
割する手段と、前記小領域毎に汚損の特徴を示す汚損特
徴量を計算する手段と、前記計算手段から入力される前
記汚損特徴量に基づいて、前記汚損の度合いを前記各小
領域について判別する手段と、前記各小領域の汚損の度
合いを平均して印刷物全体の汚損の度合いを求める手段
と、前記各小領域の中で、汚損の度合いの大きい小量域
を出力する手段とを具備することを特徴とする。
Further, the printed matter stain degree determining apparatus according to the present invention comprises means for inputting the image data of the printed matter, means for dividing the image data input by the input means into a plurality of small areas, and each of the small areas. Means for calculating the pollution feature amount showing the characteristics of pollution, based on the pollution feature amount input from the calculating means, means for determining the degree of the pollution for each of the small areas, and each of the small areas The present invention is characterized by comprising means for averaging the degree of stains to obtain the degree of stains on the entire printed matter, and means for outputting a small amount area having a large degree of stains in each of the small areas.

【0007】更に、本発明による印刷物汚損度判別装置
は、画像データから汚損の特徴を示す汚損特徴量を計算
する手段と、前記汚損の判別を行う印刷物の画像データ
を入力する手段と、前記入力手段により入力される画像
データから、前記計算手段を用いて第1汚損特徴量を求
める手段と、前記汚損のない印刷物の画像データから、
前記計算手段を用いて第2汚損特徴量を求める手段と、
前記第1汚損特徴量と前記第2汚損特徴量を用いて、汚
損特徴量を算出する手段と、予め算出されている汚損特
徴量と汚損の度合いとを関連づけたテーブルを参照して
前記汚損特徴量から汚損の度合いを求める手段とを具備
することを特徴とする。
Further, the printed matter stain degree determining apparatus according to the present invention comprises means for calculating a stain characteristic amount indicating the feature of stain from image data, means for inputting image data of the printed matter for determining the stain, and the input. From the image data input by the means, the means for obtaining the first stain characteristic amount using the calculating means, and the image data of the printed matter without stain,
Means for obtaining a second pollution characteristic amount using the calculation means,
The pollution feature is referred to with reference to a table for associating the pollution feature quantity and the degree of pollution calculated in advance with a unit for calculating the pollution feature quantity using the first pollution feature quantity and the second pollution feature quantity. And a means for obtaining the degree of pollution from the quantity.

【0008】[0008]

【作用】入力された印刷物画像は一片がn画素の小領域
に分割され、各小領域でボックスカウント数が求められ
る。この動作は小領域の一片の画素数を変えて複数回行
われる。一片の画素数とその画素数について求めたボッ
クスカウント数により各々構成されるデータを基にグラ
フが作成され、近似直線が求められる。この近似直線か
ら汚損の特徴量が算出され、その特徴量を基に汚損の度
合いが求められる。前記ボックスカウント数は、小領域
中の画素の濃度差、あるいは2値化された画像内の値
「1」を有する画素数等から求められる。
A piece of the input printed image is divided into small regions each having n pixels, and the box count number is obtained in each small region. This operation is performed a plurality of times by changing the number of pixels in one piece of the small area. A graph is created on the basis of data each constituted by the number of pixels in one piece and the box count number obtained for the number of pixels, and an approximate straight line is obtained. A stain feature amount is calculated from this approximate straight line, and the degree of stain is obtained based on the feature amount. The box count number is calculated from the density difference of pixels in the small area, the number of pixels having the value “1” in the binarized image, or the like.

【0009】[0009]

【実施例】以下、本発明の実施例を図面に基づき説明す
る。図1は本発明の一実施例に係る印刷物の汚損度判別
装置の構成を示すブロック図である。同図において、汚
損の判別を行う印刷物101をラインセンサ102で読
取り、画像信号が画像入力装置103に送られる。画像
入力装置103では、送られてきたアナログ画像信号を
A/D変換し、画像メモリ104に格納する。特徴量判
別部105では、画像メモリ104に格納された画像デ
ータから、汚損の度合を数値化する。特徴量抽出部10
5はグラフ表示部106を持っており、特徴量抽出部1
05で数値化された汚損量とそのデータの近似直線をグ
ラフ表示する。オペレータは、このグラフ表示部106
に表示されたデータと近似直線の適合の度合を判断し、
データが近似直線上に十分乗っていると判断した場合に
は、オペレータ判断入力部108へ“可”を入力する。
そうでないと判断した場合には、“不可”を入力する。
判別部107では徴量抽出部105で数値化された汚損
量をもとに、印刷物の汚損の度合を判別する。例えば、
特徴量抽出部105で算出された汚損量が0〜20なら
汚損なし、20〜40ならやや汚損、40〜60なら汚
損ぎみ、60〜80なら汚損、80〜100ならかなり
の汚損といった具合である。この特徴量と汚損の度合と
の関係を表1に示す。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing the arrangement of a stain degree determining device for printed matter according to an embodiment of the present invention. In the same figure, the printed matter 101 for determining the stain is read by the line sensor 102, and the image signal is sent to the image input device 103. The image input device 103 A / D converts the sent analog image signal and stores it in the image memory 104. The feature amount determination unit 105 digitizes the degree of contamination from the image data stored in the image memory 104. Feature quantity extraction unit 10
Reference numeral 5 has a graph display unit 106, and the feature amount extraction unit 1
The amount of pollution quantified in 05 and the approximate straight line of the data are displayed in a graph. The operator uses the graph display unit 106
Judge the degree of fit between the data displayed in and the approximate straight line,
When it is determined that the data is sufficiently on the approximate straight line, “OK” is input to the operator determination input unit 108.
If it is determined that it is not the case, "impossible" is input.
The discriminating unit 107 discriminates the degree of stain of the printed matter based on the stain amount digitized by the amount extracting unit 105. For example,
If the fouling amount calculated by the feature amount extraction unit 105 is 0 to 20, there is no fouling, 20 to 40 is a fouling, 40 to 60 is a fouling, 60 to 80 is fouling, and 80 to 100 is a fouling. . Table 1 shows the relationship between the feature amount and the degree of stain.

【0010】[0010]

【表1】 [Table 1]

【0011】そして、オペレータ判断入力部108にお
いて“可”が入力されていれば、汚損の度合をそのまま
出力し、“不可”が入力されていれば、リジェクトある
いは判断不能、データ間違い等の出力をする。又、ここ
ではオペレータを介在させて汚損の判別を行う方法につ
いて説明したが、オペレータの介在なしに汚損を判別す
ることも可能である。その場合には、グラフ表示部10
6で、データとそのデータの近似直線の適合の度合を、
例えば図7に示すようなデータと近似直線との誤差で表
す。データ1(702)、データ2(703)、データ
3(704)及びそれらデータの近似直線701が図の
ようにあるとき、データ1(702)から近似直線70
1に下ろした垂線の長さ705、データ2(703)か
ら近似直線701に下ろした垂線の長さ706、データ
3(704)から近似直線701に下ろした垂線の長さ
707の合計を、ここでは不適合度とし、この値が小さ
いほど、データと近似直線との適合が良いと判断する。
具体的には、近似直線がy=ax+bで与えられている
とき、データ1(x1 、y1 )(702)と近似直線の
差705はy1 とax1 +bの差で表され、同様にデー
タ2(x2 、y2 )(703)と近似直線の差706は
y2 とax2 +bの差で、データ3(x3 、y3 )(7
04)と近似直線の差707はy3 とax3 +bの差で
それぞれ求められ、これらの差の合計を、データと近似
直線との不適合度とする。そして、例えばこの値が20
以下であれば、オペレータ入力部108は“可”とな
り、それより大きい場合は“不可”となる。
If "OK" is input in the operator judgment input unit 108, the degree of contamination is output as it is, and if "INHIBIT" is input, reject or judgment, output of data error, etc. is output. To do. Further, although the method of discriminating the stain with the intervention of the operator is described here, the stain can be discriminated without the intervention of the operator. In that case, the graph display unit 10
In 6, the degree of fit of the data and the approximate line of the data is
For example, it is represented by the error between the data shown in FIG. 7 and the approximate straight line. When the data 1 (702), the data 2 (703), the data 3 (704) and the approximate straight line 701 of these data are as shown in the figure, the data 1 (702) to the approximate straight line 70
The sum of the length 705 of the perpendicular drawn from 1, the length 706 of the perpendicular drawn from the data 2 (703) to the approximate straight line 701, and the length 707 of the perpendicular drawn from the data 3 (704) to the approximate straight line 701 are given here. Then, the degree of non-conformity is defined, and the smaller the value, the better the agreement between the data and the approximate straight line.
Specifically, when the approximate straight line is given by y = ax + b, the difference 705 between the data 1 (x1, y1) (702) and the approximate straight line is represented by the difference between y1 and ax1 + b, and similarly the data 2 ( The difference 706 between x2, y2) (703) and the approximate straight line is the difference between y2 and ax2 + b, and the data 3 (x3, y3) (7
04) and the approximation straight line 707 are obtained by the difference between y3 and ax3 + b, and the sum of these differences is regarded as the degree of incompatibility between the data and the approximation straight line. And, for example, this value is 20
In the following cases, the operator input unit 108 is “OK”, and in the case of being larger than that, “NO”.

【0012】図3は特徴量抽出部105の詳細ブロック
図を示す。スケール選定部301では、画像メモリ10
4に格納されている画像データの大きさをもとに、解析
する画素スケールの範囲を複数選定する。例えば画像デ
ータの大きさが縦100画素、横100画素の場合に
は、解析画素スケールの範囲を、画像の大きさの10分
の1の10画素から11画素、12画素と1画素ずつ増
やし、20画素までに決定する。予め画像の大きさがわ
かっている場合には、解析画素スケール範囲を固定して
もよい。ボックスカウント部302では、スケール選定
部301で選定した解析画素スケール範囲のうちの一つ
の画素スケールを用いて、画像メモリ104に格納され
ている画像データを、この画素スケールの大きさの小領
域に分割する。そして、各小領域内において画像データ
の最大濃度値と最小濃度値の差を求め、その差を画素ス
ケールの値で割り、1を加える。この値を、その小領域
におけるボックスカウント数とする。図4はこのボック
スカウント処理を示す図である。つまり、ある画素スケ
ールr(401)の小領域において、最大濃度値I1
(402)と最小濃度値I3 (404)を求め、その間
に入ることのできる大きさrのブロックの数に1を加え
たものが、ここで言うボックスカウント数として定義さ
れる。全ての小領域についてボックスカウント数が求め
られたら、これら小領域全てのボックスカウント数を加
え、この値を、先に用いた画素スケールにおけるボック
スカウント数と定義する。そして、画素スケールとボッ
クスカウント数を組にしてメモリ303に格納する。ル
ープ終了判定部304では、スケール選定部301にお
いて選定した画素スケール範囲の内、まだ解析していな
い画素スケールがあれば、その画素スケールについて以
上の処理を繰り返す。回帰直線計算部305では、メモ
リ303に保存された画素スケールとボックスカウント
数の組のデータそれぞれについてlog(対数)を取
り、グラフに表し、最小二乗法を用いて回帰直線(近似
直線)を求める。この画素スケールとボックスカウント
数の組のデータ及び回帰直線は、グラフ表示部106に
表示される。特徴量データ算出部306では、回帰直線
計算部305で計算された近似直線の傾きと、近似直線
のy切片、つまり解析画素スケールのうち最も小さい画
素スケールにおけるボックスカウント数から、汚損量を
数値化して出力する。この数値化方法としては、例えば
近似直線の傾きとy切片の値の和や積、商、差分などが
考えられる。
FIG. 3 is a detailed block diagram of the feature quantity extraction unit 105. In the scale selection unit 301, the image memory 10
A plurality of pixel scale ranges to be analyzed are selected based on the size of the image data stored in 4. For example, when the size of the image data is 100 pixels in the vertical direction and 100 pixels in the horizontal direction, the range of the analysis pixel scale is increased from 10 pixels, which is 1/10 of the image size, to 11 pixels, 12 pixels, and 1 pixel, respectively. Determine up to 20 pixels. When the size of the image is known in advance, the analysis pixel scale range may be fixed. The box count unit 302 uses one pixel scale of the analysis pixel scale range selected by the scale selection unit 301 to convert the image data stored in the image memory 104 into a small area of the size of this pixel scale. To divide. Then, the difference between the maximum density value and the minimum density value of the image data is obtained in each small area, the difference is divided by the value of the pixel scale, and 1 is added. This value is used as the box count number in the small area. FIG. 4 is a diagram showing this box count processing. That is, in a small area of a certain pixel scale r (401), the maximum density value I1
(402) and the minimum density value I3 (404) are obtained, and one obtained by adding 1 to the number of blocks of size r which can be entered between them is defined as the box count number. When the box counts are obtained for all the small areas, the box counts for all the small areas are added, and this value is defined as the box count on the pixel scale used previously. Then, the pixel scale and the box count number are paired and stored in the memory 303. If there is a pixel scale that has not been analyzed yet in the pixel scale range selected by the scale selection unit 301, the loop end determination unit 304 repeats the above processing for that pixel scale. The regression line calculation unit 305 takes a log (logarithm) for each data of the set of pixel scale and box count number stored in the memory 303, represents it on a graph, and obtains a regression line (approximation line) using the least squares method. . The data of the set of pixel scale and box count and the regression line are displayed on the graph display unit 106. In the feature amount data calculation unit 306, the stain amount is digitized from the slope of the approximate straight line calculated by the regression straight line calculation unit 305 and the y intercept of the approximate straight line, that is, the box count number in the smallest pixel scale of the analysis pixel scales. Output. As a method of digitizing this, for example, the sum, product, quotient, or difference of the slope of the approximate straight line and the value of the y intercept can be considered.

【0013】最小二乗法による回帰直線は、以下のよう
にして求めることができる。例として図8に示したデー
タ1(x1 、y1 )(802)、データ2(x2 、y2
)(803)、データ3(x3 、y3 )(804)及
びデータ4(x4 、y4 )(805)から回帰直線(8
01)を求める方法を具体的に示す。まず、回帰直線
(801)をy=ax+bと仮定し、aとbは未知数と
する。最小二乗法とは、各データと直線y=ax+bと
の鉛直方向のずれの二乗の和を最小にするようなa及び
bを求めることである。各データと直線との鉛直方向の
ずれの二乗和を求めると、
The regression line by the method of least squares can be obtained as follows. As an example, data 1 (x1, y1) (802) and data 2 (x2, y2) shown in FIG.
) (803), data 3 (x3, y3) (804) and data 4 (x4, y4) (805), the regression line (8
01) is specifically shown. First, the regression line (801) is assumed to be y = ax + b, and a and b are unknowns. The least squares method is to obtain a and b that minimize the sum of squares of vertical deviations between each data and the straight line y = ax + b. When the sum of squares of the vertical deviation between each data and the straight line is calculated,

【0014】[0014]

【数1】 となる。これから、Qをa及びbで変微分しそれを0と
すると、
[Equation 1] Becomes From now on, if Q is differentiated with a and b and it is 0,

【0015】[0015]

【数2】 となり、未知数a及びbが求められる。[Equation 2] And unknowns a and b are obtained.

【0016】以上が印刷物の汚損度判別装置の構成の説
明であるが、ここで実際に、図9のようなある汚損印刷
物の画像データの一部をもとに、汚損度の判別される様
子を示す。ここでは、図9のような画像に対して、解析
する画素スケールを2画素から4画素とした。先ず、画
素スケール2画素について、ボックスカウント数を求め
てみる。図10のように画像を2×2の大きさの小領域
に分割し、各小領域について、ボックスカウント数を求
める。例えば小領域1001では、最大濃度値が6、最
小濃度値が1であるから、その差は5となり、画素スケ
ール2で割ると2、そして1を加えて3となる。小領域
1002では、同様に最大濃度値が9、最小濃度値が
4、その差が5、画素スケール2で割ると2、そして1
を加えて3となる。各小領域におけるブロックカウント
数を、図10の各小領域の中央に丸印で囲んで示す。そ
して、画素スケール2におけるブロックカウント数は、
これら小領域のブロックカウント数を全て加え、60と
なる。続いて画素スケール3画素、4画素についても同
様にボックスカウント数を求め、図11、図12より、
それぞれ12、12となる。次に、これら画素スケール
とボックスカウント数それぞれについてlogをとる
と、(画素スケール、ボックスカウント数)の組がそれ
ぞれ(0.3, 1.78 )、(0.48, 1.08)、(0.6, 1.08 )
となる。これらデータの組をグラフ上にプロットする
と、図13のようになる。図13上のプロット点から、
最小二乗法により回帰直線を求める。式(6)及び
(7)にそれぞれ値を代入すると、回帰直線として、
The above is the description of the structure of the stain degree determination device for printed matter. Here, the stain degree is actually determined based on a part of image data of a certain stained print matter as shown in FIG. Indicates. Here, the pixel scale to be analyzed for the image as shown in FIG. 9 is set from 2 pixels to 4 pixels. First, the box count number is calculated for two pixels on the pixel scale. As shown in FIG. 10, the image is divided into 2 × 2 small regions, and the box count number is obtained for each small region. For example, in the small area 1001, since the maximum density value is 6 and the minimum density value is 1, the difference is 5, which is 2 when divided by the pixel scale 2 and 3 when 1 is added. Similarly, in the small area 1002, the maximum density value is 9, the minimum density value is 4, the difference is 5, and when divided by the pixel scale 2, it is 2 and 1
Is added to give a total of 3. The block count number in each small area is shown in a circle in the center of each small area in FIG. Then, the block count number in the pixel scale 2 is
The sum of the block counts of these small areas is 60, which is 60. Subsequently, the box counts are similarly obtained for the pixel scales of 3 pixels and 4 pixels, and from FIG. 11 and FIG.
12 and 12, respectively. Next, if the log is taken for each of these pixel scale and box count, the set of (pixel scale, box count) is (0.3, 1.78), (0.48, 1.08), (0.6, 1.08)
Becomes When these data sets are plotted on a graph, it becomes as shown in FIG. From the plot points on Fig. 13,
The regression line is obtained by the least squares method. Substituting values into equations (6) and (7), respectively, we obtain a regression line,

【0017】[0017]

【数3】 y= -2.46x + 6.67 (8) が得られる。ここで、データと回帰直線の適合の度合
を、オペレータが介在しない場合について説明する。そ
の場合、データと近似直線の誤差を求めればよいのであ
るから、データと近似直線の鉛直方向についての誤差の
合計を求め、この場合は、
(3) y = -2.46x + 6.67 (8) is obtained. Here, the degree of matching between the data and the regression line will be described when the operator does not intervene. In that case, the error between the data and the approximate straight line needs to be calculated, so the total error in the vertical direction between the data and the approximate straight line is calculated.

【0018】[0018]

【数4】 誤差ε=(-2.46 ×0.3+6.67-1.78) + (-2.46 ×0.48+6.67-1.08) + (-2.46 ×0.6+6.67-1.08) =12.7 (9)[Equation 4] Error ε = (-2.46 × 0.3 + 6.67-1.78) + (-2.46 × 0.48 + 6.67-1.08) + (-2.46 × 0.6 + 6.67-1.08) = 12.7 (9)

【0019】となる。この値は、予め決められた不適合
度の閾値、例えば20より小さいため、オペレータ判断
入力部108は“可”となる。そして判別部107にお
いて、特徴量抽出部105で数値化された汚損量、つま
り近似直線の傾きの絶対値である2.46と、解析画素スケ
ールのうち最も小さい画素スケールである2画素におけ
るボックスカウント数60のlogをとった1.78を用い
て、汚損の度合を判別する。あるいは、図13における
近似直線のy切片の6.67を用いて汚損の度合を判別す
る。ここでは前者を用いて、例えばそれらの値の積を求
め、汚損量を4.4 とした。この値は、予め決められた汚
損判別段階の“汚損なし”の区分に入り、ここで解析し
た画像は、汚損なしと判別されることになる。
It becomes Since this value is smaller than a predetermined threshold value of the degree of nonconformity, for example, 20, the operator determination input unit 108 is “OK”. Then, in the discriminating unit 107, the contamination amount quantified by the characteristic amount extracting unit 105, that is, 2.46 which is the absolute value of the slope of the approximate straight line, and the box count number 60 in 2 pixels which is the smallest pixel scale among the analysis pixel scales are 60. The degree of fouling is determined using 1.78 obtained by taking the log of. Alternatively, the degree of contamination is determined by using 6.67 of the y-intercept of the approximate straight line in FIG. Here, using the former, for example, the product of those values was obtained, and the pollution amount was set to 4.4. This value falls into the “no stain” section of the predetermined stain determination step, and the image analyzed here is determined to have no stain.

【0020】特徴量抽出部105は、図5のような処理
とすることもできる。スケール選定部501では、画像
メモリ104に格納されている画像データの大きさをも
とに、解析する画素スケールの範囲を選定する。前述の
ように画像データの大きさが縦100画素、横100画
素の場合には、解析画素スケールの範囲を、画像の大き
さの10分の1の10画素から、それより10画素大き
い20画素までにするといった具合である。予め画像の
大きさがわかっている場合には、解析画素スケール範囲
を固定してもよい。2値化処理部502では、画像メモ
リ104に格納されている画像データを、ある閾値、例
えば画像量子化値(最大値)の半分の値で2値化し、2
値化処理部502内の画像メモリ508に格納する。ボ
ックスカウント部503では、スケール選定部501で
選定した解析画素スケール範囲のうちの一つの画素スケ
ールを用いて、2値化処理部502内の画像メモリ50
8に格納されている2値画像データを、この画素スケー
ルの大きさの小領域に分割する。そして、各小領域内に
おいて1の画素があれば、その小領域は1、なければ0
とする。図6はこのボックスカウント処理を示す。つま
り、2値画像601が検査対象であり、ある画素スケー
ルr(603)の小領域において1の画素があれば(6
02)、その小領域は1とし、なければ(604)0と
するのである。図6では1の画素のある小領域を斜線で
示した。全ての小領域についての判定が終わったら、こ
れら小領域の中で、1となった小領域の数を数え、この
値を、先に用いた画素スケールにおけるボックスカウン
ト数とする。そして、画素スケールとボックスカウント
数を組にしてメモリ504に格納する。ループ終了判定
部505では、スケール選定部501において選定した
画素スケール範囲のうち、まだ解析していない画素スケ
ールがあれば、その画素スケールについて以上の処理を
繰り返す。回帰直線計算部506では、メモリ504に
保存された画素スケールとボックスカウント数の組のデ
ータそれぞれについてlogを取り、グラフに表し、最
小二乗法によって回帰直線(近似直線)を求める。この
画素スケールとボックスカウント数の組のデータ及び近
似直線は、グラフ表示部106に表示される。特徴量デ
ータ算出部507では、回帰直線計算部506で計算さ
れた近似直線の傾きと、近似直線のy切片、つまり解析
画素スケールのうち最も小さい画素スケールのボックス
カウント数から、汚損量を数値化して出力する。この数
値化方法としては、例えば近似直線の傾きとy切片の値
の和や積、商、差分などが考えられる。
The feature quantity extraction unit 105 can also perform processing as shown in FIG. The scale selection unit 501 selects a range of pixel scales to be analyzed based on the size of the image data stored in the image memory 104. As described above, when the size of the image data is 100 pixels in the vertical direction and 100 pixels in the horizontal direction, the range of the analysis pixel scale is from 10 pixels which is one tenth of the size of the image to 20 pixels which is 10 pixels larger than that. It's just like that. When the size of the image is known in advance, the analysis pixel scale range may be fixed. The binarization processing unit 502 binarizes the image data stored in the image memory 104 with a threshold value, for example, half the image quantization value (maximum value).
The image is stored in the image memory 508 in the digitization processing unit 502. The box counting unit 503 uses one pixel scale in the analysis pixel scale range selected by the scale selecting unit 501 to use the image memory 50 in the binarization processing unit 502.
The binary image data stored in 8 is divided into small areas of the size of this pixel scale. Then, if there is 1 pixel in each small area, the small area is 1, otherwise 0.
And FIG. 6 shows this box counting process. That is, if the binary image 601 is an inspection target and there is 1 pixel in a small area of a certain pixel scale r (603), (6
02), the small area is set to 1 and (604) 0 if not. In FIG. 6, a small area having one pixel is indicated by diagonal lines. When the determination has been completed for all the small areas, the number of small areas that have become 1 among these small areas is counted, and this value is set as the box count number in the previously used pixel scale. Then, the pixel scale and the box count are paired and stored in the memory 504. In the loop end determination unit 505, if there is a pixel scale that has not been analyzed yet in the pixel scale range selected by the scale selection unit 501, the above processing is repeated for that pixel scale. The regression line calculation unit 506 obtains a log for each set of pixel scale and box count number data stored in the memory 504, represents the log on a graph, and obtains a regression line (approximate straight line) by the least-squares method. The data of the set of the pixel scale and the box count and the approximate straight line are displayed on the graph display unit 106. In the feature amount data calculation unit 507, the stain amount is digitized from the slope of the approximate straight line calculated by the regression straight line calculation unit 506 and the y intercept of the approximate straight line, that is, the box count of the smallest pixel scale of the analysis pixel scales. Output. As a method of digitizing this, for example, the sum, product, quotient, or difference of the slope of the approximate straight line and the value of the y intercept can be considered.

【0021】ここで、図5の処理に基づいた汚損度判別
について具体的に示す。図9のような汚損印刷物の画像
データの一部があると仮定する。まず解析する画素スケ
ールを選択する(501)が、ここでは2画素から4画
素とした。そして2値化処理を施す。ここでは2値化閾
値を8とし、8レベル以上の画素を1とした。このよう
にして2値化した画像を図14に示す。図14では、斜
線の引かれた画素が1を表すものとする。先ず、画素ス
ケール2画素について、ボックスカウント数を求めてみ
る。図15のように画像を2×2の大きさの小領域に分
割し、各小領域について、1の画素を検索する。例えば
小領域1501では1の画素が存在しないので、小領域
1501は0となる。小領域1502では1の画素が存
在するので、小領域1502は1となる。各小領域にお
ける判定を、図15の各小領域の中央に丸印で囲んで示
す。そして、画素スケール2におけるブロックカウント
数は、全ての小領域中で1となった小領域の数であるか
ら、この場合11となる。続いて画素スケール3画素、
4画素についても同様にボックスカウント数を求め、図
16、図17より、それぞれ4、4となる。次に、これ
ら画素スケールとボックスカウント数それぞれについて
logをとると、(画素スケール、ボックスカウント
数)の組がそれぞれ(0.3, 1.04 )、(0.48, 0.6 )、
(0.6, 0.6)となる。これらデータの組をグラフ上にプ
ロットすると、図18のようになる。図18上の各プロ
ット点から、最小二乗法により回帰直線を求める。式
(6)及び(7)にそれぞれ値を代入すると、回帰直線
として、
Here, the stain degree determination based on the process of FIG. 5 will be specifically described. It is assumed that there is a part of the image data of the dirty printed matter as shown in FIG. First, the pixel scale to be analyzed is selected (501), but here, it is set to 2 to 4 pixels. Then, binarization processing is performed. Here, the binarization threshold value is set to 8 and the pixels of 8 levels or higher are set to 1. An image binarized in this way is shown in FIG. In FIG. 14, it is assumed that the shaded pixels represent 1. First, the box count number is calculated for two pixels on the pixel scale. As shown in FIG. 15, the image is divided into small areas of 2 × 2, and one pixel is searched for in each small area. For example, since 1 pixel does not exist in the small area 1501, the small area 1501 becomes 0. Since one pixel exists in the small area 1502, the small area 1502 has one pixel. The judgment in each small area is shown in the center of each small area in FIG. Then, the block count number in the pixel scale 2 is 11 in this case because it is the number of the small areas which becomes 1 in all the small areas. Then 3 pixel scale,
The box counts are similarly obtained for the four pixels, and are 4 and 4 from FIGS. 16 and 17, respectively. Next, if the log is taken for each of these pixel scale and box count number, the set of (pixel scale, box count number) is (0.3, 1.04), (0.48, 0.6),
It becomes (0.6, 0.6). When these data sets are plotted on a graph, it becomes as shown in FIG. A regression line is obtained from each plot point on FIG. 18 by the method of least squares. Substituting values into equations (6) and (7), respectively, we obtain a regression line,

【0022】[0022]

【数5】 y=-2.16x +2.04 (10) が得られる。ここで、データと回帰直線の適合の度合
を、オペレータが介在しない場合について説明する。そ
の場合、データと近似直線の誤差を求めればよいのであ
るから、データと近似直線の鉛直方向についての誤差の
合計を求め、この場合は約0.9 となる。この値は、予め
決められた不適合度の閾値、例えば10より小さいた
め、オペレータ判断入力部108は“可”となる。そし
て判別部107において、特徴量抽出部105で数値化
された汚損量、つまり近似直線の傾きの絶対値である2.
16と、解析画素スケールのうち最も小さい画素スケール
である2画素におけるボックスカウント数11のlog
をとった1.04を用いて、汚損の度合を判別する。あるい
は、図18の近似直線のy切片の2.04を用いて汚損の度
合を判別する。ここでは前者の値の積を求め、汚損量を
2.2 とした。この値は、予め決められた汚損判別段階の
“汚損なし”の区分に入り、ここで解析した画像は、汚
損なしと判別されることになる。
## EQU00005 ## y = -2.16x + 2.04 (10) is obtained. Here, the degree of matching between the data and the regression line will be described when the operator does not intervene. In that case, the error between the data and the approximate straight line needs to be calculated. Therefore, the total error in the vertical direction between the data and the approximate straight line is calculated, which in this case is about 0.9. Since this value is smaller than a predetermined threshold value of the incompatibility, for example, 10, the operator determination input unit 108 is “OK”. Then, in the discriminating unit 107, it is the amount of pollution quantified by the characteristic amount extracting unit 105, that is, the absolute value of the slope of the approximate line 2.
16 and the log of the box count number 11 for 2 pixels, which is the smallest pixel scale of the analysis pixel scale
The degree of contamination is determined by using 1.04 obtained. Alternatively, the degree of contamination is determined by using the y intercept of 2.04 of the approximate straight line in FIG. Here, the product of the former values is calculated to determine the amount of pollution.
It was set to 2.2. This value falls into the “no stain” section of the predetermined stain determination step, and the image analyzed here is determined to have no stain.

【0023】特徴量抽出部105は、図19のような処
理とすることもできる。2値化処理部1901では、画
像メモリ104に格納されている画像データを、ある閾
値、例えば画像量子化値の半分の値で2値化し、2値化
処理部1901内の画像メモリ1905に格納する。周
囲長計測部1902では、2値化処理部1901内の画
像メモリ1905に格納された2値画像について、周囲
長を計測する。面積計測部1903では、2値化処理部
1901内の画像メモリ1905に格納された2値画像
について、面積を求める。特徴量データ算出部1904
では、周囲長計測部1902及び面積計測部1903で
算出された数値をもとに、汚損量を数値化して出力す
る。この数値化方法としては、例えば周囲長を二乗して
面積で割った値や、それぞれの値の和や積、商、差分な
どが考えられる。
The feature quantity extraction unit 105 can also perform processing as shown in FIG. The binarization processing unit 1901 binarizes the image data stored in the image memory 104 with a threshold value, for example, half the image quantization value, and stores it in the image memory 1905 in the binarization processing unit 1901. To do. The perimeter measurement unit 1902 measures the perimeter of the binary image stored in the image memory 1905 in the binarization processing unit 1901. The area measuring unit 1903 obtains the area of the binary image stored in the image memory 1905 in the binarization processing unit 1901. Feature amount data calculation unit 1904
Then, based on the numerical values calculated by the perimeter measuring unit 1902 and the area measuring unit 1903, the pollution amount is digitized and output. As a method of digitizing this, for example, a value obtained by squaring the perimeter and dividing by the area, a sum, a product, a quotient, or a difference of each value can be considered.

【0024】ここで、図19の処理に基づいた汚損度判
別について具体的に示す。前述のように図9のような汚
損印刷物の画像データの一部があるとする。まず2値化
処理を施す。ここでは2値化閾値を8とし、8レベル以
上の画素を1とした。このようにして2値化した画像を
図14に示す。図14では、斜線の引かれた画素が1を
表すものとする。次に、図14において斜線の引かれた
画素の周囲長と面積を求める。図14を2値で書き改め
ると、図20のようになるが、画素2001の1の画素
についての周囲長はこの場合4となり、面積は1であ
る。画素2002は、画素2003と隣接しており、こ
の2つの画素を合わせた周囲長は6、面積は2となる。
このようにして、図20についての各周囲長と各面積の
合計を求めると、それぞれ50、14となる。続いて、
周囲長と面積から、汚損度を数値化する。ここでは、周
囲長を二乗して面積で割る方法を用い、更に補正パラメ
ータ0.1 を加味すると、汚損量が17.9となる。この値
は、予め決められた汚損判別段階の“汚損なし”の区分
に入り、ここで解析した画像は、汚損なしと判別される
ことになる。
Here, the stain degree determination based on the processing of FIG. 19 will be specifically described. As described above, it is assumed that there is a part of the image data of the dirty printed matter as shown in FIG. First, binarization processing is performed. Here, the binarization threshold value is set to 8 and the pixels of 8 levels or higher are set to 1. An image binarized in this way is shown in FIG. In FIG. 14, it is assumed that the shaded pixels represent 1. Next, in FIG. 14, the perimeter and area of the pixel with diagonal lines are obtained. When FIG. 14 is rewritten with binary values, it becomes as shown in FIG. 20, but the perimeter of one pixel of the pixels 2001 is 4 in this case, and the area is 1. The pixel 2002 is adjacent to the pixel 2003, and the total length of these two pixels is 6, and the area is 2.
In this way, the total of the perimeters and the areas of FIG. 20 is calculated to be 50 and 14, respectively. continue,
Quantify the degree of pollution from the perimeter and area. Here, the method of dividing the perimeter by squaring and dividing it by the area is used, and if the correction parameter 0.1 is further added, the pollution amount becomes 17.9. This value falls into the “no stain” section of the predetermined stain determination step, and the image analyzed here is determined to have no stain.

【0025】以上の説明は、汚損の判別を行う印刷物に
ついて、全面を一度に解析する方法について説明した
が、汚損を判別する印刷物の特定領域のみについて行う
ことも可能である。この場合、予め汚損を判別する領域
を指定しておいたり、オペレータが印刷物を見て、汚損
を判別する領域を指定することなどにより行うことがで
きる。又、図21のように印刷物を小領域に分割し、各
小領域毎に汚損度判別処理を行い、全ての小領域につい
て汚損度が判別されたら、最終的にその印刷物の汚損度
を求めることもできる。この場合の処理ブロックとして
は、図1の画像メモリ104に画像分割部110を設
け、入力された画像を、例えば9つの小領域に分割す
る。そして各小領域について特徴量を抽出して汚損度の
判別を行い、画像統合部111により、画像の各小領域
と汚損度との対応をとる。そして全体汚損判別部112
により、入力された印刷物全体の汚損度を、部分汚損判
別部113により、部分的な汚損度や汚損の多い領域を
求め、結果をそれぞれ出力する。具体的に説明すると、
図21のように印刷物を例えば9つの小領域に分割す
る。そして各小領域についてそれぞれ汚損度を求め、同
図のように求められたと仮定する。図21では、印刷物
の中央部(2105)は汚損がないが、右端(210
3、2106、2109)は汚損が多くなっている。そ
して全体汚損判別結果としては、例えば汚損なしを0、
やや汚損を5、汚損ぎみを10、汚損を15というよう
に数値化して、9つの小領域の平均をとることによっ
て、この印刷物は例えば“やや汚損”という判別結果を
出力する。あるいは部分汚損判別結果として“汚損ぎ
み”あるいは“汚損”という判定結果が得られた小領域
の位置を出力する。更に、ここでは各小領域について汚
損度の判別を行った後に、最終的な印刷物の汚損を判別
しているが、各小領域について、汚損の判別をせずに汚
損量として数値で表しておき、最終的な判断の際に、各
小領域の汚損量の和や積、商、差分などの値を用いるこ
とも可能である。この方法により、印刷物全体だけでな
く、印刷物の中で汚損している領域を抽出することも可
能となる。
In the above description, the method of analyzing the entire surface of the printed matter for which the stain is to be judged at once is explained, but it is also possible to perform only for the specific area of the printed matter for which the stain is judged. In this case, this can be done by designating an area for determining stain in advance, or by allowing an operator to look at the printed matter and designate an area for determining stain. Further, as shown in FIG. 21, the printed matter is divided into small areas, the stain degree determination processing is performed for each small area, and when the stain degree is determined for all the small areas, the stain degree of the printed matter is finally obtained. You can also As a processing block in this case, the image dividing unit 110 is provided in the image memory 104 of FIG. 1, and the input image is divided into, for example, nine small areas. Then, the feature amount is extracted for each small area to determine the stain degree, and the image integrating unit 111 associates each small area of the image with the stain degree. Then, the overall stain determination unit 112
Thus, the stain degree of the entire printed matter that has been input is obtained by the partial stain determining section 113 to obtain a partial stain degree and a region with a large stain degree, and the respective results are output. Specifically,
As shown in FIG. 21, the printed matter is divided into, for example, nine small areas. Then, it is assumed that the contamination degree is obtained for each small area and that the contamination degree is obtained as shown in FIG. In FIG. 21, the central portion (2105) of the printed matter is not stained, but the right end (210
(3, 2106, 2109) is more polluted. Then, as the result of the overall stain determination, for example, no stain is 0,
By quantifying the stains to 5, stain stains to 10, stains to 15, and taking the average of the nine small areas, this printed matter outputs a determination result of "slightly stain", for example. Alternatively, the position of the small area for which the determination result of "stainlessness" or "contamination" is obtained as the partial stain determination result is output. Furthermore, here, after the stain degree is determined for each small area, the final stain on the printed matter is determined. However, for each small area, the stain amount is not numerically expressed and is expressed numerically as a stain amount. It is also possible to use values such as the sum, product, quotient, and difference of the stain amounts of the respective small areas in the final judgment. By this method, it is possible to extract not only the entire printed matter but also the soiled area in the printed matter.

【0026】最後に、模様を含む印刷物の汚損度の判別
について説明する。この場合の処理ブロックとしては、
図1に基準データ比較部109を付加することで実現で
きる。まず、予め汚損のない模様を含む印刷物につい
て、以上で説明した汚損量を算出しておき、基準データ
比較部109内に基準辞書データ114として保存して
おく。そして、模様を含む印刷物の汚損度を判別する場
合には、特徴量抽出部105において算出された印刷物
の汚損量と、基準辞書データ114に保存されているデ
ータとの差分を基準データ比較部109において求め、
この結果を模様を含む印刷物の汚損量とする。以降は、
この汚損量から汚損度の判別を行う。
Finally, the determination of the stain degree of the printed matter including the pattern will be described. As the processing block in this case,
This can be realized by adding the reference data comparison unit 109 to FIG. First, the amount of stains described above is calculated in advance for a printed matter including a pattern without stains, and is stored as reference dictionary data 114 in the reference data comparison unit 109. Then, when determining the stain degree of the printed matter including the pattern, the difference between the stain amount of the printed matter calculated by the feature amount extraction section 105 and the data stored in the reference dictionary data 114 is used as the reference data comparison section 109. Asked in
The result is the stain amount of the printed matter including the pattern. Later,
The degree of pollution is determined from this amount of pollution.

【0027】[0027]

【発明の効果】従って本発明によれば、汚損の度合を定
量的に表した少数の特徴量で印刷物の汚損を表現できる
ため、汚損の判別が容易となる。尚、従来法の微分処理
等による汚損度判別との違いは、従来の微分や2値化処
理による画素数計測、分散の計測などでは、その2値画
像が、単純な直線で構成されているか、あるいは複雑な
線で構成されているかに係わらず、計測される画素数が
同じであれば、それら2つの2値画像は同一の汚損度と
して判別されてしまうことである。それに対し本発明で
は、2値画像の複雑さを求めることにより、どの程度し
わが多いとか、折り目が多いなど、画素数計測のみでは
得られない複雑の度合を捉えることができる。
As described above, according to the present invention, since the stain of a printed matter can be expressed by a small number of characteristic quantities quantitatively representing the degree of stain, the stain can be easily discriminated. Note that the difference from the stain degree determination by the conventional differential processing or the like is that the binary image is composed of a simple straight line in the conventional pixel number measurement, the variance measurement, etc. , Or if they are composed of complicated lines, if the number of pixels to be measured is the same, those two binary images will be determined as the same stain degree. On the other hand, in the present invention, by obtaining the complexity of the binary image, it is possible to capture a degree of complexity such as how many wrinkles or creases are not obtained only by measuring the number of pixels.

【0028】又、本発明によれば、印刷物全面を小領域
に分け、各小領域について汚損度を求め、最終的にその
印刷物の汚損度を求めているため、印刷物の全体的な汚
損を求めることができ、更に汚損している領域の特定も
可能である。更に本発明によれば、印刷模様の存在する
部分についても汚損度判別が可能である。
Further, according to the present invention, the entire surface of the printed matter is divided into small areas, the stain degree is obtained for each small area, and the stain degree of the printed matter is finally obtained. Therefore, the overall stain of the printed matter is obtained. It is also possible to specify the area that is contaminated. Furthermore, according to the present invention, it is possible to determine the degree of stain on a portion where a printed pattern exists.

【図面の簡単な説明】[Brief description of drawings]

【図1】図1は本発明の一実施例に係る印刷物の汚損度
判別装置の構成を示すブロック図。
FIG. 1 is a block diagram showing a configuration of a stain degree determination device for printed matter according to an embodiment of the present invention.

【図2】図2は従来の汚損度判別装置の概略構成図。FIG. 2 is a schematic configuration diagram of a conventional pollution degree determination device.

【図3】図3は図1の特徴量抽出部の第1詳細ブロック
図。
FIG. 3 is a first detailed block diagram of a feature quantity extraction unit in FIG.

【図4】図4は本発明によるボックスカウント処理を説
明するための図。
FIG. 4 is a diagram for explaining box count processing according to the present invention.

【図5】図5は図1の特徴量抽出部の第2詳細ブロック
図。
5 is a second detailed block diagram of the feature amount extraction unit of FIG. 1. FIG.

【図6】図6は本発明によるボックスカウント処理を説
明するための図。
FIG. 6 is a diagram for explaining box count processing according to the present invention.

【図7】図7は近似直線の適合度を説明するための図。FIG. 7 is a diagram for explaining the fitness of an approximate straight line.

【図8】図8は近似直線の求め方を説明するための図。FIG. 8 is a diagram for explaining how to obtain an approximate straight line.

【図9】図9は汚損印刷物画像データの一部分を示す
図。
FIG. 9 is a diagram showing a part of the dirty printed matter image data.

【図10】図10は画素スケールが2画素の場合のボッ
クスカウント数を示す図。
FIG. 10 is a diagram showing a box count number when the pixel scale is 2 pixels.

【図11】図11は画素スケールが3画素の場合のボッ
クスカウント数を示す図。
FIG. 11 is a diagram showing a box count number when the pixel scale is 3 pixels.

【図12】図12は画素スケールが4画素の場合のボッ
クスカウント数を示す図。
FIG. 12 is a diagram showing a box count number when the pixel scale is 4 pixels.

【図13】図13は画素スケールとボックスカウント数
を関係を示す図。
FIG. 13 is a diagram showing a relationship between a pixel scale and a box count number.

【図14】図14は汚損印刷物の2値化画像データを示
す図。
FIG. 14 is a diagram showing binarized image data of a dirty printed matter.

【図15】図15は画素スケールが2画素の場合のボッ
クスカウント数を示す図。
FIG. 15 is a diagram showing a box count number when the pixel scale is 2 pixels.

【図16】図16は画素スケールが3画素の場合のボッ
クスカウント数を示す図。
FIG. 16 is a diagram showing a box count number when the pixel scale is 3 pixels.

【図17】図17は画素スケールが4画素の場合のボッ
クスカウント数を示す図。
FIG. 17 is a diagram showing a box count number when the pixel scale is 4 pixels.

【図18】図18は画素スケールとボックスカウント数
の関係を示す図。
FIG. 18 is a diagram showing a relationship between a pixel scale and a box count number.

【図19】図19は図1の特徴量抽出部の第3詳細ブロ
ック図。
FIG. 19 is a third detailed block diagram of the feature amount extraction unit of FIG. 1.

【図20】図20は2値画像内の各画像の周囲長と面積
を算出を説明するための図。
FIG. 20 is a diagram for explaining calculation of a perimeter and an area of each image in a binary image.

【図21】図21は印刷物画像の小量域毎の汚損判別を
説明するための図。
FIG. 21 is a diagram for explaining stain determination for each small amount area of a printed matter image.

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G07D 7/00 E ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI technical display location G07D 7/00 E

Claims (12)

【特許請求の範囲】[Claims] 【請求項1】 印刷物の汚損を判別する装置において、 前記印刷物の画像データを入力する手段と、 前記入力手段により入力される画像データから汚損の特
徴を示す汚損特徴量を計算する手段と、 前記計算手段から入力される前記汚損特徴量に基づい
て、前記汚損の度合いを判別する手段と、を具備するこ
とを特徴とする印刷物汚損度判別装置。
1. An apparatus for determining stains on a printed matter, means for inputting image data of the printed matter, means for calculating a stain characteristic amount indicating a stain characteristic from the image data input by the input means, And a means for discriminating the degree of the stain based on the stain characteristic amount inputted from the calculating means.
【請求項2】 前記汚損特徴量計算手段は、 入力された前記画像の大きさに応じて、解析する複数の
画素スケールを選定する手段と、 前記各画素スケールに基づいて前記画像を複数の小領域
に分割する手段と、 前記各小領域内の画素の最大濃度値と最小濃度値の差、
及び前記画素スケールを用いて演算し演算結果を提供す
る手段と、 前記各小領域について求められた前記演算結果を合計し
て合計結果を提供する手段と、 前記画素スケールと前記合計結果の対で各々表されるデ
ータに基づいてグラフを求める手段と、 前記グラフから近似直線を求める手段と、 前記近似直線のy切片及び傾きを求める手段と、 前記y切片及び傾きから前記汚損特徴量を算出する手段
とを有し、 前記度合い判別手段は、 予め求められている汚損特徴量と汚損の度合いとを関連
づけたテーブルを参照して、前記汚損特徴量から前記汚
損の度合いを求める手段とを有することを特徴とする請
求項1記載の印刷物汚損度判別装置。
2. The stain feature amount calculation means selects a plurality of pixel scales to be analyzed according to the size of the input image, and a plurality of small scales of the image based on the pixel scales. Means for dividing into areas, a difference between the maximum density value and the minimum density value of the pixels in each of the small areas,
And means for performing an operation using the pixel scale to provide an operation result, means for providing the total result by summing the operation results obtained for each of the small areas, and a pair of the pixel scale and the total result. Means for obtaining a graph based on the data represented respectively, means for obtaining an approximate straight line from the graph, means for obtaining a y-intercept and slope of the approximate straight line, and calculating the stain feature amount from the y-intercept and slope. And a means for determining the degree of contamination from the contamination characteristic amount with reference to a table that associates the contamination characteristic amount and the degree of contamination obtained in advance. The printed matter stain degree determination device according to claim 1, wherein
【請求項3】 前記汚損特徴量計算手段は、 入力された前記画像を2値化する手段と、 前記画像の大きさに応じて、解析する複数の画素スケー
ルを選定する手段と、 前記各画素スケールに基づいて前記画像を複数の小領域
に分割する手段と、 前記複数の小領域の中で、前記特定2値化データを有す
る小領域の数を示す特定小量域数を求める手段と、 前記各画素スケールと前記特定小領域数の対で各々表さ
れるデータに基づいてグラフを求める手段と、 前記グラフから近似直線を求める手段と、 前記近似直線のy切片及び傾きを求める手段と、 前記y切片及び傾きから前記汚損特徴量を求める手段と
を有し、 前記度合い判別手段は、 予め求められている汚損特徴量と汚損の度合いとを関連
づけたテーブルを参照して、前記汚損特徴量から前記汚
損の度合いを求める手段とを有することを特徴とする請
求項1記載の印刷物汚損度判別装置。
3. The stain feature amount calculation means, means for binarizing the input image, means for selecting a plurality of pixel scales to be analyzed according to the size of the image, and each pixel A unit that divides the image into a plurality of small regions based on a scale; a unit that determines a specific small area number that indicates the number of small regions having the specific binarized data in the plurality of small regions; A means for obtaining a graph based on data represented by each pair of the pixel scale and the number of the specific small areas; a means for obtaining an approximate straight line from the graph; a means for obtaining a y-intercept and a slope of the approximate straight line; Means for obtaining the pollution characteristic amount from the y-intercept and inclination, and the degree discriminating means refers to a table that correlates the previously obtained contamination characteristic amount and the degree of pollution, and refers to the contamination characteristic amount. From Prints defacement degree determination apparatus according to claim 1, characterized in that it comprises a means for obtaining a degree of serial fouling.
【請求項4】 前記汚損特徴量計算手段は、 入力された前記画像を2値化して2値化画像を提供する
手段と、 前記2値化画像内の特定2値化データを有する画素の周
囲長を求める手段と、 前記2値化画像内の特定2値化データを有する画素の面
積を求める手段と、 前記周囲長と前記面積から前記汚損特徴量を算出する手
段とを有し、 前記度合い判別手段は、 予め求められている汚損特徴量と汚損の度合いとを関連
づけたテーブルを参照して、前記汚損特徴量から前記汚
損の度合いを求める手段とを有することを特徴とする請
求項1記載の印刷物汚損度判別装置。
4. The stain feature amount calculation means, means for binarizing the input image to provide a binarized image, and a periphery of a pixel having specific binarized data in the binarized image. A unit for determining a length, a unit for determining an area of a pixel having specific binarized data in the binarized image, and a unit for calculating the stain feature amount from the perimeter and the area, 2. The determination means includes means for obtaining the degree of the pollution from the pollution characteristic amount by referring to a table in which the pollution characteristic amount and the degree of the pollution obtained in advance are associated with each other. Deterioration degree determination device for printed matter.
【請求項5】 印刷物の汚損を判別する装置において、 前記印刷物の画像データを入力する手段と、 前記入力手段により入力された前記画像データを複数の
小領域に分割する手段と、 前記小領域毎に汚損の特徴を示す汚損特徴量を計算する
手段と、 前記計算手段から入力される前記小領域毎の前記汚損特
徴量に基づいて、前記汚損の度合いを前記各小領域毎に
判別する手段と、 前記各小領域の汚損の度合いを平均して印刷物全体の汚
損の度合いを求める手段と、 前記各小領域の中で、汚損の度合いの大きい小量域を出
力する手段と、を具備することを特徴とする印刷物汚損
度判別装置。
5. An apparatus for determining stains on a printed matter, means for inputting image data of the printed matter, means for dividing the image data input by the input means into a plurality of small areas, and each of the small areas. Means for calculating a pollution feature amount showing the characteristic of pollution, based on the pollution feature amount for each of the small areas input from the calculating means, means for determining the degree of the pollution for each of the small areas, A means for obtaining the degree of stain on the entire printed matter by averaging the degree of stain on each of the small areas; and a means for outputting a small amount area having a large degree of stain on each of the small areas. An apparatus for determining the degree of stains on printed matter, characterized by.
【請求項6】 前記汚損特徴量計算手段は、 分割された前記小領域の大きさに応じて、解析する複数
の画素スケールを選定する手段と、 前記各画素スケールに基づいて前記小領域内の画像を複
数の微少領域に分割する手段と、 前記各微少領域内の画素の最大濃度値と最小濃度値の
差、及び前記画素スケールを用いて演算し演算結果を提
供する手段と、 前記各微少領域について求められた前記演算結果を合計
することで得られる合計結果を前記各画像スケール毎に
提供する手段と、 前記画素スケールとそれに対応する前記合計結果の対で
各々表されるデータに基づいてグラフを求める手段と、 前記グラフから近似直線を求める手段と、 前記近似直線のy切片及び傾きを求める手段とを有し、 前記y切片及び傾きから汚損特徴量を算出する手段と、 前記度合い判別手段は、 予め求められている汚損特徴量と汚損の度合いとを関連
づけたテーブルを参照して、前記汚損特徴量から前記汚
損の度合いを求める手段とを有することを特徴とする請
求項5記載の印刷物汚損度判別装置。
6. The stain feature amount calculation means selects a plurality of pixel scales to be analyzed according to the size of the divided small areas, and the stain feature quantity calculation means selects a plurality of pixel scales to be analyzed based on each pixel scale. A means for dividing an image into a plurality of microscopic areas; a means for calculating the difference between the maximum density value and the minimum density value of pixels in each of the microscopic areas; and a calculation result using the pixel scale; Means for providing a total result for each of the image scales obtained by summing the calculation results obtained for the region, based on the data respectively represented by a pair of the pixel scale and the corresponding total result A means for obtaining a graph, a means for obtaining an approximate straight line from the graph, and a means for obtaining a y-intercept and a slope of the approximate straight line, and a means for calculating a stain feature amount from the y-intercept and the slope. And the degree determining means includes means for obtaining the degree of contamination from the contamination characteristic amount with reference to a table in which the previously obtained contamination characteristic amount and the degree of contamination are associated with each other. The printed matter stain degree determination device according to claim 5.
【請求項7】 前記汚損特徴量計算手段は、 入力された前記画像を2値化する手段と、 分割された前記小領域の大きさに応じて、解析する複数
の画素スケールを選定する手段と、 前記画素スケールに基づいて前記小領域内の画像を複数
の微少領域に分割する手段と、 前記各微少領域内の特定2値化データを検索する手段
と、 前記特定2値化データを有する微少領域の数を示す特定
微少領域数を各画素スケール毎に求める手段と、 前記画素スケールとそれに対応する前記特定微少領域数
の対で各々表されるデータに基づいてグラフを求める手
段と、 前記グラフから近似直線を求める手段と、 前記近似直線のy切片及び傾きを求める手段と、 前記y切片及び傾きから前記汚損特徴量を求める手段と
を有し、 前記度合い判別手段は、 予め求められている汚損特徴量と汚損の度合いとを関連
づけたテーブルを参照して、前記汚損特徴量から前記汚
損の度合いを求める手段とを有することを特徴とする請
求項5記載の印刷物汚損度判別装置。
7. The stain characteristic amount calculation means includes means for binarizing the input image, and means for selecting a plurality of pixel scales to be analyzed according to the size of the divided small area. A means for dividing the image in the small area into a plurality of minute areas based on the pixel scale; a means for searching for specific binary data in each of the small areas; and a minute area having the specific binary data. Means for obtaining the number of specific microscopic regions indicating the number of regions for each pixel scale, means for obtaining a graph based on data represented by each pair of the pixel scale and the number of specific microscopic regions corresponding thereto, and the graph And a means for obtaining a y-intercept and a slope of the approximate straight line, and a means for obtaining the stain characteristic amount from the y-intercept and the slope. 6. The printed matter pollution degree determining apparatus according to claim 5, further comprising: a unit that obtains the degree of pollution from the contamination characteristic amount with reference to a table that associates the contamination characteristic amount and the degree of contamination. .
【請求項8】 前記汚損特徴量計算手段は、 入力された前記画像を2値化して2値化画像を提供する
手段と、 前記2値化画像内の特定2値化データを有する画素の周
囲長を求める手段と、 前記2値化画像内の特定2値化データを有する画素の面
積を求める手段と、 前記周囲長と面積から前記汚損特徴量を算出する手段と
を有し、 前記度合い判別手段は、 予め求められている汚損特徴量と汚損の度合いとを関連
づけたテーブルを参照して、前記汚損特徴量から前記汚
損の度合いを求める手段とを有することを特徴とする請
求項5記載の印刷物汚損度判別装置。
8. The stain feature amount calculation means, means for binarizing the input image to provide a binarized image, and a periphery of a pixel having specific binarized data in the binarized image. A degree determining means, a means for obtaining an area of a pixel having specific binarized data in the binarized image, and a means for computing the stain feature amount from the perimeter and the area. 6. The means comprises: means for obtaining the degree of the pollution from the pollution characteristic amount by referring to a table in which the pollution characteristic amount and the degree of the pollution obtained in advance are associated with each other. Deterioration degree detector for printed matter.
【請求項9】 印刷物の汚損を判別する装置において、 画像データから汚損の特徴を示す汚損特徴量を計算する
手段と、 前記汚損の判別が行なわれる印刷物の第1画像データを
入力する手段と、 前記入力手段により入力される前記第1画像データか
ら、前記計算手段を用いて第1汚損特徴量を求める手段
と、 前記汚損のない印刷物の第2画像データから、前記計算
手段を用いて第2汚損特徴量を求める手段と、 前記第1汚損特徴量と前記第2汚損特徴量を用いて、汚
損特徴量を算出する手段と、 予め算出されている汚損特徴量と汚損の度合いとを関連
づけたテーブルを参照して前記汚損特徴量から汚損の度
合いを求める手段とを具備することを特徴とする印刷物
汚損度判別装置。
9. An apparatus for determining stains on a printed matter, means for calculating a stain characteristic amount indicating a characteristic of stains from image data, and means for inputting first image data for a printed matter on which the stain is determined. From the first image data input by the input means, a means for obtaining a first stain characteristic amount using the calculating means, and a second image data using the calculating means from the second image data of the stain-free printed matter. The means for obtaining the pollution feature amount, the means for calculating the pollution feature amount by using the first pollution feature amount and the second pollution feature amount, and the pre-calculated pollution feature amount and the degree of pollution are associated with each other. An apparatus for determining the degree of stains on a printed matter, comprising: means for obtaining the degree of stains from the stain feature amount with reference to a table.
【請求項10】 前記汚損特徴量計算手段は、 入力された前記画像の大きさに応じて、解析する複数の
画素スケールを選定する手段と、前記画素スケールに基
づいて前記画像を複数の小領域に分割する手段と、 前記各小領域内の画素の最大濃度値と最小濃度値の差、
及び前記画素スケールを用いて演算し演算結果を提供す
る手段と、 前記各小領域について求められた前記演算結果を合計し
て合計結果を提供する手段と、 前記画素スケールと前記合計結果の対で各々表されるデ
ータに基づいてグラフを求める手段と、 前記グラフから近似直線を求める手段と、 前記近似直線のy切片及び傾きを求める手段と、 前記y切片及び傾きから汚損特徴量を算出する手段と、
を有することを特徴とする請求項9記載の印刷物汚損度
判別装置。
10. The stain feature amount calculation means selects a plurality of pixel scales to be analyzed according to the size of the input image, and a plurality of small areas of the image based on the pixel scales. And a difference between the maximum density value and the minimum density value of the pixels in each of the small areas,
And means for performing an operation using the pixel scale to provide an operation result, means for providing the total result by summing the operation results obtained for each of the small areas, and a pair of the pixel scale and the total result. Means for obtaining a graph based on the respective data, means for obtaining an approximate straight line from the graph, means for obtaining a y-intercept and slope of the approximate straight line, and means for calculating a stain feature amount from the y-intercept and slope When,
The printed matter stain degree determination device according to claim 9, further comprising:
【請求項11】 前記汚損特徴量を求める手段は、 入力された前記画像を2値化する手段と、 前記画像の大きさに応じて、解析する複数の画素スケー
ルを選定する手段と、 前記画素スケールに基づいて前記画像を複数の小領域に
分割する手段と、 前記各小領域内の特定2値化データを検索する手段と、 前記特定2値化データを有する小領域の数を示す特定小
量域数を求める手段と、 前記各画素スケールと特定小領域数の対で各々表される
データに基づいてグラフを求める手段と、 前記グラフから近似直線を求める手段と、 前記近似直線のy切片及び傾きを求める手段と、 前記y切片及び傾きから前記汚損特徴量を求める手段
と、を有することを特徴とする請求項9記載の印刷物汚
損度判別装置。
11. The means for obtaining the stain feature quantity comprises means for binarizing the input image, means for selecting a plurality of pixel scales to be analyzed according to the size of the image, and the pixel Means for dividing the image into a plurality of small areas based on a scale; means for searching for specific binary data in each of the small areas; and a specific small area indicating the number of small areas having the specific binary data. A means for obtaining the number of quantitative ranges, a means for obtaining a graph based on data represented by each pair of the pixel scale and the number of specific small areas, a means for obtaining an approximate straight line from the graph, a y-intercept of the approximate straight line 10. The printed matter pollution degree determination device according to claim 9, further comprising: a means for obtaining a slope and a means for obtaining the stain characteristic amount from the y-intercept and the slope.
【請求項12】 前記汚損特徴量計算手段は、 入力された前記画像を2値化して2値化画像を提供する
手段と、 前記2値化画像内の特定2値化データを有する画素の周
囲長を求める手段と、 前記2値化画像内の特定2値化データを有する画素の面
積を求める手段と、 前記周囲長と面積から前記汚損特徴量を算出する手段
と、を有することを特徴とする請求項9記載の印刷物汚
損度判別装置。
12. The stain characteristic amount calculation means, means for binarizing the input image to provide a binarized image, and a periphery of a pixel having specific binarized data in the binarized image. A unit for determining a length, a unit for determining an area of a pixel having specific binary data in the binary image, and a unit for calculating the stain feature amount from the perimeter and the area. The printed matter contamination degree determination device according to claim 9.
JP34850993A 1993-12-27 1993-12-27 Apparatus for determining the degree of contamination of printed matter Expired - Fee Related JP3322976B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34850993A JP3322976B2 (en) 1993-12-27 1993-12-27 Apparatus for determining the degree of contamination of printed matter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34850993A JP3322976B2 (en) 1993-12-27 1993-12-27 Apparatus for determining the degree of contamination of printed matter

Publications (2)

Publication Number Publication Date
JPH07190955A true JPH07190955A (en) 1995-07-28
JP3322976B2 JP3322976B2 (en) 2002-09-09

Family

ID=18397501

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34850993A Expired - Fee Related JP3322976B2 (en) 1993-12-27 1993-12-27 Apparatus for determining the degree of contamination of printed matter

Country Status (1)

Country Link
JP (1) JP3322976B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281550A (en) * 2002-12-04 2003-10-03 Matsushita Electric Ind Co Ltd Surface evaluation device and moving device
WO2008105323A1 (en) 2007-02-22 2008-09-04 Kabushiki Kaisha Toshiba Degree-of-stain judging device and degree-of-stain judging method
WO2009098761A1 (en) * 2008-02-06 2009-08-13 Glory Ltd. Banknote handling system
WO2009116375A1 (en) * 2008-03-19 2009-09-24 アルゼ株式会社 Paper treating apparatus
JP2021071480A (en) * 2019-10-29 2021-05-06 Jfeスチール株式会社 Method and device for inspecting surface defect, method for manufacturing steel plate, method for managing quality of steel plate, and steel plate manufacturing facility

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281550A (en) * 2002-12-04 2003-10-03 Matsushita Electric Ind Co Ltd Surface evaluation device and moving device
WO2008105323A1 (en) 2007-02-22 2008-09-04 Kabushiki Kaisha Toshiba Degree-of-stain judging device and degree-of-stain judging method
JP2008204352A (en) * 2007-02-22 2008-09-04 Toshiba Corp Damage level decision device and method for paper sheet
EP2113888A1 (en) * 2007-02-22 2009-11-04 Kabushiki Kaisha Toshiba Degree-of-stain judging device and degree-of-stain judging method
EP2113888A4 (en) * 2007-02-22 2011-11-30 Toshiba Kk Degree-of-stain judging device and degree-of-stain judging method
WO2009098761A1 (en) * 2008-02-06 2009-08-13 Glory Ltd. Banknote handling system
JP5174833B2 (en) * 2008-02-06 2013-04-03 グローリー株式会社 Banknote handling system
WO2009116375A1 (en) * 2008-03-19 2009-09-24 アルゼ株式会社 Paper treating apparatus
JP2009230166A (en) * 2008-03-19 2009-10-08 Aruze Corp Paper sheet processing device
CN101978396A (en) * 2008-03-19 2011-02-16 环球娱乐株式会社 Paper treating apparatus
US8499918B2 (en) 2008-03-19 2013-08-06 Universal Entertainment Corporation Paper treating apparatus
JP2021071480A (en) * 2019-10-29 2021-05-06 Jfeスチール株式会社 Method and device for inspecting surface defect, method for manufacturing steel plate, method for managing quality of steel plate, and steel plate manufacturing facility

Also Published As

Publication number Publication date
JP3322976B2 (en) 2002-09-09

Similar Documents

Publication Publication Date Title
JP2583146B2 (en) Top cleanliness inspection method
KR100719608B1 (en) Method and apparatus for recognizing serial number of paper money
JPH0869534A (en) Method and equipment for detection of image quality
JP2000036044A (en) Defect integrating processor and defect integrating processing method
US20040131242A1 (en) Monitoring method
NL8902196A (en) AUTOMATED METHOD FOR IDENTIFYING MINERALS AND CHARACTERIZING STONES.
WO2007011187A1 (en) Method and apparatus for recognizing denomination of paper money
CN106204616B (en) Method and device for identifying currency value of Iran paper money
JPH07190955A (en) Equipment for deciding extent of smear of printed matter
CN113793322A (en) Method for automatically detecting magnetic material, electronic equipment and storage medium
CN106780965A (en) A kind of Paper Currency Identification and device
Xu et al. Fiber-image analysis part I: Fiber-image enhancement
CN107092772B (en) Method and device for determining characteristic curve of sensor
JP3180976B2 (en) Apparatus for determining the degree of contamination of printed matter
JP3675543B2 (en) Image position measurement method
CN106910276A (en) The new and old method and device of detection bank note
Avendãno et al. Image based inspection of concrete cracks using UAV photography
CN112129768A (en) Appearance inspection management system, device, method and storage medium
CN108636827A (en) A kind of waste paper method of disposal and device
JP2019185407A (en) Image analysis program
JP3595393B2 (en) Construction drawing recognition method and recognition device
CN115083066B (en) Method and device for detecting whether paper currency is old or new based on digital image
JP3516502B2 (en) Construction drawing recognition method and recognition device
CN111627145B (en) Method and device for identifying fine hollow image-text of image
JP4664482B2 (en) Certificate paper identification device and stamping device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090628

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090628

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100628

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100628

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110628

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120628

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees