JPH09330410A - Picture inspecting method and its device - Google Patents
Picture inspecting method and its deviceInfo
- Publication number
- JPH09330410A JPH09330410A JP8171627A JP17162796A JPH09330410A JP H09330410 A JPH09330410 A JP H09330410A JP 8171627 A JP8171627 A JP 8171627A JP 17162796 A JP17162796 A JP 17162796A JP H09330410 A JPH09330410 A JP H09330410A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- data
- positional deviation
- image
- predetermined range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、基準画像と検査対象画
像との位置ずれ補正を行って、両者を比較して検査する
画像検査方法および装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image inspection method and apparatus for correcting a positional shift between a reference image and an image to be inspected, and comparing and inspecting the images.
【0002】[0002]
【従来の技術】印刷物の不良には、印刷用紙の皺、異
物、汚れ等の欠陥によるもの、印刷中に発生する、イン
キ汚れ、ヒッキー、ドクター筋、濃度不良、色調不良
等、様々なものがある。従来、印刷物の検査は、人間に
よって行われる目視検査が主体であり、例えば、枚葉印
刷機、あるいは輪転印刷機の折ユニットから排出される
印刷後の印刷物においては、印刷機のオペレータが適時
抜き取って、目視による検査を行っていた。また、連続
した印刷物が印刷機より排出され抜き取りの行えない場
合は、印刷物の走行速度に同期させて瞬間発光するスト
ロボ光を印刷物に照射し、人間の目の残像を利用して静
止状態とし印刷物の目視検査を行っていた。2. Description of the Related Art Defects in printed matter are caused by defects such as wrinkles, foreign substances, and stains on printing paper, ink stains, hickies, doctor streaks, poor density, poor color tone, etc. that occur during printing. is there. Conventionally, the inspection of the printed matter is mainly a visual inspection performed by a human.For example, in the case of the printed matter discharged from the folding unit of the sheet-fed printing press or the rotary printing press, the operator of the printing press pulls it out at a proper time. Then, a visual inspection was performed. If continuous printed matter is ejected from the printing machine and cannot be extracted, the printed matter is irradiated with strobe light that instantaneously emits light in synchronization with the running speed of the printed matter, and the afterimage of the human eye is used to stop the printed matter. Was being visually inspected.
【0003】目視検査は検査する人間に対する作業負荷
が非常に大きく、また人間が行うため不良の見逃しが避
けられないものである。そこで、印刷物検査を自動的に
行う提案がなされ様々な技術が開示されている。例え
ば、特公平1−47823には、正常な印刷物が印刷さ
れた時点で走行印刷物の絵柄から読み取った画像データ
を基準画像データとして画像メモリに記憶しておき、そ
の画像メモリから読み出した基準画像データを、印刷中
の検査対象の印刷物の絵柄から読み取った検査対象画像
データと画素単位で比較して印刷の良否判定を行う方式
の印刷物の検査装置に関する技術が開示されている。The visual inspection imposes a very heavy work load on the person to be inspected, and since it is performed by a person, it is unavoidable to overlook defects. Therefore, various techniques have been disclosed by making a proposal for automatically inspecting a printed matter. For example, in Japanese Examined Patent Publication No. 1-47823, the image data read from the pattern of the running print at the time when the normal printed matter is printed is stored in the image memory as reference image data, and the reference image data read from the image memory is stored. There is disclosed a technique relating to a printed matter inspection apparatus of a system in which the quality of printing is determined by comparing, in pixel units, with the inspection target image data read from the pattern of the printed matter of the inspection target being printed.
【0004】ところが、基準画像データと検査対象画像
データとを画素単位で比較する場合、不良検出の精度を
高めると、印刷物から絵柄を読取る際の両データ間の位
置ずれがわずかである場合でも位置ずれを不良と誤検出
することとなる。そこで、位置ずれを不良と誤検出しな
いようにするためには不良検出の精度をやむおえず低下
させることが必要であり、ある程度の両データ間の位置
ずれを避け得ない場合には要求を満足するに充分な検査
性能が得られなかった。そこで、特公平1−20477
には、検査対象画像データまたは基準画像データを1画
素ずつ印刷物の走行方向に対して左右方向に位置ずれさ
せて、検査対象画像データと基準画像データを比較し、
両データが最も一致したときの両データ間の位置ずれ値
に基づき、位置ずれを補正した上で、検査対象画像デー
タと基準画像データを比較するという技術が開示されて
いる。However, when the reference image data and the image data to be inspected are compared on a pixel-by-pixel basis, if the accuracy of defect detection is increased, even if there is a slight misalignment between the two data when reading the pattern from the printed matter, the position The deviation is erroneously detected as a defect. Therefore, in order to prevent the misregistration of the misregistration as a defect, it is necessary to lower the accuracy of the defect detection. If the displacement between the two data cannot be avoided to some extent, the requirement is satisfied. Insufficient inspection performance was obtained. Therefore, Japanese Patent Publication No. 1-20477
In, the inspection target image data or the reference image data is displaced by one pixel in the left-right direction with respect to the traveling direction of the printed matter, and the inspection target image data and the reference image data are compared.
A technique is disclosed in which, after the positional deviation is corrected based on the positional deviation value between the two data when the two data are most matched, the inspection target image data and the reference image data are compared.
【0005】[0005]
【発明が達成しようとする課題】しかしながら従来の自
動検査技術における画像の位置ずれ補正の方法は、検査
対象画像データと基準画像データとを比較するという、
データ量の極めて大きい画像データを処理するものであ
るために、膨大な処理時間を要してしまうという問題が
あった。また、その問題に鑑み、本発明者による特開平
7−249122には、処理時間を短くする画像の位置
ずれ補正の方法が開示されている。しかし、この方法に
おいては大きな位置ずれが天地左右方向に同時に起きる
場合や、印刷物の絵柄の内容が補正方法とミスマッチン
グするような場合においては充分な補正精度が得られな
いという問題があった。したがって本発明の目的は、位
置ずれの特殊な傾向や印刷物の絵柄に特殊な内容がある
ような場合においても、処理時間が短く信頼度の高い位
置ずれ補正を行って画像の検査を行うことのできる画像
検査方法およびその方法を適用した装置を提供すること
である。本発明の画像検査方法および装置は、幅広い検
査条件と検査対象に対して適用することができる。However, in the conventional method for correcting the positional deviation of the image in the automatic inspection technique, the inspection target image data and the reference image data are compared.
There is a problem that an enormous amount of processing time is required because the image data having an extremely large amount of data is processed. Further, in view of the problem, Japanese Patent Laid-Open No. 7-249122 by the present inventor discloses a method for correcting an image position shift that shortens the processing time. However, this method has a problem in that sufficient correction accuracy cannot be obtained when large positional deviations occur simultaneously in the horizontal direction and in the case where the content of the design of the printed matter mismatches the correction method. Therefore, an object of the present invention is to perform an image inspection by performing a highly reliable positional deviation correction with a short processing time even when there is a special tendency of positional deviation or a special content of a printed matter. An object of the present invention is to provide a possible image inspection method and an apparatus to which the method is applied. The image inspection method and apparatus of the present invention can be applied to a wide range of inspection conditions and inspection objects.
【0006】[0006]
【課題を達成するための手段】上記目的を達成するため
に本発明は、基準画像上の直交する(一般的には平行で
ない)線分、および、その線分位置を含みその線分と平
行関係を保持し二次元の所定の領域を相対的に位置変化
した検査対象画像上の直交する(一般的には平行でな
い)複数の線分を選択し、それら選択された線分に対応
する基準画像データおよび検査画像データの一致度を評
価し、一致度の大きい評価が与えられた複数の線分に基
づいて位置ずれ値を演算し、その演算された位置ずれ値
に基づいて位置ずれ補正を行って画像の検査を行うよう
にするものである。In order to achieve the above object, the present invention is directed to orthogonal (generally not parallel) line segments on a reference image and a line segment including its position and parallel to the line segment. Select a plurality of orthogonal (generally not parallel) line segments on the image to be inspected in which the relationship is maintained and the relative position of the two-dimensional predetermined region is changed, and the reference corresponding to the selected line segments The degree of coincidence between the image data and the inspection image data is evaluated, the positional deviation value is calculated based on the plurality of line segments given the evaluation with a large degree of coincidence, and the positional deviation correction is performed based on the calculated positional deviation value. The inspection is performed on the image.
【0007】[0007]
【発明の実施の形態】次に本発明について実施の形態に
より説明する。図1は本発明による画像検査方法および
装置における画像検査の処理過程を示すフロー図であ
る。図1に基づいて画像検査の処理過程を説明する。ま
ず、ステップS1において、基準画像を構成する画素の
1つを交点画素として指定する交点画素指定が行われ
る。次に、ステップS2において、検査対象画像を構成
する画素の内で前記交点画素に対応して決定される所定
範囲の画素を所定範囲画素として指定する所定範囲画素
指定が行われる。交点画素の指定は原則的に任意であ
る。しかし、その交点画素に関連して指定される所定範
囲画素における天地方向の画素列の画素データと左右方
向の画素行の画素データに変化が全く無いような場合に
は位置ずれを検出することができない。したがって、そ
れらの画素データが変化に富むような交点画素を指定す
ることが好ましい。所定範囲画素は、たとえばその交点
画素を中心とする5行5列の画素として指定される。DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, the present invention will be described with reference to embodiments. FIG. 1 is a flow chart showing an image inspection process in an image inspection method and apparatus according to the present invention. The process of image inspection will be described with reference to FIG. First, in step S1, intersection pixel designation is performed to designate one of the pixels forming the reference image as an intersection pixel. Next, in step S2, a predetermined range pixel designation is performed to designate, as a predetermined range pixel, a pixel within a predetermined range determined corresponding to the intersection pixel among the pixels forming the inspection target image. In principle, the designation of intersection pixels is arbitrary. However, if there is no change in the pixel data of the pixel row in the vertical direction and the pixel data of the pixel row in the horizontal direction in the predetermined range of pixels specified in relation to the intersection pixel, it is possible to detect the positional deviation. Can not. Therefore, it is preferable to specify the intersection pixels such that those pixel data are rich in variation. The predetermined range pixel is designated as a pixel of 5 rows and 5 columns centering on the intersection pixel, for example.
【0008】次に、ステップS3において、前記交点画
素を含み位置ずれを補正すべき第1の方向と平行方向と
なる画素列のデータである第1の基準画素データ列、お
よび、前記交点画素を含み位置ずれを補正すべき第2の
方向と平行方向となる画素列のデータである第2の基準
画素データ列、を抽出する第1データ抽出が行われる。
次に、ステップS4において前記所定範囲画素から選択
された一つの画素を含み位置ずれを補正すべき第2の方
向と平行方向となる画素列のデータである第2の検査対
象画素データ列、および、前記選択された一つの画素を
含み位置ずれを補正すべき第2の方向と平行方向となる
画素列のデータである第2の検査対象画素データ列、を
抽出する第2データ抽出が行われる。この第1の方向と
第2の方向は、通常は、天地方向(ウェブの移送方向)
と左右方向(ウェブの移送方向と直交する方向)である
が、必ずしもその方向に限定されるものではなく、任意
の平行でない2つの方向とすることができる。Next, in step S3, the first reference pixel data row, which is the data of the pixel row including the intersection pixel and in the direction parallel to the first direction in which the positional deviation is to be corrected, and the intersection pixel are set. The first data extraction is performed to extract the second reference pixel data row, which is the data of the pixel row that is parallel to the second direction in which the included positional deviation should be corrected.
Next, in step S4, a second inspection target pixel data row that is data of a pixel row that includes one pixel selected from the predetermined range pixels and is in a direction parallel to the second direction in which positional deviation is to be corrected, and A second data extraction is performed to extract a second inspection target pixel data row that is data of a pixel row that includes the selected one pixel and is in a direction parallel to the second direction in which the positional deviation should be corrected. . The first direction and the second direction are usually the vertical direction (web transfer direction).
And the left-right direction (the direction orthogonal to the web transfer direction), but is not necessarily limited to that direction, and may be any two directions that are not parallel.
【0009】次に、ステップS5において前記第1の基
準画素データ列と前記第1の検査対象画像データ、およ
び、前記第2の基準画素データ列と前記第2の検査対象
画像データ、とから全ての画像データに基づく一致度の
評価数値を得る評価数値演算が行われる。次に、ステッ
プS6において前記所定範囲画素から選択される一つの
画素を変更して、前記第2データ抽出過程と、前記相関
係数演算過程と、を繰り返し、前記所定範囲画素の全て
に対応する評価数値を得る演算繰返が行われる。この一
致度の評価数値としては、相関係数、差の絶対値の総
和、差の自乗の総和のいずれかの値とすることができ
る。評価数値が相関係数の場合には評価数値が“1”に
近いほど一致度が大きく、評価数値が差の絶対値の総
和、差の自乗の総和のいずれかの場合には評価数値が
“0”に近いほど一致度が大きい。Next, in step S5, all of the first reference pixel data sequence and the first inspection target image data, and the second reference pixel data sequence and the second inspection target image data are all used. An evaluation numerical value calculation is performed to obtain an evaluation numerical value of the degree of coincidence based on the image data. Next, in step S6, one pixel selected from the predetermined range pixels is changed, and the second data extraction process and the correlation coefficient calculation process are repeated to correspond to all the predetermined range pixels. The calculation is repeated to obtain the evaluation value. The evaluation value of the degree of coincidence may be any one of a correlation coefficient, a sum of absolute differences, and a sum of squared differences. If the evaluation value is a correlation coefficient, the closer the evaluation value is to “1”, the greater the degree of agreement. If the evaluation value is either the sum of the absolute values of the differences or the sum of the squares of the differences, the evaluation value is “ The closer to 0 ", the greater the degree of coincidence.
【0010】なお、前述の相関係数は下記の数1によっ
て演算される。The above correlation coefficient is calculated by the following equation 1.
【数1】 また、前述の差の絶対値の総和は下記の数2によって演
算される。[Equation 1] The sum of the absolute values of the differences described above is calculated by the following equation 2.
【数2】 また、前述の差の自乗の総和は下記の数3によって演算
される。[Equation 2] Further, the sum of squared differences described above is calculated by the following expression 3.
【数3】 (Equation 3)
【0011】次に、ステップS7においてその演算繰返
過程で得られた評価数値の内で一致度が最大の評価数値
を与える前記所定範囲画素から選択された一つの画素の
位置データと、前記交点画素の位置データとから位置ず
れ値を得る位置ずれ値演算が行われる。最後に、ステッ
プS8においてその位置ずれ値演算過程で得た位置ずれ
値に基づいて位置ずれを補正して基準画像と比較して検
査対象画像を検査する位置ずれ補正比較が行われる。以
上のように本発明においては、位置ずれ値を求める場合
に、第1の方向と第2の方向の2つの方向について別々
に一致度の評価数値を得るのではなく、2つの方向につ
いて総合して一致度の評価数値を得るようにする。これ
により、正確な位置ずれ値を得ることができ、最適な位
置ずれ補正を行うことができる。Next, in step S7, the intersection of the position data of one pixel selected from the pixels in the predetermined range, which gives the evaluation numerical value with the highest degree of coincidence among the evaluation numerical values obtained in the calculation iterative process, and the intersection point. A displacement value calculation is performed to obtain a displacement value from the pixel position data. Finally, in step S8, a positional deviation correction comparison is performed in which the positional deviation is corrected based on the positional deviation value obtained in the positional deviation value calculation process and compared with the reference image to inspect the inspection target image. As described above, according to the present invention, when the positional deviation value is obtained, the evaluation values of the degree of coincidence are not separately obtained for the two directions of the first direction and the second direction, but are combined for the two directions. To obtain the evaluation value of the degree of coincidence. As a result, it is possible to obtain an accurate positional deviation value and perform optimal positional deviation correction.
【0012】図2は本発明において2つの方向について
総合して一致度の評価数値を得る場合の基準画像データ
と対応する検査対象画像データの関係を示す図である。
図2(A)は基準画像上の交点画素P(x,y)と、補
正すべき第1の方向の基準画素データ列Lxと、補正す
べき第2の方向の基準画素データ列Lyとについて示し
た図である。また、図2(B)は検査対象画像上の所定
範囲画素Aと、所定範囲画素Aから選択された一つの画
素を含み位置ずれを補正すべき第1の方向の検査対象画
素データ列Lx−2,Lx−1,Lx,Lx+1,Lx
+2と、所定範囲画素Aから選択された一つの画素を含
み位置ずれを補正すべき第2の方向の検査対象画素デー
タ列Ly−2,Ly−1,Ly,Ly+1,Ly+2と
について示した図である。FIG. 2 is a diagram showing the relationship between the reference image data and the corresponding image data to be inspected when the evaluation value of the degree of coincidence is obtained in the two directions in the present invention.
FIG. 2A shows the intersection pixel P (x, y) on the reference image, the reference pixel data string Lx in the first direction to be corrected, and the reference pixel data string Ly in the second direction to be corrected. It is the figure shown. In addition, FIG. 2B includes a predetermined range pixel A on the inspection target image and an inspection target pixel data string Lx− in the first direction that includes a pixel selected from the predetermined range pixel A and should be corrected for the positional deviation. 2, Lx-1, Lx, Lx + 1, Lx
A diagram showing +2 and the inspection target pixel data sequence Ly-2, Ly-1, Ly, Ly + 1, Ly + 2 in the second direction that includes one pixel selected from the predetermined range of pixels A and should be corrected for positional deviation. Is.
【0013】図2において、交点画素P(x,y)にお
ける、(x,y)は交点画素Pの画像データ上(平面
上)のアドレスを示している。したがって、所定範囲画
素Aに含まれる画素のアドレスは(x−2,y−2),
(x−2,y−1),(x−2,y),(x−2,y+
1),(x−2,y+2),(x−1,y−2),(x
−1,y−1),(x−1,y),(x−1,y+
1),(x−1,y+2),(x,y−2),(x,y
−1),(x,y),(x,y+1),(x,y+
2),(x+1,y−2),(x+1,y−1),(x
+1,y),(x+1,y+1),(x+1,y+
2),(x+2,y−2),(x+2,y−1),(x
+2,y),(x+2,y+1),(x+2,y+2)
となる。図2に示す一例では、このように所定範囲画素
Aの所定範囲は5×5(天地×左右)である。In FIG. 2, in the intersection pixel P (x, y), (x, y) indicates the address of the intersection pixel P on the image data (on the plane). Therefore, the addresses of the pixels included in the predetermined range pixel A are (x-2, y-2),
(X-2, y-1), (x-2, y), (x-2, y +
1), (x-2, y + 2), (x-1, y-2), (x
-1, y-1), (x-1, y), (x-1, y +)
1), (x-1, y + 2), (x, y-2), (x, y
−1), (x, y), (x, y + 1), (x, y +)
2), (x + 1, y-2), (x + 1, y-1), (x
+1, y), (x + 1, y + 1), (x + 1, y +
2), (x + 2, y-2), (x + 2, y-1), (x
+2, y), (x + 2, y + 1), (x + 2, y + 2)
Becomes In the example shown in FIG. 2, the predetermined range of the predetermined range pixel A is thus 5 × 5 (top and bottom × left and right).
【0014】図2において、基準画素データ列と検査対
象画素データ列におけるLx,Lyはそれぞれの画像デ
ータ列に属する画素のアドレスを示している。Lxはm
をデータ列に属する全てのyアドレスとして画素のアド
レスが(x,m)であることを示し、Lyはnをデータ
列に属する全てのxアドレスとして画素のアドレスが
(n,y)であることを示している。Lx−2,Lx−
1,Lx+1,Lx+2,Ly−2,Ly−1,Ly+
1,Ly+2についても同様である。In FIG. 2, Lx and Ly in the reference pixel data string and the inspection object pixel data string indicate the addresses of the pixels belonging to the respective image data strings. Lx is m
Indicates that the pixel address is (x, m) for all y addresses belonging to the data string, and Ly indicates that the pixel address is (n, y) for n for all x addresses belonging to the data string. Is shown. Lx-2, Lx-
1, Lx + 1, Lx + 2, Ly-2, Ly-1, Ly +
The same applies to 1 and Ly + 2.
【0015】本発明においては基準画素データ列と検査
対象画素データ列の一致度を評価する場合に、位置ずれ
を補正しようとする2つの方向について同時に評価を行
う。図2(A)における基準画像上の交点画素P(x,
y)を含む補正すべき第1の方向の基準画素データ列L
xと補正すべき第2の方向の基準画素データ列Lyとに
対応する、図2(B)における検査対象画像の所定範囲
画素A上の画素を含む補正すべき第1の方向の検査対象
画素データ列Lxと補正すべき第2の方向の検査対象画
素データ列Lyとについて、一致度の評価を行う。In the present invention, when the degree of coincidence between the reference pixel data string and the inspection object pixel data string is evaluated, the two directions in which the positional deviation is to be corrected are evaluated simultaneously. The intersection pixel P (x, on the reference image in FIG.
y) reference pixel data string L in the first direction to be corrected
The pixel to be inspected in the first direction to be corrected including the pixels on the predetermined range pixel A of the image to be inspected in FIG. 2B corresponding to x and the reference pixel data row Ly in the second direction to be corrected The degree of coincidence is evaluated for the data row Lx and the inspection-target pixel data row Ly in the second direction to be corrected.
【0016】図3は基準画像上の交点画素P(x,y)
が、それに対応する検査対象画像の所定範囲画素A上の
画素を順次移動して、所定範囲の全体にわたって一致度
の評価を行う過程の説明図である。図3に示す一例にお
いては、基準画像上の交点画素P(x,y)は検査対象
画像の所定範囲画素A上の画素を、そのアドレスが(x
−2,y+2),(x−1,y+2),(x,y+
2),・・・・・・,(x,y−2),(x+1,y−
2),(x+2,y−2)となるように順次移動して、
所定範囲の全体にわたって一致度の評価が行われる。FIG. 3 shows an intersection pixel P (x, y) on the reference image.
7 is an explanatory diagram of a process of sequentially moving pixels on a predetermined range pixel A of the inspection target image corresponding thereto to evaluate the degree of coincidence over the entire predetermined range. In the example shown in FIG. 3, the intersection pixel P (x, y) on the reference image is a pixel on the predetermined range pixel A of the inspection target image, and its address is (x
-2, y + 2), (x-1, y + 2), (x, y +
2), ..., (x, y-2), (x + 1, y-
2), sequentially move to (x + 2, y-2),
The degree of coincidence is evaluated over the entire predetermined range.
【0017】なお、上述においては基準画像上の交点画
素P(x,y)が、それに対応する検査対象画像の所定
範囲画素A上の画素を順次移動して、所定範囲の全体に
わたって一致度の評価を行うように説明を行ったが、基
準画像と検査対象画像との関係を入れ換えても、位置ず
れ補正という意味においては何ら変わるとことがない。
したがって、請求項を含めて上述における“基準”と
“検査対象”との言葉の入替えを行っても同等の作用効
果が得られる。説明の便宜上、上述のように限定して説
明を行ったが本発明においては、基準画像と検査対象画
像との関係は入れ換えることができ、いずれの場合も本
発明に含まれる。ただし、厳密な意味では全く同等とい
うことではない。その理由は、基準画像上の交点画素P
(x,y)を通る2方向の線分上画素データには、変化
があることが保証されているが(そのような交点を選択
する)、検査対象画像上の交点画素P(x,y)を通る
2方向の線分上画素データには、位置ずれのため変化の
存在が保証されていない。したがって、その点において
は交点画素P(x,y)は基準画像上で指定するほうが
良い。In the above description, the intersection pixel P (x, y) on the reference image sequentially moves the pixels on the predetermined range pixel A of the image to be inspected corresponding to the intersection point pixel P (x, y) so that the degree of coincidence is maintained over the entire predetermined range. Although the description is given so that the evaluation is performed, even if the relationship between the reference image and the inspection target image is exchanged, there is no change in the meaning of the positional deviation correction.
Therefore, even if the terms “reference” and “inspection target” are replaced with each other including the claims, the same effect can be obtained. For convenience of description, the description has been limited to the above, but in the present invention, the relationship between the reference image and the inspection target image can be interchanged, and any case is included in the present invention. However, in a strict sense, they are not the same. The reason is that the intersection pixel P on the reference image
Although it is guaranteed that there is a change in the pixel data on the line segment in two directions passing through (x, y) (such an intersection is selected), the intersection pixel P (x, y) on the inspection target image is selected. It is not guaranteed that there is a change in the pixel data on the line segment in two directions passing through () due to the positional deviation. Therefore, at that point, it is better to specify the intersection pixel P (x, y) on the reference image.
【0018】[0018]
【実施例】図4は、本発明の装置構成の概要を示す模式
図である。図4において、1は印刷ユニット、2は印刷
物、3はガイドローラ、4は照明用の光源、5は撮像用
のカメラユニット、6はカメラユニットを制御するカメ
ラ制御部、7は印刷ユニットの機械的位置(版胴の回転
位置)を検出するロータリーエンコーダ、8はカメラユ
ニットによる撮像で得た画像データの処理を行う印刷物
検査装置の本体である。印刷用紙は印刷ユニット1を通
過し、そこにおいて印刷が行われれて印刷物1となり、
ガイドローラ3によって導かれて、光源4によって照明
される位置に達する。その位置には通常ガイドローラ3
があって、印刷物2の位置が規定されている。その位置
において印刷物2はカメラユニット5によって撮像され
る。カメラユニット5は図4の例では一次元の走査によ
って画像を撮像するリニアセンサーカメラである。EXAMPLE FIG. 4 is a schematic diagram showing an outline of the apparatus configuration of the present invention. In FIG. 4, 1 is a printing unit, 2 is a printed matter, 3 is a guide roller, 4 is a light source for illumination, 5 is a camera unit for imaging, 6 is a camera control unit for controlling the camera unit, and 7 is a machine of the printing unit. A rotary encoder for detecting a target position (rotational position of the plate cylinder), and 8 is a main body of a printed matter inspection apparatus for processing image data obtained by imaging by a camera unit. The printing paper passes through the printing unit 1, where printing is performed and becomes printed matter 1,
It is guided by the guide roller 3 and reaches a position illuminated by the light source 4. The guide roller 3 is usually in that position.
Therefore, the position of the printed matter 2 is defined. The printed matter 2 is imaged by the camera unit 5 at that position. In the example of FIG. 4, the camera unit 5 is a linear sensor camera that captures an image by one-dimensional scanning.
【0019】印刷ユニット1の版胴もしくは版胴と同期
して回転する部分にはロータリーエンコーダ7が設置さ
れており印刷の周期に同期したパルス信号を出力する。
このパルス信号はカメラ制御部6に入力され、カメラ制
御部6は、印刷の周期に同期して印刷物2が所定量走行
する毎にカメラユニット5に撮像開始信号を出力し、カ
メラユニット5の撮像データ、すなわちアナログデータ
を入力し、A/D(analog to digital )変換を行って
ディジタルデータに変換して、印刷物検査装置本体8に
データ転送を行う。このように印刷の周期に同期し、タ
イミングをとって二次元の走査が行われディジタル画像
データが印刷物検査装置本体8に読み込まれる また、このように印刷の周期に同期して撮像されるか
ら、外乱要因、誤差要因がなければ、各印刷の周期で読
み取られる撮像データは、同じ周期タイミングの撮像デ
ータであれば常に同じ印刷絵柄位置の撮像データにな
る。A rotary encoder 7 is installed in the plate cylinder of the printing unit 1 or in a portion which rotates in synchronization with the plate cylinder, and outputs a pulse signal in synchronization with a printing cycle.
This pulse signal is input to the camera control unit 6, and the camera control unit 6 outputs an imaging start signal to the camera unit 5 every time the printed matter 2 travels a predetermined amount in synchronization with the printing cycle, and the camera unit 5 captures an image. Data, that is, analog data is input, A / D (analog to digital) conversion is performed to convert it into digital data, and the data is transferred to the printed matter inspection apparatus main body 8. In this way, two-dimensional scanning is performed at a timing synchronized with the printing cycle, and digital image data is read into the printed matter inspection apparatus main body 8. Further, since the image is captured in synchronization with the printing cycle in this manner, If there is no disturbance factor or error factor, the imaging data read in each printing cycle will always be the imaging data at the same print pattern position if the imaging data is at the same cycle timing.
【0020】ディジタル画像信号を入力した前記印刷物
検査装置本体8は、良品が印刷されたときの印刷物1の
ディジタル画像データを基準画像としてメモリに格納す
る。そして、それ以降入力されるディジタル画像データ
を検査対象画像データとして、印刷物1の不良が発生し
たか否かの判定を行う。The printed matter inspection apparatus main body 8 to which the digital image signal is input stores the digital image data of the printed matter 1 when a non-defective product is printed in the memory as a reference image. Then, it is determined whether or not a defect of the printed material 1 has occurred by using the digital image data input thereafter as the inspection target image data.
【0021】図5は、印刷物検査装置本体の構成を示す
ブロック図である。図5において、8は印刷物検査装置
本体、5はカメラユニット、6はカメラ制御部、9は基
準画像データメモリ、10は検査対象画像データメモ
リ、11は基準入力司令入力部、12は位置ずれ検出
部、13は位置ずれ補正比較部、14はパラメータ入力
部である。基準画像データメモリ9および検査対象画像
データメモリ10は、いずれも、印刷物1単位分(印刷
ユニットで行われる1周期分の印刷画面)を少なくとも
記憶できる記憶容量を有している。また基準入力司令入
力部11は、画像検査を始めるにあたって行う基準画像
を撮影し基準画像データメモリ9へデータ入力を行う司
令、そして続いて行う検査対象画像を撮影し検査対象画
像データメモリ10へデータ入力を行う司令の切り換え
を行う。FIG. 5 is a block diagram showing the structure of the main body of the printed matter inspection apparatus. In FIG. 5, reference numeral 8 is a printed matter inspection apparatus main body, 5 is a camera unit, 6 is a camera control unit, 9 is a reference image data memory, 10 is an inspection target image data memory, 11 is a reference input command input unit, and 12 is a misregistration detection. Reference numeral 13 is a positional deviation correction comparison unit, and 14 is a parameter input unit. Each of the reference image data memory 9 and the inspection target image data memory 10 has a storage capacity capable of storing at least one unit of printed matter (a printing screen for one cycle performed by the printing unit). Further, the reference input command input unit 11 is a command for taking a reference image to start the image inspection and inputting data to the reference image data memory 9, and then taking an inspection target image to be stored in the inspection target image data memory 10. Switch the command to input.
【0022】基準入力司令入力部11で基準画像データ
の入力が司令されると、図5のセレクタは基準画像デー
タメモリ9に撮像データの入力接続を行うが、このとき
は位置ずれ検出部12、および位置ずれ補正比較部13
は動作しない。一方、基準入力司令入力部11にて検査
対象画像データの入力が司令されると、セレクタは検査
対象画像データメモリへ10に撮像データの入力接続を
行う。そして、位置ずれ検出部12は検査対象画像と基
準画像の位置ずれ検出を行い、その結果の位置ずれ補正
値を位置ずれ補正比較部13へ送る。そして、位置ずれ
補正値を受け取った位置ずれ補正比較部13は、位置ず
れ補正値を考慮して検査対象画像データと基準画像デー
タとの照合比較検査を行う。また、パラメータ入力部1
4は、位置ずれ検出部12、および位置ずれ補正比較部
13で用いられるパラメータを設定するための入力を行
う。パラメータとしては、例えば前記位置ずれ補正比較
部13で検査対象画像データと基準画像データとの比較
を行って、良否判定を行う場合の閾値を入力する。When the reference image command input unit 11 commands the input of the reference image data, the selector shown in FIG. 5 connects the image data to the reference image data memory 9, and at this time, the positional deviation detecting unit 12, And misregistration correction comparison unit 13
Does not work. On the other hand, when the input of the inspection target image data is commanded by the reference input command input unit 11, the selector makes an input connection of the imaging data to the inspection target image data memory 10. Then, the positional deviation detecting unit 12 detects the positional deviation between the inspection target image and the reference image, and sends the resulting positional deviation correction value to the positional deviation correction comparing unit 13. Then, the misregistration correction comparison unit 13 that has received the misregistration correction value performs a collation comparison inspection of the inspection target image data and the reference image data in consideration of the misregistration correction value. In addition, the parameter input unit 1
Reference numeral 4 is an input for setting parameters used in the positional deviation detecting unit 12 and the positional deviation correction comparing unit 13. As a parameter, for example, a threshold value for performing a pass / fail judgment by comparing the inspection target image data with the reference image data in the positional deviation correction comparing unit 13 is input.
【0023】図6は、位置ずれ検出部の構成を示すブロ
ック部である。図6において、12は位置ずれ検出部、
9は基準画像データメモリ、10は検査対象画像データ
メモリ、11は基準入力司令入力部、13は位置ずれ補
正比較部、15は交点画素指定部、16は所定範囲画素
指定部、17は第1データ抽出部、18は第2データ抽
出部、19は第1画像データ列メモリ、20は第2画像
データ列メモリ、21は評価数値算出部、22は中位値
算出部である。FIG. 6 is a block diagram showing the configuration of the position shift detecting section. In FIG. 6, reference numeral 12 denotes a positional deviation detection unit,
Reference numeral 9 is a reference image data memory, 10 is an inspection target image data memory, 11 is a reference input command input unit, 13 is a positional deviation correction comparison unit, 15 is an intersection pixel designation unit, 16 is a predetermined range pixel designation unit, and 17 is a first A data extracting unit, 18 is a second data extracting unit, 19 is a first image data string memory, 20 is a second image data string memory, 21 is an evaluation numerical value calculating unit, and 22 is a middle value calculating unit.
【0024】図6において、交点画素指定部15は基準
画像データメモリ9の基準画像データを参照して交点画
素位置を1つ指定する。第1データ抽出部17はその交
点画素位置を入力し基準画像データメモリ9よりその交
点画素を含み天地左右方向の交差する線分位置の基準画
素データ列を抽出する。また所定範囲画素指定部16は
交点画素位置を入力し検査対象画像データメモリ10よ
りその交点画素を含む所定範囲の画素を指定する。第2
データ抽出部18は所定範囲画素を含み天地左右方向の
交差する線分位置の検査対象画素データ列を抽出する。
この検査対象画素データ列は所定範囲の画素の数と同じ
だけ存在することになる。In FIG. 6, the intersection pixel specifying section 15 refers to the reference image data in the reference image data memory 9 and specifies one intersection pixel position. The first data extraction unit 17 inputs the intersection pixel position, and extracts from the reference image data memory 9 a reference pixel data string of a line segment position including the intersection pixel and intersecting in the horizontal direction in the vertical direction. Further, the predetermined range pixel designation unit 16 inputs the intersection pixel position and designates the pixels in the predetermined range including the intersection pixel from the inspection target image data memory 10. Second
The data extraction unit 18 extracts an inspection target pixel data string at a line segment position that includes a predetermined range of pixels and intersects in the horizontal direction.
This inspection target pixel data string exists in the same number as the number of pixels in the predetermined range.
【0025】第1のデータ抽出部17によって抽出され
た基準画素データ列(一つ存在する)第1画像データ列
メモリ19に格納される。また第2のデータ抽出部18
によって抽出された検査対象画素データ列から一つが第
2画像データ列メモリ20に格納される。評価数値算出
部21は第1画像データ列メモリ19と第2画像データ
列メモリ20に格納された基準画素データ列と検査対象
画素データ列との一致度の評価数値を演算する。このよ
うに所定範囲画素の一つを交点とする検査対象画素デー
タ列について行われる評価数値の演算は、全ての所定範
囲画素について複数回繰り返されて、複数の評価数値が
求められる。The reference pixel data string extracted by the first data extracting unit 17 is stored in the first image data string memory 19 (one exists). In addition, the second data extraction unit 18
One of the inspection target pixel data strings extracted by is stored in the second image data string memory 20. The evaluation value calculation unit 21 calculates an evaluation value of the degree of coincidence between the reference pixel data string stored in the first image data string memory 19 and the second image data string memory 20 and the inspection target pixel data string. As described above, the calculation of the evaluation numerical value performed on the inspection target pixel data string having one of the predetermined range pixels as an intersection is repeated a plurality of times for all the predetermined range pixels to obtain a plurality of evaluation numerical values.
【0026】中位値算出部22は、評価数値算出部21
で算出された複数の評価数値の内、閾値を設けて一致度
が低い評価数値の検査対象画素データ列を除き、一致度
が高い評価数値の検査対象画素データ列を抽出する。そ
して抽出された検査対象画素データ列の交点位置と、基
準画像データを参照して指定された交点画素位置とに基
づいて、その位置ずれ値を演算する。また中位値算出部
22は、位置ずれ値から中位値を求めて天地左右方向の
位置ずれ値とする。この天地左右方向の位置ずれ値は位
置ずれ補正比較部13に出力される。The median value calculation unit 22 is an evaluation numerical value calculation unit 21.
Among the plurality of evaluation numerical values calculated in step 1, a threshold value is set and the inspection target pixel data string having a high matching value is extracted except for the inspection target pixel data string having a low matching value. Then, based on the extracted intersection point position of the inspection target pixel data string and the intersection point pixel position designated with reference to the reference image data, the displacement value is calculated. Further, the median value calculation unit 22 obtains the median value from the misalignment value and sets it as the misalignment value in the vertical direction. The positional shift value in the horizontal direction is output to the positional shift correction comparing unit 13.
【0027】図7、図8は位置ずれ補正方法の組み合わ
せ例のフロー図である。天地方向と左右方向に対して別
々に位置ずれ補正を行った後、本発明の天地左右方向の
位置ずれ補正を行うことにより位置ずれの補正精度を高
める過程である。図7は基準の線分位置がm本(図7の
場合m=1)に対して検査対象の線分位置がn本(図7
の場合n=3)とし、天地方向と左右方向とを別々に位
置ずれ補正する過程のフロー図である。このm本対n本
補正は、基準画像上で平行するm本の線分、および、そ
のm本の線分位置を含みその線分と平行する検査対象画
像上の隣接するn本の線分を選択し、それぞれの画像上
の線分の組み合わせにおいて一致度を評価し、一致度の
大きい評価が与えられた複数の線分に基づいて位置ずれ
値を演算し、その演算された位置ずれ値に基づいて位置
ずれ補正を行って画像の検査を行うようにするものであ
る。また、図8は図7の過程の後に行う本発明の天地左
右方向の位置ずれ補正の過程のフロー図である。FIG. 7 and FIG. 8 are flow charts of examples of combinations of the positional deviation correction methods. This is a process of improving the positional deviation correction accuracy by performing the positional deviation correction in the vertical direction and the lateral deviation direction according to the present invention after performing the positional deviation correction separately in the vertical direction and the horizontal direction. In FIG. 7, the reference line segment positions are m (in the case of FIG. 7, m = 1), whereas the inspection target line segment positions are n (FIG. 7).
In the case of n = 3), and is a flow chart of the process of correcting the positional deviation separately in the vertical direction and the horizontal direction. This m-to-n line correction is performed by m line segments that are parallel to each other on the reference image, and n line segments that are adjacent to each other and that are parallel to the line segment and that include the position of the m line segments. Is selected, the degree of coincidence is evaluated in the combination of line segments on each image, the positional deviation value is calculated based on a plurality of line segments that are evaluated to have a large degree of coincidence, and the calculated positional deviation value is calculated. The image is inspected by correcting the displacement based on the above. FIG. 8 is a flow chart of the process of correcting the positional deviation in the horizontal direction of the present invention performed after the process of FIG.
【0028】図7においては天地方向の位置ずれ補正の
後、左右方向の位置ずれ補正が行われる。まず、ステッ
プS101において、天地方向の基準画像上で1本の線
分、および、その1本の線分位置を含みその線分と平行
する検査対象画像上の隣接する3本の線分を選択し、そ
れぞれの画像上の線分の組み合わせにおいて位置ずれ値
演算を行って最大一致度を演算する。そして、3本の内
でさらに一致度が最大の評価数値が得られた線分に基づ
いて位置ずれ値を演算する。次に、ステップS102に
おいて、この演算処理(S101)を基準画像上の異な
る線分5組について行い、5組の評価数値と位置ずれ値
を得る。すなわち、Zyを天地方向位置ずれ値、Rを評
価数値として(Zy1,R1),(Zy2,R2),
(Zy3,R3),(Zy4,R4),(Zy5,R
5)を得る。In FIG. 7, after the positional displacement in the vertical direction is corrected, the positional displacement in the horizontal direction is corrected. First, in step S101, one line segment on the reference image in the vertical direction and three adjacent line segments on the inspection target image including the position of the one line segment and parallel to the line segment are selected. Then, the positional deviation value is calculated for the combination of the line segments on each image to calculate the maximum degree of coincidence. Then, the positional deviation value is calculated based on the line segment from which the evaluation value with the highest degree of coincidence among the three is obtained. Next, in step S102, this calculation process (S101) is performed for five different sets of line segments on the reference image to obtain five sets of evaluation numerical values and displacement values. That is, Zy is a vertical displacement value, and R is an evaluation numerical value (Zy1, R1), (Zy2, R2),
(Zy3, R3), (Zy4, R4), (Zy5, R
5) is obtained.
【0029】次に、ステップS103において、5組の
評価数値の内から大きいものを3つ選択する。その3つ
を〔Ri,Rj,Rk〕とする。次に、ステップS10
4において、その3つの評価数値に対応する位置ずれ値
〔Zyi,Zyj,Zyk〕に基づき、その中位値(Me
dian)を選択し、天地方向の位置ずれ値Zyとする。Next, in step S103, three larger values are selected from the five sets of evaluation numerical values. Let the three be [Ri, Rj, Rk]. Next, step S10
4, based on the positional deviation values [Zyi, Zyj, Zyk] corresponding to the three evaluation values, the median value (Me
dian) is selected as the vertical displacement value Zy.
【0030】次に、ステップS105において、その天
地方向の位置ずれ値Zyに基づいて検査対象画像の左右
方向ラインアドレスの補正演算式を設定する。すなわ
ち、基準画像の左右方向ラインアドレスをLy、検査対
象画像の左右方向補正ラインアドレスをLy’とすると
下記の数4によって補正演算式は表される。Next, in step S105, a correction arithmetic expression for the horizontal line address of the image to be inspected is set on the basis of the positional deviation value Zy in the vertical direction. That is, when the horizontal line address of the reference image is Ly and the horizontal correction line address of the image to be inspected is Ly ', the correction arithmetic expression is represented by the following Expression 4.
【数4】Ly1’ = Ly1 + Zy Ly2’ = Ly2 + Zy Ly3’ = Ly3 + Zy## EQU00004 ## Ly1 '= Ly1 + Zy Ly2' = Ly2 + Zy Ly3 '= Ly3 + Zy
【0031】次に、ステップS106において、左右方
向の基準画像上で1本の線分(Ly)、および、その1
本の線分位置が補正された線分(Ly’)の線分位置を
含みその線分と平行する検査対象画像上の隣接する3本
の線分を選択し、それぞれの画像上の線分の組み合わせ
において一致度を評価し、3本の内で一致度が最大の評
価数値が得られた線分に基づいて位置ずれ値を演算す
る。次に、ステップS107において、この演算処理を
基準画像上の異なる線分3組(Ly1,Ly2,Ly
3)について行い、3組の位置ずれ値を得る。すなわ
ち、Zxを左右方向位置ずれ値として(Zx1,Zx
2,Zx3)を得る。次に、ステップS108におい
て、その3つの位置ずれ値(Zx1,Zx2,Zx3)
に基づき、その中位値(Median)を選択し、左右方向の
位置ずれ値Zxとする。Next, in step S106, one line segment (Ly) on the reference image in the left-right direction and its 1
Line segments on the inspection target image that include the line segment position of the line segment position (Ly ′) whose line segment position has been corrected and are parallel to that line segment are selected, and the line segment on each image is selected. The degree of coincidence is evaluated in the combination of, and the positional deviation value is calculated based on the line segment from which the evaluation value with the highest degree of coincidence among the three is obtained. Next, in step S107, this calculation process is performed by three sets of different line segments (Ly1, Ly2, Ly) on the reference image.
Perform 3) to obtain three sets of displacement values. That is, Zx is used as the positional deviation value in the left-right direction (Zx1, Zx
2, Zx3) is obtained. Next, in step S108, the three displacement values (Zx1, Zx2, Zx3).
Based on the above, the median value (Median) is selected and set as the positional deviation value Zx in the left-right direction.
【0032】次に、図8に進み、図8においては本発明
の天地左右方向の位置ずれ補正が行われる。ステップS
109において、その天地方向と左右方向の位置ずれ値
Zx,Zyに基づいて検査対象画像の左右方向ラインア
ドレスの補正演算式を設定する。すなわち、基準画像の
天地方向ラインアドレスをLx、検査対象画像の天地方
向補正ラインアドレスをLx’、基準画像の左右方向ラ
インアドレスをLy、検査対象画像の左右方向補正ライ
ンアドレスをLy’とすると下記の数5によって補正演
算式は表される。Next, proceeding to FIG. 8, in FIG. 8, positional deviation correction in the horizontal direction according to the present invention is performed. Step S
At 109, a correction calculation formula for the horizontal line address of the image to be inspected is set based on the positional deviation values Zx and Zy in the vertical direction and the horizontal direction. That is, if the vertical line address of the reference image is Lx, the vertical correction line address of the inspection target image is Lx ′, the horizontal line address of the reference image is Ly, and the horizontal correction line address of the inspection image is Ly ′, then The correction calculation formula is expressed by the equation (5).
【数5】Lx1’ = Lx1 + Zx Ly1’ = Ly1 + Zy Lx2’ = Lx2 + Zx Ly2’ = Ly2 + Zy Lx3’ = Lx3 + Zx Ly3’ = Ly3 + ZyLx1 '= Lx1 + Zx Ly1' = Ly1 + Zy Lx2 '= Lx2 + Zx Ly2' = Ly2 + Zy Lx3 '= Lx3 + Zx Ly3' = Zy3 +.
【0033】次に、ステップS110において、基準画
像上の天地方向と左右方向の3組の線分位置(Lx
1’,Ly1’),(Lx2’,Ly2’),(Lx
3’,Ly3’)について、それらの線分位置を含みそ
の線分と平行関係を保持し二次元の所定の領域を相対的
に位置変化した検査対象画像上の複数の線分を選択し、
それら選択された線分に対応する基準画像データおよび
検査画像データの一致度を評価する。次に、ステップS
111において、一致度の大きい評価が与えられた複数
の線分に基づいて交点の座標から位置ずれ値を演算す
る。3組の線分位置について各々位置ずれ値が、Zxx
を左右方向位置ずれ値、Zyyを天地方向位置ずれ値と
して(Zxx1,Zyy1),(Zxx2,Zyy
2),(Zxx3,Zyy3)のように与えられる。次
に、ステップS112において、その3つの位置ずれ値
に基づき、天地方向(Zy1,Zy2,Zy3)と左右
方向(Zx1,Zx2,Zx3)別々にその中位値(Me
dian)を選択し、天地左右方向の位置ずれ値Zx,Zy
とする。Next, in step S110, three sets of line segment positions (Lx
1 ', Ly1'), (Lx2 ', Ly2'), (Lx
3 ′, Ly3 ′), select a plurality of line segments on the inspection target image that include those line segment positions and maintain a parallel relationship with the line segment and relatively change the position of a predetermined two-dimensional region,
The degree of coincidence between the reference image data and the inspection image data corresponding to the selected line segment is evaluated. Next, step S
In 111, a positional deviation value is calculated from the coordinates of the intersections based on the plurality of line segments that are evaluated with a high degree of coincidence. The positional deviation value for each of the three sets of line segment positions is Zxx
Is a lateral displacement value and Zyy is a vertical displacement value (Zxx1, Zyy1), (Zxx2, Zyy
2), (Zxx3, Zyy3). Next, in step S112, the median value (Me) is separately calculated based on the three positional deviation values in the vertical direction (Zy1, Zy2, Zy3) and the horizontal direction (Zx1, Zx2, Zx3).
dian), and position displacement values Zx and Zy in the horizontal direction.
And
【0034】このようにこの例では、天地方向の位置ず
れ補正を行った後に、左右方向の位置ずれ補正を行い、
さらに天地左右方向の位置ずれ補正を行う。これにより
位置ずれ補正精度を高めるとともに、精度の高さの割り
には所要処理時間を短くするこができる。また、印刷物
の検査においては、印刷物の走行による挙動状態が、蛇
行による左右方向の位置ずれよりも、印刷物を撮影する
カメラユニットが、印刷ユニットより離れた位置に設置
されるため、テンション変動等による天地方向の位置ず
れの方が普通は大きい。従って、この例のように、天地
方向の位置ずれ補正を先に行う方が、信頼性の高い位置
ずれ補正が可能となる。As described above, in this example, after the positional deviation correction in the vertical direction is performed, the positional deviation correction in the horizontal direction is performed,
Further, the position shift in the horizontal direction is corrected. As a result, the positional deviation correction accuracy can be improved, and the processing time required for the high accuracy can be shortened. Further, in the inspection of the printed matter, the behavioral state of the printed matter caused by running may be different from the displacement of the printed matter due to the meandering because the camera unit for photographing the printed matter is installed at a position distant from the printing unit. The vertical displacement is usually larger. Therefore, as in this example, it is possible to perform the positional deviation correction with higher reliability by performing the positional deviation correction in the vertical direction first.
【0035】また、この例では、天地方向の線分位置の
数を5本、左右方向の線分位置の数を3本とした。これ
ら複数本の位置ずれ補正値の中位値、または評価数値に
よって選された位置ずれ補正値の中位値を、最終的な位
置ずれ補正値とするので、一部の結果に誤りを生じても
正しい補正値を得ることができる。このように、線分位
置を複数とすることで、位置ずれ補正の信頼性を向上さ
せることができる。このような線分位置の選択や交点画
素指定部15による交点画素位置の選択は、基準画像デ
ータから、左右方向の位置ずれ時にデータ変化が少ない
天地方向線分、および天地方向の位置ずれ時にデータ変
化が少ない左右方向線分が選択されるようにする。この
線分の選択方法は、本発明者が出願した特開平7−24
9122号に記載されている方法を適用することができ
る。In this example, the number of line segment positions in the vertical direction is five, and the number of line segment positions in the horizontal direction is three. Since the median value of these misalignment correction values or the median value of misalignment correction values selected by the evaluation value is used as the final misalignment correction value, some results may be incorrect. Can also obtain a correct correction value. In this way, by using a plurality of line segment positions, it is possible to improve the reliability of positional deviation correction. The selection of the line segment position and the selection of the intersection pixel position by the intersection pixel designating unit 15 are performed by selecting the vertical line segment from which data changes little when the horizontal position shifts from the reference image data, and the data when the vertical position shift occurs. Select the line segment in the left-right direction that changes less. This line segment selection method is described in Japanese Patent Application Laid-Open No. 7-24 filed by the present inventor.
The method described in No. 9122 can be applied.
【0036】図9は位置ずれ補正比較部の構成を示すブ
ロック図である。図9において、13は位置ずれ補正比
較部、6はカメラ制御部、9は基準画像データメモリ、
10は検査対象画像データメモリ、12は位置ずれ検出
部、23は膨張処理回路、24は縮退処理回路、25は
上限閾値設定回路、26は下限閾値設定回路、27は上
限閾値画像バッファ、28は下限閾値画像バッファ、2
9は画像ずらし回路、30は上限閾値比較回路、31は
下限閾値比較回路である。以上の構成において、画像ず
らし回路29は、検査対象画像データメモリ10の画像
を位置ずれ検出部によって求められた位置ずれ補正値に
従って、ずらす処理を行う。FIG. 9 is a block diagram showing the structure of the positional deviation correction comparison unit. In FIG. 9, 13 is a positional deviation correction comparison unit, 6 is a camera control unit, 9 is a reference image data memory,
10 is an image data memory to be inspected, 12 is a displacement detection unit, 23 is an expansion processing circuit, 24 is a degeneration processing circuit, 25 is an upper threshold setting circuit, 26 is a lower threshold setting circuit, 27 is an upper threshold image buffer, and 28 is Lower threshold image buffer, 2
Reference numeral 9 is an image shift circuit, 30 is an upper threshold comparison circuit, and 31 is a lower threshold comparison circuit. In the above configuration, the image shifting circuit 29 shifts the image in the inspection target image data memory 10 according to the positional shift correction value obtained by the positional shift detection unit.
【0037】縮退処理回路24は、基準画像データメモ
リ9に書き込まれた画像データの輝度の明るい領域に相
当する領域を細らせる処理を行なうものである。逆に、
膨張処理回路23は、明るい領域を太らせる処理を行な
う。実際の処理の一例は縮退処理回路24は以下の数
6、膨張処理回路23以下の数7で示される。The degeneracy processing circuit 24 performs a process of narrowing an area corresponding to a bright area of the image data written in the reference image data memory 9. vice versa,
The expansion processing circuit 23 performs processing for thickening a bright area. As an example of the actual processing, the degeneration processing circuit 24 is expressed by the following Expression 6, and the expansion processing circuit 23 and the following Expressions 7.
【数6】f(x,y)=min{f(x−1,y−
1),f(x,y−1),f(x+1,y−1),f
(x−1,y),f(x,y),f(x+1,y),f
(x−1,y+1),f(x,y+1),f(x+1,
y+1)} ただし、上記関数min{}は、列挙した変数のうちの
最小値をとることを示している。## EQU6 ## f (x, y) = min {f (x-1, y-
1), f (x, y-1), f (x + 1, y-1), f
(X-1, y), f (x, y), f (x + 1, y), f
(X-1, y + 1), f (x, y + 1), f (x + 1,
y + 1)} However, the function min {} indicates that the minimum value of the listed variables is taken.
【数7】f(x,y)=max{f(x−1,y−
1),f(x,y−1),f(x+1,y−1),f
(x−1,y),f(x,y),f(x+1,y),f
(x−1,y+1),f(x,y+1),f(x+1,
y+1)} ただし、上記関数max{}は、列挙した変数のうちの
最大値を取ることを示している。## EQU00007 ## f (x, y) = max {f (x-1, y-
1), f (x, y-1), f (x + 1, y-1), f
(X-1, y), f (x, y), f (x + 1, y), f
(X-1, y + 1), f (x, y + 1), f (x + 1,
y + 1)} However, the function max {} indicates that the maximum value among the listed variables is taken.
【0038】数6は、対象画素とその8近傍の画素の輝
度の内から、最も暗い輝度値を新たに対象画素の輝度と
することを表している。また、数7は、対象画素とその
8近傍の画素の輝度の内から、最も明るい輝度値を新た
に対象画素の輝度とすることを表している。下限閾値設
定回路26には、予めパラメータ入力部14より輝度変
動の下限値が設定されていて、縮退処理回路24の出力
より、その下限値が減算され、下限閾値画像バッファ2
8に書き込まれる。同様に上限閾値設定回路25には、
予めパラメータ入力部14より輝度変動の上限値が設定
されていて、膨張処理回路23の出力に、その上限値が
加算され、上限閾値画像バッファ27に書き込まれる。Expression 6 represents that the darkest brightness value is newly set as the brightness of the target pixel from the brightness of the target pixel and the pixels in the vicinity of the target pixel. Expression 7 represents that the brightest brightness value is newly set as the brightness of the target pixel from the brightness of the target pixel and the pixels in the vicinity of the target pixel. The lower limit threshold value setting circuit 26 has a lower limit value of the brightness variation set in advance by the parameter input unit 14, and the lower limit value is subtracted from the output of the degeneration processing circuit 24.
8 is written. Similarly, the upper threshold setting circuit 25
The upper limit value of the brightness variation is set in advance by the parameter input unit 14, and the upper limit value is added to the output of the expansion processing circuit 23 and written in the upper limit threshold image buffer 27.
【0039】下限閾値比較回路31では、下限閾値画像
バッファ28の輝度値と検査対象画像データメモリ10
の輝度値を対応する画素毎に比較し、検査対象画像デー
タメモリ10の輝度値が、下限閾値画像バッファ28の
輝度値より低い場合に、欠陥が発生したと判定する。ま
た、上限閾値比較回路30では、上限閾値画像バッファ
27の輝度値と検査対象画像データメモリ10の輝度値
を対応する画素毎に比較し、検査対象画像データメモリ
の輝度値が、上限閾値画像バッファ27の輝度値より高
い場合に、欠陥が発生したと判定する。In the lower threshold comparison circuit 31, the luminance value of the lower threshold image buffer 28 and the image data memory 10 to be inspected.
Are compared for each corresponding pixel, and when the brightness value of the inspection target image data memory 10 is lower than the brightness value of the lower limit threshold image buffer 28, it is determined that a defect has occurred. Further, the upper limit threshold comparison circuit 30 compares the luminance value of the upper limit threshold image buffer 27 and the luminance value of the inspection target image data memory 10 for each corresponding pixel, and the luminance value of the inspection target image data memory indicates the upper limit threshold image buffer. When the brightness value is higher than 27, it is determined that a defect has occurred.
【0040】なお、本発明の位置ずれ補正処理は、1画
素単位の補正であるから、補正処理を行っても1画素以
下の位置ずれは補正しきれない。そこで位置ずれ補正比
較部13で、縮退処理回路24および膨張処理回路23
を備えて、画像中の輝度変化が激しいエッジ部分での誤
検出を許容した。また、本願発明の位置ずれ補正比較部
13の構成はこの実施例に限定されるものではなく、基
準画像メモリの各画素の輝度と、被検査画像の各画素の
輝度を、位置ずれ値に従って単純に比較するものでもよ
い。Since the positional deviation correction process of the present invention is a correction for each pixel, the positional deviation of less than one pixel cannot be corrected even if the correction process is performed. Therefore, in the misregistration correction comparison unit 13, the degeneration processing circuit 24 and the expansion processing circuit 23
With this feature, erroneous detection was allowed in the edge part where the brightness change in the image is drastic. The configuration of the misregistration correction comparing unit 13 of the present invention is not limited to this embodiment, and the brightness of each pixel of the reference image memory and the brightness of each pixel of the image to be inspected can be simply calculated according to the misregistration value. It may be compared to.
【0041】[0041]
【発明の効果】以上のように本発明によれば、位置ずれ
の特殊な傾向や印刷物の絵柄に特殊な内容があるような
場合においても、処理時間が短く信頼度の高い位置ずれ
補正を行って画像の検査を行うことのできる画像検査方
法およびその方法を適用した装置が提供される。また、
本発明によれば、位置ずれ値を求める場合に、第1の方
向と第2の方向の2つの方向について別々に一致度の評
価数値を得るのではなく、2つの方向について総合して
一致度の評価数値を得るようにする。これにより、正確
な位置ずれ値を得ることができ、最適な位置ずれ補正を
行うことができる。As described above, according to the present invention, even when there is a special tendency of misregistration or a special content of the pattern of the printed matter, the misregistration correction with a short processing time and high reliability is performed. Provided are an image inspection method and an apparatus to which the method is applied, which can inspect an image. Also,
According to the present invention, when the misalignment value is obtained, the evaluation values of the degree of coincidence are not separately obtained for the two directions of the first direction and the second direction, but the degree of coincidence is comprehensively calculated for the two directions. Get the evaluation value of. As a result, it is possible to obtain an accurate positional deviation value and perform optimal positional deviation correction.
【図1】本発明による画像検査方法および装置における
画像検査の処理過程を示すフロー図である。FIG. 1 is a flow chart showing an image inspection process in an image inspection method and apparatus according to the present invention.
【図2】本発明において2つの方向について総合して一
致度の評価数値を得る場合の基準画像データと対応する
検査対象画像データの関係を示す図である。FIG. 2 is a diagram illustrating a relationship between reference image data and corresponding inspection target image data when an evaluation value of the degree of coincidence is obtained by integrating two directions in the present invention.
【図3】基準画像上の交点画素P(x,y)が、それに
対応する検査対象画像の所定範囲画素A上の画素を順次
移動して、所定範囲の全体にわたって一致度の評価を行
う過程の説明図である。FIG. 3 is a process in which an intersection pixel P (x, y) on a reference image sequentially moves corresponding pixels on a predetermined range pixel A of an inspection target image to evaluate the degree of coincidence over the entire predetermined range. FIG.
【図4】本発明の装置構成の概要を示す模式図である。FIG. 4 is a schematic diagram showing an outline of a device configuration of the present invention.
【図5】印刷物検査装置本体の構成を示すブロック図で
ある。FIG. 5 is a block diagram illustrating a configuration of a printed matter inspection device main body.
【図6】位置ずれ検出部の構成を示すブロック部であ
る。FIG. 6 is a block section showing a configuration of a positional deviation detection section.
【図7】基準の線分位置がm本(図7の場合m=1)に
対して検査対象の線分位置がn本(図7の場合n=3)
とし、天地方向と左右方向とを別々に位置ずれ補正する
過程のフロー図である。FIG. 7 is a standard line segment position for m lines (m = 1 in FIG. 7) and an inspection target line segment position for n lines (n = 3 in FIG. 7).
FIG. 6 is a flow chart of a process of separately correcting the positional deviation in the vertical direction and the horizontal direction.
【図8】図7の過程の後に行う本発明の天地左右方向の
位置ずれ補正の過程のフロー図である。8 is a flow chart of a process of correcting the positional deviation in the horizontal direction of the present invention performed after the process of FIG.
【図9】位置ずれ補正比較部の構成を示すブロック図で
ある。FIG. 9 is a block diagram showing a configuration of a positional deviation correction comparison unit.
1印刷ユニット 2印刷物 3ガイドローラ 4光源 5カメラユニット 6カメラ制御部 7ロータリーエンコーダ 8印刷物検査装置本体 9基準画像データメモリ 10検査対象画像データメモリ 11基準入力司令入力部 12位置ずれ検出部 13位置ずれ補正比較部 14パラメータ入力部 15交点画素指定部 16所定範囲画素指定部 17第1データ抽出部 18第2データ抽出部 19第1画像データ列メモリ 20第2画像データ列メモリ 21評価数値算出部 22中位値算出部 23膨張処理回路 24縮退処理回路 25上限閾値設定回路 26下限閾値設定回路 27上限閾値画像バッファ 28下限閾値画像バッファ 29画像ずらし回路 30上限閾値比較回路 31下限閾値比較回路 1 printing unit 2 printed matter 3 guide roller 4 light source 5 camera unit 6 camera control unit 7 rotary encoder 8 printed matter inspection apparatus main body 9 reference image data memory 10 inspection target image data memory 11 reference input command input unit 12 position shift detection unit 13 position shift Correction comparison unit 14 Parameter input unit 15 Intersection pixel designation unit 16 Predetermined range pixel designation unit 17 First data extraction unit 18 Second data extraction unit 19 First image data string memory 20 Second image data string memory 21 Evaluation numerical value calculation unit 22 Mid-value calculator 23 Expansion processing circuit 24 Degeneration processing circuit 25 Upper threshold setting circuit 26 Lower threshold setting circuit 27 Upper threshold image buffer 28 Lower threshold image buffer 29 Image shifting circuit 30 Upper threshold comparison circuit 31 Lower threshold comparison circuit
Claims (6)
る画像検査方法において、 基準画像を構成する画素の1つを交点画素として指定す
る交点画素指定過程と、 検査対象画像を構成する画素の内で前記交点画素に対応
して決定される所定範囲の画素を所定範囲画素として指
定する所定範囲画素指定過程と、 前記交点画素を含み位置ずれを補正すべき第1の方向と
平行方向となる画素列のデータである第1の基準画素デ
ータ列、および、前記交点画素を含み位置ずれを補正す
べき第2の方向と平行方向となる画素列のデータである
第2の基準画素データ列、を抽出する第1データ抽出過
程と、 前記所定範囲画素から選択された一つの画素を含み位置
ずれを補正すべき第1の方向と平行方向となる画素列の
データである第1の検査対象画素データ列、および、前
記選択された一つの画素を含み位置ずれを補正すべき第
2の方向と平行方向となる画素列のデータである第2の
検査対象画素データ列、を抽出する第2データ抽出過程
と、 前記第1の基準画素データ列と前記第1の検査対象画像
データ、および、前記第2の基準画素データ列と前記第
2の検査対象画像データ、とから全ての画像データに基
づく一致度の評価数値を得る評価数値演算過程と、 前記所定範囲画素から選択される一つの画素を変更し
て、前記第2データ抽出過程と、前記相関係数演算過程
と、を繰り返し、前記所定範囲画素の全てに対応する評
価数値を得る演算繰返過程と、 その演算繰返過程で得られた評価数値の内で一致度が最
大の評価数値を与える前記所定範囲画素から選択された
一つの画素の位置データと、前記交点画素の位置データ
とから位置ずれ値を得る位置ずれ値演算過程と、 その位置ずれ値演算過程で得た位置ずれ値に基づいて位
置ずれを補正して基準画像と比較して検査対象画像を検
査する位置ずれ補正比較過程と、 を含むことを特徴とする画像検査方法。1. An image inspection method for inspecting an inspection target image by comparing it with a reference image, wherein an intersection pixel designating process of designating one of the pixels forming the reference image as an intersection pixel, and a pixel forming the inspection target image. A predetermined range pixel designating process of designating a predetermined range of pixels, which is determined corresponding to the intersection pixel, as a predetermined range pixel, and a first direction parallel to the first direction including the intersection pixel and having a positional deviation to be corrected. And a second reference pixel data row which is data of a pixel row which is parallel to a second direction including the intersection pixel and in which positional deviation is to be corrected. A first data extraction step of extracting, and a first inspection target which is data of a pixel row including one pixel selected from the predetermined range pixels and in a direction parallel to the first direction in which the positional deviation is to be corrected. Pixel data A second row for extracting a data row and a second row of pixel data to be inspected, which is data of a row of pixels including the selected one pixel and in a direction parallel to the second direction in which positional deviation is to be corrected. A data extraction process, from the first reference pixel data sequence and the first inspection target image data, and the second reference pixel data sequence and the second inspection target image data to all image data An evaluation numerical value calculation step of obtaining an evaluation numerical value of the degree of coincidence based on the pixel, changing one pixel selected from the predetermined range pixels, repeating the second data extraction step and the correlation coefficient calculation step, A calculation iterative process that obtains evaluation numerical values corresponding to all pixels in a predetermined range, and one of the predetermined range pixels that gives the evaluation numerical value with the highest degree of coincidence among the evaluation numerical values obtained in the calculation repeated process. One pixel position data And a positional deviation value calculation process for obtaining a positional deviation value from the position data of the intersection pixel, and the positional deviation is corrected based on the positional deviation value obtained in the positional deviation value calculation step and compared with the reference image for inspection. An image inspection method comprising: a positional deviation correction comparison process for inspecting a target image;
る画像検査装置において、 基準画像を構成する画素の1つを交点画素として指定す
る交点画素指定手段と、 検査対象画像を構成する画素の内で前記交点画素に対応
して決定される所定範囲の画素を所定範囲画素として指
定する所定範囲画素指定手段と、 前記交点画素を含み位置ずれを補正すべき第1の方向と
平行方向となる画素列のデータである第1の基準画素デ
ータ列、および、前記交点画素を含み位置ずれを補正す
べき第2の方向と平行方向となる画素列のデータである
第2の基準画素データ列、を抽出する第1のデータ抽出
手段と、 前記所定範囲画素から選択された一つの画素を含み位置
ずれを補正すべき第1の方向と平行方向となる画素列の
データである第1の検査対象画素データ列、および、前
記選択された一つの画素を含み位置ずれを補正すべき第
2の方向と平行方向となる画素列のデータである第2の
検査対象画素データ列、を抽出する第2のデータ抽出手
段と、 前記第1の基準画素データ列と前記第1の検査対象画像
データ、および、前記第2の基準画素データ列と前記第
2の検査対象画像データ、とから全ての画像データに基
づく一致度の評価数値を得る評価数値演算手段と、 前記所定範囲画素から選択される一つの画素を変更し
て、前記第2のデータ抽出手段と、前記評価数値演算手
段と、を繰り返し、前記所定範囲画素の全てに対応する
評価数値を得る演算繰返手段と、 その演算繰返手段で得られた評価数値の内で一致度が最
大の評価数値を与える前記所定範囲画素から選択された
一つの画素の位置データと、前記交点画素の位置データ
とから位置ずれ値を得る位置ずれ値演算手段と、 その位置ずれ値演算過程で得た位置ずれ値に基づいて位
置ずれを補正して基準画像と比較して検査対象画像を検
査する位置ずれ補正比較手段と、 を含むことを特徴とする画像検査装置。2. An image inspection apparatus for inspecting an inspection target image by comparing with a reference image, an intersection pixel designating unit for designating one of the pixels forming the reference image as an intersection pixel, and a pixel forming the inspection target image. A predetermined range pixel designating means for designating a predetermined range of pixels, which is determined corresponding to the intersection pixel, as a predetermined range pixel; and a first direction including the intersection pixel and having a position deviation to be corrected, and a parallel direction. And a second reference pixel data row which is data of a pixel row which is parallel to a second direction including the intersection pixel and in which positional deviation is to be corrected. , A first data extraction unit for extracting, and a first inspection that is data of a pixel row that includes one pixel selected from the predetermined range pixels and is in a direction parallel to the first direction in which the positional deviation is to be corrected. Target pixel A second column for extracting a data column and a second pixel data column to be inspected, which is data of a pixel column that includes the selected one pixel and is in a direction parallel to the second direction in which the positional deviation is to be corrected. All the image data from the data extracting means, the first reference pixel data sequence and the first inspection target image data, and the second reference pixel data sequence and the second inspection target image data An evaluation numerical value calculating means for obtaining an evaluation numerical value of the degree of coincidence based on the predetermined range, one pixel selected from the predetermined range of pixels is changed, and the second data extracting means and the evaluation numerical value calculating means are repeated, A calculation repeating means for obtaining evaluation numerical values corresponding to all pixels in a predetermined range, and one selected from the predetermined range pixels giving the evaluation numerical value with the highest degree of coincidence among the evaluation numerical values obtained by the calculation repeating means. The position of one pixel A positional shift value calculating means for obtaining a positional shift value from the data and the position data of the intersection pixel, and correcting the positional shift based on the positional shift value obtained in the positional shift value calculation process and comparing it with a reference image. An image inspection apparatus comprising: a positional deviation correction comparing unit that inspects an image to be inspected.
の方向と前記第2の方向とは直交することを特徴とする
請求項2記載の画像検査装置。3. The first direction, which is a direction in which positional deviation should be corrected.
3. The image inspection apparatus according to claim 2, wherein the direction of and the second direction are orthogonal to each other.
とする請求項2または3記載の画像検査装置。4. The image inspection apparatus according to claim 2, wherein the evaluation numerical value is a correlation coefficient.
とを特徴とする請求項2または3記載の画像検査装置。5. The image inspection apparatus according to claim 2, wherein the evaluation numerical value is a sum of absolute values of differences.
を特徴とする請求項2または3記載の画像検査装置。6. The image inspection apparatus according to claim 2, wherein the evaluation value is a sum of squared differences.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17162796A JP3853429B2 (en) | 1996-06-12 | 1996-06-12 | Image inspection method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17162796A JP3853429B2 (en) | 1996-06-12 | 1996-06-12 | Image inspection method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09330410A true JPH09330410A (en) | 1997-12-22 |
JP3853429B2 JP3853429B2 (en) | 2006-12-06 |
Family
ID=15926695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17162796A Expired - Lifetime JP3853429B2 (en) | 1996-06-12 | 1996-06-12 | Image inspection method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3853429B2 (en) |
-
1996
- 1996-06-12 JP JP17162796A patent/JP3853429B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP3853429B2 (en) | 2006-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107433780B (en) | Method for identifying printing nozzle faults in an inkjet printer | |
US6072897A (en) | Dimension error detection in object | |
US7366343B2 (en) | Pattern inspection method and apparatus | |
CN107155094B (en) | Using the vision inspections method of multiple video cameras | |
JP2000113198A (en) | Method for automatically inspecting print quality using elastic model | |
JP2002005846A (en) | Defect inspecting apparatus | |
JPH11248641A (en) | Device and method for inspecting surface defect | |
JP3433331B2 (en) | Image inspection method and apparatus | |
DE69019951T2 (en) | Apparatus for examining printed matter and corresponding method. | |
JP3204876B2 (en) | Print inspection equipment | |
JP2556894B2 (en) | Print quality inspection device and method | |
JP3853429B2 (en) | Image inspection method and apparatus | |
JPH09330411A (en) | Picture inspecting method and its device | |
JP2004170394A (en) | Press plate inspection device and press plate inspection system | |
JPH09330412A (en) | Picture inspecting method and its device | |
JP2011252886A (en) | Inspection method for printed matter and inspection device therefor | |
JPH08254499A (en) | Displaying/appearance inspection device | |
JPH0147821B2 (en) | ||
JP6665903B2 (en) | Feature image generation device, inspection device, feature image generation method, and feature image generation program | |
JP2011112593A (en) | Inspection method and inspection device of printed matter | |
JPH09226098A (en) | Print check method, device therefor and monitoring device for print check device | |
JPH0147823B2 (en) | ||
JP3841889B2 (en) | Image inspection method and apparatus | |
JP2019215348A (en) | Image inspection robot | |
JPH08290555A (en) | Automatic evaluation method using optoelectronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060906 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
EXPY | Cancellation because of completion of term |