JPH1139487A - Method and device for image inspection - Google Patents

Method and device for image inspection

Info

Publication number
JPH1139487A
JPH1139487A JP9205503A JP20550397A JPH1139487A JP H1139487 A JPH1139487 A JP H1139487A JP 9205503 A JP9205503 A JP 9205503A JP 20550397 A JP20550397 A JP 20550397A JP H1139487 A JPH1139487 A JP H1139487A
Authority
JP
Japan
Prior art keywords
image
value
defect
difference
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9205503A
Other languages
Japanese (ja)
Inventor
Yoshito Abe
淑人 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP9205503A priority Critical patent/JPH1139487A/en
Publication of JPH1139487A publication Critical patent/JPH1139487A/en
Pending legal-status Critical Current

Links

Landscapes

  • Complex Calculations (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To make a quality decision wherein the difference of a defect from a normal density value and the size of area are both integrated by binarizing a morphology operation image obtained from a light-shade image through operation with a specific threshold value. SOLUTION: When an image input camera 1 picks up an image of a print surface in synchronism with conveyance and stores it in an input buffer 2, a difference and absolute value generating circuit 8 inputs an image to be inspected from the buffer 2, a reference image from a reference image memory 4, and a blind sector image from a blind sector image memory 6 to obtain an absolute value image as the difference between the reference image and object image. Morphology operation circuits 9a to 9c generate a morphology image for the absolute value image of the difference by using a specific constitution function. Then binarizing circuits 11a to 11c binarize the morphology operation image according to a threshold value. Consequently, a defective area is discriminated according to the difference from the normal density value and the size of the area, a decision circuit 13 outputs a defect kind value, and a control output circuit 14 performs a process corresponding to the value.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は、基準画像と検査対象画
像とを比較して検査する画像検査方法と装置に関する。
特に、正常濃度値との差は大きいが面積の小さい不良
や、面積は大きいが正常濃度値と差の小さい不良を検出
することができる画像検査方法と装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image inspection method and apparatus for comparing and inspecting a reference image and an image to be inspected.
In particular, the present invention relates to an image inspection method and apparatus capable of detecting a defect having a large difference from a normal density value but a small area and a defect having a large area but a small difference from a normal density value.

【0002】なお、印刷物における印刷の濃淡を数量的
に表す場合、一般に“濃度値”が用いられる。しかし、
印刷の濃淡は“濃度値”に限定されず“反射率”、“透
過率”または、その他の線型、非線型の数量によって表
すことができる。本発明においては数量的に表した印刷
の濃淡を“反射率”等のその他の数量的表現を含めた意
味で“濃度値”と記述する。
[0002] When the density of printing on a printed matter is quantitatively represented, "density value" is generally used. But,
The density of the print is not limited to the “density value” and can be represented by “reflectance”, “transmittance”, or other linear or non-linear quantity. In the present invention, the density of printing expressed quantitatively is described as "density value" in a sense including other numerical expressions such as "reflectance".

【0003】[0003]

【従来の技術】印刷物の不良には、印刷用紙の皺、異
物、汚れ等の欠陥によるもの、印刷中に発生する、イン
キ汚れ、ヒッキー、ドクター筋、濃度不良、色調不良
等、様々なものがある。従来、印刷物の検査は、人間に
よって行われる目視検査が主体であり、例えば、枚葉印
刷機、あるいは輪転印刷機の折ユニットから排出される
印刷後の印刷物においては、印刷機のオペレータ(操作
者)が適時抜き取って、目視による検査を行っていた。
また、連続した印刷物が印刷機より排出され抜き取りの
行えない場合は、印刷物の走行速度に同期させて瞬間発
光するストロボ光を印刷物に照射し、人間の目の残像を
利用して静止状態とし印刷物の目視検査を行っていた。
目視検査は精神の集中を必要とし検査する人間に対する
作業負荷が非常に大きく、また人間が行うため検査基準
が曖昧であったり不良の見逃しが避けられないものであ
る。そこで、印刷物検査を自動的に行う提案がなされ様
々な技術が開示されている。
2. Description of the Related Art There are various defects in printed matter, such as defects such as wrinkles, foreign matters, and stains on printing paper, and ink stains, hickey, doctor streak, poor density, and poor color tone that occur during printing. is there. Conventionally, printed matter inspection is mainly performed by visual inspection performed by humans. For example, in the case of printed matter discharged from a folding unit of a sheet-fed printing press or a rotary printing press, a printing machine operator (operator) ) Was removed at the appropriate time and inspected visually.
If a continuous printout is ejected from the printing press and cannot be extracted, the printout is irradiated with flash light that flashes instantaneously in synchronization with the running speed of the printout, and the printout is made stationary using the afterimage of the human eye. Was visually inspected.
Visual inspection requires concentration of the mind and requires a very large work load on the person to be inspected. Further, since the inspection is performed by a person, the inspection standard is ambiguous and it is inevitable to miss a defect. Therefore, proposals have been made to automatically perform printed matter inspection, and various techniques have been disclosed.

【0004】例えば、特公平1−47823号には、正
常な印刷物が印刷された時点で走行印刷物の絵柄から読
み取った画像データを基準画像データとして画像メモリ
に記憶しておき、その画像メモリから読み出した基準画
像データを、印刷中の検査対象の印刷物の絵柄から読み
取った検査対象画像データと画素単位で比較して印刷の
良否判定を行う方式の印刷物の検査装置に関する技術が
開示されている。
For example, in Japanese Patent Publication No. 1-47823, image data read from a picture of a running printed matter when a normal printed matter is printed is stored as reference image data in an image memory, and read out from the image memory. There is disclosed a technique relating to a printed matter inspection apparatus of a method of comparing the reference image data read from a pattern of a printed matter to be inspected during printing with the image data to be inspected on a pixel-by-pixel basis to determine the quality of printing.

【0005】[0005]

【発明が解決しようとする課題】しかしながら、このよ
うな検査装置においては画素単位の比較を基本とするた
め、正常濃度値との差が大きい不良については、その面
積の大きさの如何にかかわらず検出できるが、正常濃度
値との差が小さい不良については、その面積の大きさが
いくら大きくても検出することができないという問題が
ある。これを避けるため、所定の領域の画素の正常濃度
値との差の絶対値を積分することにより、ノイズとの見
分けが困難な小さな正常濃度値との差を明確な有意差と
して検出することが行われる。積分処理装置を実現し易
いため、印刷画像全体の濃度値のわずかな変化の検出
や、印刷用紙の移送方向に延びるドクター筋やヒッキー
の検出に適用される。
However, since such an inspection apparatus is based on comparison on a pixel-by-pixel basis, a defect having a large difference from a normal density value can be obtained regardless of the size of the area. There is a problem that a defect that can be detected but has a small difference from the normal density value cannot be detected no matter how large its area is. In order to avoid this, by integrating the absolute value of the difference from the normal density value of the pixel in the predetermined area, it is possible to detect the difference from the small normal density value, which is difficult to distinguish from noise, as a clear significant difference. Done. Since it is easy to realize the integration processing device, the present invention is applied to detection of a slight change in the density value of the entire print image and detection of a doctor streak or a hitkey extending in the transport direction of the printing paper.

【0006】ところが本来は、この積分する領域を印刷
絵柄の内容に応じて決定することが効果的である。しか
し印刷物における絵柄は多種多様であるため、印刷品目
が切り替わる度に積分する領域を決定することは運用上
実際的ではない。また、多種多様な絵柄に対応できるよ
うに積分する領域をあらかじめ多様化かつ細分化するこ
とが考えられるが、積分処理装置における演算量が膨大
となるため装置規模の点で現実的ではない。そこで本発
明の目的は、不良における正常濃度値との差と面積の大
きさとの両方を一体として扱う検査基準により良否判定
を行う画像検査方法および装置を提供することにある。
However, originally, it is effective to determine the area to be integrated in accordance with the content of the printed picture. However, since the patterns in printed matter are various, it is not practical for operation to determine the area to be integrated each time the print item is switched. Further, it is conceivable to diversify and subdivide the region to be integrated in advance so as to be able to cope with various kinds of pictures, but this is not realistic in terms of the scale of the apparatus because the amount of calculation in the integration processing apparatus is enormous. SUMMARY OF THE INVENTION It is an object of the present invention to provide an image inspection method and apparatus for performing a pass / fail judgment based on an inspection criterion that treats both a difference between a normal density value in a defect and an area size as one.

【0007】[0007]

【課題を解決するための手段】上記の目的は下記の本発
明によって達成される。すなわち、本発明は「基準画像
と検査対象画像を比較して検査する画像検査方法におい
て、所定の構成関数を用いて濃淡画像に対してモルフォ
ロジー演算を行いモルフォロジー演算画像を得るモルフ
ォロジー演算過程と、所定の閾値を用いて前記モルフォ
ロジー演算画像に対して2値化演算を行い2値化画像を
得る2値化過程と、前記2値化画像に基づいて良否判定
を行う良否判定過程と、を含む画像検査方法」である。
本発明によれば、モルフォロジー演算過程において得ら
れるモルフォロジー演算画像は構成関数に応じて画素値
(濃度値)と画素数(面積)とに関し特定の範囲の部分
画像を濃淡画像から抽出して構成した画像とすることが
できる。それに続く2値化過程において、2値化画像は
閾値に応じて画素値(濃度値)によって規定される特定
の範囲に含まれるか否かを示す画像とすることができ
る。そして良否判定過程において上記により得られた2
値化画像に基づき良否判定が行われるから、不良におけ
る正常濃度値との差と面積の大きさとの両方を一体とし
て扱う検査基準により良否判定を行う画像検査方法が提
供される。
The above objects are achieved by the present invention described below. That is, the present invention provides an image inspection method for comparing and inspecting a reference image and an image to be inspected, wherein a morphological operation is performed on a grayscale image using a predetermined configuration function to obtain a morphological operation image; An image including a binarization process of performing a binarization operation on the morphology operation image using the threshold value to obtain a binarized image, and a pass / fail determination process of performing pass / fail judgment based on the binarized image Inspection method ".
According to the present invention, the morphology operation image obtained in the morphology operation process is configured by extracting a partial image in a specific range with respect to the pixel value (density value) and the number of pixels (area) from the grayscale image according to the configuration function. It can be an image. In the subsequent binarization process, the binarized image can be an image indicating whether or not it is included in a specific range defined by the pixel value (density value) according to the threshold value. Then, in the pass / fail judgment process, 2 obtained above is obtained.
Since the pass / fail judgment is performed based on the digitized image, an image inspection method is provided in which the pass / fail judgment is performed based on an inspection criterion that treats both the difference from the normal density value and the area size of the defect as one.

【0008】また本発明は「前記モルフォロジー演算過
程は、複数の所定の構成関数を用いて濃淡画像に対して
モルフォロジー演算を行い前記構成関数の各々に対応す
るモルフォロジー演算画像を得る過程であり、前記2値
化過程は、前記構成関数の各々に対応する所定の閾値を
用いて前記構成関数の各々に対応するモルフォロジー演
算画像に対して2値化演算を行い前記構成関数の各々に
対応する2値化画像を得る過程であり、前記良否判定過
程は、前記構成関数の各々に対応する2値化画像の全て
に基づいて良否判定を行う過程である、画像検査方法」
である。本発明によれば、モルフォロジー演算過程にお
いて得られるモルフォロジー演算画像は構成関数に応じ
て画素値(濃度値)と画素数(面積)とに関し特定の範
囲の部分画像を濃淡画像から抽出して構成した画像とす
ることができる。それに続く2値化過程において、2値
化画像は画素値(濃度値)によって規定される特定の範
囲に含まれるか否かを示す画像とすることができる。複
数の構成関数とそれに対応する複数の閾値によって複数
の2値化画像が得られる。そして良否判定過程において
上記により得られた複数の2値化画像に基づき良否判定
が行われるから、不良における正常濃度値との差と面積
の大きさとの両方を一体として扱う検査基準により良否
判定を行い、しかも、その検査基準と所望の基準との一
致度が高い画像検査方法が提供される。
[0008] The present invention also provides that "the morphological operation step is a step of performing a morphological operation on a grayscale image using a plurality of predetermined constituent functions to obtain a morphological operation image corresponding to each of the constituent functions. The binarization process performs a binarization operation on a morphological operation image corresponding to each of the constituent functions using a predetermined threshold value corresponding to each of the constituent functions, and performs a binary operation corresponding to each of the constituent functions. Image inspection method, wherein the pass / fail determination step is a step of performing pass / fail determination based on all of the binarized images corresponding to each of the constituent functions. "
It is. According to the present invention, the morphology operation image obtained in the morphology operation process is configured by extracting a partial image in a specific range with respect to the pixel value (density value) and the number of pixels (area) from the grayscale image according to the configuration function. It can be an image. In the subsequent binarization process, the binarized image can be an image indicating whether or not it is included in a specific range defined by the pixel value (density value). A plurality of binarized images are obtained by a plurality of constituent functions and a plurality of thresholds corresponding thereto. In the pass / fail judgment process, pass / fail judgment is performed based on the plurality of binarized images obtained as described above. Therefore, pass / fail judgment is performed based on an inspection criterion that treats both the difference between the normal density value and the area size of the defect as one. Further, an image inspection method is provided which has a high degree of coincidence between the inspection standard and a desired standard.

【0009】また本発明は「前記濃淡画像は基準画像と
検査対象画像とに基づいてすくなくとも差の絶対値の演
算を行って得る画像である画像検査方法」である。本発
明によれば濃淡画像の画素値(濃度値)と画素数(面
積)は不良における正常濃度値との差と面積の大きさに
直接結びつくからモルフォロジー演算過程が簡略化され
る。また本発明は「前記良否判定過程は、前記構成関数
の各々に対応する2値化画像の全てに基づいて、不良に
おける正常濃度値との差と面積の大きさとの両不良属性
から不良種類を判別し不良種別値を得る画像検査方法」
である。本発明によれば不良種別値により検出される不
良が重欠陥であるか軽欠陥であるかを判定することがで
きる。また本発明は「前記不良種別値に対応する操作量
を出力する制御過程を含む画像検査方法」である。本発
明によれば制御過程により不良種別値に応じて警報、印
刷停止等の適切な動作を自動で行うことができる。また
本発明は「前記モルフォロジー演算はオープニング演算
である画像検査方法」である。本発明によれば、前述の
構成関数に応じて画素値(濃度値)と画素数(面積)と
に関し特定の範囲の部分画像を濃淡画像から抽出して構
成したモルフォロジー演算画像を簡単な演算により適合
する形態で得ることができる。また本発明は「前記構成
関数の各々に対応する所定の閾値は面積および/または
濃度値の大きな構成関数に対しては値の小さな閾値が対
応する画像検査方法」である。本発明によれば、不良の
軽重に対する一般的な認識と検出される不良との傾向が
一致する。
Further, the present invention is an image inspection method wherein the grayscale image is an image obtained by calculating at least an absolute value of a difference based on a reference image and an image to be inspected. According to the present invention, since the pixel value (density value) and the number of pixels (area) of the grayscale image are directly linked to the difference between the normal density value and the area size of the defective image, the morphological calculation process is simplified. In addition, the present invention provides a method of determining whether a defect type is based on both defect attributes of a difference between a normal density value and a size of a defect based on all binarized images corresponding to each of the constituent functions. Image inspection method for determining and obtaining defect type values "
It is. According to the present invention, it is possible to determine whether a defect detected by the defect type value is a heavy defect or a light defect. The present invention is also an "image inspection method including a control step of outputting an operation amount corresponding to the defect type value". According to the present invention, it is possible to automatically perform an appropriate operation such as an alarm or a print stop according to a defect type value by a control process. Further, the present invention is "an image inspection method in which the morphological operation is an opening operation". According to the present invention, a morphological operation image formed by extracting a partial image in a specific range from a gray image with respect to a pixel value (density value) and the number of pixels (area) in accordance with the above-described configuration function is obtained by a simple operation. It can be obtained in a compatible form. Further, the present invention is an "image inspection method in which a predetermined threshold value corresponding to each of the constituent functions corresponds to a small threshold value for a constituent function having a large area and / or a density value". According to the present invention, the general recognition of the weight of a defect matches the tendency of a detected defect.

【0010】また本発明は「基準画像と検査対象画像を
比較して検査する画像検査装置において、複数の所定の
構成関数を用いて濃淡画像に対してモルフォロジー演算
を行い前記構成関数の各々に対応するモルフォロジー演
算画像を得るモルフォロジー演算手段と、前記構成関数
の各々に対応する所定の閾値を用いて前記構成関数の各
々に対応するモルフォロジー演算画像に対して2値化演
算を行い前記構成関数の各々に対応する2値化画像を得
る2値化手段と、前記構成関数の各々に対応する2値化
画像の全てに基づいて良否判定を行う良否判定手段と、
を有する画像検査装置」である。本発明によれば、モル
フォロジー演算手段において得られるモルフォロジー演
算画像は構成関数に応じて画素値(濃度値)と画素数
(面積)とに関し特定の範囲の部分画像を濃淡画像から
抽出して構成した画像とすることができる。それに続く
2値化手段において、2値化画像は画素値(濃度値)に
よって規定される特定の範囲に含まれるか否かを示す画
像とすることができる。複数の構成関数とそれに対応す
る複数の閾値によって複数の2値化画像が得られる。そ
して良否判定手段において上記により得られた複数の2
値化画像に基づき良否判定が行われるから、不良におけ
る正常濃度値との差と面積の大きさとの両方を一体とし
て扱う検査基準により良否判定を行い、しかも、その検
査基準と所望の基準との一致度が高い画像検査装置が提
供される。
Further, according to the present invention, there is provided an image inspection apparatus for inspecting a reference image by comparing a reference image with an image to be inspected. Morphological operation means for obtaining a morphological operation image to perform, and performing a binarization operation on the morphological operation image corresponding to each of the constituent functions using a predetermined threshold value corresponding to each of the constituent functions, and performing each of the constituent functions A binarization unit that obtains a binarized image corresponding to, and a pass / fail determination unit that performs pass / fail determination based on all of the binarized images corresponding to each of the constituent functions.
Image inspection apparatus having According to the present invention, the morphology operation image obtained by the morphology operation means is configured by extracting a partial image in a specific range with respect to the pixel value (density value) and the number of pixels (area) according to the configuration function from the grayscale image. It can be an image. In the subsequent binarizing means, the binarized image can be an image indicating whether or not it is included in a specific range defined by the pixel value (density value). A plurality of binarized images are obtained by a plurality of constituent functions and a plurality of thresholds corresponding thereto. Then, in the pass / fail determination means, a plurality of 2
Since the pass / fail judgment is performed based on the binarized image, the pass / fail judgment is performed based on an inspection criterion that treats both the difference from the normal density value in the defect and the size of the area as a unit. An image inspection device having a high degree of coincidence is provided.

【0011】[0011]

【発明の実施の形態】次に本発明について実施の形態に
より説明する。図1は本発明の画像検査方法を実施する
装置(画像検査装置)の構成を示すブロック図である。
図1において、1は印刷面を撮像する画像入力カメラ、
2は画像を一時記憶する画像入力バッファ、3は画像入
力における同期のための同期回路、4は良品印刷物の画
像(基準画像)を記憶する基準画像メモリ、5は基準画
像から不感帯画像を演算する不感帯演算回路、6は不感
帯画像を記憶する不感帯画像メモリ、7は基準画像の更
新と不感帯画像の作成を司令する回路基準画像更新・不
感帯画像作成司令回路、8は検査対象画像と基準画像と
の差分の絶対値を演算する差分・絶対値化回路、9a,
9b,9cは画像(差分絶対値画像)のモルフォロジー
演算を行うモルフォロジー演算回路、10はモルフォロ
ジー演算回路9a,9b,9cにおける演算パラメータ
(構成関数等)を設定する構成関数設定回路、11a,
11b,11cは画像(モルフォロジー演算済画像)の
2値化を行う2値化回路、12は2値化回路11a,1
1b,11cの演算パラメータ(閾値等)を設定する2
値化閾値設定回路、13は2値化回路11a,11b,
11cの出力に基づいて印刷物の良否判定を行う判定回
路、14は判定回路13が出力する不良種別値に対応す
る操作量を出力する制御回路である。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, the present invention will be described with reference to embodiments. FIG. 1 is a block diagram showing the configuration of an apparatus (image inspection apparatus) for implementing the image inspection method of the present invention.
In FIG. 1, reference numeral 1 denotes an image input camera for capturing an image of a printing surface;
2 is an image input buffer for temporarily storing an image, 3 is a synchronization circuit for synchronizing image input, 4 is a reference image memory for storing an image of a non-defective printed matter (reference image), and 5 is a dead zone image calculated from the reference image. A dead zone calculation circuit, 6 is a dead zone image memory for storing a dead zone image, 7 is a circuit for instructing updating of a reference image and creation of a dead zone image, and a reference image updating / dead zone image creation command circuit, and 8 is a circuit for controlling an image to be inspected and a reference image. A difference / absolute value conversion circuit for calculating the absolute value of the difference, 9a,
Reference numerals 9b and 9c denote morphological operation circuits for performing morphological operations on images (absolute difference value images). Reference numeral 10 denotes a configuration function setting circuit for setting operation parameters (configuration functions and the like) in the morphological operation circuits 9a, 9b and 9c.
11b and 11c are binarization circuits for binarizing an image (morphologically processed image), and 12 is a binarization circuit 11a, 1
Set the calculation parameters (threshold and the like) of 1b and 11c 2
A binarization threshold setting circuit, 13 is a binarization circuit 11a, 11b,
A determination circuit 14 determines the quality of the printed matter based on the output of 11c, and a control circuit 14 outputs an operation amount corresponding to the failure type value output by the determination circuit 13.

【0012】画像入力カメラ1は印刷機に設置され、印
刷ユニットから排出されるウェブ(印刷用紙)の印刷面
を撮像する。画像入力カメラ1はラインセンサカメラ、
イメージセンサカメラ等を用いることができる。画像入
力カメラ1の撮像信号(アナログ信号)はA/D変換器
によりディジタルデータに変換され画像入力バッファ2
に一時記憶される。検査が行われるときは印刷機におい
てウェブは移送されているから、ウェブの移送に同期し
て、画像入力カメラ1が印刷面を撮像し画像入力バッフ
ァ2が所定の印刷領域の画像を一時記憶する。この同期
は同期信号に基づいて行われる。同期回路3は、たとえ
ば印刷機の原動軸の回転を検出するロータリーエンコー
ダ等が出力するウェブの移送信号に基づいて同期信号を
生成し、その同期信号を画像入力カメラ1と入力バッフ
ァ2に出力する。
The image input camera 1 is installed in a printing machine and captures an image of a printing surface of a web (printing paper) discharged from a printing unit. The image input camera 1 is a line sensor camera,
An image sensor camera or the like can be used. An image signal (analog signal) from the image input camera 1 is converted into digital data by an A / D converter, and
Is temporarily stored. When the inspection is performed, the web is transported in the printing press. Therefore, in synchronization with the transport of the web, the image input camera 1 captures an image of a printing surface, and the image input buffer 2 temporarily stores an image of a predetermined print area. . This synchronization is performed based on a synchronization signal. The synchronizing circuit 3 generates a synchronizing signal based on a web transfer signal output from, for example, a rotary encoder that detects rotation of a driving shaft of a printing press, and outputs the synchronizing signal to the image input camera 1 and the input buffer 2. .

【0013】基準画像メモリ4は画像入力バッファ2が
一時記憶する画像を入力し、所定の印刷領域全体の画
像、すなわち所定の検査領域の画像(1周期分の印刷物
の画像)を記憶する。基準画像メモリ4が記憶するこの
画像は良品印刷物の画像(基準画像)である。印刷機に
おいて良品が印刷されているときに、印刷機の制御盤で
自動で行われる論理判定またはオペレータによる手入力
に基づいて、回路基準画像更新・不感帯画像作成司令回
路7は基準画像メモリ4に対して基準画像の更新を司令
する出力を行う。基準画像の更新は検査開始前に行われ
るだけでなく、検査中においても、たとえば印刷速度を
変化させた場合等の印刷条件の変更において適時実行さ
れる。基準画像の一例を図2(A)に示す。基準画像は
本来は濃淡画像(この例では画素値が0〜255)であ
るが、図2(A)では線画で濃淡画像を示してある。
The reference image memory 4 receives an image temporarily stored in the image input buffer 2 and stores an image of the entire predetermined printing area, that is, an image of a predetermined inspection area (an image of a printed matter for one cycle). This image stored in the reference image memory 4 is an image of a non-defective printed matter (reference image). When a non-defective product is being printed on the printing press, the circuit reference image update / dead zone image creation command circuit 7 stores the reference image memory 4 in the reference image memory 4 based on logical judgment automatically performed by the control panel of the printing press or manual input by an operator. An output for instructing the updating of the reference image is performed. The updating of the reference image is performed not only before the start of the inspection, but also during the inspection, for example, when the printing conditions are changed, for example, when the printing speed is changed. FIG. 2A shows an example of the reference image. Although the reference image is originally a grayscale image (in this example, the pixel value is 0 to 255), the grayscale image is shown by a line drawing in FIG.

【0014】不感帯演算回路5は基準画像メモリ4が記
憶する基準画像に基づいて不感帯画像を演算し不感帯画
像メモリ6に出力する。基準画像と検査対象画像を画素
ごとに比較する場合、一般に画像におけるエッジ部分
(濃淡の急変部分)は基準画像と検査対象画像の位置ず
れの影響が大きく現れ、正常な範囲内の位置ずれの場合
においても差の絶対値が大きくなる。不感帯画像は、こ
のような正常な範囲内の位置ずれを印刷不良と誤判定す
ることがないようにするためのデータである。すなわ
ち、基準画像と検査対象画像との差を評価する場合に、
単純な差の絶対値だけにより評価するのではなく不感帯
画像で設定される値が考慮される。たとえば差の絶対値
が不感帯画像で設定される値を越える場合に、越えた値
を実質的な基準画像と検査対象画像の差と見なすことが
行われる。
The dead zone calculation circuit 5 calculates a dead zone image based on the reference image stored in the reference image memory 4 and outputs the calculated dead zone image to the dead zone image memory 6. When comparing the reference image and the inspection target image for each pixel, generally, the edge portion (the portion where the density changes rapidly) of the image is greatly affected by the positional deviation between the reference image and the inspection target image, and the positional deviation is within a normal range. Also, the absolute value of the difference becomes large. The dead zone image is data for preventing such misregistration within a normal range from being erroneously determined as a printing failure. That is, when evaluating the difference between the reference image and the inspection target image,
Rather than evaluating only by the absolute value of a simple difference, a value set in a dead zone image is considered. For example, when the absolute value of the difference exceeds a value set in the dead zone image, the exceeded value is regarded as a substantial difference between the reference image and the inspection target image.

【0015】不感帯演算回路5は回路基準画像更新・不
感帯画像作成司令回路7が出力する司令に基づいて不感
帯画像を演算する。通常は、基準画像が更新される度に
不感帯画像が演算される。不感帯画像の一例を図2
(B)に示す。不感帯画像は本来は濃淡画像であるが、
図2(A)と同様図2(B)では線画で濃淡画像を示し
てある。図2(B)において、濃い部分が不感帯の大き
さ(不感の強度)を示す。
The dead zone calculation circuit 5 calculates a dead zone image based on a command output from the circuit reference image update / dead zone image creation command circuit 7. Normally, a dead zone image is calculated each time the reference image is updated. Figure 2 shows an example of the dead zone image
It is shown in (B). The dead zone image is originally a grayscale image,
In FIG. 2B, as in FIG. 2A, a gray image is shown by a line drawing. In FIG. 2B, the dark portion indicates the size of the dead zone (the intensity of the dead zone).

【0016】差分・絶対値化回路8は、画像入力バッフ
ァ2が出力する検査対象画像と、基準画像メモリ4が記
憶する基準画像と、不感帯画像メモリ6が記憶する不感
帯画像を入力する。そして、基準画像と検査対象画像の
差の絶対値を各画素ごとに演算して差の絶対値画像を得
る。前述のように、演算において不感帯画像が考慮さ
れ、たとえば各画素ごとの検査対象画像と検査対象画像
の差の絶対値が不感帯画像で設定される値を越える場合
に、越えた値を差の絶対値画像の各画素の値とする。ま
た、不感帯画像で設定される値を越えない場合には差は
ないものとし、その画素値を“0”とする。
The difference / absolute value conversion circuit 8 inputs the inspection target image output from the image input buffer 2, the reference image stored in the reference image memory 4, and the dead zone image stored in the dead zone image memory 6. Then, the absolute value of the difference between the reference image and the inspection target image is calculated for each pixel to obtain an absolute value image of the difference. As described above, the dead zone image is considered in the calculation. For example, when the absolute value of the difference between the inspection target image and the inspection target image for each pixel exceeds the value set in the dead zone image, the exceeded value is regarded as the absolute value of the difference. The value of each pixel of the value image is used. If the value does not exceed the value set in the dead zone image, there is no difference, and the pixel value is set to “0”.

【0017】検査対象画像の一例を図2(C)に、また
不感帯画像を考慮しない単純な差の絶対値画像の一例を
図2(D)に、また不感帯画像を考慮した実質的な差の
絶対値画像の一例を図3(E)に示す。これらは本来は
濃淡画像であるが、図2(C),図2(D),図3
(E)では線画で濃淡画像を示してある。図2(C)に
示す検査対象画像は欠陥部分を含んでいる。図2(D)
に示す単純な差の絶対値画像では画像における(欠陥で
はない)エッジ部分が認められる。図3(E)に示す実
質的な差の絶対値画像では画像におけるエッジ部分はほ
ぼ消えてなくなるが、欠陥部分ではない検査対象画像と
基準画像との差も現れている。
FIG. 2 (C) shows an example of an image to be inspected, FIG. 2 (D) shows an example of a simple difference absolute value image not considering a dead zone image, and FIG. FIG. 3E shows an example of the absolute value image. Although these are originally grayscale images, FIGS. 2C, 2D and 3
In (E), a grayscale image is shown by a line drawing. The inspection target image shown in FIG. 2C includes a defective portion. FIG. 2 (D)
In the absolute value image of the simple difference shown in (1), an edge portion (not a defect) in the image is recognized. In the absolute value image of the substantial difference shown in FIG. 3E, the edge portion in the image is almost disappeared and disappears, but a difference between the inspection target image which is not a defective portion and the reference image also appears.

【0018】モルフォロジー演算回路9a,9b,9c
は差の絶対値画像に対してモルフォロジー(morpholog
y)演算を実行する。モルフォロジー演算は対象画像と
対象画像に作用させる構成関数(structuring functio
n)との2項演算を基本形態とする。構成関数を変える
ことにより様々な変換を得ることができる。構成関数設
定回路10はその構成関数をモルフォロジー演算回路9
a,9b,9cに設定する。モルフォロジー演算は“di
lation”“erosion ”“opening ”“closing ”の4つ
の基本演算から構成される。モルフォロジー演算につい
てはまとめて後述することとし、ここでは図1における
モルフォロジー演算回路9a,9b,9cの役割につい
て説明する。
Morphological operation circuits 9a, 9b, 9c
Is the morphology (morpholog
y) Perform the operation. Morphological operations are performed on the target image and the structuring functio
The basic operation is a binary operation with n). Various transformations can be obtained by changing the configuration function. The constituent function setting circuit 10 converts the constituent function into a morphological operation circuit 9
a, 9b, and 9c. The morphological operation is “di
It is composed of four basic operations: “lation”, “erosion”, “opening”, and “closing.” The morphological operations will be described later, and the role of the morphological operation circuits 9a, 9b, and 9c in FIG. .

【0019】判り易くするために、図1におけるモルフ
ォロジー演算回路9a,9b,9cを省略した場合と存
在する場合とを比較して説明する。モルフォロジー演算
回路9a,9b,9cを省略した場合、2値化回路11
a,11b,11cは差分・絶対値化回路8が出力する
差の絶対値画像に対して2値化を行う。その2値化を行
う場合の閾値は2値化閾値設定回路12によって2値化
回路11a,11b,11cに設定される。図3(E)
に示す実質的な差の絶対値画像に対して、2値化回路1
1a,11b,11cにより2値化を行うと、図3
(F),図3(G),図3(H)に示す2値化画像が得
られる。図3(F),図3(G),図3(H)に示す3
つの2値化画像は、異なる閾値で2値化を行って得た2
値化画像であり、図3(F)が最も閾値が小さく(18
/255;閾値/最大値)、図3(G)は中間の閾値で
あり(36/255)、図3(H)は閾値が最も大きい
(54/255)。
In order to make it easy to understand, the case where the morphological operation circuits 9a, 9b and 9c in FIG. 1 are omitted and the case where they are present will be compared. When the morphology operation circuits 9a, 9b, 9c are omitted, the binarization circuit 11
Reference numerals a, 11b, and 11c binarize the absolute value image of the difference output from the difference / absolute value conversion circuit 8. The threshold value for performing the binarization is set in the binarization circuits 11a, 11b, and 11c by the binarization threshold setting circuit 12. FIG. 3 (E)
The binarization circuit 1 for the absolute value image of the substantial difference shown in FIG.
When binarization is performed by 1a, 11b, and 11c, FIG.
(F), the binary images shown in FIGS. 3 (G) and 3 (H) are obtained. 3 (F), 3 (G) and 3 (H) shown in FIG.
Two binarized images are obtained by performing binarization at different thresholds.
FIG. 3F shows a binarized image having the smallest threshold value (18).
/ 255; threshold value / maximum value), FIG. 3G is an intermediate threshold value (36/255), and FIG. 3H is the largest threshold value (54/255).

【0020】判定回路13は、複数の2値化回路11
a,11b,11cが出力する2値化画像において閾値
を越える画素の有無(黒い画素の有無)によって良否判
定を行う。黒い画素の連続性や形状等を考慮して判定す
る方法もあるが基本的には黒い画素の有無によって判定
が行われる。そこで3つの2値化画像について検討する
と以下のことが判る。図3(F)では、不良を検出する
とともに不良で無い部分についても不良と誤検出する
(ノイズが混入する)ことが判る。また図3(G)で
は、不良と誤検出する程度は小さくなっているものの皆
無ではない。しかも不良の見落としが認められる。また
図3(H)では、不良と誤検出することはないが不良の
見落としがはなはだしい。したがって、この一例に示す
ように差の絶対値画像に対して単純な2値化を行った場
合には、濃度の低い不良を検出しようとすると誤検出を
避けることができず、誤検出を避けようとすると濃度の
低い不良を見落とすこととなる。
The decision circuit 13 includes a plurality of binarization circuits 11
The pass / fail judgment is made based on the presence / absence of a pixel exceeding a threshold value (the presence / absence of a black pixel) in the binary image output by a, 11b, and 11c. Although there is a method of making a determination in consideration of the continuity and shape of black pixels, the determination is basically made based on the presence or absence of a black pixel. Therefore, when the three binarized images are examined, the following can be understood. In FIG. 3F, it can be seen that a defect is detected and a non-defective part is erroneously detected as a defect (noise is mixed). Further, in FIG. 3G, the degree of erroneously detecting a defect is small, but not all. Moreover, oversight of defects is recognized. Further, in FIG. 3H, there is no erroneous detection of a defect, but it is extremely difficult to overlook the defect. Therefore, when simple binarization is performed on the absolute value image of the difference as shown in this example, erroneous detection cannot be avoided when trying to detect a defect with low density, and erroneous detection is avoided. In this case, a defect having a low density is overlooked.

【0021】図4は不良濃度(正常濃度との差)と不良
面積についての一般的な人間の認識の傾向を示す図であ
る。図4において横軸は不良面積であり縦軸は不良濃度
を示す。一般的に不良濃度が大きいほどまた不良面積が
大きいほどその不良は重欠陥と見なされ、逆に、不良濃
度が小さいほどまた不良面積が小さいほどその不良は軽
欠陥と見なされる。図4において、右上方向に原点から
遠ざかるほど重欠陥であり、左下方向に原点に近づくほ
ど軽欠陥である。したがって、図4に示すような、重欠
陥の領域、中欠陥の領域、軽欠陥の領域、正常な領域に
区分することができる。
FIG. 4 is a diagram showing a general tendency of human recognition of defective density (difference from normal density) and defective area. In FIG. 4, the horizontal axis indicates the defective area and the vertical axis indicates the defective density. Generally, the larger the defect density and the larger the defective area, the more the defect is regarded as a heavy defect, and conversely, the smaller the defect density and the smaller the defective area, the lighter the defect. In FIG. 4, the farther away from the origin in the upper right direction, the heavier the defect, and the closer to the origin in the lower left direction, the lighter the defect. Therefore, as shown in FIG. 4, the area can be classified into a heavy defect area, a medium defect area, a light defect area, and a normal area.

【0022】モルフォロジー演算回路9a,9b,9c
を省略した場合において前述の2値化回路11a,11
b,11cによる2値化は、図4における横軸(不良面
積)と平行方向の直線によって図4の領域を2分割する
ことに相当する。そして、その直線の上方の領域に含ま
れる不良が検出され、その直線の下方の領域に含まれる
不良は検出されない。これは、レベル差だけで欠陥を検
出する従来の方式に相当する。その直線の上方の領域に
は、前述の正常な領域は含まれており、正常であるのに
不良と誤検出することが避けられないことを示してい
る。また、その直線の下方の領域には、正常な領域だけ
でなく重欠陥の領域、中欠陥の領域、軽欠陥の領域が含
まれ、特に濃度の低い不良の見落としが避けられないこ
とを示している。
Morphological operation circuits 9a, 9b, 9c
Is omitted, the above-described binarization circuits 11a, 11a
Binarization by b and 11c is equivalent to dividing the region in FIG. 4 into two by a straight line parallel to the horizontal axis (defective area) in FIG. Then, a defect included in an area above the straight line is detected, and a defect included in an area below the straight line is not detected. This corresponds to a conventional method of detecting a defect only by a level difference. The area above the straight line includes the above-described normal area, which indicates that erroneous detection of a defect is inevitable even though the area is normal. Also, the area below the straight line includes not only the normal area but also the area of heavy defect, the area of medium defect, and the area of light defect, showing that it is inevitable to overlook particularly low density defects. I have.

【0023】2値化の閾値を変化させることは、図4に
おける横軸(不良面積)と平行方向の直線の上下方向の
位置を変化させる、すなわち不良レベルを変化させるこ
とに相当する。しかし、この図4の例においてそのよう
に不良レベルを変化させることを行ってみても、基本的
に誤検出や見落としを避けることができない。すなわち
差の絶対値画像に対して単純な2値化を行った場合に
は、濃度の低い不良を検出しようとすると誤検出を避け
ることができず、誤検出を避けようとすると濃度の低い
不良を見落とすこととなる。
Changing the threshold for binarization corresponds to changing the vertical position of a straight line parallel to the horizontal axis (defective area) in FIG. 4, that is, changing the defect level. However, even if such an attempt is made to change the defect level in the example of FIG. 4, erroneous detection or oversight cannot be basically avoided. That is, when simple binarization is performed on the absolute value image of the difference, erroneous detection cannot be avoided when trying to detect a defect with low density, and a defect with low density cannot be avoided when trying to avoid erroneous detection. Will be overlooked.

【0024】次に、図1におけるモルフォロジー演算回
路9a,9b,9cが存在する本発明の場合について説
明する。モルフォロジー演算回路9a,9b(,9c)
において図3(E)に示す実質的な差の絶対値画像に対
して、面積の異なる2つの構成関数によりオープニング
(opening )というモルフォロジー演算を行う。
Next, the case of the present invention in which the morphological operation circuits 9a, 9b and 9c in FIG. 1 exist will be described. Morphological operation circuits 9a and 9b (9c)
In FIG. 3E, a morphology operation called opening is performed on the absolute value image of the substantial difference shown in FIG.

【0025】濃淡画像に一般化したモルフォロジー演算
は、一度、アンブラ変換(Umbra transform ;多値から
2値への変換;陰影変換)を行って、三次元空間上の
(0,1)のボクセル(voxel ;三次元画素)として画
像を表現し、3次元2値画像に対するモルフォロジー演
算を行った後、逆アンブラ変換(Surface trnsform;2
値から多値への変換;表面変換)を行って濃淡画像に戻
す演算が正確な演算である。ここでは、構成要素に深度
(濃淡階調)を持たせず、単に、対象画素の構成要素範
囲内のMax、Min値を用いて、ダイレーション、エ
ロージョンを行った。したがって、オープニング、クロ
ージングも同様に行った。
The morphological operation generalized to a gray-scale image is performed by performing an Umbra transform (conversion from multi-valued data to binary data; shading conversion) once to obtain a voxel (0, 1) in a three-dimensional space. After expressing an image as a voxel (three-dimensional pixel), performing a morphological operation on a three-dimensional binary image, inverse truncation (Surface trnsform; 2)
The operation of performing a conversion from a value to a multi-valued image (surface conversion) and returning the image to a grayscale image is an accurate operation. In this case, dilation and erosion are performed simply by using Max and Min values within the component range of the target pixel without giving the component a depth (shade / tone). Therefore, opening and closing were performed similarly.

【0026】その結果、差の絶対値画像から図5(I)
と図5(J)に示すモルフォロジー演算画像が生成す
る。図5(I)の処理に用いた構成関数の面積に対して
図5(J)の処理に用いた構成関数の面積は大きい。図
5(I)と図5(J)に示すように、このモルフォロジ
ー演算を行うことにより孤立点や面積の小さな画像部分
が除去される。図5(I)と比較して図5(J)の構成
関数の面積が大きいので図5(I)と比較して図5
(J)の方が除去される画像部分が多い。
As a result, FIG.
And the morphology operation image shown in FIG. 5 (J) is generated. The area of the configuration function used in the processing of FIG. 5J is larger than the area of the configuration function used in the processing of FIG. As shown in FIG. 5 (I) and FIG. 5 (J), by performing this morphological operation, an isolated point and an image portion having a small area are removed. Since the area of the configuration function of FIG. 5J is larger than that of FIG. 5I, the area of the function shown in FIG.
(J) has more image portions to be removed.

【0027】図6は構成関数の一例を示す図である。図
6(A)は1×1の画素で構成される面積を有し、図6
(B)は3×3の画素で構成される面積を有し、図6
(B)は5×9の画素で構成される面積を有する。黒色
で示す画素は中心画素であり灰色で示す画素は近傍画素
である。図6に示すように構成関数も一種の画像(2次
元1価関数)であり、構成関数の各画素は画素値を有す
る。ただし、ここでは、(0,1)の2値だけを有して
いる。図3(E)の画像に図6(B)の構成関数を用い
てモルフォロジー演算を行うことにより図5(I)の画
像が得られ、図3(E)の画像に図6(C)の構成関数
を用いてモルフォロジー演算を行うことにより図5
(J)の画像が得られる。
FIG. 6 is a diagram showing an example of the configuration function. FIG. 6A has an area composed of 1 × 1 pixels.
FIG. 6B has an area composed of 3 × 3 pixels.
(B) has an area composed of 5 × 9 pixels. Pixels shown in black are central pixels, and pixels shown in gray are neighboring pixels. As shown in FIG. 6, the configuration function is also a kind of image (two-dimensional one-valued function), and each pixel of the configuration function has a pixel value. However, here, it has only two values (0, 1). By performing a morphological operation on the image of FIG. 3E using the configuration function of FIG. 6B, the image of FIG. 5I is obtained, and the image of FIG. By performing the morphological operation using the constitutive function, FIG.
The image of (J) is obtained.

【0028】モルフォロジー演算においては画像の対象
画素に対して構成関数の中心画素を当てはめて構成関数
の画素内(中心画素と近傍画素)で演算が行われる。画
像の対象画素を変更してモルフォロジー演算を行う領域
の全ての対象画素に対してその演算が行われる。図7は
このモルフォロジー演算を行う方法の説明図である。図
7において灰色の画素が原画像の濃度値が比較的大きい
部分を表し、白色の画素が原画像の濃度値が比較的小さ
い部分を表す。本来は対象画像は連続した濃度値の画素
値を有する濃淡画像であるが図7では単純化して示して
ある。図7において太線は構成関数(ここでは3×3画
素の正方形)を示す。
In the morphological operation, the central pixel of the configuration function is applied to the target pixel of the image, and the operation is performed within the pixel of the configuration function (the central pixel and the neighboring pixels). The operation is performed on all the target pixels in the region where the morphological operation is performed by changing the target pixel of the image. FIG. 7 is an explanatory diagram of a method for performing this morphological operation. In FIG. 7, gray pixels represent portions where the density value of the original image is relatively large, and white pixels represent portions where the density value of the original image is relatively small. Originally, the target image is a grayscale image having continuous density pixel values, but is simplified in FIG. In FIG. 7, the bold line indicates a configuration function (here, a square of 3 × 3 pixels).

【0029】図8はモルフォロジー演算の一つであるオ
ープニング演算を行う演算装置の一例を示すブロック図
である。図7,図8においてオープニング演算装置の動
作を説明する。画像バッファ21にはオープニング演算
を行う対象の画像が一時記憶されている。構成関数制御
部22は順次選択される対象画素に対して構成関数の中
心画素を当てはめて演算の実行を制御する。構成関数制
御部22による制御下において最小値演算部23は、構
成関数と演算対象画像とが重なる部分の各画素につい
て、構成関数の画素値(濃度値)と演算対象画像の画素
値(濃度値)とを比較し、小さい方の画素値(濃度値)
に演算対象画像の画素値(濃度値)を置き換える演算を
実行する(図7参照)。画像バッファ24はその演算に
よって得られる画像を一時記憶する。
FIG. 8 is a block diagram showing an example of an arithmetic unit for performing an opening operation which is one of the morphological operations. The operation of the opening operation device will be described with reference to FIGS. An image to be subjected to an opening operation is temporarily stored in the image buffer 21. The configuration function control unit 22 controls the execution of the calculation by applying the central pixel of the configuration function to the sequentially selected target pixels. Under the control of the configuration function control unit 22, the minimum value calculation unit 23 calculates the pixel value (density value) of the configuration function and the pixel value (density value) of the calculation target image for each pixel where the configuration function and the calculation target image overlap. ) And the smaller pixel value (density value)
An operation for replacing the pixel value (density value) of the image to be calculated is executed (see FIG. 7). The image buffer 24 temporarily stores an image obtained by the calculation.

【0030】構成関数制御部25は順次選択される画像
バッファ24の対象画素に対して構成関数の中心画素を
当てはめて演算の実行を制御する(図7参照)。構成関
数制御部25による制御下において最大値演算部26
は、構成関数と演算対象画像とが重なる部分の各画素に
ついて、構成関数の画素値(濃度値)と演算対象画像の
画素値(濃度値)とを比較し、大きい方の画素値(濃度
値)に演算対象画像の画素値(濃度値)を置き換える演
算を実行する(図7参照)。画像バッファ27はその演
算によって得られる画像を一時記憶する。これにより、
画像バッファ21の画像に対してオープニング演算が実
行され画像バッファ27にはオープニング演算済の画像
が一時記憶されることになる。
The constituent function control unit 25 controls the execution of the calculation by applying the central pixel of the constituent function to the target pixel of the image buffer 24 which is sequentially selected (see FIG. 7). Maximum value calculation unit 26 under the control of configuration function control unit 25
Compares the pixel value (density value) of the configuration function with the pixel value (density value) of the calculation target image for each pixel where the configuration function and the calculation target image overlap, and determines the larger pixel value (density value) ) Is performed to replace the pixel value (density value) of the calculation target image (see FIG. 7). The image buffer 27 temporarily stores an image obtained by the calculation. This allows
The opening operation is performed on the image in the image buffer 21, and the image after the opening operation is temporarily stored in the image buffer 27.

【0031】2値化回路11a,11b(,11c)に
おいて、上記のモルフォロジー演算画像である図5
(I)と図5(J)を2値化すると図5(K)と図5
(L)に示す2値化画像が得られる。2値化する場合の
閾値は図5(I)に比較して図5(J)は高い。図5
(K)は図5(I)を相対的に高い閾値により2値化し
たもので濃度が高く小さな面積の不良が検出され、濃度
が低く大きな面積の不良は検出されない。一方、図5
(L)は図5(J)を相対的に低い閾値により2値化し
たもので濃度が低く大きな面積の不良が検出され、濃度
が高く小さな面積の不良は前述のモルフォロジー演算に
おいて既に除去されており当然検出されない。
In the binarization circuits 11a and 11b (11c), the morphological operation image shown in FIG.
FIG. 5 (K) and FIG. 5 are obtained by binarizing (I) and FIG. 5 (J).
The binarized image shown in (L) is obtained. The threshold value for binarization is higher in FIG. 5 (J) than in FIG. 5 (I). FIG.
(K) is a binarized version of FIG. 5 (I) with a relatively high threshold value, in which a defect with a high density and a small area is detected, and a defect with a low density and a large area is not detected. On the other hand, FIG.
(L) is a binarized version of FIG. 5 (J) with a relatively low threshold value. A defect having a low density and a large area is detected, and a defect having a high density and a small area is already removed in the morphological operation described above. And of course not detected.

【0032】このように、モルフォロジー演算回路9
a,9b,9cと2値化回路11a,11b,11cを
組み合わせることにより、不良における正常濃度値との
差と面積の大きさとの両方によって検出する不良の領域
を区分することができる。図4において組合せA,組合
せB,組合せCの3つは、オープニングというモルフォ
ロジー演算における構成関数の面積と2値化における閾
値の大きさによって検出する不良の領域を設定できるこ
とを示している。すなわち、図4において組合せA,組
合せB,組合せCの各々は、2つの境界線によって領域
が区分され検出する不良の領域は、図4において、2つ
の境界線の右上方向で原点から離れた領域である。
As described above, the morphology operation circuit 9
By combining a, 9b, and 9c with the binarization circuits 11a, 11b, and 11c, a defective area to be detected can be classified based on both the difference between the normal density value and the size of the defective area. In FIG. 4, three combinations A, B, and C indicate that a defective area to be detected can be set based on the area of the constituent function in the morphological operation called opening and the threshold value in the binarization. That is, in each of the combinations A, B, and C in FIG. 4, the area of the defect detected by dividing the area by the two boundaries is the area away from the origin in the upper right direction of the two boundaries in FIG. It is.

【0033】したがって、組合せA,組合せB,組合せ
Cの各々によって検出する不良の領域の論理和の領域が
検出可能な不良の領域となる。その検出可能な不良の領
域は、図4において、軽欠陥の領域、中欠陥の領域、重
欠陥の領域をほぼ包含し、正常の領域は含まれない。図
4に示す組合せA,組合せB,組合せCの3つの組合せ
よりも多くの組合せを用いれば、検出可能な不良の領域
と各欠陥の領域との一致度をより正確にすることができ
る。
Therefore, the area of the logical sum of the defective areas detected by each of the combination A, the combination B, and the combination C is a detectable defective area. In FIG. 4, the detectable defective area substantially includes a light defect area, a medium defect area, and a heavy defect area, and does not include a normal area. If more combinations than the three combinations A, B, and C shown in FIG. 4 are used, the degree of coincidence between the detectable defective area and each defective area can be made more accurate.

【0034】図4において、構成関数の面積および/ま
たは濃度値は組合せAよりも組合せBが、組合せBより
も組合せCが大きい。また、2値化の閾値は組合せAよ
りも組合せBが、組合せBよりも組合せCが小さい。す
なわち、2つの境界線の交点における不良面積が構成関
数の面積にほぼ等しく、2つの境界線の交点における不
良レベルが2値化の閾値にほぼ等しくなる。図4に示す
ように、構成関数の各々に対応する所定の閾値は、面積
および/または濃度値の大きな構成関数に対しては値の
小さな閾値が対応するようにすることにより、不良の軽
重に対する一般的な認識と検出される不良との傾向を一
致させることができる。
In FIG. 4, the area B and / or the density value of the constitutive function are larger in the combination B than in the combination A and larger in the combination C than in the combination B. In addition, as for the binarization threshold, the combination B is smaller than the combination A and the combination C is smaller than the combination B. That is, the failure area at the intersection of the two boundaries is approximately equal to the area of the configuration function, and the failure level at the intersection of the two boundaries is approximately equal to the threshold for binarization. As shown in FIG. 4, the predetermined threshold value corresponding to each of the constituent functions is set such that a small threshold value corresponds to the constituent function having a large area and / or a density value. The tendency between general recognition and detected defects can be matched.

【0035】図9は3つの組合せを用いた場合に判定回
路13によって行われる不良の領域分けを示す図であ
る。図9に示すように、不良の領域は、不良における正
常濃度値との差と面積の大きさとによって、No.0〜
No.7に区分される。ただし、No.0の領域は許容
範囲内であり不良と判定されない。検出された不良がN
o.1〜No.7のいずれの領域のものであるかは、組
合せA,組合せB,組合せCのいずれに属し、いずれに
属さないかにより判定することができる。また、組合せ
Aの不良に対して“1”、組合せBの不良に対して
“2”、組合せCの不良に対して“4”の重み付けを行
って加算すると、加算された数値はNo.1〜No.7
の区分と一致する。この数値の大きさにより不良が重欠
陥であるか、軽欠陥であるかを決定することもできる。
このようにして、判定回路13は検出された不良が属す
る領域を示す不良種別値、たとえば、No.0〜No.
7を出力する。
FIG. 9 is a diagram showing the classification of defective areas performed by the determination circuit 13 when three combinations are used. As shown in FIG. 9, the number of defective areas depends on the difference between the normal density value and the area size of the defective area. 0 to
No. It is divided into seven. However, no. The region of 0 is within the allowable range and is not determined to be defective. The detected defect is N
o. 1 to No. Which of the regions No. 7 belongs can be determined based on which of the combination A, the combination B, and the combination C belongs to which region. Further, when the weight of “1” is assigned to the failure of the combination A, “2” is assigned to the failure of the combination B, and the weight of “4” is assigned to the failure of the combination C, and the addition is performed, 1 to No. 7
Matches the category. Whether the defect is a heavy defect or a light defect can be determined based on the magnitude of the numerical value.
In this way, the determination circuit 13 determines the defect type value indicating the area to which the detected defect belongs, for example, No. 0-No.
7 is output.

【0036】制御出力回路14はその不良種別値を入力
し、それに対応する操作量を出力する。たとえば、検出
した不良がNo.1,No.2,No.4の領域の不良
であれば軽欠陥であるとして警報出力を行う。また、検
出した不良がNo.3,No.6,No.7の領域の不
良であれば中欠陥または重欠陥であるとして印刷機の排
紙ユニットにおいて不良印刷物を除去する制御出力を行
う。
The control output circuit 14 inputs the defect type value and outputs a corresponding operation amount. For example, if the detected defect is No. 1, No. 2, No. If the defect is in the area of No. 4, it is determined that the defect is a minor defect and an alarm is output. In addition, the detected defect is No. 3, No. 6, No. If the defect is in the area of No. 7, it is determined that the defect is a medium defect or a heavy defect, and a control output for removing the defective printed matter in the discharge unit of the printing press is performed.

【0037】次に、モルフォロジー演算について説明す
る。本発明におけるモルフォロジー演算は多値のモルフ
ォロジー演算である。EN 上に定義された関数fが画像
の濃度を表すものとするとき、その関数fをEN の多値
画像と呼ぶ。たとえば、2次元ディジタル画像(Z2
の画素(m,n)が濃度値を表すとき、その濃度値は関
数f(m,n)の値である。多値のモルフォロジー演算
を定義するために陰影変換と表面変換を用いるから、ま
ず陰影変換と表面変換について定義を行う。 (定義1)陰影変換:関数fの陰影は、U〔f〕と記さ
れ、次の数1によって定義される。
Next, the morphological operation will be described. The morphological operation in the present invention is a multi-valued morphological operation. When a function f defined on E N represents the density of an image, the function f is called a multi-valued image of E N. For example, a two-dimensional digital image (Z 2 )
Is a value of the function f (m, n) when the pixel (m, n) represents a density value. Since the shadow transformation and the surface transformation are used to define the multi-valued morphology operation, first, the shadow transformation and the surface transformation are defined. (Definition 1) Shading conversion: The shading of the function f is described as U [f] and is defined by the following equation 1.

【数1】 (定義2)表面変換:EN 上の閉集合Aの表面変換は、
S〔A〕と記され、次の数2によって定義される。数
1,数2から明らかなようにS〔A〕:F→Eとなる。
(Equation 1) (Definition 2) Surface transformation: The surface transformation of the closed set A on E N is
S [A] and is defined by the following equation (2). As is clear from Equations 1 and 2, S [A]: F → E.

【数2】 (Equation 2)

【0038】すでに説明したようにモルフォロジー演算
は“dilation”“erosion ”“opening ”“closing ”
の4つの基本演算から構成される。まず多値のdilation
と多値のerosion について定義を行う。以下の説明にお
いて関数fを対象画像、関数gを構成関数(2値の場合
は構成要素とも呼ぶ)とする。関数fと同様で構成関数
も画像と見なすことができる。 (定義3)多値のdilation:fのgによるdilationは、
次の数3によって定義される。
As described above, the morphological operations are "dilation", "erosion", "opening" and "closing".
Is composed of four basic operations. First, multi-valued dilation
And multi-valued erosion. In the following description, the function f is referred to as a target image, and the function g is referred to as a constituent function (in the case of binary, also referred to as a constituent element). Like the function f, the configuration function can be regarded as an image. (Definition 3) Multi-valued dilation: The dilation of f by g is
It is defined by the following equation (3).

【数3】 (定義4)多値のerosion :fのgによるerosion は、
次の数4によって定義される。
(Equation 3) (Definition 4) Multi-valued erosion: The erosion of f by g is
It is defined by the following equation (4).

【数4】 (Equation 4)

【0039】次に多値のopening と多値のclosing につ
いて定義を行う。 (定義5)多値のopening :fのgによるopening は、
次の数5によって定義される。
Next, the definition of multivalued opening and multivalued closing will be described. (Definition 5) Multi-valued opening: The opening of f by g is
It is defined by the following equation (5).

【数5】 (定義6)多値のclosing :fのgによるclosing は、
次の数6によって定義される。
(Equation 5) (Definition 6) Multi-valued closing: Closing of f by g is
It is defined by the following equation (6).

【数6】 (Equation 6)

【0040】[0040]

【発明の効果】以上のように本発明によれば、不良にお
ける正常濃度値との差と面積の大きさとの両方を一体と
して扱う検査基準により良否判定を行う画像検査方法お
よび装置が提供される。また複数の所定の構成関数を用
い演算結果の全てに基づいて良否判定を行う本発明によ
れば、検査基準と所望の基準との一致度が高い。また濃
淡画像は基準画像と検査対象画像とに基づいてすくなく
とも差の絶対値の演算を行って得る画像である本発明に
よれば、モルフォロジー演算過程が簡略化される。また
良否判定過程は、構成関数の各々に対応する2値化画像
の全てに基づいて、不良における正常濃度値との差と面
積の大きさとの両不良属性から不良種類を判別し不良種
別値を得る本発明によれば、不良種別値により検出され
る不良が重欠陥であるか軽欠陥であるかを判定すること
ができる。また不良種別値に対応する操作量を出力する
制御過程を含む本発明によれば、制御過程により不良種
別値に応じて警報、印刷停止等の適切な動作を自動で行
うことができる。またモルフォロジー演算はオープニン
グ演算である本発明によれば、演算画像を簡単な演算に
より適合する形態で得ることができる。また構成関数の
各々に対応する所定の閾値は面積の大きいおよび/また
は濃度値の小さい構成関数には値の小さい閾値が対応す
る本発明によれば、不良の軽重に対する一般的な認識と
検出される不良との傾向が一致する。
As described above, according to the present invention, there is provided an image inspection method and apparatus for judging pass / fail based on an inspection criterion which treats both the difference from a normal density value and the area size of a defect as one. . Further, according to the present invention in which the pass / fail judgment is made based on all the calculation results using a plurality of predetermined configuration functions, the degree of coincidence between the inspection reference and the desired reference is high. Further, according to the present invention, the grayscale image is an image obtained by calculating at least the absolute value of the difference based on the reference image and the inspection target image, and the morphological calculation process is simplified. In the pass / fail judgment step, the type of the defect is determined based on both the binarized image corresponding to each of the constituent functions and the defect type based on both the attribute of the difference between the normal density value of the defect and the size of the area, and the defect type value is determined. According to the present invention, it is possible to determine whether the defect detected by the defect type value is a heavy defect or a light defect. Further, according to the present invention including the control process of outputting the operation amount corresponding to the defect type value, it is possible to automatically perform an appropriate operation such as an alarm or a print stop according to the defect type value by the control process. Further, according to the present invention, in which the morphological operation is an opening operation, it is possible to obtain an operation image in a form suitable for a simple operation. According to the present invention, the predetermined threshold value corresponding to each of the constituent functions has a large area and / or a small value corresponds to a small density value. Tend to be the same as defective.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の画像検査方法を実施する装置(画像検
査装置)の構成を示すブロック図である。
FIG. 1 is a block diagram showing a configuration of an apparatus (image inspection apparatus) for implementing an image inspection method of the present invention.

【図2】基準画像(A)、不感帯画像(B)、検査対象
画像(C)、単純な差の絶対値画像(D)を示す絵図で
ある。
FIG. 2 is a pictorial diagram showing a reference image (A), a dead zone image (B), an inspection target image (C), and a simple difference absolute value image (D).

【図3】実質的な差の絶対値画(E)、異なる閾値で2
値化を行って得た2値化画像(F),(G),(H)を
示す絵図である。
FIG. 3 shows the absolute difference value (E) of the substantial difference, 2 at different thresholds
It is a pictorial diagram showing the binarized images (F), (G), and (H) obtained by performing the binarization.

【図4】不良濃度(正常濃度との差)と不良面積につい
ての一般的な人間の認識の傾向を示す図である。
FIG. 4 is a diagram showing a general tendency of human recognition of a defective density (difference from a normal density) and a defective area.

【図5】モルフォロジー演算画像(I),(J)、2値
化画像(K),(L)を示す図である。
FIG. 5 is a diagram showing morphological operation images (I) and (J) and binarized images (K) and (L).

【図6】構成関数の一例を示す図である。FIG. 6 is a diagram illustrating an example of a configuration function.

【図7】モルフォロジー演算を行う方法の説明図であ
る。
FIG. 7 is an explanatory diagram of a method for performing a morphological operation.

【図8】モルフォロジー演算の一つであるオープニング
演算を行う演算装置の一例を示すブロック図である。
FIG. 8 is a block diagram illustrating an example of an arithmetic device that performs an opening operation that is one of morphological operations.

【図9】3つの組合せを用いた場合に判定回路によって
行われる不良の領域分けを示す図である。
FIG. 9 is a diagram illustrating a defect area division performed by a determination circuit when three combinations are used.

【符号の説明】[Explanation of symbols]

1 画像入力カメラ 2 画像入力バッファ 3 同期回路 4 基準画像メモリ 5 不感帯演算回路 6 不感帯画像メモリ 7 基準画像更新・不感帯画像作成司令回路 8 差分.絶対値化回路 9a,9b,9c モルフォロジー演算回路 10 構成関数設定回路 11a,11b,11c 2値化回路 12 2値化閾値設定回路 13 判定回路 14 制御出力回路 21,24,27 画像バッファ 22,25 構成関数制御部 23 最小値演算部 24 最大値演算部 DESCRIPTION OF SYMBOLS 1 Image input camera 2 Image input buffer 3 Synchronization circuit 4 Reference image memory 5 Dead zone operation circuit 6 Dead zone image memory 7 Reference image update / dead zone image creation command circuit 8 Difference. Absolute value conversion circuit 9a, 9b, 9c Morphological operation circuit 10 Configuration function setting circuit 11a, 11b, 11c Binarization circuit 12 Binarization threshold value setting circuit 13 Judgment circuit 14 Control output circuit 21, 24, 27 Image buffer 22, 25 Configuration function control unit 23 Minimum value calculation unit 24 Maximum value calculation unit

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】基準画像と検査対象画像を比較して検査す
る画像検査方法において、 所定の構成関数を用いて濃淡画像に対してモルフォロジ
ー演算を行いモルフォロジー演算画像を得るモルフォロ
ジー演算過程と、 所定の閾値を用いて前記モルフォロジー演算画像に対し
て2値化演算を行い2値化画像を得る2値化過程と、 前記2値化画像に基づいて良否判定を行う良否判定過程
と、 を含むことを特徴とする画像検査方法。
An image inspection method for comparing and inspecting a reference image and an image to be inspected, comprising the steps of: performing a morphology operation on a grayscale image using a predetermined configuration function to obtain a morphology operation image; A binarization step of performing a binarization operation on the morphology operation image using a threshold to obtain a binarized image; and a pass / fail judgment step of performing pass / fail judgment based on the binarized image. Characteristic image inspection method.
【請求項2】前記モルフォロジー演算過程は、複数の所
定の構成関数を用いて濃淡画像に対してモルフォロジー
演算を行い前記構成関数の各々に対応するモルフォロジ
ー演算画像を得る過程であり、 前記2値化過程は、前記構成関数の各々に対応する所定
の閾値を用いて前記構成関数の各々に対応するモルフォ
ロジー演算画像に対して2値化演算を行い前記構成関数
の各々に対応する2値化画像を得る過程であり、 前記良否判定過程は、前記構成関数の各々に対応する2
値化画像の全てに基づいて良否判定を行う過程である、 ことを特徴とする請求項1記載の画像検査方法。
2. The morphological operation step of performing a morphological operation on a grayscale image using a plurality of predetermined constituent functions to obtain a morphological operation image corresponding to each of the constituent functions. The process performs a binarization operation on a morphological operation image corresponding to each of the constituent functions using a predetermined threshold value corresponding to each of the constituent functions, and generates a binary image corresponding to each of the constituent functions. The pass / fail judgment step is performed by a process corresponding to each of the constituent functions.
The image inspection method according to claim 1, wherein a pass / fail judgment is made based on all of the digitized images.
【請求項3】前記濃淡画像は基準画像と検査対象画像と
に基づいてすくなくとも差の絶対値の演算を行って得る
画像であることを特徴とする請求項1または2記載の画
像検査方法。
3. The image inspection method according to claim 1, wherein the grayscale image is an image obtained by calculating at least an absolute value of the difference based on the reference image and the image to be inspected.
【請求項4】前記良否判定過程は、前記構成関数の各々
に対応する2値化画像の全てに基づいて、不良における
正常濃度値との差と面積の大きさとの両不良属性から不
良種類を判別し不良種別値を得ることを特徴とする請求
項1〜3のいずれか記載の画像検査方法。
4. The pass / fail judgment step includes, based on all of the binarized images corresponding to each of the constituent functions, determining a defect type from both defect attributes of a difference between a normal density value and an area size of the defect. The image inspection method according to any one of claims 1 to 3, wherein the determination is performed to obtain a defect type value.
【請求項5】前記不良種別値に対応する操作量を出力す
る制御過程を含むことを特徴とする請求項1〜4のいず
れか記載の画像検査方法。
5. The image inspection method according to claim 1, further comprising a control step of outputting an operation amount corresponding to the defect type value.
【請求項6】前記モルフォロジー演算はオープニング演
算であることを特徴とする請求項1〜5のいずれか記載
の画像検査方法。
6. The image inspection method according to claim 1, wherein said morphological operation is an opening operation.
【請求項7】前記構成関数の各々に対応する所定の閾値
は面積および/または濃度値の大きな構成関数に対して
は値の小さな閾値が対応することを特徴とする請求項1
〜6のいずれか記載の画像検査方法。
7. A predetermined threshold value corresponding to each of the constituent functions is such that a small threshold value corresponds to a constituent function having a large area and / or a density value.
7. The image inspection method according to any one of claims 6 to 6.
【請求項8】基準画像と検査対象画像を比較して検査す
る画像検査装置において、 複数の所定の構成関数を用いて濃淡画像に対してモルフ
ォロジー演算を行い前記構成関数の各々に対応するモル
フォロジー演算画像を得るモルフォロジー演算手段と、 前記構成関数の各々に対応する所定の閾値を用いて前記
構成関数の各々に対応するモルフォロジー演算画像に対
して2値化演算を行い前記構成関数の各々に対応する2
値化画像を得る2値化手段と、 前記構成関数の各々に対応する2値化画像の全てに基づ
いて良否判定を行う良否判定手段と、 を有することを特徴とする画像検査装置。
8. An image inspection apparatus for inspecting a reference image by comparing an image to be inspected with a reference image, wherein a morphological operation is performed on a grayscale image using a plurality of predetermined constituent functions, and a morphological operation corresponding to each of the constituent functions is performed. A morphology operation unit for obtaining an image, and performing a binarization operation on the morphology operation image corresponding to each of the constituent functions using a predetermined threshold value corresponding to each of the constituent functions, and corresponding to each of the constituent functions. 2
An image inspection apparatus comprising: a binarizing unit that obtains a binarized image; and a pass / fail determination unit that determines pass / fail based on all of the binarized images corresponding to each of the constituent functions.
JP9205503A 1997-07-16 1997-07-16 Method and device for image inspection Pending JPH1139487A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9205503A JPH1139487A (en) 1997-07-16 1997-07-16 Method and device for image inspection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9205503A JPH1139487A (en) 1997-07-16 1997-07-16 Method and device for image inspection

Publications (1)

Publication Number Publication Date
JPH1139487A true JPH1139487A (en) 1999-02-12

Family

ID=16507947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9205503A Pending JPH1139487A (en) 1997-07-16 1997-07-16 Method and device for image inspection

Country Status (1)

Country Link
JP (1) JPH1139487A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496162A (en) * 2011-12-21 2012-06-13 浙江大学 Method for evaluating quality of part of reference image based on non-tensor product wavelet filter
JP2015179525A (en) * 2015-05-08 2015-10-08 富士フイルム株式会社 Image evaluating device, image evaluating method, and program
US9727805B2 (en) 2012-09-28 2017-08-08 Fujifilm Corporation Image evaluation device, image evaluation method and program storage medium

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496162A (en) * 2011-12-21 2012-06-13 浙江大学 Method for evaluating quality of part of reference image based on non-tensor product wavelet filter
US9727805B2 (en) 2012-09-28 2017-08-08 Fujifilm Corporation Image evaluation device, image evaluation method and program storage medium
JP2015179525A (en) * 2015-05-08 2015-10-08 富士フイルム株式会社 Image evaluating device, image evaluating method, and program

Similar Documents

Publication Publication Date Title
CN110274908B (en) Defect inspection apparatus, defect inspection method, and computer-readable recording medium
EP1400922B1 (en) Print inspection method
Singh et al. Local contrast and mean based thresholding technique in image binarization
JP4323097B2 (en) Method and system for detecting errors in sample images
JP3251918B2 (en) Binarization method in optical character recognition system
CN109242853A (en) A kind of PCB defect intelligent detecting method based on image procossing
JP2003219184A (en) Imaging process for forming clear and legible binary image
CN111754466A (en) Intelligent detection method for belt damage condition of conveyor
US5237621A (en) Product appearance inspection methods and apparatus employing low variance filter
JP2008175588A (en) Visual examination device
Yangping et al. Real-time Defect Detection Method for Printed Images Based on Grayscale and Gradient Differences.
CN113034488A (en) Visual detection method of ink-jet printed matter
JP2005165387A (en) Method and device for detecting stripe defective of picture and display device
JPH1139487A (en) Method and device for image inspection
JP3998758B2 (en) Image inspection method and apparatus
JP2004296592A (en) Defect classification equipment, defect classification method, and program
JPH10157081A (en) Method and equipment for inspecting streaky defect
Jacob et al. Detection of surface defects on ceramic tiles based on morphological techniques
JP2002074332A (en) Method and device for detecting sealing defect of packing material and packing body
JP4178923B2 (en) Appearance inspection method and appearance inspection apparatus
Sun et al. Shadow detection and removal from solo natural image based on retinex theory
JP2002140695A (en) Inspection method and its device
CZ308988B6 (en) A method of processing an image by a gradual brightness gradient method of image pixels along a longitudinal axis and the apparatus for this
JP2020003452A (en) Inspection device, method for inspection, and program for inspection device
Sun et al. Retinex theory‐based shadow detection and removal in single outdoor image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061026

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070301