JP5228157B2 - Automatic surface defect inspection apparatus and inspection method - Google Patents

Automatic surface defect inspection apparatus and inspection method Download PDF

Info

Publication number
JP5228157B2
JP5228157B2 JP2007147573A JP2007147573A JP5228157B2 JP 5228157 B2 JP5228157 B2 JP 5228157B2 JP 2007147573 A JP2007147573 A JP 2007147573A JP 2007147573 A JP2007147573 A JP 2007147573A JP 5228157 B2 JP5228157 B2 JP 5228157B2
Authority
JP
Japan
Prior art keywords
image
images
defect
wavelet transform
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007147573A
Other languages
Japanese (ja)
Other versions
JP2008298703A (en
Inventor
忠 章
哲夫 三宅
孝 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyohashi University of Technology NUC
Original Assignee
Toyohashi University of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyohashi University of Technology NUC filed Critical Toyohashi University of Technology NUC
Priority to JP2007147573A priority Critical patent/JP5228157B2/en
Publication of JP2008298703A publication Critical patent/JP2008298703A/en
Application granted granted Critical
Publication of JP5228157B2 publication Critical patent/JP5228157B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、金属で構成される部材または部品、または、表面に金属皮膜されている部材または部品の表面欠陥を自動的に検査する装置とその検査方法に関するものである。 The present invention relates to an apparatus for automatically inspecting a surface defect of a member or part made of metal, or a member or part having a metal film on the surface, and an inspection method thereof.

部材または部品の表面の検査方法として、特許文献1では、位相限定相関法を利用して、検査対象の表面に欠陥が生じているかを判定している。 As a method for inspecting the surface of a member or a component, Patent Document 1 uses a phase-only correlation method to determine whether a defect has occurred on the surface to be inspected.

特許文献2では、評価対象物の画像における各画素の濃度勾配情報をもとに閾値処理し、検査対象の表面欠陥自動検出を行っている。
特開2000−221139 特開2001−034762
In Patent Document 2, threshold processing is performed based on density gradient information of each pixel in an image of an evaluation object, and surface defects are automatically detected.
JP2000-221139 JP 2001-034762 A

しかしながら、特許文献1や特許文献2の手法を用いて、金属からなる部材または部品、または、表面に金属皮膜が施されている部材または部品の表面欠陥を検査する際に、特に評価対象物の表面において、鏡面による鏡面反射光が強い場合には、欠陥検出の際に有用なランダム反射光を検出しにくいという問題があった。したがって、従来の技術では、鏡面反射を行うような部品の局所的な表面欠陥の自動検査は非常に困難であった。本発明は、特に評価対象物が、光学的に鏡面反射ないしはそれに近い鏡面反射で照射光が反射するような場合の部材または部品の、表面欠陥を検査する場合に特に有効な自動検査装置と検査方法を提供することを目的とする。 However, when the surface defect of a member or part made of metal or a member or part having a metal film on the surface is inspected by using the method of Patent Document 1 or Patent Document 2, the evaluation object is particularly When the specularly reflected light from the mirror surface is strong on the surface, there is a problem that it is difficult to detect random reflected light that is useful for defect detection. Therefore, in the conventional technique, it is very difficult to automatically inspect local surface defects of parts that perform specular reflection. The present invention is an automatic inspection apparatus and inspection particularly effective for inspecting a surface defect of a member or a component in the case where an evaluation object is optically specularly reflected or near-approximately reflecting reflected light. It aims to provide a method.

以上の現状に鑑み、本発明者は鋭意検討を重ねた結果、次の発明を完成させるに至った。 In view of the above situation, the present inventor has intensively studied, and as a result, has completed the following invention.

第一の発明は、評価対象物の表面欠陥を自動的に検査する装置であって、評価対象物とカメラを固定し、点光源の位置を変えながら、または複数位置に配置した点光源を順次点灯することにより、複数枚の表面画像を撮影する手段、それらの画像のうち3枚の画像を基本画像とし、金属表面反射モデルにより合成画像を生成するとともに、基本画像以外の任意の3枚の画像から前記基本画像を正規化し、該正規化された3枚の基本画像をもとに合成画像を再度生成することにより、鏡面反射の影響を除去し微小なランダム反射を抽出した一枚の画像を生成する手段、前手段において生成された画像に複素数離散ウェーブレット変換を施し、ノイズ除去および欠陥鮮鋭化を行った画像を生成する手段、および、リファレンス画像と前手段で生成された画像とのパターンマッチングを行い、対象物の表面欠陥を検出する手段からなることを特徴とする表面欠陥の自動検査装置である。 The first invention is an apparatus for automatically inspecting a surface defect of an evaluation object, fixing the evaluation object and a camera, changing the position of the point light source, or sequentially arranging point light sources arranged at a plurality of positions. By lighting up, a means for photographing a plurality of surface images, three of these images are used as basic images, a composite image is generated by a metal surface reflection model , and any three images other than the basic images One image obtained by normalizing the basic image from the image and regenerating a composite image based on the three normalized basic images, thereby removing the influence of specular reflection and extracting minute random reflections Generating means, a means for performing complex discrete wavelet transform on the image generated in the preceding means, generating an image with noise removal and defect sharpening, and generating with a reference image and the preceding means The performs pattern matching of the image, an automatic inspection device on the front surface defects comprises a means for detecting surface defects of the object.

第二の発明は、評価対象物である部材または部品が、金属からなる部材または部品であることを特徴とする、第一の発明に記載の表面欠陥の自動検査装置である。 The second invention is the surface defect automatic inspection device according to the first invention, characterized in that the member or part as the evaluation object is a member or part made of metal.

第三の発明は、評価対象物である部材または部品が、その表面に金属皮膜が形成されている部材または部品であることを特徴とする、第一の発明または第二の発明に記載の表面欠陥の自動検査装置である。 According to a third aspect of the invention, there is provided the surface according to the first aspect or the second aspect, wherein the member or part that is the evaluation object is a member or part that has a metal film formed on the surface. It is an automatic inspection device for defects.

第四の発明は、画像のノイズ除去および欠陥鮮鋭化を目的としてウェーブレット変換を行う際に、完全シフト不変な性質を持つ複素数離散ウェーブレット変換を用いることを特徴とする第一の発明または第二の発明または第三の発明に記載の表面欠陥の自動検査装置である。 A fourth invention uses the complex discrete wavelet transform having a completely shift invariant property when performing the wavelet transform for the purpose of image noise removal and defect sharpening. An automatic inspection device for surface defects according to the invention or the third invention.

更に、第五の発明は、評価対象物の表面欠陥を自動的に検査する方法であって、評価対象物とカメラを固定し、点光源の位置を変えながら、または複数位置に配置した点光源を順次点灯することにより、複数枚の表面画像を撮影する工程、それらの画像のうち3枚の画像を基本画像とし、金属表面反射モデルにより合成画像を生成するとともに、基本画像以外の任意の3枚の画像から前記基本画像を正規化し、該正規化された3枚の基本画像をもとに合成画像を再度生成することにより、鏡面反射の影響を除去し微小なランダム反射を抽出した一枚の画像を生成する工程、前工程において生成された画像に複素数離散ウェーブレット変換を施し、ノイズ除去および欠陥鮮鋭化を行った画像を生成する工程、および、リファレンス画像と前手段で生成された画像とのパターンマッチングを行い、対象物の表面欠陥を検出する手工程からなることを特徴とする表面欠陥の自動検査方法である。 Further, the fifth invention is a method for automatically inspecting a surface defect of an evaluation object , wherein the evaluation object and the camera are fixed, and the point light source is arranged at a plurality of positions while changing the position of the point light source. Are sequentially turned on, a step of photographing a plurality of surface images, three of the images are set as basic images, a composite image is generated by a metal surface reflection model , and an arbitrary 3 other than the basic image is generated. A single image obtained by normalizing the basic image from one image and generating a composite image again based on the normalized three basic images, thereby removing the influence of specular reflection and extracting minute random reflections. A step of generating an image, a step of generating an image obtained by performing a complex discrete wavelet transform on the image generated in the previous step to perform noise removal and defect sharpening, and a reference image and a preceding means It performs pattern matching between the generated image, an automatic method of inspecting the front surface defects you, comprising the hand step of detecting surface defects of the object.

第六の発明は、評価対象物である部材または部品が、金属からなる部材または部品であることを特徴とする、第五の発明に記載の表面欠陥の自動検査方法である。 A sixth aspect of the invention is the surface defect automatic inspection method according to the fifth aspect of the invention, wherein the member or part that is the evaluation object is a member or part made of metal.

第七の発明は、評価対象物である部材または部品が、その表面に金属皮膜が形成されている部材または部品であることを特徴とする、第五の発明または第六の発明に記載の表面欠陥の自動検査方法である。 A seventh invention is a surface according to the fifth or sixth invention, characterized in that the member or part which is the evaluation object is a member or part having a metal film formed on the surface thereof. This is an automatic inspection method for defects.

第八の発明は、画像のノイズ除去および欠陥鮮鋭化を目的としてウェーブレット変換を行う際に、完全シフト不変な性質を持つ複素数離散ウェーブレット変換を用いることを特徴とする第五の発明または第六の発明または第七の発明に記載の表面欠陥の自動検査方法である。 The eighth invention is characterized by using a complex discrete wavelet transform having a completely shift-invariant property when performing wavelet transform for the purpose of image noise removal and defect sharpening. An automatic inspection method for surface defects according to the invention or the seventh invention.

次に本発明の具体的な方法について記載する。本発明においては、まず評価対象物とカメラは固定し,点光源の位置を変えて、または複数位置に配置した点光源を順次点灯することにより、複数枚の表面画像を計測し、それらの画像をもとに金属表面反射モデルを用いて鏡面反射の影響を除去し微小なランダム反射を抽出した一枚の画像を生成することを行う。 Next, a specific method of the present invention will be described. In the present invention, first, the evaluation object and the camera are fixed, the position of the point light source is changed, or the point light sources arranged at a plurality of positions are sequentially turned on to measure a plurality of surface images, and these images are measured. Based on the above, the effect of specular reflection is removed using a metal surface reflection model to generate a single image from which minute random reflections are extracted.

金属表面反射モデルの詳細は以下の通りである。
金属材料の表面による反射は全反射であり、これは鏡面反射とランダム反射からなる。すなわち、金属は伝導電子を持つため、ドルーデの法則によって光の周波数領域における誘電率の実数部が負となり、光の電界を遮蔽して光が金属の中に入り込めない。また、金属皮膜の一例である金属メッキ表面のような滑らかな表面においては、鏡面反射が強く、ランダム反射が非常に弱い。ここで以下に示した金属表面反射モデルをもちいて、鏡面反射を削除し、ランダム反射を強調して抽出する。
Details of the metal surface reflection model are as follows.
Reflection by the surface of the metal material is total reflection, which consists of specular reflection and random reflection. That is, since the metal has conduction electrons, the real part of the dielectric constant in the frequency domain of light becomes negative according to Drude's law, and the light electric field is shielded so that light cannot enter the metal. Further, a smooth surface such as a metal plating surface, which is an example of a metal film, has strong specular reflection and very low random reflection. Here, using the metal surface reflection model shown below, specular reflection is deleted, and random reflection is emphasized and extracted.

まず、光源を平行光源、反射面をランダム反射面と仮定し光源方向の異なる3枚の基本画像から、任意光源方向の画像(合成画像)を次式のように表現できる。 First, assuming that the light source is a parallel light source and the reflection surface is a random reflection surface, an image (composite image) in an arbitrary light source direction can be expressed as follows from three basic images with different light source directions.

Figure 0005228157
Figure 0005228157

ただし、(I,I,I)は3枚画像のベクトル表現で、Iは任意方向の画像のベクトル表現である。また、c=[c ,c ,c は画像Iに対する線形結合の係数組、である。pは任意画素である。 However, (I 1 , I 2 , I 3 ) is a vector representation of three images, and I k is a vector representation of an image in an arbitrary direction. Further, c k = [c 1 k , c 2 k , c 3 k ] T is a coefficient combination of linear combination with the image I k . p is an arbitrary pixel.

数1のモデルを用い、次の手順に従って合成画像を求める。
1)線形結合係数の算出
まず3枚画像を選んで基本画像とする。次に(I,I,Ik=4,5,・・・nの輝度分布を作成し、輝度の平均値と最大値との間[Iave,Imax]から任意の3画素を選び、次式によりcを求める。
Using the model of Equation 1, a composite image is obtained according to the following procedure.
1) Calculation of linear combination coefficient First, three images are selected as basic images. Next , a luminance distribution of (I 1 , I 2 , I k ) k = 4, 5,... N is created, and an arbitrary 3 is calculated from [I ave , I max ] between the average value and the maximum value of the luminance. Select a pixel and find ck by the following equation.

Figure 0005228157
Figure 0005228157

この計算を繰り返して行い、求めた線形結合係数cを図4に示すような3次元空間にプロットし係数の分布図が得られる。分布図の重心付近の点を削除し、分散点の重心をもう一度計算してその座標のcを画像Iの結合係数とする。以上の手順を繰り返して行い、すべての画像に対して合成画像が得られる。 This calculation is repeated, and the obtained linear combination coefficient ck is plotted in a three-dimensional space as shown in FIG. 4 to obtain a coefficient distribution diagram. The points near the center of gravity of the distribution map are deleted, the center of gravity of the dispersion point is calculated once again, and the coordinates ck of the coordinates are used as the coupling coefficient of the image Ik . The above procedure is repeated to obtain a composite image for all images.

2)基本画像の正規化
基本画像以外の任意の3枚画像(I,I,I)を選びそれらの結合係数(c,c,c)を用いて、基本画像(I,I,I)を次式のように正規化する。
2) Normalization of the basic image Arbitrary three images other than the basic image (I l , I m , I n ) are selected and their coupling coefficients (c l , c m , c n ) are used to determine the basic image (I 1 , I 2 , I 3 ) are normalized as follows:

Figure 0005228157
Figure 0005228157

この計算を繰り返して行い、得られた画素平均値を基本画像の輝度値(I ,I ,I )とする。 This calculation is repeated, and the obtained pixel average value is used as the luminance value (I 1 L , I 2 L , I 3 L ) of the basic image.

3)正規化基本画像による合成画像の再構成
正規化された3枚の基本画像を元にして、手順1)によりすべての画像の結合係数cを求め、合成画像Iをもう一度生成する。このようにして合成された画像には、鏡面反射が削除され、ランダム反射が強調、抽出される。
3) Reconstruction of composite image using normalized basic image Based on the three normalized basic images, the coupling coefficient ck of all the images is obtained by procedure 1), and the composite image Ik is generated again. In the image synthesized in this way, specular reflection is deleted, and random reflection is emphasized and extracted.

次に、生成された画像に対して、離散ウェーブレット変換を施し、ノイズ除去や欠陥の鮮鋭化を行う。具体的な処理として、まず、画像を複素数離散ウェーブレット変換により分解し、4つの画像RR、RI、IR、IIを得る。ここで、Rは実数、Iは虚数を表す。この4つの画像を数4により1つの画像に変換したあと、ノイズ除去や鮮鋭化の処理を経て、逆複素数離散ウェーブレットにより画像を再構成する。 Next, discrete wavelet transform is performed on the generated image to remove noise and sharpen defects. As a specific process, first, an image is decomposed by a complex discrete wavelet transform to obtain four images RR, RI, IR, and II. Here, R represents a real number and I represents an imaginary number. After these four images are converted into one image by Equation 4, the image is reconstructed by inverse complex discrete wavelets after noise removal and sharpening processing.

上記複素数離散ウェーブレット変換はマザーウェーブレットが非常に重要であるが、本発明者らは、より好適なマザーウェーブレットを開発し、それにより完全シフト不変な性質を持つ複素数離散ウェーブレット変換を実現して画像位置の微小なシフトによるウェーブレット係数の変動をほぼゼロに抑えた。これにより、検査表面にある小さな傷に対しても、安定なウェーブレット係数が得られ、検査の精度を向上させることができる。 Although the mother wavelet is very important for the above complex discrete wavelet transform, the present inventors have developed a more suitable mother wavelet, thereby realizing a complex discrete wavelet transform having completely shift-invariant properties and image position. The fluctuation of the wavelet coefficient due to the small shift of is suppressed to almost zero. Thereby, a stable wavelet coefficient can be obtained even for small scratches on the inspection surface, and the accuracy of inspection can be improved.

Figure 0005228157
Figure 0005228157

最後に、ノイズ除去および欠陥が鮮鋭化された評価対象画像に対して、リファレンスデータとのパターンマッチングを行い、実際に欠陥があるかどうかの評価を行う。 Finally, pattern matching with reference data is performed on the evaluation target image from which noise has been removed and the defect has been sharpened to evaluate whether or not there is actually a defect.

本発明の評価対象物となる部材としては、金属からなる部材または部品が適する。ここで言う金属とは、鉄や鉄鋼を主体とした鉄系の材料およびこれらの合金、またアルミニウム、銅、マグネシウム、チタンなどで代表される非鉄材料およびこれらの合金が含まれる。 As a member to be an evaluation object of the present invention, a metal member or component is suitable. The metal mentioned here includes iron-based materials mainly composed of iron and steel and alloys thereof, and non-ferrous materials represented by aluminum, copper, magnesium, titanium and the like and alloys thereof.

更に、表面に金属皮膜が形成されている部材または部品も適する。
この場合の基材としては、上に述べた金属のみならずセラミックス、ガラス、プラスチックなどいずれでも良く、特に限定されるものではなく、その基材の表面に何らかの方法で金属皮膜が形成されていれば良い。
Furthermore, a member or component having a metal film formed on the surface is also suitable.
The base material in this case may be any of ceramics, glass, plastics, etc. as well as the metals described above, and is not particularly limited. A metal film may be formed on the surface of the base material by any method. It ’s fine.

また金属皮膜の形成法としては、メッキ、スパッタ、蒸着、溶射等いずれの方法を用いたものでもよく、特に限定されるものではない。     Further, the method for forming the metal film may be any method using plating, sputtering, vapor deposition, thermal spraying, etc., and is not particularly limited.

なかでも、メッキ法により金属皮膜(メッキ皮膜)が形成されており、その表面が鏡面状態にある、光を全反射する部材または部品は、本発明にとって望ましい評価対象物の一つである。 Among them, a member or component that totally reflects light, in which a metal film (plating film) is formed by a plating method and the surface thereof is in a mirror state, is one of evaluation objects desirable for the present invention.

また金属皮膜の種類としては、亜鉛、ニッケル、クロム、スズ、銅、金、銀、チタン等があげられ、更にはこれらの元素を主成分とし他の元素と合金化した、合金皮膜も、評価対象物として適する。 In addition, the types of metal films include zinc, nickel, chromium, tin, copper, gold, silver, titanium, etc. Furthermore, alloy films that are alloyed with other elements based on these elements are also evaluated. Suitable as an object.

本発明により、例えば金属製の部材や部品、または表面に金属皮膜を形成した、光学的に鏡面反射を示すような部材または部品でも、精度よくその表面欠陥の検出ができる。 According to the present invention, a surface defect can be detected with high accuracy even in a member or component made of metal, for example, or a member or component that has a metal film formed on the surface and optically shows specular reflection.

本発明を実施するための最良の形態について、図を参照して説明する。
本発明は図1に例示するフローのように実施される。まず評価対象物とカメラは固定し,点光源の位置を変えて、または複数位置に配置した点光源を順次点灯することにより、複数枚の表面画像を計測する。次に金属表面反射モデルを用いて強い鏡面反射を削除し微小なランダム反射を抽出する。そして複素数離散ウェーブレット変換を用いてノイズ除去や欠陥鮮鋭化などを行い、表面欠陥を明らかにする。最後にパターンマッチングにより表面欠陥を自動的に検出する。
The best mode for carrying out the present invention will be described with reference to the drawings.
The present invention is implemented as the flow illustrated in FIG. First, the evaluation object and the camera are fixed, and a plurality of surface images are measured by changing the position of the point light source or sequentially turning on the point light sources arranged at a plurality of positions. Next, a strong specular reflection is deleted using a metal surface reflection model, and a minute random reflection is extracted. Then, noise removal and defect sharpening are performed using complex discrete wavelet transform to clarify surface defects. Finally, surface defects are automatically detected by pattern matching.

図2に示すのは表面画像計測システムの例である。図示のように、評価対象物とカメラはある定まった位置に固定し、点光源の位置を変えて異なる方向から複数の画像を取得する。 次に図3に例示するように反射モデルにより3つの異なる方向光源から得られた基本画像を用いて新たな1枚画像を構成し、鏡面反射光を削除する。そして鏡面反射が削除された画像に対して、図5に例示するように複素数離散ウェーブレット変換により分解し、4つの画像RR、RI、IR、IIが得られる。ただし、画像RRは横と縦とも複素数ウェーブレットの実部により処理した画像、画像RIは横が複素数ウェーブレットの実部、縦が複素数ウェーブレットの虚部により処理した画像、画像IRは横が複素数ウェーブレットの虚部、縦が複素数ウェーブレットの実部により処理した画像、画像IIは横と縦とも複素数ウェーブレットの虚部により処理した画像である。これら処理は図6に示したマザーウェーブレットを用いて行うことと等しい。さらにこれらを1つの画像に変換したあと、ノイズ除去や鮮鋭化などの処理を経て、逆複素数離散ウェーブレットにより画像を再構成する。 FIG. 2 shows an example of a surface image measurement system. As shown in the drawing, the evaluation object and the camera are fixed at a certain fixed position, and a plurality of images are acquired from different directions by changing the position of the point light source. Next, as illustrated in FIG. 3, a new single image is formed using basic images obtained from three different directional light sources using a reflection model, and specular reflection light is deleted. Then, the image from which the specular reflection is deleted is decomposed by a complex discrete wavelet transform as illustrated in FIG. 5 to obtain four images RR, RI, IR, and II. However, the image RR is an image processed by the real part of the complex wavelet in both the horizontal and vertical directions, the image RI is an image processed by the real part of the complex wavelet in the horizontal direction, the vertical is processed by the imaginary part of the complex wavelet, and the image IR is a complex wavelet in the horizontal direction. The imaginary part and the vertical image are processed by the real part of the complex wavelet, and the image II is an image processed by the imaginary part of the complex wavelet in both horizontal and vertical directions. These processes are equivalent to performing using the mother wavelet shown in FIG. Further, after these are converted into one image, the image is reconstructed by the inverse complex discrete wavelet through processes such as noise removal and sharpening.

このように処理した欠陥なしの画像と欠陥ありの画像とのパターンマッチングを行い、欠陥検出を行う。 Pattern matching is performed between the image having no defect and the image having the defect processed in this way, and defect detection is performed.

本発明を実施例にもとづき更に詳細に説明するが、本発明はこれらの実施例のみに限定されるものではない。   EXAMPLES Although this invention is demonstrated still in detail based on an Example, this invention is not limited only to these Examples.

図7に示すのは、自動車用の部品である。基材はABS樹脂からなり、その表面全体にはクロムメッキが施されている。この部品のクロムメッキ表面の欠陥検出の例である。図7の(I)は従来自然照明の場合で得られたクロムメッキ表面の画像であり、(II)は図7に示した計測システムにより得られた画像、(III)は(II)の画像に対して表面反射モデルを用いて鏡面反射光を削除した画像、(IV)は(III)の画像に対して複素数離散ウェーブレット変換によりノイズ除去や欠陥の鮮鋭化などの処理を行い、そしてパターンマッチング処理して得られた欠陥画像である。また(b)に示した欠陥ありの傷は3箇所で、幅約0.01mm、長さ約3mmである。図7に示すように、従来自然照明での画像について、欠陥なしと欠陥ありの表面の区別はきわめて困難であるが、本技術を用いて、表面反射モデルにより鏡面反射を削除すると欠陥なしと欠陥ありとの違いが明確に得られる。このことは、以下のように輝度分布を見ることで、定量的に説明することができる。 FIG. 7 shows parts for automobiles. The base material is made of ABS resin, and the entire surface is chrome plated. It is an example of the defect detection of the chrome plating surface of this component. (I) in FIG. 7 is an image of the chrome plating surface obtained in the case of conventional natural illumination, (II) is an image obtained by the measurement system shown in FIG. 7, and (III) is an image of (II). Image with specular reflection removed using surface reflection model for (IV), (III) image is processed with complex discrete wavelet transform for noise removal and defect sharpening, and pattern matching It is the defect image obtained by processing. Further, the scratches with defects shown in (b) are three places, a width of about 0.01 mm and a length of about 3 mm. As shown in FIG. 7, it is extremely difficult to distinguish between a defect-free surface and a surface with a defect in a conventional natural illumination image. However, if specular reflection is eliminated by a surface reflection model using this technology, there is no defect and a defect. The difference is clearly obtained. This can be explained quantitatively by looking at the luminance distribution as follows.

図8は画像の輝度分布を示す。ここで、図8(a)は図7(II)の(a)の表面反射モデルで処理する前の輝度分布であり、(b)は図7(III)の(a)の表面反射モデルで処理した後の輝度分布である。図8の(a)と(b)を比べてわかるように、表面反射モデルにより、高い輝度を示す鏡面反射を削除したのが分かる。また、表面反射モデルで処理した後の輝度分布の中心位置を輝度値の大きい側にシフト(これは、欠陥判断に有効な画像部分の平均輝度が高くなり、欠陥が認識しやくなったことを示す)し、ランダム反射成分が強調されていることも示している。すなわち、本技術を用いて鏡面反射を削除し欠陥なしと欠陥ありとの違いが明確になったことがいえる。 FIG. 8 shows the luminance distribution of the image. Here, FIG. 8A is a luminance distribution before processing with the surface reflection model of FIG. 7A, and FIG. 8B is a surface reflection model of FIG. It is a luminance distribution after processing. As can be seen by comparing (a) and (b) of FIG. 8, it can be seen that the specular reflection showing high luminance is deleted by the surface reflection model. In addition, the center position of the luminance distribution after processing with the surface reflection model is shifted to the higher luminance value side (this means that the average luminance of the image portion effective for defect determination is increased and the defect is more easily recognized. It also shows that the random reflection component is emphasized. In other words, it can be said that the specular reflection is eliminated by using the present technology, and the difference between the defect-free and the defect-free is clarified.

そして、複素数離散ウェーブレット変換によりノイズ除去や欠陥の鮮鋭化などの処理を行い、パターンマッチング処理して欠陥を検出した。すなわち、本技術により鏡面反射の強いクロムめっき表面の欠陥を自動的に検出することができた。 Then, processing such as noise removal and defect sharpening is performed by complex discrete wavelet transform, and defects are detected by pattern matching processing. In other words, this technology was able to automatically detect defects in the chrome plating surface with strong specular reflection.

このようにして鏡面反射成分を取り除いたものを複素数離散ウェーブレット変換によりノイズ除去や欠陥の鮮鋭化などの処理を行い、パターンマッチング処理して欠陥を検出した。よって本技術により鏡面反射の強いクロムめっき表面の欠陥を自動的に検出することができる。 After removing the specular reflection component in this way, processing such as noise removal and defect sharpening was performed by complex discrete wavelet transform, and defects were detected by pattern matching processing. Therefore, it is possible to automatically detect defects on the chrome plating surface having a strong specular reflection by this technique.

自動車部品や家電製品の部材や部品などの多くは、欠陥部分を取り除くための表面検査が必要であり、それを多くの人手をかけて目視で行っているのが現状である。特に評価対象物が光学的に全反射またはそれに近い表面状態(鏡面)を持つ部材または部品などの場合には、従来の技術では欠陥検査の自動化が困難であった。このような場合でも、本技術を用いることにより表面欠陥の検査が自動化でき、製品機能の向上や品質管理の工数削減に大いに貢献できる。 Many of the parts and parts of automobile parts and household electrical appliances require surface inspection to remove defective parts, and the current situation is that they are carried out with a lot of human hands. In particular, when the object to be evaluated is a member or part having optically total reflection or a surface state (mirror surface) close to that optically, it has been difficult to automate defect inspection with the conventional technique. Even in such a case, the inspection of surface defects can be automated by using this technology, which can greatly contribute to improvement of product functions and reduction of man-hours for quality control.

表面欠陥の自動検査の流れ図を示す。A flow chart of automatic inspection of surface defects is shown. 表面画像計測システムを示す。A surface image measurement system is shown. 反射モデルによる鏡面反射光の除去を示す。The removal of specular reflection light by a reflection model is shown. 係数分布図の例を示す。An example of a coefficient distribution diagram is shown. 複素数離散ウェーブレット変換の分解アルゴリズムを示す。The decomposition algorithm of complex number discrete wavelet transform is shown. 画像RR、RI、IR、IIに対応するマザーウェーブレットの例を示す。An example of mother wavelets corresponding to images RR, RI, IR, and II is shown. 本発明によるクロムメッキ表面の欠陥検出実施例を示す。An embodiment for detecting defects on a chrome plating surface according to the present invention will be described. 画像の輝度分布の例を示す。The example of the luminance distribution of an image is shown.

符号の説明Explanation of symbols

1…コンピュータ
2…カメラ
3…光源
4…評価対象物
DESCRIPTION OF SYMBOLS 1 ... Computer 2 ... Camera 3 ... Light source 4 ... Evaluation object

Claims (8)

評価対象物の表面欠陥を自動的に検査する装置であって、
評価対象物とカメラを固定し、点光源の位置を変えながら、または複数位置に配置した点光源を順次点灯することにより、複数枚の表面画像を撮影する手段、
それらの画像のうち3枚の画像を基本画像とし、金属表面反射モデルにより合成画像を生成するとともに、基本画像以外の任意の3枚の画像から前記基本画像を正規化し、該正規化された3枚の基本画像をもとに合成画像を再度生成することにより、鏡面反射の影響を除去し微小なランダム反射を抽出した一枚の画像を生成する手段、
前手段において生成された画像に複素数離散ウェーブレット変換を施し、ノイズ除去および欠陥鮮鋭化を行った画像を生成する手段、
および、リファレンス画像と前手段で生成された画像とのパターンマッチングを行い、対象物の表面欠陥を検出する手段
からなることを特徴とする表面欠陥の自動検査装置。
An apparatus for automatically inspecting surface defects of an evaluation object,
Means for photographing a plurality of surface images by fixing the object to be evaluated and the camera and changing the position of the point light source or by sequentially turning on the point light sources arranged at a plurality of positions;
Of these images , three images are set as basic images, a composite image is generated by a metal surface reflection model, the basic image is normalized from any three images other than the basic image, and the normalized 3 Means for generating a single image by removing the influence of specular reflection and extracting minute random reflections by generating a composite image again based on a single basic image ;
Means for performing complex discrete wavelet transform on the image generated in the previous means, and generating an image subjected to noise removal and defect sharpening;
And performs pattern matching between the image generated by the reference image and the previous unit, the automatic inspection device on the front surface defects you comprises a means for detecting surface defects of the object.
前記評価対象物が、金属からなる部材または部品であることを特徴とする請求項1に記載の表面欠陥の自動検査装置。 2. The surface defect automatic inspection apparatus according to claim 1, wherein the object to be evaluated is a member or part made of metal. 前記評価対象物が、表面に金属皮膜が形成されている部材または部品であることを特徴とする請求項1または2に記載の表面欠陥の自動検査装置。 3. The surface defect automatic inspection apparatus according to claim 1, wherein the object to be evaluated is a member or a part having a metal film formed on a surface thereof. 前記複素数離散ウェーブレット変換は、完全シフト不変な性質を持つ複素数離散ウェーブレット変換であることを特徴とする請求項1ないし3のいずれかに記載の表面欠陥の自動検査装置。 The complex discrete wavelet transform, automatic test equipment surface defects according to any one of claims 1 to 3 characterized in that it is a complex discrete wavelet transform with full shift invariant properties. 評価対象物の表面欠陥を自動的に検査する方法であって、
評価対象物とカメラを固定し、点光源の位置を変えながら、または複数位置に配置した点光源を順次点灯することにより、複数枚の表面画像を撮影する工程、
それらの画像のうち3枚の画像を基本画像とし、金属表面反射モデルにより合成画像を生成するとともに、基本画像以外の任意の3枚の画像から前記基本画像を正規化し、該正規化された3枚の基本画像をもとに合成画像を再度生成することにより、鏡面反射の影響を除去し微小なランダム反射を抽出した一枚の画像を生成する工程、
前工程において生成された画像に複素数離散ウェーブレット変換を施し、ノイズ除去および欠陥鮮鋭化を行った画像を生成する工程、
および、リファレンス画像と前手段で生成された画像とのパターンマッチングを行い、対象物の表面欠陥を検出する手工程
からなることを特徴とする表面欠陥の自動検査方法。
A method for automatically inspecting surface defects of an evaluation object,
A step of photographing a plurality of surface images by fixing the evaluation object and the camera and changing the position of the point light source or by sequentially turning on the point light sources arranged at a plurality of positions,
Of these images , three images are set as basic images, a composite image is generated by a metal surface reflection model, the basic image is normalized from any three images other than the basic image, and the normalized 3 A step of generating a single image from which the influence of specular reflection is removed and minute random reflections are extracted by generating a composite image again based on a single basic image ;
A step of performing complex discrete wavelet transform on the image generated in the previous step to generate an image subjected to noise removal and defect sharpening;
And performs pattern matching between the image generated by the reference image and the previous unit, automatic inspection method of front surface defects you, comprising the hand step of detecting surface defects of the object.
前記評価対象物が、金属からなる部材または部品であることを特徴とする請求項5に記載の表面欠陥の自動検査方法。 6. The surface defect automatic inspection method according to claim 5, wherein the object to be evaluated is a member or part made of metal. 前記評価対象物が、表面に金属皮膜が形成されている部材または部品であることを特徴とする請求項5または6に記載の表面欠陥の自動検査方法。 The method for automatically inspecting a surface defect according to claim 5 or 6, wherein the evaluation object is a member or a part having a metal film formed on a surface thereof. 前記複素数離散ウェーブレット変換は、完全シフト不変な性質を持つ複素数離散ウェーブレット変換であることを特徴とする請求項5ないし7のいずれかに記載の表面欠陥の自動検査方法。 The complex discrete wavelet transform, an automatic method of inspecting surface defects according to any one of claims 5 to 7, characterized in that a complex discrete wavelet transform with full shift invariant properties.
JP2007147573A 2007-06-04 2007-06-04 Automatic surface defect inspection apparatus and inspection method Active JP5228157B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007147573A JP5228157B2 (en) 2007-06-04 2007-06-04 Automatic surface defect inspection apparatus and inspection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007147573A JP5228157B2 (en) 2007-06-04 2007-06-04 Automatic surface defect inspection apparatus and inspection method

Publications (2)

Publication Number Publication Date
JP2008298703A JP2008298703A (en) 2008-12-11
JP5228157B2 true JP5228157B2 (en) 2013-07-03

Family

ID=40172338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007147573A Active JP5228157B2 (en) 2007-06-04 2007-06-04 Automatic surface defect inspection apparatus and inspection method

Country Status (1)

Country Link
JP (1) JP5228157B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011101893A1 (en) * 2010-02-17 2011-08-25 コニカミノルタホールディングス株式会社 Method and device for detecting flaw on surface of flexible object to be tested
JP5594665B2 (en) * 2010-09-10 2014-09-24 国立大学法人佐賀大学 Noise removing apparatus, method thereof, and program
JP6133112B2 (en) * 2013-04-11 2017-05-24 Ntn株式会社 Rolling bearing diagnostic device and rolling bearing diagnostic method
JP6371044B2 (en) * 2013-08-31 2018-08-08 国立大学法人豊橋技術科学大学 Surface defect inspection apparatus and surface defect inspection method
CN112884689B (en) * 2021-02-25 2023-11-17 景德镇陶瓷大学 Method for removing high light of strong reflection surface image

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0979997A (en) * 1995-09-08 1997-03-28 Sumitomo Metal Ind Ltd Defect inspection method and device
JP3935499B2 (en) * 2004-07-26 2007-06-20 松下電器産業株式会社 Image processing method, image processing apparatus, and image processing program

Also Published As

Publication number Publication date
JP2008298703A (en) 2008-12-11

Similar Documents

Publication Publication Date Title
Yang et al. Defect detection in magnetic tile images based on stationary wavelet transform
JP5228157B2 (en) Automatic surface defect inspection apparatus and inspection method
Liu et al. Automatic inspection system of surface defects on optical IR-CUT filter based on machine vision
Khan et al. Subsea pipeline corrosion estimation by restoring and enhancing degraded underwater images
JP2004509325A (en) Reduce false alarms in PCB inspection
CN108346141A (en) Unilateral side incidence type light guide plate defect extracting method
JP6371044B2 (en) Surface defect inspection apparatus and surface defect inspection method
CN110189290A (en) Metal surface fine defects detection method and device based on deep learning
JP7147974B2 (en) METHOD OF CLASSIFICATION OF METALLOGICAL STRUCTURE PHASE, METHOD OF CLASSIFICATION OF METALLOGICAL STRUCTURE PHASE, METHOD OF MATERIAL CHARACTERISTICS PREDICTION OF METALLIC MATERIAL, AND MATERIAL CHARACTERISTICS PREDICTION DEVICE OF MATERIAL MATERIAL
Malkiel et al. Automated scanning and measurements of particle distributions within a holographic reconstructed volume
Medina et al. Automated visual classification of frequent defects in flat steel coils
Fekri-Ershad et al. A robust approach for surface defect detection based on one dimensional local binary patterns
CN109632808A (en) Seamed edge defect inspection method, device, electronic equipment and storage medium
Park et al. Vision-based inspection for periodic defects in steel wire rod production
JP2012159502A (en) Non-destructive test method for automatic fastener inspection
JP5794629B2 (en) Surface inspection apparatus, surface inspection method, surface inspection program, and computer-readable recording medium
Lin et al. Defect detection system for optical element surface based on machine vision
Oswald-Tranta et al. Thermographic crack detection and failure classification
Ismail et al. Fabric authenticity method using fast Fourier transformation detection
Li et al. Ferrite magnetic tile defects detection based on nonsubsampled contourlet transform and texture feature measurement
JP6126290B1 (en) Appearance inspection device
JP6034529B1 (en) Surface condition diagnostic equipment
Chen Inspecting lens collars for defects using discrete cosine transformation based on an image restoration scheme
WO2021199937A1 (en) Method for determining condition for imaging of metallographic structure, method for imaging metallographic structure, method for classifying phases of metallographic structure, device for determining condition for imaging of metallographic structure, device for imaging metallographic structure, device for classifying phases of metallographic structure, method for predicting material properties of metallic material, and device for predicting material properties of metallic material
CN114677331A (en) Pipe defect detection method and device based on fusion of gray level image and depth data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121023

R155 Notification before disposition of declining of application

Free format text: JAPANESE INTERMEDIATE CODE: R155

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121228

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250