JP7443162B2 - Inspection equipment and inspection method - Google Patents
Inspection equipment and inspection method Download PDFInfo
- Publication number
- JP7443162B2 JP7443162B2 JP2020092252A JP2020092252A JP7443162B2 JP 7443162 B2 JP7443162 B2 JP 7443162B2 JP 2020092252 A JP2020092252 A JP 2020092252A JP 2020092252 A JP2020092252 A JP 2020092252A JP 7443162 B2 JP7443162 B2 JP 7443162B2
- Authority
- JP
- Japan
- Prior art keywords
- illumination
- image
- evaluation
- section
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 42
- 238000000034 method Methods 0.000 title claims description 13
- 238000005286 illumination Methods 0.000 claims description 131
- 238000011156 evaluation Methods 0.000 claims description 85
- 238000012545 processing Methods 0.000 claims description 37
- 230000007547 defect Effects 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000001678 irradiating effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 229910052751 metal Inorganic materials 0.000 description 9
- 239000002184 metal Substances 0.000 description 9
- 229910000831 Steel Inorganic materials 0.000 description 7
- 239000010959 steel Substances 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000010363 phase shift Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000003801 milling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本発明は、物体の表面を検査する検査装置及び検査方法に関する。 The present invention relates to an inspection device and an inspection method for inspecting the surface of an object.
物体の外観を評価することは重要な命題であり、近年、自動車やその他工業製品の仕上がり検査においては自動化がすすめられている。特に、空間的にある周期で明暗をもつラインパターンの照明(以下、ラインパターン照明)を検査対象の物体に照明して、物体の凹凸や傷などの欠陥を検査する装置が知られている。ラインパターン照明で欠陥を検査する技術においては、特に金属加工面や樹脂成型面など、完全な鏡面ではなく反射性状に拡散の性質を含む対象物の凹凸などの欠陥を検出するのは難しい。そのため、検査対象の物体に対して比較的緩い角度(大きい入射角度)でパターン光を照明して観測する以下のような技術が開示されている。 Evaluating the appearance of an object is an important proposition, and in recent years, automation has been promoted in the inspection of the finish of automobiles and other industrial products. In particular, an apparatus is known that illuminates an object to be inspected with line pattern illumination (hereinafter referred to as line pattern illumination) that changes in brightness and darkness at a certain spatial period to inspect defects such as irregularities and scratches on the object. With technology that uses line pattern illumination to inspect defects, it is particularly difficult to detect defects such as irregularities on objects that are not completely mirror-like and have diffuse reflective properties, such as processed metal surfaces or resin molded surfaces. Therefore, the following technology has been disclosed in which the object to be inspected is illuminated with pattern light at a relatively gentle angle (large incident angle) and observed.
特開2011-89981(特許文献1)には、鋼板の凹凸欠陥の検査装置が開示されている。この検査装置では、照明部からのラインパターン照明光で、鋼板の評価領域に3~10°以下の角度で照明し、照明部に対して正反射方向に配置したカメラで鋼板に映り込んだラインパターン照明光を撮影する。その際、照明部とカメラの両者を固定した保持部材を移動させ、鋼板の表面に対してラインパターンの位相を変化させて撮像することで、鋼板の凹凸の欠陥を検出している。なお、撮像画像上で照明部と鋼板とが重ならない位置関係を構成して、撮像画像において、ラインパターン照明光が映り込んでいる部分とラインパターン照明光が映り込んでいない光量変化のない単調な部分とを自動認識して欠陥評価領域を決定している。 Japanese Unexamined Patent Publication No. 2011-89981 (Patent Document 1) discloses an inspection device for unevenness defects in a steel plate. In this inspection device, the evaluation area of the steel plate is illuminated at an angle of 3 to 10 degrees with line pattern illumination light from the illumination unit, and the lines reflected on the steel plate are captured using a camera placed in the specular reflection direction with respect to the illumination unit. Photograph pattern illumination light. At this time, defects in the unevenness of the steel plate are detected by moving a holding member to which both the illumination unit and the camera are fixed and capturing an image while changing the phase of the line pattern with respect to the surface of the steel plate. In addition, the positional relationship between the illumination unit and the steel plate is such that they do not overlap on the captured image, so that in the captured image, there are areas where the line pattern illumination light is reflected and areas where the line pattern illumination light is not reflected, with no change in light intensity. The defect evaluation area is determined by automatically recognizing the defective parts.
金属のような粗面の計測においては、より浅い角度(大きな反射角)で撮像する方が、明暗パターン光の縞が明瞭に撮影できる。特許文献1では、撮像画像上で照明部を含まない画像を生成、取得しているが、撮像画像上で照明部を含む場合の検査については開示されていない。また、特許文献1では、撮像画像上で照明部と鋼板とが重なる場合、光量変化のない単調な部分を自動認識することは難しい。
When measuring a rough surface such as a metal, it is better to capture the image at a shallower angle (larger reflection angle) to capture the bright and dark patterned light stripes more clearly. Although
そこで、本発明は、撮影画像において照明部を含む場合において物体の評価領域を簡易に検査することを目的とする。 Therefore, an object of the present invention is to easily inspect the evaluation region of an object when a captured image includes an illumination part.
上記課題を解決する本発明の一側面としての検査装置は、物体の表面を検査する検査装置において、明暗パターンを前記物体の表面に照射する照明部と、前記照明部により前記明暗パターンが照明された前記物体の表面を撮像する撮像部と、前記撮像部により撮像された画像を処理することにより前記物体の表面の評価を行う処理部と、を有し、前記撮像部は、前記照明部により前記明暗パターンの位相をずらしながら照明された前記物体の表面と、前記照明部と、が画角内に含まれた複数の画像を生成し、前記処理部は、前記複数の画像に基づいて画像内における前記物体の表面と前記照明部の領域を分離して、分離された前記物体の表面における画像を評価することを特徴とする。 An inspection apparatus according to one aspect of the present invention for solving the above problems is an inspection apparatus that inspects the surface of an object, and includes an illumination section that irradiates a bright and dark pattern onto the surface of the object, and an illumination section that illuminates the bright and dark pattern. an image capturing section that captures an image of the surface of the object, and a processing section that evaluates the surface of the object by processing the image captured by the image capturing section; The processing unit generates a plurality of images in which the surface of the object illuminated while shifting the phase of the light and dark pattern and the illumination unit are included within an angle of view, and the processing unit generates an image based on the plurality of images. The method is characterized in that the surface of the object and the area of the illumination section within the object are separated, and an image on the separated surface of the object is evaluated.
本発明によれば、撮影画像において照明部を含む場合において物体の評価領域を簡易に検査することができる。 According to the present invention, it is possible to easily inspect the evaluation region of an object when a captured image includes an illumination section.
以下に、本発明の好ましい実施形態を添付の図面に基づいて詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail based on the accompanying drawings.
<第1実施形態>
図1は、第1実施形態における検査装置50を示す概略図である。検査装置50は、検査対象の物体4を検査するため、照明部1と、カメラ2(撮像部)と、制御部3、画像処理部5、表示部6、及び、可動機構7を備える。
<First embodiment>
FIG. 1 is a schematic diagram showing an inspection device 50 in the first embodiment. The inspection device 50 includes an
照明部1は、高拡散の配光特性を持ち、明部と暗部からなる面照明により、明暗のライン状のパターン照明光を物体4に照射する。照明部1について図2を用いて説明する。照明部1は、明部(光透過部)1Aと暗部(非透過部、遮光部)1BがピッチPで空間的に交互に平面上に配置された面照明である。例えば、内部に敷き詰められたLEDの上に拡散板を配置することで得られる一様に明るい面照明に、非透過部として、黒いインクでシルク印刷したり、黒い金属等の板材を配置したりすることで構成することができる。
The
カメラ2は、例えばCCDやCMOSなどの2次元エリアセンサーとレンズで構成され、評価面(検査面)の画像を取得できるものとする。カメラ2は、照明部1により評価面41、42に照射された照明光の反射光を撮影する。
The
制御部3は、検査装置50の各部を制御する。制御部3は、例えばCPUやメモリなどを有する基板によって構成されており、照明部1、カメラ2、及び、可動機構7を同期して制御する。
The
画像処理部5は、画像を演算処理する機能を有し、例えば汎用的なPCであっても画像処理専用マシンであってもよく、CPU、GPU又はDSPなどの演算装置を有する。カメラ2で撮像された画像はケーブル、制御部3を経由して画像処理部5に転送される。画像処理部5は、カメラ2で生成された画像に対して画像処理を行い、物体表面の欠陥を判定するための様々な数値処理を行い、欠陥の有無や合否を判定できる。具体的には、画像処理部5は、評価面41、42にある欠陥、傷の大きさや深さ、見た目の目立ち具合などを数値化し合否判定することができる。
The
表示部6は、例えばディスプレイであって、取得した画像、画像処理部5で数値処理した結果、又は、数値処理した結果を使用して判定した欠陥の合否結果、等を表示することができる。
The display unit 6 is, for example, a display, and can display the acquired image, the result of numerical processing by the
検査対象の物体4の表面としては、例えば、金属加工面、樹脂成型面、又は、印刷面などの光拡散面がある。本実施形態では、評価面41、42は、フライスで加工、製作された金属加工面であって、加工時に表面に機械加工によるひき目ができた光拡散面を例に挙げて説明する。金属加工面は、図3(a)に示すように、入射光100が正対する方向つまり入射角θが45°以下の小さい値の時は拡散に近いBRDF特性105B(BRDF=双方向反射率分布関数)をもつ。一方、金属加工面は、図3(b)に示すように、入射光100が反射面に沿うような緩い角度、つまり入射角θが80°~90°の時は、正反射方向にほとんどの光が反射される鋭いBRDF特性105Cをもつ。
The surface of the
そのため、評価面41、42と、カメラ2により撮影される評価面41、42での照明光の反射光の方向(カメラ2の光軸)とが、10°以下の角度になるように、照明部1、物体4、カメラ2を配置する。そのように配置すると、評価面41、42上には、照明部1によるパターン照明光の鏡像が写し出され、カメラ2で撮像できることになる。
Therefore, the illumination is made such that the
カメラ2は、レンズの焦点位置と絞りが調整され、評価面41と評価面42の全面に焦点が合い、明瞭に観察できることが好ましい。本実施形態においては、評価面41、42の長さが20mm、入射角θを85°とすると、評価面41、42の全面に焦点を合わせるためには、焦点深度は20mm×sin(85°)=19.9mm必要になる。一方、評価面41、42で幅1mmの欠陥は、カメラ2の方向から欠陥を見ると、1mm×cos(85°)=0.087mmとなる。この欠陥を判別するためには、光学系のボケの許容量はそれより小さいことが好ましい。つまり、カメラ2のレンズの焦点方向に19.9mmにわたって50μm程度のボケしか許容せず、マクロ撮影的に欠陥の観察をする本用途においては、レンズ絞りを相当数絞る必要がある。このことから、検査時間と撮像時間を両立するために、レンズ光軸とセンサー面を傾斜させて焦点面を光軸と傾けるシャインプルーフ構成にして、レンズの絞りを出来るだけ開いて、センサーに到達する光を確保することも効果的である。ただし、判定すべき傷の大きさに応じて、焦点がぼけていることは構わない。
It is preferable that the focal position and aperture of the lens of the
照明部1は、可動機構7により、照明部1の明部1A、暗部1Bのラインの延びる方向(長手方向)に対して直交する方向(図中のX方向、ピッチPの周期方向)に移動可能と構成されている。可動機構7は制御部3と接続されている。制御部3は可動機構7を制御して、照明部1をΔXi(i=1,2,・・・N、Nは3以上の整数)だけ移動させ、N枚の画像をカメラ2に撮影させる。ここで、ΔX1、ΔX2・・・ΔXNはそれぞれ互いに異なる値であり、ΔXiは既知であればよく、任意の大きさに設定することができる。ただし、このような構成に限定されるものではなく、例えば、手動にて可動機構7を操作して物体4を移動させた後、マニュアルトリガーでカメラ2にて物体4を撮影してもよい。
The
次に、欠陥の検出(検査)の方法について述べる。図4に、本実施形態の検査装置を用いた、物体の表面上の欠陥を検査する方法のフローチャートを示す。 Next, a method for detecting (inspecting) defects will be described. FIG. 4 shows a flowchart of a method for inspecting defects on the surface of an object using the inspection apparatus of this embodiment.
まず、制御部3は可動機構7を制御し、可動機構7により照明部1を移動させて、照明部1と物体4の相対的な位置を基準位置に対してΔX1だけ移動させる(S11)。次に、ΔX1の位置において、制御部3は照明部1を発光させる制御を行って、カメラ2で撮影を行い、1番目の画像I1(x,y)を生成する(S12)。ここで、xとyは画像上の画素の位置を表す。なお、ΔX1がゼロであって、1番目の画像が前記基準位置に置けるものであってもよい。次に、iが設定されたNに等しいかどうかを判定する(S13)。iがNでない場合、iを1増やして(S14)、S11に戻る。
First, the
さらに、制御部3は可動機構7を制御し、可動機構7により照明部1を移動させ、照明部1と物体4の相対的な位置を基準位置に対してΔX2だけ変化させる(S11)。次に、ΔX2の位置において、制御部3は照明部1を発光させる制御を行って、カメラ2で撮影を行い、2番目の画像I2(x,y)を生成する(S12)。S11~S14を、iがNになるまでN回繰り返して、合計N枚の画像をカメラ2が生成し、画像処理部5が取得する。iがNになったらS15に進む。
Further, the
次に、画像処理部5は、照明部1と物体4の相対位置がΔXiだけ変化した時、位相が4πΔXi/Pラジアンでシフトする周波数成分の強度変化に関する情報を用いて、N枚の画像から、第一の合成画像を生成する(S15)。合成画像の一例は、位相が4πΔX1/Pラジアンでシフトする周波数成分(検査対象が平面の場合には、画像上に発生する、周期P/2の縞状パターンに対応する周波数成分)の振幅画像である。照明部1と物体4の相対的な位置をP/N幅のステップでシフトさせた場合、ΔXi(i=1,2,・・・N)は以下の式1で表される。
Next, the
ΔXi=(P/N)×(i―1)・・・(1)
式1はΔX1がゼロである場合も含むもので、1番目の画像が前記基準位置から変化したものである場合は以下の式2となる。
ΔXi=(P/N)×(i-1)...(1)
ΔXi=(P/N)×i・・・(2)
この時、振幅画像A(x,y)は、以下の式3により算出できる。
ΔXi=(P/N)×i...(2)
At this time, the amplitude image A(x, y) can be calculated using
照明部1の位置を移動すると、照明部1の発光点に相当する明るい点(光透過部)や、照明部1の暗部に相当する暗い点(非透過部)が移動する。そのため、検査対象の評価面で反射された照明部1からの照明光により、カメラ2の画素上の1点では、強度の明暗が変化する。
When the position of the
本実施形態では、カメラ2の側から物体4の評価面41、42を望む角度θ41、θ42を、5°以下に設定している。そのため、評価面41、42が金属加工面のような粗面であっても光沢性を持ち、照明の明暗像が評価面41、42上では明瞭に反射して見えるので、高S/N比で明暗の差に相当する振幅が発生する。また、合成画像の別の例は、位相が4πΔXi/Pラジアンでシフトする周波数成分の位相画像である。位相画像θ(x,y)は、以下の式4により算出できる。
In this embodiment, the angles θ41 and θ42 at which the evaluation surfaces 41 and 42 of the
位相接続(位相アンラップ)には、種々のアルゴリズムが提案されているが、画像ノイズが大きい場合には、誤差が生じうる。位相接続を回避するための手段として、位相の微分に相当する位相差を算出してもよい。位相差Δθx(x,y)およびΔθy(x,y)は以下の式5により算出できる。
Various algorithms have been proposed for phase unwrapping (phase unwrapping), but errors may occur if image noise is large. As a means to avoid phase coupling, a phase difference corresponding to a phase differential may be calculated. The phase differences Δθx(x, y) and Δθy(x, y) can be calculated using
本実施形態では、拡散面として取り扱うような面の計測を行うために、カメラ2で取得した画像中には、物体4の評価面41、42のみならず、照明部1も含まれるように、照明部1、カメラ2及び物体4を配置している。上記で述べた照明部1を移動させて得た画像では、照明部1の明部1Aと暗部1Bが、N枚の画像においてP/N幅ずつ移動しながら映っているので、照明部1の部分についても振幅画像、位相画像または位相差画像、平均画像が得られる。よって、評価(検査)の際には照明部1と物体4の評価面41、42とを明確に分離する必要がある。以下、分離の方法を説明する。
In this embodiment, in order to measure a surface treated as a diffusion surface, the image acquired by the
物体4の評価面41、42における照明光の入射角は80°から90°とする。例えば、物体4の材料がアルミ合金であったとすると、材料のフレネル反射による反射率はおよそ90%から95%の範囲である。また、物体4は機械加工面であるので、若干の拡散する反射性状となる。BRDFの広がりを考慮すると、検査対象の物体の正反射方向への反射率は85%から90%以下の光量であるといえる。
The angle of incidence of the illumination light on the evaluation surfaces 41 and 42 of the
この正反射方向への反射率によるカメラ2での受光光量の差を利用し、N枚の画像における同一画素の輝度値の最大値を用いて、画像内における照明部1の領域と、物体4の領域(物体4で反射された照明光の領域)と、の違いを判定できる。例えば、配置上、照明部1の部分とわかる場所、例えば画像の最上部中央部の画素の、N枚の画像における最大輝度値を100として、閾値を輝度値95に設定する。一方、物体で反射された照明光の部分の画素の輝度値は物体4の反射率により低下し、最大でも90以下になる。そのため、画像処理部5は、画像の輝度値(画素値)が閾値以下である領域を物体4の評価領域と判定し、欠陥の検出に利用することができる。このように、画素の輝度値と閾値を用いて、画像内における照明部1の領域と、評価をすべき物体4の領域を分離することができる。
Utilizing the difference in the amount of light received by the
また、振幅画像A(x,y)を使用すると、取得したN枚の画像における最大輝度値と最小輝度値の差、つまり、照明部1の明部1Aと暗部1Bの明るさとコントラストで評価することになる。物体4で反射された照明光の領域では、物体4の評価面の反射率や反射性状に起因して画像の輝度値が低下する。つまり、最大輝度値の例と同様、反射率や反射性状による低下分を考慮して振幅画像A(x,y)の各画素の輝度値に閾値を設けることで、画像内において、照明部1の領域と、物体4の評価領域と、の分離をすることができる。
Furthermore, when the amplitude image A(x, y) is used, evaluation is made based on the difference between the maximum brightness value and the minimum brightness value in the N acquired images, that is, the brightness and contrast of the
また、物体4で反射された照明部1の照明光が映り込まない評価不能部分については、N枚の画像の各画素の輝度値が変化しないことを利用して、振幅画像A(x、y)が所定の閾値(例えば10)以下の部分、を評価不能部分として分離することもできる。
In addition, for the unevaluable portion where the illumination light of the
次に、位相で判定する場合について説明する。図2に図示するように、位相で判定する場合は、照明部1のライン方向と、物体4の評価面41、42の法線方向とが、カメラ2の方向から見て平行でない配置にすることが有効である。具体的には、カメラ2の方向から見て、評価面41の法線方向41Fと評価面42の法線方向42Fが、照明部1の明部1Aと暗部1Bのライン方向1Fに対して傾いて配置されているとする。すると、カメラ2で取得した画像では、図5のように、評価面41、42に映り込んだ照明部1の明暗ラインパターン光の方向41FFと42FFは、そのまま映り込んだ照明部1のライン方向1Fとは傾いた方向になる。ここで、図5の画像中で画面のy方向(短手方向)に照明部1のライン方向1Fの方向を配置すれば、y方向に連続する画素の位相θ(x,y)の変化点が評価面41、42と照明部1の映り込み部分との境界であることが分かる。
Next, a case of determining based on phase will be explained. As shown in FIG. 2, when determining based on the phase, the line direction of the
画像中のx方向に配列する各画素についてy方向の位相θ(x、y)を比較して行くと、図6に示すように、位相が画像のS/N値を超えて変化する位相飛びが生じる。位相飛びのある画素部分は物体4の評価領域の境界であって、それより上部の位相が変化しない画素領域は照明映り込み部で、境界より下部に位置する画素は評価すべき物体が映り込んだ評価部と分別することができる。また、画像の明瞭性に応じて境界部が複数の画素にまたがることも考えられるが、その場合は複数画素を境界部として、評価不要部分と分別すればよい。
When comparing the phase θ(x, y) in the y direction for each pixel arranged in the x direction in the image, as shown in Figure 6, there is a phase jump where the phase changes beyond the S/N value of the image. occurs. The pixel area with phase jump is the boundary of the evaluation area of
同様に、位相差で判別することも可能である。位相差で判定する場合は、照明部1の明部1Aと暗部1Bのライン方向1Fは画素配列方向であるy方向に平行である必要はない。図7に示すように、ライン方向1Fを画素配列方向であるx方向やy方向に対して傾いた状態にしてもよい。この場合、画像中のx方向に配列する各画素についてy方向の位相差Δθx(x,y)は、図8のように、照明映り込み部と評価部の境界で位相飛びが発生し、その後、縞の傾きが変化する波形となる。よって、位相飛びと位相差の変化部により照明映り込み部と評価部の分離が可能である。
Similarly, it is also possible to discriminate based on phase difference. When determining based on phase difference, the
以上、位相や位相差で、照明映り込み部と評価部の分離ができることは、照明の明暗ライン方向と評価面の法線方向がカメラ方向から見て傾いているからこそ発生する効果である。この効果は映り込む照明と物体との境界が判別できればよいので、評価面の一部、例えば境界より内側の評価面は、照明部のライン方向と評価面の法線方向が同じであってもよい。言い換えれば、カメラ2の側から見て、照明部1の明暗パターンのラインの延びる方向と、物体4の少なくとも一部の表面の法線の方向と、が異なればよい。
As described above, the ability to separate the illumination reflection part and the evaluation part by the phase or phase difference is an effect that occurs precisely because the light and dark line direction of the illumination and the normal direction of the evaluation surface are tilted when viewed from the camera direction. This effect only needs to be able to distinguish the boundary between the reflected lighting and the object, so a part of the evaluation surface, for example, the evaluation surface inside the boundary, can be used even if the line direction of the illumination part and the normal direction of the evaluation surface are the same. good. In other words, when viewed from the
また、本実施形態では、境界部を境に照明映り込み部と評価部を弁別した。ただし、物体4の形状によっては、評価面の境界に近い部分は面取りや隅Rが存在したり、物体4自体が曲面など単純平面でない場合は、評価面にほぼ平行に観察するような配置になることが考えられる。その場合は欠陥の評価判定精度は悪化する。その場合は、境界線を判定した後、境界線から決められた画素分だけ離れた画素からの領域を評価領域にする。または、境界線から決められた距離だけ離れた場所に相当する画素からの領域を評価領域にするなども、評価判定精度を高めるために有効な手段である。
Furthermore, in the present embodiment, the illumination reflection portion and the evaluation portion are distinguished from each other using the boundary portion as a boundary. However, depending on the shape of the
また、本実施形態において、照明部1の距離をカメラ2と物体4から遠ざけると、評価面41、42に映り込む明暗パターンの照明光のピッチは小さくなり、欠陥に対する評価の敏感度は上がる。逆に、照明部1の距離をカメラ2と物体4に近づけると、評価面41、42に映り込む明暗照明のピッチは大きくなり、欠陥に対する評価の敏感度は下がる。ただし、投影される縞パターンのピッチの変化に応じて、評価とは無関係な加工時のヒキ目なども敏感度は変化し、ノイズ成分として見えてくる。そのため、欠陥の大きさや深さなどに応じて、それぞれの敏感度が評価判定に適した敏感度になるように照明部1の位置を調整することも有効である。この場合、微小な傷や大きな凹欠陥など評価したい欠陥の種類に応じて照明位置を変化させて、調整してもよい。
Further, in this embodiment, when the distance of the
また、評価領域の決定(分離)を画像処理部5による演算処理で行う方法について述べた。しかし、評価領域の決定に関与する各値の変化のデータやグラフを、表示部6に表示するだけでもよい。例えば、表示データとしては、N枚の画像の各画素の最大輝度値のデータやその画像、または振幅画像A(x,y)、位相画像θ(x,y)、位相差画像Δθx(x,y)、Δθy(x,y)が挙げられる。または、y方向に配列する各画素のx方向へ前記各値の変化のデータやグラフが挙げられる。この場合、評価領域の決定は、表示部6に表示されたデータや画像処理部5から出力されたデータをもとにGUIによりユーザーが行ってもよい。
Furthermore, a method has been described in which the determination (separation) of evaluation regions is performed through arithmetic processing by the
<第2実施形態>
図9は、第2実施形態の検査装置を示す概略図である。本実施形態において、物体4はギア(櫛歯)の形状をしていて、検査すべき評価面41と評価面42とはそれぞれ異なる歯の異なる向きの2面である。このような複雑な形状の物体の検査においては、評価面41、42とラインパターン照明をカメラ2の同一画角内に収める本構成は好適で、評価領域と背景であるラインパターン照明の領域についても、第1実施形態で既述した方法で容易に分離することができる。
<Second embodiment>
FIG. 9 is a schematic diagram showing an inspection device according to the second embodiment. In this embodiment, the
<第3実施形態>
図10は、第3実施形態の検査装置を示す概略図である。第1実施形態と同様に、物体4の評価面41、42を明部と暗部からなる照明部1で照明し、評価面41、42の照明部1に対する正反射方向にカメラ2を配置し、照明部1の位置を駆動部7で所定ピッチ量移動させる。
<Third embodiment>
FIG. 10 is a schematic diagram showing an inspection device according to the third embodiment. Similar to the first embodiment, the evaluation surfaces 41 and 42 of the
評価面41、42にはラインパターン照明が映り込み、それぞれの位相がずれている複数の画像を取得し、画像処理部5により、第1実施形態で既述した演算処理をすることで評価面41、42の欠陥を検出している。
Line pattern illumination is reflected on the evaluation surfaces 41 and 42, and a plurality of images whose phases are shifted are acquired, and the
本実施形態では、これに加え、半透過型の照明部101がカメラ2と物体4の間に配置してあり、駆動部701で移動可能になっている点が実施形態1とは異なる。半透明型のラインパターン照明は、特開2019-2762に詳細が開示されてある。半透明型のラインパターン照明は、カメラ2側から見ると半透過型のスクリーンになっており、物体4側から見るとラインパターン照明に見える特殊な照明であって、広い法線角度範囲をもった面の同時評価に効果がある。
The present embodiment differs from the first embodiment in that, in addition to this, a
半透明型照明部101は、照明部1が駆動されるときには制御部3の指令により駆動部701により同時に駆動され、駆動量は照明部1の駆動と同じピッチ量が好適である。
When the
本構成によれば、第1実施形態では照明部1の照明光が照明されず評価不能面としていた物体4の面43にも、半透明型照明部101の照明光が当たるので、欠陥評価できるようになる。ただし、面43への反射光は正対に近い角度からの照明光になるので、面43はこの角度からでも照明101のラインパターン照明が映り込む高光沢面であることが条件となる。ただし、一度にいろいろな向きを持つ複数の面の欠陥検査ができるようになり、部品の傷欠陥検査の高速化に効果がある。面43においても欠陥評価の評価値の算出や、評価領域の決定については同様な手法で行える。
According to this configuration, the illumination light of the
<第4実施形態>
図11は、第4実施形態の検査装置を示す概略図である。第2実施形態とは異なり、物体4を半透明型照明部101、102で挟み込み、カメラ2からは物体4の評価面42、43、45が観察できる位置に配置し、カメラ201からは評価面41、44、46が観察できる位置に配置してある。半透明型照明部101、102はそれぞれ駆動機構701と702によりP/Nずつ移動し、それぞれN枚ずつ、合計2N枚の画像を得る。カメラ2とカメラ201で得た画像は、それぞれ画像処理部5により、第1実施形態で既述した演算処理をすることで、評価面41、42、43、44、45、46の欠陥を同時に検出できる。本実施形態においては半透明型ラインパターン照明を2つ使用し、2方向からの挟み込み測定のような形態である。ただし、これに限らず、ラインパターン照明は部品の大きさや形状に応じで、3個以上の複数であってもよいし、半透明型ライパターン照明でも通常のラインパターン照明の組み合わせでもよく、同様の効果を発揮する。
<Fourth embodiment>
FIG. 11 is a schematic diagram showing an inspection device according to the fourth embodiment. Unlike the second embodiment, the
上記の実施形態の検査装置では、明部と暗部が設定された周期ピッチで空間的に配置されている、あるいは設定された空間周波数で明暗が徐々に変化するラインパターン照明により、該照明の前面に配置された測定サンプルを照明している。また、該照明の明部と暗部の空間的位相をずらしながら、該測定サンプルでの正反射方向に配置した2次元画像を取得可能なカメラで、物体からの反射光を撮影することで、該照明と該物体の両者を画角内に含んだ複数の画像を取得する。そして、該得られた画像の各画素における、輝度情報や該輝度情報を演算した評価値で、背景である照明と物体の領域を分離し、物体の欠陥を検出する。これにより、金属加工面のような粗面や複雑な形状をした物体の傷、欠陥検査ができる。具体的には、得られたN枚の各画像の同一画素の輝度の最大値や、N枚の各画像の同一画素の輝度の最大値と最小値の差を取った振幅画像によって評価領域の決定、欠陥の評価ができる。または、N枚の各画像の各画素の変化を正弦波に模した時の位相、あるいは、各画素の位相を画素配列方向への位相変化を数値化した位相差によっても、評価領域の決定、欠陥の評価ができる。 In the inspection apparatus of the above embodiment, the front surface of the illumination is The measurement sample placed in the area is illuminated. In addition, by photographing the reflected light from the object with a camera that can acquire a two-dimensional image placed in the direction of specular reflection on the measurement sample while shifting the spatial phase of the bright and dark areas of the illumination, it is possible to A plurality of images including both the illumination and the object within the angle of view are acquired. Then, using the brightness information in each pixel of the obtained image and the evaluation value calculated from the brightness information, the illumination that is the background and the object area are separated, and defects in the object are detected. This makes it possible to inspect scratches and defects on rough surfaces such as metal surfaces and objects with complex shapes. Specifically, the evaluation area is calculated using the maximum brightness value of the same pixel in each of the N images obtained, and the amplitude image obtained by taking the difference between the maximum and minimum brightness values of the same pixel in each of the N images. Able to make decisions and evaluate defects. Alternatively, the evaluation area can be determined by the phase when the change in each pixel of each of the N images is simulated as a sine wave, or by the phase difference that digitizes the phase change of each pixel in the pixel arrangement direction. Defects can be evaluated.
以上、本発明の好ましい実施形態、実施例について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、カメラ2として時間相関イメージセンサを用いて、カメラを露光させながら照明部1を移動させて撮影する外観検査装置にも適用することができる。
Although preferred embodiments and examples of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and changes can be made within the scope of the gist thereof. For example, the present invention can be applied to an external appearance inspection device that uses a time-correlated image sensor as the
Claims (8)
明暗パターンを前記物体の表面に照射する照明部と、
前記照明部により前記明暗パターンが照明された前記物体の表面を撮像する撮像部と、
前記撮像部により撮像された画像を処理することにより前記物体の表面の評価を行う処理部と、を有し、
前記撮像部は、前記照明部により前記明暗パターンの位相をずらしながら照明された前記物体の表面と、前記照明部と、が画角内に含まれた複数の画像を生成し、
前記処理部は、前記複数の画像に基づいて画像内における前記物体の表面と前記照明部の領域を分離して、分離された前記物体の表面における画像を評価することを特徴とする検査装置。 In an inspection device that inspects the surface of an object,
an illumination unit that irradiates the surface of the object with a bright and dark pattern;
an imaging unit that images the surface of the object illuminated with the bright and dark pattern by the illumination unit;
a processing unit that evaluates the surface of the object by processing the image captured by the imaging unit,
The imaging unit generates a plurality of images in which the surface of the object illuminated by the illumination unit while shifting the phase of the brightness and darkness pattern and the illumination unit are included in an angle of view,
The inspection device is characterized in that the processing section separates the surface of the object and the region of the illumination section in the image based on the plurality of images, and evaluates the separated image on the surface of the object.
照明部を用いて明暗パターンを前記物体の表面に照射する照明工程と、
前記明暗パターンが照明された前記物体の表面を撮像する撮像工程と、
撮像された画像を処理することにより前記物体の表面の評価を行う評価工程と、を有し、
前記撮像工程において、前記明暗パターンの位相をずらしながら照明された前記物体の表面と、前記照明部と、が画角内に含まれた複数の画像を生成し、
前記評価工程において、前記複数の画像に基づいて画像内における前記物体の表面と前記照明部の領域を分離して、分離された前記物体の表面における画像を評価することを特徴とする検査方法。 In an inspection method for inspecting the surface of an object,
an illumination step of irradiating the surface of the object with a bright and dark pattern using an illumination unit;
an imaging step of imaging the surface of the object illuminated with the bright and dark pattern;
an evaluation step of evaluating the surface of the object by processing the captured image,
In the imaging step, generating a plurality of images in which the surface of the object illuminated while shifting the phase of the brightness and darkness pattern and the illumination section are included within an angle of view,
An inspection method characterized in that, in the evaluation step, the surface of the object and the area of the illumination section in the image are separated based on the plurality of images, and the image on the separated surface of the object is evaluated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020092252A JP7443162B2 (en) | 2020-05-27 | 2020-05-27 | Inspection equipment and inspection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020092252A JP7443162B2 (en) | 2020-05-27 | 2020-05-27 | Inspection equipment and inspection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021188959A JP2021188959A (en) | 2021-12-13 |
JP7443162B2 true JP7443162B2 (en) | 2024-03-05 |
Family
ID=78849245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020092252A Active JP7443162B2 (en) | 2020-05-27 | 2020-05-27 | Inspection equipment and inspection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7443162B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001012930A (en) | 1999-06-28 | 2001-01-19 | Nissan Motor Co Ltd | Surface defect inspection apparatus |
JP2011089981A (en) | 2009-09-24 | 2011-05-06 | Kde Corp | Inspection system and inspection method |
JP2016090328A (en) | 2014-10-31 | 2016-05-23 | 株式会社 日立産業制御ソリューションズ | Imaging device and buckling inspection device |
JP2017101979A (en) | 2015-11-30 | 2017-06-08 | リコーエレメックス株式会社 | Inspection system |
JP2018036172A (en) | 2016-09-01 | 2018-03-08 | 富士フイルム株式会社 | Inspection device and method |
-
2020
- 2020-05-27 JP JP2020092252A patent/JP7443162B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001012930A (en) | 1999-06-28 | 2001-01-19 | Nissan Motor Co Ltd | Surface defect inspection apparatus |
JP2011089981A (en) | 2009-09-24 | 2011-05-06 | Kde Corp | Inspection system and inspection method |
JP2016090328A (en) | 2014-10-31 | 2016-05-23 | 株式会社 日立産業制御ソリューションズ | Imaging device and buckling inspection device |
JP2017101979A (en) | 2015-11-30 | 2017-06-08 | リコーエレメックス株式会社 | Inspection system |
JP2018036172A (en) | 2016-09-01 | 2018-03-08 | 富士フイルム株式会社 | Inspection device and method |
Also Published As
Publication number | Publication date |
---|---|
JP2021188959A (en) | 2021-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6945245B2 (en) | Visual inspection equipment | |
JP5546103B2 (en) | Device for controlling transparent or reflective parts | |
JP5144401B2 (en) | Wafer inspection equipment | |
JP2006242886A (en) | Surface defect inspecting apparatus | |
JP6859627B2 (en) | Visual inspection equipment | |
JP2012078144A (en) | Surface defect inspection device for transparent body sheet-like material | |
JP6584454B2 (en) | Image processing apparatus and method | |
JP2017040510A (en) | Inspection apparatus, inspection method, and object manufacturing method | |
JP2019082452A (en) | Image generation method, image generation device, and defect determination method using the same | |
JP6859628B2 (en) | Visual inspection method and visual inspection equipment | |
JP2019002928A (en) | Image acquisition device and method | |
JP6482710B1 (en) | Appearance inspection apparatus and inspection system | |
JP7443162B2 (en) | Inspection equipment and inspection method | |
KR20220110291A (en) | Laser-based inclusion detection system and method | |
JP7448808B2 (en) | Surface inspection device and surface inspection method | |
JP7111370B2 (en) | Defect inspection method | |
JP2020060533A (en) | Optical evaluation device and optical evaluation method | |
JP2021196189A (en) | Inspection device and inspection method | |
JP2020091143A (en) | Surface defect inspection method and device of translucent member | |
JP2022098685A (en) | Inspection device, lighting device for inspection, inspection method, and method for manufacturing article | |
CN111272762B (en) | Surface defect inspection device for light-transmitting member | |
JP2020094877A (en) | Optical evaluation device, optical evaluation method, test object conveyance method | |
JP2005030848A (en) | Simulation method for surface inspection and surface inspection device | |
JP2023160096A (en) | Surface defect detection device and surface defect detection method | |
JP2011075534A (en) | Curved-surface appearance inspection apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20200616 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230510 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240221 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7443162 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |