JP5347418B2 - Surface defect inspection system, method and program - Google Patents

Surface defect inspection system, method and program Download PDF

Info

Publication number
JP5347418B2
JP5347418B2 JP2008263979A JP2008263979A JP5347418B2 JP 5347418 B2 JP5347418 B2 JP 5347418B2 JP 2008263979 A JP2008263979 A JP 2008263979A JP 2008263979 A JP2008263979 A JP 2008263979A JP 5347418 B2 JP5347418 B2 JP 5347418B2
Authority
JP
Japan
Prior art keywords
shape
image
phase
measurement object
phase shift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008263979A
Other languages
Japanese (ja)
Other versions
JP2010091514A (en
Inventor
昇 長谷川
雄介 今野
美徳 相本
琢也 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Nippon Steel and Sumitomo Metal Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel and Sumitomo Metal Corp filed Critical Nippon Steel and Sumitomo Metal Corp
Priority to JP2008263979A priority Critical patent/JP5347418B2/en
Publication of JP2010091514A publication Critical patent/JP2010091514A/en
Application granted granted Critical
Publication of JP5347418B2 publication Critical patent/JP5347418B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To enhance a detection accuracy of surface defects, even when an object to be measured is a long material, having a curve whose both ends are low or high in cross-sectional shape. <P>SOLUTION: A linear light extending in a wide direction of the object to be measured is irradiated on the object to be measured. The light reflected from the object to be measured is imaged by a TDI camera 30. Furthermore, an optical cutting image is acquired. In the surface defect detection inspection of the object to be measured, shape imaging which expresses the surface shape of the object to be measured is performed from the striped images which are acquired, by arranging in order the optical cutting images. After this procedure, a preliminary processing part 101 extracts a concavo-convex part on a shape image. Furthermore, a shape correction processing part 508 carries out fitting procedure so as to obtain a fitting curve for the shape image which concavo-convex part extracted by the preliminary processing part 101 from the shape image is removed, and performs a differential operation between the fitting curve and the shape image. A defect detection processing part 509 detects the surface defect of the object to be measured, based on the data obtained from the differential operation at the shape correction processing part 508. <P>COPYRIGHT: (C)2010,JPO&amp;INPIT

Description

本発明は、横断面形状において両端部が低くなる或いは高くなる曲線を有する長丈材を測定対象物とし、その表面欠陥を検出するのに利用して好適な表面欠陥検査システム、方法及びプログラムに関する。   The present invention relates to a surface defect inspection system, method, and program suitable for use in detecting a surface defect using a long material having a curved line in which both end portions are lowered or raised in a cross-sectional shape.

近年、光切断方式の光学的形状測定方法がさまざまな分野で利用されている。鋼板の生産ラインにおいても、鋼板の表面に線状レーザ光を照射し、遅延積分型カメラによって鋼板の表面を撮像して光切断画像を出力することにより、鋼板の表面の凹みや疵等の表面欠陥を検出することが提案されている(特許文献1等を参照)。   In recent years, a light-cutting optical shape measuring method has been used in various fields. Even in a steel plate production line, the surface of a steel plate surface, such as dents and wrinkles, is emitted by irradiating the surface of the steel plate with linear laser light, imaging the surface of the steel plate with a delay integration camera, and outputting a light cut image. It has been proposed to detect defects (see Patent Document 1).

特開2004−3930号公報JP 2004-3930 A 特開2005−207858号公報Japanese Patent Laid-Open No. 2005-207858 特開2008−2848号公報JP 2008-2848 A

上記特許文献1では、表面が平坦面である鋼板を測定対象物として想定していると考えられるが、例えばレール、形鋼、鋼管等を測定対象物とする場合、表面が平坦面でなく、両端部が低くなる(或いは高くなる)湾曲面となっており、尚且つ、検査面の幅に対して表面欠陥のサイズが大きかったり、深かったりすることがありえ、その場合、表面欠陥の検出精度が低くなってしまうことがある。   In the above-mentioned Patent Document 1, it is considered that a steel plate having a flat surface is assumed as a measurement object. For example, when a measurement object is a rail, a shaped steel, a steel pipe, the surface is not a flat surface, Both ends are curved surfaces that become lower (or higher), and the size of surface defects can be larger or deeper than the width of the inspection surface. May become low.

例えば、測定対象物が長手方向に搬送される際に、測定対象物が蛇行したり、幅方向に振動したりすることがあるが、測定対象物の表面が湾曲面となっていると、蛇行したり、幅方向に振動したりして測定対象物の端部に僅かなずれが発生するだけで、画像処理(シェーディング補正処理等)において大きな形状変化(凹凸)として捉えられてしまうおそれがある。これに対し、予め、形状データの左右エッジを検出し、測定対象物の中心が画像中心となるよう左右にシフトさせる処理(センタリング処理)を組み込むことで、処理上発生する形状変化は軽減される。ところが、レールの頭部や頭側部等では特に、100mm以下の幅しかない検査面中、20〜30mm程度の欠陥が発生することがある。この場合、シェーディング補正処理を施すと、見かけ上の形状が欠陥部に引きずられた形になり、欠陥を検出するための平坦化処理において、欠陥の凹凸及びサイズが軽微になる方向に誤認してしまい、欠陥を見逃してしまうことがある。   For example, when the measurement object is transported in the longitudinal direction, the measurement object may meander or vibrate in the width direction, but if the surface of the measurement object is a curved surface, the meandering Or vibration in the width direction may cause a slight shift at the end of the measurement object, which may be perceived as a large shape change (unevenness) in image processing (such as shading correction processing). . On the other hand, by incorporating a process (centering process) in which the left and right edges of the shape data are detected in advance and shifted to the left and right so that the center of the measurement object becomes the center of the image, the shape change that occurs in the process is reduced. . However, in particular, a defect of about 20 to 30 mm may occur in the inspection surface having a width of 100 mm or less particularly in the head portion or the head side portion of the rail. In this case, when the shading correction process is performed, the apparent shape is dragged to the defective part, and in the flattening process for detecting the defect, the irregularity and size of the defect are misidentified. In some cases, defects may be missed.

また、図25に示すように、センタリング処理後の形状画像72のライン毎にフィッティング曲線71を求め、曲面形状を平坦化することも考えられるが、本来図25(a)のようにフィッティングされるべきところ、欠陥部に引きずられ、図25(b)のようにフィッティングがなされてしまう。この場合も欠陥の幅方向に上記と同様の跳ね返り(処理上発生する凹凸)73が発生し、また、本来の欠陥形状よりも浅く、かつ小さく検出してしまい、見逃しとなってしまう。この見逃しは、欠陥のサイズが20mm以下と小さくとも、また、欠陥の凹凸(深さや高さ)が大きい場合にも発生する。   Further, as shown in FIG. 25, it is conceivable to obtain the fitting curve 71 for each line of the shape image 72 after the centering process and flatten the curved surface shape, but the fitting is originally performed as shown in FIG. Where it should be, it is dragged to a defective part and fitting is performed as shown in FIG. In this case as well, the same bounce (unevenness generated in the process) 73 occurs in the width direction of the defect, and it is detected to be shallower and smaller than the original defect shape, which is overlooked. This oversight occurs even when the size of the defect is as small as 20 mm or less, or when the unevenness (depth or height) of the defect is large.

また、特許文献2には、鋼材の角部にスリット状光線を傾斜させて照射し、それにより形成された光軌を撮像するようにした鋼材表面欠陥の検査手法が開示されている。特許文献2では、画像を2値化し、最小2乗法を用いてコーナ形状を二次元で近似して、正常なコーナ形状を推定し、その推定されたコーナ形状と実際のコーナ形状とを比較して、その差分に基づいてコーナ割れの有無を判定している。   Further, Patent Document 2 discloses a method for inspecting a steel surface defect in which a slit-like light beam is inclined and applied to a corner portion of a steel material, and an optical track formed thereby is imaged. In Patent Document 2, an image is binarized, a corner shape is approximated two-dimensionally using a least square method, a normal corner shape is estimated, and the estimated corner shape is compared with an actual corner shape. Whether or not there is a corner crack is determined based on the difference.

しかしながら、特許文献2でも、コーナ部に占める欠陥部の割合が大きい場合には、前述と同様に欠陥部位に引きずられた近似結果となり、結果として欠陥の凹凸や形状を正確に認識することはできない。   However, even in Patent Document 2, when the ratio of the defect portion occupying the corner portion is large, an approximation result dragged to the defect portion is obtained as described above, and as a result, the unevenness and shape of the defect cannot be accurately recognized. .

また、特許文献3には、切削加工等に用いる棒状回転工具を画像処理を用いて検査する棒状回転工具の欠陥検査手法が開示されている。特許文献3では、画像上で刃先のエッジラインが直線ないし円弧状曲線といった極めて単純な形状として撮影されることから、エッジラインを通る近似線を求めて正常な形状と仮定し、近似線と実際の輪郭線の乖離の大きいものを欠陥として検出するようにしている。そして、この近似線のあてはめには、最小二乗回帰法に重み付けを加えたロバスト回帰法を用いている。   Patent Document 3 discloses a defect inspection method for a rod-like rotary tool for inspecting a rod-like rotary tool used for cutting or the like using image processing. In Patent Document 3, since the edge line of the cutting edge is photographed as an extremely simple shape such as a straight line or an arcuate curve on the image, it is assumed that the approximate line passing through the edge line is a normal shape, and the approximate line and the actual line A large deviation of the outline is detected as a defect. In order to fit the approximate line, a robust regression method in which a weight is added to the least square regression method is used.

しかしながら、特許文献3では、直線ないし円弧状曲線といった極めて単純な形状に対して近似線を求めるものである。表面が湾曲面となっているレール、形鋼、鋼管等を測定対象物とする場合に、例えば4次以上の高次関数によるフィッティング処理を行うと、測定対象物の表面欠陥が大きかったり、深かったりすると、この表面欠陥にフィッティング曲線が引きずられてしまうことがある。特許文献3では、高次関数によるフィッティング処理を行うときの対策について考慮されていない。   However, in Patent Document 3, an approximate line is obtained for a very simple shape such as a straight line or an arcuate curve. When the object to be measured is a rail, shape steel, steel pipe or the like whose surface is a curved surface, for example, if a fitting process using a higher order function of the fourth order or higher is performed, the surface defect of the object to be measured is large or deep. If this happens, the fitting curve may be dragged by this surface defect. In Patent Document 3, no countermeasure is taken into consideration when performing fitting processing using a higher-order function.

本発明は上記のような点に鑑みてなされたものであり、横断面形状において両端部が低くなる或いは高くなる曲線を有する長丈材を測定対象物とする場合に表面欠陥の検出精度を高めることを目的とする。   The present invention has been made in view of the above points, and improves the detection accuracy of surface defects when a long material having a curved line whose both end portions are low or high in the cross-sectional shape is used as a measurement object. With the goal.

本発明の表面欠陥検査システムは、横断面形状において両端部が低くなる或いは高くなる曲線を有する長丈材を測定対象物とし、周期的に変調された線状レーザ光を前記測定対象物の表面の幅方向に照射する照射手段と、前記測定対象物からの反射光を撮像する遅延積分型の撮像手段とを用いて、前記測定対象物に対する前記線状レーザ光の照射位置を連続的にずらしながら、前記撮像手段により前記測定対象物からの反射光を撮像して光切断画像を出力し、前記測定対象物の表面欠陥を検出する表面欠陥検査システムであって、
前記撮像手段で得られた光切断画像を順に配列することにより得られる縞画像の各位置における位相のずれを算出する位相算出手段と、前記位相算出手段で得られた位相のずれに基づいて位相のずれが不連続になっている位置を検出し、その検出した位置における位相のずれを繋ぐことにより位相のずれを連続化して前記測定対象物の表面形状を表す形状画像を作成する位相連続化処理手段と、前記位相連続化処理手段で作成された形状画像上の凹凸部を抽出する事前処理手段と、前記位相連続化処理手段で作成された形状画像から前記事前処理手段で抽出された凹凸部を取り除いた形状画像に対してフィッティング曲線を求めるフィッティング処理を施し、そのフィッティング曲線と、前記位相連続化処理手段で作成された形状画像との差分演算を行い、当該差分演算で得られたデータを、前記測定対象物の長手方向について所定の長さだけ平均して、当該平均した値にローパスフィルタ処理を施した値と、前記差分演算で得られたデータとの差分演算を再度行う形状補正処理手段と、前記形状補正処理手段の差分演算で得られたデータに基づいて、前記測定対象物の表面欠陥を検出する欠陥検出処理手段とを備えたことを特徴とする。
また、本発明の表面欠陥検査システムの他の特徴とするところは、前記事前処理手段は、前記位相連続化処理手段で作成された形状画像に対してフィッティング曲線を求めるフィッティング処理を施し、そのフィッティング曲線と、前記位相連続化処理手段で作成された形状画像との差分演算を行う一次形状補正処理手段と、前記一次形状補正処理手段の差分演算で得られたデータを二値化する二値化手段と、前記二値化手段で二値化された二値化画像から凹凸部を抽出する凹凸部抽出手段と、前記位相連続化処理手段で作成された形状画像から前記凹凸部抽出手段で抽出された凹凸部を取り除くためのマスク情報を生成するマスク処理手段とを備えた点にある。
また、本発明の表面欠陥検査システムの他の特徴とするところは、前記事前処理手段は、前記位相連続化処理手段で作成された形状画像を前記測定対象物の長手方向に積算平均して基準形状画像を作成し、その基準形状画像と、前記位相連続化処理手段で作成された形状画像との差分演算を行う一次形状補正処理手段と、前記一次形状補正処理手段の差分演算で得られたデータを二値化する二値化手段と、前記二値化手段で二値化された二値化画像から凹凸部を抽出する凹凸部抽出手段と、前記位相連続化処理手段で作成された形状画像から前記凹凸部抽出手段で抽出された凹凸部を取り除くためのマスク情報を生成するマスク処理手段とを備えた点にある。
また、本発明の表面欠陥検査システムの他の特徴とするところは、前記凹凸部抽出手段で抽出された凹凸部を少なくとも前記測定対象物の幅方向に所定の割合で大きくする膨張処理を行う膨張処理手段を備え、前記マスク処理手段では、前記位相連続化処理手段で作成された形状画像から前記膨張処理手段で膨張処理された凹凸部を取り除くためのマスク情報を作成する点にある。
本発明の表面欠陥検査方法は、横断面形状において両端部が低くなる或いは高くなる曲線を有する長丈材を測定対象物とし、周期的に変調された線状レーザ光を前記測定対象物の表面の幅方向に照射する照射手段と、前記測定対象物からの反射光を撮像する遅延積分型の撮像手段とを用いて、前記測定対象物に対する前記線状レーザ光の照射位置を連続的にずらしながら、前記撮像手段により前記測定対象物からの反射光を撮像して光切断画像を出力し、前記測定対象物の表面欠陥を検出する表面欠陥検査方法であって、前記撮像手段で得られた光切断画像を順に配列することにより得られる縞画像の各位置における位相のずれを算出する位相算出手順と、前記位相算出手順で得られた位相のずれに基づいて位相のずれが不連続になっている位置を検出し、その検出した位置における位相のずれを繋ぐことにより位相のずれを連続化して前記測定対象物の表面形状を表す形状画像を作成する位相連続化処理手順と、前記位相連続化処理手順で作成された形状画像上の凹凸部を抽出する事前処理手順と、前記位相連続化処理手順で作成された形状画像から前記事前処理手順で抽出された凹凸部を取り除いた形状画像に対してフィッティング曲線を求めるフィッティング処理を施し、そのフィッティング曲線と、前記位相連続化処理手順で作成された形状画像との差分演算を行い、当該差分演算で得られたデータを、前記測定対象物の長手方向について所定の長さだけ平均して、当該平均した値にローパスフィルタ処理を施した値と、前記差分演算で得られたデータとの差分演算を再度行う形状補正処理手順と、前記形状補正処理手順の差分演算で得られたデータに基づいて、前記測定対象物の表面欠陥を検出する欠陥検出処理手順とを有することを特徴とする。
本発明のプログラムは、横断面形状において両端部が低くなる或いは高くなる曲線を有する長丈材を測定対象物とし、周期的に変調された線状レーザ光を前記測定対象物の表面の幅方向に照射する照射手段と、前記測定対象物からの反射光を撮像する遅延積分型の撮像手段とを用いて、前記測定対象物に対する前記線状レーザ光の照射位置を連続的にずらしながら、前記撮像手段により前記測定対象物からの反射光を撮像して光切断画像を出力し、前記測定対象物の表面欠陥を検出するためのプログラムであって、前記撮像手段で得られた光切断画像を順に配列することにより得られる縞画像の各位置における位相のずれを算出する位相算出処理と、前記位相算出処理で得られた位相のずれに基づいて位相のずれが不連続になっている位置を検出し、その検出した位置における位相のずれを繋ぐことにより位相のずれを連続化して前記測定対象物の表面形状を表す形状画像を作成する位相連続化処理と、前記位相連続化処理で作成された形状画像上の凹凸部を抽出する事前処理と、前記位相連続化処理で作成された形状画像から前記事前処理で抽出された凹凸部を取り除いた形状画像に対してフィッティング曲線を求めるフィッティング処理を施し、そのフィッティング曲線と、前記位相連続化処理で作成された形状画像との差分演算を行い、当該差分演算で得られたデータを、前記測定対象物の長手方向について所定の長さだけ平均して、当該平均した値にローパスフィルタ処理を施した値と、前記差分演算で得られたデータとの差分演算を再度行う形状補正処理と、前記形状補正処理の差分演算で得られたデータに基づいて、前記測定対象物の表面欠陥を検出する欠陥検出処理とをコンピュータに実行させる。
In the surface defect inspection system of the present invention, a long material having a curved line in which both end portions are lowered or raised in a cross-sectional shape is used as a measurement object, and a periodically modulated linear laser beam is applied to the surface of the measurement object. Using the irradiation means for irradiating in the width direction and the delay integration type imaging means for imaging the reflected light from the measurement object, the irradiation position of the linear laser light on the measurement object is continuously shifted. A surface defect inspection system for detecting a surface defect of the measurement object by imaging the reflected light from the measurement object by the imaging means and outputting a light cut image;
A phase calculation unit that calculates a phase shift at each position of the fringe image obtained by sequentially arranging the light-cut images obtained by the imaging unit, and a phase based on the phase shift obtained by the phase calculation unit Phase continuation that detects the position where the deviation of the measurement is discontinuous, and creates a shape image representing the surface shape of the measurement object by continuating the phase deviation by connecting the phase deviation at the detected position Processing means, pre-processing means for extracting irregularities on the shape image created by the phase continuation processing means, and a shape processing image extracted by the pre-processing means from the shape image created by the phase continuation processing means A fitting process for obtaining a fitting curve is performed on the shape image from which the uneven portion has been removed, and the difference between the fitting curve and the shape image created by the phase continuation processing means Calculates have rows, the data obtained in the difference calculation, the average in the longitudinal direction by a predetermined length of the measurement object, and a value obtained by performing a low-pass filter processing on the average value, by the difference calculation and again row cormorant shape correcting means the difference calculation between data obtained on the basis of the data obtained by the difference calculation of the shape correction process unit, and the defect detection processing means for detecting a surface defect of the object to be measured It is provided with.
Another feature of the surface defect inspection system according to the present invention is that the preprocessing means performs a fitting process for obtaining a fitting curve on the shape image created by the phase continuation processing means, A primary shape correction processing means for performing a difference calculation between the fitting curve and the shape image created by the phase continuation processing means, and a binary value for binarizing data obtained by the difference calculation of the primary shape correction processing means A concavo-convex portion extracting means for extracting the concavo-convex portion from the binarized image binarized by the binarizing means, and the concavo-convex portion extracting means from the shape image created by the phase continuation processing means. And a mask processing means for generating mask information for removing the extracted uneven portion.
Another feature of the surface defect inspection system according to the present invention is that the pre-processing means averages the shape image created by the phase continuation processing means in the longitudinal direction of the measurement object. A primary shape correction processing unit that creates a reference shape image and performs a difference calculation between the reference shape image and the shape image generated by the phase continuation processing unit, and a difference calculation between the primary shape correction processing unit. Created by the binarization means for binarizing the obtained data, the unevenness extracting means for extracting the unevenness from the binarized image binarized by the binarization means, and the phase continuation processing means And a mask processing means for generating mask information for removing the uneven portions extracted by the uneven portion extracting means from the shape image.
Further, another feature of the surface defect inspection system of the present invention is that expansion is performed for expanding the uneven portions extracted by the uneven portion extracting means at least in a predetermined ratio in the width direction of the measurement object. And a mask processing unit for generating mask information for removing the concavo-convex portion expanded by the expansion processing unit from the shape image generated by the phase continuation processing unit.
According to the surface defect inspection method of the present invention, a long material having a curved line whose both end portions are low or high in a cross-sectional shape is used as a measurement object, and periodically modulated linear laser light is applied to the surface of the measurement object. Using the irradiation means for irradiating in the width direction and the delay integration type imaging means for imaging the reflected light from the measurement object, the irradiation position of the linear laser light on the measurement object is continuously shifted. A surface defect inspection method for detecting a surface defect of the measurement object by imaging reflected light from the measurement object by the imaging means and outputting a light-cut image, and the light obtained by the imaging means A phase calculation procedure for calculating a phase shift at each position of the fringe image obtained by sequentially arranging the cut images, and a phase shift becomes discontinuous based on the phase shift obtained by the phase calculation procedure. Have A phase continuation processing procedure for creating a shape image representing the surface shape of the measurement object by detecting a position and continuating the phase lag by connecting the phase lag at the detected position, and the phase continuation processing A pre-processing procedure for extracting irregularities on the shape image created in the procedure, and a shape image obtained by removing the irregularities extracted in the pre-processing procedure from the shape image created in the phase continuation processing procedure Te subjected to fitting processing for obtaining the fitting curve, and its fitting curve, have rows difference operation between shape images created by the phase continuous process procedure, the data obtained in the difference calculation, the measurement object An average of a predetermined length in the longitudinal direction, and a difference calculation between the value obtained by performing the low-pass filter process on the average value and the data obtained by the difference calculation is performed again. Cormorants and shape correction procedure, the shape correction procedure based on data obtained by the difference calculation of characterized by having a defect detection procedure for detecting a surface defect of the object to be measured.
The program of the present invention uses a long material having a curved line whose both end portions are low or high in the cross-sectional shape as a measurement object, and periodically modulates a linear laser beam in the width direction of the surface of the measurement object. Using the irradiating means for irradiating and the delay integration type imaging means for imaging the reflected light from the measurement object, the imaging position is continuously shifted while the irradiation position of the linear laser light on the measurement object is shifted. Means for capturing reflected light from the measurement object and outputting a light-cut image, and detecting a surface defect of the measurement object, the light-cut images obtained by the imaging means in order A phase calculation process for calculating a phase shift at each position of the fringe image obtained by arranging, and a position where the phase shift is discontinuous based on the phase shift obtained by the phase calculation process. A phase continuation process for creating a shape image representing the surface shape of the measurement object by continuating the phase shift by connecting the phase shifts at the detected position, and the phase continuation process Pre-processing for extracting irregularities on a shape image, and fitting processing for obtaining a fitting curve for a shape image obtained by removing the irregularities extracted by the pre-processing from the shape image created by the phase continuation processing subjected, its fitting curve, have rows difference operation between shape image generated in the phase-continuous process, the average data obtained by the difference calculation, a predetermined length in the longitudinal direction of the measurement target to, the value obtained by performing a low-pass filter processing to a value obtained by averaging, and again a row cormorant shape correction process the difference calculation between the obtained data in the difference calculation, said shape complement Based on the data obtained by the difference calculation processing, to perform a defect detection process for detecting surface defects of the object to be measured to the computer.

本発明によれば、横断面形状において両端部が低くなる或いは高くなる曲線を有する長丈材を測定対象物とする場合に表面欠陥の検出精度を高めることができる。すなわち、本発明では、測定対象物の表面形状を表す形状画像から凹凸部を取り除いたかたちでフィッティング曲線を求め、そのフィッティング曲線と、形状画像との差分演算を行うようにしたので、表面欠陥にフィッティング曲線が引きずられてしまうのを防ぐことができる。これにより、表面欠陥が小さく、浅く検出されることを避けるとともに、その両側に跳ね返りが生じるのを防ぐことができる。   ADVANTAGE OF THE INVENTION According to this invention, the detection accuracy of a surface defect can be improved when the length object which has a curve which both ends become low or becomes high in a cross-sectional shape is used as a measuring object. That is, in the present invention, the fitting curve is obtained in the form of removing the uneven portion from the shape image representing the surface shape of the measurement object, and the difference calculation between the fitting curve and the shape image is performed. It is possible to prevent the fitting curve from being dragged. As a result, the surface defects are small and can be prevented from being detected shallowly, and the occurrence of rebounding on both sides thereof can be prevented.

以下、添付図面を参照して、本発明の好適な実施形態について説明する。まず、図1〜14を参照して、本発明を適用した実施形態の表面欠陥検査手法の前提となる技術を対比例として説明する。   Preferred embodiments of the present invention will be described below with reference to the accompanying drawings. First, with reference to FIGS. 1 to 14, a technique that is a premise of a surface defect inspection method according to an embodiment to which the present invention is applied will be described as a comparative example.

(対比例)
図1は表面欠陥検査システムの概略構成図であり、レーザ装置10と、ロッドレンズ20と、遅延積分型カメラ(TDIカメラ)30と、タイミング信号発生部40と、画像処理装置50と、表示装置60とを備える。
(Comparison)
FIG. 1 is a schematic configuration diagram of a surface defect inspection system, in which a laser device 10, a rod lens 20, a delay integration camera (TDI camera) 30, a timing signal generator 40, an image processing device 50, and a display device are illustrated. 60.

かかる表面欠陥検査システムは、測定対象物2の表面形状を光学的に測定するものである。ここで、測定対象物2としては、図2に示すように、横断面形状において両端部が低くなる(或いは高くなる)曲線を有する長丈材(長丈の板材或いは棒材)、すなわち表面が両端部の低くなる(或いは高くなる)湾曲面となっている長丈材、例えばレール、形鋼、鋼管等を想定している。例えば表面に6mm程度の高低差があるものを想定とする。測定対象物2はその長手方向(図中矢印)に一定の速さ(例えば60mpm)で搬送されており、本例の表面欠陥検査システムは、測定対象物2の搬送中にその表面形状を測定し、測定対象物2の表面の凹みや疵等の表面欠陥を検出する。   Such a surface defect inspection system optically measures the surface shape of the measuring object 2. Here, as the measuring object 2, as shown in FIG. 2, a long material (long plate or bar) having a curve in which both ends are lowered (or increased) in the cross-sectional shape, that is, the surface is both ends. Are assumed to be long materials having curved surfaces that become lower (or higher), such as rails, shaped steels, steel pipes, and the like. For example, assume that the surface has a height difference of about 6 mm. The measurement object 2 is conveyed at a constant speed (for example, 60 mpm) in the longitudinal direction (arrow in the figure), and the surface defect inspection system of this example measures the surface shape of the measurement object 2 during conveyance. Then, surface defects such as dents and wrinkles on the surface of the measuring object 2 are detected.

レーザ装置10は、連続発振のレーザ光を発生するものである。ロッドレンズ20は、レーザ装置10から発せられたレーザ光を、測定対象物2の幅方向(図1の紙面に垂直な方向)に沿って扇状に広げるものである。これにより、レーザ装置10が発したレーザ光は、線状レーザ光として測定対象物2に照射される。例えば出力500mW、波長670nmのレーザ装置を用い、400mm×0.2mmの線状レーザ光として測定対象物2の表面に照射する。このとき、線状レーザ光は測定対象物2の表面に対して斜め(例えば45度)に入射する。このようして線状レーザ光が照射された測定対象物2の表面には、測定対象物2の幅方向に沿って線状の明るい部位が形成される。また、測定対象物2は長手方向に移動しているので、測定対象物2からみると、線状の明るい部位も測定対象物2の長手方向に沿って移動する。かかる線状の明るい部分からの反射光(線状反射像)は、TDIカメラ30により撮像される。   The laser device 10 generates a continuous wave laser beam. The rod lens 20 spreads the laser beam emitted from the laser device 10 in a fan shape along the width direction of the measurement object 2 (direction perpendicular to the paper surface of FIG. 1). Thereby, the laser beam emitted from the laser device 10 is irradiated onto the measurement object 2 as a linear laser beam. For example, a laser device with an output of 500 mW and a wavelength of 670 nm is used to irradiate the surface of the measuring object 2 as 400 mm × 0.2 mm linear laser light. At this time, the linear laser light is incident obliquely (for example, 45 degrees) with respect to the surface of the measurement object 2. Thus, on the surface of the measuring object 2 irradiated with the linear laser beam, a linear bright part is formed along the width direction of the measuring object 2. Further, since the measurement object 2 moves in the longitudinal direction, when viewed from the measurement object 2, the linear bright part also moves along the longitudinal direction of the measurement object 2. The reflected light (linear reflected image) from such a linear bright part is picked up by the TDI camera 30.

タイミング信号発生部40は、所定の周波数ω(例えば5kHz)をもつ正弦波形の信号を発生し、その正弦波形の信号をレーザ装置10に送出するものである。レーザ装置10は、外部信号によりその発振強度を連続的に変化させられるものであり、タイミング信号発生部40から送出される正弦波形の信号を受けると、正弦波形で出力が変化するレーザ光を発生する。すなわち、レーザ装置10が発するレーザ光を周期的に変調させている。また、タイミング信号発生部40は、上記周波数ωのM倍(例えば4倍)の周波数をもつカメラシフトパルス信号を発生し、そのカメラシフトパルス信号を遅延積分型カメラ30に送出する。   The timing signal generator 40 generates a sine waveform signal having a predetermined frequency ω (for example, 5 kHz) and sends the sine waveform signal to the laser device 10. The laser device 10 can continuously change its oscillation intensity by an external signal, and generates a laser beam whose output changes in a sine waveform when receiving a sine waveform signal sent from the timing signal generator 40. To do. That is, the laser beam emitted from the laser device 10 is periodically modulated. The timing signal generator 40 generates a camera shift pulse signal having a frequency M times (for example, 4 times) the frequency ω, and sends the camera shift pulse signal to the delay integration type camera 30.

TDIカメラ30は、移動する測定対象物2の線状反射像を撮像するものである。例えば分解能0.2mm×0.2mmのTDIカメラを用い、測定対象物2の表面に対して略垂直方向に配置される。図3はTDIカメラの構造と動作を説明するための図である。このTDIカメラ30では、図3(a)に示すように、多数の光電変換素子35がマトリクス状に配置されている。ここでは、例えば、これらの光電変換素子35を、行方向にn個、列方向にN個配置したものとする。そして、各行については、最上行を第1行として、上から順に番号付けをし、各列については、最左列を第1列として、左から順に番号付けをしている。ここで、光電変換素子35の行方向が、測定対象物の幅方向に対応する。   The TDI camera 30 captures a linear reflection image of the moving measurement object 2. For example, a TDI camera having a resolution of 0.2 mm × 0.2 mm is used, and the TDI camera is arranged in a direction substantially perpendicular to the surface of the measurement object 2. FIG. 3 is a diagram for explaining the structure and operation of the TDI camera. In the TDI camera 30, as shown in FIG. 3A, a large number of photoelectric conversion elements 35 are arranged in a matrix. Here, for example, it is assumed that n photoelectric conversion elements 35 are arranged in the row direction and N in the column direction. Each row is numbered sequentially from the top with the top row as the first row, and each column is numbered sequentially from the left with the leftmost column as the first column. Here, the row direction of the photoelectric conversion elements 35 corresponds to the width direction of the measurement object.

光電変換素子35は、受光した光の強度に対応する電荷を蓄積する。測定対象物2の線状反射像が、TDIカメラ30のレンズ31を介して、1列分の幅で光電変換素子35に入射するものとする。このTDIカメラ30では、各光電変換素子35は、その蓄積した電荷を、当該光電変換素子35と同じ行に位置し且つ一つ後の列に位置する光電変換素子に転送する。この転送のタイミングは、すべての光電変換素子35で同一であり、タイミング信号発生部40から送出されるカメラシフトパルス信号によって制御される。すなわち、カメラシフトパルス信号が入力する度に、各光電変換素子35は電荷を転送する。かかるカメラシフトパルス信号の周波数(カメラシフト周波数)はMωである。そして、第N列(最終列)に位置する光電変換素子35は、カメラシフトパルス信号が入力すると、その蓄積している電荷を読出しレジスタに送る。これにより、線状反射像に対応する光切断画像が出力される。   The photoelectric conversion element 35 accumulates charges corresponding to the intensity of the received light. It is assumed that the linear reflection image of the measurement object 2 is incident on the photoelectric conversion element 35 with a width corresponding to one row through the lens 31 of the TDI camera 30. In the TDI camera 30, each photoelectric conversion element 35 transfers the accumulated charge to a photoelectric conversion element located in the same row as the photoelectric conversion element 35 and located in the next column. The timing of this transfer is the same for all the photoelectric conversion elements 35, and is controlled by a camera shift pulse signal sent from the timing signal generator 40. That is, each time a camera shift pulse signal is input, each photoelectric conversion element 35 transfers charges. The frequency of the camera shift pulse signal (camera shift frequency) is Mω. Then, when the camera shift pulse signal is input, the photoelectric conversion element 35 located in the Nth column (final column) sends the accumulated charge to the read register. Thereby, the light section image corresponding to the linear reflection image is output.

なお、一般に、TDIカメラ30では、図3(b)に示すように、電荷が転送される途中で、各光電変換素子35に光が入射すると、その入射した光の強度に対応する電荷が上乗せされる。しかし、上述したように、光電変換素子35に1列分の幅の線状反射像が入射するように構成している。このため、電荷の転送途中で、各光電変換素子35において電荷が上乗せされることはほとんどない。特に、背景光が問題となる場合でも、レンズ前面にレーザ波長のみを透過する光学フィルタを設置することで、これを抑制することができる。   In general, in the TDI camera 30, as shown in FIG. 3B, when light is incident on each photoelectric conversion element 35 while the charge is being transferred, a charge corresponding to the intensity of the incident light is added. Is done. However, as described above, a linear reflection image having a width corresponding to one column is incident on the photoelectric conversion element 35. For this reason, the charge is hardly added in each photoelectric conversion element 35 during the transfer of the charge. In particular, even when background light becomes a problem, this can be suppressed by installing an optical filter that transmits only the laser wavelength in front of the lens.

測定対象物2はその長手方向に沿って移動しているので、レーザ装置10からレーザ光を測定対象物2に照射し、TDIカメラ30を用いて測定対象物2の線状反射像を一定時間撮像すると、測定対象物2の長手方向の各位置における光切断画像を順次得ることができる。したがって、こうして得られた各光切断画像を順に配列することにより、測定対象物2全体を表す画像が得られる。   Since the measuring object 2 moves along the longitudinal direction, the laser beam is irradiated from the laser device 10 onto the measuring object 2, and a linear reflection image of the measuring object 2 is used for a predetermined time using the TDI camera 30. When the image is taken, it is possible to sequentially obtain light-cut images at each position in the longitudinal direction of the measuring object 2. Therefore, an image representing the entire measurement object 2 can be obtained by sequentially arranging the light section images thus obtained.

また、線状レーザ光を周期的に変調させており、その線状レーザ光の強度が時間的に変化するので、各行において列方向の各光電変換素子に蓄積される電荷量(受光強度)の分布も周期的に変化する。したがって、TDIカメラ30から出力される各光切断画像を順に配列することにより得られる画像は、その配列方向に沿って、各光切断画像の濃度(強度)が周期的に変化する縞画像となる。図4に縞画像の一例を示す。ここで、濃度変化の一周期分に相当する光切断画像のことを「縞」と称することにする。かかる縞画像では、縞に平行な方向が測定対象物2の幅方向に対応し、縞に直交する方向が測定対象物2の長手方向に対応する。TDIカメラ30のカメラシフト周波数とレーザ光の変調周波数との比を、M:1とすると、M個の光切断画像、すなわち配列方向のM画素分が、一本の縞を構成する。   Further, the linear laser light is periodically modulated, and the intensity of the linear laser light changes with time, so that the amount of charge (received light intensity) accumulated in each photoelectric conversion element in the column direction in each row. The distribution also changes periodically. Therefore, an image obtained by sequentially arranging the light section images output from the TDI camera 30 becomes a fringe image in which the density (intensity) of each light section image periodically changes along the array direction. . FIG. 4 shows an example of a stripe image. Here, the light section image corresponding to one period of density change is referred to as “stripe”. In such a striped image, the direction parallel to the stripe corresponds to the width direction of the measurement object 2, and the direction orthogonal to the stripe corresponds to the longitudinal direction of the measurement object 2. When the ratio of the camera shift frequency of the TDI camera 30 to the modulation frequency of the laser light is M: 1, M light-cut images, that is, M pixels in the arrangement direction form one stripe.

ところで、レーザ光は測定対象物2の表面に斜めから入射するので、例えば測定対象物2に凹んでいる部分があると、図1においてレーザ光の反射点は右側にずれる。したがって、光電変換素子35上での光切断画像の位置も右側、すなわち図3(a)において列方向にずれることになる。このため、縞画像において、当該凹んでいる部分で反射したレーザ光に対応する光切断画像は、当該凹んでいない部分で反射したレーザ光に対応する光切断画像よりも時間的に早く出力されることになる。したがって、TDIカメラ30から出力される画像を順に配列することにより得られる画像において、凹んでいる部分は縞のずれとして明白に認識することができる。   By the way, since the laser beam is incident on the surface of the measurement object 2 at an angle, for example, if there is a recessed portion in the measurement object 2, the reflection point of the laser beam is shifted to the right in FIG. Therefore, the position of the light section image on the photoelectric conversion element 35 is also shifted in the column direction in the right side, that is, in FIG. For this reason, in the fringe image, the light cut image corresponding to the laser light reflected by the concave portion is output earlier in time than the light cut image corresponding to the laser light reflected by the non-dented portion. It will be. Therefore, in the image obtained by arranging the images output from the TDI camera 30 in order, the recessed portion can be clearly recognized as a stripe shift.

この縞のずれについてもう少し詳しく説明する。図5(a)はある縞画像の概略拡大図である。図5(a)では、縞毎に最大濃度を与える位置を実線で結んで示している。例えば、この縞画像では、幅方向の位置Aにおいて最大濃度位置を配列方向に沿って調べると、最大濃度位置は等間隔に位置しており、縞のずれは生じていない。すなわち、当該測定対象物2は、幅方向の位置Aでは配列方向に沿って平坦な形状をしている。この場合、幅方向の位置Aにおいて配列方向に沿っての縞画像の濃度分布(スライス縞画像データ)は、図5(b)に示すように、きれいな正弦波形状をしている。   This fringe shift will be described in more detail. FIG. 5A is a schematic enlarged view of a certain fringe image. In FIG. 5A, the position where the maximum density is given for each stripe is shown by a solid line. For example, in this fringe image, when the maximum density position is examined along the arrangement direction at the position A in the width direction, the maximum density positions are located at equal intervals, and no stripe deviation occurs. That is, the measurement object 2 has a flat shape at the position A in the width direction along the arrangement direction. In this case, the density distribution of the fringe image (slice fringe image data) along the arrangement direction at the position A in the width direction has a clean sine wave shape as shown in FIG.

一方、図5(a)に示す幅方向の位置Bにおいて最大濃度位置を配列方向に沿って調べると、最大濃度位置の間隔は左から右に向かって徐々に広がっており、縞のずれが生じている。すなわち、当該測定対象物2には、幅方向の位置Bで配列方向に沿って凹みが生じている。この場合、幅方向の位置Bにおいて配列方向に沿っての縞画像の濃度分布(スライス縞画像データ)は、図5(c)に示すように、図5(b)に示す正弦波と比べて位相がずれている。このように、測定対象物2の凹みによる縞のずれは、スライス縞画像データにおける位相のずれとして現れてくる。実際、かかる位相のずれと測定対象物2の凹み(深さ)とは比例関係にある。深さが深くなるほど、スライス縞画像データにおける位相のずれが大きくなる。表面欠陥検査システムでは、縞画像に基づいて位相のずれに関する情報を算出し、その位相のずれに関する情報に基づいて測定対象物2の表面形状を測定することにしている。この位相のずれを計算する方法を用いると、例えばカメラシフト周波数とレーザ光の変調周波数との比を4:1としたとき、縞が明確に一画素以上ずれなくても凹凸をして検出できる感度がある。   On the other hand, when the maximum density position is examined along the arrangement direction at the position B in the width direction shown in FIG. 5A, the interval between the maximum density positions gradually widens from the left to the right, and a stripe shift occurs. ing. That is, the measurement object 2 has a dent along the arrangement direction at the position B in the width direction. In this case, the density distribution (slice fringe image data) of the fringe image along the arrangement direction at the position B in the width direction is compared with the sine wave shown in FIG. 5B as shown in FIG. Out of phase. As described above, the fringe shift due to the dent of the measurement object 2 appears as a phase shift in the slice fringe image data. Actually, the phase shift and the dent (depth) of the measuring object 2 are in a proportional relationship. The greater the depth, the greater the phase shift in the slice fringe image data. In the surface defect inspection system, information related to the phase shift is calculated based on the fringe image, and the surface shape of the measurement object 2 is measured based on the information related to the phase shift. If this method of calculating the phase shift is used, for example, when the ratio of the camera shift frequency to the modulation frequency of the laser beam is set to 4: 1, the fringes can be detected with unevenness even if the fringes are not clearly shifted by one pixel or more. There is sensitivity.

ここで、図4に示す縞画像は、表面が平坦な測定対象物のものである。それに対して、本例で想定する測定対象物2、すなわちレール、形鋼、鋼管等のように横断面形状において両端部が低くなる(或いは高くなる)曲線を有する長丈材では、図6に示すように、各縞の両端部が湾曲する縞画像となる。   Here, the fringe image shown in FIG. 4 is that of a measurement object having a flat surface. On the other hand, the measurement object 2 assumed in this example, that is, a long material having a curve in which the both end portions are lowered (or increased) in the cross-sectional shape such as a rail, a shape steel, a steel pipe, etc. is shown in FIG. Thus, it becomes a fringe image in which both ends of each fringe are curved.

次に、スライス縞画像データにおける位相のずれと測定対象物2の深さとの関係について説明する。図7はスライス縞画像データにおける位相のずれと測定対象物2の深さとの関係を説明するための図である。   Next, the relationship between the phase shift in the slice fringe image data and the depth of the measurement object 2 will be described. FIG. 7 is a diagram for explaining the relationship between the phase shift in the slice fringe image data and the depth of the measurement object 2.

いま、図7に示すように、線状レーザ光が測定対象物2の表面に入射する入射角度をθとする。また、測定対象物2に凹部があり、線状レーザ光はその凹部に入ったときに測定対象物2の表面から深さdのところで反射して、TDIカメラ30に入射したとする。このとき、深さdで反射した線状レーザ光は、測定対象物2の平坦な表面で反射した線状レーザ光に比べて、測定対象物2の長手方向(右方向)に距離hだけ反射点がずれる。ここで、h=d・tanθである。かかる線状レーザ光の反射点が長手方向に距離hだけずれた結果として、スライス縞画像データにおいて位相のずれが生ずるが、この位相のずれをφとする。   Now, as shown in FIG. 7, the incident angle at which the linear laser light is incident on the surface of the measuring object 2 is defined as θ. Further, it is assumed that the measurement object 2 has a recess, and the linear laser light is reflected at a depth d from the surface of the measurement object 2 and enters the TDI camera 30 when entering the recess. At this time, the linear laser beam reflected at the depth d is reflected by the distance h in the longitudinal direction (right direction) of the measuring object 2 as compared with the linear laser light reflected by the flat surface of the measuring object 2. The point shifts. Here, h = d · tan θ. As a result of the deviation of the reflection point of the linear laser beam by the distance h in the longitudinal direction, a phase shift occurs in the slice fringe image data. This phase shift is denoted by φ.

TDIカメラ30における光電変換素子35の列方向の撮影分解能をs(mm/画素)とすると、線状レーザ光の反射点が長手方向にずれた距離hは、縞画像においてh/s画素に相当する。また、TDIカメラ30のカメラシフト周波数とレーザ光の変調周波数との比がM:1のとき、縞画像において配列方向のM画素分が一本の縞を構成する。すなわち、縞がM画素分だけずれたときに、位相のずれは2πとなる。したがって、線状レーザ光の反射点が長手方向に距離hずれたときのスライス縞画像データにおける位相のずれφは、
M/2π=(h/s)/φ
より、
d={M・s/(2π・tanθ)}φ
となる。これより、スライス縞画像データにおける位相のずれφと測定対象物2の深さdとは比例関係にあることが分かる。
Assuming that the imaging resolution in the column direction of the photoelectric conversion element 35 in the TDI camera 30 is s (mm / pixel), the distance h that the reflection point of the linear laser beam is displaced in the longitudinal direction corresponds to the h / s pixel in the striped image. To do. When the ratio between the camera shift frequency of the TDI camera 30 and the modulation frequency of the laser beam is M: 1, M pixels in the arrangement direction form one stripe in the stripe image. That is, when the fringes are shifted by M pixels, the phase shift is 2π. Therefore, the phase shift φ in the slice fringe image data when the reflection point of the linear laser beam is shifted by the distance h in the longitudinal direction is
M / 2π = (h / s) / φ
Than,
d = {M · s / (2π · tan θ)} φ
It becomes. From this, it can be seen that the phase shift φ in the slice fringe image data and the depth d of the measurement object 2 are in a proportional relationship.

厳密には、通常のレンズを用いた場合、撮影分解能sは深さdに応じて変化するため、補正する必要があるが、鋼板の凹みを測定する場合のように、レンズ作動距離に対して深さ変化が微小な場合は、かかる撮影分解能sの変化を実用上無視することができる。また、テレセントリックレンズを使えば、撮影分解能sを深さdによらず、一定とすることができる。   Strictly speaking, when a normal lens is used, the imaging resolution s changes according to the depth d and needs to be corrected. However, as in the case of measuring a dent in a steel plate, the lens working distance is not affected. When the depth change is small, such a change in the imaging resolution s can be ignored in practice. If a telecentric lens is used, the imaging resolution s can be made constant regardless of the depth d.

画像処理装置50は、TDIカメラ30から出力された各光切断画像に基づいて測定対象物2の表面形状を表す画像を作成する処理と、その画像に基づいて欠陥を検出する処理とを行うものである。図8に、画像処理装置50の概略ブロック図を示す。画像処理装置50は、A/D変換部501と、プレフィルタ部502と、直交正弦波発生部503と、ローパスフィルタ部504a、504bと、位相算出部505と、位相連続化処理部506と、センタリング処理部507と、形状補正処理部508と、欠陥検出処理部509と、振幅算出部510と、エッジ位置検出部511とを有する。画像処理装置50の各部で処理された結果は、表示装置60の画面上に表示される。   The image processing device 50 performs processing for creating an image representing the surface shape of the measurement object 2 based on each light cut image output from the TDI camera 30, and processing for detecting a defect based on the image. It is. FIG. 8 shows a schematic block diagram of the image processing apparatus 50. The image processing apparatus 50 includes an A / D conversion unit 501, a pre-filter unit 502, an orthogonal sine wave generation unit 503, low-pass filter units 504a and 504b, a phase calculation unit 505, a phase continuation processing unit 506, A centering processing unit 507, a shape correction processing unit 508, a defect detection processing unit 509, an amplitude calculation unit 510, and an edge position detection unit 511 are included. The results processed by each part of the image processing device 50 are displayed on the screen of the display device 60.

また、図14は、画像処理装置50の処理動作を説明するためのフローチャートである。以下、図14も参照しつつ、画像処理装置50の各部の処理動作について説明する。   FIG. 14 is a flowchart for explaining the processing operation of the image processing apparatus 50. Hereinafter, the processing operation of each unit of the image processing apparatus 50 will be described with reference to FIG.

まずは、TDIカメラ30が測定対象物2を撮像して光切断画像を出力する(ステップS101)。A/D変換部501は、TDIカメラ30から出力された各光切断画像をA/D変換し、ディジタル多値画像データとして出力する。かかるディジタル多値画像データは、図示しない画像メモリに記憶される。これらのディジタル多値画像データを順に配置することにより、縞画像が形成される。   First, the TDI camera 30 images the measurement object 2 and outputs a light cut image (step S101). The A / D conversion unit 501 performs A / D conversion on each light-cut image output from the TDI camera 30 and outputs it as digital multilevel image data. Such digital multilevel image data is stored in an image memory (not shown). By arranging these digital multivalued image data in order, a fringe image is formed.

かかる縞画像(又はディジタル多値画像データ)からは、幅方向の各位置において配列方向に沿っての縞画像の濃度分布を表すデータが生成される。かかる配列方向に沿っての縞画像の濃度分布を表すデータが「スライス縞画像データ」である。幅方向の各位置におけるスライス縞画像データは画像メモリから順次出力される。   From such a fringe image (or digital multi-valued image data), data representing the density distribution of the fringe image along the arrangement direction at each position in the width direction is generated. Data representing the density distribution of the stripe image along the arrangement direction is “slice stripe image data”. Slice fringe image data at each position in the width direction is sequentially output from the image memory.

プレフィルタ部502は、各スライス縞画像データに所定のフィルタ処理を施すことにより、ノイズを除去し、縞の状態を鮮明にする。なお、プレフィルタ部502によるフィルタ処理は必ずしも行う必要はない。例えば縞画像に細かいノイズが多数生じているような場合にのみ行うようにすればよい。   The pre-filter unit 502 removes noise and sharpens the stripe state by applying a predetermined filter process to each slice stripe image data. Note that the filtering process by the prefilter unit 502 is not necessarily performed. For example, it may be performed only when many fine noises are generated in the striped image.

プレフィルタ部502からは、幅方向の各位置j(j=0、1、2、・・・)におけるスライス縞画像データIj(k)が二つ出力される。k(k=0、1、2、・・・)は配列方向の位置である。このとき、幅方向の位置jにおけるスライス縞画像データIj(k)は正弦波的に変化すると仮定する。すなわち、
j(k)=A(j,k){cos((2πk/M)+φ(j,k))+1}
である。ここで、A(j,k)は画素位置(j,k)におけるスライス縞画像データの振幅、φ(j,k)は画素位置(j,k)におけるスライス縞画像データの位相のずれである。測定対象物2の凹みによって縞画像に発生する縞のずれの影響は、位相のずれφとして現れる。また、線状レーザ光の振幅は一定であるので、通常、上記振幅Aは一定である。しかし、測定対象物2の表面が汚れているような場合には、かかる汚れ位置に対応する画素位置において振幅Aは急激に減少することがある。このため、上式では、振幅Aを画素位置(j,k)に依存する形で書いている。
Two pieces of slice fringe image data I j (k) at each position j (j = 0, 1, 2,...) In the width direction are output from the prefilter unit 502. k (k = 0, 1, 2,...) is a position in the arrangement direction. At this time, it is assumed that the slice fringe image data I j (k) at the position j in the width direction changes sinusoidally. That is,
I j (k) = A (j, k) {cos ((2πk / M) + φ (j, k)) + 1}
It is. Here, A (j, k) is the amplitude of the slice fringe image data at the pixel position (j, k), and φ (j, k) is the phase shift of the slice fringe image data at the pixel position (j, k). . The influence of the fringe shift generated in the fringe image due to the depression of the measurement object 2 appears as a phase shift φ. Since the amplitude of the linear laser beam is constant, the amplitude A is usually constant. However, when the surface of the measuring object 2 is dirty, the amplitude A may decrease rapidly at the pixel position corresponding to the dirty position. Therefore, in the above equation, the amplitude A is written in a form depending on the pixel position (j, k).

なお、cosの項の次に「1」を加えているのは、スライス縞画像データ(濃度値)Ij(k)はマイナスにならないので、このことを保証するためである。したがって、スライス縞画像データIj(k)は0から2Aの間で変化する。 The reason why “1” is added after the term of cos is to guarantee this because slice stripe image data (density value) I j (k) does not become negative. Therefore, the slice fringe image data I j (k) varies between 0 and 2A.

直交正弦波発生部503は、ROM等のメモリ上に予め作成しておいた、直交する二つの基準正弦波データsin(2πk/M)、cos(2πk/M)を発生する。特に、前者を基準sinデータ、後者を基準cosデータとも称する。これらの二つの基準正弦波データはそれぞれ、プレフィルタ部502から出力されたスライス縞画像データIj(k)と乗算される。この乗算処理により、下記の二つの出力Iaj(k)、Ibj(k)が得られる。 The orthogonal sine wave generation unit 503 generates two orthogonal reference sine wave data sin (2πk / M) and cos (2πk / M), which are created in advance on a memory such as a ROM. In particular, the former is also referred to as reference sin data, and the latter is also referred to as reference cos data. These two reference sine wave data are respectively multiplied by the slice fringe image data I j (k) output from the prefilter unit 502. By this multiplication processing, the following two outputs Ia j (k) and Ib j (k) are obtained.

Figure 0005347418
Figure 0005347418

ローパスフィルタ部504a、504bはそれぞれ、上記の乗算処理で得られた出力Iaj(k)、Ibj(k)について、所定のフィルタ処理を施すことにより、縞周波数成分及びその高調波成分を除去する、すなわち位相のずれφのみを含む成分を抽出する。ローパスフィルタ部504aからの出力をLPF(Iaj(k))、ローパスフィルタ部504bからの出力をLPF(Ibj(k))とすると、
LPF(Iaj(k))=(A cosφ)/2
LPF(Ibj(k))=−(A sinφ)/2
である。
Each of the low-pass filter units 504a and 504b performs predetermined filter processing on the outputs Ia j (k) and Ib j (k) obtained by the above multiplication processing, thereby removing the fringe frequency component and its harmonic components. That is, a component including only the phase shift φ is extracted. If the output from the low-pass filter unit 504a is LPF (Ia j (k)) and the output from the low-pass filter unit 504b is LPF (Ib j (k)),
LPF (Ia j (k)) = (A cos φ) / 2
LPF (Ib j (k)) = − (A sin φ) / 2
It is.

位相算出部505は、二つのローパスフィルタ部504a、504bから出力された結果に基づいて、各画素位置(j,k)における位相のずれφ(j,k)を算出する(ステップS102)。位相のずれφ(j,k)は、下式より求めることができる。   The phase calculation unit 505 calculates a phase shift φ (j, k) at each pixel position (j, k) based on the results output from the two low-pass filter units 504a and 504b (step S102). The phase shift φ (j, k) can be obtained from the following equation.

Figure 0005347418
Figure 0005347418

上式では、arctanの値域を−π/2〜+π/2とすると共に、LPF(Iaj(k)),LPF(Ibj(k))の符号についての情報を利用して、位相のずれφを−π〜+πの範囲で求めている。ここで、この範囲で求めた位相のずれを改めてφ′と記すことにする。この場合、上式で求めた位相のずれφ′は、測定対象物2の深さと周期的な関係があり、位相のずれφ′のある値をとるような深さは複数ある。したがって、かかる位相のずれφ′を用いたのでは、測定対象物2の表面形状について正確な情報は得られない。このため、この位相のずれφ′から、測定対象物2の深さと比例関係にあるような位相のずれφを求める必要がある。深さと比例関係にある位相のずれφを得る処理は、位相連続化処理部506によって行われる。図9(a)には、位相算出部505で作成された位相画像の一例を示す。また、図10(a)には、位相画像における位相特性を表わす特性図の一例を示す。 In the above equation, the arctan value range is set to −π / 2 to + π / 2, and information about the codes of LPF (Ia j (k)) and LPF (Ib j (k)) is used to shift the phase. φ is determined in the range of −π to + π. Here, the phase shift obtained in this range will be described again as φ ′. In this case, the phase shift φ ′ obtained by the above formula has a periodic relationship with the depth of the measurement object 2, and there are a plurality of depths that take a certain value of the phase shift φ ′. Therefore, accurate information on the surface shape of the measuring object 2 cannot be obtained by using such a phase shift φ ′. For this reason, it is necessary to obtain a phase shift φ that is proportional to the depth of the measurement object 2 from the phase shift φ ′. The process of obtaining a phase shift φ proportional to the depth is performed by the phase continuation processing unit 506. FIG. 9A shows an example of a phase image created by the phase calculation unit 505. FIG. 10A shows an example of a characteristic diagram representing the phase characteristic in the phase image.

位相連続化処理部506は、位相算出部505で作成された位相画像に基づいて、位相のずれφ′の不連続点を検出し、位相のずれφ′が滑らかに繋がるように位相のずれφ′を補正する(ステップS103)。上述したように、位相算出部55で算出した位相のずれφ′の値域は、−π〜+πであるので、位相のずれφ′は−π及び+πで不連続となる。例えば、図9(a)に示す位相画像において、白(又は黒)から黒(又は白)に変化している部分が位相のずれφ′の不連続点に対応する。かかる位相画像をそのまま用いたのでは、測定対象物2の表面形状を認識することは困難である。したがって、位相のずれφ′の不連続点において位相のずれφ′が滑らかに繋がるように位相のずれφ′を補正する必要がある。かかる補正(位相飛び補正)は、2πの範囲で定義された位相のずれφ′から測定対象物2の深さに比例する一義的な位相のずれφを求める処理である。   The phase continuation processing unit 506 detects discontinuous points of the phase shift φ ′ based on the phase image created by the phase calculation unit 505, and the phase shift φ ′ so that the phase shift φ ′ is smoothly connected. 'Is corrected (step S103). As described above, since the value range of the phase shift φ ′ calculated by the phase calculation unit 55 is −π to + π, the phase shift φ ′ is discontinuous at −π and + π. For example, in the phase image shown in FIG. 9A, a portion that changes from white (or black) to black (or white) corresponds to a discontinuous point of the phase shift φ ′. If such a phase image is used as it is, it is difficult to recognize the surface shape of the measuring object 2. Therefore, it is necessary to correct the phase shift φ ′ so that the phase shift φ ′ is smoothly connected at the discontinuous points of the phase shift φ ′. Such correction (phase jump correction) is a process for obtaining a unique phase shift φ proportional to the depth of the measuring object 2 from the phase shift φ ′ defined in the range of 2π.

具体的には、位相連続化処理部506は、位相のずれφ′の不連続点を検出すると共に、その不連続点において位相のずれφ′を補正する。位相のずれφ′が不連続であるかどうかは、一つの画素だけを見ても分からない。隣り合う画素同士を見て判断する必要がある。まず、位相連続化処理部506は、位相画像の幅方向の各位置において位相画像を配列方向に沿って調べ、隣り合う画素での位相のずれφ′を比較する。その隣り合う画素において位相のずれφ′が大きく異なる場合には、当該画素間で位相のずれφ′が不連続であると判断し、これらの位相のずれφ′を補正する。実際、鋼板等の測定対象物2の表面における深さは、急激に変化しない。このため、位相のずれφ′が大きく異なるのは、位相のずれφ′が±2πだけ変化しているために生じたと考えられる。したがって、位相のずれφ′がその隣接する画素での位相のずれφ′と大きく異なっている画素を調べて、それらの位相のずれφ′を滑らかに繋げていくようにすればよい(図10(a)の矢印を参照)。   Specifically, the phase continuation processing unit 506 detects a discontinuous point of the phase shift φ ′ and corrects the phase shift φ ′ at the discontinuous point. Whether or not the phase shift φ ′ is discontinuous is not known by looking at only one pixel. It is necessary to judge by looking at adjacent pixels. First, the phase continuation processing unit 506 checks the phase image along the arrangement direction at each position in the width direction of the phase image, and compares the phase shift φ ′ between adjacent pixels. When the phase shift φ ′ is greatly different between the adjacent pixels, it is determined that the phase shift φ ′ is discontinuous between the pixels, and the phase shift φ ′ is corrected. Actually, the depth at the surface of the measuring object 2 such as a steel plate does not change abruptly. For this reason, it is considered that the phase shift φ ′ is largely different because the phase shift φ ′ is changed by ± 2π. Therefore, a pixel whose phase shift φ ′ is significantly different from the phase shift φ ′ of the adjacent pixels is examined, and the phase shift φ ′ may be smoothly connected (FIG. 10). (See arrow in (a)).

例えば、ある画素位置では、位相のずれφ′が+πに近い値であり、その右隣りの画素位置では、位相のずれφ′が−πに近い値である場合には、当該右隣りの画素位置では位相のずれφ′が+2πだけ変化していると認識する。そして、当該右隣りの画素位置における位相のずれφ′に+2πを加算することにより、位相のずれφ′を補正する。また、ある画素位置では、位相のずれφ′が−πに近い値であり、その右隣りの画素位置では、位相のずれφ′が+πに近い値である場合には、当該右隣りの画素位置では位相のずれφ′が−2πだけ変化していると認識する。そして、当該右隣りの画素位置における位相のずれφ′に−2πを加算することにより、位相のずれφ′を補正する。   For example, when a phase shift φ ′ is close to + π at a certain pixel position and the phase shift φ ′ is close to −π at a pixel position on the right side, the right adjacent pixel At the position, it is recognized that the phase shift φ ′ changes by + 2π. Then, the phase shift φ ′ is corrected by adding + 2π to the phase shift φ ′ at the right adjacent pixel position. Further, when the phase shift φ ′ is a value close to −π at a certain pixel position, and the phase shift φ ′ is a value close to + π at the pixel position on the right side, the pixel on the right side At the position, it is recognized that the phase shift φ ′ changes by −2π. The phase shift φ ′ is corrected by adding −2π to the phase shift φ ′ at the right pixel position.

こうして、幅方向の各位置において配列方向に沿って隣り合う画素を調べて、位相のずれφ′を補正した後、位相連続化処理部506は、今度は、配列方向の各位置において幅方向に沿って隣り合う画素を調べ、同様にして、位相のずれφ′を補正する。かかる補正後の各画素位置における位相のずれは、測定対象物2の深さに比例する一義的な位相のずれφである。   Thus, after examining the adjacent pixels along the arrangement direction at each position in the width direction and correcting the phase shift φ ′, the phase continuation processing unit 506 is now arranged in the width direction at each position in the arrangement direction. The adjacent pixels are examined, and similarly, the phase shift φ ′ is corrected. The phase shift at each pixel position after correction is a unique phase shift φ proportional to the depth of the measurement object 2.

次に、位相連続化処理部506は、かかる補正後の位相のずれφに基づいて新たに位相画像を作成する。この新たな位相画像は測定対象物2の表面形状を正確に表している。この新たな位相画像のことを形状画像と称することにする。図9(b)には、位相連続化処理部506で作成された形状画像の一例を示す。また、図10(b)には、形状画像における位相特性を表わす特性図の一例を示す。   Next, the phase continuation processing unit 506 newly creates a phase image based on the corrected phase shift φ. This new phase image accurately represents the surface shape of the measuring object 2. This new phase image is referred to as a shape image. FIG. 9B shows an example of a shape image created by the phase continuation processing unit 506. FIG. 10B shows an example of a characteristic diagram representing the phase characteristic in the shape image.

一方、振幅算出部510は、二つのローパスフィルタ部504a、504bから出力された結果に基づいて、各画素位置(j,k)における振幅A(j,k)、すなわち輝度を算出する(ステップS104)。振幅A(j,k)は、
A(j,k)=2[{LPF(Ibj(k))}2+{LPF(Iaj(k))}21/2
より求めることができる。そして、算出された振幅Aに基づいて振幅画像(輝度画像)を作成する。振幅画像は、例えば振幅が小さいほど画像が黒くなるような濃淡画像で表現される。図11には、振幅算出部510で作成された振幅画像の一例を示す。
On the other hand, the amplitude calculation unit 510 calculates the amplitude A (j, k), that is, the luminance at each pixel position (j, k) based on the results output from the two low-pass filter units 504a and 504b (step S104). ). The amplitude A (j, k) is
A (j, k) = 2 [{LPF (Ib j (k))} 2 + {LPF (Ia j (k))} 2 ] 1/2
It can be obtained more. Then, an amplitude image (luminance image) is created based on the calculated amplitude A. The amplitude image is expressed as a grayscale image in which the image becomes black as the amplitude is small, for example. FIG. 11 shows an example of an amplitude image created by the amplitude calculation unit 510.

エッジ位置検出部511は、振幅算出部510で作成された振幅画像(輝度画像)に基づいて、閾値を利用する等して、1ライン毎に左右のエッジ位置を検出する(ステップS105)。   The edge position detection unit 511 detects the left and right edge positions for each line based on the amplitude image (luminance image) created by the amplitude calculation unit 510 by using a threshold value (step S105).

センタリング処理部507は、エッジ位置検出部511で検出されたエッジ位置に基づいて、位相連続化処理部506で作成された形状画像にセンタリング処理を行う(ステップS106)。長手方向に搬送される測定対象物を撮影する場合、該測定対象物が蛇行したり、振動したりすると、図12(a)、図12(b)に示すように幅方向にずれた画像として撮影される。図12(a)は測定対象物が蛇行した場合の様子を示す模式図、図12(b)は測定対象物が振動した場合の様子を示す模式図であり、実線が測定対象物の左右エッジを示し、点線がセンタ位置を示す。   The centering processing unit 507 performs centering processing on the shape image created by the phase continuation processing unit 506 based on the edge position detected by the edge position detection unit 511 (step S106). When photographing the measurement object conveyed in the longitudinal direction, if the measurement object meanders or vibrates, the image is shifted in the width direction as shown in FIGS. 12 (a) and 12 (b). Taken. FIG. 12A is a schematic diagram showing a state when the measurement target is meandering, and FIG. 12B is a schematic diagram showing a state when the measurement target is vibrated, and the solid line is the left and right edges of the measurement target. The dotted line indicates the center position.

このような画像に対し、センタリング処理では、ライン毎に検査面の左右のエッジ位置を検出し、それらの中心を算出してセンタ位置とする。この位置を画像センタに垂直方向に揃えるようにする。図12(c)はセンタリング処理後の画像を示す模式図である。かかるセンタリング処理により、測定対象物2が、横断面形状において両端部が低くなる或いは高くなる曲線を有する長丈材である場合に、該測定対象物2が蛇行したり、幅方向に振動したりしたときにも、表面欠陥の検出精度を高めることができる。なお、この場合、エッジ位置検出に用いる画像は、形状画像でも輝度画像でもよい。   For such an image, in the centering process, the left and right edge positions of the inspection surface are detected for each line, and the centers thereof are calculated as the center positions. This position is aligned with the image center in the vertical direction. FIG. 12C is a schematic diagram showing an image after the centering process. Due to the centering process, when the measurement object 2 is a long material having a curved line whose both end portions are low or high in the cross-sectional shape, the measurement object 2 meanders or vibrates in the width direction. Sometimes, the detection accuracy of surface defects can be increased. In this case, the image used for edge position detection may be a shape image or a luminance image.

形状補正処理部508は、センタリング処理後の形状画像に形状補正処理を行う。図9(b)、10(b)に示す形状画像では、測定対象物2の表面形状そのものが平坦でないので、表面欠陥判別を行うための二値化処理を施しても、鋼板の表面の凹みや疵等の表面欠陥を抽出することができない。そこで、測定対象物2の曲面形状を平面に焼き直す形状補正処理を行うものである。   The shape correction processing unit 508 performs shape correction processing on the shape image after the centering processing. In the shape images shown in FIGS. 9 (b) and 10 (b), the surface shape of the measurement object 2 itself is not flat. Therefore, even if the binarization process is performed to determine the surface defect, the surface of the steel plate is recessed. It is impossible to extract surface defects such as rust and wrinkles. Therefore, a shape correction process is performed in which the curved surface shape of the measuring object 2 is baked into a flat surface.

具体的には、センタリング処理後の形状画像に1ライン毎に高次関数(例えば4次以上の偶関数)によるフィッティング処理を施す(ステップS107)。フィッティング処理は、与えられたデータ列に対して残差二乗和が最も小さくなる曲線(フィッティング曲線)を求める処理であり、一般的な最小二乗法やチェビシェフ法等を用いることができる。最小二乗法は、変数のべき乗を基底関数として、残差二乗和の係数による偏微分係数をゼロとおき、係数を演算する処理である。このとき、基底関数に直交多項式であるチェビシェフ多項式を用いると、高次関数でも、より正確に且つ安定してフィッティングさせることができる。チェビシェフ多項式によるフィッティング関数は、以下の式で表され、フィッティング処理により係数ai(i=0、1、・・・、n+1)を求める。 Specifically, the shape image after the centering process is subjected to a fitting process using a high-order function (for example, an even function of 4th order or higher) for each line (step S107). The fitting process is a process for obtaining a curve (fitting curve) having the smallest residual square sum for a given data string, and a general least square method, a Chebyshev method, or the like can be used. The least square method is a process of calculating a coefficient by setting a partial differential coefficient based on a residual sum of squares coefficient to zero using a power of a variable as a basis function. At this time, if a Chebyshev polynomial, which is an orthogonal polynomial, is used as the basis function, a higher-order function can be fitted more accurately and stably. A fitting function based on a Chebyshev polynomial is expressed by the following equation, and coefficients a i (i = 0, 1,..., N + 1) are obtained by fitting processing.

Figure 0005347418
Figure 0005347418

続いて、1ライン毎に、フィッティング処理(ステップS107)で生成されたフィッティング曲線と、元データ(センタリング処理後の形状画像)との差分演算を行う(ステップS108)。図10(b)において、点線がフィッティング曲線、実線が元データである。かかるフィッティング処理により、測定対象物2の両端部が急峻な形状となっている場合でも、両端部の急峻な信号変化が緩和されることになる。   Subsequently, a difference between the fitting curve generated in the fitting process (step S107) and the original data (shape image after the centering process) is calculated for each line (step S108). In FIG. 10B, the dotted line is the fitting curve, and the solid line is the original data. By this fitting process, even when both ends of the measurement object 2 have a steep shape, a sharp signal change at both ends is alleviated.

更に、差分演算(ステップS108)で得られたデータを測定対象物2の走行方向(長手方向)に所定の長さだけ平均(積算)し(ステップS109)、ローパスフィルタ処理を施して(ステップS110)、元データ(差分演算(ステップS108)で得られたデータ)との差分演算(或いは除算演算)を行う(ステップS111)。このシェーディング補正により、表面欠陥候補となる凹凸情報を保持したまま平坦化されることになる。   Further, the data obtained by the difference calculation (step S108) is averaged (integrated) for a predetermined length in the traveling direction (longitudinal direction) of the measuring object 2 (step S109), and low-pass filter processing is performed (step S110). ), Difference operation (or division operation) with the original data (data obtained by difference operation (step S108)) is performed (step S111). By this shading correction, flattening is performed while retaining unevenness information that is a surface defect candidate.

以上のように、形状補正処理として、高次関数(例えば4次以上の偶関数)によるフィッティング処理、更にはシェーディング補正といった二段階の処理を行う。形状補正処理後の画像のことを深さ画像と称することにする。図9(c)には、形状補正処理部508で作成された深さ画像の一例を示す。また、図10(c)には、深さ画像における位相特性を表わす特性図の一例を示す。   As described above, as the shape correction process, a two-stage process such as a fitting process using a high-order function (for example, a quadratic or higher-order even function) and a shading correction is performed. The image after the shape correction process is referred to as a depth image. FIG. 9C shows an example of a depth image created by the shape correction processing unit 508. FIG. 10C shows an example of a characteristic diagram representing the phase characteristic in the depth image.

欠陥検出処理部509は、形状補正処理部508で作成された深さ画像を二値化処理する(ステップS112)。二値化処理では、閾値を設定し、閾値内部分には「0」を、閾値を超える部分に「1」を与えて画像化する。   The defect detection processing unit 509 binarizes the depth image created by the shape correction processing unit 508 (step S112). In the binarization processing, a threshold value is set, and “0” is given to the portion within the threshold value, and “1” is given to the portion exceeding the threshold value, and imaged.

そして、二値化画像を用いて表面欠陥判別を行い(ステップS113)、表面欠陥を検出する(ステップS114)。図13(a)は二値化画像の写真を示す図である。図13(a)に示すように、二値化画像の「1」部分の画素数を算出し、撮影分解能と掛け合わせることで、欠陥の面積、長さ、幅、縦横比等を算出し、表面欠陥判別を行えばよい。なお、二値化画像だけでなく、深さ画像や振幅画像(輝度画像)を用いてもよい。図13(b)は、深さ画像の写真を示す図、図13(c)は、輝度画像の写真を示す図である。図13(b)に示すように、深さ画像の最大、最小深さ等に基づいて、表面欠陥判別を行ったり、図13(c)に示すように、振幅算出部510で作成された振幅画像(輝度画像)の最大輝度、最小輝度、平均輝度等に基づいて、表面欠陥判別を行ったりしてもよい。   Then, surface defect determination is performed using the binarized image (step S113), and the surface defect is detected (step S114). FIG. 13A shows a photograph of a binarized image. As shown in FIG. 13A, the number of pixels of the “1” portion of the binarized image is calculated and multiplied by the imaging resolution to calculate the defect area, length, width, aspect ratio, and the like. What is necessary is just to perform surface defect discrimination. In addition to a binarized image, a depth image or an amplitude image (luminance image) may be used. FIG. 13B is a diagram illustrating a photograph of a depth image, and FIG. 13C is a diagram illustrating a photograph of a luminance image. As shown in FIG. 13B, the surface defect is determined based on the maximum and minimum depths of the depth image, or the amplitude generated by the amplitude calculation unit 510 as shown in FIG. Surface defect discrimination may be performed based on the maximum luminance, minimum luminance, average luminance, and the like of an image (luminance image).

(第1の実施形態)
上述した対比例では、形状補正処理部508でのフィッティング処理(ステップS107)をセンタリング処理後の形状画像に施しているが、この場合、図17(a)に示すように、特に測定対象物2の表面欠陥が大きかったり、深かったりすると、この表面欠陥にフィッティング曲線71が引きずられてしまうことがある。そのため、元データ(センタリング処理後の形状画像)72との差分演算を行ったときに、表面欠陥が実際よりも小さく、浅く検出されるとともに、その両側に跳ね返り73が生じてしまう。なお、図17(a)において、点線で示す2本の直線74は二値化の際の閾値を表す。凸状の欠陥及び凹状の欠陥の両方を検出対象とする場合は、このように上下限を示す2つの閾値を設定し、健全部の形状レベルに対して凹凸方向いずれかの閾値を越えた部分を「1」とする。
(First embodiment)
In the above-described comparison, the fitting process (step S107) in the shape correction processing unit 508 is performed on the shape image after the centering process. In this case, as shown in FIG. If the surface defect is large or deep, the fitting curve 71 may be dragged to the surface defect. For this reason, when the difference calculation with the original data (shape image after the centering process) 72 is performed, the surface defect is detected to be smaller and shallower than the actual one, and a bounce 73 occurs on both sides thereof. In FIG. 17A, two straight lines 74 indicated by dotted lines represent threshold values for binarization. When both convex and concave defects are to be detected, two threshold values indicating the upper and lower limits are set as described above, and the portion exceeding the threshold value in any of the concave and convex directions with respect to the shape level of the healthy part Is “1”.

そこで、本発明を適用した実施形態では、図15に示すように、形状補正処理部508の前段に事前処理部101を設け、形状補正処理部508でのフィッティング処理に先立って、センタリング処理後の形状画像上の凹凸部を抽出する事前処理を施すこととしている。なお、図8で既に説明した構成要素には同一の符号を付すとともに、その詳細な説明は省略する。   Therefore, in the embodiment to which the present invention is applied, as shown in FIG. 15, a pre-processing unit 101 is provided before the shape correction processing unit 508, and prior to the fitting processing in the shape correction processing unit 508, the post-centering processing is performed. Pre-processing for extracting irregularities on the shape image is performed. In addition, the same code | symbol is attached | subjected to the component already demonstrated in FIG. 8, and the detailed description is abbreviate | omitted.

図16は、本実施形態に係る画像処理装置50の処理動作を説明するためのフローチャートである。なお、図14で既に説明した処理には同一の符号を付すとともに、その詳細な説明は省略する。   FIG. 16 is a flowchart for explaining the processing operation of the image processing apparatus 50 according to the present embodiment. The processes already described in FIG. 14 are denoted by the same reference numerals and detailed description thereof is omitted.

センタリング処理(ステップS106)の後、事前処理部101は、一次形状補正処理を行う(ステップS201)。具体的には、図18に示すように、まずセンタリング処理後の形状画像に1ライン毎に高次関数(例えば4次以上の偶関数)によるフィッティング処理を施す。フィッティング処理は、既述したように、与えられたデータ列に対して残差二乗和が最も小さくなる曲線(フィッティング曲線)を求める処理である。そして、1ライン毎に、フィッティング処理で生成されたフィッティング曲線と、元データ(センタリング処理後の形状画像)との差分演算を行う。   After the centering process (step S106), the preprocessing unit 101 performs a primary shape correction process (step S201). Specifically, as shown in FIG. 18, first, a fitting process using a higher-order function (for example, an even or higher-order function) is performed for each line on the shape image after the centering process. As described above, the fitting process is a process for obtaining a curve (fitting curve) having the smallest residual sum of squares for a given data string. Then, for each line, a difference calculation between the fitting curve generated by the fitting process and the original data (the shape image after the centering process) is performed.

次に、ステップS201の一次形状補正処理の差分演算で得られたデータを二値化処理する(ステップS202)。二値化処理では、閾値を設定し、閾値内部分には「0」を、閾値を超える部分に「1」を与えて画像化する。図19(a)に、二値化処理で得られた二値化画像の一例を示す。   Next, the data obtained by the difference calculation in the primary shape correction process in step S201 is binarized (step S202). In the binarization processing, a threshold value is set, and “0” is given to the portion within the threshold value, and “1” is given to the portion exceeding the threshold value, and imaged. FIG. 19A shows an example of a binarized image obtained by binarization processing.

次に、ステップS202の二値化処理で得られた二値化画像を用いて凹凸部を抽出する(ステップS203)。二値化画像上において閾値を超える部分(「1」が与えられた画素群)に基づいて凹凸部を抽出する。   Next, an uneven part is extracted using the binarized image obtained by the binarization process of step S202 (step S203). An uneven part is extracted based on a part (pixel group to which “1” is given) exceeding the threshold value on the binarized image.

次に、ステップS203の凹凸部抽出処理で抽出された凹凸部を測定対象物2の幅方向に所定の割合で大きくする膨張処理を行う(ステップS204)。ステップS201の一次形状補正処理(フィッティング処理)では、図17(a)で説明したように、特に測定対象物2の凹凸が大きかったり、深かったりすると、この凹凸部にフィッティング曲線71が引きずられてしまい、元データ(センタリング処理後の形状画像)72との差分演算を行ったときに、凹凸部が実際よりも小さく、浅く検出されるとともに、その両側に跳ね返り73が生じてしまうことがある。そこで、抽出された凹凸部を測定対象物2の幅方向に所定の割合で大きくして取り扱うことにしたものである。   Next, an expansion process is performed to enlarge the uneven part extracted by the uneven part extracting process in step S203 at a predetermined rate in the width direction of the measurement object 2 (step S204). In the primary shape correction process (fitting process) in step S201, as described in FIG. 17A, when the unevenness of the measurement object 2 is particularly large or deep, the fitting curve 71 is dragged to the uneven part. Therefore, when the difference calculation with the original data (shape image after the centering process) 72 is performed, the uneven portion is detected to be smaller and shallower than the actual size, and a bounce 73 may occur on both sides thereof. In view of this, the extracted uneven portion is enlarged and handled at a predetermined rate in the width direction of the measurement object 2.

膨張処理では、図20(a)に示すように、各ラインを走査して、「1」が与えられている画素群(凹凸部として抽出された部分)があった場合、その幅方向の両側の「0」の画素を「1」に変更する。両側の何個の画素を「0」から「1」に変更するかについては、「1」が与えられている画素数等に応じて予め定めておく。図19(b)に、膨張処理で得られた二値化画像の一例を示す。   In the expansion processing, as shown in FIG. 20A, when each line is scanned and there is a pixel group to which “1” is given (a portion extracted as an uneven portion), both sides in the width direction thereof The pixel of “0” is changed to “1”. The number of pixels on both sides to be changed from “0” to “1” is determined in advance according to the number of pixels to which “1” is given. FIG. 19B shows an example of a binarized image obtained by the expansion process.

なお、本実施形態では、測定対象物2の幅方向にのみ膨張させる例を説明したが、図20(b)に示すように、幅方向だけでなく二次元方向(幅方向及び長手方向)に膨張させるようにしてもかまわない。例えば、図20(b)に示すように、周囲の「0」の画素を「1」に変更するようにすればよい。   In this embodiment, the example in which the measurement object 2 is expanded only in the width direction has been described. However, as shown in FIG. 20B, not only in the width direction but also in the two-dimensional direction (width direction and longitudinal direction). It does not matter if it is inflated. For example, as shown in FIG. 20B, surrounding “0” pixels may be changed to “1”.

そして、センタリング処理後の形状画像と、ステップS203、S204で抽出、膨張された凹凸部情報(以下、マスク情報と称する)とを突き合わせて、センタリング処理後の形状画像のうちマスク情報において「0」が与えられている画素に対応する部分のみを形状補正処理部508での計算対象とするマスク処理を行う(ステップS205)。これにより、センタリング処理後の形状画像からマスク情報に基づいて凹凸部を取り除いた形状画像が作成されることになる。   Then, the shape image after the centering process is matched with the concavo-convex portion information (hereinafter referred to as mask information) extracted and expanded in steps S203 and S204, and “0” in the mask information in the shape image after the centering process. A mask process is performed in which only the part corresponding to the pixel to which the value is given is calculated by the shape correction processing unit 508 (step S205). As a result, a shape image is created by removing the concavo-convex portion from the shape image after the centering process based on the mask information.

事前処理部101の後段の形状補正処理部508では、事前処理部101においてマスク処理が行われた形状画像(センタリング処理後の形状画像からマスク情報に基づいて凹凸部を取り除いた形状画像)に既述したフィッティング処理を施し(ステップS107)、フィッティング処理で生成されたフィッティング曲線と、元データ(センタリング処理後の形状画像)との差分演算を行う(ステップS108)。   In the shape correction processing unit 508 subsequent to the preprocessing unit 101, the shape image (the shape image obtained by removing the uneven portion based on the mask information from the shape image after the centering process) subjected to the mask processing in the preprocessing unit 101 is already stored. The fitting process described above is performed (step S107), and a difference calculation between the fitting curve generated by the fitting process and the original data (the shape image after the centering process) is performed (step S108).

以上説明したように、形状補正処理部508でのフィッティング処理(ステップS107)を、事前処理部101においてマスク処理が行われた形状画像(センタリング処理後の形状画像からマスク情報に基づいて凹凸部を取り除いた形状画像)に対して行うようにしている。この場合、図17(b)に示すように、測定対象物2の表面欠陥をマスクすることができ、表面欠陥にフィッティング曲線71が引きずられてしまうのを防ぐことができる。これにより、元データ(センタリング処理後の形状画像)72との差分演算を行ったときに、表面欠陥が小さく、浅く検出されることを避けるとともに、その両側に実際には存在しない跳ね返りが生じるのを防ぐことができる。   As described above, the fitting process (step S107) in the shape correction processing unit 508 is performed on the shape image (the uneven part based on the mask information from the shape image after the centering process) on which the mask processing is performed in the pre-processing unit 101. This is performed on the removed shape image). In this case, as shown in FIG. 17B, the surface defect of the measuring object 2 can be masked, and the fitting curve 71 can be prevented from being dragged by the surface defect. As a result, when the difference calculation with the original data (the shape image after the centering process) 72 is performed, the surface defect is small and avoids being detected shallowly, and bounce that does not actually exist on both sides of the surface defect occurs. Can be prevented.

図21に対比例での検出結果を、図22に本実施形態での検出結果を示す。図21(a)、図22(a)は実際に得られた画像を模式的に図示したものである。図21(b)、22(b)においてAがセンタリング処理後の形状データ、Bがフィッティング曲線、Cがそれらの差分を表す。図21では、表面欠陥が実際よりも小さく、浅く検出されるとともに、その両側に跳ね返りが生じていることがわかる。それに対して、図22では、表面欠陥が実際の形状を反映して正確に検出されるとともに、その両側に跳ね返りも生じていないことがわかる。   FIG. 21 shows a comparative detection result, and FIG. 22 shows a detection result in the present embodiment. FIG. 21A and FIG. 22A schematically show actually obtained images. 21B and 22B, A is the shape data after the centering process, B is the fitting curve, and C is the difference between them. In FIG. 21, it can be seen that the surface defects are detected smaller and shallower than the actual ones, and bounce occurs on both sides thereof. On the other hand, in FIG. 22, it can be seen that the surface defect is accurately detected reflecting the actual shape, and that no rebounding occurs on both sides thereof.

また、図23には、検定員の実測値(深さ)と、対比例及び本実施形態による表面欠陥検査の結果(深さ)とを表す図である。○が対比例での結果、●が本実施形態での結果である。図23からも、特に大面積の表面欠陥に対して、対比例による表面欠陥検査の結果が実際の表面欠陥よりも浅くなっているのに対して、本実施形態による表面欠陥検査の結果が実際の表面欠陥に近いものとなっていることがわかる。   FIG. 23 is a diagram showing the actual value (depth) of the examiner, the proportionality and the result (depth) of the surface defect inspection according to the present embodiment. ○ is a comparative result, and ● is a result in this embodiment. FIG. 23 also shows that the result of the surface defect inspection based on the proportionality is shallower than the actual surface defect, especially for the surface defect of a large area, whereas the result of the surface defect inspection according to the present embodiment is actually It can be seen that this is close to the surface defect.

なお、本実施形態では、事前処理部101が、センタリング処理後の形状画像からマスク情報に基づいて凹凸部を取り除く処理までを行うと説明したが、事前処理部101ではマスク情報を生成する処理まで行い、そのマスク情報を形状補正処理部508に渡して、形状補正処理部508が、センタリング処理後の形状画像からマスク情報に基づいて凹凸部を取り除く処理を行うようにしてもよい。   In the present embodiment, it has been described that the pre-processing unit 101 performs the process up to removing the concavo-convex part from the shape image after the centering process based on the mask information. However, the pre-processing unit 101 includes the process up to generating the mask information. Then, the mask information may be passed to the shape correction processing unit 508, and the shape correction processing unit 508 may perform a process of removing the concavo-convex portion from the shape image after the centering process based on the mask information.

(第2の実施形態)
第2の実施形態は、事前処理部101での一次形状補正処理の内容を変更した例である。なお、画像処理装置50の構成及び処理動作は第1の実施形態と同様であり、以下ではその説明を省略するとともに、第1の実施形態との相違点を中心に説明する。
(Second Embodiment)
The second embodiment is an example in which the content of the primary shape correction process in the preprocessing unit 101 is changed. Note that the configuration and processing operation of the image processing apparatus 50 are the same as those in the first embodiment, and the description thereof will be omitted below, and differences from the first embodiment will be mainly described.

センタリング処理(ステップS106)の後、事前処理部101は、一次形状補正処理を行う(ステップS201)。具体的には、図24に示すように、まずセンタリング処理後の形状画像72の各ラインの値を測定対象物2の長手方向に積算平均して基準形状画像75を作成する。そして、1ライン毎に、基準形状画像75と、元データ(センタリング処理後の形状画像)72との差分演算を行う。   After the centering process (step S106), the preprocessing unit 101 performs a primary shape correction process (step S201). Specifically, as shown in FIG. 24, first, the reference shape image 75 is created by averaging the values of the respective lines of the shape image 72 after the centering process in the longitudinal direction of the measuring object 2. Then, the difference calculation between the reference shape image 75 and the original data (shape image after the centering process) 72 is performed for each line.

その後の二値化処理(ステップS202)、凹凸部抽出処理(ステップS203)、膨張処理(ステップS204)、マスク処理(ステップS205)は第1の実施形態で説明したとおりである。   Subsequent binarization processing (step S202), concavo-convex portion extraction processing (step S203), expansion processing (step S204), and mask processing (step S205) are as described in the first embodiment.

測定対象物2の長手方向に積算平均して基準形状画像75を作成する場合も、フィッティング処理の場合と同様に、特に測定対象物2の凹凸が大きかったり、深かったりすると、この凹凸部に基準形状画像75が引きずられてしまう(基準形状画像75に歪みが発生する)ことがある。そのため、元データ(センタリング処理後の形状画像)72との差分演算を行ったときに、凹凸部が小さく、浅く検出される。そこで、膨張処理(ステップS204)において、抽出された凹凸部を測定対象物2の幅方向に所定の割合で大きくして取り扱うことにしたものである。   When the reference shape image 75 is created by integrating and averaging in the longitudinal direction of the measurement object 2, as in the case of the fitting process, if the unevenness of the measurement object 2 is particularly large or deep, a reference is made to the uneven portion. The shape image 75 may be dragged (distortion occurs in the reference shape image 75). For this reason, when the difference calculation with the original data (shape image after the centering process) 72 is performed, the uneven portion is detected to be small and shallow. Therefore, in the expansion process (step S204), the extracted uneven part is enlarged and handled at a predetermined rate in the width direction of the measurement object 2.

なお、本発明でいう「位相連続化処理手段で作成された形状画像」とは、位相連続化処理部506で作成された形状画像そのものも、該形状画像に何らかの処理を施したものも含まれるものとする。上記第1、2の実施形態では、位相連続化処理部506で作成された形状画像にセンタリング処理部507でセンタリング処理を行った上で、事前処理部101での事前処理を行うようにしている。この場合、センタリング処理後の形状画像が、本発明でいう「位相連続化処理手段で作成された形状画像」に相当するものとなる。センタリング処理は本発明において必須ではないが、特に第2の実施形態では、形状画像の各ラインの値を測定対象物2の長手方向に積算平均して基準形状画像を作成することから、その前にセンタリング処理を施すのが望ましい。   The “shape image created by the phase continuation processing means” in the present invention includes the shape image itself created by the phase continuation processing unit 506 and the shape image itself subjected to some processing. Shall. In the first and second embodiments, the centering process is performed on the shape image created by the phase continuation processing unit 506 by the centering processing unit 507 and then the preprocessing by the preprocessing unit 101 is performed. . In this case, the shape image after the centering process corresponds to the “shape image created by the phase continuation processing means” in the present invention. The centering process is not essential in the present invention. In particular, in the second embodiment, the value of each line of the shape image is integrated and averaged in the longitudinal direction of the measurement object 2 to create the reference shape image. It is desirable to perform a centering process.

本発明を適用した画像処理装置50は、CPU、ROM、RAM等を備えたコンピュータシステムにより実現され、CPUがコンピュータプログラムを実行することによって画像処理装置50の機能又は処理を実現する。なお、画像処理装置50は、一つの装置である必要はなく、複数の機器から構成されてもよい。   The image processing apparatus 50 to which the present invention is applied is realized by a computer system including a CPU, a ROM, a RAM, and the like, and the functions or processing of the image processing apparatus 50 are realized by the CPU executing a computer program. Note that the image processing apparatus 50 does not have to be a single apparatus, and may include a plurality of devices.

また、上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置或いはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステム或いは装置のコンピュータ(CPU或いはMPU)に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。プログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。   In addition, a software program for realizing the functions of the above-described embodiments for an apparatus or a computer in the system connected to the various devices so that the various devices are operated to realize the functions of the above-described embodiments. What was implemented by supplying the code and operating the various devices in accordance with a program stored in a computer (CPU or MPU) of the system or apparatus is also included in the scope of the present invention. In this case, the program code of the software itself realizes the functions of the above-described embodiment, and the program code itself and means for supplying the program code to the computer, for example, a record storing the program code The medium constitutes the present invention. As a recording medium for storing the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.

対比例の表面欠陥検査システムの概略構成図である。It is a schematic block diagram of a comparative surface defect inspection system. 測定対象物の横断面形状の例を示す図である。It is a figure which shows the example of the cross-sectional shape of a measuring object. 遅延積分型カメラの構造と動作を説明するための図である。It is a figure for demonstrating the structure and operation | movement of a delay integration type camera. 縞画像の一例を示す図である。It is a figure which shows an example of a fringe image. 縞画像における縞のずれを説明するための図である。It is a figure for demonstrating the shift | offset | difference of the stripe in a stripe image. 縞画像の一例を示す図である。It is a figure which shows an example of a fringe image. スライス縞画像データにおける位相のずれと測定対象物の深さとの関係を説明するための図である。It is a figure for demonstrating the relationship between the shift | offset | difference of the phase in slice fringe image data, and the depth of a measuring object. 画像処理装置の概略ブロック図である。It is a schematic block diagram of an image processing apparatus. 各段階での画像の写真を示す図であり、(a)は位相画像の写真を示す図、(b)は形状画像の写真を示す図、(c)は深さ画像の写真を示す図である。It is a figure which shows the photograph of the image in each step, (a) is a figure which shows the photograph of a phase image, (b) is a figure which shows the photograph of a shape image, (c) is a figure which shows the photograph of a depth image. is there. 各段階での位相特性を表わす特性図であり、(a)は位相画像における位相特性を表わす特性図、(b)は形状画像における位相特性を表わす特性図、(c)は深さ画像における位相特性を表わす特性図である。It is a characteristic diagram showing the phase characteristic in each stage, (a) is a characteristic figure showing the phase characteristic in a phase image, (b) is a characteristic figure showing the phase characteristic in a shape image, (c) is a phase in a depth image. It is a characteristic view showing a characteristic. 振幅画像の写真を示す図である。It is a figure which shows the photograph of an amplitude image. センタリング処理の概要を説明するための図であり、(a)は測定対象物が蛇行した場合の様子を示す模式図、(b)は測定対象物が振動した場合の様子を示す模式図、(c)はセンタリング処理後の画像を示す模式図である。It is a figure for demonstrating the outline | summary of a centering process, (a) is a schematic diagram which shows a mode when a measuring object meanders, (b) is a schematic diagram which shows a mode when a measuring object vibrates, ( c) is a schematic diagram showing an image after the centering processing. 表面欠陥判別に用いる画像の写真を示す図であり、(a)は二値化画像の写真を示す図、(b)は深さ画像の写真を示す図、(c)は輝度画像の写真を示す図である。It is a figure which shows the photograph of the image used for surface defect discrimination | determination, (a) is a figure which shows the photograph of a binarized image, (b) is a figure which shows the photograph of a depth image, (c) is a photograph of a brightness | luminance image. FIG. 対比例の画像処理装置の処理動作を説明するためのフローチャートである。It is a flowchart for demonstrating the processing operation of the comparative image processing apparatus. 実施形態に係る表面欠陥検査システムの概略構成図である。It is a schematic block diagram of the surface defect inspection system which concerns on embodiment. 実施形態に係る画像処理装置の処理動作を説明するためのフローチャートである。6 is a flowchart for explaining a processing operation of the image processing apparatus according to the embodiment. フィッティング処理の概要を説明するための図であり、(a)は対比例において表面欠陥にフィッティング曲線が引きずられている様子を示す図、(b)は実施形態においてマスクすることにより表面欠陥にフィッティング曲線が引きずられていない様子を示す図である。It is a figure for demonstrating the outline | summary of a fitting process, (a) is a figure which shows a mode that a fitting curve is dragged to the surface defect in contrast, (b) is fitting to a surface defect by masking in embodiment. It is a figure which shows a mode that a curve is not dragged. 一次形状補正処理でのフィッティング処理及び差分演算の概要を説明するための図である。It is a figure for demonstrating the outline | summary of the fitting process in a primary shape correction process, and a difference calculation. 二値化処理及び膨張処理の概要を説明するための図であり、(a)は二値化画像を示す図、(b)は膨張処理後の画像を示す図である。It is a figure for demonstrating the outline | summary of a binarization process and an expansion process, (a) is a figure which shows a binarized image, (b) is a figure which shows the image after an expansion process. 膨張処理の概要を説明するための図であり、(a)は幅方向のみに膨張処理する例を示す図、(b)は二次元方向に膨張処理する例を示す図である。It is a figure for demonstrating the outline | summary of an expansion process, (a) is a figure which shows the example which expands only in the width direction, (b) is a figure which shows the example which expands in a two-dimensional direction. 対比例における表面欠陥検出の結果の一例を説明するための図であり、(a)は深さ画像の写真を示す図、(b)は特性図である。It is a figure for demonstrating an example of the result of the surface defect detection in contrast, (a) is a figure which shows the photograph of a depth image, (b) is a characteristic view. 実施形態における表面欠陥検出の結果の一例を説明するための図であり、(a)は深さ画像の写真を示す図、(b)は特性図である。It is a figure for demonstrating an example of the result of the surface defect detection in embodiment, (a) is a figure which shows the photograph of a depth image, (b) is a characteristic view. 検定員の実測値と、対比例及び本実施形態による表面欠陥検査の結果とを表す図である。It is a figure showing the actual value of an examiner, the comparison and the result of the surface defect inspection by this embodiment. 一次形状補正処理での基準形状画像の作成処理及び差分演算の概要を説明するための図である。It is a figure for demonstrating the outline | summary of the preparation process and difference calculation of the reference | standard shape image in a primary shape correction process. フィッティング処理の概要を説明するための図であり、(a)は本来フィッティングされるべき様子を示す図、(b)が表面欠陥にフィッティング曲線が引きずられている様子を示す図である。It is a figure for demonstrating the outline | summary of a fitting process, (a) is a figure which shows a mode which should be fitted originally, (b) is a figure which shows a mode that the fitting curve is dragged by the surface defect.

符号の説明Explanation of symbols

2 測定対象物
10 レーザ装置
20 ロッドレンズ
30 遅延積分型カメラ
31 レンズ
40 タイミング信号発生部
50 画像処理装置
60 表示装置
71 フィッティング曲線
72 センタリング処理後の形状画像
73 跳ね返り
74 二値化の際の閾値
75 基準形状画像
101 事前処理部
501 A/D変換部
502 プレフィルタ部
503 直交正弦波発生部
504a、504b ローパスフィルタ部
505 位相算出部
506 位相連続化処理部
507 センタリング処理部
508 形状補正処理部
509 欠陥検出処理部
510 振幅算出部
511 エッジ位置検出部
2 Measurement object 10 Laser device 20 Rod lens 30 Delay integration type camera 31 Lens 40 Timing signal generator 50 Image processing device 60 Display device 71 Fitting curve 72 Shape image after centering processing 73 Rebound 74 Threshold value for binarization 75 Reference shape image 101 Pre-processing unit 501 A / D conversion unit 502 Pre-filter unit 503 Quadrature sine wave generation unit 504a, 504b Low-pass filter unit 505 Phase calculation unit 506 Phase continuation processing unit 507 Centering processing unit 508 Shape correction processing unit 509 Defect Detection processing unit 510 Amplitude calculation unit 511 Edge position detection unit

Claims (6)

横断面形状において両端部が低くなる或いは高くなる曲線を有する長丈材を測定対象物とし、
周期的に変調された線状レーザ光を前記測定対象物の表面の幅方向に照射する照射手段と、前記測定対象物からの反射光を撮像する遅延積分型の撮像手段とを用いて、前記測定対象物に対する前記線状レーザ光の照射位置を連続的にずらしながら、前記撮像手段により前記測定対象物からの反射光を撮像して光切断画像を出力し、前記測定対象物の表面欠陥を検出する表面欠陥検査システムであって、
前記撮像手段で得られた光切断画像を順に配列することにより得られる縞画像の各位置における位相のずれを算出する位相算出手段と、
前記位相算出手段で得られた位相のずれに基づいて位相のずれが不連続になっている位置を検出し、その検出した位置における位相のずれを繋ぐことにより位相のずれを連続化して前記測定対象物の表面形状を表す形状画像を作成する位相連続化処理手段と、
前記位相連続化処理手段で作成された形状画像上の凹凸部を抽出する事前処理手段と、
前記位相連続化処理手段で作成された形状画像から前記事前処理手段で抽出された凹凸部を取り除いた形状画像に対してフィッティング曲線を求めるフィッティング処理を施し、そのフィッティング曲線と、前記位相連続化処理手段で作成された形状画像との差分演算を行い、当該差分演算で得られたデータを、前記測定対象物の長手方向について所定の長さだけ平均して、当該平均した値にローパスフィルタ処理を施した値と、前記差分演算で得られたデータとの差分演算を再度行う形状補正処理手段と、
前記形状補正処理手段の差分演算で得られたデータに基づいて、前記測定対象物の表面欠陥を検出する欠陥検出処理手段とを備えたことを特徴とする表面欠陥検査システム。
In the cross-sectional shape, the measurement object is a long material having a curve in which both ends become lower or higher,
Using irradiation means for irradiating periodically modulated linear laser light in the width direction of the surface of the measurement object, and delay integration type imaging means for imaging reflected light from the measurement object, While continuously shifting the irradiation position of the linear laser beam on the measurement object, the reflected light from the measurement object is imaged by the imaging means to output a light cut image, and surface defects of the measurement object are detected. A surface defect inspection system for detecting,
Phase calculating means for calculating a phase shift at each position of the fringe image obtained by sequentially arranging the light sectioned images obtained by the imaging means;
Based on the phase shift obtained by the phase calculation means, a position where the phase shift is discontinuous is detected, and the phase shift at the detected position is connected to make the phase shift continuous and the measurement is performed. Phase continuation processing means for creating a shape image representing the surface shape of the object;
Pre-processing means for extracting irregularities on the shape image created by the phase continuation processing means;
A fitting process for obtaining a fitting curve is performed on the shape image obtained by removing the irregularities extracted by the pre-processing means from the shape image created by the phase continuation processing means, and the fitting curve and the phase continuation There rows difference operation between shape image generated in the process unit, the data obtained in the difference calculation, on average by a predetermined length in the longitudinal direction of the measurement target, a low-pass filter to the averaged value and treatment was subjected to a value, and again the line cormorant shape correcting means for difference calculation between the obtained data in the difference calculation,
A surface defect inspection system comprising: defect detection processing means for detecting a surface defect of the measurement object based on data obtained by difference calculation of the shape correction processing means.
前記事前処理手段は、
前記位相連続化処理手段で作成された形状画像に対してフィッティング曲線を求めるフィッティング処理を施し、そのフィッティング曲線と、前記位相連続化処理手段で作成された形状画像との差分演算を行う一次形状補正処理手段と、
前記一次形状補正処理手段の差分演算で得られたデータを二値化する二値化手段と、
前記二値化手段で二値化された二値化画像から凹凸部を抽出する凹凸部抽出手段と、
前記位相連続化処理手段で作成された形状画像から前記凹凸部抽出手段で抽出された凹凸部を取り除くためのマスク情報を生成するマスク処理手段とを備えたことを特徴とする請求項1に記載の表面欠陥検査システム。
The pre-processing means includes
A primary shape correction for performing a fitting process for obtaining a fitting curve on the shape image created by the phase continuation processing means and performing a difference calculation between the fitting curve and the shape image created by the phase continuation processing means Processing means;
Binarization means for binarizing data obtained by the difference calculation of the primary shape correction processing means;
A concavo-convex part extracting means for extracting the concavo-convex part from the binarized image binarized by the binarization means;
The mask processing means for generating mask information for removing the uneven portion extracted by the uneven portion extracting means from the shape image created by the phase continuation processing means. Surface defect inspection system.
前記事前処理手段は、
前記位相連続化処理手段で作成された形状画像を前記測定対象物の長手方向に積算平均して基準形状画像を作成し、その基準形状画像と、前記位相連続化処理手段で作成された形状画像との差分演算を行う一次形状補正処理手段と、
前記一次形状補正処理手段の差分演算で得られたデータを二値化する二値化手段と、
前記二値化手段で二値化された二値化画像から凹凸部を抽出する凹凸部抽出手段と、
前記位相連続化処理手段で作成された形状画像から前記凹凸部抽出手段で抽出された凹凸部を取り除くためのマスク情報を生成するマスク処理手段とを備えたことを特徴とする請求項1に記載の表面欠陥検査システム。
The pre-processing means includes
The shape image created by the phase continuation processing means is integrated and averaged in the longitudinal direction of the measurement object to create a reference shape image, and the reference shape image and the shape image created by the phase continuation processing means Primary shape correction processing means for performing a difference calculation with
Binarization means for binarizing data obtained by the difference calculation of the primary shape correction processing means;
A concavo-convex part extracting means for extracting the concavo-convex part from the binarized image binarized by the binarization means;
The mask processing means for generating mask information for removing the uneven portion extracted by the uneven portion extracting means from the shape image created by the phase continuation processing means. Surface defect inspection system.
前記凹凸部抽出手段で抽出された凹凸部を少なくとも前記測定対象物の幅方向に所定の割合で大きくする膨張処理を行う膨張処理手段を備え、
前記マスク処理手段では、前記位相連続化処理手段で作成された形状画像から前記膨張処理手段で膨張処理された凹凸部を取り除くためのマスク情報を作成することを特徴とする請求項2又は3に記載の表面欠陥検査システム。
Expansion processing means for performing expansion processing for increasing the uneven portions extracted by the uneven portion extracting means at least at a predetermined rate in the width direction of the measurement object;
4. The mask processing unit according to claim 2 or 3, wherein the mask processing unit generates mask information for removing the uneven portion expanded by the expansion processing unit from the shape image generated by the phase continuation processing unit. The surface defect inspection system described.
横断面形状において両端部が低くなる或いは高くなる曲線を有する長丈材を測定対象物とし、
周期的に変調された線状レーザ光を前記測定対象物の表面の幅方向に照射する照射手段と、前記測定対象物からの反射光を撮像する遅延積分型の撮像手段とを用いて、前記測定対象物に対する前記線状レーザ光の照射位置を連続的にずらしながら、前記撮像手段により前記測定対象物からの反射光を撮像して光切断画像を出力し、前記測定対象物の表面欠陥を検出する表面欠陥検査方法であって、
前記撮像手段で得られた光切断画像を順に配列することにより得られる縞画像の各位置における位相のずれを算出する位相算出手順と、
前記位相算出手順で得られた位相のずれに基づいて位相のずれが不連続になっている位置を検出し、その検出した位置における位相のずれを繋ぐことにより位相のずれを連続化して前記測定対象物の表面形状を表す形状画像を作成する位相連続化処理手順と、
前記位相連続化処理手順で作成された形状画像上の凹凸部を抽出する事前処理手順と、
前記位相連続化処理手順で作成された形状画像から前記事前処理手順で抽出された凹凸部を取り除いた形状画像に対してフィッティング曲線を求めるフィッティング処理を施し、そのフィッティング曲線と、前記位相連続化処理手順で作成された形状画像との差分演算を行い、当該差分演算で得られたデータを、前記測定対象物の長手方向について所定の長さだけ平均して、当該平均した値にローパスフィルタ処理を施した値と、前記差分演算で得られたデータとの差分演算を再度行う形状補正処理手順と、
前記形状補正処理手順の差分演算で得られたデータに基づいて、前記測定対象物の表面欠陥を検出する欠陥検出処理手順とを有することを特徴とする表面欠陥検査方法。
In the cross-sectional shape, the measurement object is a long material having a curve in which both ends become lower or higher,
Using irradiation means for irradiating periodically modulated linear laser light in the width direction of the surface of the measurement object, and delay integration type imaging means for imaging reflected light from the measurement object, While continuously shifting the irradiation position of the linear laser beam on the measurement object, the reflected light from the measurement object is imaged by the imaging means to output a light cut image, and surface defects of the measurement object are detected. A surface defect inspection method to detect,
A phase calculation procedure for calculating a phase shift at each position of the fringe image obtained by sequentially arranging the light section images obtained by the imaging means;
Based on the phase shift obtained in the phase calculation procedure, a position where the phase shift is discontinuous is detected, and the phase shift at the detected position is connected to make the phase shift continuous, and the measurement is performed. A phase continuation processing procedure for creating a shape image representing the surface shape of the object;
A pre-processing procedure for extracting irregularities on the shape image created by the phase continuation processing procedure;
A fitting process for obtaining a fitting curve is performed on the shape image obtained by removing the uneven portion extracted by the pre-processing procedure from the shape image created by the phase continuation processing procedure, and the fitting curve and the phase continuation are performed. There rows difference calculation between the shape image generated by the processing procedure, the data obtained in the difference calculation, on average by a predetermined length in the longitudinal direction of the measurement target, a low-pass filter to the averaged value and treatment was subjected to a value, and again the line cormorant shape correction procedure the difference calculation between data obtained by the difference calculation,
A surface defect inspection method comprising: a defect detection processing procedure for detecting a surface defect of the measurement object based on data obtained by difference calculation of the shape correction processing procedure.
横断面形状において両端部が低くなる或いは高くなる曲線を有する長丈材を測定対象物とし、
周期的に変調された線状レーザ光を前記測定対象物の表面の幅方向に照射する照射手段と、前記測定対象物からの反射光を撮像する遅延積分型の撮像手段とを用いて、前記測定対象物に対する前記線状レーザ光の照射位置を連続的にずらしながら、前記撮像手段により前記測定対象物からの反射光を撮像して光切断画像を出力し、前記測定対象物の表面欠陥を検出するためのプログラムであって、
前記撮像手段で得られた光切断画像を順に配列することにより得られる縞画像の各位置における位相のずれを算出する位相算出処理と、
前記位相算出処理で得られた位相のずれに基づいて位相のずれが不連続になっている位置を検出し、その検出した位置における位相のずれを繋ぐことにより位相のずれを連続化して前記測定対象物の表面形状を表す形状画像を作成する位相連続化処理と、
前記位相連続化処理で作成された形状画像上の凹凸部を抽出する事前処理と、
前記位相連続化処理で作成された形状画像から前記事前処理で抽出された凹凸部を取り除いた形状画像に対してフィッティング曲線を求めるフィッティング処理を施し、そのフィッティング曲線と、前記位相連続化処理で作成された形状画像との差分演算を行い、当該差分演算で得られたデータを、前記測定対象物の長手方向について所定の長さだけ平均して、当該平均した値にローパスフィルタ処理を施した値と、前記差分演算で得られたデータとの差分演算を再度行う形状補正処理と、
前記形状補正処理の差分演算で得られたデータに基づいて、前記測定対象物の表面欠陥を検出する欠陥検出処理とをコンピュータに実行させるためのプログラム。
In the cross-sectional shape, the measurement object is a long material having a curve in which both ends become lower or higher,
Using irradiation means for irradiating periodically modulated linear laser light in the width direction of the surface of the measurement object, and delay integration type imaging means for imaging reflected light from the measurement object, While continuously shifting the irradiation position of the linear laser beam on the measurement object, the reflected light from the measurement object is imaged by the imaging means to output a light cut image, and surface defects of the measurement object are detected. A program for detecting,
A phase calculation process for calculating a phase shift at each position of the fringe image obtained by sequentially arranging the light sectioned images obtained by the imaging means;
Based on the phase shift obtained in the phase calculation process, the position where the phase shift is discontinuous is detected, and the phase shift at the detected position is connected to make the phase shift continuous, and the measurement is performed. A phase continuation process for creating a shape image representing the surface shape of the object;
A pre-processing for extracting irregularities on the shape image created by the phase continuation processing;
A fitting process for obtaining a fitting curve is performed on a shape image obtained by removing the uneven portions extracted by the pre-processing from the shape image created by the phase continuation process, and the fitting curve and the phase continuation process There rows difference operation between created shape image, the data obtained in the difference calculation, on average only longitudinally for a predetermined length of the measurement target, facilities low-pass filter processing on the average value a value obtained by a re-row power sale shape correction process the difference calculation between the obtained data in the difference calculation,
A program for causing a computer to execute a defect detection process for detecting a surface defect of the measurement object based on data obtained by the difference calculation of the shape correction process.
JP2008263979A 2008-10-10 2008-10-10 Surface defect inspection system, method and program Expired - Fee Related JP5347418B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008263979A JP5347418B2 (en) 2008-10-10 2008-10-10 Surface defect inspection system, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008263979A JP5347418B2 (en) 2008-10-10 2008-10-10 Surface defect inspection system, method and program

Publications (2)

Publication Number Publication Date
JP2010091514A JP2010091514A (en) 2010-04-22
JP5347418B2 true JP5347418B2 (en) 2013-11-20

Family

ID=42254364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008263979A Expired - Fee Related JP5347418B2 (en) 2008-10-10 2008-10-10 Surface defect inspection system, method and program

Country Status (1)

Country Link
JP (1) JP5347418B2 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5620807B2 (en) * 2010-12-22 2014-11-05 ヤマハ発動機株式会社 Three-dimensional shape measuring device, component transfer device, and three-dimensional shape measuring method
JP5692790B2 (en) * 2011-02-02 2015-04-01 オプテックス・エフエー株式会社 Tablet appearance inspection device and PTP packaging machine
JP5992315B2 (en) * 2012-12-18 2016-09-14 三菱電機株式会社 Surface defect detection device and surface defect detection method
JP2015208840A (en) * 2014-04-30 2015-11-24 株式会社荏原製作所 Polishing device, jig for measuring abrasive pad profile, and method for measuring abrasive pad profile
JP6510246B2 (en) * 2015-01-22 2019-05-08 大成建設株式会社 Volume measurement system
JP2017187348A (en) * 2016-04-04 2017-10-12 新日鐵住金株式会社 Surface defect inspection system, method and program
KR101802812B1 (en) 2016-04-20 2017-11-29 주식회사 고영테크놀러지 Inspecting apparatus for product appearance and inspection method for product appearance using the same
CN106018414B (en) * 2016-05-17 2018-11-30 浙江大学 The quantitative detecting method of high-order curved surface optical element surface defect
CN106017369B (en) * 2016-07-29 2019-01-15 努比亚技术有限公司 Detection method and device
JP6939601B2 (en) * 2018-01-25 2021-09-22 日本製鉄株式会社 Shape measuring device and shape measuring method
CN108445008A (en) * 2018-02-27 2018-08-24 首钢京唐钢铁联合有限责任公司 A kind of detection method of steel strip surface defect
JP7068956B2 (en) * 2018-07-31 2022-05-17 東日本旅客鉄道株式会社 Rail inspection method
CN112388156B (en) * 2020-11-06 2022-04-08 电子科技大学 Combined device for laser pretreatment and absorption type defect imaging detection of large-caliber optical element
CN115661120B (en) * 2022-11-14 2023-03-10 江西捷锐机电设备有限公司 Cutting quality detection method for numerical control gold steel wire ingot splitting machine

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3283356B2 (en) * 1993-09-22 2002-05-20 マツダ株式会社 Surface inspection method
JPH09281055A (en) * 1996-04-09 1997-10-31 Hitachi Metals Ltd Inspection method for chip
JPH09280818A (en) * 1996-04-18 1997-10-31 Nippon Telegr & Teleph Corp <Ntt> Method for measuring object surface and instrument therefor
JP3695120B2 (en) * 1998-03-10 2005-09-14 セイコーエプソン株式会社 Defect inspection method
JPH11351842A (en) * 1998-06-12 1999-12-24 East Japan Railway Co Wheel shape measuring device
JP3845354B2 (en) * 2002-04-04 2006-11-15 新日本製鐵株式会社 Optical shape measuring apparatus and optical shape measuring method
JP3858792B2 (en) * 2002-09-24 2006-12-20 Jfeスチール株式会社 Method and apparatus for detecting bead shape of electric resistance welded pipe
JP4272438B2 (en) * 2003-01-27 2009-06-03 新日本製鐵株式会社 Shading correction method in surface defect inspection apparatus

Also Published As

Publication number Publication date
JP2010091514A (en) 2010-04-22

Similar Documents

Publication Publication Date Title
JP5347418B2 (en) Surface defect inspection system, method and program
JP5194529B2 (en) Surface defect inspection system, method and program
US8452072B2 (en) Method and apparatus for inspecting tire shape
JP5421192B2 (en) Crack detection method
JP5561178B2 (en) Surface defect inspection apparatus, surface defect inspection method, and program
JP5418378B2 (en) Surface defect inspection apparatus, surface defect inspection method, and program
JP2017187348A (en) Surface defect inspection system, method and program
JP2004109047A (en) Inspection method and inspection device of printed matter
JP2009145285A (en) Defect detecting method and defect detecting apparatus
CN107709977B (en) Surface defect detection device and surface defect detection method
JP4235046B2 (en) Steel plate surface inspection method, system, image processing apparatus, and computer program
CN113196040A (en) Surface defect detection method, surface defect detection device, steel product manufacturing method, steel product quality management method, steel product manufacturing facility, surface defect determination model generation method, and surface defect determination model
JP3845354B2 (en) Optical shape measuring apparatus and optical shape measuring method
JP5347661B2 (en) Belt surface inspection apparatus, surface inspection method, and program
JP2008281493A (en) Surface defect inspection system, method, and program
JP2003185419A (en) Method and apparatus for measuring warpage shape
JP5157575B2 (en) Defect detection method
JP2009047517A (en) Inspection apparatus
JP4088230B2 (en) Image processing apparatus, surface inspection method, and computer program in surface inspection system
JP4797568B2 (en) Slab vertical crack detection method and apparatus
JP6419062B2 (en) Corrugated molding inspection method
JP2006189294A (en) Inspection method and device of irregular defect
KR100972640B1 (en) reference grating for acquire method and apparatus for measuring three-dimensional using moire
JP2006153614A (en) Method and apparatus for detecting cyclic flaw of strip-like member or columnar member
JP4863117B2 (en) High temperature steel surface inspection equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130805

R151 Written notification of patent or utility model registration

Ref document number: 5347418

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees