JP6126640B2 - Three-dimensional measuring apparatus and three-dimensional measuring method - Google Patents
Three-dimensional measuring apparatus and three-dimensional measuring method Download PDFInfo
- Publication number
- JP6126640B2 JP6126640B2 JP2015096469A JP2015096469A JP6126640B2 JP 6126640 B2 JP6126640 B2 JP 6126640B2 JP 2015096469 A JP2015096469 A JP 2015096469A JP 2015096469 A JP2015096469 A JP 2015096469A JP 6126640 B2 JP6126640 B2 JP 6126640B2
- Authority
- JP
- Japan
- Prior art keywords
- offset
- light pattern
- light
- gain
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、位相シフト法を利用して高さ計測を行う三次元計測装置及び三次元計測方法に関するものである。 The present invention relates to a three-dimensional measurement apparatus and a three-dimensional measurement method that perform height measurement using a phase shift method.
一般に、プリント基板上に電子部品を実装する場合、まずプリント基板上に配設された所定の電極パターン上にクリームハンダが印刷される。次に、該クリームハンダの粘性に基づいてプリント基板上に電子部品が仮止めされる。その後、前記プリント基板がリフロー炉へ導かれ、所定のリフロー工程を経ることでハンダ付けが行われる。昨今では、リフロー炉に導かれる前段階においてクリームハンダの印刷状態を検査する必要があり、かかる検査に際して三次元計測装置が用いられることがある。 In general, when an electronic component is mounted on a printed board, first, cream solder is printed on a predetermined electrode pattern provided on the printed board. Next, the electronic component is temporarily fixed on the printed circuit board based on the viscosity of the cream solder. Thereafter, the printed circuit board is guided to a reflow furnace, and soldering is performed through a predetermined reflow process. In recent years, it is necessary to inspect the printed state of cream solder in the previous stage of being guided to a reflow furnace, and a three-dimensional measuring device is sometimes used for such inspection.
近年、光を用いたいわゆる非接触式の三次元計測装置が種々提案されており、例えば位相シフト法を用いた三次元計測装置に関する技術が提案されている。 In recent years, various so-called non-contact type three-dimensional measuring apparatuses using light have been proposed. For example, a technique related to a three-dimensional measuring apparatus using a phase shift method has been proposed.
当該位相シフト法を利用した三次元計測装置においては、所定の光を発する光源と、当該光源からの光を正弦波状(縞状)の光強度分布を有する光パターンに変換する格子との組み合わせからなる照射手段により、光パターンを被計測物(この場合プリント基板)に照射する。そして、基板上の点を真上に配置した撮像手段を用いて観測する。撮像手段としては、レンズ及び撮像素子等からなるCCDカメラ等が用いられる。 In the three-dimensional measuring device using the phase shift method, a combination of a light source that emits predetermined light and a grating that converts light from the light source into a light pattern having a sinusoidal (stripe) light intensity distribution. The object to be measured (in this case, the printed circuit board) is irradiated by the irradiation means. And it observes using the imaging means which has arrange | positioned the point on a board | substrate directly above. As the imaging means, a CCD camera or the like including a lens and an imaging element is used.
上記構成の下、撮像手段により撮像された画像データ上の各画素の光の強度(輝度)Iは下式(T1)で与えられる。 Under the above configuration, the light intensity (luminance) I of each pixel on the image data picked up by the image pickup means is given by the following equation (T1).
I=f・sinφ+e ・・(T1)
但し、f:ゲイン、e:オフセット、φ:その画素における正弦波の位相角。
I = f · sinφ + e (T1)
Where f: gain, e: offset, φ: sine wave phase angle at the pixel.
ここで、上記格子を切替制御することにより、光パターンの位相を例えば4段階(φ+0、φ+90°、φ+180°、φ+270°)に変化させ、これらに対応する強度分布I0、I1、I2、I3をもつ画像データを取り込み、下記式(T2)に基づいてf(ゲイン)とe(オフセット)をキャンセルし、位相角φを求める。 Here, by switching and controlling the grating, the phase of the light pattern is changed in, for example, four stages (φ + 0, φ + 90 °, φ + 180 °, φ + 270 °), and intensity distributions I 0 , I 1 , I 2 corresponding thereto. , I 3 is taken in, f (gain) and e (offset) are canceled based on the following equation (T2), and the phase angle φ is obtained.
φ=arctan{(I1−I3)/(I2−I0)} ・・(T2)
そして、この位相角φを用いて、三角測量の原理に基づき、プリント基板(クリームハンダ)上の被計測座標(X,Y)における高さ(Z)が算出される(例えば、特許文献1参照)。
φ = arctan {(I 1 −I 3 ) / (I 2 −I 0 )} (T2)
Then, using this phase angle φ, the height (Z) at the measured coordinates (X, Y) on the printed circuit board (cream solder) is calculated based on the principle of triangulation (see, for example, Patent Document 1). ).
例えば、被計測座標(X,Y)における高さ(Z)が「0」の場合、当該座標(X,Y)に照射されるパターン光の位相角φは「0°」となり、所定の高さを有する場合には位相角φが「10°」となるといったように、当該座標(X,Y)に係る位相角φは、その高さにより変化する。 For example, when the height (Z) at the measured coordinates (X, Y) is “0”, the phase angle φ of the pattern light applied to the coordinates (X, Y) is “0 °”, which is a predetermined height. The phase angle φ related to the coordinates (X, Y) varies depending on the height, such that the phase angle φ becomes “10 °” when it has a height.
これに対し、近年では、光パターンの位相を3段階に変化させ、3通りの画像データから位相角φを取得する技術も提案されている(例えば、特許文献2参照)。 On the other hand, in recent years, a technique has been proposed in which the phase of the light pattern is changed in three stages and the phase angle φ is acquired from three types of image data (see, for example, Patent Document 2).
しかしながら、従来の三次元計測装置においては、位相を4段階又は3段階に変化させ、これらに対応する強度分布をもつ4通り又は3通りの画像を撮像する必要がある。つまり、1つのポイントに関し撮像を4回又は3回行う必要があるため、撮像に時間を要し、計測時間が長くなるおそれがある。そのため、計測時間のさらなる短縮化が求められていた。 However, in the conventional three-dimensional measuring apparatus, it is necessary to change the phase into four or three stages and to capture four or three images having intensity distributions corresponding to these. That is, since it is necessary to perform imaging four times or three times with respect to one point, it takes time for imaging and there is a possibility that measurement time becomes long. Therefore, further reduction in measurement time has been demanded.
尚、上記課題は、必ずしもプリント基板上に印刷されたクリームハンダ等の高さ計測に限らず、他の三次元計測装置の分野においても内在するものである。 Note that the above-described problem is not necessarily limited to the height measurement of cream solder or the like printed on a printed circuit board, but is inherent in the field of other three-dimensional measurement devices.
本発明は、上記事情に鑑みてなされたものであり、その目的は、位相シフト法を利用して高さ計測を行うにあたり、計測時間の短縮化を図ることのできる三次元計測装置及び三次元計測方法を提供することにある。 The present invention has been made in view of the above circumstances, and its purpose is to provide a three-dimensional measurement apparatus and a three-dimensional measurement apparatus that can shorten the measurement time when performing height measurement using the phase shift method. It is to provide a measurement method.
以下、上記課題を解決するのに適した各手段につき項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。 Hereinafter, each means suitable for solving the above-described problem will be described separately. In addition, the effect specific to the means to respond | corresponds as needed is added.
手段1.所定の光を発する光源、及び、当該光源からの光を縞状の光強度分布を有する光パターンに変換する格子を有し、当該光パターンを少なくとも被計測物に対し照射可能な照射手段と、
前記格子の移送又は切替を制御し、前記照射手段から照射する前記光パターンの位相を複数通りに変化可能な位相制御手段と、
前記光パターンの照射された前記被計測物からの反射光を撮像可能な撮像手段と、
前記撮像手段により撮像された画像データを基に前記被計測物の三次元計測を実行可能な画像処理手段とを備え、
前記画像処理手段は、
所定の撮像条件により定まる前記光パターンのゲイン及びオフセットの関係と、
前記画像データ上の被計測座標の輝度値から定まる、該被計測座標に係る前記光パターンのゲイン又はオフセットの値とを利用することにより、
2通りに位相変化させた前記光パターンの下で撮像した2通りの画像データを基に位相シフト法により前記被計測座標の高さ計測を実行可能とし、
前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが相互に一義的に定まる関係であることを特徴とする三次元計測装置。
Phase control means for controlling the transfer or switching of the grating and capable of changing the phase of the light pattern irradiated from the irradiation means in a plurality of ways;
Imaging means capable of imaging reflected light from the object to be measured irradiated with the light pattern;
Image processing means capable of performing three-dimensional measurement of the object to be measured based on image data picked up by the image pickup means;
The image processing means includes
The relationship between the gain and offset of the light pattern determined by predetermined imaging conditions;
By using the gain or offset value of the light pattern related to the measured coordinates determined from the luminance value of the measured coordinates on the image data,
The height measurement of the measured coordinates can be performed by the phase shift method based on the two types of image data captured under the light pattern that has been phase-shifted in two ways ,
The relationship between the gain and the offset is a relationship in which the gain and the offset are uniquely determined from each other .
このように、本手段では、2通りの画像データに基づいて被計測物の高さ計測を行うことができることから、1つのポイントに関し4回又は3回の撮像を必要とする従来技術に比べて、総合的な撮像回数が少なくて済み、撮像時間を短縮することができる。結果として、計測時間を飛躍的に短縮することができる。 As described above, this means can measure the height of an object to be measured based on two kinds of image data, and therefore, compared with the conventional technique that requires four or three imaging operations for one point. The total number of times of imaging can be reduced, and the imaging time can be shortened. As a result, the measurement time can be dramatically shortened.
尚、光源から照射された光は、まず格子を通過する際に減衰され、次に被計測物にて反射する際に減衰され、最後に撮像手段においてA/D変換(アナログ−デジタル変換)される際に減衰された上で、画像データの各画素の輝度値として取得される。 The light emitted from the light source is first attenuated when passing through the grating, then attenuated when reflected by the object to be measured, and finally A / D converted (analog-digital converted) by the imaging means. Is obtained as the luminance value of each pixel of the image data.
従って、撮像手段により撮像された画像データの各画素の輝度値は、光源の明るさ、光源から照射された光が格子を通過する際の減衰率、光が被計測物にて反射する際の反射率、撮像手段においてA/D変換(アナログ−デジタル変換)される際の変換効率等を掛け合わせることにより表現することができる。 Therefore, the luminance value of each pixel of the image data imaged by the imaging means is the brightness of the light source, the attenuation rate when the light emitted from the light source passes through the grid, and the light when the light is reflected by the object to be measured. It can be expressed by multiplying the reflectance and the conversion efficiency when A / D conversion (analog-digital conversion) is performed in the imaging means.
例えば、光源(均一光)の明るさ:L
格子の透過率:G=αsinθ+β
α,βは任意の定数。
For example, the brightness of the light source (uniform light): L
Transmittance of lattice: G = αsinθ + β
α and β are arbitrary constants.
被計測物上の座標 (x,y)における反射率:R(x,y)
撮像手段(撮像素子)の各画素の変換効率:E
被計測物上の座標(x,y)に対応する画像上の画素の輝度値:V(x,y)
被計測物上の座標(x,y)における光パターンのゲイン:A(x,y)
被計測物上の座標(x,y)における光パターンのオフセット:B(x,y)
とした場合には、下記式(F1)で表すことができる。
Reflectance at coordinates (x, y) on the measurement object: R (x, y)
Conversion efficiency of each pixel of the imaging means (imaging device): E
The luminance value of the pixel on the image corresponding to the coordinate (x, y) on the object to be measured: V (x, y)
Gain of light pattern at coordinates (x, y) on the measurement object: A (x, y)
Offset of light pattern at coordinates (x, y) on the measurement object: B (x, y)
In this case, it can be expressed by the following formula (F1).
ここで、ゲインA(x,y)は、「sinθ=1」の光による輝度値V(x,y)MAXと、「sinθ=−1」の光による輝度値V(x,y)MINとの差から表すことができるので、
例えば、格子がθ=0の時の透過率(=平均透過率):Gθ=0
格子がθ=π/2の時の透過率(=最大透過率):Gθ=π/2
格子がθ=−π/2の時の透過率(=最小透過率):Gθ=-π/2
とした場合には、下記式(F2)で表すことができる。
Here, the gain A (x, y) is a luminance value V (x, y) MAX due to light of “sin θ = 1” and a luminance value V (x, y) MIN due to light of “sin θ = −1”. Can be expressed from the difference between
For example, transmittance when the grating is θ = 0 (= average transmittance): Gθ = 0
Transmittance when the grating is θ = π / 2 (= maximum transmittance): Gθ = π / 2
Transmittance when the grating is θ = −π / 2 (= minimum transmittance): Gθ = −π / 2
In this case, it can be expressed by the following formula (F2).
また、オフセットB(x,y)は、「sinθ=0」の光における輝度値V(x,y)であって、「sinθ=1」の光による輝度値V(x,y) MAXと、「sinθ=−1」の光による輝度値V(x,y) MINとの平均値であるので、下記式(F3)で表すことができる。 The offset B (x, y) is the luminance value V (x, y) in the light of “sin θ = 0”, and the luminance value V (x, y) MAX in the light of “sin θ = 1” Since it is an average value with the luminance value V (x, y) MIN by the light of “sin θ = −1”, it can be expressed by the following formula (F3).
つまり、輝度値の最大値V(x,y)MAX、最小値V(x,y)MIN、平均値V(x,y)AVはそれぞれ下記式(F4)、(F5)、(F6)で表すことができ、図3のグラフに示すような関係となる。 That is, the maximum value V (x, y) MAX , the minimum value V (x, y) MIN , and the average value V (x, y) AV of the luminance value are expressed by the following equations (F4), (F5), and (F6), respectively. The relationship is as shown in the graph of FIG.
図3から見てとれるように、所定の座標(x,y)における輝度値の最大値V(x,y)MAXと輝度値の最少値V(x,y)MINの平均値V(x,y)AVがオフセットB(x,y)となり、該オフセットB(x,y)と最大値V(x,y)MAXとの差、及び、該オフセットB(x,y)と最少値V(x,y)MINとの差がそれぞれゲインA(x,y)となる。 As can be seen from FIG. 3, the average value V (x, y) of the maximum value V (x, y) MAX of the luminance value and the minimum value V (x, y) MIN of the luminance value at a predetermined coordinate (x, y). y) AV becomes an offset B (x, y), the difference between the offset B (x, y) and the maximum value V (x, y) MAX , and the offset B (x, y) and the minimum value V ( x, y) The difference from MIN is the gain A (x, y).
また、輝度値V(x,y)は、光源の明るさL又は反射率R(x,y)に比例して変化するため、例えば反射率Rが半分となる座標位置では、ゲインAやオフセットBの値も半分となる。 Further, since the luminance value V (x, y) changes in proportion to the brightness L or the reflectance R (x, y) of the light source, for example, at the coordinate position where the reflectance R is halved, the gain A and the offset The value of B is also halved.
次に上記式(F2)、(F3)を下記式(F2´)、(F3´)とした上で、両者を合わせて整理すると、下記式(F7)が導き出せる。 Next, after formulating the above formulas (F2) and (F3) into the following formulas (F2 ′) and (F3 ′) and arranging them together, the following formula (F7) can be derived.
さらに、上記式(F7)をA(x,y)について解くと、下記式(F8)となり、図4に示すグラフのように表すことができる。 Further, when the above equation (F7) is solved for A (x, y), the following equation (F8) is obtained, which can be expressed as a graph shown in FIG.
つまり、光源の明るさL又は反射率R(x,y)の一方を固定して他方を変化させた場合には、オフセットB(x,y)が増減すると共に、該オフセットB(x,y)に比例してゲインA(x,y)も増減することとなる。かかる式(F8)により、ゲインA又はオフセットBの一方が分かれば、他方を求めることができる。ここで、比例定数Kは、光源の明るさLや反射率Rとは無関係に、格子の透過率Gにより定まる。つまり、下記の手段2,3のように換言することができる。
That is, when one of the brightness L or the reflectance R (x, y) of the light source is fixed and the other is changed, the offset B (x, y) increases and decreases and the offset B (x, y) ), The gain A (x, y) also increases / decreases. If one of the gain A and the offset B is known from the equation (F8), the other can be obtained. Here, the proportionality constant K is determined by the transmittance G of the grating irrespective of the brightness L and the reflectance R of the light source. That is, the following
手段2.前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが相互に一義的に定まる関係であることを特徴とする手段1に記載の三次元計測装置。
また、ゲインAとオフセットBとが相互に一義的に定まる関係であれば、例えばゲインAとオフセットBとの関係を表した数表やテーブルデータを作成することにより、ゲインAからオフセットB、或いは、オフセットBからゲインAを求めることが可能となる。 Further , if the relationship between the gain A and the offset B is uniquely determined, for example, by creating a numerical table or table data representing the relationship between the gain A and the offset B, the offset B from the gain A, or The gain A can be obtained from the offset B.
手段2.前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが比例関係であることを特徴とする手段1に記載の三次元計測装置。
ゲインとオフセットとが比例関係であれば、例えばA=K×B+C〔但し、C:カメラの暗電流(オフセット)〕のような関係式で表すことができ、ゲインAからオフセットB、或いは、オフセットBからゲインAを求めることが可能となる。ひいては下記の手段3のような構成とすることができる。 If the gain and the offset are in a proportional relationship, for example, it can be expressed by a relational expression such as A = K × B + C [where C is the dark current (offset) of the camera]. The gain A can be obtained from B. As a result, it can be set as the following means 3 .
手段3. 前記2通りに位相変化させた光パターンの相対位相関係をそれぞれ0、γとしたときの前記2通りの画像データの各画素の輝度値をそれぞれV0、V1とした場合に、
前記画像処理手段は、
下記式(1)、(2)、(3)の関係を満たす位相角θを求め、該位相角θに基づき前記高さ計測を行うことを特徴とする手段1又は2に記載の三次元計測装置。
Means 3 . When the luminance value of each pixel of the two types of image data when the relative phase relationship of the light pattern having the two phase changes is set to 0 and γ, respectively, is V 0 and V 1 ,
The image processing means includes
The three-dimensional measurement according to means 1 or 2 , wherein a phase angle θ satisfying a relationship of the following formulas (1), (2), and (3) is obtained, and the height measurement is performed based on the phase angle θ. apparatus.
V0=Asinθ+B ・・・(1)
V1=Asin(θ+γ)+B ・・・(2)
A=KB ・・・(3)
但し、γ≠0、A:ゲイン、B:オフセット、K:比例定数。
V 0 = Asinθ + B (1)
V 1 = Asin (θ + γ) + B (2)
A = KB (3)
However, γ ≠ 0, A: gain, B: offset, K: proportional constant.
上記手段3によれば、上記式(3)を上記式(1)に代入することにより、下記式(4)を導き出すことができる。 According to the means 3 , the following formula (4) can be derived by substituting the formula (3) into the formula (1).
V0=KBsinθ+B ・・・(4)
これをオフセットBについて解くと、下記式(5)を導き出すことができる。
V 0 = KBsinθ + B (4)
When this is solved for the offset B, the following equation (5) can be derived.
B=V0/(Ksinθ+1) ・・・(5)
また、上記式(3)を上記式(2)に代入することにより、下記式(6)を導き出すことができる。
B = V 0 / (Ksinθ + 1) (5)
Further, the following formula (6) can be derived by substituting the above formula (3) into the above formula (2).
V1=KBsin(θ+γ)+B ・・・(6)
上記式(6)を上記式(5)に代入し、下記[数7]に示すように整理していくと、下記式(7)を導き出すことができる。
V 1 = KBsin (θ + γ) + B (6)
By substituting the above equation (6) into the above equation (5) and rearranging as shown in the following [Equation 7], the following equation (7) can be derived.
ここで、「V0cosγ−V1=a」、「V0sinγ=b」、「(V0−V1)/K=c」と置くと、上記式(7)は下記式(8)のように表すことができる。 Here, when “V 0 cos γ−V 1 = a”, “V 0 sin γ = b”, and “(V 0 −V 1 ) / K = c” are set, the above equation (7) becomes the following equation (8): It can be expressed as
asinθ+bcosθ+c=0 ・・・(8)
ここで、下記[数8]に示すように、上記式(8)を位相角θについて解いていくと、下記[数9]に示す下記式(9)を導き出すことができる。
asinθ + bcosθ + c = 0 (8)
Here, as shown in the following [Equation 8], when the above equation (8) is solved for the phase angle θ, the following equation (9) shown in the following [Equation 9] can be derived.
従って、上記手段3における『下記式(1)、(2)、(3)の関係を満たす位相角θを求め、該位相角θに基づき前記高さ計測を行うこと』とあるのは、『下記式(9)に基づき位相角θを求め、該位相角θに基づき前記高さ計測を行うこと』と換言することができる。勿論、位相角θを得るアルゴリズムは、上記式(9)に限定されるものではなく、上記式(1)、(2)、(3)の関係を満たすものであれば、他の構成を採用してもよい。 Therefore, “to obtain a phase angle θ satisfying the relationship of the following formulas (1), (2), (3) in the above means 3 and perform the height measurement based on the phase angle θ” means “ In other words, the phase angle θ is obtained based on the following formula (9), and the height measurement is performed based on the phase angle θ. Of course, the algorithm for obtaining the phase angle θ is not limited to the above equation (9), and any other configuration may be adopted as long as the relationship of the above equations (1), (2), and (3) is satisfied. May be.
尚、上述したカメラの暗電流C等を考慮すれば、計測精度のさらなる向上を図ることができる。 If the dark current C of the camera described above is taken into account, the measurement accuracy can be further improved.
手段4.γ=180°としたことを特徴とする手段3に記載の三次元計測装置。 Means 4 . The three-dimensional measuring apparatus according to means 3 , wherein γ = 180 °.
上記手段4によれば、位相が180°異なる2通りの光パターンの下で2回の撮像を行うこととなる。 According to the means 4 , the image is taken twice under two light patterns whose phases are different by 180 °.
上記式(2)においてγ=180°とすることで下記式(10)が導き出される。 By setting γ = 180 ° in the above formula (2), the following formula (10) is derived.
V1=Asin(θ+180°)+B
=−Asinθ+B ・・・(10)
そして、上記式(1),(10)から下記式(11)を導き出すことができ、これをオフセットBについて解くと、下記式(12)を導き出すことができる。
V 1 = Asin (θ + 180 °) + B
= -Asinθ + B (10)
Then, the following formula (11) can be derived from the above formulas (1) and (10). When this is solved for the offset B, the following formula (12) can be derived.
V0+V1=2B ・・・(11)
B=(V0+V1)/2 ・・・(12)
さらに、上記式(12)を上記式(3)に代入することにより、下記式(13)を導き出すことができる。
V 0 + V 1 = 2B (11)
B = (V 0 + V 1 ) / 2 (12)
Furthermore, the following formula (13) can be derived by substituting the above formula (12) into the above formula (3).
A=KB
=K(V0+V1)/2 ・・・(13)
また、上記式(1)を「sinθ」について整理すると、下記式(1´)のようになる。
A = KB
= K (V 0 + V 1 ) / 2 (13)
Further, when the above equation (1) is arranged for “sin θ”, the following equation (1 ′) is obtained.
sinθ=(V0−B)/A ・・・(1´)
そして、上記式(1´)に、上記式(12),(13)を代入することにより、下記式(14)を導き出すことができる。
sin θ = (V 0 −B) / A (1 ′)
Then, the following formula (14) can be derived by substituting the above formulas (12) and (13) into the above formula (1 ′).
sinθ={V0−(V0+V1)/2}/{K(V0+V1)/2}
=(V0−V1)/K(V0+V1) ・・・(14)
ここで、上記式(14)を位相角θについて解くと、下記式(15)を導き出すことができる。
sin θ = {V 0 − (V 0 + V 1 ) / 2} / {K (V 0 + V 1 ) / 2}
= (V 0 −V 1 ) / K (V 0 + V 1 ) (14)
Here, when the above equation (14) is solved for the phase angle θ, the following equation (15) can be derived.
θ=sin-1[(V0−V1)/K(V0+V1)] ・・・(15)
つまり、位相角θは、既知の輝度値V0,V1及び定数Kにより特定することができる。
θ = sin −1 [(V 0 −V 1 ) / K (V 0 + V 1 )] (15)
That is, the phase angle θ can be specified by the known luminance values V 0 and V 1 and the constant K.
このように、上記手段4によれば、比較的簡単な演算式に基づいて位相角θを求めることができ、被計測物の高さ計測を行うに際し、さらなる処理の高速化が可能となる。 As described above, according to the means 4 , the phase angle θ can be obtained based on a relatively simple arithmetic expression, and it is possible to further increase the processing speed when measuring the height of the object to be measured.
手段5.γ=90°としたことを特徴とする手段3に記載の三次元計測装置。
上記手段5によれば、位相が90°異なる2通りの光パターンの下で2回の撮像を行うこととなる。
According to the
上記式(2)においてγ=90°とすることで下記式(16)が導き出される。 By setting γ = 90 ° in the above equation (2), the following equation (16) is derived.
V1=Asin(θ+90°)+B
=Acosθ+B ・・・(16)
上記式(16)を「cosθ」について整理すると、下記式(17)のようになる。
V 1 = Asin (θ + 90 °) + B
= Acosθ + B (16)
When the above equation (16) is arranged for “cos θ”, the following equation (17) is obtained.
cosθ=(V1−B)/A ・・・(17)
また、上記式(1)を「sinθ」について整理すると、上述したように下記式(1´)のようになる。
cos θ = (V 1 −B) / A (17)
Further, when the above equation (1) is arranged with respect to “sin θ”, as described above, the following equation (1 ′) is obtained.
sinθ=(V0−B)/A ・・・(1´)
次に上記式(1´)、(17)を下記式(18)に代入すると下記式(19)のようになり、さらにこれを整理することで、下記式(20)が導き出される。
sin θ = (V 0 −B) / A (1 ′)
Next, when the above formulas (1 ′) and (17) are substituted into the following formula (18), the following formula (19) is obtained. Further, by arranging this, the following formula (20) is derived.
sin2θ+cos2θ=1 ・・・(18)
{(V0−B)/A}2+{(V1−B)/A}2=1 ・・・(19)
(V0−B)2+(V1−B)2=A2 ・・・(20)
そして、上記式(20)に対し上記式(3)を代入すると下記式(21)のようになり、さらにこれを整理することで、下記式(22)が導き出される。
sin 2 θ + cos 2 θ = 1 (18)
{(V 0 −B) / A} 2 + {(V 1 −B) / A} 2 = 1 (19)
(V 0 −B) 2 + (V 1 −B) 2 = A 2 (20)
Then, when the above equation (3) is substituted into the above equation (20), the following equation (21) is obtained, and by further arranging this, the following equation (22) is derived.
(V0−B)2+(V1−B)2=K2B2 ・・・(21)
(2−K2)B2−2(V0+V1)B+V0 2V1 2=0 ・・・(22)
ここで、上記式(22)をオフセットBについて解くと、下記式(23)を導き出すことができる。
(V 0 −B) 2 + (V 1 −B) 2 = K 2 B 2 (21)
(2-K 2 ) B 2 -2 (V 0 + V 1 ) B + V 0 2 V 1 2 = 0 (22)
Here, when the above equation (22) is solved for the offset B, the following equation (23) can be derived.
つまり、オフセットBは、既知の輝度値V0,V1及び定数Kにより特定することができる。 That is, the offset B can be specified by the known luminance values V 0 and V 1 and the constant K.
また、下記式(24)に上記式(1´)、(17)を代入すると下記式(25)のようになり、さらにこれを整理することで、下記式(26)が導き出される。 Further, when the above formulas (1 ′) and (17) are substituted into the following formula (24), the following formula (25) is obtained, and by further arranging this, the following formula (26) is derived.
tanθ=sinθ/cosθ ・・・(24)
={(V0−B)/A}/{(V1−B)/A} ・・・(25)
=(V0−B)/(V1−B) ・・・(26)
そして、上記式(26)を位相角θについて解くと、下記式(27)を導き出すことができる。
tanθ = sinθ / cosθ (24)
= {(V 0 -B) / A} / {(V 1 -B) / A} (25)
= (V 0 -B) / (V 1 -B) (26)
Then, when the above equation (26) is solved for the phase angle θ, the following equation (27) can be derived.
θ=tan-1{(V0−B)/(V1−B)} ・・(27)
つまり、位相角θは、上記式(23)を用いることにより、既知の輝度値V0,V1及び定数Kにより特定することができる。
θ = tan −1 {(V 0 −B) / (V 1 −B)} (27)
That is, the phase angle θ can be specified by the known luminance values V 0 and V 1 and the constant K by using the above equation (23).
このように、上記手段5によれば、「tan-1」を用いた演算式に基づいて位相角θを求めることができるため、−180°〜180°の360°の範囲で高さ計測可能となり、計測レンジをより大きくすることができる。
As described above, according to the
手段6.予めキャリブレーション又は別途行った計測結果により算出した前記光パターンのゲイン及びオフセットの関係を記憶する記憶手段を備えていることを特徴とする手段1乃至5のいずれかに記載の三次元計測装置。
例えば基準板に対し3通り又は4通りに位相変化させた光パターンを照射し、これらの下で撮像した3通り又は4通りの画像データに基づき各画素におけるゲインA及びオフセットBを特定し、上記式(3)から定数Kを決定しておく。これにより、上記手段6によれば、各画素においてより精度の良い高さ計測を行うことができる。 For example, the reference plate is irradiated with light patterns whose phases are changed in three or four ways, and the gain A and the offset B in each pixel are specified based on the three or four kinds of image data captured under these patterns. A constant K is determined from Equation (3). Thereby, according to the said means 6 , more accurate height measurement can be performed in each pixel.
手段7.前記光パターンのゲイン及びオフセットの関係を、前記2通りに位相変化させた前記光パターンの下で撮像した2通りの画像データを基に求めることを特徴とする手段1乃至5のいずれかに記載の三次元計測装置。
例えば上記式(12)等を用いて画像データの全画素についてオフセットBを求め、その中でオフセットBの値が一致する画素の輝度値Vを抽出し、そのヒストグラムを作成する。そして、そのヒストグラムから輝度値の最大値VMAXと最小値VMINを決定する。 For example, the offset B is obtained for all the pixels of the image data using the above equation (12) and the like, the luminance value V of the pixel having the same value of the offset B is extracted, and the histogram is created. Then, the maximum value V MAX and the minimum value V MIN of the luminance value are determined from the histogram.
上述したとおり、輝度値の最大値VMAXと最少値VMINの平均値がオフセットBとなり、最大値VMAXと最少値VMINの差の半分がゲインAとなる。これを基に、上記式(3)から定数Kを決定することができる。これにより、上記手段7によれば、上記手段6のようなキャリブレーションの手間を省略することができ、さらなる計測時間の短縮化を図ることができる。 As described above, the average value of the maximum value V MAX and the minimum value V MIN of the luminance value is the offset B, and the half of the difference between the maximum value V MAX and the minimum value V MIN is the gain A. Based on this, the constant K can be determined from the above equation (3). Thereby, according to the said means 7 , the effort of calibration like the said means 6 can be abbreviate | omitted, and the shortening of the measurement time can be aimed at further.
手段8.所定の光を発する光源、及び、当該光源からの光を縞状の光強度分布を有する光パターンに変換する格子を有し、当該光パターンを少なくとも被計測物に対し照射可能な照射手段と、
前記格子の移送又は切替を制御し、前記照射手段から照射する前記光パターンの位相を複数通りに変化可能な位相制御手段と、
前記光パターンの照射された前記被計測物からの反射光を撮像可能な撮像手段とを備えた三次元計測装置によって行われる三次元計測方法であって、
所定の撮像条件により定まる前記光パターンのゲイン及びオフセットの関係を予めキャリブレーション又は別途行った計測結果により求める関係取得工程と、
2通りに位相変化させた前記光パターンの下で撮像した2通りの画像データを取得する画像取得工程と、
前記関係取得工程において求めた前記光パターンのゲイン及びオフセットの関係と、前記画像データ上の被計測座標の輝度値から定まる該被計測座標に係る前記光パターンのゲイン又はオフセットの値とを利用して、前記2通りの画像データを基に位相シフト法により前記被計測座標の高さ計測を行う計測工程とを備え、
前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが相互に一義的に定まる関係であるたことを特徴とする三次元計測方法。
Means 8 . A light source that emits predetermined light, and a grating that converts the light from the light source into a light pattern having a striped light intensity distribution, and an irradiation unit that can irradiate at least the object to be measured with the light pattern;
Phase control means for controlling the transfer or switching of the grating and capable of changing the phase of the light pattern irradiated from the irradiation means in a plurality of ways;
A three-dimensional measurement method performed by a three-dimensional measurement apparatus including an imaging unit capable of imaging reflected light from the measurement object irradiated with the light pattern,
A relationship acquisition step of obtaining a relationship between gain and offset of the light pattern determined by a predetermined imaging condition based on a measurement result obtained by calibration or separately;
An image acquisition step of acquiring two types of image data imaged under the light pattern that has undergone two phase changes;
Using the relationship between the gain and offset of the light pattern obtained in the relationship acquisition step and the gain or offset value of the light pattern related to the measured coordinate determined from the luminance value of the measured coordinate on the image data. A measuring step of measuring the height of the measured coordinates by a phase shift method based on the two types of image data ,
The relationship between the gain and the offset is a relationship in which the gain and the offset are uniquely determined from each other .
上記手段8によれば、上記手段1及び手段6と同様の作用効果が奏される。
According to the means 8 , the same effects as the
〔第1実施形態〕
以下、一実施形態について図面を参照しつつ説明する。図1は、本実施形態における三次元計測装置を具備する基板検査装置1を模式的に示す概略構成図である。同図に示すように、基板検査装置1は、計測対象たるクリームハンダが印刷されてなる被計測物としてのプリント基板2を載置するための載置台3と、プリント基板2の表面に対し斜め上方から所定の光パターンを照射する照射手段としての照明装置4と、プリント基板2上の光パターンの照射された部分を撮像するための撮像手段としてのカメラ5と、基板検査装置1内における各種制御や画像処理、演算処理を実施するための制御装置6とを備えている。
[First Embodiment]
Hereinafter, an embodiment will be described with reference to the drawings. FIG. 1 is a schematic configuration diagram schematically illustrating a
載置台3には、モータ15,16が設けられており、該モータ15,16が制御装置6(モータ制御手段23)により駆動制御されることによって、載置台3上に載置されたプリント基板2が任意の方向(X軸方向及びY軸方向)へスライドさせられるようになっている。
The mounting table 3 is provided with
照明装置4は、所定の光を発する光源4aと、当該光源4aからの光を正弦波状(縞状)の光強度分布を有する光パターンに変換する液晶格子4bとを備えており、プリント基板2に対し、斜め上方から複数通りに位相変化する縞状の光パターンを照射可能となっている。
The illumination device 4 includes a light source 4a that emits predetermined light, and a
より詳しくは、照明装置4において、光源4aから発せられた光は光ファイバーにより一対の集光レンズに導かれ、そこで平行光にされる。その平行光が、液晶格子4bを介して投影レンズに導かれる。そして、投影レンズからプリント基板2に対し縞状の光パターンが照射される。
More specifically, in the illuminating device 4, the light emitted from the light source 4a is guided to a pair of condensing lenses by an optical fiber, and is converted into parallel light there. The parallel light is guided to the projection lens through the liquid crystal grating 4b. Then, a striped light pattern is irradiated onto the printed
液晶格子4bは、一対の透明基板間に液晶層が形成されると共に、一方の透明基板上に配置された共通電極と、これと対向するように他方の透明基板上に複数並設された帯状電極とを備え、駆動回路により、各帯状電極にそれぞれ接続されたスイッチング素子(薄膜トランジスタ等)をオンオフ制御し、各帯状電極に印加される電圧を制御することにより、光透過率の高い「明部」と、光透過率の低い「暗部」とからなる縞状の格子パターンを形成する。そして、液晶格子4bを介してプリント基板2上に照射される光は、回折作用に起因したボケ等により、正弦波状の光強度分布を有する光パターンとなる。
The
カメラ5は、レンズや撮像素子等からなる。撮像素子としては、CMOSセンサを採用している。勿論、撮像素子はこれに限定されるものではなく、例えばCCDセンサ等を採用してもよい。カメラ5によって撮像された画像データは、当該カメラ5内部においてデジタル信号に変換された上で、デジタル信号の形で制御装置6(画像データ記憶手段24)に入力される。そして、制御装置6は、当該画像データを基に、後述するような画像処理や検査処理等を実施する。かかる意味で、制御装置6は画像処理手段を構成する。
The
次に、制御装置6の電気的構成について説明する。図2に示すように、制御装置6は、カメラ5の撮像タイミングを制御するカメラ制御手段21と、照明装置4を制御する照明制御手段22と、モータ15,16を制御するモータ制御手段23と、カメラ5により撮像された画像データ(輝度データ)を記憶する画像データ記憶手段24と、後述するキャリブレーションデータを記憶するキャリブレーションデータ記憶手段25と、前記画像データを基に算出された位相データを記憶する位相データ記憶手段26と、前記キャリブレーションデータ及び位相データを基に三次元計測を行う三次元計測手段29と、当該三次元計測手段29の計測結果を基にクリームハンダ4の印刷状態を検査する判定手段30とを備えている。照明装置4(液晶格子4b)を制御する照明制御手段22により本実施形態における位相制御手段が構成される。
Next, the electrical configuration of the
なお、図示は省略するが、基板検査装置1は、キーボードやタッチパネルで構成される入力手段、CRTや液晶などの表示画面を有する表示手段、検査結果等を格納するための記憶手段、ハンダ印刷機等に対し検査結果等を出力する出力手段等を備えている。
Although not shown in the drawings, the
次に、基板検査装置1よるプリント基板2の検査手順について詳しく説明する。はじめに、光パターンのばらつき(位相分布)を把握するためのキャリブレーションを行う。
Next, the inspection procedure of the printed
液晶格子4bでは、各帯状電極に接続された各トランジスタの特性(オフセットやゲイン等)のばらつきにより、上記各帯状電極に印加される電圧にもばらつきが生じるため、同じ「明部」や「暗部」であっても、各帯状電極に対応する各ラインごとに光透過率(輝度レベル)がばらつくこととなる。その結果、被計測物上に照射される光パターンも正弦波状の理想的な光強度分布とならず、三次元計測結果に誤差が生じるおそれがある。
In the
そこで、予め光パターンのばらつき(位相分布)を把握しておく、いわゆるキャリブレーション等が行われる。 Therefore, so-called calibration or the like is performed to grasp the variation (phase distribution) of the light pattern in advance.
キャリブレーションの手順としては、まずプリント基板2とは別に、高さ位置0、かつ、平面をなす基準面を用意する。基準面は、計測対象たるクリームハンダと同一色となっている。すなわち、クリームハンダと光パターンの反射率が等しくなっている。
As a calibration procedure, first, apart from the printed
続いて上記基準面に対し光パターンを照射すると共に、これをカメラ5により撮像することで、各座標の輝度値を含んだ画像データを得る。本実施形態では、後述する実測時とは異なり、キャリブレーションを行う際には、光パターンの位相を90°ずつシフトさせ、各光パターンの下で撮像された4通りの画像データを取得する。
Then, while irradiating a light pattern with respect to the said reference surface, this is imaged with the
そして、制御装置6は、上記4通りの画像データから各座標における光パターンの位相角θを算出し、これをキャリブレーションデータとしてキャリブレーションデータ記憶手段25に記憶する。
Then, the
さらに本実施形態では、上記4通りの画像データから各座標における光パターンのゲインA及びオフセットB、並びに両者の関係を特定し、これをキャリブレーションデータとしてキャリブレーションデータ記憶手段25に記憶する。従って、キャリブレーションデータ記憶手段25が本実施形態における記憶手段を構成し、かかる工程が本実施形態における関係取得工程を構成する。 Furthermore, in this embodiment, the gain A and the offset B of the light pattern at each coordinate and the relationship between them are specified from the above four types of image data, and these are stored in the calibration data storage means 25 as calibration data. Therefore, the calibration data storage means 25 constitutes the storage means in the present embodiment, and this process constitutes the relationship acquisition process in the present embodiment.
ここで、ゲインA及びオフセットBを算出する手順についてより詳しく説明する。4通りの画像データの各座標における輝度値(V0,V1,V2,V3)と、ゲインA及びオフセットBとの関係は、下記式(H1)、(H2)、(H3)、(H4)により表すことができる。 Here, the procedure for calculating the gain A and the offset B will be described in more detail. The relationship between the luminance values (V 0 , V 1 , V 2 , V 3 ) at each coordinate of the four types of image data, the gain A, and the offset B is expressed by the following equations (H1), (H2), (H3), It can be represented by (H4).
そして、4通りの画像データの輝度値(V0,V1,V2,V3)を加算し、上記式(H1)、(H2)、(H3)、(H4)を下記[数12]に示すように整理すると、下記式(H5)を導き出すことができる。 Then, the luminance values (V 0 , V 1 , V 2 , V 3 ) of the four kinds of image data are added, and the above equations (H1), (H2), (H3), and (H4) are expressed by the following [Equation 12]. The following formula (H5) can be derived by arranging as shown in FIG.
また、上記式(H1)、(H3)から、下記式(H6)を導き出すことができる。 Moreover, the following formula (H6) can be derived from the above formulas (H1) and (H3).
また、上記式(H2)、(H4)から、下記式(H7)を導き出すことができる。 Moreover, the following formula (H7) can be derived from the above formulas (H2) and (H4).
そして、下記[数15]に示すように、上記式(H6)、(H7)を下記式(H8)に代入し、整理していくと、下記式(H9)を導き出すことができる。 Then, as shown in [Equation 15] below, when the above formulas (H6) and (H7) are substituted into the following formula (H8) and rearranged, the following formula (H9) can be derived.
さらに、上記式(H5)、(H9)から導き出された下記式(H10)を基にゲインA及びオフセットBの比例定数Kを算出する。 Further, the proportional constant K of the gain A and the offset B is calculated based on the following formula (H10) derived from the above formulas (H5) and (H9).
そして、上記のように算出された各座標における光パターンのゲインA、オフセットB、及び、比例定数Kをキャリブレーションデータとしてキャリブレーションデータ記憶手段25に記憶する。勿論、比例定数Kのみをキャリブレーションデータとして記憶する構成としてもよい。
Then, the gain A, the offset B, and the proportionality constant K of the light pattern at each coordinate calculated as described above are stored in the calibration
次に、各検査エリアごとに行われる検査ルーチンについて詳しく説明する。この検査ルーチンは、制御装置6にて実行されるものである。
Next, an inspection routine performed for each inspection area will be described in detail. This inspection routine is executed by the
制御装置6(モータ制御手段23)は、まずモータ15,16を駆動制御してプリント基板2を移動させ、カメラ5の視野をプリント基板2上の所定の検査エリア(計測範囲)に合わせる。なお、検査エリアは、カメラ5の視野の大きさを1単位としてプリント基板2の表面を予め分割しておいた中の1つのエリアである。
The control device 6 (motor control means 23) first drives and controls the
続いて、制御装置6は、照明装置4の液晶格子4bを切替制御し、当該液晶格子4bに形成される格子の位置を所定の基準位置に設定する。
Subsequently, the
液晶格子4bの切替設定が完了すると、制御装置6は、照明制御手段22により照明装置4の光源4aを発光させ、所定の光パターンの照射を開始すると共に、カメラ制御手段21によりカメラ5を駆動制御して、当該光パターンが照射された検査エリア部分の撮像を開始する。尚、カメラ5により撮像された画像データは、画像データ記憶装置24へ転送され記憶される。
When the switching setting of the
同様に、上記一連の処理を、光パターンの位相を例えば180°シフトさせた光パターンの下で行う。これにより、所定の検査エリアにつき、位相を180°シフトさせた2通りの光パターンの下で撮像された2通りの画像データが取得される。かかる工程が本実施形態における画像取得工程を構成する。 Similarly, the above-described series of processing is performed under a light pattern in which the phase of the light pattern is shifted by, for example, 180 °. Thereby, two kinds of image data captured under two kinds of light patterns whose phases are shifted by 180 ° are obtained for a predetermined inspection area. This process constitutes an image acquisition process in the present embodiment.
そして、制御装置6は、位相シフト法により、上記2通りの画像データから各座標における光パターンの位相角θを算出し、これを位相データとして位相データ記憶手段26に記憶する。具体的には、上記式(15)に基づき、上記2通りの画像データ上の各座標における輝度値V0,V1と、キャリブレーションデータ記憶手段25に記憶したキャリブレーションデータ(キャリブレーションに基づく各座標の比例定数K)とを参酌して、各座標における光パターンの位相角θを算出する。
Then, the
続いて、制御装置6(三次元計測手段29)は、キャリブレーションデータ記憶手段25に記憶したキャリブレーションデータ(キャリブレーションに基づく各座標の位相角)と、位相データ記憶手段26に記憶した位相データ(実測に基づく各座標の位相角)とを比較して、同一の位相角を有する座標のズレ量を算出し、三角測量の原理に基づき、検査エリアの各座標における高さデータを取得する。かかる工程が本実施形態における計測工程を構成する。
Subsequently, the control device 6 (three-dimensional measuring unit 29) has the calibration data (phase angle of each coordinate based on calibration) stored in the calibration
例えば、被計測座標(x,y)における実測値(位相角)が「10°」であった場合、当該「10°」の値が、キャリブレーションにより記憶したデータ上のどの位置にあるかを検出する。ここで、被計測座標(x,y)よりも3画素隣りに「10°」が存在していれば、それは光パターンの縞が3画素ずれたことを意味する。そして、光パターンの照射角度と、光パターンの縞のズレ量を基に、三角測量の原理により、被計測座標(x,y)の高さデータ(z)を求めることができる。 For example, when the actually measured value (phase angle) at the measured coordinates (x, y) is “10 °”, the position on the data stored by the calibration is the value of “10 °”. To detect. Here, if “10 °” exists 3 pixels adjacent to the measured coordinates (x, y), it means that the stripe of the light pattern has shifted by 3 pixels. Based on the principle of triangulation, the height data (z) of the measured coordinates (x, y) can be obtained based on the irradiation angle of the light pattern and the amount of deviation of the stripe of the light pattern.
さらに、制御装置6(三次元計測手段29)は、得られた検査エリアの各座標における高さデータに基づいて、基準面より高くなったクリームハンダの印刷範囲を検出し、この範囲内での各部位の高さを積分することにより、印刷されたクリームハンダの量を算出する。 Furthermore, the control device 6 (three-dimensional measuring means 29) detects the printing range of the cream solder that is higher than the reference plane based on the obtained height data at each coordinate of the inspection area, and within this range. The amount of printed cream solder is calculated by integrating the height of each part.
そして、制御装置6(判定手段30)は、このようにして求めたクリームハンダの位置、面積、高さ又は量等のデータを、予め記憶した基準データと比較判定し、この比較結果が許容範囲内にあるか否かによって、その検査エリアにおけるクリームハンダの印刷状態の良否を判定する。 Then, the control device 6 (determination means 30) compares and determines the data such as the position, area, height, or amount of the cream solder thus obtained with reference data stored in advance, and the comparison result is within an allowable range. Whether the printing state of the cream solder in the inspection area is good or bad is determined depending on whether it is in the inside or not.
かかる処理が行われている間に、制御装置6は、モータ15,16を駆動制御してプリント基板2を次の検査エリアへと移動せしめ、以降、上記一連の処理が、全ての検査エリアで繰り返し行われることで、プリント基板2全体の検査が終了する。
While such processing is being performed, the
以上詳述したように、本実施形態によれば、所定の撮像条件により定まる光パターンのゲインA及びオフセットBの関係〔例えばA=K(比例定数)×B〕と、画像データ上の被計測座標(x,y)の輝度値V(x,y)から定まる、該被計測座標(x,y)に係る光パターンのゲインA(x,y)又はオフセットB(x,y)の値とを利用することにより、2通りに位相変化させた光パターンの下で撮像した2通りの画像データを基に位相シフト法により被計測座標の高さ計測を行うことができる。 As described above in detail, according to the present embodiment, the relationship between the gain A and the offset B of the light pattern determined by predetermined imaging conditions [for example, A = K (proportional constant) × B] and the measurement target on the image data The value of the gain A (x, y) or offset B (x, y) of the light pattern related to the measured coordinates (x, y) determined from the luminance value V (x, y) of the coordinates (x, y) By using, the height of the measured coordinate can be measured by the phase shift method based on the two types of image data captured under the light pattern whose phase is changed in two ways.
このように、2通りの画像データに基づいて高さ計測を行うことができることから、1つのポイントに関し4回又は3回の撮像を必要とする従来技術に比べて、総合的な撮像回数が少なくて済み、撮像時間を短縮することができる。結果として、計測時間を飛躍的に短縮することができる。 As described above, since the height can be measured based on the two types of image data, the total number of times of imaging is less than that of the conventional technique that requires four or three times of imaging for one point. The imaging time can be shortened. As a result, the measurement time can be dramatically shortened.
〔第2実施形態〕
以下、第2実施形態について図面を参照しつつ説明する。尚、第1実施形態と同一構成部分については、同一符号を付し、その詳細な説明を省略する。
[Second Embodiment]
Hereinafter, the second embodiment will be described with reference to the drawings. In addition, about the same component as 1st Embodiment, the same code | symbol is attached | subjected and the detailed description is abbreviate | omitted.
上記第1実施形態では、各座標における光パターンのゲインA及びオフセットBの関係(比例定数K)を、予めキャリブレーションにより求める構成となっているが、これに代えて、第2実施形態では、光パターンのゲインA及びオフセットBの関係(比例定数K)を、実測時に撮像した前記2通りに位相変化させた光パターンの下で撮像した2通りの画像データを基に求める構成となっている。 In the first embodiment, the relationship between the gain A and the offset B (proportional constant K) of the light pattern at each coordinate is obtained in advance by calibration. Instead, in the second embodiment, The relationship (proportional constant K) between the gain A and the offset B of the light pattern is obtained on the basis of the two types of image data imaged under the light pattern that has been phase-shifted in the two ways imaged at the time of actual measurement. .
その手順としては、まず上記式(12)を用いて画像データの全画素についてオフセットBを求める。次に、その中でオフセットBの値が一致する画素の輝度値V(=Asinθ+B)を抽出し、そのヒストグラムを作成する。その一例を図5,6の表に示す。但し、図5,6はゲインAを「1」、オフセットBを「0」とした場合を例示している。図5は、輝度値Vを「0.1」幅のデータ区間に区切って、そのデータ区間に含まれる輝度値の数を表した分布表であり、図6は、それをプロットしたヒストグラムである。 As the procedure, first, the offset B is obtained for all the pixels of the image data using the above equation (12). Next, the luminance value V (= Asin θ + B) of the pixels having the same offset B value is extracted, and a histogram thereof is created. An example is shown in the tables of FIGS. 5 and 6 exemplify a case where the gain A is “1” and the offset B is “0”. FIG. 5 is a distribution table in which the luminance value V is divided into data sections having a width of “0.1” and the number of luminance values included in the data section is represented. FIG. 6 is a histogram in which the luminance values are plotted. .
そして、このヒストグラムを基に輝度値の最大値VMAXと最小値VMINを決定する。「sinθ」の特性を利用することにより、上記ヒストグラムにおいて発生する2つのピークをそれぞれ輝度値の最大値VMAXと最小値VMINとして決定することができる。図5,6に示す例では、輝度値Vが「−1.0〜−0.9」及び「0.9〜1.0」のデータ区間に入る輝度値Vの個数がそれぞれ「51」となり、ここが2つのピークとなる。 Based on this histogram, the maximum value V MAX and the minimum value V MIN of the luminance value are determined. By using the characteristic of “sin θ”, two peaks generated in the histogram can be determined as the maximum value V MAX and the minimum value V MIN of the luminance values, respectively. In the example shown in FIGS. 5 and 6, the number of luminance values V that fall within the data section where the luminance value V is “−1.0 to −0.9” and “0.9 to 1.0” is “51”, respectively. Here are two peaks.
続いて、輝度値の最大値VMAXと最少値VMINを基にゲインA及びオフセットBを算出する。上述したとおり、輝度値の最大値VMAXと最少値VMINの平均値がオフセットBとなり、最大値VMAXと最少値VMINの差の半分がゲインAとなる。つまり、図6に示すように、2つのピークの中間値がオフセットBとなり、2つのピークの幅の半分がゲインAとなる。 Subsequently, the gain A and the offset B are calculated based on the maximum value V MAX and the minimum value V MIN of the luminance values. As described above, the average value of the maximum value V MAX and the minimum value V MIN of the luminance value is the offset B, and the half of the difference between the maximum value V MAX and the minimum value V MIN is the gain A. That is, as shown in FIG. 6, the intermediate value between the two peaks is offset B, and half of the width of the two peaks is gain A.
このようにして得たゲインAとオフセットBの値を基に比例定数Kを決定することができる〔上記式(3)参照〕
本実施形態によれば、上記第1実施形態のようなキャリブレーションの手間を省略することができ、さらなる計測時間の短縮化を図ることができる。
The proportionality constant K can be determined based on the gain A and the offset B obtained in this way [see the above formula (3)].
According to this embodiment, the labor of calibration as in the first embodiment can be omitted, and the measurement time can be further shortened.
尚、上記実施形態の記載内容に限定されず、例えば次のように実施してもよい。勿論、以下において例示しない他の応用例、変更例も当然可能である。 In addition, it is not limited to the description content of the said embodiment, For example, you may implement as follows. Of course, other application examples and modification examples not illustrated below are also possible.
(a)上記実施形態では、三次元計測装置を、プリント基板2に印刷形成されたクリームハンダの高さを計測する基板検査装置1に具体化したが、これに限らず、例えば基板上に印刷されたハンダバンプや、基板上に実装された電子部品など、他のものの高さを計測する構成に具体化してもよい。
(A) In the above embodiment, the three-dimensional measuring device is embodied as the
(b)上記実施形態では、光源4aからの光を縞状の光パターンに変換するための格子を、液晶格子4bにより構成すると共に、これを切替制御することにより、光パターンの位相をシフトさせる構成となっている。これに限らず、例えば格子部材をピエゾアクチュエータ等の移送手段により移送させ、光パターンの位相をシフトさせる構成としてもよい。 (B) In the above embodiment, the grating for converting the light from the light source 4a into a striped light pattern is constituted by the liquid crystal grating 4b, and the phase of the light pattern is shifted by switching this. It has a configuration. For example, the grating member may be transferred by a transfer unit such as a piezo actuator to shift the phase of the light pattern.
(c)上記実施形態では、実測時において、位相が180°異なる2通りの光パターンの下で撮像された2通りの画像データを基に高さ計測を行う構成となっている。これに代えて、例えば位相が90°異なる2通りの光パターンの下で撮像された2通りの画像データを基に高さ計測を行う構成としてもよい。かかる場合、上記式(23),(27)を用いることにより、2通りの画像データ上の各座標における輝度値V0,V1と、既知の比例定数Kを利用して、各座標における光パターンの位相角θを算出することができる。 (C) In the above-described embodiment, the height measurement is performed based on two types of image data captured under two types of light patterns whose phases are different by 180 ° in actual measurement. Instead of this, for example, the height may be measured based on two kinds of image data captured under two kinds of light patterns whose phases are different by 90 °. In such a case, by using the above formulas (23) and (27), the light values at the respective coordinates are obtained using the luminance values V 0 and V 1 at the respective coordinates on the two kinds of image data and the known proportionality constant K. The phase angle θ of the pattern can be calculated.
勿論、この他にも、上記式(1)、(2)、(3)の関係を満たすものであれば、他の構成を採用してもよい。位相角θを得る一般式としては、上記式(9)が一例に挙げられる〔[数9]参照〕。 Of course, other configurations may be adopted as long as the relationship of the above formulas (1), (2), and (3) is satisfied. As a general formula for obtaining the phase angle θ, the above formula (9) is given as an example [see [Equation 9]].
(d)上記第1実施形態では、位相が90°異なる4通りの光パターンの下で撮像された4通りの画像データを基にキャリブレーションを行う構成となっているが、これに限らず、例えば位相の異なる3通りの光パターンの下で撮像された3通りの画像データを基にキャリブレーションを行う構成としてもよい。 (D) In the first embodiment, the calibration is performed based on the four types of image data captured under the four types of light patterns whose phases are different by 90 °. For example, calibration may be performed based on three types of image data captured under three types of light patterns having different phases.
また、キャリブレーションを行う際に、光源の輝度を変えて複数回行う構成としてもよい。かかる構成とすれば、下記式(28)に示すようなカメラ5の暗電流(オフセット)Cまで求めることができる。
Moreover, when performing calibration, it is good also as a structure performed by changing the brightness | luminance of a light source in multiple times. With this configuration, the dark current (offset) C of the
A=KB+C ・・・(28)
但し、A:ゲイン、B:オフセット、C:カメラの暗電流(オフセット)、K:比例定数。
A = KB + C (28)
However, A: Gain, B: Offset, C: Dark current (offset) of the camera, K: Proportional constant.
あるいは、ゲインAとオフセットBとの関係は、式として求めることなく、ゲインAとオフセットBとの関係を表した数表やテーブルデータを作成することにより、ゲインAからオフセットBあるいはオフセットBからゲインAを求めることが可能に構成しても良い。さらに、キャリブレーションに代えて別途行った計測結果等を利用してゲインAとオフセットBとの関係を求めても良い。 Alternatively, the relationship between the gain A and the offset B is not obtained as an equation, but by creating a numerical table or table data that represents the relationship between the gain A and the offset B, the gain A can be gained from the offset B or the offset B. You may comprise so that A can be calculated | required. Furthermore, the relationship between the gain A and the offset B may be obtained using a measurement result or the like separately performed instead of the calibration.
(e)上記第2実施形態では、位相が180°異なる2通りの光パターンの下で撮像された2通りの画像データを基に、画像データの全画素について比例定数K等を求める構成となっている。 (E) In the second embodiment described above, the proportionality constant K and the like are obtained for all the pixels of the image data based on the two types of image data captured under two types of light patterns that are 180 degrees out of phase. ing.
これに限らず、例えば位相が90°異なる2通りの光パターンの下で撮像された2通りの画像データを基に比例定数K等を求める構成としてもよい。また、画像データの全画素ではなく、被計測座標の周辺など画像データの一部の範囲において、比例定数K等を求める構成としてもよい。 For example, the proportional constant K may be obtained based on two types of image data captured under two types of light patterns whose phases are different by 90 °. Further, the proportional constant K or the like may be obtained not in all pixels of the image data but in a part of the image data such as the periphery of the measured coordinates.
1…基板検査装置、2…プリント基板、4…照明装置、4a…光源、4b…液晶格子、5…カメラ、6…制御装置、24…画像データ記憶手段、25…キャリブレーションデータ記憶手段、26…位相データ記憶手段、V0,V1,V2,V3…輝度値、A…ゲイン、B…オフセット、K…比例定数。
DESCRIPTION OF
Claims (8)
前記格子の移送又は切替を制御し、前記照射手段から照射する前記光パターンの位相を複数通りに変化可能な位相制御手段と、
前記光パターンの照射された前記被計測物からの反射光を撮像可能な撮像手段と、
前記撮像手段により撮像された画像データを基に前記被計測物の三次元計測を実行可能な画像処理手段とを備え、
前記画像処理手段は、
所定の撮像条件により定まる前記光パターンのゲイン及びオフセットの関係と、
前記画像データ上の被計測座標の輝度値から定まる、該被計測座標に係る前記光パターンのゲイン又はオフセットの値とを利用することにより、
2通りに位相変化させた前記光パターンの下で撮像した2通りの画像データを基に位相シフト法により前記被計測座標の高さ計測を実行可能とし、
前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが相互に一義的に定まる関係であることを特徴とする三次元計測装置。 A light source that emits predetermined light, and a grating that converts the light from the light source into a light pattern having a striped light intensity distribution, and an irradiation unit that can irradiate at least the object to be measured with the light pattern;
Phase control means for controlling the transfer or switching of the grating and capable of changing the phase of the light pattern irradiated from the irradiation means in a plurality of ways;
Imaging means capable of imaging reflected light from the object to be measured irradiated with the light pattern;
Image processing means capable of performing three-dimensional measurement of the object to be measured based on image data picked up by the image pickup means;
The image processing means includes
The relationship between the gain and offset of the light pattern determined by predetermined imaging conditions;
By using the gain or offset value of the light pattern related to the measured coordinates determined from the luminance value of the measured coordinates on the image data,
The height measurement of the measured coordinates can be performed by the phase shift method based on the two types of image data captured under the light pattern that has been phase-shifted in two ways ,
The relationship between the gain and the offset is a relationship in which the gain and the offset are uniquely determined from each other .
前記画像処理手段は、
下記式(1)、(2)、(3)の関係を満たす位相角θを求め、該位相角θに基づき前記高さ計測を行うことを特徴とする請求項1又は2に記載の三次元計測装置。
V0=Asinθ+B ・・・(1)
V1=Asin(θ+γ)+B ・・・(2)
A=KB ・・・(3)
但し、γ≠0、A:ゲイン、B:オフセット、K:比例定数。 When the luminance value of each pixel of the two types of image data when the relative phase relationship of the light pattern having the two phase changes is set to 0 and γ, respectively, is V 0 and V 1 ,
The image processing means includes
Formula (1), (2), (3) obtains a phase angle θ that satisfies the relation of three-dimensional according to claim 1 or 2, characterized in that the height measurement based on the phase angle θ Measuring device.
V 0 = Asinθ + B (1)
V 1 = Asin (θ + γ) + B (2)
A = KB (3)
However, γ ≠ 0, A: gain, B: offset, K: proportional constant.
前記格子の移送又は切替を制御し、前記照射手段から照射する前記光パターンの位相を複数通りに変化可能な位相制御手段と、
前記光パターンの照射された前記被計測物からの反射光を撮像可能な撮像手段とを備えた三次元計測装置によって行われる三次元計測方法であって、
所定の撮像条件により定まる前記光パターンのゲイン及びオフセットの関係を予めキャリブレーション又は別途行った計測結果により求める関係取得工程と、
2通りに位相変化させた前記光パターンの下で撮像した2通りの画像データを取得する画像取得工程と、
前記関係取得工程において求めた前記光パターンのゲイン及びオフセットの関係と、前記画像データ上の被計測座標の輝度値から定まる該被計測座標に係る前記光パターンのゲイン又はオフセットの値とを利用して、前記2通りの画像データを基に位相シフト法により前記被計測座標の高さ計測を行う計測工程とを備え、
前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが相互に一義的に定まる関係であるたことを特徴とする三次元計測方法。 A light source that emits predetermined light, and a grating that converts the light from the light source into a light pattern having a striped light intensity distribution, and an irradiation unit that can irradiate at least the object to be measured with the light pattern;
Phase control means for controlling the transfer or switching of the grating and capable of changing the phase of the light pattern irradiated from the irradiation means in a plurality of ways;
A three-dimensional measurement method performed by a three-dimensional measurement apparatus including an imaging unit capable of imaging reflected light from the measurement object irradiated with the light pattern,
A relationship acquisition step of obtaining a relationship between gain and offset of the light pattern determined by a predetermined imaging condition based on a measurement result obtained by calibration or separately;
An image acquisition step of acquiring two types of image data imaged under the light pattern that has undergone two phase changes;
Using the relationship between the gain and offset of the light pattern obtained in the relationship acquisition step and the gain or offset value of the light pattern related to the measured coordinate determined from the luminance value of the measured coordinate on the image data. A measuring step of measuring the height of the measured coordinates by a phase shift method based on the two types of image data ,
The relationship between the gain and the offset is a relationship in which the gain and the offset are uniquely determined from each other .
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015096469A JP6126640B2 (en) | 2015-05-11 | 2015-05-11 | Three-dimensional measuring apparatus and three-dimensional measuring method |
PCT/JP2015/082486 WO2016181578A1 (en) | 2015-05-11 | 2015-11-19 | Three-dimensional measurement device and three-dimensional measurement method |
CN201580078559.9A CN107429992B (en) | 2015-05-11 | 2015-11-19 | Three-dimensional measuring apparatus and method for three-dimensional measurement |
TW104139308A TWI580927B (en) | 2015-05-11 | 2015-11-26 | Three - dimensional measuring device and three - dimensional measurement method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015096469A JP6126640B2 (en) | 2015-05-11 | 2015-05-11 | Three-dimensional measuring apparatus and three-dimensional measuring method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016211986A JP2016211986A (en) | 2016-12-15 |
JP6126640B2 true JP6126640B2 (en) | 2017-05-10 |
Family
ID=57247809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015096469A Active JP6126640B2 (en) | 2015-05-11 | 2015-05-11 | Three-dimensional measuring apparatus and three-dimensional measuring method |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6126640B2 (en) |
CN (1) | CN107429992B (en) |
TW (1) | TWI580927B (en) |
WO (1) | WO2016181578A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7030079B2 (en) | 2019-06-12 | 2022-03-04 | Ckd株式会社 | 3D measuring device and 3D measuring method |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000292135A (en) * | 1999-04-07 | 2000-10-20 | Minolta Co Ltd | Three-dimensional information input camera |
JP3878033B2 (en) * | 2002-02-28 | 2007-02-07 | シーケーディ株式会社 | 3D measuring device |
JP4289893B2 (en) * | 2003-01-21 | 2009-07-01 | 株式会社ニッケ機械製作所 | Appearance measuring device |
JP4885154B2 (en) * | 2007-01-31 | 2012-02-29 | 国立大学法人東京工業大学 | Method for measuring surface shape by multiple wavelengths and apparatus using the same |
DE102010064593A1 (en) * | 2009-05-21 | 2015-07-30 | Koh Young Technology Inc. | Form measuring device and method |
JP5443303B2 (en) * | 2010-09-03 | 2014-03-19 | 株式会社サキコーポレーション | Appearance inspection apparatus and appearance inspection method |
KR20140022858A (en) * | 2011-04-01 | 2014-02-25 | 가부시키가이샤 니콘 | Optical profile measuring apparatus, method for measuring profile, and method for manufacturing a structure with a profile |
WO2013054814A1 (en) * | 2011-10-11 | 2013-04-18 | 株式会社ニコン | Shape-measuring device, system for manufacturing structures, shape-measuring method, method for manufacturing structures, shape-measuring program |
JP2013124938A (en) * | 2011-12-15 | 2013-06-24 | Ckd Corp | Three-dimensional measuring device |
TWI481814B (en) * | 2013-04-03 | 2015-04-21 | Ckd Corp | Three dimensional measuring device |
CN103528543B (en) * | 2013-11-05 | 2015-12-02 | 东南大学 | System calibrating method in a kind of optical grating projection three-dimensional measurement |
-
2015
- 2015-05-11 JP JP2015096469A patent/JP6126640B2/en active Active
- 2015-11-19 WO PCT/JP2015/082486 patent/WO2016181578A1/en active Application Filing
- 2015-11-19 CN CN201580078559.9A patent/CN107429992B/en active Active
- 2015-11-26 TW TW104139308A patent/TWI580927B/en active
Also Published As
Publication number | Publication date |
---|---|
CN107429992B (en) | 2019-09-03 |
TW201640076A (en) | 2016-11-16 |
TWI580927B (en) | 2017-05-01 |
JP2016211986A (en) | 2016-12-15 |
WO2016181578A1 (en) | 2016-11-17 |
CN107429992A (en) | 2017-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6109255B2 (en) | 3D measuring device | |
JP6110897B2 (en) | 3D measuring device | |
JP4744610B2 (en) | 3D measuring device | |
KR101121691B1 (en) | Three-dimensional measurement device | |
JP5430612B2 (en) | 3D measuring device | |
JP5640025B2 (en) | 3D measuring device | |
JP5957575B1 (en) | 3D measuring device | |
WO2017110115A1 (en) | Three-dimensional measurement device | |
JP4011561B2 (en) | 3D measuring device | |
JP6126640B2 (en) | Three-dimensional measuring apparatus and three-dimensional measuring method | |
JP4947559B2 (en) | 3D measuring device | |
JP6027204B1 (en) | 3D measuring device | |
WO2016203668A1 (en) | Three-dimensional measurement device | |
JP7030079B2 (en) | 3D measuring device and 3D measuring method | |
JP6062523B1 (en) | 3D measuring device | |
CN113966457B (en) | Three-dimensional measuring device and three-dimensional measuring method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161202 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20161202 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20161213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170221 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170321 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170407 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6126640 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |