WO2017119155A1 - 三次元計測装置 - Google Patents
三次元計測装置 Download PDFInfo
- Publication number
- WO2017119155A1 WO2017119155A1 PCT/JP2016/075516 JP2016075516W WO2017119155A1 WO 2017119155 A1 WO2017119155 A1 WO 2017119155A1 JP 2016075516 W JP2016075516 W JP 2016075516W WO 2017119155 A1 WO2017119155 A1 WO 2017119155A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- imaging
- light
- circuit board
- printed circuit
- range
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
Definitions
- the present invention relates to a three-dimensional measuring apparatus that performs three-dimensional measurement.
- cream solder is first printed on a predetermined electrode pattern disposed on the printed circuit board.
- an electronic component is temporarily fixed on the printed circuit board based on the viscosity of the cream solder.
- the printed circuit board is guided to a reflow furnace, and soldering is performed through a predetermined reflow process.
- a three-dimensional measuring device is sometimes used for such inspection.
- a conveying means for conveying an object to be measured for example, a conveying means for conveying an object to be measured, an irradiation means for irradiating the object to be measured with a striped pattern light, and an object irradiated with the pattern light.
- a device provided with an imaging means for imaging a measurement object is known (for example, see Patent Documents 1 and 2).
- the imaging means a CCD camera or the like including a lens and an imaging element is used.
- Such a three-dimensional measurement apparatus it is possible to acquire a plurality of image data in which the light intensity distribution on the measurement object is different by a predetermined phase of the pattern light by imaging the measurement object to be conveyed at a plurality of timings. it can. Then, it is possible to perform three-dimensional measurement of the object to be measured by the phase shift method based on the plurality of image data.
- the luminance value I 0 at a predetermined coordinate position on the measurement object in the four types of image data can be represented by the following formulas (1), (2), (3), and (4), respectively.
- I 0 ⁇ sin ⁇ + ⁇ (1)
- ⁇ gain, ⁇ : offset, ⁇ : pattern light phase.
- the height (Z) at each coordinate (X, Y) on the object to be measured can be obtained using the phase ⁇ calculated as described above.
- the object to be measured is imaged at a plurality of timings, predetermined coordinate positions on the object to be measured are respectively imaged by different pixels of the image sensor. Therefore, if there is a variation in performance such as sensitivity among the pixels of the image sensor, it may cause measurement errors.
- calculation related to a predetermined coordinate position on the object to be measured is performed on the basis of the luminance value acquired by different pixels of the image sensor. There is a risk that the performance variation may directly affect the measurement error.
- the above-mentioned problem is not limited to the case of measuring the height of cream solder or the like printed on a printed circuit board, but is inherent in the field of other three-dimensional measuring devices.
- the problem is not limited to the phase shift method.
- the present invention has been made in view of the above circumstances, and an object thereof is to provide a three-dimensional measurement apparatus capable of improving measurement accuracy and the like when performing three-dimensional measurement.
- An irradiating means having at least one illumination capable of irradiating predetermined light to an object to be measured (for example, a printed board); Imaging means capable of imaging the measurement object irradiated with the light; A moving means capable of relatively moving the irradiating means and the imaging means and the object to be measured; While irradiating the object to be measured with predetermined light at a predetermined timing from the irradiation means while relatively moving the irradiation unit and the imaging unit and the object to be measured, the imaging result captured by the imaging unit is obtained.
- a three-dimensional measuring apparatus capable of performing three-dimensional measurement of the object to be measured based on, Image data acquisition means capable of acquiring image data to be used for a predetermined application (for example, the three-dimensional measurement) based on an imaging result captured by the imaging means; Image processing means capable of executing predetermined processing (for example, three-dimensional measurement processing) based on at least one image data acquired by the image data acquisition means, When the image data acquisition means acquires one image data, The imaging (exposure) under the light irradiated from the same illumination of the irradiation unit is executed at a plurality of timings at which the relative positional relationship between the irradiation unit and the imaging unit and the object to be measured is different, A process of adding or averaging the imaging results (luminance values of each pixel of a plurality of captured image data) for each coordinate position on the measurement object (after matching the coordinate positions) is performed.
- Characteristic 3D measuring device capable of acquiring image data to be used for a predetermined application (for example, the three-dimensional
- the object to be measured that moves relatively is imaged at a plurality of timings under the light of the same illumination, and the process of adding or averaging the imaging results for each coordinate position on the object to be measured is executed.
- one image data used for a predetermined application is obtained.
- Patent Documents 1 and 2 it is configured to acquire image data suitable for each part (bright part and dark part) on the measurement object by changing the luminance of the illumination and imaging.
- a process of selecting any image data suitable for the part from a plurality of image data having different luminances may be required, which may complicate the process. .
- all the parts (from the bright part) on the object to be measured can be obtained by simply adding the results (luminance values) obtained by imaging a plurality of times without performing such complicated processing.
- Image data with a wide dynamic range of brightness corresponding to the dark area) can be acquired.
- the amount of light received by the image sensor increases, an image with better image quality suitable for measurement, that is, an image with less influence of noise and quantization error can be obtained.
- the imaging (exposure) time is long, the imaging device reaches a saturation level, and the image is so-called “whiteout”.
- imaging (exposure) a plurality of times and adding a luminance value for each pixel an image with a larger amount of received light can be obtained without saturation.
- the S / N ratio can be improved by adding the results of imaging a plurality of times. This will be described in detail based on the simulation result shown in FIG.
- the noise is modeled and one noise out of three types of “1 (V)”, “0 (V)”, and “ ⁇ 1 (V)” is obtained with the same probability in one imaging.
- the S / N ratio was calculated on the assumption that the number of times was two times. As a result, it was “1.22 ⁇ A (A: signal level)” in the case of one imaging. The value was improved to “1.73 ⁇ A” by imaging twice. Note that “ ⁇ ” in FIG. 52 represents a standard deviation.
- the irradiation means includes illumination capable of irradiating pattern light having a striped (for example, sinusoidal) light intensity distribution
- the image data acquisition means differs in light intensity distribution on the object to be measured by a predetermined phase of the pattern light (e.g., corresponding to a phase of 90 °) based on at least an imaging result captured under the pattern light.
- a plurality of image data (for example, four image data) can be obtained
- Means 1 is characterized in that the image processing means is configured to be able to perform three-dimensional measurement of the measurement object by a phase shift method based on the plurality of image data acquired by the image data acquisition means.
- the three-dimensional measuring apparatus described.
- FIG. 53 is a graph showing the relationship between each coordinate position on the object to be measured and the luminance values of four sinusoidal pattern lights having different phases by 90 °.
- the phase value indicated as the horizontal axis indicates each coordinate position on the measurement object, and indicates a position on the measurement object corresponding to each phase of the pattern light of sin ⁇ as a reference.
- the maximum luminance value is set to “1” and the minimum luminance value is set to “0”.
- the luminance value is calculated by simply adding the values. [A1 + a2]. This is [twice the average of a1 and a2], and corresponds to [twice the luminance value at imaging timing t1.5].
- Imaging processing by the imaging unit can be performed at each timing when the irradiation unit, the imaging unit, and the measurement object move relative to each other by a predetermined amount smaller than the predetermined phase (for example, a phase corresponding to 6 ° of the pattern light).
- the timings for a plurality of consecutive times are a plurality of timings for performing imaging under the pattern light emitted from the same illumination.
- the object to be measured when acquiring one image data among a plurality of image data necessary for performing the three-dimensional measurement by the phase shift method, the object to be measured is relative to the predetermined amount under the pattern light. Each time the image is moved, the image is continuously picked up a plurality of times, and the image pickup result is added or averaged for each coordinate position on the object to be measured.
- the image data acquisition means acquires the plurality of image data (for example, four image data)
- the pattern light applied to the object to be measured is composed of a combination of a pair of pattern lights whose phases are different by 180 °.
- the three-dimensional measuring device according to means 2 or 3, characterized by the above.
- an error based on a difference in the phase of the pattern light at a predetermined coordinate position on the object to be measured is calculated using a phase shift method (See “Background Art” above), and the influence can be reduced.
- the irradiation means includes at least one illumination capable of irradiating uniform light with a constant light intensity, The three-dimensional measurement according to any one of means 1 to 4, wherein the image data acquisition means is configured to be able to acquire luminance image data based on at least an imaging result taken under the uniform light. apparatus.
- the image processing means it is possible for the image processing means to perform mapping on 3D data obtained by 3D measurement, extraction of a measurement region, etc. based on the acquired luminance image data. It becomes. As a result, the measurement accuracy can be further improved.
- the illumination mechanism for luminance images which plays an auxiliary role
- the illumination mechanism for three-dimensional measurement pattern light
- the illumination mechanism for three-dimensional measurement pattern light
- variations in illumination brightness brightness unevenness
- the influence of luminance unevenness of the uniform light illumination can be reduced under the configuration of the means 1 described above.
- a telecentric optical system it is more effective because it is easily affected by uneven brightness of uniform light illumination.
- Means 6 Under a configuration capable of executing an imaging process by the imaging unit at each timing when the irradiation unit, the imaging unit, and the measurement object move relative to each other by a predetermined amount, The tertiary according to claim 5, wherein among the timings at which the imaging process can be performed, a plurality of non-sequential timings are a plurality of timings at which imaging is performed under uniform light emitted from the same illumination.
- Former measuring device Under a configuration capable of executing an imaging process by the imaging unit at each timing when the irradiation unit, the imaging unit, and the measurement object move relative to each other by a predetermined amount.
- the above means 6 it is possible to add the imaging results at more distant positions than when adding the imaging results at relatively close positions by imaging at successive timings, and it can be averaged more. .
- the influence of luminance unevenness in uniform light illumination can be further alleviated, and the effect of the means 5 can be further enhanced.
- the irradiating means includes a plurality of lights each irradiating predetermined light, Means 1 to 1, wherein the plurality of lights are switched in accordance with a predetermined order, and predetermined light (light from any one of the plurality of lights) can be irradiated at a predetermined timing.
- the three-dimensional measuring apparatus according to any one of 6.
- the light emitted from a plurality of illuminations includes, for example, different types of light having different irradiation modes such as uniform light and pattern light, and the same type of light having different luminance such as two types of pattern lights having different luminance, luminance and irradiation mode. This includes light that is the same but has different irradiation directions.
- Image data image data for executing a predetermined process by the image processing means used for the purpose can be separately acquired.
- a plurality of image data is acquired under the first pattern light irradiated from the first direction (a series of acquisition of one image data).
- Means 8 The three-dimensional measuring apparatus according to any one of means 1 to 7, wherein the object to be measured is a printed board on which cream solder is printed or a wafer board on which solder bumps are formed.
- the height of the solder paste printed on the printed circuit board or the solder bump formed on the wafer substrate can be measured.
- the quality of cream solder or solder bumps can be determined based on the measured values. Therefore, in such an inspection, the effect of each means described above is exhibited, and the quality determination can be performed with high accuracy. As a result, it is possible to improve the inspection accuracy in the solder printing inspection apparatus or the solder bump inspection apparatus.
- the type of irradiation light that changes with time (t1 to t15) and the coordinate position on the printed circuit board 7 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X46 to X60) of each pixel of the image sensor.
- the type of irradiation light that changes with time (t1 to t15) and the coordinate position on the printed circuit board 4 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X31 to X45) of each pixel of the image sensor.
- the type of irradiation light that changes with time (t1 to t15) and the coordinate position on the printed circuit board 7 is a correspondence table for explaining the mode of irradiation light and the relationship between these and the coordinate positions (X16 to X30) of each pixel of the image sensor.
- the type of irradiation light that changes with time (t1 to t15) and the coordinate position on the printed circuit board 5 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X1 to X15) of each pixel of the image sensor.
- the type of irradiation light that changes with time (t16 to t30) and the coordinate position on the printed circuit board 7 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X46 to X60) of each pixel of the image sensor.
- the type of irradiation light that changes with the passage of time (t16 to t30) and at each coordinate position on the printed circuit board 4 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X31 to X45) of each pixel of the image sensor.
- the type of irradiation light that changes with time (t16 to t30) and the coordinate position on the printed circuit board 7 is a correspondence table for explaining the mode of irradiation light and the relationship between these and the coordinate positions (X16 to X30) of each pixel of the image sensor.
- the type of irradiation light that changes with the passage of time (t16 to t30) and at each coordinate position on the printed circuit board 5 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X1 to X15) of each pixel of the image sensor.
- the type of irradiation light that changes with the passage of time (t31 to t45) and at each coordinate position on the printed circuit board 7 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X46 to X60) of each pixel of the image sensor.
- the type of irradiation light that changes with the passage of time (t31 to t45) and at each coordinate position on the printed circuit board 4 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X31 to X45) of each pixel of the image sensor.
- the type of irradiation light that changes with the passage of time (t31 to t45) and at each coordinate position on the printed circuit board 7 is a correspondence table for explaining the mode of irradiation light and the relationship between these and the coordinate positions (X16 to X30) of each pixel of the image sensor.
- the type of irradiation light that changes with the passage of time (t31 to t45) and at each coordinate position on the printed circuit board 5 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X1 to X15) of each pixel of the image sensor.
- the type of irradiation light that changes with the passage of time (t46 to t60) and at each coordinate position on the printed circuit board 7 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X46 to X60) of each pixel of the image sensor.
- the type of irradiation light that changes with the passage of time (t46 to t60) and at each coordinate position on the printed circuit board 4 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X31 to X45) of each pixel of the image sensor.
- the type of irradiation light that changes with the passage of time (t46 to t60) and at each coordinate position on the printed circuit board 7 is a correspondence table for explaining the mode of irradiation light and the relationship between these and the coordinate positions (X16 to X30) of each pixel of the image sensor.
- the type of irradiation light that changes with the passage of time (t46 to t60) and at each coordinate position on the printed circuit board 5 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X1 to X15) of each pixel of the image sensor.
- 6 is a table schematically showing a state in which coordinate positions of a plurality of image data captured at imaging timings t1 to t15 are aligned.
- 6 is a table schematically showing a state in which coordinate positions of a plurality of image data captured at imaging timings t16 to t30 are aligned.
- 6 is a table schematically showing a state in which coordinate positions of a plurality of image data captured at imaging timings t31 to t45 are aligned.
- 6 is a table schematically showing a state in which coordinate positions of a plurality of image data captured at imaging timings t46 to t60 are aligned.
- surface which showed typically the state which arranged and rearranged the various data which concern on each coordinate position of a printed circuit board for every category (4 phase groups which concern on 1st pattern light).
- surface which showed typically the state which arranged and rearranged the various data which concern on each coordinate position of a printed circuit board for every category (4 phase groups which concern on 2nd pattern light).
- FIG. 5 is a correspondence table for explaining the mode of irradiation light and the relationship between these and the coordinate positions (X55 to X72) of each pixel of the image sensor.
- the type of irradiation light that changes with time (t1 to t9) and the coordinate position on the printed circuit board 7 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X54 to X37) of each pixel of the image sensor.
- the type of irradiation light that changes with time (t1 to t9) and the coordinate position on the printed circuit board 7 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X36 to X19) of each pixel of the image sensor.
- the type of irradiation light that changes with time (t1 to t9) and the coordinate position on the printed circuit board 7 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X18 to X1) of each pixel of the image sensor. While the printed circuit board moves a distance corresponding to a quarter period (phase 90 °) of the pattern light, the type of irradiation light that changes with the passage of time (t10 to t18) and at each coordinate position on the printed circuit board FIG.
- the printed circuit board moves a distance corresponding to 1 ⁇ 4 period (phase 90 °) of the pattern light
- the type of irradiation light that changes with time (t10 to t18) and the coordinate position on the printed circuit board 7 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X54 to X37) of each pixel of the image sensor.
- the type of irradiation light that changes with the passage of time (t10 to t18) and at each coordinate position on the printed circuit board 7 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X36 to X19) of each pixel of the image sensor.
- the type of irradiation light that changes with the passage of time (t10 to t18) and at each coordinate position on the printed circuit board 7 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X18 to X1) of each pixel of the image sensor. While the printed circuit board moves a distance corresponding to a quarter period (phase 90 °) of the pattern light, the type of irradiation light that changes with time (t19 to t27) and the coordinate position on the printed circuit board FIG.
- the printed circuit board moves a distance corresponding to a quarter period (phase 90 °) of the pattern light
- the type of irradiation light that changes with time (t19 to t27) and the coordinate position on the printed circuit board 7 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X54 to X37) of each pixel of the image sensor.
- the type of irradiation light that changes with time (t19 to t27) and the coordinate position on the printed circuit board 7 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X36 to X19) of each pixel of the image sensor.
- the type of irradiation light that changes with time (t19 to t27) and the coordinate position on the printed circuit board 7 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X18 to X1) of each pixel of the image sensor. While the printed circuit board moves a distance corresponding to a quarter period (phase 90 °) of the pattern light, the type of irradiation light that changes with the passage of time (t28 to t36) and at each coordinate position on the printed circuit board FIG.
- the printed circuit board 5 is a correspondence table for explaining the mode of irradiation light and the relationship between these and the coordinate positions (X55 to X72) of each pixel of the image sensor. While the printed circuit board moves a distance corresponding to a quarter period (phase 90 °) of the pattern light, the type of irradiation light that changes with the passage of time (t28 to t36) and at each coordinate position on the printed circuit board 7 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X54 to X37) of each pixel of the image sensor.
- the type of irradiation light that changes with the passage of time (t28 to t36) and at each coordinate position on the printed circuit board 7 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X36 to X19) of each pixel of the image sensor.
- the type of irradiation light that changes with the passage of time (t28 to t36) and at each coordinate position on the printed circuit board 7 is a correspondence table for explaining the form of irradiation light and the relationship between these and the coordinate positions (X18 to X1) of each pixel of the image sensor.
- 10 is a table schematically showing a state in which coordinate positions of a plurality of image data captured at imaging timings t1 to t9 are aligned.
- 10 is a table schematically showing a state in which coordinate positions of a plurality of image data captured at imaging timings t10 to t18 are aligned.
- 6 is a table schematically showing a state in which coordinate positions of a plurality of image data captured at imaging timings t19 to t27 are aligned.
- 10 is a table schematically showing a state in which coordinate positions of a plurality of image data captured at imaging timings t28 to t36 are aligned. It is the table
- the printed board 1 has a flat plate shape, and an electrode pattern 3 made of copper foil is provided on a base board 2 made of glass epoxy resin or the like. Further, cream solder 4 is printed on the predetermined electrode pattern 3.
- the area where the cream solder 4 is printed is referred to as “solder printing area”.
- the portion other than the solder printing area is collectively referred to as a “background area”.
- the background area includes an area where the electrode pattern 3 is exposed (symbol A), an area where the base substrate 2 is exposed (symbol B), and the base substrate 2. 2 includes a region where the resist film 5 is coated (symbol C) and a region where the resist film 5 is coated on the electrode pattern 3 (symbol D). Note that the resist film 5 is coated on the surface of the printed circuit board 1 so that the cream solder 4 is not applied to portions other than the predetermined wiring portion.
- FIG. 1 is a schematic configuration diagram schematically showing a substrate inspection apparatus 10.
- the substrate inspection apparatus 10 includes a conveyor 13 as a conveying means (moving means) for conveying the printed circuit board 1, an illumination device 14 as an irradiating means for irradiating predetermined light on the surface of the printed circuit board 1 from above, To perform various controls, image processing, and arithmetic processing in the substrate inspection apparatus 10 such as drive control of the camera 15 and the conveyor 13, the illumination device 14, and the camera 15 as imaging means for imaging the printed circuit board 1 irradiated with light.
- the control device 16 (see FIG. 3).
- the control device 16 constitutes image data acquisition means and image processing means in this embodiment.
- the conveyor 13 is provided with driving means such as a motor (not shown).
- driving means such as a motor (not shown).
- the motor is driven and controlled by the control device 16
- the printed circuit board 1 placed on the conveyor 13 is moved in a predetermined direction (right in FIG. 1).
- Direction at a constant speed.
- the imaging range W of the camera 15 moves relative to the printed circuit board 1 in the reverse direction (left direction in FIG. 1).
- the illumination device 14 includes seven illuminations, and the irradiated light is switched and controlled by the control device 16. Specifically, the first illumination 14A capable of irradiating striped pattern light (first pattern light), the second illumination 14B capable of radiating striped pattern light (second pattern light), and the entire range A third illumination 14C capable of emitting red uniform light having a constant light intensity, a fourth illumination 14D capable of emitting green uniform light having a constant light intensity in the entire range, and a blue uniform light having a constant light intensity in the entire range Can irradiate near-ultraviolet color uniform light with constant light intensity over the entire range, and fifth illumination 14E capable of irradiating near-infrared color uniform light with constant light intensity over the entire range And a seventh illumination 14G.
- the first illumination 14A to the seventh illumination 14G are known ones, a detailed description using the drawings is omitted.
- the first illumination 14A and the second illumination 14B include a light source that emits predetermined light and a liquid crystal optical shutter that converts light from the light source into pattern light.
- the light emitted from the light source is guided to a condensing lens, where it is converted into parallel light, then guided to a projection lens through a liquid crystal optical shutter, and irradiated as a striped pattern light.
- phase shift of the pattern light can be controlled electrically, and the control system can be made compact.
- the first illumination 14A and the second illumination 14B are in the transport direction (XX) of the printed circuit board 1 in a plan view (XY plane) viewed along the substantially vertical direction (Z-axis direction) that is the optical axis direction of the camera 15. In the direction) with the camera 15 in between.
- the first pattern light emitted from the first illumination 14A and the second pattern light emitted from the second illumination 14B are pattern lights having the same luminance and cycle.
- pattern light whose stripe direction is orthogonal to the transport direction (X direction) of the printed circuit board 1 is irradiated. That is, pattern light parallel to a direction (Y direction) orthogonal to the transport direction (X direction) is irradiated on the transported printed circuit board 1.
- the pattern light which has a striped (sinusoidal) light intensity distribution is irradiated with respect to the printed circuit board 1 along the conveyance direction.
- the intermediate gradation region is omitted, and the pattern light is illustrated with a light and dark binary stripe pattern.
- a telecentric optical system such as a condensing lens and a projection lens may be used for the optical system such as the first illumination 14A and the second illumination 14B.
- the height position may be slightly changed. If a telecentric optical system is used, measurement can be performed with high accuracy without being affected by such changes.
- the camera 15 includes a lens, an image sensor, and the like, and its optical axis is set along a direction (Z direction) perpendicular to the printed circuit board 1 placed on the conveyor 13.
- a CCD sensor is employed as the image sensor.
- the image data picked up by the camera 15 is converted into a digital signal inside the camera 15, input to the control device 16 in the form of a digital signal, and stored in an image data storage device 24 described later. Then, the control device 16 performs image processing, calculation processing, and the like as described later based on the image data.
- FIG. 3 is a block diagram showing an outline of the substrate inspection apparatus 10.
- the control device 16 includes a CPU and an input / output interface 21 that control the entire board inspection apparatus 10, an input device 22 as an “input means” configured by a keyboard, a mouse, a touch panel, and the like, a CRT, Display device 23 as a “display unit” having a display screen such as a liquid crystal, image data storage device 24 for storing image data captured by camera 15, and a three-dimensional measurement result obtained based on the image data And the like, a calculation result storage device 25 for storing various calculation results, a setting data storage device 26 for storing various information such as design data in advance, and the like.
- These devices 22 to 26 are electrically connected to the CPU and the input / output interface 21.
- the control device 16 drives and controls the conveyor 13 to continuously convey the printed circuit board 1 at a constant speed. Then, the control device 16 drives and controls the lighting device 14 and the camera 15 based on a signal from an encoder (not shown) provided on the conveyor 13.
- An imaging process of imaging 1 with the camera 15 is executed. Every time the predetermined time ⁇ t elapses, the image data captured by the camera 15 is transferred to and stored in the image data storage device 24 as needed.
- the predetermined amount ⁇ x is set to a distance corresponding to a phase of 6 ° of the pattern light emitted from the first illumination 14A and the second illumination 14B.
- the imaging range W of the camera 15 in the transport direction (X direction) of the printed circuit board 1 is set to a length corresponding to one cycle (phase 360 °) of the pattern light.
- the predetermined amount ⁇ x and the imaging range W of the camera 15 are not limited to this, and may be longer or shorter.
- FIG. 5 is a schematic diagram for explaining the relationship between the imaging range W of the camera 15 that relatively moves with time and the coordinate position on the printed circuit board 1.
- 6 to 21 show the type of irradiation light that changes with time (t1 to t60) and the printed circuit board 1 while the printed circuit board 1 moves a distance corresponding to one cycle (phase 360 °) of the pattern light.
- the correspondence table for explaining the mode of irradiation light (phase of pattern light and color of uniform light) at each of the above coordinate positions, and the relationship between these and the coordinate positions (X1 to X60) of each pixel of the image sensor is there.
- the entire Y direction range of the printed circuit board 1 is included in the imaging range of the camera 15, and at the same coordinate position in the X direction. There is no difference in the type and mode of irradiation light for each coordinate position in the Y direction.
- the phase of the pattern light emitted from the illumination device 14 is fixed with respect to the coordinates X1 to X60 of the image sensor.
- the coordinate X60 of the image sensor is “0 °”
- the coordinate X59 is “6 °”
- the coordinate X58 is “12 °”
- the coordinate X1 is “354 °”.
- the phase of the pattern light changes by “6 °” with time (t1 to t60) as will be described later.
- the phase of the pattern light shown in FIGS. 6 to 21 is based on the assumption that the pattern surface is irradiated with a reference plane having a height position “0” and a plane.
- the first pattern light is irradiated from the first illumination 14A.
- a range corresponding to the coordinates P1 to P60 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the first pattern light is again emitted from the first illumination 14A.
- a range corresponding to coordinates P2 to P61 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the first pattern light is again irradiated from the first illumination 14A.
- a range corresponding to the coordinates P3 to P62 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the first pattern light is again irradiated from the first illumination 14A.
- a range corresponding to coordinates P4 to P63 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the first pattern light is again irradiated from the first illumination 14A.
- a range corresponding to coordinates P5 to P64 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is irradiated from the second illumination 14B.
- a range corresponding to coordinates P6 to P65 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is irradiated again from the second illumination 14B.
- a range corresponding to the coordinates P7 to P66 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is irradiated again from the second illumination 14B.
- a range corresponding to the coordinates P8 to P67 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is again irradiated from the second illumination 14B.
- a range corresponding to the coordinates P9 to P68 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is irradiated again from the second illumination 14B.
- a range corresponding to the coordinates P10 to P69 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the red uniform light is emitted from the third illumination 14C.
- a range corresponding to coordinates P11 to P70 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged. Note that “R1” at each coordinate position in FIGS. 6 to 9 indicates that the light irradiated to the position is “red uniform light”.
- the green uniform light is emitted from the fourth illumination 14D.
- a range corresponding to the coordinates P12 to P71 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged. Note that “G1” at each coordinate position in FIGS. 6 to 9 indicates that the light emitted to the position is “green uniform light”.
- the blue illumination light is emitted from the fifth illumination 14E.
- a range corresponding to the coordinates P13 to P72 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged. Note that “B1” at each coordinate position in FIGS. 6 to 9 indicates that the light irradiated to the position is “blue uniform light”.
- the near-infrared color uniform light is emitted from the sixth illumination 14F.
- a range corresponding to the coordinates P14 to P73 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- “NIR1” at each coordinate position in FIGS. 6 to 9 indicates that the light irradiated to the position is “near infrared color uniform light”.
- the near-ultraviolet color uniform light is emitted from the seventh illumination 14G.
- a range corresponding to coordinates P15 to P74 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- “NUV1” at each coordinate position in FIGS. 6 to 9 indicates that the light irradiated to the position is “near-ultraviolet color uniform light”.
- the first pattern light is emitted from the first illumination 14A.
- a range corresponding to the coordinates P16 to P75 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the first pattern light is again irradiated from the first illumination 14A.
- a range corresponding to the coordinates P17 to P76 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the first pattern light is again irradiated from the first illumination 14A.
- a range corresponding to coordinates P18 to P77 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the first pattern light is again emitted from the first illumination 14A.
- a range corresponding to the coordinates P19 to P78 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the first pattern light is again irradiated from the first illumination 14A.
- a range corresponding to coordinates P20 to P79 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is emitted from the second illumination 14B.
- a range corresponding to the coordinates P21 to P80 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is again irradiated from the second illumination 14B.
- a range corresponding to coordinates P22 to P81 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is irradiated again from the second illumination 14B.
- a range corresponding to the coordinates P23 to P82 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is again irradiated from the second illumination 14B.
- a range corresponding to the coordinates P24 to P83 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is irradiated again from the second illumination 14B.
- a range corresponding to coordinates P25 to P84 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the red uniform light is emitted from the third illumination 14C.
- a range corresponding to the coordinates P26 to P85 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged. Note that “R2” at each coordinate position in FIGS. 10 to 13 indicates that the light irradiated to the position is “red uniform light”.
- the green uniform light is emitted from the fourth illumination 14D.
- a range corresponding to the coordinates P27 to P86 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged. Note that “G2” at each coordinate position in FIGS. 10 to 13 indicates that the light emitted to the position is “green uniform light”.
- the blue illumination light is emitted from the fifth illumination 14E.
- a range corresponding to the coordinates P28 to P87 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged. Note that “B2” at each coordinate position in FIGS. 10 to 13 indicates that the light irradiated to the position is “blue uniform light”.
- the near-infrared color uniform light is emitted from the sixth illumination 14F.
- a range corresponding to the coordinates P29 to P88 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- “NIR2” at each coordinate position in FIGS. 10 to 13 indicates that the light irradiated to the position is “near-infrared color uniform light”.
- the near-ultraviolet color uniform light is emitted from the seventh illumination 14G.
- a range corresponding to the coordinates P30 to P89 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- “NUV2” at each coordinate position in FIGS. 10 to 13 indicates that the light irradiated to the position is “near-ultraviolet color uniform light”.
- the first pattern light is emitted from the first illumination 14A.
- a range corresponding to the coordinates P31 to P90 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the first pattern light is again irradiated from the first illumination 14A.
- a range corresponding to the coordinates P32 to P91 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the first pattern light is again emitted from the first illumination 14A.
- a range corresponding to the coordinates P33 to P92 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the first pattern light is again emitted from the first illumination 14A.
- a range corresponding to coordinates P34 to P93 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the first pattern light is again emitted from the first illumination 14A.
- a range corresponding to the coordinates P35 to P94 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is irradiated from the second illumination 14B.
- a range corresponding to the coordinates P36 to P95 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is again irradiated from the second illumination 14B.
- a range corresponding to coordinates P37 to P96 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is again emitted from the second illumination 14B.
- a range corresponding to coordinates P38 to P97 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is again irradiated from the second illumination 14B.
- a range corresponding to coordinates P39 to P98 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is irradiated again from the second illumination 14B.
- a range corresponding to coordinates P40 to P99 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the red uniform light is emitted from the third illumination 14C.
- a range corresponding to the coordinates P41 to P100 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged. Note that “R3” at each coordinate position in FIGS. 14 to 17 indicates that the light irradiated to the position is “red uniform light”.
- the green uniform light is emitted from the fourth illumination 14D.
- a range corresponding to the coordinates P42 to P101 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged. Note that “G3” at each coordinate position in FIGS. 14 to 17 indicates that the light emitted to the position is “green uniform light”.
- the blue light is emitted from the fifth illumination 14E.
- a range corresponding to the coordinates P43 to P102 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged. Note that “B3” at each coordinate position in FIGS. 14 to 17 indicates that the light emitted to the position is “blue uniform light”.
- the near-infrared color uniform light is emitted from the sixth illumination 14F.
- a range corresponding to the coordinates P44 to P103 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- “NIR3” at each coordinate position in FIGS. 14 to 17 indicates that the light irradiated to the position is “near-infrared color uniform light”.
- near-ultraviolet uniform light is emitted from the seventh illumination 14G.
- a range corresponding to coordinates P45 to P104 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- “NUV3” at each coordinate position in FIG. 14 to FIG. 17 indicates that the light irradiated to the position is “near ultraviolet color uniform light”.
- the first pattern light is emitted from the first illumination 14A.
- a range corresponding to the coordinates P46 to P105 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the first pattern light is again emitted from the first illumination 14A.
- a range corresponding to the coordinates P47 to P106 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the first pattern light is again irradiated from the first illumination 14A.
- a range corresponding to the coordinates P48 to P107 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the first pattern light is again irradiated from the first illumination 14A.
- a range corresponding to coordinates P49 to P108 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the first pattern light is again emitted from the first illumination 14A.
- a range corresponding to the coordinates P50 to P109 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is emitted from the second illumination 14B.
- a range corresponding to the coordinates P51 to P110 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is again irradiated from the second illumination 14B.
- a range corresponding to the coordinates P52 to P111 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is again irradiated from the second illumination 14B.
- a range corresponding to the coordinates P53 to P112 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is again irradiated from the second illumination 14B.
- a range corresponding to the coordinates P54 to P113 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the second pattern light is again irradiated from the second illumination 14B.
- the range corresponding to the coordinates P55 to P114 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- the red uniform light is emitted from the third illumination 14C.
- a range corresponding to the coordinates P56 to P115 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- “R4” at each coordinate position in FIGS. 18 to 21 indicates that the light irradiated to the position is “red uniform light”.
- the green uniform light is emitted from the fourth illumination 14D.
- a range corresponding to coordinates P57 to P116 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged. Note that “G4” at each coordinate position in FIGS. 18 to 21 indicates that the light emitted to the position is “green uniform light”.
- the blue illumination light is emitted from the fifth illumination 14E.
- a range corresponding to coordinates P58 to P117 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged. Note that “B4” at each coordinate position in FIGS. 18 to 21 indicates that the light applied to the position is “blue uniform light”.
- the near-infrared color uniform light is emitted from the sixth illumination 14F.
- a range corresponding to the coordinates P59 to P118 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- “NIR4” at each coordinate position in FIGS. 18 to 21 indicates that the light applied to the position is “near infrared color uniform light”.
- the near-ultraviolet color uniform light is emitted from the seventh illumination 14G.
- a range corresponding to the coordinates P60 to P119 on the printed circuit board 1 is located in the imaging range W (X1 to X60) of the camera 15, and the range is imaged.
- “NUV4” at each coordinate position in FIGS. 18 to 21 indicates that the light irradiated to the position is “near-ultraviolet color uniform light”.
- FIGS. 22 to 25 are tables schematically showing a state in which coordinate positions of a plurality of image data acquired at imaging timings t1 to t60 are aligned.
- FIG. 26 to FIG. 28 are tables schematically showing states in which various data relating to the coordinate positions of the printed circuit board 1 shown in FIG. 22 to FIG. 25 are arranged and rearranged for each preset group. . However, in FIGS. 26 to 28, only the portion relating to the coordinate P60 of the printed circuit board 1 is illustrated.
- the first phase group [ ⁇ ] As shown in FIG. 26 to FIG. 28, in this embodiment, it is divided into 13 groups. Specifically, four groups of the first phase group [ ⁇ ], the second phase group [ ⁇ + 90 °], the third phase group [ ⁇ + 180 °], and the fourth phase group [ ⁇ + 270 °] related to the first pattern light, the second Four groups of first phase group [ ⁇ ], second phase group [ ⁇ + 90 °], third phase group [ ⁇ + 180 °] and fourth phase group [ ⁇ + 270 °] related to pattern light, and red group related to each uniform light [R], green group [G], blue group [B], near infrared color group [NIR], and near ultraviolet color group [NUV] are divided into a total of 13 groups.
- the first phase group [ ⁇ ] related to the first pattern light has five phases in the range of phase 0 ° to phase 24 ° (corresponding to a phase of 30 ° different in phase by 6 °) captured at the imaging timings t1 to t5. It consists of luminance values (see FIG. 26).
- phase groups [ ⁇ + 90 °] related to the first pattern light in the range of phase 90 ° to phase 114 ° (corresponding to a phase of 30 ° different in phase by 6 °) imaged at the imaging timing t16 to t20. (See FIG. 26).
- phase groups [ ⁇ + 180 °] related to the first pattern light in the range of phase 180 ° to phase 204 ° (corresponding to a phase of 30 ° different in phase by 6 °) captured at imaging timings t31 to t35. (See FIG. 26).
- phase groups [ ⁇ + 270 °] related to the first pattern light in the range of phase 270 ° to phase 294 ° (corresponding to a phase 30 ° different in phase by 6 °) imaged at imaging timings t46 to t50. (See FIG. 26).
- the first phase group [ ⁇ ] related to the second pattern light has five phases in the range of the phase 30 ° to the phase 54 ° (corresponding to the phase 30 ° that is different by 6 °) captured at the imaging timings t6 to t10. It consists of luminance values (see FIG. 27).
- the second phase group [ ⁇ + 90 °] related to the second pattern light is five in the range of the phase 120 ° to the phase 144 ° (corresponding to the phase 30 ° that is different by 6 °) captured at the imaging timings t21 to t25. (See FIG. 27).
- phase groups [ ⁇ + 180 °] related to the second pattern light in the range of phase 210 ° to phase 234 ° (corresponding to a phase of 30 °, each having a phase difference of 6 °) captured at imaging timings t36 to t40. (See FIG. 27).
- the fourth phase group [ ⁇ + 270 °] related to the second pattern light is five in the range of the phase 300 ° to phase 324 ° (corresponding to the phase 30 ° different in phase by 6 °) captured at the imaging timings t51 to t55. (See FIG. 27).
- the red group [R] is composed of four luminance values (R1, R2, R3, R4) imaged under red uniform light at the imaging timings t11, t26, t41, t56 (see FIG. 28).
- the green group [G] is composed of four luminance values (G1, G2, G3, G4) imaged under green uniform light at the imaging timings t12, t27, t42, t57 (see FIG. 28).
- the blue group [B] consists of four luminance values (B1, B2, B3, B4) imaged under blue uniform light at the imaging timings t13, t28, t43, t58 (see FIG. 28).
- the near-infrared color group [NIR] is composed of four luminance values (NIR1, NIR2, NIR3, NIR4) imaged under near-infrared color uniform light at the imaging timings t14, t29, t44, t59 (FIG. 28).
- the near ultraviolet color group [NUV] is composed of four luminance values (NUV1, NUV2, NUV3, NUV4) imaged under near ultraviolet color uniform light at imaging timings t15, t30, t45, and t60 (see FIG. 28). ).
- control device 16 When the grouping is completed, the control device 16 adds the five luminance values included in each phase group related to each pattern light, and executes an average process for calculating the average value. And the control apparatus 16 memorize
- the four types of luminance values (the average luminance value of each phase group) relating to the first pattern light and four types of luminance values relating to the second pattern light (the luminance values of each phase group) Average value) can be obtained.
- four types of image data having different light intensity distributions for the entire printed circuit board 1 relating to the first pattern light, and four types of image data having different light intensity distributions for the entire printed circuit board 1 relating to the second pattern light. Can be obtained.
- the four types of image data related to the first pattern light and the four types of image data related to the second pattern light acquired here are each of the pattern light having a sinusoidal light intensity distribution.
- the image data is similar to the four types of image data picked up by shifting the phase by 90 °.
- control device 16 obtains the four types of image data (four luminance values of each coordinate) related to the first pattern light and the four types of image data related to the second pattern light (as described above) ( Based on the four luminance values of each coordinate), three-dimensional measurement (height measurement) is performed by the known phase shift method described in the background art, and the measurement result is stored in the calculation result storage device 25.
- the measurement result obtained by irradiation of one is stored as the main measurement result, and the data missing portion is obtained by irradiation of the other (for example, the second pattern light). Compensation is based on the measured results.
- the pattern light from two directions, it is possible to prevent as much as possible the occurrence of a shadow portion that is not irradiated with the pattern light on the printed board 1.
- control device 16 adds the four luminance values included in each color group and executes an averaging process for calculating the average value. And the control apparatus 16 memorize
- the control device 16 uses the image data (hereinafter referred to as luminance) of the entire printed circuit board 1 having each color component of red, green, blue, near infrared color, and near ultraviolet color. (Referred to as image data) and stored in the calculation result storage device 25.
- the color information of each pixel of the luminance image data is determined, and various measurement target areas are extracted. For example, a range of “white” pixels is extracted as a solder print area, a range of “red” pixels is extracted as an exposed electrode area (background area) of the electrode pattern 3, and a range of “green” pixels is the base substrate. 2 or a substrate region (background region) where the resist film 5 is exposed.
- control device 16 determines the quality of the printed state of the cream solder 4 based on the measurement result obtained as described above. Specifically, the control device 16 detects the print range of the cream solder 4 that has become higher than the height reference plane by a predetermined length or more, and integrates the height of each part within this range to perform printing. The amount of the cream solder 4 is calculated.
- control device 16 uses the reference data (gerber data or the like) stored in the setting data storage device 26 in advance as the data such as the position, area, height or amount of the cream solder 4 thus obtained. A comparison determination is made, and whether the printing state of the cream solder 4 is good or not is determined depending on whether the comparison result is within an allowable range.
- the continuously transported printed circuit board 1 is imaged at a plurality of timings under the same illumination light, and the imaged result is added for each coordinate position on the printed circuit board 1.
- the averaging process By executing the averaging process, one image data used for a predetermined application is acquired.
- the first pattern light or the second pattern light Below, every time the printed circuit board 1 is conveyed by the predetermined amount ⁇ x, the luminance value of the image data for five times taken continuously is added for each coordinate position of the printed circuit board 1, and the average value is calculated.
- imaging results luminance values captured by different pixels of the camera 15 (imaging device) are added, so that the influence on the measurement result due to the performance variation of each pixel of the imaging device is reduced. Can do.
- the luminance dynamic range corresponding to all the parts (from the bright part to the dark part) on the printed circuit board 1 can be obtained by simply adding the results (luminance values) obtained by imaging a plurality of times without performing complicated processing. Wide image data can be acquired. Furthermore, the S / N ratio can be improved by adding the results of imaging a plurality of times.
- imaging is performed under pattern light at a plurality of consecutive timings among imaging timings for every elapse of a predetermined time ⁇ t at which imaging processing can be performed by the camera 15. It is configured to do. As a result, it is possible to suppress an apparent value of the gain (see the “background art”) from being reduced when performing the calculation by the phase shift method. As a result, more accurate three-dimensional measurement is possible.
- imaging is performed under uniform light of each color component at a plurality of non-consecutive timings among imaging timings at every elapse of a predetermined time ⁇ t at which imaging processing can be performed by the camera 15. It has a configuration. As a result, it is possible to add the imaged results at more distant positions than when adding the imaged results at relatively close positions after taking images at successive timings, and to average them. As a result, the influence of uneven brightness in uniform light illumination can be further alleviated.
- the illumination device 14 has a configuration in which the sixth illumination 14F that can irradiate near infrared color uniform light and the seventh illumination 14G that can irradiate near ultraviolet color uniform light are omitted.
- the illuminating device 14 includes the first illumination 14A that can irradiate the first pattern light, the second illumination 14B that can irradiate the second pattern light, and the red uniform light intensity that is constant in the entire range.
- Third illumination 14C capable of irradiating light
- fourth illumination 14D capable of irradiating green uniform light having a constant light intensity in the entire range
- fifth illumination capable of irradiating blue uniform light having a constant light intensity in the entire range 14E, and the irradiation light is switched and controlled by the control device 16.
- the number of pixels of the image sensor related to the imaging range W of the camera 15 in the transport direction (X direction) of the printed circuit board 1 is set to 72 pixels (X1 to X72), and the first illumination 14A and The length of one cycle (phase 360 °) of each pattern light emitted from the second illumination 14B is also set to a length corresponding to this.
- the transport amount (predetermined amount ⁇ x) of the printed circuit board 1 every predetermined time ⁇ t elapses is set to a distance corresponding to the phase of each pattern light of 10 °. That is, in this embodiment, the printed circuit board 1 is transported by two pixels of the image sensor.
- 29 to 44 show the types of irradiation light that changes with time (t1 to t36) and the printed circuit board while the printed circuit board 1 moves a distance corresponding to one cycle (phase 360 °) of the pattern light.
- 1 is a correspondence table for explaining the mode of irradiation light (phase of pattern light and color of uniform light) at each coordinate position on 1, and the relationship between these and the coordinate positions (X1 to X72) of each pixel of the image sensor. It is.
- the phase of the pattern light emitted from the illumination device 14 is fixed with respect to the coordinates X1 to X72 of the image sensor.
- the coordinate X72 of the image sensor is “0 °”
- the coordinate X71 is “5 °”
- the coordinate X70 is “10 °”
- the coordinate X1 is “355 °”.
- the phase of the pattern light changes by “10 °” with time (t1 to t36) as will be described later.
- the first pattern light is emitted from the first illumination 14A.
- a range corresponding to the coordinates P1 to P72 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the first pattern light is again emitted from the first illumination 14A.
- a range corresponding to coordinates P3 to P74 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the first pattern light is again irradiated from the first illumination 14A.
- a range corresponding to the coordinates P5 to P76 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the second pattern light is emitted from the second illumination 14B.
- a range corresponding to coordinates P7 to P78 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the second pattern light is again irradiated from the second illumination 14B.
- a range corresponding to the coordinates P9 to P80 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the second pattern light is again irradiated from the second illumination 14B.
- a range corresponding to the coordinates P11 to P82 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the red uniform light is emitted from the third illumination 14C.
- a range corresponding to the coordinates P13 to P84 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- “R1” at each coordinate position in FIGS. 29 to 32 indicates that the light irradiated to the position is “red uniform light”.
- the green uniform light is emitted from the fourth illumination 14D.
- a range corresponding to coordinates P15 to P86 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged. Note that “G1” at each coordinate position in FIGS. 29 to 32 indicates that the light applied to the position is “green uniform light”.
- the blue illumination light is emitted from the fifth illumination 14E.
- a range corresponding to the coordinates P17 to P88 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged. Note that “B1” at each coordinate position in FIGS. 29 to 32 indicates that the light applied to the position is “blue uniform light”.
- the first pattern light is emitted from the first illumination 14A.
- a range corresponding to coordinates P19 to P90 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the first pattern light is again emitted from the first illumination 14A.
- a range corresponding to coordinates P21 to P92 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the first pattern light is again irradiated from the first illumination 14A.
- a range corresponding to the coordinates P23 to P94 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the second pattern light is emitted from the second illumination 14B.
- a range corresponding to coordinates P25 to P96 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the second pattern light is irradiated again from the second illumination 14B.
- a range corresponding to the coordinates P27 to P98 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the second pattern light is irradiated from the second illumination 14B.
- a range corresponding to coordinates P29 to P100 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the red uniform light is emitted from the third illumination 14C.
- a range corresponding to the coordinates P31 to P102 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- R2 at each coordinate position in FIGS. 33 to 36 indicates that the light irradiated to the position is “red uniform light”.
- the green uniform light is emitted from the fourth illumination 14D.
- a range corresponding to the coordinates P33 to P104 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged. Note that “G2” at each coordinate position in FIGS. 33 to 36 indicates that the light emitted to the position is “green uniform light”.
- the blue illumination light is emitted from the fifth illumination 14E.
- a range corresponding to the coordinates P35 to P106 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- “B2” at each coordinate position in FIGS. 33 to 36 indicates that the light irradiated to the position is “blue uniform light”.
- the first pattern light is emitted from the first illumination 14A.
- a range corresponding to the coordinates P37 to P108 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the first pattern light is again irradiated from the first illumination 14A.
- a range corresponding to the coordinates P39 to P110 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the first pattern light is again irradiated from the first illumination 14A.
- a range corresponding to the coordinates P41 to P112 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the second pattern light is emitted from the second illumination 14B.
- a range corresponding to the coordinates P43 to P114 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the second pattern light is again irradiated from the second illumination 14B.
- a range corresponding to the coordinates P45 to P116 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the second pattern light is again irradiated from the second illumination 14B.
- a range corresponding to the coordinates P47 to P118 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the red uniform light is emitted from the third illumination 14C.
- a range corresponding to the coordinates P49 to P120 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged. Note that “R3” at each coordinate position in FIGS. 37 to 40 indicates that the light irradiated to the position is “red uniform light”.
- the green uniform light is emitted from the fourth illumination 14D.
- a range corresponding to coordinates P51 to P122 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged. Note that “G3” at each coordinate position in FIGS. 37 to 40 indicates that the light emitted to the position is “green uniform light”.
- the blue illumination light is emitted from the fifth illumination 14E.
- a range corresponding to the coordinates P53 to P124 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged. Note that “B3” at each coordinate position in FIGS. 37 to 40 indicates that the light irradiated to the position is “blue uniform light”.
- the first pattern light is emitted from the first illumination 14A.
- a range corresponding to the coordinates P55 to P126 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the first pattern light is again emitted from the first illumination 14A.
- a range corresponding to coordinates P57 to P128 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the first pattern light is again emitted from the first illumination 14A.
- a range corresponding to the coordinates P59 to P130 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the second pattern light is emitted from the second illumination 14B.
- a range corresponding to the coordinates P61 to P132 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the second pattern light is irradiated again from the second illumination 14B.
- a range corresponding to coordinates P63 to P134 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the second pattern light is irradiated again from the second illumination 14B.
- a range corresponding to the coordinates P65 to P136 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged.
- the red uniform light is emitted from the third illumination 14C.
- a range corresponding to the coordinates P67 to P138 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged. Note that “R4” at each coordinate position in FIGS. 41 to 44 indicates that the light applied to the position is “red uniform light”.
- the green uniform light is emitted from the fourth illumination 14D.
- a range corresponding to the coordinates P69 to P140 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged. Note that “G4” at each coordinate position in FIGS. 41 to 44 indicates that the light emitted to the position is “green uniform light”.
- the blue illumination light is emitted from the fifth illumination 14E.
- a range corresponding to the coordinates P71 to P142 on the printed circuit board 1 is located in the imaging range W (X1 to X72) of the camera 15, and the range is imaged. Note that “B4” at each coordinate position in FIGS. 41 to 44 indicates that the light applied to the position is “blue uniform light”.
- 45 to 48 are tables that schematically show the state in which the coordinate positions of a plurality of image data acquired at the imaging timings t1 to t36 are aligned.
- FIGS. 49 to 51 are tables schematically showing various data relating to the coordinate positions of the printed circuit board 1 shown in FIGS. 45 to 48 arranged in a predetermined group and rearranged. . However, in FIGS. 49 to 51, only the portions related to the coordinates P71 and P72 of the printed circuit board 1 are illustrated.
- this embodiment it is divided into 11 groups. Specifically, four groups of the first phase group [ ⁇ ], the second phase group [ ⁇ + 90 °], the third phase group [ ⁇ + 180 °], and the fourth phase group [ ⁇ + 270 °] related to the first pattern light, the second Four groups of first phase group [ ⁇ ], second phase group [ ⁇ + 90 °], third phase group [ ⁇ + 180 °] and fourth phase group [ ⁇ + 270 °] related to pattern light, and red group related to each uniform light [R], green group [G], and blue group [B] are grouped into a total of 11 groups.
- the first phase group [ ⁇ ] related to the first pattern light has a phase of 0 ° to 20 ° or a phase of 5 ° to 25 ° (corresponding to a phase of 30 °, which is different by 10 °) at the imaging timings t1 to t3. It consists of three luminance values in the range (see FIG. 49).
- the second phase group [ ⁇ + 90 °] related to the first pattern light has a phase of 90 ° to 110 ° or a phase of 95 ° to 115 ° captured at the imaging timing t10 to t12. ) In three ranges (see FIG. 49).
- the third phase group [ ⁇ + 180 °] related to the first pattern light has a phase of 180 ° to 200 ° or a phase of 185 ° to 205 ° captured at the imaging timing t19 to t21. ) In three ranges (see FIG. 49).
- the fourth phase group [ ⁇ + 270 °] related to the first pattern light has a phase of 270 ° to 290 ° or a phase of 275 ° to 295 ° captured at the imaging timings t28 to t30 (corresponding to a phase corresponding to a phase of 30 ° that is different by 10 °). ) In three ranges (see FIG. 49).
- the first phase group [ ⁇ ] related to the second pattern light has a phase of 30 ° to 50 ° or a phase of 35 ° to 55 ° (corresponding to a phase of 30 ° that is different by 10 °) taken at the imaging timings t4 to t6.
- the second phase group [ ⁇ + 90 °] related to the second pattern light has a phase of 120 ° to 140 ° or a phase of 125 ° to 145 ° (corresponding to a phase of 30 °, each having a phase difference of 10 °) taken at the imaging timings t13 to t15. ) In three ranges (see FIG. 50).
- the third phase group [ ⁇ + 180 °] related to the second pattern light has the phase 210 ° to 230 ° or the phase 215 ° to 235 ° (the phase is equivalent to the phase 30 °, which is different by 10 °) at the imaging timings t22 to t24. ) In three ranges (see FIG. 50).
- the fourth phase group [ ⁇ + 270 °] relating to the second pattern light has a phase of 300 ° to 320 ° or a phase of 305 ° to 325 ° captured at the imaging timings t31 to t33 (corresponding to a phase corresponding to 30 ° with a phase difference of 10 °). ) In three ranges (see FIG. 50).
- the red group [R] is composed of four luminance values (R1, R2, R3, R4) imaged under red uniform light at the imaging timings t7, t16, t25, t34 (see FIG. 51).
- the green group [G] is composed of four luminance values (G1, G2, G3, G4) captured under green uniform light at the imaging timings t8, t17, t26, and t35 (see FIG. 51).
- the blue group [B] is composed of four luminance values (B1, B2, B3, B4) captured under blue uniform light at the imaging timings t9, t18, t27, t36 (see FIG. 51).
- control device 16 When the grouping is completed, the control device 16 adds the three luminance values included in each phase group related to each pattern light, and executes an average process for calculating the average value. And the control apparatus 16 memorize
- the four types of luminance values (the average luminance value of each phase group) relating to the first pattern light and four types of luminance values relating to the second pattern light (the luminance values of each phase group) Average value) can be obtained.
- four types of image data having different light intensity distributions for the entire printed circuit board 1 relating to the first pattern light, and four types of image data having different light intensity distributions for the entire printed circuit board 1 relating to the second pattern light. Can be obtained.
- the four types of image data related to the first pattern light and the four types of image data related to the second pattern light acquired here are each of the pattern light having a sinusoidal light intensity distribution.
- the image data is similar to the four types of image data picked up by shifting the phase by 90 °.
- control device 16 obtains the four types of image data (four luminance values of each coordinate) related to the first pattern light and the four types of image data related to the second pattern light (as described above) ( Based on the four luminance values of each coordinate), three-dimensional measurement (height measurement) is performed by the known phase shift method described in the background art, and the measurement result is stored in the calculation result storage device 25.
- control device 16 adds the four luminance values included in each color group and executes an averaging process for calculating the average value. And the control apparatus 16 memorize
- the control device 16 uses the image data (hereinafter referred to as luminance) of the entire printed circuit board 1 having each color component of red, green, blue, near infrared color, and near ultraviolet color. (Referred to as image data) and stored in the calculation result storage device 25.
- the three-dimensional measurement of the printed circuit board 1 and the inspection of the printed state of the cream solder 4 are performed as in the first embodiment.
- the same operational effects as those of the first embodiment can be obtained.
- the printed circuit board 1 is conveyed by an amount corresponding to the phase of the pattern light of 10 ° (two pixels of the image sensor) every time the predetermined time ⁇ t elapses, the image capturing process is performed. While the measurement accuracy is slightly inferior to that of the embodiment, the measurement efficiency can be increased.
- the three-dimensional measuring device is embodied as the substrate inspection device 10 that measures the height of the cream solder 4 printed on the printed circuit board 1. It may be embodied in a configuration for measuring the height of other things such as solder bumps printed on the board or electronic parts mounted on the substrate.
- phase shift method when performing three-dimensional measurement by the phase shift method, four types of image data having different phases by 90 ° are obtained, but the number of phase shifts and the amount of phase shift are However, it is not limited to these. Other phase shift times and phase shift amounts that can be three-dimensionally measured by the phase shift method may be employed.
- three types of image data with different phases of 120 ° (or 90 °) may be acquired to perform three-dimensional measurement, or two types of image data with different phases of 180 ° (or 90 °) may be acquired. Then, it may be configured to perform three-dimensional measurement.
- the printed circuit board 1 when acquiring a plurality of image data (four image data in each of the above embodiments) necessary for performing three-dimensional measurement by the phase shift method, the printed circuit board 1 is irradiated. It is preferable that all the pattern light (first pattern light or second pattern light) to be formed is a combination of a pair of pattern lights having different phases by 180 °. In this way, in a plurality of imaging results imaged at a plurality of timings, an error based on the phase difference of the pattern light at a predetermined coordinate position on the printed circuit board 1 is calculated in the process of calculation by the phase shift method (above (See “Background Art”), and the influence can be reduced.
- the printed circuit board 1 when acquiring image data for three-dimensional measurement, the printed circuit board 1 is continuously transferred by a predetermined amount ⁇ x under the first pattern light or the second pattern light.
- the imaging is performed five times (or three times).
- the number of times of imaging and the timing of imaging related to acquisition of image data for three-dimensional measurement are not limited to this. For example, it is good also as a structure which performs the imaging which concerns on pattern light at several timing which is not continuous among the imaging timings for every predetermined time (DELTA) t progress.
- the luminance image data when the luminance image data is acquired, every time the printed circuit board 1 moves a distance corresponding to a quarter period (phase 90 °) of the pattern light, a total of four times, It is configured to perform imaging under uniform light of each color component.
- the number of imaging and the imaging timing related to the acquisition of luminance image data are not limited to this. For example, it may be configured to perform imaging related to uniform light at a plurality of successive timings among imaging timings every predetermined time ⁇ t.
- the configuration related to the irradiation means, such as the type of light emitted from each illumination, is not limited to the illumination device 14 of each of the above embodiments.
- the first illumination 14A and the second illumination 14B are configured to irradiate pattern light having a light intensity distribution close to an ideal sine wave using a liquid crystal optical shutter.
- a grating plate may be employed as a grating that converts light from the light source into pattern light.
- pattern light having a sinusoidal light intensity distribution pattern light having a light intensity distribution such as a rectangular wave shape or a trapezoidal wave shape may be applied as a striped pattern light.
- each said embodiment it becomes the structure provided with several uniform light illumination which irradiates uniform light, such as not only the 1st illumination 14A and 2nd illumination 14B which irradiate pattern light, but the 3rd illumination 14C.
- the configuration is not limited to this, and only the first illumination 14 ⁇ / b> A and the second illumination 14 ⁇ / b> B may be provided as long as the image data necessary for performing the three-dimensional measurement by the phase shift method is acquired.
- the first pattern light emitted from the first illumination 14A and the second pattern light emitted from the second illumination 14B are pattern lights having the same luminance and cycle.
- the present invention is not limited to this, and the pattern (stripe pitch) of each pattern light may be different.
- the first pattern light may be pattern light having a first period (for example, 600 ⁇ m)
- the second pattern light may be pattern light having a second period (for example, 800 ⁇ m) longer than the first period. If measurement is performed by combining the first pattern light having a short period and the second pattern light having a long period in this way, the second pattern light having a long period is applied to the region irradiated with both pattern lights. It is possible to obtain the effects of being able to increase the measurable height range, which is the merit of using the, and realizing high-precision measurement with high resolution, which is the merit of using the first pattern light with a short period. . As a result, high resolution measurement can be performed with a wide dynamic range, and more accurate measurement can be realized.
- Patent Documents 1 and 2 similarly to Patent Documents 1 and 2, it may be configured to obtain the same effect by irradiating pattern light (or uniform light) having different luminance.
- image data having a wide dynamic range of luminance corresponding to all parts (from bright to dark) on the printed circuit board 1 is obtained by adding the results (luminance values) obtained multiple times. Therefore, it is possible to suppress the occurrence of various problems based on the difference in brightness of each part on the printed circuit board 1 without irradiating light with different brightness.
- the phase shift method is adopted as a three-dimensional measurement method, but various other three-dimensional measurement methods such as a spatial code method, a moire method, and a focusing method may be adopted. it can. Therefore, instead of or in addition to the striped pattern light, another three-dimensional measurement light may be irradiated.
- the positional relationship between the lighting device 14 and the camera 15 and the printed circuit board 1 is relatively moved by continuously conveying the printed circuit board 1 by the conveyor 13, but the present invention is not limited thereto.
- the measurement head composed of the illumination device 14 and the camera 15 may be moved to relatively move the positional relationship with the printed circuit board 1.
- it may replace with the conveyor 13 and may employ
- the process of calculating the average value is omitted, and the three-dimensional measurement is performed based on the addition data (image data) obtained by adding the luminance values of the image data for a plurality of times for each coordinate of the printed circuit board 1. Also good.
- the pattern light may be continuously irradiated while the printed circuit board 1 is moving (for example, imaging timings t1 to t5).
- a CCD sensor is employed as the image sensor of the camera 15, but the image sensor is not limited to this, and a CMOS sensor or the like may be employed, for example.
- CMOS camera or a CCD camera having a function capable of exposure during data transfer is used as the camera 15, imaging (exposure) and data transfer are partially overlapped. Therefore, it is suitable for continuous conveyance of the printed circuit board 1, and the measurement time can be shortened.
- the luminance image data is used for performing extraction processing of various measurement target areas, but may be used for other purposes instead of or in addition to this.
- luminance image data may be mapped to three-dimensional data obtained by three-dimensional measurement.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
三次元計測を行うにあたり、計測精度の向上等を図ることのできる三次元計測装置を提供する。基板検査装置10は、プリント基板1を搬送するコンベア13と、プリント基板1の表面に対し所定の光を照射する照明装置14と、該光の照射されたプリント基板1を撮像するカメラ15とを備えている。そして、連続搬送されるプリント基板1を同一照明の光の下で複数のタイミングで撮像し、該撮像結果をプリント基板1上の各座標位置毎に加算し平均する処理を実行することにより、三次元計測など所定の用途に用いる1つの画像データを取得する。
Description
本発明は、三次元計測を行う三次元計測装置に関するものである。
一般に、プリント基板上に電子部品を実装する場合、まずプリント基板上に配設された所定の電極パターン上にクリーム半田が印刷される。次に、該クリーム半田の粘性に基づいてプリント基板上に電子部品が仮止めされる。その後、前記プリント基板がリフロー炉へ導かれ、所定のリフロー工程を経ることで半田付けが行われる。昨今では、リフロー炉に導かれる前段階においてクリーム半田の印刷状態を検査する必要があり、かかる検査に際して三次元計測装置が用いられることがある。
近年では、光を用いた非接触式の三次元計測装置が種々提案されている。例えば位相シフト法を用いた三次元計測装置がよく知られている。
位相シフト法を利用した三次元計測装置としては、例えば被計測物を搬送する搬送手段と、該被計測物に対し縞状のパターン光を照射する照射手段と、該パターン光の照射された被計測物を撮像する撮像手段とを備えたものが知られている(例えば、特許文献1,2参照)。撮像手段としては、レンズ及び撮像素子等からなるCCDカメラ等が用いられる。
かかる三次元計測装置においては、搬送される被計測物を複数のタイミングで撮像することにより、被計測物上における光強度分布がパターン光の所定位相分ずつ異なる複数の画像データを取得することができる。そして、これら複数の画像データを基に位相シフト法により被計測物の三次元計測を行うことができる。
例えば被計測物上における光強度分布がパターン光の位相90°分ずつ異なる4通りの画像データを取得した場合、当該4通りの画像データにおける被計測物上の所定の座標位置の輝度値I0,I1,I2,I3は、それぞれ下記式(1)、(2)、(3)、(4)により表すことができる。
I0=αsinθ+β ・・・(1)
I1=αsin(θ+90°)+β =αcosθ+β ・・・(2)
I2=αsin(θ+180°)+β=-αsinθ+β ・・・(3)
I3=αsin(θ+270°)+β=-αcosθ+β ・・・(4)
但し、 α:ゲイン、β:オフセット、θ:パターン光の位相。
I1=αsin(θ+90°)+β =αcosθ+β ・・・(2)
I2=αsin(θ+180°)+β=-αsinθ+β ・・・(3)
I3=αsin(θ+270°)+β=-αcosθ+β ・・・(4)
但し、 α:ゲイン、β:オフセット、θ:パターン光の位相。
上記式(1)、(2)、(3)、(4)を位相θについて解くと、下記式(5)を導き出すことができる。
θ=tan-1{(I0-I2)/(I1-I3)} ・・(5)
そして、上記のように算出された位相θを用いて、三角測量の原理に基づき、被計測物上の各座標(X,Y)における高さ(Z)を求めることができる。
そして、上記のように算出された位相θを用いて、三角測量の原理に基づき、被計測物上の各座標(X,Y)における高さ(Z)を求めることができる。
しかしながら、従来では、搬送される被計測物を複数のタイミングで撮像しているため、被計測物上の所定の座標位置を撮像素子の異なる画素でそれぞれ撮像することとなる。そのため、撮像素子の各画素で感度等の性能にばらつきがある場合には、計測誤差の原因となり得る。特に位相シフト法を利用した三次元計測においては、撮像素子の異なる画素で取得された輝度値を基に、被計測物上の所定の座標位置に係る演算を行うこととなるため、画素毎の性能のばらつきが計測誤差に直結するおそれがある。
尚、上記課題は、必ずしもプリント基板上に印刷されたクリーム半田等の高さ計測を行う場合に限らず、他の三次元計測装置の分野においても内在するものである。勿論、位相シフト法に限られる問題ではない。
本発明は、上記事情を鑑みてなされたものであり、その目的は、三次元計測を行うにあたり、計測精度の向上等を図ることのできる三次元計測装置を提供することにある。
以下、上記課題を解決するのに適した各手段につき項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。
手段1.被計測物(例えばプリント基板)に対し所定の光を照射可能な少なくとも1つの照明を有する照射手段と、
前記光の照射された前記被計測物を撮像可能な撮像手段と、
前記照射手段及び前記撮像手段と前記被計測物とを相対移動可能な移動手段とを備え、
前記照射手段及び前記撮像手段と前記被計測物とを相対移動させつつ、該被計測物に対し前記照射手段から所定のタイミングに所定の光を照射し、前記撮像手段により撮像された撮像結果を基に前記被計測物の三次元計測を実行可能な三次元計測装置であって、
前記撮像手段により撮像された撮像結果を基に、所定の用途(例えば上記三次元計測)に用いる画像データを取得可能な画像データ取得手段と、
前記画像データ取得手段により取得された少なくとも1つの画像データを基に、所定の処理(例えば三次元計測処理)を実行可能な画像処理手段とを備え、
前記画像データ取得手段が1つの画像データを取得する上で、
前記照射手段の同一照明から照射される光の下での撮像(露光)を、前記照射手段及び前記撮像手段と前記被計測物との相対位置関係が異なる複数のタイミングで実行し、
該撮像結果(撮像された複数の画像データの各画素の輝度値)を前記被計測物上の各座標位置毎に(座標位置を一致させた上で)加算又は平均する処理を実行することを特徴する三次元計測装置。
前記光の照射された前記被計測物を撮像可能な撮像手段と、
前記照射手段及び前記撮像手段と前記被計測物とを相対移動可能な移動手段とを備え、
前記照射手段及び前記撮像手段と前記被計測物とを相対移動させつつ、該被計測物に対し前記照射手段から所定のタイミングに所定の光を照射し、前記撮像手段により撮像された撮像結果を基に前記被計測物の三次元計測を実行可能な三次元計測装置であって、
前記撮像手段により撮像された撮像結果を基に、所定の用途(例えば上記三次元計測)に用いる画像データを取得可能な画像データ取得手段と、
前記画像データ取得手段により取得された少なくとも1つの画像データを基に、所定の処理(例えば三次元計測処理)を実行可能な画像処理手段とを備え、
前記画像データ取得手段が1つの画像データを取得する上で、
前記照射手段の同一照明から照射される光の下での撮像(露光)を、前記照射手段及び前記撮像手段と前記被計測物との相対位置関係が異なる複数のタイミングで実行し、
該撮像結果(撮像された複数の画像データの各画素の輝度値)を前記被計測物上の各座標位置毎に(座標位置を一致させた上で)加算又は平均する処理を実行することを特徴する三次元計測装置。
上記手段1によれば、相対移動する被計測物を同一照明の光の下で複数のタイミングで撮像し、該撮像結果を被計測物上の各座標位置毎に加算又は平均する処理を実行することにより、所定の用途に用いる1つの画像データを取得する構成となっている。
これにより、撮像手段(撮像素子)の異なる画素で撮像した撮像結果(輝度値)を加算等することとなるため、撮像素子の画素毎の性能のばらつきによる計測結果への影響を緩和することができる。
尚、特許文献1,2では、照明の輝度を変えて撮像することで、被計測物上の各部位(明部や暗部)に適した画像データを取得する構成となっているが、被計測物上の所定部位に係る演算を行う際、輝度の異なる複数の画像データの中から当該部位に適した何れかの画像データを選択するといった処理が必要になり、処理が複雑化するおそれがある。
この点、本手段によれば、このような複雑な処理をすることなく、単純に複数回撮像した結果(輝度値)を加算等するだけで、被計測物上のすべての部位(明部から暗部まで)に対応した輝度のダイナミックレンジの広い画像データを取得することができる。
一般に撮像素子が受光した光量(受光量)が多いほど、より計測に適した画質の良い画像、つまりノイズや量子化誤差の影響が小さい画像を得ることができる。しかし、撮像(露光)時間が長いと、撮像素子が飽和レベルに達してしまい、画像がいわゆる「白飛び」してしまう。これに対し、撮像(露光)を複数回行い、画素毎に輝度値を加算することで、飽和させることなく、受光量のより多い画像を得ることができる。
加えて、複数回撮像した結果を加算等することでS/N比を向上することができる。これについて、図52に示したシミュレーション結果を基に詳しく説明する。ここでは、ノイズをモデル化して1回の撮像で「1(V)」、「0(V)」、「-1(V)」の3種類のうちの1つのノイズが等しい確率でのるものとし、2回の撮像では、同様に2回のるものと仮定してS/N比を計算してみたところ、1回の撮像では「1.22×A(A:信号レベル)」だった値が2回の撮像により「1.73×A」に改善した。尚、図52中の「σ」は標準偏差を示す。
結果として、一回の撮像で取得した画像データを用いた場合よりも計測精度の向上等を図ることができる。
手段2.前記照射手段は、縞状(例えば正弦波状)の光強度分布を有するパターン光を照射可能な照明を備え、
前記画像データ取得手段は、少なくとも前記パターン光の下で撮像された撮像結果を基に、前記被計測物上における光強度分布が前記パターン光の所定位相分(例えば位相90°相当分)ずつ異なる複数の画像データ(例えば4つの画像データ)を取得可能に構成され、
前記画像処理手段は、前記画像データ取得手段により取得された前記複数の画像データを基に位相シフト法により前記被計測物の三次元計測を実行可能に構成されていることを特徴する手段1に記載の三次元計測装置。
前記画像データ取得手段は、少なくとも前記パターン光の下で撮像された撮像結果を基に、前記被計測物上における光強度分布が前記パターン光の所定位相分(例えば位相90°相当分)ずつ異なる複数の画像データ(例えば4つの画像データ)を取得可能に構成され、
前記画像処理手段は、前記画像データ取得手段により取得された前記複数の画像データを基に位相シフト法により前記被計測物の三次元計測を実行可能に構成されていることを特徴する手段1に記載の三次元計測装置。
上記手段2によれば、被計測物を相対移動させつつ三次元計測を行う三次元計測装置においても、輝度のダイナミックレンジが広くノイズの少ない画像データを基に、位相シフト法による三次元計測を行うことが可能となる。以下、この原理について図53を参照して説明する。
図53は、被計測物上の各座標位置と、90°ずつ位相の異なる4つの正弦波状のパターン光の輝度値との関係を示したグラフである。ここで横軸として示した位相値は、被計測物上の各座標位置を示すものであり、基準とするsinθのパターン光の各位相に対応する被計測物上の位置を指す。また、ここでは輝度の最大値を「1」、輝度の最小値を「0」と設定している。
図53の例において、撮像タイミングt1における撮像で輝度値がsinθ=a1となり、撮像タイミングt2における撮像で輝度値がsinθ=a2となった場合、その値を単純加算して処理すると、輝度値は[a1+a2]となる。これは[a1とa2との平均の2倍]であり、[撮像タイミングt1.5における輝度値の2倍]に相当する値となる。
上記関係は、sinθのパターン光のみならず、sin(θ+π/2)、sin(θ+π)、sin(θ+3π/2)それぞれのパターン光においても同様であることから、公知の位相シフト法の計算式(上記「背景技術」参照)においてゲインαとオフセットβの値が変わるだけで撮像タイミングt1.5における輝度値により位相θを求めることと実質的には等しくなる。つまり、位相シフト法を利用した三次元計測においては、照射したパターン光の位相が異なる画像データ(輝度値)を複数加算したとしても、その平均の位相のパターン光が照射されたものとして計測を行うことが可能となる。
手段3.前記照射手段及び前記撮像手段と前記被計測物とが少なくとも前記所定位相分よりも小さい所定量(例えばパターン光の位相6°相当分)相対移動するタイミング毎に前記撮像手段による撮像処理を実行可能な構成の下、
前記撮像処理を実行可能なタイミングのうち、連続した複数回分のタイミングを、前記同一照明から照射されるパターン光の下での撮像を行う複数のタイミングとしたことを特徴する手段2に記載の三次元計測装置。
前記撮像処理を実行可能なタイミングのうち、連続した複数回分のタイミングを、前記同一照明から照射されるパターン光の下での撮像を行う複数のタイミングとしたことを特徴する手段2に記載の三次元計測装置。
上記手段3によれば、位相シフト法による三次元計測を行う上で必要な複数の画像データのうちの1つの画像データを取得する際には、パターン光の下で被計測物が所定量相対移動される毎に複数回連続して撮像し、該撮像結果を被計測物上の各座標位置毎に加算又は平均する処理を実行することとなる。
また、連続したタイミングで撮像することにより、公知の位相シフト法の計算式におけるゲインαの見かけ上の値が小さくなること(図53の撮像タイミングt1.5参照)が抑制される。結果として、より高精度の三次元計測が可能となる。
手段4.前記画像データ取得手段が前記複数の画像データ(例えば4つの画像データ)を取得する上で、前記被計測物に対し照射されるパターン光がすべて180°位相の異なる一対のパターン光の組み合わせからなることを特徴する手段2又は3に記載の三次元計測装置。
上記手段4によれば、複数のタイミングで撮像された複数の撮像結果において、被計測物上の所定の座標位置におけるパターン光の位相が異なることに基づく誤差を、位相シフト法による計算の過程(上記「背景技術」参照)で相殺することができ、その影響を小さく抑えることができる。
例えば図53において、撮像タイミングt3における撮像で輝度値がsinθ=b1となり、撮像タイミングt4における撮像で輝度値がsinθ=b2となった場合、その値を単純加算して処理すると、輝度値は[b1+b2]となる。しかし、この場合、[b1とb2との平均の2倍]が[撮像タイミングt3.5における輝度値の2倍]とは等しくならない。
但し、この場合、sin(θ+π) のパターン光における[c1+c2]も[撮像タイミングt3.5における輝度値の2倍]とは等しくなく、[b1+b2]-[撮像タイミングt3.5におけるsinθの値]=[撮像タイミングt3.5におけるsin(θ+π)の値]-[c1+c2]となることから、公知の位相シフト法の計算式においてゲインαがやや小さくなるだけで撮像タイミングt3.5における輝度値により位相θを求めることと実質的には等しくなる。結果として、さらなる計測精度の向上を図ることができる。
手段5.前記照射手段は、光強度が一定の均一光を照射可能な少なくとも1つの照明を備え、
前記画像データ取得手段は、少なくとも前記均一光の下で撮像された撮像結果を基に輝度画像データを取得可能に構成されていることを特徴する手段1乃至4のいずれかに記載の三次元計測装置。
前記画像データ取得手段は、少なくとも前記均一光の下で撮像された撮像結果を基に輝度画像データを取得可能に構成されていることを特徴する手段1乃至4のいずれかに記載の三次元計測装置。
上記手段5によれば、取得した輝度画像データを基に、前記画像処理手段が例えば三次元計測により得られた三次元データに対しマッピングを行うことや、計測領域の抽出を行うこと等が可能となる。結果として、さらなる計測精度の向上等を図ることができる。
尚、一般に三次元計測装置において主要な役割を果たす三次元計測(パターン光)用の照明機構に比べ、補助的な役割を果たす輝度画像(均一光)用の照明機構は、スペース上の問題で簡素にせざるを得ないため、照明の輝度のばらつき(輝度ムラ)が生じやすくなるおそれがある。この点、本手段によれば、上記手段1の構成の下、均一光照明の輝度ムラによる影響を緩和することができる。特にテレセントリック光学系を使用しない場合は、均一光照明の輝度ムラによる影響を受けやすくなるため、より奏功することとなる。
手段6.前記照射手段及び前記撮像手段と前記被計測物とが所定量相対移動するタイミング毎に前記撮像手段による撮像処理を実行可能な構成の下、
前記撮像処理を実行可能なタイミングのうち、連続しない複数回分のタイミングを、前記同一照明から照射される均一光の下での撮像を行う複数のタイミングとしたことを特徴する手段5に記載の三次元計測装置。
前記撮像処理を実行可能なタイミングのうち、連続しない複数回分のタイミングを、前記同一照明から照射される均一光の下での撮像を行う複数のタイミングとしたことを特徴する手段5に記載の三次元計測装置。
上記手段6によれば、連続したタイミングで撮像し比較的近い位置の撮像結果を加算等する場合よりも、より離れた位置の撮像結果を加算等することができ、より平均化することができる。結果として、均一光照明における輝度ムラの影響をより緩和することができ、上記手段5の作用効果をさらに高めることができる。
特に上記手段2に係る構成の下、同一照明から照射される均一光の下での撮像回数をn回とし、パターン光の1周期(1波長を進むのに要する時間)をTとした場合、タイミング[T/n]毎に均一光の下で撮像することが好ましい。
手段7.前記照射手段は、それぞれ所定の光を照射する複数の照明を備え、
所定の順序に従い前記複数の照明を切替え、所定のタイミングに所定の光(複数の照明のうちのいずれか1つの照明からの光)を照射可能に構成されていることを特徴とする手段1乃至6のいずれかに記載の三次元計測装置。
所定の順序に従い前記複数の照明を切替え、所定のタイミングに所定の光(複数の照明のうちのいずれか1つの照明からの光)を照射可能に構成されていることを特徴とする手段1乃至6のいずれかに記載の三次元計測装置。
尚、複数の照明から照射される光には、例えば均一光やパターン光など照射態様の異なる異種の光や、輝度の異なる2種類のパターン光など輝度の異なる同種の光、輝度や照射態様が同じで照射方向のみが異なる光なども含まれる。
上記手段7によれば、例えば第1の照明から照射される光の下での撮像を複数回行う合間に、第2の照明から照射される光の下での撮像を行うことができる。
具体例としては、例えば三次元計測を目的として所定のパターン光の下で複数の画像データが取得される合間(1つの画像データの取得に係る一連の撮像が複数回行われる合間)にそれぞれ、1つの輝度画像データを取得することを目的とした所定の均一光の下での複数回の撮像のうちの1回が行われる構成が挙げられる。
かかる場合、三次元計測を行う上で必要な全ての画像データを取得するのに要する時間を延ばすことなく、該三次元計測用の画像データの取得に加え、該三次元計測とは異なる他の用途に用いる画像データ(画像処理手段により所定の処理を実行するための画像データ)を別途取得することができる。
結果として、複数種の計測を組み合せて行うことが可能となり、三次元計測を行うにあたり、計測効率の低下を抑制しつつ、計測精度の向上等を図ることができる。
これに代えて又は加えて、例えば三次元計測を目的として第1の方向から照射した第1のパターン光の下で複数の画像データが取得される合間(1つの画像データの取得に係る一連の撮像が複数回行われる合間)にそれぞれ、三次元計測を目的として第2の方向から照射した第2のパターン光の下で1つの画像データを取得する(1つの画像データの取得に係る一連の撮像が行われる)構成とすることができる。
パターン光を異なる方向から照射することにより、被計測物にパターン光が照射されない影の部分が生じることを極力防止することができる。
手段8.前記被計測物は、クリーム半田が印刷されたプリント基板であること、又は、半田バンプが形成されたウエハ基板であることを特徴とする手段1乃至7のいずれかに記載の三次元計測装置。
上記手段8によれば、プリント基板に印刷されたクリーム半田、又は、ウエハ基板に形成された半田バンプの高さ計測等を行うことができる。ひいては、クリーム半田又は半田バンプの検査において、その計測値に基づいてクリーム半田又は半田バンプの良否判定を行うことができる。従って、かかる検査において、上記各手段の作用効果が奏されることとなり、精度よく良否判定を行うことができる。結果として、半田印刷検査装置又は半田バンプ検査装置における検査精度の向上を図ることができる。
〔第1実施形態〕
以下、一実施形態について図面を参照しつつ説明する。まず被計測物としてのプリント基板の構成について詳しく説明する。
以下、一実施形態について図面を参照しつつ説明する。まず被計測物としてのプリント基板の構成について詳しく説明する。
図2に示すように、プリント基板1は、平板状をなし、ガラスエポキシ樹脂等からなるベース基板2に、銅箔からなる電極パターン3が設けられている。さらに、所定の電極パターン3上には、クリーム半田4が印刷形成されている。このクリーム半田4が印刷された領域を「半田印刷領域」ということにする。半田印刷領域以外の部分を「背景領域」と総称するが、この背景領域には、電極パターン3が露出した領域(記号A)、ベース基板2が露出した領域(記号B)、ベース基板2上にレジスト膜5がコーティングされた領域(記号C)、及び、電極パターン3上にレジスト膜5がコーティングされた領域(記号D)が含まれる。なお、レジスト膜5は、所定配線部分以外にクリーム半田4がのらないように、プリント基板1の表面にコーティングされるものである。
次に、本実施形態における三次元計測装置を具備する基板検査装置の構成について詳しく説明する。図1は、基板検査装置10を模式的に示す概略構成図である。
基板検査装置10は、プリント基板1を搬送する搬送手段(移動手段)としてのコンベア13と、プリント基板1の表面に対し斜め上方から所定の光を照射する照射手段としての照明装置14と、該光の照射されたプリント基板1を撮像する撮像手段としてのカメラ15と、コンベア13や照明装置14、カメラ15の駆動制御など基板検査装置10内における各種制御や画像処理、演算処理を実施するための制御装置16(図3参照)とを備えている。制御装置16は、本実施形態における画像データ取得手段や画像処理手段を構成する。
コンベア13には、図示しないモータ等の駆動手段が設けられており、該モータが制御装置16により駆動制御されることによって、コンベア13上に載置されたプリント基板1が所定方向(図1右方向)へ定速で連続搬送される。これにより、カメラ15の撮像範囲Wは、プリント基板1に対し逆方向(図1左方向)へ相対移動していくこととなる。
照明装置14は、7つの照明を備え、照射される光が制御装置16により切替制御される。具体的には、縞状のパターン光(第1パターン光)を照射可能な第1照明14Aと、縞状のパターン光(第2パターン光)を照射可能な第2照明14Bと、全範囲において光強度が一定の赤色均一光を照射可能な第3照明14Cと、全範囲において光強度が一定の緑色均一光を照射可能な第4照明14Dと、全範囲において光強度が一定の青色均一光を照射可能な第5照明14Eと、全範囲において光強度が一定の近赤外色均一光を照射可能な第6照明14Fと、全範囲において光強度が一定の近紫外色均一光を照射可能な第7照明14Gとを備えている。
第1照明14A~第7照明14Gは、公知のものであるため、図面を用いた詳細な説明は省略する。例えば第1照明14A及び第2照明14Bは、所定の光を発する光源や、該光源からの光をパターン光に変換する液晶光学シャッタを備えている。
ここで、光源から発せられた光は集光レンズに導かれ、そこで平行光にされた後、液晶光学シャッタを介して投影レンズに導かれ、縞状のパターン光として照射されることとなる。
液晶光学シャッタを使用することによって、理想的な正弦波に近い光強度分布を有するパターン光を生成することができ、三次元計測の計測分解能が向上する。また、パターン光の位相シフトの制御を電気的に行うことができ、制御系のコンパクト化を図ることができる。
第1照明14A及び第2照明14Bは、カメラ15の光軸方向である略鉛直方向(Z軸方向)に沿って視た平面視(X-Y平面)において、プリント基板1の搬送方向(X方向)にカメラ15を挟んで相対向する位置に配置されている。また、本実施形態では、第1照明14Aから照射される第1パターン光と、第2照明14Bから照射される第2パターン光とが輝度及び周期が同一のパターン光となっている。
図4に示すように、本実施形態では、縞の方向がプリント基板1の搬送方向(X方向)と直交するパターン光が照射される。すなわち、搬送されるプリント基板1上において搬送方向(X方向)と直交する方向(Y方向)に平行なパターン光が照射される。これにより、プリント基板1に対し、その搬送方向に沿って縞状(正弦波状)の光強度分布を有するパターン光が照射されることとなる。但し、図4では、簡略化のため、中間階調域を省略し、明暗2値の縞模様でパターン光を図示している。
上記公知の構成に加え、集光レンズや投影レンズなど、第1照明14Aや第2照明14B等の光学系にテレセントリック光学系を用いた構成としてもよい。プリント基板1は、コンベア13により搬送される際に高さ位置が微妙に変化してしまうおそれがある。テレセントリック光学系を用いれば、このような変化に影響を受けることなく、精度良く計測を行うことができる。
カメラ15は、レンズや撮像素子等を備え、その光軸がコンベア13上に載置されるプリント基板1に垂直な方向(Z方向)に沿って設定されている。本実施形態では、撮像素子としてCCDセンサを採用している。
カメラ15によって撮像された画像データは、該カメラ15内部においてデジタル信号に変換された上で、デジタル信号の形で制御装置16に入力され、後述する画像データ記憶装置24に記憶される。そして、制御装置16は、該画像データを基に、後述するような画像処理や演算処理等を実施する。
次に、制御装置16の電気的構成について図3を参照して詳しく説明する。図3は、基板検査装置10の概略を示すブロック図である。
図3に示すように、制御装置16は、基板検査装置10全体の制御を司るCPU及び入出力インターフェース21、キーボードやマウス、タッチパネル等で構成される「入力手段」としての入力装置22、CRTや液晶などの表示画面を有する「表示手段」としての表示装置23、カメラ15により撮像された画像データなどを記憶するための画像データ記憶装置24、該画像データに基づいて得られた三次元計測結果など、各種演算結果を記憶するための演算結果記憶装置25、設計データなどの各種情報を予め記憶しておくための設定データ記憶装置26などを備えている。尚、これら各装置22~26は、CPU及び入出力インターフェース21に対し電気的に接続されている。
次に、基板検査装置10にて実行される三次元計測処理等の各種処理について詳しく説明する。
制御装置16は、コンベア13を駆動制御してプリント基板1を定速で連続搬送する。そして、制御装置16は、コンベア13に設けられた図示しないエンコーダからの信号に基づいて、照明装置14及びカメラ15を駆動制御する。
より詳しくは、プリント基板1が所定量Δx搬送される毎、つまり所定時間Δtが経過する毎に、所定の順序で照明装置14から照射される光を切替えると共に、該光の照射されたプリント基板1をカメラ15により撮像する撮像処理を実行する。所定時間Δtが経過する毎にカメラ15により撮像された画像データは、随時、画像データ記憶装置24へ転送され記憶される。
尚、本実施形態では、前記所定量Δxが、第1照明14A及び第2照明14Bから照射されるパターン光の位相6°相当分の距離に設定されている。また、プリント基板1の搬送方向(X方向)におけるカメラ15の撮像範囲Wがパターン光の1周期(位相360°)相当分の長さに設定されている。勿論、所定量Δxやカメラ15の撮像範囲Wは、これに限定されるものではなく、これより長くてもよいし、短くてもよい。
ここで、照明装置14から照射される光と、カメラ15により撮像されるプリント基板1との関係について具体例を挙げ詳しく説明する。
図5は、時間経過と共に相対移動するカメラ15の撮像範囲Wと、プリント基板1上の座標位置との関係を説明するための模式図である。図6~21は、プリント基板1がパターン光の1周期(位相360°)相当分の距離を移動する間において、時間経過(t1~t60)と共に変化する照射光の種類、及び、プリント基板1上の各座標位置における照射光の態様(パターン光の位相や均一光の色)、並びに、これらと撮像素子の各画素の座標位置(X1~X60)との関係を説明するための対応表である。
尚、プリント基板1上における搬送方向(X方向)と直交する方向(Y方向)については、プリント基板1のY方向全範囲がカメラ15の撮像範囲内に含まれ、X方向の同一座標位置におけるY方向の各座標位置については照射光の種類及び態様に違いはない。
また、カメラ15と照明装置14の位置関係は固定されているため、照明装置14から照射されるパターン光の位相は、撮像素子の各座標X1~X60に対し固定されている。例えば撮像素子の座標X60で「0°」、座標X59で「6°」、座標X58で「12°」、・・・、座標X1で「354°」となる。一方、搬送されるプリント基板1上の各座標位置(例えば座標P60)においては、後述するように時間経過(t1~t60)と共にパターン光の位相が「6°」ずつ変化していく。但し、図6~21で示されるパターン光の位相は、高さ位置「0」かつ平面をなす基準面に照射された場合を想定したものである。
図6~図9に示すように、撮像タイミングt1においては、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P1~P60に相当する範囲が位置しており、該範囲が撮像されることとなる。
ここから所定時間Δtが経過した撮像タイミングt2(図6~図9参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P2~P61に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt3(図6~図9参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P3~P62に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt4(図6~図9参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P4~P63に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt5(図6~図9参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P5~P64に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt6(図6~図9参照)においては、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P6~P65に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt7(図6~図9参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P7~P66に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt8(図6~図9参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P8~P67に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt9(図6~図9参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P9~P68に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt10(図6~図9参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P10~P69に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt11(図6~図9参照)においては、第3照明14Cから赤色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P11~P70に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図6~図9中の各座標位置において「R1」とあるのは、該位置に照射された光が「赤色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt12(図6~図9参照)においては、第4照明14Dから緑色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P12~P71に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図6~図9中の各座標位置において「G1」とあるのは、該位置に照射された光が「緑色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt13(図6~図9参照)においては、第5照明14Eから青色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P13~P72に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図6~図9中の各座標位置において「B1」とあるのは、該位置に照射された光が「青色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt14(図6~図9参照)においては、第6照明14Fから近赤外色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P14~P73に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図6~図9中の各座標位置において「NIR1」とあるのは、該位置に照射された光が「近赤外色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt15(図6~図9参照)においては、第7照明14Gから近紫外色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P15~P74に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図6~図9中の各座標位置において「NUV1」とあるのは、該位置に照射された光が「近紫外色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt16(図10~図13参照)においては、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P16~P75に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt17(図10~図13参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P17~P76に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt18(図10~図13参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P18~P77に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt19(図10~図13参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P19~P78に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt20(図10~図13参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P20~P79に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt21(図10~図13参照)においては、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P21~P80に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt22(図10~図13参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P22~P81に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt23(図10~図13参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P23~P82に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt24(図10~図13参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P24~P83に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt25(図10~図13参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P25~P84に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt26(図10~図13参照)においては、第3照明14Cから赤色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P26~P85に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図10~図13中の各座標位置において「R2」とあるのは、該位置に照射された光が「赤色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt27(図10~図13参照)においては、第4照明14Dから緑色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P27~P86に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図10~図13中の各座標位置において「G2」とあるのは、該位置に照射された光が「緑色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt28(図10~図13参照)においては、第5照明14Eから青色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P28~P87に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図10~図13中の各座標位置において「B2」とあるのは、該位置に照射された光が「青色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt29(図10~図13参照)においては、第6照明14Fから近赤外色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P29~P88に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図10~図13中の各座標位置において「NIR2」とあるのは、該位置に照射された光が「近赤外色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt30(図10~図13参照)においては、第7照明14Gから近紫外色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P30~P89に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図10~図13中の各座標位置において「NUV2」とあるのは、該位置に照射された光が「近紫外色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt31(図14~図17参照)においては、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P31~P90に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt32(図14~図17参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P32~P91に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt33(図14~図17参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P33~P92に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt34(図14~図17参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P34~P93に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt35(図14~図17参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P35~P94に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt36(図14~図17参照)においては、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P36~P95に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt37(図14~図17参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P37~P96に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt38(図14~図17参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P38~P97に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt39(図14~図17参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P39~P98に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt40(図14~図17参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P40~P99に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt41(図14~図17参照)においては、第3照明14Cから赤色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P41~P100に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図14~図17中の各座標位置において「R3」とあるのは、該位置に照射された光が「赤色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt42(図14~図17参照)においては、第4照明14Dから緑色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P42~P101に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図14~図17中の各座標位置において「G3」とあるのは、該位置に照射された光が「緑色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt43(図14~図17参照)においては、第5照明14Eから青色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P43~P102に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図14~図17中の各座標位置において「B3」とあるのは、該位置に照射された光が「青色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt44(図14~図17参照)においては、第6照明14Fから近赤外色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P44~P103に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図14~図17中の各座標位置において「NIR3」とあるのは、該位置に照射された光が「近赤外色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt45(図14~図17参照)においては、第7照明14Gから近紫外色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P45~P104に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図14~図17中の各座標位置において「NUV3」とあるのは、該位置に照射された光が「近紫外色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt46(図18~図21参照)においては、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P46~P105に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt47(図18~図21参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P47~P106に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt48(図18~図21参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P48~P107に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt49(図18~図21参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P49~P108に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt50(図18~図21参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P50~P109に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt51(図18~図21参照)においては、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P51~P110に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt52(図18~図21参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P52~P111に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt53(図18~図21参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P53~P112に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt54(図18~図21参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P54~P113に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt55(図18~図21参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P55~P114に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt56(図18~図21参照)においては、第3照明14Cから赤色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P56~P115に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図18~図21中の各座標位置において「R4」とあるのは、該位置に照射された光が「赤色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt57(図18~図21参照)においては、第4照明14Dから緑色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P57~P116に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図18~図21中の各座標位置において「G4」とあるのは、該位置に照射された光が「緑色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt58(図18~図21参照)においては、第5照明14Eから青色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P58~P117に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図18~図21中の各座標位置において「B4」とあるのは、該位置に照射された光が「青色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt59(図18~図21参照)においては、第6照明14Fから近赤外色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P59~P118に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図18~図21中の各座標位置において「NIR4」とあるのは、該位置に照射された光が「近赤外色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt60(図18~図21参照)においては、第7照明14Gから近紫外色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X60)には、プリント基板1上の座標P60~P119に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図18~図21中の各座標位置において「NUV4」とあるのは、該位置に照射された光が「近紫外色均一光」であることを指す。
このようにして、プリント基板1の所定の座標位置(例えば座標P60)に係る全てのデータが取得されると、上記各画像データの座標位置を位置合せする(各画像データの相互間の座標系を合せる)位置合せ処理を実行する(図22~図25参照)。かかる処理を実行する機能が本実施形態における位置合せ手段を構成する。図22~図25は、撮像タイミングt1~t60において取得した複数の画像データの座標位置を位置合せした状態を模式的に示した表である。
続いて、複数の画像データの同一座標位置に係る各種データを各座標位置ごとにまとめた上で、予め設定したグループ(カテゴリー)ごとに整理して、演算結果記憶装置25に記憶する(図26~図28参照)。図26~図28は、図22~図25に示したプリント基板1の各座標位置に係る各種データを、予め設定したグループごとに整理して並べ替えた状態を模式的に示した表である。但し、図26~図28では、プリント基板1の座標P60に係る部分のみを例示している。
図26~図28に示すように、本実施形態では、13個のグループに分けられる。詳しくは、第1パターン光に係る第1位相グループ[θ]、第2位相グループ[θ+90°]、第3位相グループ[θ+180°]、第4位相グループ[θ+270°]の4つのグループ、第2パターン光に係る第1位相グループ[θ]、第2位相グループ[θ+90°]、第3位相グループ[θ+180°]、第4位相グループ[θ+270°]の4つのグループ、各均一光に係る赤色グループ[R]、緑色グループ[G]、青色グループ[B]、近赤外色グループ[NIR]、近紫外色グループ[NUV]の5つのグループの計13グループに分けて整理される。
第1パターン光に係る第1位相グループ[θ]は、撮像タイミングt1~t5において撮像された位相0°~位相24°(位相が6°ずつ異なる位相30°相当分)の範囲における5個の輝度値からなる(図26参照)。
第1パターン光に係る第2位相グループ[θ+90°]は、撮像タイミングt16~t20において撮像された位相90°~位相114°(位相が6°ずつ異なる位相30°相当分)の範囲における5個の輝度値からなる(図26参照)。
第1パターン光に係る第3位相グループ[θ+180°]は、撮像タイミングt31~t35において撮像された位相180°~位相204°(位相が6°ずつ異なる位相30°相当分)の範囲における5個の輝度値からなる(図26参照)。
第1パターン光に係る第4位相グループ[θ+270°]は、撮像タイミングt46~t50において撮像された位相270°~位相294°(位相が6°ずつ異なる位相30°相当分)の範囲における5個の輝度値からなる(図26参照)。
第2パターン光に係る第1位相グループ[θ]は、撮像タイミングt6~t10において撮像された位相30°~位相54°(位相が6°ずつ異なる位相30°相当分)の範囲における5個の輝度値からなる(図27参照)。
第2パターン光に係る第2位相グループ[θ+90°]は、撮像タイミングt21~t25において撮像された位相120°~位相144°(位相が6°ずつ異なる位相30°相当分)の範囲における5個の輝度値からなる(図27参照)。
第2パターン光に係る第3位相グループ[θ+180°]は、撮像タイミングt36~t40において撮像された位相210°~位相234°(位相が6°ずつ異なる位相30°相当分)の範囲における5個の輝度値からなる(図27参照)。
第2パターン光に係る第4位相グループ[θ+270°]は、撮像タイミングt51~t55において撮像された位相300°~位相324°(位相が6°ずつ異なる位相30°相当分)の範囲における5個の輝度値からなる(図27参照)。
赤色グループ[R]は、撮像タイミングt11,t26,t41,t56において赤色均一光の下で撮像された4個の輝度値(R1,R2,R3,R4)からなる(図28参照)。
緑色グループ[G]は、撮像タイミングt12,t27,t42,t57において緑色均一光の下で撮像された4個の輝度値(G1,G2,G3,G4)からなる(図28参照)。
青色グループ[B]は、撮像タイミングt13,t28,t43,t58において青色均一光の下で撮像された4個の輝度値(B1,B2,B3,B4)からなる(図28参照)。
近赤外色グループ[NIR]は、撮像タイミングt14,t29,t44,t59において近赤外色均一光の下で撮像された4個の輝度値(NIR1,NIR2,NIR3,NIR4)からなる(図28参照)。
近紫外色グループ[NUV]は、撮像タイミングt15,t30,t45,t60において近紫外色均一光の下で撮像された4個の輝度値(NUV1,NUV2,NUV3,NUV4)からなる(図28参照)。
上記グループ分けが終了すると、制御装置16は、上記各パターン光に係る各位相グループに含まれる5個の輝度値を加算して、その平均値を算出する平均処理を実行する。そして、制御装置16は、前記平均処理により取得した値を演算結果記憶装置25に記憶する。
これにより、プリント基板1の各座標位置ごとに、それぞれ第1パターン光に係る4通りの(各位相グループの輝度平均値)及び第2パターン光に係る4通りの輝度値(各位相グループの輝度平均値)を取得することができる。結果として、第1パターン光に係るプリント基板1全体についての光強度分布の異なる4通りの画像データ、及び、第2パターン光に係るプリント基板1全体についての光強度分布の異なる4通りの画像データを取得することができる。尚、上記構成により、ここで取得される第1パターン光に係る4通りの画像データ、及び、第2パターン光に係る4通りの画像データは、それぞれ正弦波状の光強度分布を有するパターン光の位相を90°ずつシフトさせ撮像した4通りの画像データと同様の画像データとなる。
続いて、制御装置16は、上記のように取得した第1パターン光に係る4通りの画像データ(各座標の4通りの輝度値)、及び、第2パターン光に係る4通りの画像データ(各座標の4通りの輝度値)を基に、それぞれ背景技術においても説明した公知の位相シフト法により三次元計測(高さ計測)を行い、かかる計測結果を演算結果記憶装置25に記憶する。
尚、本実施形態では、一方(例えば第1パターン光)の照射により得られた計測結果を主たる計測結果として記憶し、そのデータ欠落部分に関して、他方(例えば第2パターン光)の照射により得られた計測結果により補完する構成となっている。このように、パターン光を2方向から照射することにより、プリント基板1にパターン光が照射されない影の部分が生じることを極力防止することができる。
また、制御装置16は、上記グループ分けが終了すると、上記各色グループに含まれる4個の輝度値を加算して、その平均値を算出する平均処理を実行する。そして、制御装置16は、前記平均処理により取得した値を演算結果記憶装置25に記憶する。
そして、制御装置16は、上記のように取得した各値を基に、赤・緑・青・近赤外色・近紫外色の各色成分を有したプリント基板1全体の画像データ(以下、輝度画像データという)を生成し、演算結果記憶装置25に記憶する。
続いて、上記輝度画像データの各画素の色情報を判別して各種計測対象領域の抽出を行う。例えば「白色」の画素の範囲を半田印刷領域として抽出し、「赤色」の画素の範囲を電極パターン3の露出した電極領域(背景領域)として抽出し、「緑色」の画素の範囲をベース基板2又はレジスト膜5の露出した基板領域(背景領域)として抽出する。
次に、制御装置16は、上記のように得られた計測結果を基にクリーム半田4の印刷状態の良否判定を行う。具体的には、制御装置16は、高さ基準面より所定長以上、高くなったクリーム半田4の印刷範囲を検出し、この範囲内での各部位の高さを積分することにより、印刷されたクリーム半田4の量を算出する。
続いて、制御装置16は、このようにして求めたクリーム半田4の位置、面積、高さ又は量等のデータを、予め設定データ記憶装置26に記憶されている基準データ(ガーバデータなど)と比較判定し、この比較結果が許容範囲内にあるか否かによって、クリーム半田4の印刷状態の良否を判定する。
以上詳述したように、本実施形態では、連続搬送されるプリント基板1を同一照明の光の下で複数のタイミングで撮像し、該撮像結果をプリント基板1上の各座標位置毎に加算し平均する処理を実行することにより、所定の用途に用いる1つの画像データを取得する構成となっている。
例えば、位相シフト法による三次元計測を行う上で必要な90°ずつ位相の異なる4通りの画像データのうちの1つの画像データを取得する際には、第1パターン光又は第2パターン光の下で、プリント基板1が所定量Δx搬送される毎に連続して撮像された5回分の画像データの輝度値をプリント基板1の各座標位置毎に加算して、その平均値を算出する。
また、プリント基板1に係る輝度画像データを取得する際には、プリント基板1がパターン光の1/4周期(位相90°)相当分の距離を移動する毎に、各色成分の均一光の下で撮像された4回分の画像データの輝度値をプリント基板1の各座標位置毎に加算して、その平均値を算出する。
かかる構成により、カメラ15(撮像素子)の異なる画素で撮像した撮像結果(輝度値)を加算等することとなるため、撮像素子の画素毎の性能のばらつきによる計測結果への影響を緩和することができる。
また、複雑な処理をすることなく、単純に複数回撮像した結果(輝度値)を加算等するだけで、プリント基板1上のすべての部位(明部から暗部まで)に対応した輝度のダイナミックレンジの広い画像データを取得することができる。さらに、複数回撮像した結果を加算等することでS/N比を向上することができる。
結果として、一回の撮像で取得した画像データを用いた場合よりも計測精度の向上等を図ることができる。
また、三次元計測用の画像データを取得する際には、カメラ15により撮像処理を実行可能な所定時間Δt経過毎の撮像タイミングのうち、連続した複数回分のタイミングでパターン光の下で撮像を行う構成となっている。これにより、位相シフト法による計算を行う上でゲイン(上記「背景技術」参照)の見かけ上の値が小さくなることを抑制することができる。結果として、より高精度の三次元計測が可能となる。
また、輝度画像データを取得する際には、カメラ15により撮像処理を実行可能な所定時間Δt経過毎の撮像タイミングのうち、連続しない複数回分のタイミングで各色成分の均一光の下で撮像を行う構成となっている。これにより、連続したタイミングで撮像し比較的近い位置の撮像結果を加算等する場合よりも、より離れた位置の撮像結果を加算等することができ、より平均化することができる。結果として、均一光照明における輝度ムラの影響をより緩和することができる。
〔第2実施形態〕
以下、第2実施形態について図面を参照しつつ説明する。尚、第1実施形態と同一構成部分については、同一符号を付し、その詳細な説明を省略する。
以下、第2実施形態について図面を参照しつつ説明する。尚、第1実施形態と同一構成部分については、同一符号を付し、その詳細な説明を省略する。
本実施形態に係る照明装置14は、近赤外色均一光を照射可能な第6照明14Fと、近紫外色均一光を照射可能な第7照明14Gとが省略された構成となっている。
つまり、本実施形態に係る照明装置14は、第1パターン光を照射可能な第1照明14Aと、第2パターン光を照射可能な第2照明14Bと、全範囲において光強度が一定の赤色均一光を照射可能な第3照明14Cと、全範囲において光強度が一定の緑色均一光を照射可能な第4照明14Dと、全範囲において光強度が一定の青色均一光を照射可能な第5照明14Eとを備え、照射される光が制御装置16により切替制御される構成となっている。
尚、本実施形態では、プリント基板1の搬送方向(X方向)におけるカメラ15の撮像範囲Wに係る撮像素子の画素数が72画素(X1~X72)に設定されると共に、第1照明14A及び第2照明14Bから照射される各パターン光の1周期(位相360°)の長さも、これに相当する長さに設定されている。さらに、所定時間Δt経過毎のプリント基板1の搬送量(所定量Δx)が各パターン光の位相10°相当分の距離に設定されている。つまり、本実施形態では、撮像素子の2画素分ずつプリント基板1が搬送されることとなる。
ここで、照明装置14から照射される光と、カメラ15により撮像されるプリント基板1との関係について具体例を挙げ詳しく説明する。
図29~図44は、プリント基板1がパターン光の1周期(位相360°)相当分の距離を移動する間において、時間経過(t1~t36)と共に変化する照射光の種類、及び、プリント基板1上の各座標位置における照射光の態様(パターン光の位相や均一光の色)、並びに、これらと撮像素子の各画素の座標位置(X1~X72)との関係を説明するための対応表である。
カメラ15と照明装置14の位置関係は固定されているため、照明装置14から照射されるパターン光の位相は、撮像素子の各座標X1~X72に対し固定されている。例えば撮像素子の座標X72で「0°」、座標X71で「5°」、座標X70で「10°」、・・・、座標X1で「355°」となる。一方、搬送されるプリント基板1上の各座標位置(例えば座標P72)においては、後述するように時間経過(t1~t36)と共にパターン光の位相が「10°」ずつ変化していく。
図29~図32に示すように、撮像タイミングt1においては、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P1~P72に相当する範囲が位置しており、該範囲が撮像されることとなる。
ここから所定時間Δtが経過した撮像タイミングt2(図29~図32参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P3~P74に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt3(図29~図32参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P5~P76に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt4(図29~図32参照)においては、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P7~P78に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt5(図29~図32参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P9~P80に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt6(図29~図32参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P11~P82に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt7(図29~図32参照)においては、第3照明14Cから赤色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P13~P84に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図29~図32中の各座標位置において「R1」とあるのは、該位置に照射された光が「赤色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt8(図29~図32参照)においては、第4照明14Dから緑色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P15~P86に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図29~図32中の各座標位置において「G1」とあるのは、該位置に照射された光が「緑色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt9(図29~図32参照)においては、第5照明14Eから青色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P17~P88に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図29~図32中の各座標位置において「B1」とあるのは、該位置に照射された光が「青色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt10(図33~図36参照)においては、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P19~P90に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt11(図33~図36参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P21~P92に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt12(図33~図36参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P23~P94に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt13(図33~図36参照)においては、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P25~P96に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt14(図33~図36参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P27~P98に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt15(図33~図36参照)においては、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P29~P100に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt16(図33~図36参照)においては、第3照明14Cから赤色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P31~P102に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図33~図36中の各座標位置において「R2」とあるのは、該位置に照射された光が「赤色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt17(図33~図36参照)においては、第4照明14Dから緑色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P33~P104に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図33~図36中の各座標位置において「G2」とあるのは、該位置に照射された光が「緑色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt18(図33~図36参照)においては、第5照明14Eから青色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P35~P106に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図33~図36中の各座標位置において「B2」とあるのは、該位置に照射された光が「青色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt19(図37~図40参照)においては、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P37~P108に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt20(図37~図40参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P39~P110に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt21(図37~図40参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P41~P112に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt22(図37~図40参照)においては、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P43~P114に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt23(図37~図40参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P45~P116に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt24(図37~図40参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P47~P118に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt25(図37~図40参照)においては、第3照明14Cから赤色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P49~P120に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図37~図40中の各座標位置において「R3」とあるのは、該位置に照射された光が「赤色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt26(図37~図40参照)においては、第4照明14Dから緑色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P51~P122に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図37~図40中の各座標位置において「G3」とあるのは、該位置に照射された光が「緑色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt27(図37~図40参照)においては、第5照明14Eから青色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P53~P124に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図37~図40中の各座標位置において「B3」とあるのは、該位置に照射された光が「青色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt28(図41~図44参照)においては、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P55~P126に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt29(図41~図44参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P57~P128に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt30(図41~図44参照)においては、再度、第1照明14Aから第1パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P59~P130に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt31(図41~図44参照)においては、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P61~P132に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt32(図41~図44参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P63~P134に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt33(図41~図44参照)においては、再度、第2照明14Bから第2パターン光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P65~P136に相当する範囲が位置しており、該範囲が撮像されることとなる。
さらに所定時間Δtが経過した撮像タイミングt34(図41~図44参照)においては、第3照明14Cから赤色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P67~P138に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図41~図44中の各座標位置において「R4」とあるのは、該位置に照射された光が「赤色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt35(図41~図44参照)においては、第4照明14Dから緑色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P69~P140に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図41~図44中の各座標位置において「G4」とあるのは、該位置に照射された光が「緑色均一光」であることを指す。
さらに所定時間Δtが経過した撮像タイミングt36(図41~図44参照)においては、第5照明14Eから青色均一光が照射される。この際、カメラ15の撮像範囲W(X1~X72)には、プリント基板1上の座標P71~P142に相当する範囲が位置しており、該範囲が撮像されることとなる。なお、図41~図44中の各座標位置において「B4」とあるのは、該位置に照射された光が「青色均一光」であることを指す。
このようにして、プリント基板1の所定の座標位置(例えば座標P71、P72)に係る全てのデータが取得されると、上記各画像データの座標位置を位置合せする(各画像データの相互間の座標系を合せる)位置合せ処理を実行する(図45~図48参照)。図45~図48は、撮像タイミングt1~t36において取得した複数の画像データの座標位置を位置合せした状態を模式的に示した表である。
続いて、複数の画像データの同一座標位置に係る各種データを各座標位置ごとにまとめた上で、予め設定したグループ(カテゴリー)ごとに整理して、演算結果記憶装置25に記憶する(図49~図51参照)。図49~図51は、図45~図48に示したプリント基板1の各座標位置に係る各種データを、予め設定したグループごとに整理して並べ替えた状態を模式的に示した表である。但し、図49~図51では、プリント基板1の座標P71、P72に係る部分のみを例示している。
図49~図51に示すように、本実施形態では、11個のグループに分けられる。詳しくは、第1パターン光に係る第1位相グループ[θ]、第2位相グループ[θ+90°]、第3位相グループ[θ+180°]、第4位相グループ[θ+270°]の4つのグループ、第2パターン光に係る第1位相グループ[θ]、第2位相グループ[θ+90°]、第3位相グループ[θ+180°]、第4位相グループ[θ+270°]の4つのグループ、各均一光に係る赤色グループ[R]、緑色グループ[G]、青色グループ[B]の3つのグループの計11個のグループに分けて整理される。
第1パターン光に係る第1位相グループ[θ]は、撮像タイミングt1~t3において撮像された位相0°~20°又は位相5°~25°(位相が10°ずつ異なる位相30°相当分)の範囲における3個の輝度値からなる(図49参照)。
第1パターン光に係る第2位相グループ[θ+90°]は、撮像タイミングt10~t12において撮像された位相90°~110°又は位相95°~115°(位相が10°ずつ異なる位相30°相当分)の範囲における3個の輝度値からなる(図49参照)。
第1パターン光に係る第3位相グループ[θ+180°]は、撮像タイミングt19~t21において撮像された位相180°~200°又は位相185°~205°(位相が10°ずつ異なる位相30°相当分)の範囲における3個の輝度値からなる(図49参照)。
第1パターン光に係る第4位相グループ[θ+270°]は、撮像タイミングt28~t30において撮像された位相270°~290°又は位相275°~295°(位相が10°ずつ異なる位相30°相当分)の範囲における3個の輝度値からなる(図49参照)。
第2パターン光に係る第1位相グループ[θ]は、撮像タイミングt4~t6において撮像された位相30°~50°又は位相35°~55°(位相が10°ずつ異なる位相30°相当分)の範囲における3個の輝度値からなる(図50参照)。
第2パターン光に係る第2位相グループ[θ+90°]は、撮像タイミングt13~t15において撮像された位相120°~140°又は位相125°~145°(位相が10°ずつ異なる位相30°相当分)の範囲における3個の輝度値からなる(図50参照)。
第2パターン光に係る第3位相グループ[θ+180°]は、撮像タイミングt22~t24において撮像された位相210°~230°又は位相215°~235°(位相が10°ずつ異なる位相30°相当分)の範囲における3個の輝度値からなる(図50参照)。
第2パターン光に係る第4位相グループ[θ+270°]は、撮像タイミングt31~t33において撮像された位相300°~320°又は位相305°~325°(位相が10°ずつ異なる位相30°相当分)の範囲における3個の輝度値からなる(図50参照)。
赤色グループ[R]は、撮像タイミングt7,t16,t25,t34において赤色均一光の下で撮像された4個の輝度値(R1,R2,R3,R4)からなる(図51参照)。
緑色グループ[G]は、撮像タイミングt8,t17,t26,t35において緑色均一光の下で撮像された4個の輝度値(G1,G2,G3,G4)からなる(図51参照)。
青色グループ[B]は、撮像タイミングt9,t18,t27,t36において青色均一光の下で撮像された4個の輝度値(B1,B2,B3,B4)からなる(図51参照)。
上記グループ分けが終了すると、制御装置16は、上記各パターン光に係る各位相グループに含まれる3個の輝度値を加算して、その平均値を算出する平均処理を実行する。そして、制御装置16は、前記平均処理により取得した値を演算結果記憶装置25に記憶する。
これにより、プリント基板1の各座標位置ごとに、それぞれ第1パターン光に係る4通りの(各位相グループの輝度平均値)及び第2パターン光に係る4通りの輝度値(各位相グループの輝度平均値)を取得することができる。結果として、第1パターン光に係るプリント基板1全体についての光強度分布の異なる4通りの画像データ、及び、第2パターン光に係るプリント基板1全体についての光強度分布の異なる4通りの画像データを取得することができる。尚、上記構成により、ここで取得される第1パターン光に係る4通りの画像データ、及び、第2パターン光に係る4通りの画像データは、それぞれ正弦波状の光強度分布を有するパターン光の位相を90°ずつシフトさせ撮像した4通りの画像データと同様の画像データとなる。
続いて、制御装置16は、上記のように取得した第1パターン光に係る4通りの画像データ(各座標の4通りの輝度値)、及び、第2パターン光に係る4通りの画像データ(各座標の4通りの輝度値)を基に、それぞれ背景技術においても説明した公知の位相シフト法により三次元計測(高さ計測)を行い、かかる計測結果を演算結果記憶装置25に記憶する。
また、制御装置16は、上記グループ分けが終了すると、上記各色グループに含まれる4個の輝度値を加算して、その平均値を算出する平均処理を実行する。そして、制御装置16は、前記平均処理により取得した値を演算結果記憶装置25に記憶する。
そして、制御装置16は、上記のように取得した各値を基に、赤・緑・青・近赤外色・近紫外色の各色成分を有したプリント基板1全体の画像データ(以下、輝度画像データという)を生成し、演算結果記憶装置25に記憶する。
以降、これらの画像データを基に、上記第1実施形態と同様、プリント基板1の三次元計測やクリーム半田4の印刷状態の検査などが行われることとなる。
以上詳述したように、本実施形態によれば、上記第1実施形態と同様の作用効果が奏される。また、本実施形態では、所定時間Δt経過毎にプリント基板1がパターン光の位相10°相当分(撮像素子の2画素分)ずつ搬送され撮像処理が行われる構成となっているため、第1実施形態に比べ計測精度がやや劣る反面、計測効率を高めることができる。
尚、上記実施形態の記載内容に限定されず、例えば次のように実施してもよい。勿論、以下において例示しない他の応用例、変更例も当然可能である。
(a)上記各実施形態では、三次元計測装置を、プリント基板1に印刷形成されたクリーム半田4の高さを計測する基板検査装置10に具体化したが、これに限らず、例えば基板上に印刷された半田バンプや、基板上に実装された電子部品など、他のものの高さを計測する構成に具体化してもよい。
(b)上記各実施形態では、位相シフト法による三次元計測を行う上で、位相が90°ずつ異なる4通りの画像データを取得する構成となっているが、位相シフト回数及び位相シフト量は、これらに限定されるものではない。位相シフト法により三次元計測可能な他の位相シフト回数及び位相シフト量を採用してもよい。
例えば位相が120°(又は90°)ずつ異なる3通りの画像データを取得して三次元計測を行う構成としてもよいし、位相が180°(又は90°)ずつ異なる2通りの画像データを取得して三次元計測を行う構成としてもよい。
但し、上記各実施形態のように、位相シフト法による三次元計測を行う上で必要な複数の画像データ(上記各実施形態では4つの画像データ)を取得する上で、プリント基板1に対し照射されるパターン光(第1パターン光又は第2パターン光)がすべて180°位相の異なる一対のパターン光の組み合わせからなることが好ましい。このようにすれば、複数のタイミングで撮像された複数の撮像結果において、プリント基板1上の所定の座標位置におけるパターン光の位相が異なることに基づく誤差を、位相シフト法による計算の過程(上記「背景技術」参照)で相殺することができ、その影響を小さく抑えることができる。
(c)上記各実施形態では、三次元計測用の画像データを取得する際には、第1パターン光又は第2パターン光の下で、プリント基板1が所定量Δx搬送される毎に連続して5回(又は3回)撮像を行う構成となっている。三次元計測用の画像データ取得に係る撮像回数や撮像タイミングはこれに限定されるものではない。例えば所定時間Δt経過毎の撮像タイミングのうち、連続しない複数のタイミングでパターン光に係る撮像を行う構成としてもよい。
一方、上記各実施形態では、輝度画像データを取得する際には、プリント基板1がパターン光の1/4周期(位相90°)相当分の距離を移動する毎に1回ずつ計4回、各色成分の均一光の下での撮像を行う構成となっている。輝度画像データの取得に係る撮像回数や撮像タイミングはこれに限定されるものではない。例えば所定時間Δt経過毎の撮像タイミングのうち、連続する複数のタイミングで均一光に係る撮像を行う構成としてもよい。
(d)各照明から照射される光の種類など、照射手段に係る構成は上記各実施形態の照明装置14に限定されるものではない。
例えば上記各実施形態に係る第1照明14A及び第2照明14Bでは、液晶光学シャッタを使用して、理想的な正弦波に近い光強度分布を有するパターン光を照射する構成となっている。これに限らず、光源からの光をパターン光に変換する格子として格子板を採用してもよい。また、正弦波状の光強度分布を有するパターン光に代えて、縞状のパターン光として、矩形波状や台形波状などの光強度分布を有するパターン光を照射する構成としてもよい。
また、上記各実施形態では、パターン光を照射する第1照明14A及び第2照明14Bのみならず、第3照明14Cなど、均一光を照射する複数の均一光照明を備えた構成となっているが、これに限らず、位相シフト法による三次元計測を行う上で必要な画像データを取得するだけであれば、第1照明14A及び第2照明14Bだけを備えた構成としてもよい。勿論、第1照明14A又は第2照明14Bのいずれか一方のみを備えた構成としてもよい。
(e)上記各実施形態では、第1照明14Aから照射される第1パターン光と、第2照明14Bから照射される第2パターン光とが輝度及び周期が同一のパターン光となっている。
これに限らず、各パターン光の周期(縞ピッチ)を異ならせた構成としてもよい。例えば第1パターン光を第1周期(例えば600μm)のパターン光とすると共に、第2パターン光を前記第1周期よりも長い第2周期(例えば800μm)のパターン光としてもよい。このように周期の短い第1パターン光と、周期の長い第2パターン光とを組合わせて計測を行うようにすれば、両パターン光が照射される領域に関しては、長い周期の第2パターン光を利用するメリットである計測可能な高さレンジを大きくできること、及び、周期の短い第1パターン光を利用するメリットである分解能の高い高精度な計測を実現できることの双方の効果を得ることができる。結果として、広ダイナミックレンジで高分解能の計測を行うことができ、より高精度な計測を実現することができる。
また、特許文献1,2と同様に、輝度の異なるパターン光(又は均一光)を照射して同様の作用効果が得る構成としてもよい。但し、本願発明によれば、複数回撮像した結果(輝度値)を加算等することで、プリント基板1上のすべての部位(明部から暗部まで)に対応した輝度のダイナミックレンジの広い画像データを取得することができるため、輝度の異なる光を照射することなく、プリント基板1上の各部位の明暗の違いに基づく各種不具合の発生を抑制することができる。
(f)上記各実施形態では、三次元計測方法として位相シフト法を採用しているが、この他にも空間コード法やモアレ法、合焦法等といった各種三次元計測方法を採用することもできる。従って、縞状のパターン光に代えて又は加えて、他の三次元計測用の光を照射する構成としてもよい。
(g)上記各実施形態では、コンベア13によりプリント基板1を連続搬送することにより、照明装置14及びカメラ15とプリント基板1との位置関係を相対移動させる構成となっているが、これに限らず、照明装置14及びカメラ15からなる計測ヘッドを動かし、プリント基板1との位置関係を相対移動させる構成としてもよい。また、コンベア13に代えて他の移動手段を採用してもよいし、プリント基板1を連続移動するのではなく、間欠移動する構成としてもよい。
(h)上記各実施形態では、位相シフト法による三次元計測を行う上で必要な4通りの画像データのうちの1つの画像データを取得する際に、第1パターン光又は第2パターン光の下で、プリント基板1が所定量Δx搬送される毎に撮像された複数回分(例えば撮像タイミングt1~t5)の画像データの輝度値をプリント基板1の各座標位置毎に加算して、その平均値を算出する構成となっている。
これに限らず、平均値を算出する処理を省略し、複数回分の画像データの輝度値をプリント基板1の各座標毎に加算した加算データ(画像データ)を基に三次元計測を行う構成としてもよい。
また、プリント基板1の移動中(例えば撮像タイミングt1~t5)において連続してパターン光を照射する構成としてもよい。
(i)上記各実施形態では、カメラ15の撮像素子としてCCDセンサを採用しているが、撮像素子はこれに限定されるものではなく、例えばCMOSセンサ等を採用してもよい。
尚、一般のCCDカメラ等を用いた場合には、露光中にデータ転送を行うことができないため、上記各実施形態のようにプリント基板1が所定量搬送される毎に撮像(露光)を行う場合には、その間にデータ転送(読出)を行う必要がある。
これに対し、カメラ15として、CMOSカメラや、データ転送中に露光可能な機能を持ったCCDカメラ等を用いた場合には、撮像(露光)とデータ転送とを一部で重複して行うことができるため、プリント基板1の連続搬送に適しており、計測時間の短縮化を図ることができる。
(j)上記各実施形態では、輝度画像データを、各種計測対象領域の抽出処理を行うために利用しているが、これに代えて又は加えて、他の用途に使用してもよい。例えば、三次元計測により得られた三次元データに対し輝度画像データをマッピングする構成としてもよい。かかる構成とすれば、被計測物の濃淡を表現することができ、三次元画像の質感を高めることができる。その結果、被計測物の形状を瞬時に把握することが容易となり、確認作業に要する時間を著しく軽減させることができる。
1…プリント基板、4…クリーム半田、10…基板検査装置、13…コンベア、14…照明装置、14A~14G…照明、15…カメラ、16…制御装置、24…画像データ記憶装置、25…演算結果記憶装置、W…撮像範囲。
Claims (8)
- 被計測物に対し所定の光を照射可能な少なくとも1つの照明を有する照射手段と、
前記光の照射された前記被計測物を撮像可能な撮像手段と、
前記照射手段及び前記撮像手段と前記被計測物とを相対移動可能な移動手段とを備え、
前記照射手段及び前記撮像手段と前記被計測物とを相対移動させつつ、該被計測物に対し前記照射手段から所定のタイミングに所定の光を照射し、前記撮像手段により撮像された撮像結果を基に前記被計測物の三次元計測を実行可能な三次元計測装置であって、
前記撮像手段により撮像された撮像結果を基に、所定の用途に用いる画像データを取得可能な画像データ取得手段と、
前記画像データ取得手段により取得された少なくとも1つの画像データを基に、所定の処理を実行可能な画像処理手段とを備え、
前記画像データ取得手段が1つの画像データを取得する上で、
前記照射手段の同一照明から照射される光の下での撮像を、前記照射手段及び前記撮像手段と前記被計測物との相対位置関係が異なる複数のタイミングで実行し、
該撮像結果を前記被計測物上の各座標位置毎に加算又は平均する処理を実行することを特徴する三次元計測装置。 - 前記照射手段は、縞状の光強度分布を有するパターン光を照射可能な照明を備え、
前記画像データ取得手段は、少なくとも前記パターン光の下で撮像された撮像結果を基に、前記被計測物上における光強度分布が前記パターン光の所定位相分ずつ異なる複数の画像データを取得可能に構成され、
前記画像処理手段は、前記画像データ取得手段により取得された前記複数の画像データを基に位相シフト法により前記被計測物の三次元計測を実行可能に構成されていることを特徴する請求項1に記載の三次元計測装置。 - 前記照射手段及び前記撮像手段と前記被計測物とが少なくとも前記所定位相分よりも小さい所定量相対移動するタイミング毎に前記撮像手段による撮像処理を実行可能な構成の下、
前記撮像処理を実行可能なタイミングのうち、連続した複数回分のタイミングを、前記同一照明から照射されるパターン光の下での撮像を行う複数のタイミングとしたことを特徴する請求項2に記載の三次元計測装置。 - 前記画像データ取得手段が前記複数の画像データを取得する上で、前記被計測物に対し照射されるパターン光がすべて180°位相の異なる一対のパターン光の組み合わせからなることを特徴する請求項2又は3に記載の三次元計測装置。
- 前記照射手段は、光強度が一定の均一光を照射可能な少なくとも1つの照明を備え、
前記画像データ取得手段は、少なくとも前記均一光の下で撮像された撮像結果を基に輝度画像データを取得可能に構成されていることを特徴する請求項1乃至4のいずれかに記載の三次元計測装置。 - 前記照射手段及び前記撮像手段と前記被計測物とが所定量相対移動するタイミング毎に前記撮像手段による撮像処理を実行可能な構成の下、
前記撮像処理を実行可能なタイミングのうち、連続しない複数回分のタイミングを、前記同一照明から照射される均一光の下での撮像を行う複数のタイミングとしたことを特徴する請求項5に記載の三次元計測装置。 - 前記照射手段は、それぞれ所定の光を照射する複数の照明を備え、
所定の順序に従い前記複数の照明を切替え、所定のタイミングに所定の光を照射可能に構成されていることを特徴とする請求項1乃至6のいずれかに記載の三次元計測装置。 - 前記被計測物は、クリーム半田が印刷されたプリント基板であること、又は、半田バンプが形成されたウエハ基板であることを特徴とする請求項1乃至7のいずれかに記載の三次元計測装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016001622A JP2017122641A (ja) | 2016-01-07 | 2016-01-07 | 三次元計測装置 |
JP2016-001622 | 2016-01-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017119155A1 true WO2017119155A1 (ja) | 2017-07-13 |
Family
ID=59273919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/075516 WO2017119155A1 (ja) | 2016-01-07 | 2016-08-31 | 三次元計測装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2017122641A (ja) |
TW (1) | TW201734405A (ja) |
WO (1) | WO2017119155A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109872382A (zh) * | 2017-12-01 | 2019-06-11 | 欧姆龙株式会社 | 图像处理系统及图像处理方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7000380B2 (ja) * | 2019-05-29 | 2022-01-19 | Ckd株式会社 | 三次元計測装置及び三次元計測方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012132836A (ja) * | 2010-12-22 | 2012-07-12 | Yamaha Motor Co Ltd | 三次元形状計測装置、部品移載装置および三次元形状計測方法 |
JP2012247375A (ja) * | 2011-05-31 | 2012-12-13 | Ckd Corp | 三次元計測装置 |
JP2013167464A (ja) * | 2012-02-14 | 2013-08-29 | Ckd Corp | 三次元計測装置 |
-
2016
- 2016-01-07 JP JP2016001622A patent/JP2017122641A/ja active Pending
- 2016-08-31 WO PCT/JP2016/075516 patent/WO2017119155A1/ja active Application Filing
- 2016-09-20 TW TW105130279A patent/TW201734405A/zh unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012132836A (ja) * | 2010-12-22 | 2012-07-12 | Yamaha Motor Co Ltd | 三次元形状計測装置、部品移載装置および三次元形状計測方法 |
JP2012247375A (ja) * | 2011-05-31 | 2012-12-13 | Ckd Corp | 三次元計測装置 |
JP2013167464A (ja) * | 2012-02-14 | 2013-08-29 | Ckd Corp | 三次元計測装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109872382A (zh) * | 2017-12-01 | 2019-06-11 | 欧姆龙株式会社 | 图像处理系统及图像处理方法 |
CN109872382B (zh) * | 2017-12-01 | 2023-06-20 | 欧姆龙株式会社 | 图像处理系统及图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2017122641A (ja) | 2017-07-13 |
TW201734405A (zh) | 2017-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI622754B (zh) | Three-dimensional measuring device | |
KR101527525B1 (ko) | 삼차원 계측 장치 | |
CN107238608B (zh) | 基板检查装置 | |
US9441957B2 (en) | Three-dimensional shape measuring apparatus | |
WO2012050378A2 (ko) | 기판 검사방법 | |
KR101578056B1 (ko) | 삼차원 계측 장치 | |
JP5957575B1 (ja) | 三次元計測装置 | |
CN108139206B (zh) | 三维测量装置 | |
WO2017119155A1 (ja) | 三次元計測装置 | |
WO2011068268A1 (ko) | 엘이디 검사방법 | |
JP2001124700A (ja) | ラインセンサーカメラを備えた検査機のキャリブレーション方法 | |
JP2007192597A (ja) | 被検査体の検査装置 | |
CN107532889B (zh) | 三维测量装置 | |
TWI481814B (zh) | 三維測定裝置 | |
TWI752558B (zh) | 晶粒接合裝置及半導體裝置之製造方法 | |
JP2017003513A (ja) | 三次元計測装置 | |
JP7437188B2 (ja) | 検査装置 | |
WO2016181578A1 (ja) | 三次元計測装置及び三次元計測方法 | |
JP5409120B2 (ja) | 補正方法、装置、及び、デバイス製造方法 | |
JP2003269941A (ja) | X線測定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16883656 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16883656 Country of ref document: EP Kind code of ref document: A1 |