WO2016208207A1 - 三次元計測装置 - Google Patents

三次元計測装置 Download PDF

Info

Publication number
WO2016208207A1
WO2016208207A1 PCT/JP2016/050552 JP2016050552W WO2016208207A1 WO 2016208207 A1 WO2016208207 A1 WO 2016208207A1 JP 2016050552 W JP2016050552 W JP 2016050552W WO 2016208207 A1 WO2016208207 A1 WO 2016208207A1
Authority
WO
WIPO (PCT)
Prior art keywords
luminance
measurement
light pattern
image data
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/050552
Other languages
English (en)
French (fr)
Inventor
大山　剛
憲彦 坂井田
間宮　高弘
裕之 石垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CKD Corp
Original Assignee
CKD Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CKD Corp filed Critical CKD Corp
Priority to CN201680018284.4A priority Critical patent/CN107407556B/zh
Priority to DE112016002874.1T priority patent/DE112016002874T5/de
Publication of WO2016208207A1 publication Critical patent/WO2016208207A1/ja
Priority to US15/849,911 priority patent/US10161744B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0817—Monitoring of soldering processes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95646—Soldering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Definitions

  • the present invention relates to a three-dimensional measurement apparatus that performs three-dimensional measurement using a phase shift method.
  • a printed circuit board has an electrode pattern on a base substrate made of glass epoxy resin, and the surface is protected by a resist film.
  • cream solder is first printed at a predetermined position on the electrode pattern that is not protected by a resist film.
  • an electronic component is temporarily fixed on the printed circuit board based on the viscosity of the cream solder.
  • the printed circuit board is guided to a reflow furnace, and soldering is performed through a predetermined reflow process.
  • the object to be measured (in this case, the printed circuit board) is irradiated by the irradiation means. And it observes using the imaging means which has arrange
  • the imaging means a CCD camera or the like including a lens and an imaging element is used.
  • the light intensity (luminance) I of each coordinate (pixel) on the image data imaged by the imaging means is given by the following equation (T1).
  • I f ⁇ sin ⁇ + e (T1) Where f: gain, e: offset, and ⁇ : phase of the light pattern.
  • the phase of the light pattern is changed in, for example, four stages ( ⁇ + 0, ⁇ + 90 °, ⁇ + 180 °, ⁇ + 270 °), and intensity distributions I 0 , I 1 , I 2 corresponding thereto.
  • I 3 is taken in, f (gain) and e (offset) are canceled based on the following equation (T2), and the phase ⁇ is obtained.
  • the background region there are various colors around the printed portion of the cream solder on the printed circuit board (hereinafter referred to as the background region). This is because various colors are used for the glass epoxy resin and the resist film. Then, for example, in a relatively dark background region such as black, the contrast of the image data captured by the imaging unit is reduced. That is, the light / dark difference (luminance difference) of the light pattern is reduced in the image data. This may make it difficult to measure the height of the background area.
  • a height reference in the substrate.
  • the background area cannot be properly used as the height reference plane, there is a possibility that a height reference cannot be taken in the substrate.
  • the phase of the light pattern to be irradiated is changed in four steps (or three steps), and four (or three) images are taken. There is a need to.
  • the first light pattern having the first luminance is irradiated, and its phase is changed in four steps (or three steps).
  • the luminance is changed, the second light pattern having the second luminance is irradiated, and the phase is changed in four steps (or three steps).
  • four (or three) images are captured, and each image is captured four times (or three times) under the light pattern of each luminance, for a total of eight times (or six times). There was a risk of a significant increase.
  • the time required for measuring the one printed circuit board is further several times that time. Therefore, further shortening of the measurement time is required.
  • the present invention has been made in view of the above circumstances, and an object thereof is to perform three-dimensional measurement capable of realizing higher-precision measurement in a shorter time when performing three-dimensional measurement using the phase shift method. To provide an apparatus.
  • Means 1 A light source that emits predetermined light; and a grating that converts the light from the light source into a light pattern having a striped light intensity distribution.
  • the light pattern is divided into at least a first measurement target region and a second measurement target region.
  • An irradiation means capable of irradiating the object to be measured;
  • Brightness control means capable of changing the brightness of light emitted from the light source;
  • Phase control means for controlling the transfer or switching of the grating and capable of changing the phase of the light pattern irradiated from the irradiation means in a plurality of ways;
  • Imaging means capable of imaging reflected light from the object to be measured irradiated with the light pattern;
  • Image processing means capable of performing three-dimensional measurement of the object to be measured by a phase shift method based on image data picked up by the image pickup means;
  • the image processing means includes The first light pattern having the first luminance corresponding to the first measurement target region is irradiated with a predetermined number (for example, three or four) of phases and imaged based on the predetermined number of image data.
  • First measurement means for performing three-dimensional measurement related to the measurement target region;
  • a relationship grasping means for grasping a relationship between a gain and an offset determined by a predetermined imaging condition based on the predetermined number of image data captured under the first light pattern; Based on two types of image data obtained by irradiating a second light pattern having a second luminance corresponding to the second measurement target region in two phases and picked up from the luminance value of each pixel of the two types of image data.
  • Second measurement means for performing three-dimensional measurement on the second measurement target region by using the gain or offset value related to the determined pixel and the relationship between the gain and offset grasped by the relation grasping means;
  • a three-dimensional measuring device characterized by comprising.
  • the “first luminance according to the first measurement target region” and the “second luminance according to the second measurement target region” may be set in advance or may be obtained by separately measuring each time. . If “the first luminance according to the first measurement target region” is known, “the first luminance according to the first measurement target region” is set in advance, and “the first luminance according to the first measurement target region” is set. “Second luminance corresponding to the second measurement target region” may be obtained based on the image data of “1 luminance”.
  • the luminance is related to the second measurement target region (for example, the background region) on the image data. It may be too high or too low, or the difference in brightness (luminance difference) may be small. In such a case, there is a possibility that the measurement accuracy related to the second measurement target region is significantly lowered.
  • the first measurement target is based on the image data captured by irradiating the first light pattern having the first luminance corresponding to the first measurement target region (for example, a relatively bright bright portion).
  • the second measurement target region based on the image data obtained by performing the three-dimensional measurement of the region and irradiating the second light pattern having the second luminance corresponding to the second measurement target region (for example, a relatively dark dark part). It is the structure which performs the three-dimensional measurement which concerns on. As a result, both the first measurement target region and the second measurement target region can be subjected to three-dimensional measurement based on image data captured under a light pattern with appropriate luminance by changing the luminance. As a result, it is possible to suppress a decrease in measurement accuracy.
  • the measured coordinates (x, y) determined from the relationship between the gain A and the offset B of the light pattern determined by a predetermined imaging condition and the luminance value V (x, y) of the measured coordinates (x, y) on the image data.
  • the three-dimensional measurement by the phase shift method is required as long as two types of image data captured under the second light pattern whose phase has been changed at least in two ways are acquired for the second measurement target region. Is possible.
  • the first light pattern having the first luminance is irradiated with four (or three) phases, and four (or three) images are captured thereunder, and then the second light having the second luminance is obtained.
  • the pattern is irradiated with two phases and two images are taken under the pattern, the number of times of imaging is six times (or five times in total), and the imaging time is significantly reduced.
  • the total number of times of imaging is reduced, and the imaging time can be shortened. As a result, the measurement time can be dramatically shortened.
  • the light emitted from the light source is first attenuated when passing through the grating, then attenuated when reflected by the object to be measured, and finally A / D converted (analog-digital converted) by the imaging means. Is obtained as the luminance value of each pixel of the image data.
  • the luminance value of each pixel of the image data picked up by the image pickup means is the luminance of the light source, the attenuation rate when the light emitted from the light source passes through the grating, and the reflection when the light is reflected by the object to be measured. It can be expressed by multiplying the rate, the conversion efficiency at the time of A / D conversion (analog-digital conversion) in the imaging means, and the like.
  • the luminance of the light source (uniform light):
  • L Transmittance of lattice: G ⁇ sin ⁇ + ⁇ ⁇ and ⁇ are arbitrary constants.
  • Reflectance at coordinates (x, y) on the measurement object R (x, y) Conversion efficiency of each pixel of the imaging means (imaging device): E The luminance value of the pixel on the image corresponding to the coordinate (x, y) on the object to be measured: V (x, y) Gain of light pattern at coordinates (x, y) on the measurement object: A (x, y) Offset of light pattern at coordinates (x, y) on the measurement object: B (x, y) In this case, it can be expressed by the following formula (F1).
  • F2 ⁇ / 2
  • the maximum value V (x, y) MAX , the minimum value V (x, y) MIN , and the average value V (x, y) AV of the luminance value are expressed by the following equations (F4), (F5), and (F6), respectively.
  • the relationship is as shown in the graph of FIG.
  • y) AV becomes an offset B (x, y), the difference between the offset B (x, y) and the maximum value V (x, y) MAX , and the offset B (x, y) and the minimum value V ( x, y)
  • the difference from MIN is the gain A (x, y).
  • the luminance value V (x, y) changes in proportion to the luminance L or the reflectance R (x, y) of the light source, for example, at the coordinate position where the reflectance R is halved, the gain A and the offset B The value of is also halved.
  • the offset B (x, y) increases and decreases and the offset B (x, y)
  • the gain A (x, y) also increases / decreases in proportion to. If one of the gain A and the offset B is known from the equation (F8), the other can be obtained.
  • the proportionality constant K is determined by the transmittance G of the grating irrespective of the luminance L and the reflectance R of the light source. That is, the following means 2 and 3 can be used in other words.
  • the luminance L of the light source is changed (for example, when the first luminance is changed to the second luminance)
  • the luminance value V (x, y) of the measured coordinates (x, y) on the image data and thus While the gain A (x, y) and the offset B (x, y) of the light pattern relating to the measured coordinates (x, y) are different from each other, the proportionality constant K is set to the luminance L of the light source. Does not change, so it does not change. That is, the values of the gain A and the offset B are different between the first light pattern and the second light pattern irradiated using the same grating, but the proportionality constant K is not changed at all.
  • the structure which irradiates simultaneously to the to-be-measured object the several light pattern from which a phase differs in each wavelength (RGB component)
  • three types of image data from which a phase differs will be acquired by one imaging. It is possible.
  • the light pattern of each RGB component light pattern, the brightness of the light source, the reflectance at the object to be measured, the transmittance of the grating, the conversion efficiency of the image sensor, and the like are different.
  • the values of the gain A and the offset B relating to are also different.
  • the values of the gain A and the offset B related to the light patterns of the RGB components are the same. Assuming that the calculation is performed ignoring the error, the measurement accuracy may be significantly reduced.
  • this means 1 when acquiring a plurality of types of image data having different phases, there is no difference in the values of the gain A and the offset B between the respective image data, so that the reduction in measurement accuracy is suppressed. be able to.
  • the relationship between the gain A and the offset B is uniquely determined, for example, by creating a numerical table or table data representing the relationship between the gain A and the offset B, the offset B from the gain A or the offset
  • the gain A can be obtained from B.
  • Means 3 The three-dimensional measuring apparatus according to claim 1, wherein the gain and the offset are proportional to each other.
  • Means 4 When the luminance value of each pixel of the two types of image data when the relative phase relationship of the second light pattern having the two phase changes is set to 0 and ⁇ , respectively, is V 0 and V 1 , The second measuring means performs measurement related to the second measurement target region.
  • the three-dimensional measuring apparatus according to any one of means 1 to 3, wherein a phase ⁇ satisfying a relationship of the following formulas (1), (2), and (3) is calculated.
  • V 0 Asin ⁇ + B (1)
  • V 1 Asin ( ⁇ + ⁇ ) + B (2)
  • A KB (3)
  • calculating phase ⁇ satisfying the relationship of the following formulas (1), (2), (3)” in the above means 4 means “calculating the phase ⁇ based on the following formula (9).
  • the algorithm for obtaining the phase ⁇ is not limited to the above equation (9), and any other configuration may be adopted as long as the relationship of the above equations (1), (2), and (3) is satisfied. May be.
  • the imaging is performed twice under the two second light patterns whose phases are different by 180 °.
  • the following formula (11) can be derived from the above formulas (1) and (10).
  • the following formula (12) can be derived.
  • phase ⁇ sin ⁇ 1 [(V 0 ⁇ V 1 ) / K (V 0 + V 1 )] (15) That is, the phase ⁇ can be specified by the known luminance values V 0 and V 1 and the constant K.
  • the phase ⁇ can be obtained based on a relatively simple arithmetic expression, and it is possible to further speed up the processing when performing the three-dimensional measurement of the measurement object.
  • the imaging is performed twice under the two second light patterns whose phases are different by 90 °.
  • the offset B can be specified by the known luminance values V 0 and V 1 and the constant K.
  • phase ⁇ tan ⁇ 1 ⁇ (V 0 ⁇ B) / (V 1 ⁇ B) ⁇ (27) That is, the phase ⁇ can be specified by the known luminance values V 0 and V 1 and the constant K by using the above equation (23).
  • the phase ⁇ can be obtained based on the arithmetic expression using “tan ⁇ 1 ”, so that the height can be measured in the range of 360 ° from ⁇ 180 ° to 180 °.
  • the measurement range can be made larger.
  • Means 7 One of said 1st measurement object area
  • the measurement related area can be measured more appropriately with the measurement reference area as the reference plane, and the measurement accuracy can be improved.
  • the first measurement target region with a large number of imaging is the “inspection target region”.
  • Means 8 The three-dimensional measuring apparatus according to any one of means 1 to 7, wherein the object to be measured is a printed board on which cream solder is printed, or a wafer board on which solder bumps are formed.
  • the height of the solder paste printed on the printed circuit board or the solder bump formed on the wafer substrate can be measured.
  • the quality of cream solder or solder bumps can be determined based on the measured values. Therefore, in such an inspection, the effect of each means described above is exhibited, and the quality determination can be performed with high accuracy. As a result, it is possible to improve the inspection accuracy in the solder printing inspection apparatus or the solder bump inspection apparatus.
  • the “inspection area (for example, the first measurement area)” may be a “solder area” on which cream solder is printed.
  • the “measurement reference region (for example, the second measurement target region)” is a “background region” other than the solder region.
  • the “background region” is a portion where an electrode pattern not printed with cream solder is exposed, a portion where a base substrate made of glass epoxy resin or the like is exposed, or a portion of a resist film covering the electrode pattern Or a portion of a resist film covering the base substrate.
  • the printed circuit board 1 is provided with an electrode pattern 3 made of copper foil on a flat base board 2 made of glass epoxy resin or the like. Further, cream solder 4 is printed on the predetermined electrode pattern 3.
  • the area where the cream solder 4 is printed is referred to as “solder area”.
  • a portion other than the solder region is collectively referred to as a “background region”.
  • the background region includes a region where the electrode pattern 3 is exposed (symbol PA), a region where the base substrate 2 is exposed (symbol PB), and the base substrate 2.
  • a region where the resist film 5 is coated (symbol PC) and a region where the resist film 5 is coated on the electrode pattern 3 (symbol PD) are included. Note that the resist film 5 is coated on the surface of the printed circuit board 1 so that the cream solder 4 is not applied to portions other than the predetermined wiring portion.
  • FIG. 1 is a schematic configuration diagram schematically showing the substrate inspection apparatus 8.
  • the substrate inspection apparatus 8 includes a mounting table 9 for mounting the printed circuit board 1 and an illuminating device as an irradiating unit that irradiates a predetermined light pattern on the surface of the printed circuit board 1 obliquely from above. 10, a camera 11 as an imaging unit for imaging a portion irradiated with the light pattern on the printed circuit board 1, and a control device for performing various controls, image processing, and arithmetic processing in the substrate inspection apparatus 8. 12.
  • the mounting table 9 is provided with motors 15 and 16.
  • the motors 15 and 16 are driven and controlled by the control device 12, the printed circuit board 1 mounted on the mounting table 9 can move in any direction ( X-axis direction and Y-axis direction).
  • the illumination device 10 includes a light source 10a and a liquid crystal lattice 10b that converts light from the light source 10a into a light pattern having a sinusoidal (stripe) light intensity distribution.
  • a sinusoidal (stripe) light intensity distribution it is possible to irradiate a striped light pattern whose phase changes in multiple ways.
  • the illumination device 10 light emitted from the light source 10a is guided to a pair of condensing lenses by an optical fiber, and is converted into parallel light there.
  • the parallel light is guided to the projection lens through the liquid crystal grating 10b. Then, a striped light pattern is irradiated onto the printed circuit board 1 from the projection lens.
  • the illumination device 10 is configured to be able to change the luminance of light emitted from the light source 10a.
  • the luminance setting process described later it is possible to switch between at least the luminance for solder corresponding to the solder area and the luminance for background corresponding to the background area.
  • soldering luminance corresponds to “first luminance” in the present embodiment
  • background luminance corresponds to “second luminance” in the present embodiment.
  • the liquid crystal lattice 10b has a liquid crystal layer formed between a pair of transparent substrates, a common electrode disposed on one transparent substrate, and a plurality of strips arranged in parallel on the other transparent substrate so as to face the common electrode.
  • Each of the grids corresponding to each band electrode by controlling on and off the switching elements (thin film transistors, etc.) connected to each band electrode by a drive circuit and controlling the voltage applied to each band electrode.
  • the light transmittance of the line is switched to form a striped lattice pattern composed of a “bright portion” having a high light transmittance and a “dark portion” having a low light transmittance.
  • the light irradiated on the printed circuit board 1 via the liquid crystal grating 10b becomes a light pattern having a sinusoidal light intensity distribution due to blur caused by diffraction action or the like.
  • the camera 11 includes a lens, an image sensor, and the like.
  • a CMOS sensor is used as the image sensor.
  • the imaging device is not limited to this, and a CCD sensor or the like may be employed, for example.
  • Image data captured by the camera 11 is converted into a digital signal inside the camera 11, input to the control device 12 in the form of a digital signal, and stored in a data storage device 24 described later. Then, the control device 12 performs image processing, inspection processing, and the like, which will be described later, based on the image data. In this sense, the control device 12 constitutes image processing means.
  • the control device 12 includes a CPU and input / output interface 21 (hereinafter referred to as “CPU etc. 21”) that controls the board inspection device 8 as a whole, and a keyboard, a mouse, or a touch panel.
  • CPU etc. 21 a CPU and input / output interface 21
  • the input device 22 as the “input means”
  • the display device 23 as the “display means” having a display screen such as a CRT or a liquid crystal
  • image data captured by the camera 11 and various calculation data are examples of the image data captured by the camera 11 and various calculation data.
  • These devices 22 to 27 are electrically connected to the CPU 21 or the like.
  • the database 27 includes a solder table 27A indicating the correspondence between the solder area (type of cream solder 4) and the luminance of the illumination device 10 corresponding to the solder area, and the background area (type of printed circuit board 1) and the illumination apparatus corresponding thereto.
  • the board table 27B indicating the correspondence with the luminance of 10 is stored.
  • the solder table 27A is manufactured by the manufacturer of the cream solder 4 printed in the solder area such as the company a, the company b, and the company c and the illumination corresponding thereto.
  • the correspondence relationship with the brightness of the device 10 is shown.
  • the board table 27B shows a correspondence relationship between the colors of the background regions such as green, blue, and black and the luminance of the illumination device 10 according to them. Yes.
  • This brightness setting process is repeatedly executed by selecting and operating the “set” button displayed on the display screen of the display device 23.
  • the selection operation of the “setting” button is performed via the input device 22.
  • the selection operation is performed with a pointing device such as a mouse, or the selection operation is performed with a touch panel integrated with the display device 23. As realized.
  • steps are simply indicated by symbol S 100, it is determined whether or not the type of the printed circuit board 1 to be inspected has been input.
  • the printed circuit board 1 is assumed to have an inspection area or the like set for each type specified here. If it is determined that a product type has been input (S100: YES), product type information is displayed in S110, and the process proceeds to S120. On the other hand, when it is determined that the product type has not been input (S100: NO), the following process is not executed and the brightness setting process is temporarily terminated.
  • FIG. 1 A display example of product type information in S110 is shown in FIG. Here, for example, the case where “type J” is selected is shown. Specifically, a window W1 is displayed. This window W1 is composed of windows W2 and W3. The window W2 displays solder area information, and the window W3 displays background area information. The entire images PG1, PG2 of the printed circuit board 1 are displayed in both windows W2, W3. The whole images PG1 and PG2 are prepared in advance. Of course, you may make it acquire whole image PG1, PG2 based on the imaging by the camera 11. FIG.
  • the solder image PG1 displayed in the window W2 is a solder area on which the cream solder 4 is printed, and an inspection target area 31 (an area shown by hatching in the window W2) to be inspected. It is displayed.
  • the “inspection area 31” corresponds to the “first measurement area” in the present embodiment.
  • the background image PG2 displayed in the window W3 is a part of the background area and is a reference area for measurement such as height measurement (an area shown by hatching in the window W3). Is displayed.
  • the “measurement reference region 32” corresponds to the “second measurement target region” in the present embodiment.
  • a solder luminance input field 33 is displayed in the window W2
  • a background luminance input field 34 is displayed in the window W3.
  • the luminance values may be displayed by default, or in the stage of S110, the input fields 33 and 34 may be displayed blank.
  • solder luminance input field 33 it is determined whether or not the solder luminance input field 33 is selected.
  • the selection of the solder luminance input field 33 is performed by a selection operation via the input device 22. That is, similarly to the above-described “setting” button selection operation, for example, a selection operation may be performed using a pointing device such as a mouse, or a selection operation may be performed using a touch panel integrated with the display device 23. The same applies to the selection operation on the display screen. If it is determined that the input field 33 is selected (S120: YES), a selection list (which will be described later) is displayed in S130, and the process proceeds to S140. On the other hand, when it is determined that the input field 33 is not selected (S120: NO), the process proceeds to S160.
  • S140 it is determined whether a luminance value is selected from the selection list. If it is determined that the luminance value has been selected (S140: YES), the setting process of the luminance for solder is performed in S150, and the process proceeds to S160. On the other hand, this determination process is repeated until the luminance value is not selected (S140: NO). Of course, if no selection is made even after a predetermined time has elapsed, the processing may be terminated, or a warning or the like may be given (the same applies to S180).
  • S160 it is determined whether or not the background luminance input field 34 has been selected.
  • the selection of the background luminance input field 34 is performed by a selection operation via the input device 22. If it is determined that the input field 34 has been selected (S160: YES), a selection list (to be described later) is displayed in S170, and the process proceeds to S180. On the other hand, when it is determined that the input field 34 is not selected (S160: NO), the process proceeds to S200.
  • S180 it is determined whether a luminance value is selected from the selection list. If it is determined that a luminance value has been selected (S180: YES), background luminance setting processing is performed in S190, and the process proceeds to S200. On the other hand, this determination process is repeated until the luminance value is not selected (S180: NO).
  • S200 it is determined whether or not there is an end instruction. This end instruction is given by selecting an “end” button on a screen (not shown). If it is determined that an end instruction has been given (S200: YES), the brightness setting process is ended. On the other hand, if it is determined that there is no termination instruction (S200: NO), the processing from S120 is repeated.
  • the display of the selection list in S170 is performed, for example, in the form shown in FIG. That is, when the background luminance input field 34 is selected (S160: YES), a new window W4 is displayed below the input field 34.
  • the content of the displayed selection list is the correspondence between the color and the brightness in the substrate table shown in FIG.
  • a luminance value shown by a black triangle or the like in the figure
  • the luminance value is set (S190), and the background luminance input field 34 is set. Is displayed.
  • the luminance value is selected.
  • the substrate type (color) indicated as “green”, “blue”, “black”, or the like may be selected, or these luminance values may be selected. Alternatively, either one of the substrate types may be selected.
  • This inspection routine is executed by the control device 12 (CPU 21 or the like).
  • the control device 12 first drives and controls the motors 15 and 16 to move the printed circuit board 1 and adjusts the field of view of the camera 11 to a predetermined inspection area (measurement range) on the printed circuit board 1.
  • the inspection area is one area in which the surface of the printed circuit board 1 is divided in advance with the size of the field of view of the camera 11 as one unit.
  • the control device 12 performs a setting process for the lighting device 10. More specifically, the luminance switching control process of the light source 10a and the liquid crystal lattice 10b switching control process are performed. Specifically, the luminance of the light emitted from the light source 10a is switched to the luminance for solder (first luminance) determined in advance by the luminance setting process, and the liquid crystal lattice 10b is switched and controlled. The position of the grating formed in 10b is set to a predetermined reference position (phase “0 °”).
  • the “brightness control unit” in the present embodiment is configured by the function of performing the luminance switching control process of the light source 10a by the control device 12, and the “phase control unit” is configured by the function of performing the switching control process of the liquid crystal grating 10b.
  • the control device 12 causes the light source 10a of the illumination device 10 to emit light, starts the irradiation of the first light pattern with the luminance for soldering, and the phase of the first light pattern. Are sequentially shifted by 90 ° into four phases (phase “0 °”, phase “90 °”, phase “180 °”, phase “270 °”).
  • the control device 12 drives and controls the camera 11 each time the phase of the first light pattern is sequentially shifted, and images the inspection area portion irradiated with the first light pattern. Accordingly, four types of image data captured under the first light pattern with the phase shifted by 90 ° with respect to the predetermined inspection area are acquired. Here, the image data captured by the camera 11 is transferred to and stored in the data storage device 24.
  • control device 12 calculates the phase ⁇ 1 of the first light pattern related to each pixel from the above four image data (luminance values) by the phase shift method.
  • the luminance values V 10 , V 11 , V 12 , and V 13 relating to the respective pixels of the four types of image data are represented by the following formulas (H1), (H2), (H3), and (H4). it can.
  • the first measuring means in this embodiment is constituted by these series of processing functions.
  • the relationship grasping means in this embodiment is constituted by such processing functions.
  • the process of grasping the relationship between the gain A 1 and the offset B 1 is performed in parallel with the above-described calculation process of the height data related to the inspection target region 31 after the acquisition of the four types of image data (after imaging). Is called.
  • proportionality constant K of the gain A 1 and the offset B 1 is calculated based on the following formula (H11) derived from the above formulas (H6) and (H10).
  • the proportional constant K of the gain A 1 and the offset B 1 relating to each pixel calculated in this way is stored in the data storage device 24.
  • the control device 12 starts an imaging process related to the measurement reference region 32.
  • the imaging processing related to the measurement reference region 32 is started immediately after the series of imaging processing related to the inspection target region 31 is completed. That is, it is performed in parallel with the above-described calculation process of the height data related to the inspection target region 31 and the calculation process of the proportionality constant K of the gain A 1 and the offset B 1 .
  • the luminance switching control process of the light source 10a and the switching control process of the liquid crystal lattice 10b are performed. Specifically, the luminance of the light emitted from the light source 10a is switched to the background luminance (second luminance) determined in advance by the luminance setting process, and the liquid crystal lattice 10b is switched and controlled. The position of the grating formed in 10b is set to a predetermined reference position (phase “0 °”).
  • the control device 12 causes the light source 10a of the illumination device 10 to emit light, starts irradiating the second light pattern with the background luminance, and the phase of the second light pattern. Are sequentially shifted into two phases (phase “0 °”, phase “180 °”).
  • the control device 12 drives and controls the camera 11 every time the phase of the second light pattern is sequentially shifted, and images the inspection area portion irradiated with the second light pattern. Thereby, two types of image data captured under the second light pattern whose phase is shifted by 180 ° with respect to the predetermined inspection area are acquired.
  • the image data captured by the camera 11 is transferred to and stored in the data storage device 24.
  • control device 12 calculates the phase ⁇ 2 of the second light pattern relating to each pixel of the measurement reference region 32 by the phase shift method based on the two types of image data.
  • phase ⁇ 2 of the second light pattern is expressed by the following equation (15) based on the above equation (15) when the luminance values relating to the respective pixels of the two types of image data are V 20 and V 21 , respectively. 15 ′).
  • the proportional constant K A 2 / B 2
  • the proportional constant K A 1 / B 1
  • the control device 12 calculates the height and volume of the cream solder 4 in the inspection target region 31, the printing range, and the like using the measurement reference region 32 as a height reference plane. Then, the control device 12 compares the data such as the position, area, height, or volume of the cream solder 4 thus determined with reference data stored in advance, and whether the comparison result is within an allowable range. Whether or not the printing state of the cream solder 4 in the inspection area is good or bad is determined based on whether or not it is. The inspection result is stored in the inspection result storage device 26.
  • control device 12 drives and controls the motors 15 and 16 to move the printed circuit board 1 to the next inspection area. Thereafter, the above series of processing is performed in all inspection areas. The inspection of the entire printed circuit board 1 is completed by being repeatedly performed.
  • the three-dimensional measurement related to the inspection target region 31 is performed based on the image data captured by irradiating the first light pattern having the first luminance corresponding to the inspection target region 31.
  • the three-dimensional measurement related to the measurement reference region 32 is performed based on the image data captured by irradiating the second light pattern having the second luminance corresponding to the measurement reference region 32.
  • the relationship between the gain A and the offset B (proportional constant K) of the light pattern determined by a predetermined imaging condition is grasped from four types of image data captured for the purpose of measuring the inspection target region 31.
  • the gain A or the offset B value of the light pattern related to the pixel is used.
  • three-dimensional measurement can be performed by the phase shift method based on two types of image data captured under a light pattern whose phase has been changed in two ways.
  • the first light pattern having the first luminance is irradiated with the four phases, the four images are captured under the first light pattern, and then the second light pattern having the second luminance is formed in the two ways. Since it is only necessary to irradiate with the phase and take two images under the phase, the number of times of imaging is six times, and the imaging time is greatly reduced.
  • the total number of times of imaging can be reduced, and the imaging time can be shortened. As a result, the measurement time can be dramatically shortened.
  • the measurement reference region 32 is configured to perform three-dimensional measurement based on two types of image data having a phase difference of 180 °, so that the measurement range is 180 from ⁇ 90 ° to 90 °.
  • the measurement reference region 32 serving as a reference surface is flat and has a substantially uniform height, so that there is no particular problem even if the measurement range is narrow.
  • the brightness corresponding to the case where the substrate type (substrate color) is “black” is also prepared in the substrate table 27B of FIG.
  • the measurement reference region 32 background region
  • the difference in lightness and darkness in the measurement reference region 32 This is because there is a high possibility that the (luminance difference) will be small. Therefore, according to the present embodiment, when the measurement reference area 32 is black or gray that is relatively close to black, the effect is conspicuous.
  • the present embodiment it is determined whether or not three-dimensional measurement of the measurement reference region 32 is possible based on image data obtained by irradiating a light pattern with a first luminance corresponding to the inspection target region 31 and picking up the image.
  • the first luminance is corrected to the second luminance corresponding to the measurement reference region 32, and the light pattern is irradiated with the second luminance.
  • the luminance of the lighting device 10 is set in accordance with the cream solder 4. This luminance is predetermined as the luminance for solder (first luminance).
  • the lighting device 10 is turned on by the control device 12 so as to achieve the set soldering luminance, and the surface of the printed circuit board 1 is irradiated with the first light pattern having the first luminance obliquely from above.
  • the control device 12 drives and controls the camera 11 each time the phase of the first light pattern is sequentially shifted, and images the inspection area portion irradiated with the first light pattern. As a result, four types of image data captured under the first light pattern whose phase is shifted by 90 ° are acquired.
  • the average luminance of the background region is calculated based on the image data captured in S210.
  • subsequent S230 it is determined whether the difference between the target luminance of the background area and the average luminance calculated in S220 is equal to or greater than a threshold value. If it is determined that the difference is greater than or equal to the threshold value (S230: YES), the process proceeds to S240. On the other hand, when the difference is below the threshold value (S230: NO), the subsequent processing is not executed and the present imaging processing is terminated.
  • step S240 where the difference is determined to be greater than or equal to the threshold value, the luminance is corrected. Specifically, the luminance of the lighting device 10 is corrected and set based on the ratio between the average luminance and the target luminance calculated in S220. That is, the luminance for solder (first luminance) is corrected and the luminance for background (second luminance) is set.
  • the lighting device 10 is turned on by the control device 12 so as to obtain the corrected background luminance, and the surface of the printed circuit board 1 is irradiated with the second light pattern having the second luminance from obliquely above.
  • the control device 12 drives and controls the camera 11 every time the phase of the second light pattern is sequentially shifted, and images the inspection area portion irradiated with the second light pattern. Thereby, two kinds of image data captured under the second light pattern whose phase is shifted by 180 ° are acquired.
  • FIG. 9 schematically shows the luminance of the light pattern in the background area as a graph.
  • the ideal luminance for performing the three-dimensional measurement of the background region is indicated by a two-dot chain line at the top of the graph.
  • a sine curve having a certain amplitude is desirable.
  • a sine curve having a small amplitude as indicated by a solid line at the bottom of the graph may occur when the background area is a relatively dark color. is there. That is, the difference in brightness (brightness difference) becomes small.
  • the average luminance of the background area is calculated (S220 in FIG. 8), and it is determined whether or not the difference from the target luminance is equal to or larger than the threshold (S230). If this is the case (S230: YES), the luminance for solder is corrected and the luminance for background is set (S240).
  • the average value of the luminance of the background region that is, the average value N of the sine curve at the bottom of the graph is calculated (S220), and the difference D from the target value M, which is a predetermined ideal average value of luminance. Is greater than or equal to a threshold value (S230).
  • the background brightness is set by correcting the solder brightness based on the ratio between the target value M and the average value N. Specifically, the luminance for solder is set to (M / N) times to set the luminance for background.
  • control device 12 performs three-dimensional measurement of the inspection target region 31 and the measurement reference region 32 based on image data obtained by irradiation with solder luminance. .
  • the height and volume of the cream solder 4 in the inspection target region 31 are measured using the measurement reference region 32 as a height reference plane.
  • the illuminating device 10 is turned on with the soldering brightness determined in advance in accordance with the solder area (inspection area 31) under the premise that the color of the cream solder 4 is not so different depending on the manufacturer. Imaging is performed (S200 and S210 in FIG. 8). And based on the image data imaged under the 1st light pattern of this brightness
  • the average value of the luminance of the background region is calculated (S220), and when the difference from the luminance target value is equal to or larger than the threshold value ( (S230: YES), the luminance for solder is corrected using the ratio with the target value, and the luminance for background is set (S240).
  • the lighting device 10 is turned on with the background luminance and imaging is performed (S250).
  • region 32 can be performed.
  • the measurement reference region 32 (background region) is black or gray that is relatively close to black
  • the difference in brightness in the background region There is a high possibility that (luminance difference) will be reduced.
  • the three-dimensional measurement of the measurement reference region 32 can be performed by correcting the ratio between the average value of the actual luminance and the target value, the measurement reference region 32 is black or relatively close to black. If it is gray, the effect is noticeable.
  • the three-dimensional measuring device is embodied as the substrate inspection device 8 that measures the height of the cream solder 4 printed on the printed circuit board 1. It may be embodied in a configuration for measuring the height of other things such as solder bumps printed on the board or electronic parts mounted on the substrate. For example, in the case of a wafer substrate, the surface of the oxide film can be used as the reference height, and the height, shape, volume, etc. of the solder bumps can be calculated.
  • the grating for converting the light from the light source 10a into a striped light pattern is constituted by the liquid crystal grating 10b, and the phase of the light pattern is shifted by switching this. It has a configuration.
  • the grating member may be transferred by a transfer unit such as a piezo actuator to shift the phase of the light pattern.
  • the present invention is not limited to this.
  • the three types are captured under three first light patterns whose phases are different by 120 °. It is good also as a structure which performs three-dimensional measurement based on this image data. That is, the “predetermined number” that is the number of times of imaging of the first measurement target region under the first light pattern may be a number that can perform at least three-dimensional measurement by the phase shift method.
  • two types of image data captured under two types of light patterns that are 180 degrees out of phase when measuring the second measurement target region (measurement reference region 32) using the second light pattern. Based on this, it is configured to perform three-dimensional measurement.
  • a configuration may be used in which three-dimensional measurement is performed based on two types of image data captured under two types of light patterns whose phases are different by 90 °.
  • the luminance values V 20 and V 21 at each pixel on the two types of image data and the known proportionality constant K are used to obtain the first value at each pixel.
  • the phase ⁇ 2 of the two light pattern can be calculated.
  • the phase ⁇ 2 can be obtained based on an arithmetic expression using “tan ⁇ 1 ”, the height can be measured in the range of 360 ° from ⁇ 180 ° to 180 °, and the measurement range is increased. Can be larger.
  • the relationship between the gain A and the offset B is not obtained as an expression, but a numerical table or table data representing the relationship between the gain A and the offset B is created, so that the gain A is offset B or the offset B is gain A. It may be possible to obtain
  • solder table 27A having different brightness is stored for each manufacturer. However, the color of the solder area (area where the cream solder 4 is printed) is relatively stable. If there is, the solder table 27A may be omitted. In other words, as in the second embodiment, focusing on the fact that there is no significant difference among manufacturers, a configuration in which the illumination device 10 is turned on with a predetermined luminance when imaging for the purpose of measuring the inspection target region 31 is performed. It is good.
  • the same background luminance is set for a plurality of measurement reference regions 32 (background regions), and imaging is performed based on irradiation of the illumination device 10 with the background luminance.
  • a plurality of measurement reference regions 32 may be imaged by irradiation with different luminances. This is because the plurality of measurement reference regions 32 are not necessarily the same color. Therefore, as shown in FIG. 10, in the display of product type information, symbols such as U1 to U5 are displayed corresponding to each measurement reference region 32, and the background luminance can be set for each measurement reference region 32. Also good.
  • the input field 35 is prepared so as to correspond to the symbol displayed on the image PG2 of the printed circuit board 1.
  • the luminance for solder is corrected by the ratio between the average value of the luminance of the background area in the image data and the target value.
  • the soldering luminance is corrected with a relatively simple calculation formula, but the luminance and the luminance of the image data are not completely linearly proportional.
  • correction information may be stored in the database 27 in advance.
  • the correction information may be a correction magnification of the luminance for solder according to the average value of the luminance of the background area. Then, when it is determined that the three-dimensional measurement of the measurement reference region 32 is impossible based on the imaging with the first light pattern, the luminance for solder is corrected with reference to this correction information to set the luminance for background. In this way, the background luminance to be set becomes more appropriate, and the three-dimensional measurement of the measurement reference region 32 can be reliably executed by imaging with the background luminance.
  • the effect is conspicuous when the measurement reference region 32 (background region) is black or gray that is relatively close to black.
  • the measurement reference region 32 (background region) is white or relative.
  • the luminance in the measurement reference region 32 (background region) becomes too high in the image data captured with the luminance corresponding to the inspection target region 31 (solder region).
  • the effect is conspicuous even when the measurement reference region 32 (background region) is white or gray that is relatively close to white.
  • SYMBOLS 1 Printed circuit board, 2 ... Base substrate, 3 ... Electrode pattern, 4 ... Cream solder, 5 ... Resist film, 8 ... Board inspection apparatus, 10 ... Illumination device, 10a ... Light source, 10b ... Liquid crystal lattice, 11 ... Camera, 12 DESCRIPTION OF SYMBOLS ... Control device, 24 ... Data storage device, 25 ... Three-dimensional arithmetic unit, 26 ... Inspection result storage device, 27 ... Database, 27A ... Solder table, 27B ... Substrate table, 31 ... Inspection object area, 32 ... Measurement standard Area, A 1 , A 2 ... gain, B 1 , B 2 ... offset, K ... proportional constant.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

位相シフト法を利用した三次元計測を行うにあたり、より高精度な計測をより短時間で実現することのできる三次元計測装置を提供する。基板検査装置８は、プリント基板１に対し所定の光パターンを照射する照明装置１０と、その光パターンの照射された部分を撮像するカメラ１１と、各種制御や画像処理、演算処理を実施する制御装置１２とを備えている。制御装置１２は、まず半田領域に応じた第１輝度の第１光パターンを４通りの位相で照射し撮像された４通りの画像データを基に、半田領域に係る三次元計測を行うと共に、該４通りの画像データを基に所定の撮像条件により定まるゲイン及びオフセットの関係を把握する。次に背景領域に応じた第２輝度の第２光パターンを２通りの位相で照射し撮像された２通りの画像データを基に、前記ゲイン及びオフセットの関係を利用して、背景領域に係る三次元計測を行う。

Description

三次元計測装置
　本発明は、位相シフト法を利用して三次元計測を行う三次元計測装置に関するものである。
　一般に、プリント基板は、ガラスエポキシ樹脂からなるベース基板の上に電極パターンを具備し、表面がレジスト膜によって保護されている。かかるプリント基板上に電子部品を実装する場合、まず電極パターン上のレジスト膜による保護がされていない所定位置にクリーム半田が印刷される。次に、該クリーム半田の粘性に基づいてプリント基板上に電子部品が仮止めされる。その後、前記プリント基板がリフロー炉へ導かれ、所定のリフロー工程を経ることで半田付けが行われる。昨今では、リフロー炉に導かれる前段階においてクリーム半田の印刷状態を検査する必要があり、かかる検査に際して三次元計測装置が用いられることがある。
　該位相シフト法を利用した三次元計測装置においては、所定の光を発する光源と、該光源からの光を正弦波状（縞状）の光強度分布を有する光パターンに変換する格子との組み合わせからなる照射手段により、光パターンを被計測物（この場合、プリント基板）に照射する。そして、基板上の点を真上に配置した撮像手段を用いて観測する。撮像手段としては、レンズ及び撮像素子等からなるＣＣＤカメラ等が用いられる。
　上記構成の下、撮像手段により撮像された画像データ上の各座標（画素）の光の強度（輝度）Ｉは下式（Ｔ１）で与えられる。
　Ｉ＝ｆ・sinφ＋ｅ　　・・（Ｔ１）
　但し、ｆ：ゲイン、ｅ：オフセット、φ：光パターンの位相。
　ここで、上記格子を切換制御することにより、光パターンの位相を例えば４段階（φ＋０、φ＋９０°、φ＋１８０°、φ＋２７０°）に変化させ、これらに対応する強度分布Ｉ0、Ｉ1、Ｉ2、Ｉ3をもつ画像データを取り込み、下記式（Ｔ２）に基づいてｆ（ゲイン）とｅ（オフセット）をキャンセルし、位相φを求める。
　φ＝tan-1[(Ｉ1－Ｉ3)／(Ｉ2－Ｉ0)]　・・（Ｔ２）
　そして、この位相φを用いて、三角測量の原理に基づき被計測物上の各座標（Ｘ，Ｙ）における高さ（Ｚ）が求められる。
　ところが、プリント基板上のクリーム半田の印刷部分の周囲（以下、背景領域という）の色は様々である。これは、ガラスエポキシ樹脂やレジスト膜に種々の色が使用されるためである。そして、例えば黒色などの比較的暗い色の背景領域では、撮像手段により撮像された画像データのコントラストが小さくなってしまう。つまり、画像データ上、上記光パターンの明暗の差（輝度差）が小さくなってしまうのである。そのため、背景領域の高さ計測が困難となるおそれがある。本来であれば基板上に印刷されたクリーム半田の高さをより高精度で計測するためには、その基板内に高さ基準を採ることが望ましい。しかしながら、背景領域を高さ基準面として適正に利用できないため、その基板内に高さ基準を採ることができないといった不具合を生じるおそれがある。
　これに鑑み、近年では、輝度が異なる２種類の光パターンを利用して計測を行う三次元計測装置も提案されている（例えば、特許文献１参照）。具体的には、第１の輝度の光パターンを照射して得られた画像データに基づき、プリント基板上の検査対象領域（半田領域）に係る三次元計測を行うと共に、第２の輝度の光パターンを照射して得られた画像データに基づき、プリント基板上の計測基準領域（背景領域）に係る三次元計測を行い、計測基準領域を高さ基準面として検査対象領域のクリーム半田の高さや体積が計測されることとなる。
特開２００６－３００５３９号公報
　しかしながら、上記のとおり、位相シフト法を利用した従来の三次元計測装置においては、照射する光パターンの位相を４段階（又は３段階）に変化させ、４通り（又は３通り）の画像を撮像する必要がある。
　従って、輝度の異なる２種類の光パターンを切換えて計測を行う場合には、まず第１輝度の第１光パターンを照射し、その位相を４段階（又は３段階）に変化させ、これらの下で４通り（又は３通り）の画像を撮像した後、輝度を変えて、第２輝度の第２光パターンを照射し、その位相を４段階（又は３段階）に変化させ、これらの下で４通り（又は３通り）の画像を撮像するといったように、各輝度の光パターンの下でそれぞれ４回（又は３回）ずつ、計８回（又は６回）の撮像が必要となり、撮像時間が大幅に増大するおそれがあった。
　また、一枚のプリント基板上に計測対象範囲が多数設定されているような場合には、該一枚のプリント基板の計測に要する時間はさらにその数倍となる。そのため、計測時間のさらなる短縮化が求められる。
　尚、上記課題は、必ずしもプリント基板上に印刷されたクリーム半田等の高さ計測に限らず、他の三次元計測装置の分野においても内在するものである。
　本発明は、上記事情に鑑みてなされたものであり、その目的は、位相シフト法を利用した三次元計測を行うにあたり、より高精度な計測をより短時間で実現することのできる三次元計測装置を提供することにある。
　以下、上記課題を解決するのに適した各手段につき項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。
　手段１．所定の光を発する光源、及び、該光源からの光を縞状の光強度分布を有する光パターンに変換する格子を有し、該光パターンを少なくとも第１計測対象領域及び第２計測対象領域を有する被計測物に対し照射可能な照射手段と、
　前記光源から発せられる光の輝度を変更可能な輝度制御手段と、
　前記格子の移送又は切替を制御し、前記照射手段から照射する前記光パターンの位相を複数通りに変化可能な位相制御手段と、
　前記光パターンの照射された前記被計測物からの反射光を撮像可能な撮像手段と、
　前記撮像手段により撮像された画像データを基に位相シフト法により前記被計測物の三次元計測を実行可能な画像処理手段とを備え、
　前記画像処理手段は、
　前記第１計測対象領域に応じた第１輝度の第１光パターンを所定数通り（例えば３通り又は４通り）の位相で照射し撮像された所定数通りの画像データを基に、前記第１計測対象領域に係る三次元計測を行う第１計測手段と、
　前記第１光パターンの下で撮像された前記所定数通りの画像データを基に、所定の撮像条件により定まるゲイン及びオフセットの関係を把握する関係把握手段と、
　前記第２計測対象領域に応じた第２輝度の第２光パターンを２通りの位相で照射し撮像された２通りの画像データを基に、該２通りの画像データの各画素の輝度値から定まる該画素に係るゲイン又はオフセットの値と、前記関係把握手段により把握されたゲイン及びオフセットの関係とを利用して、前記第２計測対象領域に係る三次元計測を行う第２計測手段とを備えたことを特徴とする三次元計測装置。
　ここで「第１計測対象領域に応じた第１輝度」及び「第２計測対象領域に応じた第２輝度」は、前もって設定しておいても良いし、都度別途計測して求めても良い。また「第１計測対象領域に応じた第１輝度」が既知であれば、「第１計測対象領域に応じた第１輝度」を前もって設定しておき、「第１計測対象領域に応じた第１輝度」による画像データを基に「第２計測対象領域に応じた第２輝度」を求めても良い。
　上述したとおり、従来では、第１計測対象領域（例えば半田領域など）の計測を目的として撮像を行った場合、その画像データ上における第２計測対象領域（例えば背景領域など）に関しては、輝度が高すぎたり低すぎたり或いは明暗の差（輝度差）が小さくなってしまうことがある。このような場合、第２計測対象領域に係る計測精度が著しく低下するおそれがある。
　この点、上記手段１によれば、第１計測対象領域（例えば比較的明るい明部）に応じた第１輝度の第１光パターンを照射し撮像された画像データを基に該第１計測対象領域に係る三次元計測を行うと共に、第２計測対象領域（例えば比較的暗い暗部）に応じた第２輝度の第２光パターンを照射し撮像された画像データを基に該第２計測対象領域に係る三次元計測を行う構成となっている。これにより、第１計測対象領域及び第２計測対象領域の両者とも、輝度を変えて、それぞれ適正な輝度の光パターンの下で撮像した画像データに基づき三次元計測を行うことができる。結果として、計測精度の低下抑制を図ることができる。
　さらに、本手段では、第１計測対象領域の計測を目的として撮像された所定数通りの画像データから、所定の撮像条件により定まるゲインＡ及びオフセットＢの関係〔例えばＡ＝Ｋ（比例定数）×Ｂ〕を把握する構成となっている。
　所定の撮像条件により定まる光パターンのゲインＡ及びオフセットＢの関係と、画像データ上の被計測座標（ｘ，ｙ）の輝度値Ｖ（ｘ，ｙ）から定まる、該被計測座標（ｘ，ｙ）に係る光パターンのゲインＡ（ｘ，ｙ）又はオフセットＢ（ｘ，ｙ）の値とを利用することにより、２通りに位相変化させた光パターンの下で撮像した２通りの画像データを基に位相シフト法により被計測座標の三次元計測を行うことができる。
　つまり、本手段では、第２計測対象領域に関して、少なくとも２通りに位相変化させた第２光パターンの下で撮像された２通りの画像データを取得しさえすれば、位相シフト法による三次元計測が可能となる。
　これにより、例えば第１輝度の第１光パターンを４通り（又は３通り）の位相で照射し、その下で４通り（又は３通り）の画像を撮像した後、第２輝度の第２光パターンを２通りの位相で照射し、その下で２通りの画像を撮像する場合には、撮像回数が計６回（又は計５回）となり、撮像時間が大幅に減少する。
　従って、光パターンの輝度を変えて被計測物上の異なる領域をそれぞれ三次元計測するだけの従来技術に比べ、総合的な撮像回数が少なくて済み、撮像時間を短縮することができる。結果として、計測時間を飛躍的に短縮することができる。
　尚、光源から照射された光は、まず格子を通過する際に減衰され、次に被計測物にて反射する際に減衰され、最後に撮像手段においてＡ／Ｄ変換（アナログ－デジタル変換）される際に減衰された上で、画像データの各画素の輝度値として取得される。
　従って、撮像手段により撮像された画像データの各画素の輝度値は、光源の輝度、光源から照射された光が格子を通過する際の減衰率、光が被計測物にて反射する際の反射率、撮像手段においてＡ／Ｄ変換（アナログ－デジタル変換）される際の変換効率等を掛け合わせることにより表現することができる。
　例えば、光源（均一光）の輝度：Ｌ
　　　　　格子の透過率：Ｇ＝αsinθ＋β
　　　　　　　　　　　　　α，βは任意の定数。
　　　　　被計測物上の座標 (x,y)における反射率：Ｒ(x,y)
　　　　　撮像手段（撮像素子）の各画素の変換効率：Ｅ
　　　　　被計測物上の座標(x,y)に対応する画像上の画素の輝度値：Ｖ(x,y)
　　　　　被計測物上の座標(x,y)における光パターンのゲイン：Ａ(x,y)
　　　　　被計測物上の座標(x,y)における光パターンのオフセット：Ｂ(x,y)
とした場合には、下記式（Ｆ１）で表すことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、ゲインＡ(x,y)は、「sinθ＝1」の光による輝度値Ｖ(x,y)MAXと、「sinθ＝－1」の光による輝度値Ｖ(x,y)MINとの差から表すことができるので、
　例えば、格子がθ＝０の時の透過率（＝平均透過率）：Ｇθ=0
　　　　　格子がθ＝π／２の時の透過率（＝最大透過率）：Ｇθ=π/2
　　　　　格子がθ＝－π／２の時の透過率（＝最小透過率）：Ｇθ=-π/2
とした場合には、下記式（Ｆ２）で表すことができる。
Figure JPOXMLDOC01-appb-M000002
　また、オフセットＢ(x,y)は、「sinθ＝0」の光における輝度値Ｖ(x,y)であって、「sinθ＝1」の光による輝度値Ｖ(x,y) MAXと、「sinθ＝－1」の光による輝度値Ｖ(x,y) MINとの平均値であるので、下記式（Ｆ３）で表すことができる。
Figure JPOXMLDOC01-appb-M000003
　つまり、輝度値の最大値Ｖ(x,y)MAX、最小値Ｖ(x,y)MIN、平均値Ｖ(x,y)AVはそれぞれ下記式（Ｆ４）、（Ｆ５）、（Ｆ６）で表すことができ、図１１のグラフに示すような関係となる。
Figure JPOXMLDOC01-appb-M000004
　図１１から見てとれるように、所定の座標(x,y)における輝度値の最大値Ｖ(x,y)MAXと輝度値の最少値Ｖ(x,y)MINの平均値Ｖ(x,y)AVがオフセットＢ(x,y)となり、該オフセットＢ(x,y)と最大値Ｖ(x,y)MAXとの差、及び、該オフセットＢ(x,y)と最少値Ｖ(x,y)MINとの差がそれぞれゲインＡ(x,y)となる。
　また、輝度値Ｖ(x,y)は、光源の輝度Ｌ又は反射率Ｒ(x,y)に比例して変化するため、例えば反射率Ｒが半分となる座標位置では、ゲインＡやオフセットＢの値も半分となる。
　次に上記式（Ｆ２）、（Ｆ３）を下記式（Ｆ２´）、（Ｆ３´）とした上で、両者を合わせて整理すると、下記式（Ｆ７）が導き出せる。
Figure JPOXMLDOC01-appb-M000005
　さらに、上記式（Ｆ７）をＡ(x,y)について解くと、下記式（Ｆ８）となり、図１２に示すグラフのように表すことができる。
Figure JPOXMLDOC01-appb-M000006
　つまり、光源の輝度Ｌ又は反射率Ｒ(x,y)の一方を固定して他方を変化させた場合には、オフセットＢ(x,y)が増減すると共に、該オフセットＢ(x,y)に比例してゲインＡ(x,y)も増減することとなる。かかる式（Ｆ８）により、ゲインＡ又はオフセットＢの一方が分かれば、他方を求めることができる。ここで、比例定数Ｋは、光源の輝度Ｌや反射率Ｒとは無関係に、格子の透過率Ｇにより定まる。つまり、下記の手段２，３のように換言することができる。
　但し、光源の輝度Ｌを変更した場合（例えば第１輝度から第２輝度へ変更した場合）には、画像データ上の被計測座標（ｘ，ｙ）の輝度値Ｖ（ｘ，ｙ）、ひいては該被計測座標（ｘ，ｙ）に係る光パターンのゲインＡ（ｘ，ｙ）及びオフセットＢ（ｘ，ｙ）の値がそれぞれ異なる値となる一方、比例定数Ｋに関しては、光源の輝度Ｌには依存しないため、変化しない。つまり、同一の格子を用いて照射される第１光パターンと第２光パターンとでは、ゲインＡ及びオフセットＢの値がそれぞれ異なるが、比例定数Ｋに関しては全く変わらない。
　尚、被計測物に対し、位相の異なる複数の光パターンをそれぞれ波長（ＲＧＢ成分）を異ならせて同時に照射する構成とすれば、一回の撮像で位相の異なる３通りの画像データを取得することが可能である。しかし、かかる構成においては、ＲＧＢ各成分の光パターンごとに、光源の輝度、被計測物での反射率、格子の透過率、撮像素子の変換効率などがそれぞれ異なるため、ＲＧＢ各成分の光パターンに係るゲインＡ及びオフセットＢの値もそれぞれ異なってくる。そのため、一回の撮像で得た３通りの画像データを基に位相シフト法により三次元計測を行う場合には、ＲＧＢ各成分の光パターンに係るゲインＡ及びオフセットＢの値が一致していると仮定した上で、それの誤差を無視して演算を行うこととなるため、計測精度が著しく低下するおそれがある。これに対し、本手段１によれば、位相の異なる複数通りの画像データを取得するにあたり、各画像データ間でゲインＡ及びオフセットＢの値に違いが生じないため、計測精度の低下抑制を図ることができる。
　手段２．前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが相互に一義的に定まる関係であることを特徴とする手段１に記載の三次元計測装置。
　ゲインＡとオフセットＢとが相互に一義的に定まる関係であれば、例えばゲインＡとオフセットＢとの関係を表した数表やテーブルデータを作成することにより、ゲインＡからオフセットＢ、或いは、オフセットＢからゲインＡを求めることが可能となる。
　手段３．前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが比例関係であることを特徴とする手段１に記載の三次元計測装置。
　ゲインとオフセットとが比例関係であれば、例えばＡ＝Ｋ×Ｂ〔但し、Ｋ：比例定数〕のような関係式で表すことができ、ゲインＡからオフセットＢ、或いは、オフセットＢからゲインＡを求めることが可能となる。ひいては下記の手段４のような構成とすることができる。
　手段４．前記２通りに位相変化させた第２光パターンの相対位相関係をそれぞれ０、γとしたときの前記２通りの画像データの各画素の輝度値をそれぞれＶ0、Ｖ1とした場合に、
　前記第２計測手段は、前記第２計測対象領域に係る計測を行うに際し、
　下記式（１）、（２）、（３）の関係を満たす位相θを算出することを特徴とする手段１乃至３のいずれかに記載の三次元計測装置。
　Ｖ0＝Ａsinθ＋Ｂ　　　　　　・・・（１）
　Ｖ1＝Ａsin（θ＋γ）＋Ｂ　　・・・（２）
　Ａ＝ＫＢ　　　　　　　　　　・・・（３）
　但し、γ≠０、Ａ：ゲイン、Ｂ：オフセット、Ｋ：比例定数。
　上記手段４によれば、上記式（３）を上記式（１）に代入することにより、下記式（４）を導き出すことができる。
　Ｖ0＝ＫＢsinθ＋Ｂ　　　・・・（４）
　これをオフセットＢについて解くと、下記式（５）を導き出すことができる。
　Ｂ＝Ｖ0／（Ｋsinθ＋１）　　・・・（５）
　また、上記式（３）を上記式（２）に代入することにより、下記式（６）を導き出すことができる。
　Ｖ1＝ＫＢsin（θ＋γ）＋Ｂ　　・・・（６）
　上記式（６）を上記式（５）に代入し、下記［数７］に示すように整理していくと、下記式（７）を導き出すことができる。
Figure JPOXMLDOC01-appb-M000007
　ここで、「Ｖ0cosγ－Ｖ1＝ａ」、「Ｖ0sinγ＝ｂ」、「（Ｖ0－Ｖ1）／Ｋ＝ｃ」と置くと、上記式（７）は下記式（８）のように表すことができる。
　ａsinθ＋ｂcosθ＋ｃ＝０　　・・・（８）
　ここで、下記［数８］に示すように、上記式（８）を位相θについて解いていくと、下記［数９］に示す下記式（９）を導き出すことができる。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　従って、上記手段４における『下記式（１）、（２）、（３）の関係を満たす位相θを算出すること』とあるのは、『下記式（９）に基づき位相θを算出すること』と換言することができる。勿論、位相θを得るアルゴリズムは、上記式（９）に限定されるものではなく、上記式（１）、（２）、（３）の関係を満たすものであれば、他の構成を採用してもよい。
　手段５．γ＝１８０°としたことを特徴とする手段４に記載の三次元計測装置。
　上記手段５によれば、位相が１８０°異なる２通りの第２光パターンの下で２回の撮像を行うこととなる。
　上記式（２）においてγ＝１８０°とすることで下記式（１０）が導き出される。
　Ｖ1＝Ａsin（θ＋１８０°）＋Ｂ
　　　＝－Ａsinθ＋Ｂ　　・・・（１０）
　そして、上記式（１），（１０）から下記式（１１）を導き出すことができ、これをオフセットＢについて解くと、下記式（１２）を導き出すことができる。
　Ｖ0＋Ｖ1＝２Ｂ　　・・・（１１）
　Ｂ＝（Ｖ0＋Ｖ1）／２　・・・（１２）
　さらに、上記式（１２）を上記式（３）に代入することにより、下記式（１３）を導き出すことができる。
　Ａ＝ＫＢ
　　＝Ｋ（Ｖ0＋Ｖ1）／２　・・・（１３）
　また、上記式（１）を「sinθ」について整理すると、下記式（１´）のようになる。
　sinθ＝（Ｖ0－Ｂ）／Ａ　・・・（１´）
　そして、上記式（１´）に、上記式（１２），（１３）を代入することにより、下記式（１４）を導き出すことができる。
　sinθ＝｛Ｖ0－（Ｖ0＋Ｖ1）／２｝／｛Ｋ（Ｖ0＋Ｖ1）／２｝
　　　　＝（Ｖ0－Ｖ1）／Ｋ（Ｖ0＋Ｖ1）　・・・（１４）
　ここで、上記式（１４）を位相θについて解くと、下記式（１５）を導き出すことができる。
　θ＝sin-1［（Ｖ0－Ｖ1）／Ｋ（Ｖ0＋Ｖ1）］　・・・（１５）
　つまり、位相θは、既知の輝度値Ｖ0，Ｖ1及び定数Ｋにより特定することができる。
　このように、上記手段５によれば、比較的簡単な演算式に基づいて位相θを求めることができ、被計測物の三次元計測を行うに際し、さらなる処理の高速化が可能となる。
　手段６．γ＝９０°としたことを特徴とする手段４に記載の三次元計測装置。
　上記手段６によれば、位相が９０°異なる２通りの第２光パターンの下で２回の撮像を行うこととなる。
　上記式（２）においてγ＝９０°とすることで下記式（１６）が導き出される。
　Ｖ1＝Ａsin（θ＋９０°）＋Ｂ
　　　＝Ａcosθ＋Ｂ　・・・（１６）
　上記式（１６）を「cosθ」について整理すると、下記式（１７）のようになる。
　cosθ＝（Ｖ1－Ｂ）／Ａ　・・・（１７）
　また、上記式（１）を「sinθ」について整理すると、上述したように下記式（１´）のようになる。
　sinθ＝（Ｖ0－Ｂ）／Ａ　・・・（１´）
　次に上記式（１´）、（１７）を下記式（１８）に代入すると下記式（１９）のようになり、さらにこれを整理することで、下記式（２０）が導き出される。
　sin2θ＋cos2θ＝１　・・・（１８）
　｛（Ｖ0－Ｂ）／Ａ｝2＋｛（Ｖ1－Ｂ）／Ａ｝2＝１　・・・（１９）
　（Ｖ0－Ｂ）2＋（Ｖ1－Ｂ）2＝Ａ2　・・・（２０）
　そして、上記式（２０）に対し上記式（３）を代入すると下記式（２１）のようになり、さらにこれを整理することで、下記式（２２）が導き出される。
　（Ｖ0－Ｂ）2＋（Ｖ1－Ｂ）2＝Ｋ2Ｂ2　　・・・（２１）
　（２－Ｋ2）Ｂ2－２（Ｖ0＋Ｖ1）Ｂ＋Ｖ0 2Ｖ1 2＝０　・・・（２２）
　ここで、上記式（２２）をオフセットＢについて解くと、下記式（２３）を導き出すことができる。
Figure JPOXMLDOC01-appb-M000010
　つまり、オフセットＢは、既知の輝度値Ｖ0，Ｖ1及び定数Ｋにより特定することができる。
　また、下記式（２４）に上記式（１´）、（１７）を代入すると下記式（２５）のようになり、さらにこれを整理することで、下記式（２６）が導き出される。
　tanθ＝sinθ／cosθ　・・・（２４）
　　　＝｛（Ｖ0－Ｂ）／Ａ｝／｛（Ｖ1－Ｂ）／Ａ｝　・・・（２５）
　　　＝（Ｖ0－Ｂ）／（Ｖ1－Ｂ）　　　・・・（２６）
　そして、上記式（２６）を位相θについて解くと、下記式（２７）を導き出すことができる。
　θ＝tan-1｛（Ｖ0－Ｂ）／（Ｖ1－Ｂ）｝　・・（２７）
　つまり、位相θは、上記式（２３）を用いることにより、既知の輝度値Ｖ0，Ｖ1及び定数Ｋにより特定することができる。
　このように、上記手段６によれば、「tan-1」を用いた演算式に基づいて位相θを求めることができるため、－１８０°～１８０°の３６０°の範囲で高さ計測可能となり、計測レンジをより大きくすることができる。
　手段７．前記第１計測対象領域及び前記第２計測対象領域のうちの一方が検査対象領域であり、他方が計測基準領域であることを特徴とする手段１乃至６のいずれかに記載の三次元計測装置。
　上記手段７によれば、計測基準領域を基準面として検査対象領域に係る計測をより適正に行うことができ、計測精度の向上を図ることができる。但し、「検査対象領域」の計測精度をより高める上では、撮像回数の多い第１計測対象領域が「検査対象領域」となることが好ましい。
　手段８．前記被計測物が、クリーム半田が印刷されたプリント基板、又は、半田バンプが形成されたウエハ基板であることを特徴とする手段１乃至７のいずれかに記載の三次元計測装置。
　上記手段８によれば、プリント基板に印刷されたクリーム半田、又は、ウエハ基板に形成された半田バンプの高さ計測等を行うことができる。ひいては、クリーム半田又は半田バンプの検査において、その計測値に基づいてクリーム半田又は半田バンプの良否判定を行うことができる。従って、かかる検査において、上記各手段の作用効果が奏されることとなり、精度よく良否判定を行うことができる。結果として、半田印刷検査装置又は半田バンプ検査装置における検査精度の向上を図ることができる。
　例えば被計測物をプリント基板とすれば、上記「検査対象領域（例えば第１計測対象領域）」は、クリーム半田が印刷された「半田領域」であることが考えられる。また、「計測基準領域（例えば第２計測対象領域）」は、半田領域以外の「背景領域」であることが考えられる。ここで「背景領域」は、クリーム半田の印刷されていない電極パターンが露出した部分であったり、ガラスエポキシ樹脂等からなるベース基板が露出した部分であったり、電極パターン上を覆うレジスト膜の部分であったり、ベース基板上を覆うレジスト膜の部分であったりすることが考えられる。
基板検査装置を模式的に示す概略構成図である。 プリント基板の部分拡大断面図である。 基板検査装置の電気的構成を示すブロック図である。 （ａ）は半田用テーブルを示す説明図であり、（ｂ）は基板用テーブルを示す説明図である。 輝度設定処理を示すフローチャートである。 品種情報の表示画面を例示する説明図である。 品種情報の表示画面における輝度の選択を例示する説明図である。 第２実施形態の撮像処理を示すフローチャートである。 輝度の補正を示すための説明図である。 別実施形態における品種情報の表示画面を例示する説明図である。 光源の輝度又は反射率と輝度値との関係を示すグラフである。 ゲインとオフセットの関係を示すグラフである。
　〔第１実施形態〕
　以下、一実施形態について図面を参照しつつ説明する。まず検査対象となる被計測物としてのプリント基板の構成について詳しく説明する。
　図２に示すように、プリント基板１は、ガラスエポキシ樹脂等からなる平板状のベース基板２に、銅箔からなる電極パターン３が設けられている。さらに、所定の電極パターン３上には、クリーム半田４が印刷されている。
　以下、このクリーム半田４が印刷された領域を「半田領域」という。また、半田領域以外の部分を「背景領域」と総称するが、この背景領域には、電極パターン３が露出した領域（記号ＰＡ）、ベース基板２が露出した領域（記号ＰＢ）、ベース基板２上にレジスト膜５がコーティングされた領域（記号ＰＣ）、及び、電極パターン３上にレジスト膜５がコーティングされた領域（記号ＰＤ）が含まれる。尚、レジスト膜５は、所定配線部分以外にクリーム半田４がのらないように、プリント基板１の表面にコーティングされるものである。
　次に、本実施形態における三次元計測装置を具備する基板検査装置８について詳しく説明する。図１は、基板検査装置８を模式的に示す概略構成図である。同図に示すように、基板検査装置８は、プリント基板１を載置するための載置台９と、プリント基板１の表面に対し斜め上方から所定の光パターンを照射する照射手段としての照明装置１０と、プリント基板１上の前記光パターンの照射された部分を撮像するための撮像手段としてのカメラ１１と、基板検査装置８内における各種制御や画像処理、演算処理を実施するための制御装置１２とを備えている。
　載置台９には、モータ１５，１６が設けられており、該モータ１５，１６が制御装置１２により駆動制御されることによって、載置台９上に載置されたプリント基板１が任意の方向（Ｘ軸方向及びＹ軸方向）へスライドさせられるようになっている。
　照明装置１０は、光源１０ａと、該光源１０ａからの光を正弦波状（縞状）の光強度分布を有する光パターンに変換する液晶格子１０ｂとを備えており、プリント基板１に対し、斜め上方から複数通りに位相変化する縞状の光パターンを照射可能となっている。
　より詳しくは、照明装置１０において、光源１０ａから発せられた光は光ファイバーにより一対の集光レンズに導かれ、そこで平行光にされる。その平行光が、液晶格子１０ｂを介して投影レンズに導かれる。そして、投影レンズからプリント基板１に対し縞状の光パターンが照射される。
　さらに、照明装置１０は、光源１０ａから発せられる光の輝度を変更可能に構成されている。本実施形態では、後述する輝度設定処理が行われることにより、少なくとも半田領域に応じた半田用輝度と、背景領域に応じた背景用輝度とに切換可能となる。ここで「半田用輝度」が本実施形態における「第１輝度」に相当し、「背景用輝度」が本実施形態における「第２輝度」に相当する。
　液晶格子１０ｂは、一対の透明基板間に液晶層が形成されると共に、一方の透明基板上に配置された共通電極と、これと対向するように他方の透明基板上に複数並設された帯状電極とを備え、駆動回路により、各帯状電極にそれぞれ接続されたスイッチング素子（薄膜トランジスタ等）をオンオフ制御し、各帯状電極に印加される電圧を制御することにより、各帯状電極に対応する各格子ラインの光透過率が切替えられ、光透過率の高い「明部」と、光透過率の低い「暗部」とからなる縞状の格子パターンを形成する。そして、液晶格子１０ｂを介してプリント基板１上に照射される光は、回折作用に起因したボケ等により、正弦波状の光強度分布を有する光パターンとなる。
　カメラ１１は、レンズや撮像素子等からなる。撮像素子としては、ＣＭＯＳセンサを採用している。勿論、撮像素子はこれに限定されるものではなく、例えばＣＣＤセンサ等を採用してもよい。カメラ１１によって撮像された画像データは、該カメラ１１内部においてデジタル信号に変換された上で、デジタル信号の形で制御装置１２に入力され、後述するデータ記憶装置２４に記憶される。そして、制御装置１２は、該画像データを基に、後述するような画像処理や検査処理等を実施する。かかる意味で、制御装置１２は画像処理手段を構成する。
　次に、制御装置１２の電気的構成について説明する。図３に示すように、制御装置１２は、基板検査装置８全体の制御を司るＣＰＵ及び入出力インターフェース２１（以下、「ＣＰＵ等２１」という）と、キーボードやマウス、あるいは、タッチパネルで構成される「入力手段」としての入力装置２２と、ＣＲＴや液晶などの表示画面を有する「表示手段」としての表示装置２３と、カメラ１１により撮像された画像データや各種演算データなどを記憶するためのデータ記憶装置２４と、クリーム半田４などの高さや体積の計測を行う「三次元演算手段」としての三次元演算装置２５と、検査結果を記憶するための検査結果記憶装置２６と、検査に必要な各種データを予め記憶するデータベース２７とを備えている。尚、これら各装置２２～２７は、ＣＰＵ等２１に対し電気的に接続されている。
　データベース２７は、半田領域（クリーム半田４の種類）とそれに応じた照明装置１０の輝度との対応関係を示す半田用テーブル２７Ａ、及び、背景領域（プリント基板１の種類）とそれに応じた照明装置１０の輝度との対応関係を示す基板用テーブル２７Ｂを記憶している。
　本実施形態では、半田用テーブル２７Ａは、図４（ａ）に示すように、ａ社、ｂ社、ｃ社などの半田領域に印刷されたクリーム半田４の製造メーカと、それらに応じた照明装置１０の輝度との対応関係を示すものとなっている。また、基板用テーブル２７Ｂは、図４（ｂ）に示すように、緑、青、黒などの背景領域の色と、それらに応じた照明装置１０の輝度との対応関係を示すものとなっている。
　次に、制御装置１２によって実行される、照明装置１０の輝度を設定するための輝度設定処理について、図５のフローチャート及び図６、図７の説明図に基づき説明する。この輝度設定処理は、表示装置２３の表示画面に表示される「設定」ボタンが選択操作されることで繰り返し実行されるものである。「設定」ボタンの選択操作は、入力装置２２を介してなされるが、例えばマウス等のポインティングデバイスで選択操作されたり、あるいは、表示装置２３と一体に構成されたタッチパネルで選択操作されたりする構成として実現される。
　最初のステップ（以下、ステップを単に記号Ｓで示す）１００において、検査対象となるプリント基板１の品種が入力されたか否かを判断する。プリント基板１は、ここで指定される品種ごとに検査領域などが設定されているものとする。ここで品種が入力されたと判断された場合（Ｓ１００：ＹＥＳ）、Ｓ１１０にて品種情報を表示し、Ｓ１２０へ移行する。一方、品種が入力されていないと判断された場合（Ｓ１００：ＮＯ）、以降の処理を実行せず、本輝度設定処理を一旦終了する。
　Ｓ１１０における品種情報の表示例を図６に示す。ここでは例えば「品種Ｊ」が選択された場合を示している。具体的には、ウインドウＷ１が表示されている。このウインドウＷ１は、ウインドウＷ２，Ｗ３から構成されている。ウインドウＷ２には半田領域の情報が表示され、ウインドウＷ３には背景領域の情報が表示される。いずれのウインドウＷ２，Ｗ３にも、プリント基板１の全体画像ＰＧ１，ＰＧ２が表示される。なお、この全体画像ＰＧ１，ＰＧ２は予め用意されているものとする。もちろん、カメラ１１による撮像に基づいて全体画像ＰＧ１，ＰＧ２を取得するようにしてもよい。
　そして、ウインドウＷ２に表示される半田用の画像ＰＧ１には、クリーム半田４の印刷された半田領域であり、検査対象となる検査対象領域３１（ウインドウＷ２中で斜線を施して示した領域）が表示されている。ここで「検査対象領域３１」が本実施形態における「第１計測対象領域」に相当する。
　一方、ウインドウＷ３に表示される背景用の画像ＰＧ２には、背景領域の一部であって、高さ計測等の基準となる計測基準領域３２（ウインドウＷ３中において斜線を施して示した領域）が表示されている。ここで「計測基準領域３２」が本実施形態における「第２計測対象領域」に相当する。
　また、ウインドウＷ２には半田用輝度の入力欄３３が表示され、ウインドウＷ３には背景用輝度の入力欄３４が表示される。これらの入力欄３３，３４には、輝度値がデフォルト表示されるようにしてもよいし、Ｓ１１０の段階では入力欄３３，３４を空欄にして表示するようにしてもよい。
　図５の説明に戻り、Ｓ１２０では、半田用輝度の入力欄３３が選択されたか否かを判断する。半田用輝度の入力欄３３の選択は、入力装置２２を介した選択操作によりなされる。すなわち、上述した「設定」ボタンの選択操作と同様、例えばマウス等のポインティングデバイスで選択操作されたり、あるいは、例えば表示装置２３と一体に構成されたタッチパネルで選択操作されたりする構成が考えられる。以下、表示画面上での選択操作については同様とする。ここで入力欄３３が選択されたと判断された場合（Ｓ１２０：ＹＥＳ）、Ｓ１３０にて選択リスト（これについては後述する）を表示し、Ｓ１４０へ移行する。一方、入力欄３３が選択されていないと判断された場合（Ｓ１２０：ＮＯ）、Ｓ１６０へ移行する。
　Ｓ１４０では、選択リストから輝度値が選択されたか否かを判断する。ここで輝度値が選択されたと判断された場合（Ｓ１４０：ＹＥＳ）、Ｓ１５０にて半田用輝度の設定処理を行い、Ｓ１６０へ移行する。一方、輝度値が選択されないうちは（Ｓ１４０：ＮＯ）、この判断処理を繰り返す。もちろん、所定時間経過しても選択されないような場合には、処理を終了してもよいし、警告等を行ってもよい（Ｓ１８０においても同様）。
　Ｓ１６０では、背景用輝度の入力欄３４が選択されたか否かを判断する。背景用輝度の入力欄３４の選択は、入力装置２２を介した選択操作によりなされる。ここで入力欄３４が選択されたと判断された場合（Ｓ１６０：ＹＥＳ）、Ｓ１７０にて、後述する選択リストを表示し、Ｓ１８０へ移行する。一方、入力欄３４が選択されていないと判断された場合（Ｓ１６０：ＮＯ）、Ｓ２００へ移行する。
　Ｓ１８０では、選択リストから輝度値が選択されたか否かを判断する。ここで輝度値が選択されたと判断された場合（Ｓ１８０：ＹＥＳ）、Ｓ１９０にて背景用輝度の設定処理を行い、Ｓ２００へ移行する。一方、輝度値が選択されないうちは（Ｓ１８０：ＮＯ）、この判断処理を繰り返す。
　Ｓ２００では、終了指示があったか否かを判断する。この終了指示は、図示しない画面上の「終了」ボタンの選択操作によってなされる。ここで終了指示があったと判断された場合（Ｓ２００：ＹＥＳ）、本輝度設定処理を終了する。一方、終了指示がないと判断された場合（Ｓ２００：ＮＯ）、Ｓ１２０からの処理を繰り返す。
　次に上述した輝度値の選択及び設定（Ｓ１２０～１９０）について、具体例を挙げて説明する。なお、ここでは背景用輝度の選択及び設定（Ｓ１６０～Ｓ１９０）について説明するが、半田用輝度の選択及び設定（Ｓ１２０～１５０）も同様となる。
　図６に示した品種Ｊのプリント基板１の情報表示を前提にして説明する。Ｓ１７０における選択リストの表示は、例えば図７に示す態様で行われる。すなわち、背景用輝度の入力欄３４が選択されると（Ｓ１６０：ＹＥＳ）、新たなウインドウＷ４が入力欄３４の下側に表示される。表示される選択リストの内容は、図４（ｂ）に示した基板用テーブルにおける色と輝度との対応関係である。そして、この選択リスト中の輝度値（図中に黒三角などで示した）が選択されると（Ｓ１８０：ＹＥＳ）、該輝度値が設定されて（Ｓ１９０）、背景用輝度の入力欄３４に表示される。なお、Ｓ１８０では輝度値を選択させるようにしているが、「緑」、「青」、「黒」などと示される基板種類（色）を選択させるようにしてもよいし、あるいは、それら輝度値及び基板種類のいずれか一方を選択させるようにしてもよい。
　このようにして半田用輝度及び背景用輝度の設定が終了すると、プリント基板１の検査が開始可能となる。
　次に基板検査装置８よるプリント基板１の検査手順について、各検査エリアごとに行われる検査ルーチンを基に詳しく説明する。この検査ルーチンは、制御装置１２（ＣＰＵ等２１）にて実行されるものである。
　制御装置１２は、まずモータ１５，１６を駆動制御してプリント基板１を移動させ、カメラ１１の視野をプリント基板１上の所定の検査エリア（計測範囲）に合わせる。なお、検査エリアは、カメラ１１の視野の大きさを１単位としてプリント基板１の表面を予め分割しておいた中の１つのエリアである。
　続いて、制御装置１２は、照明装置１０の設定処理を行う。より詳しくは、光源１０ａの輝度の切換制御処理と、液晶格子１０ｂの切換制御処理を行う。具体的には、光源１０ａから照射される光の輝度を、上記輝度設定処理により事前に定めた半田用輝度（第１輝度）に切換設定すると共に、液晶格子１０ｂを切換制御し、該液晶格子１０ｂに形成される格子の位置を所定の基準位置（位相「０°」）に設定する。従って、制御装置１２による光源１０ａの輝度の切換制御処理を行う機能により本実施形態における「輝度制御手段」が構成され、液晶格子１０ｂの切換制御処理を行う機能により「位相制御手段」が構成される。
　光源１０ａ及び液晶格子１０ｂの切換設定が完了すると、制御装置１２は、照明装置１０の光源１０ａを発光させ、半田用輝度の第１光パターンの照射を開始すると共に、該第１光パターンの位相を９０°ずつ、４通りの位相（位相「０°」、位相「９０°」、位相「１８０°」、位相「２７０°」）に順次シフトする。
　そして、制御装置１２は、第１光パターンの位相が順次シフトされる毎にカメラ１１を駆動制御して、該第１光パターンが照射された検査エリア部分を撮像する。これにより、所定の検査エリアに関して、位相を９０°ずつシフトさせた第１光パターンの下で撮像された４通りの画像データが取得される。ここで、カメラ１１により撮像された画像データはデータ記憶装置２４へ転送され記憶される。
　続いて、制御装置１２（三次元演算装置２５）は、位相シフト法により、上記４通りの画像データ（輝度値）から各画素に係る第１光パターンの位相θ1を算出する。
　ここで、上記４通りの画像データの各画素に係る輝度値Ｖ10，Ｖ11，Ｖ12，Ｖ13は、下記式（Ｈ１）、（Ｈ２）、（Ｈ３）、（Ｈ４）により表すことができる。
Figure JPOXMLDOC01-appb-M000011
　上記式（Ｈ１）、（Ｈ２）、（Ｈ３）、（Ｈ４）を位相θ1について解くと、下記式（Ｈ５）を導き出すことができる。
Figure JPOXMLDOC01-appb-M000012
　そして、上記のように算出された位相θ1を用いて、三角測量の原理に基づき、検査対象領域３１の各画素（ｘ，ｙ）に係る高さデータ（ｚ）を算出し、かかる高さデータ（ｚ）を検査結果記憶装置２６に記憶する。従って、これら一連の処理機能により本実施形態における第１計測手段が構成される。
　次に第１光パターンの下で撮像された上記４通りの画像データから各画素に係るゲインＡ1及びオフセットＢ1の関係を把握し、これをデータ記憶装置２４に記憶する。従って、かかる処理機能により本実施形態における関係把握手段が構成される。但し、ゲインＡ1及びオフセットＢ1の関係を把握する処理は、上記４通りの画像データの取得後（撮像後）、上述した検査対象領域３１に係る高さデータの算出処理と並行して行われる。
　ここでゲインＡ1及びオフセットＢ1の関係、すなわちゲインＡ1及びオフセットＢ1の比例定数Ｋを算出する手順についてより詳しく説明する。４通りの画像データの各画素に係る輝度値Ｖ10，Ｖ11，Ｖ12，Ｖ13と、ゲインＡ1及びオフセットＢ1との関係は、上記式（Ｈ１）～（Ｈ４）のとおりである。
　ここで、４通りの画像データの輝度値Ｖ10，Ｖ11，Ｖ12，Ｖ13を加算し、上記式（Ｈ１）～（Ｈ４）を下記［数１３］に示すように整理すると、下記式（Ｈ６）を導き出すことができる。
Figure JPOXMLDOC01-appb-M000013
　また、上記式（Ｈ１）、（Ｈ３）から、下記式（Ｈ７）を導き出すことができる。
Figure JPOXMLDOC01-appb-M000014
　また、上記式（Ｈ２）、（Ｈ４）から、下記式（Ｈ８）を導き出すことができる。
Figure JPOXMLDOC01-appb-M000015
　そして、下記［数１６］に示すように、上記式（Ｈ７）、（Ｈ８）を下記式（Ｈ９）に代入し、整理していくと、下記式（Ｈ１０）を導き出すことができる。
Figure JPOXMLDOC01-appb-M000016
　さらに、上記式（Ｈ６）、（Ｈ１０）から導き出された下記式（Ｈ１１）を基にゲインＡ1及びオフセットＢ1の比例定数Ｋを算出する。
Figure JPOXMLDOC01-appb-M000017
　このように算出された各画素に係るゲインＡ1及びオフセットＢ1の比例定数Ｋをデータ記憶装置２４に記憶する。
　次に制御装置１２は、計測基準領域３２に係る撮像処理を開始する。但し、計測基準領域３２に係る撮像処理は、検査対象領域３１に係る一連の撮像処理の終了後、直ちに開始される。つまり、上述した検査対象領域３１に係る高さデータの算出処理、並びに、ゲインＡ1及びオフセットＢ1の比例定数Ｋの算出処理と並行して行われる。
　より詳しくは、光源１０ａの輝度の切換制御処理と、液晶格子１０ｂの切換制御処理を行う。具体的には、光源１０ａから照射される光の輝度を、上記輝度設定処理により事前に定めた背景用輝度（第２輝度）に切換設定すると共に、液晶格子１０ｂを切換制御し、該液晶格子１０ｂに形成される格子の位置を所定の基準位置（位相「０°」）に設定する。
　光源１０ａ及び液晶格子１０ｂの切換設定が完了すると、制御装置１２は、照明装置１０の光源１０ａを発光させ、背景用輝度の第２光パターンの照射を開始すると共に、該第２光パターンの位相を２通りの位相（位相「０°」、位相「１８０°」）に順次シフトする。
　そして、制御装置１２は、第２光パターンの位相が順次シフトされる毎にカメラ１１を駆動制御して、該第２光パターンが照射された検査エリア部分を撮像する。これにより、所定の検査エリアに関して、位相を１８０°シフトさせた第２光パターンの下で撮像された２通りの画像データが取得される。ここで、カメラ１１により撮像された画像データはデータ記憶装置２４へ転送され記憶される。
　続いて、制御装置１２は、上記２通りの画像データを基に、位相シフト法により、計測基準領域３２の各画素に係る第２光パターンの位相θ2を算出する。
　具体的に、第２光パターンの位相θ2は、上記２通りの画像データの各画素に係る輝度値をそれぞれＶ20，Ｖ21とした場合、上記式（１５）を基に、下記式（１５´）のように表すことができる。
　θ2＝sin-1［（Ｖ20－Ｖ21）／Ｋ（Ｖ20＋Ｖ21）］　・・・（１５´）
　但し、Ｋ：比例定数。
　尚、本実施形態では、第２光パターンの下で撮像された上記２通りの画像データの各画素に係るゲインＡ2及びオフセットＢ2の関係（比例定数Ｋ＝Ａ2／Ｂ2）と、第１光パターンの下で撮像された上記４通りの画像データの各画素に係るゲインＡ1及びオフセットＢ1の関係（比例定数Ｋ＝Ａ1／Ｂ1）は等しいため、ここの比例定数Ｋには、データ記憶装置２４に記憶された既知の値が用いられる〔上記式（Ｈ１１）参照〕。
　そして、上記のように算出された位相θ2を用いて、三角測量の原理に基づき、計測基準領域３２の各画素（ｘ，ｙ）に係る高さデータ（ｚ）を算出し、かかる高さデータ（ｚ）を検査結果記憶装置２６に記憶する。従って、これら一連の処理機能により本実施形態における第２計測手段が構成される。
　続いて、制御装置１２は、計測基準領域３２を高さ基準面として検査対象領域３１のクリーム半田４の高さや体積、印刷範囲などを算出する。そして、制御装置１２は、このようにして求めたクリーム半田４の位置、面積、高さ又は体積等のデータを、予め記憶した基準データと比較判定し、この比較結果が許容範囲内にあるか否かによって、その検査エリアにおけるクリーム半田４の印刷状態の良否を判定する。かかる検査結果は、検査結果記憶装置２６に記憶される。
　かかる処理が行われている間に、制御装置１２は、モータ１５，１６を駆動制御してプリント基板１を次の検査エリアへと移動せしめ、以降、上記一連の処理が、全ての検査エリアで繰り返し行われることで、プリント基板１全体の検査が終了する。
　以上詳述したように、本実施形態によれば、検査対象領域３１に応じた第１輝度の第１光パターンを照射し撮像された画像データを基に該検査対象領域３１に係る三次元計測を行うと共に、計測基準領域３２に応じた第２輝度の第２光パターンを照射し撮像された画像データを基に該計測基準領域３２に係る三次元計測を行う構成となっている。これにより、検査対象領域３１及び計測基準領域３２の両者とも、輝度を変えて、それぞれ適正な輝度の光パターンの下で撮像した画像データに基づき三次元計測を行うことができる。結果として、計測精度の低下抑制を図ることができる。
　さらに、本実施形態では、検査対象領域３１の計測を目的として撮像された４通りの画像データから、所定の撮像条件により定まる光パターンのゲインＡ及びオフセットＢの関係（比例定数Ｋ）を把握すると共に、かかる光パターンのゲインＡ及びオフセットＢの関係と、画像データ上の各画素に係る輝度値Ｖから定まる、該画素に係る光パターンのゲインＡ又はオフセットＢの値とを利用することにより、計測基準領域３２に関しては、２通りに位相変化させた光パターンの下で撮像した２通りの画像データを基に位相シフト法により三次元計測を行うことができる。
　つまり、本実施形態によれば、第１輝度の第１光パターンを４通りの位相で照射し、その下で４通りの画像を撮像した後、第２輝度の第２光パターンを２通りの位相で照射し、その下で２通りの画像を撮像すればよいため、撮像回数が計６回となり、撮像時間が大幅に減少する。
　従って、従来技術に比べ、総合的な撮像回数が少なくて済み、撮像時間を短縮することができる。結果として、計測時間を飛躍的に短縮することができる。
　尚、本実施形態では、計測基準領域３２に関して、位相が１８０°異なる２通りの画像データを基に三次元計測が行われる構成となっているため、計測レンジが－９０°～９０°の１８０°の範囲と比較的狭いものとなってしまうが、基準面となる計測基準領域３２は、平坦でその高さが略均一であるため、計測レンジが狭くても特段の支障はない。
　加えて、本実施形態では、図４（ｂ）の基板用テーブル２７Ｂにおいて、基板種類（基板色）が「黒」の場合に対応する輝度も用意されている。これは、計測基準領域３２（背景領域）が黒色あるいは相対的に黒色に近い灰色である場合、検査対象領域３１に応じた輝度で撮像した画像データにおいては、計測基準領域３２における明暗の差（輝度差）が小さくなるおそれが高いからである。したがって、本実施形態によれば、計測基準領域３２が黒色あるいは相対的に黒色に近い灰色である場合には、効果が際立つ結果となる。
　〔第２実施形態〕
　以下、第２実施形態について図面を参照しつつ説明する。但し、第１実施形態と重複する同一構成部分については、同一符号を付し、その詳細な説明を省略する。以下、第１実施形態と相違する部分を中心に説明する。
　本実施形態では、検査対象領域３１に応じた第１輝度で光パターンを照射し撮像した画像データを基に、計測基準領域３２の三次元計測が可能か否かを判断し、三次元計測が不可能と判断された場合には、前記第１輝度を計測基準領域３２に応じた第２輝度に補正し、該第２輝度で光パターンを照射する構成となっている。
　以下、検査対象領域３１及び計測基準領域３２の計測に係る一連の撮像処理について、図８のフローチャートを参照して詳しく説明する。
　まず最初のステップ（以下、ステップを単に記号Ｓで示す）２００において、照明装置１０の輝度をクリーム半田４に合わせて設定する。この輝度は、半田用輝度（第１輝度）として、予め決められたものである。
　続くＳ２１０では、制御装置１２によって、設定された半田用輝度となるように照明装置１０が点灯され、プリント基板１の表面に対し斜め上方から第１輝度の第１光パターンが照射される。そして、制御装置１２は、第１光パターンの位相が順次シフトされる毎にカメラ１１を駆動制御して、該第１光パターンが照射された検査エリア部分を撮像する。これにより、位相を９０°ずつシフトさせた第１光パターンの下で撮像された４通りの画像データが取得される。
　次のＳ２２０では、Ｓ２１０にて撮像された画像データに基づき、背景領域の平均輝度を算出する。
　続くＳ２３０では、背景領域の目標輝度とＳ２２０にて算出された平均輝度との差分がしきい値以上か否かを判断する。ここで差分がしきい値以上であると判断された場合（Ｓ２３０：ＹＥＳ）、Ｓ２４０へ移行する。一方、差分がしきい値を下回っている場合（Ｓ２３０：ＮＯ）、以降の処理を実行せず、本撮像処理を終了する。
　差分がしきい値以上であると判断された場合に移行するＳ２４０では、輝度を補正する。具体的には、Ｓ２２０にて算出された平均輝度と目標輝度との比率に基づき、照明装置１０の輝度を補正して設定する。すなわち、半田用輝度（第１輝度）が補正されて背景用輝度（第２輝度）が設定されることになる。
　Ｓ２５０では、制御装置１２によって、補正された背景用輝度となるように照明装置１０が点灯され、プリント基板１の表面に対し斜め上方から第２輝度の第２光パターンが照射される。そして、制御装置１２は、第２光パターンの位相が順次シフトされる毎にカメラ１１を駆動制御して、該第２光パターンが照射された検査エリア部分を撮像する。これにより、位相を１８０°シフトさせた第２光パターンの下で撮像された２通りの画像データが取得される。
　以上の撮像処理に対する理解を容易にするため、具体例を挙げて説明する。
　図９は、背景領域における光パターンの輝度をグラフとして模式的に示すものである。背景領域（計測基準領域３２）の三次元計測を行うための理想的な輝度を、グラフ上部に二点鎖線で示した。縞状の光パターンを照射した場合、ある程度の振幅を有するサインカーブとなることが望ましい。ところが、半田領域（検査対象領域３１）に合わせた輝度で撮像した場合、背景領域が比較的暗い色である場合など、グラフ下部に実線で示すような振幅の小さなサインカーブとなってしまうことがある。つまり、明暗の差（輝度差）が小さくなってしまうのである。
　そこで、上述の撮像処理においては、背景領域の平均輝度を算出し（図８中のＳ２２０）、目標輝度との差がしきい値以上であるか否かを判断し（Ｓ２３０）、しきい値以上である場合（Ｓ２３０：ＹＥＳ）、半田用輝度を補正して背景用輝度を設定する（Ｓ２４０）。図９で言えば、背景領域の輝度の平均値、すなわちグラフ下部のサインカーブの平均値Ｎを算出し（Ｓ２２０）、予め定められる理想的な輝度の平均値である目標値Ｍとの差分Ｄが、しきい値以上であるか否かを判断する（Ｓ２３０）。そして、しきい値以上である場合（Ｓ２３０：ＹＥＳ）、目標値Ｍと平均値Ｎとの比率に基づいて、半田用輝度を補正して背景用輝度を設定する。具体的には、半田用輝度を（Ｍ／Ｎ）倍して背景用輝度を設定する。
　そして、かかる背景用輝度での照射によって得られた画像データに基づき計測基準領域３２の三次元計測を行うと共に、半田用輝度での照射によって得られた画像データに基づき検査対象領域３１の三次元計測を行う。
　一方、背景用輝度での照明・撮像が行われない場合、制御装置１２は、半田用輝度での照射によって得られた画像データに基づき検査対象領域３１及び計測基準領域３２の三次元計測を行う。
　そして、計測基準領域３２を高さ基準面として検査対象領域３１のクリーム半田４の高さや体積が計測されることになる。
　以上詳述したように、本実施形態によれば、上記第１実施形態と同様の作用効果が奏される。
　さらに、本実施形態では、クリーム半田４の色が製造メーカによってそれほど異ならないという前提の下、半田領域（検査対象領域３１）に合わせて予め決められた半田用輝度で照明装置１０が点灯されて撮像が行われる（図８中のＳ２００，Ｓ２１０）。そして、かかる半田用輝度の第１光パターンの下で撮像された画像データに基づいて、検査対象領域３１に係る三次元計測が行われる。次に、この第１光パターンの下で撮像された画像データに基づき、背景領域の輝度の平均値を算出し（Ｓ２２０）、輝度の目標値との差分がしきい値以上である場合は（Ｓ２３０：ＹＥＳ）、目標値との比率を用いて半田用輝度を補正して背景用輝度を設定する（Ｓ２４０）。背景用輝度が設定されると、この背景用輝度で照明装置１０が点灯されて撮像が行われる（Ｓ２５０）。そして、かかる背景用輝度の第２光パターンの下で撮像された画像データに基づいて、計測基準領域３２に係る三次元計測が実行可能となる。
　また、上述したように、計測基準領域３２（背景領域）が黒色あるいは相対的に黒色に近い灰色である場合、検査対象領域３１に応じた輝度で撮像した画像データにおいて、背景領域における明暗の差（輝度差）が小さくなるおそれが高い。このような場合も、実際の輝度の平均値と目標値との比率で補正されて計測基準領域３２の三次元計測が実行可能となるため、計測基準領域３２が黒色あるいは相対的に黒色に近い灰色である場合には、効果が際立つ結果となる。
　尚、上記実施形態の記載内容に限定されず、例えば次のように実施してもよい。勿論、以下において例示しない他の応用例、変更例も当然可能である。
　（ａ）上記実施形態では、三次元計測装置を、プリント基板１に印刷形成されたクリーム半田４の高さ等を計測する基板検査装置８に具体化したが、これに限らず、例えば基板上に印刷された半田バンプや、基板上に実装された電子部品など、他のものの高さを計測する構成に具体化してもよい。例えばウエハ基板の場合には、酸化膜の表面を基準高さとして利用可能となり、半田バンプの高さ、形状、体積等を算出可能となる。
　（ｂ）上記実施形態では、光源１０ａからの光を縞状の光パターンに変換するための格子を、液晶格子１０ｂにより構成すると共に、これを切替制御することにより、光パターンの位相をシフトさせる構成となっている。これに限らず、例えば格子部材をピエゾアクチュエータ等の移送手段により移送させ、光パターンの位相をシフトさせる構成としてもよい。
　（ｃ）上記実施形態では、第１光パターンによる第１計測対象領域（検査対象領域３１）の計測時において、位相が９０°ずつ異なる４通りの第１光パターンの下で撮像された４通りの画像データを基に、位相シフト法により三次元計測を行う構成となっているが、これに限らず、例えば位相が１２０°ずつ異なる３通りの第１光パターンの下で撮像された３通りの画像データを基に三次元計測を行う構成としてもよい。つまり、第１光パターンの下での第１計測対象領域の撮像回数である「所定数」は、少なくとも位相シフト法により三次元計測を実行可能な数であれば良い。
　（ｄ）上記実施形態では、第２光パターンによる第２計測対象領域（計測基準領域３２）の計測時において、位相が１８０°異なる２通りの光パターンの下で撮像された２通りの画像データを基に三次元計測を行う構成となっている。これに代えて、例えば位相が９０°異なる２通りの光パターンの下で撮像された２通りの画像データを基に三次元計測を行う構成としてもよい。かかる場合、上記式（２３），（２７）を用いることにより、２通りの画像データ上の各画素における輝度値Ｖ20，Ｖ21と、既知の比例定数Ｋを利用して、各画素における第２光パターンの位相θ2を算出することができる。
　かかる構成によれば、「tan-1」を用いた演算式に基づいて位相θ2を求めることができるため、－１８０°～１８０°の３６０°の範囲で高さ計測可能となり、計測レンジをより大きくすることができる。
　勿論、この他にも、上記式（１）、（２）、（３）の関係を満たすものであれば、他の構成を採用してもよい。位相θ2を得る一般式としては、上記式（９）が一例に挙げられる〔［数９］参照〕。
　（ｅ）ゲインＡ及びオフセットＢの関係を把握する関係把握手段の構成は上記実施形態に限定されるものではない。
　例えばゲインＡとオフセットＢとの関係は、式として求めることなく、ゲインＡとオフセットＢとの関係を表した数表やテーブルデータを作成することにより、ゲインＡからオフセットＢあるいはオフセットＢからゲインＡを求めることが可能に構成しても良い。
　（ｆ）上記第１実施形態ではメーカ毎に輝度の異なる半田用テーブル２７Ａを記憶している構成であったが、半田領域（クリーム半田４の印刷された領域）の色が比較的安定している場合には、半田用テーブル２７Ａを省略してもよい。すなわち、第２実施形態と同様に、製造メーカ各社で大きな違いがないことに着目し、検査対象領域３１の計測を目的とする撮像に際しては、予め決められた輝度で照明装置１０を点灯する構成としてもよい。
　（ｇ）上記実施形態では、複数個の計測基準領域３２（背景領域）に対し、同一の背景用輝度を設定し、当該背景用輝度による照明装置１０の照射に基づき撮像を行っている。
　これに対し、複数個の計測基準領域３２を、異なる輝度での照射によって撮像する構成としてもよい。これは複数個の各計測基準領域３２が、同一色であるとは限らないためである。そこで、図１０に示すように、品種情報の表示において、各計測基準領域３２に対応させてＵ１～Ｕ５などの記号を表示し、各計測基準領域３２毎に背景用輝度を設定可能な構成としてもよい。例えばプリント基板１の画像ＰＧ２に表示される記号に対応させるようにして入力欄３５を用意するという具合である。
　（ｈ）上記第２実施形態では、画像データにおける背景領域の輝度の平均値と目標値との比率で半田用輝度を補正していた。このようにすれば比較的簡単な計算式で半田用輝度が補正されることになるが、輝度と画像データの輝度とは、完全には線形比例しない。
　そこで、データベース２７に予め補正情報を記憶しておくようにしてもよい。補正情報は、例えば背景領域の輝度の平均値に応じた半田用輝度の補正倍率であることが考えられる。そして、第１光パターンによる撮像に基づいて計測基準領域３２の三次元計測が不可能と判断された場合、この補正情報を参照して半田用輝度を補正して背景用輝度を設定する。このようにすれば、設定される背景用輝度がより適切なものとなり、背景用輝度での撮像によって、計測基準領域３２の三次元計測が確実に実行可能となる。
　（ｉ）上記実施形態では、計測基準領域３２（背景領域）が黒色あるいは相対的に黒色に近い灰色である場合に効果が際立つ旨上述したが、計測基準領域３２（背景領域）が白色あるいは相対的に白色に近い灰色である場合には、検査対象領域３１（半田領域）に応じた輝度で撮像した画像データ中において、計測基準領域３２（背景領域）における輝度が高くなりすぎて飽和状態となってしまうおそれが高い。したがって、計測基準領域３２（背景領域）が白色あるいは相対的に白色に近い灰色である場合にも効果が際立つ結果となる。
　１…プリント基板、２…ベース基板、３…電極パターン、４…クリーム半田、５…レジスト膜、８…基板検査装置、１０…照明装置、１０ａ…光源、１０ｂ…液晶格子、１１…カメラ、１２…制御装置、２４…データ記憶装置、２５…三次元演算装置、２６…検査結果記憶装置、２７…データベース、２７Ａ…半田用テーブル、２７Ｂ…基板用テーブル、３１…検査対象領域、３２…計測基準領域、Ａ1，Ａ2…ゲイン、Ｂ1，Ｂ2…オフセット、Ｋ…比例定数。

Claims (8)

  1. 　所定の光を発する光源、及び、該光源からの光を縞状の光強度分布を有する光パターンに変換する格子を有し、該光パターンを少なくとも第１計測対象領域及び第２計測対象領域を有する被計測物に対し照射可能な照射手段と、
    　前記光源から発せられる光の輝度を変更可能な輝度制御手段と、
    　前記格子の移送又は切替を制御し、前記照射手段から照射する前記光パターンの位相を複数通りに変化可能な位相制御手段と、
    　前記光パターンの照射された前記被計測物からの反射光を撮像可能な撮像手段と、
    　前記撮像手段により撮像された画像データを基に位相シフト法により前記被計測物の三次元計測を実行可能な画像処理手段とを備え、
    　前記画像処理手段は、
    　前記第１計測対象領域に応じた第１輝度の第１光パターンを所定数通りの位相で照射し撮像された所定数通りの画像データを基に、前記第１計測対象領域に係る三次元計測を行う第１計測手段と、
    　前記第１光パターンの下で撮像された前記所定数通りの画像データを基に、所定の撮像条件により定まるゲイン及びオフセットの関係を把握する関係把握手段と、
    　前記第２計測対象領域に応じた第２輝度の第２光パターンを２通りの位相で照射し撮像された２通りの画像データを基に、該２通りの画像データの各画素の輝度値から定まる該画素に係るゲイン又はオフセットの値と、前記関係把握手段により把握されたゲイン及びオフセットの関係とを利用して、前記第２計測対象領域に係る三次元計測を行う第２計測手段とを備えたことを特徴とする三次元計測装置。
  2. 　前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが相互に一義的に定まる関係であることを特徴とする請求項１に記載の三次元計測装置。
  3. 　前記ゲイン及びオフセットの関係は、前記ゲインと前記オフセットとが比例関係であることを特徴とする請求項１に記載の三次元計測装置。
  4. 　前記２通りに位相変化させた第２光パターンの相対位相関係をそれぞれ０、γとしたときの前記２通りの画像データの各画素の輝度値をそれぞれＶ0、Ｖ1とした場合に、
    　前記第２計測手段は、前記第２計測対象領域に係る計測を行うに際し、
    　下記式（１）、（２）、（３）の関係を満たす位相θを算出することを特徴とする請求項１乃至３のいずれかに記載の三次元計測装置。
    　Ｖ0＝Ａsinθ＋Ｂ　　　　　　・・・（１）
    　Ｖ1＝Ａsin（θ＋γ）＋Ｂ　　・・・（２）
    　Ａ＝ＫＢ　　　　　　　　　　・・・（３）
    　但し、γ≠０、Ａ：ゲイン、Ｂ：オフセット、Ｋ：比例定数。
  5. 　γ＝１８０°としたことを特徴とする請求項４に記載の三次元計測装置。
  6. 　γ＝９０°としたことを特徴とする請求項４に記載の三次元計測装置。
  7. 　前記第１計測対象領域及び前記第２計測対象領域のうちの一方が検査対象領域であり、他方が計測基準領域であることを特徴とする請求項１乃至６のいずれかに記載の三次元計測装置。
  8. 　前記被計測物が、クリーム半田が印刷されたプリント基板、又は、半田バンプが形成されたウエハ基板であることを特徴とする請求項１乃至７のいずれかに記載の三次元計測装置。
PCT/JP2016/050552 2015-06-23 2016-01-08 三次元計測装置 Ceased WO2016208207A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680018284.4A CN107407556B (zh) 2015-06-23 2016-01-08 三维测量装置
DE112016002874.1T DE112016002874T5 (de) 2015-06-23 2016-01-08 Vorrichtung zur dreidimensionalen Messung
US15/849,911 US10161744B2 (en) 2015-06-23 2017-12-21 Three-dimensional measurement device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-125213 2015-06-23
JP2015125213A JP6110897B2 (ja) 2015-06-23 2015-06-23 三次元計測装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/849,911 Continuation US10161744B2 (en) 2015-06-23 2017-12-21 Three-dimensional measurement device

Publications (1)

Publication Number Publication Date
WO2016208207A1 true WO2016208207A1 (ja) 2016-12-29

Family

ID=57584983

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/050552 Ceased WO2016208207A1 (ja) 2015-06-23 2016-01-08 三次元計測装置

Country Status (6)

Country Link
US (1) US10161744B2 (ja)
JP (1) JP6110897B2 (ja)
CN (1) CN107407556B (ja)
DE (1) DE112016002874T5 (ja)
TW (1) TWI568988B (ja)
WO (1) WO2016208207A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6306230B1 (ja) * 2017-02-09 2018-04-04 Ckd株式会社 半田印刷検査装置、半田印刷検査方法、及び、基板の製造方法
JP7083695B2 (ja) * 2018-05-11 2022-06-13 株式会社荏原製作所 バンプ高さ検査装置、基板処理装置、バンプ高さ検査方法、記憶媒体
JP2020091132A (ja) * 2018-12-04 2020-06-11 株式会社小糸製作所 透光性部材の表面欠陥検査装置
WO2020170328A1 (ja) * 2019-02-19 2020-08-27 株式会社Ｆｕｊｉ 部品装着機
JP7030079B2 (ja) * 2019-06-12 2022-03-04 Ckd株式会社 三次元計測装置及び三次元計測方法
CN113743145B (zh) * 2020-05-29 2023-10-20 长鑫存储技术有限公司 编码采集系统及方法
CN112179288B (zh) * 2020-08-19 2022-09-20 成都飞机工业（集团）有限责任公司 基于折射偏光强度信息的零件外形测量装置及测量方法
KR102844432B1 (ko) * 2020-08-24 2025-08-11 삼성디스플레이 주식회사 표시 패널 검사용 지그
JP7653039B2 (ja) * 2021-02-24 2025-03-28 株式会社デンソーウェーブ 三次元計測システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006300539A (ja) * 2005-04-15 2006-11-02 Ckd Corp 三次元計測装置及び基板検査装置
JP2009115612A (ja) * 2007-11-06 2009-05-28 Panasonic Electric Works Co Ltd ３次元形状計測装置及び３次元形状計測方法
JP2010243438A (ja) * 2009-04-09 2010-10-28 Nikon Corp 三次元形状測定装置及び三次元形状測定方法
JP2012053015A (ja) * 2010-09-03 2012-03-15 Saki Corp:Kk 外観検査装置及び外観検査方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5848188A (en) * 1994-09-08 1998-12-08 Ckd Corporation Shape measure device
JP3878023B2 (ja) * 2002-02-01 2007-02-07 シーケーディ株式会社 三次元計測装置
TWI291013B (en) * 2006-01-25 2007-12-11 Univ Nat Taipei Technology Digital-structured micro-optic three-dimensional confocal surface profile measuring system and technique
JP5137526B2 (ja) * 2006-12-22 2013-02-06 キヤノン株式会社 形状測定装置、形状測定方法、および露光装置
JP2010164350A (ja) * 2009-01-14 2010-07-29 Ckd Corp 三次元計測装置
JP4744610B2 (ja) * 2009-01-20 2011-08-10 シーケーディ株式会社 三次元計測装置
JP2010185844A (ja) * 2009-02-13 2010-08-26 Tokyo Institute Of Technology 表面形状測定方法およびこれを用いた装置
JP4715944B2 (ja) * 2009-04-03 2011-07-06 オムロン株式会社 三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム
DE102010030883B4 (de) * 2009-07-03 2018-11-08 Koh Young Technology Inc. Vorrichtung zur Prüfung einer Platte und Verfahren dazu
JP6029394B2 (ja) * 2012-09-11 2016-11-24 株式会社キーエンス 形状測定装置
JP2014228486A (ja) * 2013-05-24 2014-12-08 インスペック株式会社 三次元プロファイル取得装置、パターン検査装置及び三次元プロファイル取得方法
JP6695746B2 (ja) * 2016-06-27 2020-05-20 株式会社キーエンス 測定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006300539A (ja) * 2005-04-15 2006-11-02 Ckd Corp 三次元計測装置及び基板検査装置
JP2009115612A (ja) * 2007-11-06 2009-05-28 Panasonic Electric Works Co Ltd ３次元形状計測装置及び３次元形状計測方法
JP2010243438A (ja) * 2009-04-09 2010-10-28 Nikon Corp 三次元形状測定装置及び三次元形状測定方法
JP2012053015A (ja) * 2010-09-03 2012-03-15 Saki Corp:Kk 外観検査装置及び外観検査方法

Also Published As

Publication number Publication date
DE112016002874T5 (de) 2018-03-08
US20180112974A1 (en) 2018-04-26
TW201700952A (zh) 2017-01-01
TWI568988B (zh) 2017-02-01
CN107407556A (zh) 2017-11-28
JP2017009442A (ja) 2017-01-12
CN107407556B (zh) 2019-11-05
US10161744B2 (en) 2018-12-25
JP6110897B2 (ja) 2017-04-05

Similar Documents

Publication Publication Date Title
JP6110897B2 (ja) 三次元計測装置
JP5290233B2 (ja) 三次元計測装置及び基板検査装置
JP6109255B2 (ja) 三次元計測装置
JP5430612B2 (ja) 三次元計測装置
JP5640025B2 (ja) 三次元計測装置
JP5957575B1 (ja) 三次元計測装置
JP6791631B2 (ja) 画像生成方法及び検査装置
WO2012124260A1 (ja) はんだ高さ検出方法およびはんだ高さ検出装置
JP4827431B2 (ja) 三次元計測装置及び基板検査装置
CN113966457B (zh) 三维测量装置和三维测量方法
JP6027204B1 (ja) 三次元計測装置
JP6126640B2 (ja) 三次元計測装置及び三次元計測方法
WO2016203668A1 (ja) 三次元計測装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16813978

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112016002874

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16813978

Country of ref document: EP

Kind code of ref document: A1