WO2013111354A1 - 三次元計測装置 - Google Patents

三次元計測装置 Download PDF

Info

Publication number
WO2013111354A1
WO2013111354A1 PCT/JP2012/061063 JP2012061063W WO2013111354A1 WO 2013111354 A1 WO2013111354 A1 WO 2013111354A1 JP 2012061063 W JP2012061063 W JP 2012061063W WO 2013111354 A1 WO2013111354 A1 WO 2013111354A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
luminance
circuit board
printed circuit
dimensional measurement
Prior art date
Application number
PCT/JP2012/061063
Other languages
English (en)
French (fr)
Inventor
間宮　高弘
裕之 石垣
Original Assignee
シーケーディ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シーケーディ株式会社 filed Critical シーケーディ株式会社
Priority to DE112012005755.4T priority Critical patent/DE112012005755B4/de
Priority to CN201280044167.7A priority patent/CN103827626B/zh
Priority to KR1020147001708A priority patent/KR101578056B1/ko
Publication of WO2013111354A1 publication Critical patent/WO2013111354A1/ja
Priority to US14/444,564 priority patent/US9417053B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2531—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings, projected with variable angle of incidence on the object, and one detection device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Definitions

  • the present invention relates to a three-dimensional measurement device.
  • cream solder is first printed on a predetermined electrode pattern disposed on the printed circuit board.
  • the electronic component is temporarily fixed on the printed circuit board based on the viscosity of the cream solder.
  • the printed circuit board is introduced into a reflow furnace, and soldering is performed through a predetermined reflow process.
  • a three-dimensional measuring device may be used in such an inspection.
  • pattern light having a sinusoidal (striped) light intensity distribution is measured by an irradiation unit that is a combination of a light source and a filter of a sine wave pattern.
  • an imaging unit which arrange
  • an imaging means a CCD camera etc. which consist of a lens, an imaging element, etc. are used.
  • the light intensity I of the measurement target point P on the screen is given by the following equation.
  • ⁇ arctan ⁇ (I4-I2) / (I1-I3) ⁇
  • the three-dimensional coordinates (X, Y, Z) of the measurement target point P such as cream solder on the printed circuit board are determined using this modulation component ⁇ , and the three-dimensional shape of the measurement target, in particular the height, is measured. .
  • the reflectance of pattern light reflected on the printed board and incident on the camera is printed due to, for example, the positional relationship between the camera and the printed board, the surface shape of the cream solder, etc. Different for each position on the substrate.
  • the surface shape of a predetermined cream solder is spherical, etc.
  • high and low reflectance portions occur even within the same region corresponding to the cream solder. Therefore, when imaging is performed under an imaging condition (irradiation luminance) suitable for a portion with high reflectance, the portion with low reflectance becomes a dark image, and there is a possibility that the measurement accuracy may decrease.
  • imaging is performed under an imaging condition suitable for a portion with a low reflectance there is a possibility that the portion with a high reflectance may be in the brightness saturation state. As a result, the measurement accuracy may be reduced.
  • the said subject is inherent not only in the case where height measurement of cream solder etc. printed on a printed circuit board etc. is necessarily performed, but in the field
  • the problem is not limited to the phase shift method.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to provide a three-dimensional measurement apparatus capable of improving measurement accuracy and the like when performing three-dimensional measurement.
  • An irradiation unit capable of switching and irradiating a plurality of types of pattern light having a stripe-like light intensity distribution along the conveyance direction of the measurement object and continuously changing the measurement object; Imaging means for imaging reflected light from the object to be measured irradiated with the various pattern lights and outputting image data including at least a luminance value; Each time the object to be measured is transported by a predetermined amount, a plurality of sets of image data captured under the pattern light of the same luminance whose phase is changed by a predetermined amount is set as one set under the plurality of types of pattern light.
  • Image data acquisition means for acquiring a plurality of imaged image data sets;
  • a determination unit that determines whether the luminance value of each pixel of the image data corresponding to each coordinate position on the measurement object is included in a preset effective range;
  • Extracting means for extracting an image data set in which the luminance value of each pixel of the image data is within the effective range from the plurality of image data sets for each coordinate position of the object to be measured;
  • a three-dimensional measurement apparatus comprising: three-dimensional measurement means for performing three-dimensional measurement relating to each coordinate position of the object based on the extracted image data set.
  • pattern light having a stripe-like light intensity distribution is irradiated to the continuously conveyed object to be measured, and the object to be measured irradiated with the pattern light has a predetermined amount (for example, the phase ⁇ of the pattern light). Every time the image is conveyed by a distance corresponding to 2 minutes, the image is picked up by the image pickup means. As a result, plural (for example, four) sets of image data are acquired in which the phase of the irradiated pattern light differs by a predetermined amount (for example, by ⁇ / 2). Then, three-dimensional measurement of the object to be measured is performed based on these image data.
  • a plurality of sets of image data sets consisting of the plurality of types of image data are acquired under a plurality of types of pattern lights having different luminances. Then, it is determined whether the luminance value of each pixel of the image data corresponding to each coordinate position (measurement point) on the measurement object is included in a preset effective range, and each coordinate of the measurement object For each position, an image data set in which the luminance value of each pixel of the image data is within the effective range is extracted from the plurality of image data sets, and based on the extracted image data set, for example, phase shift method Three-dimensional measurement is performed according to each coordinate position of the object to be measured.
  • three-dimensional measurement can be performed using image data of more appropriate luminance for each coordinate position of the object to be measured, and measurement accuracy can be improved.
  • Means 2 The three-dimensional measurement device according to the means 1, wherein the determination means determines whether at least the luminance value of each pixel of the image data is smaller than a value corresponding to a saturation level.
  • the extraction unit is configured to set a plurality of image data sets (image data sets having a luminance value of each pixel of the image data within the effective range (an image data set smaller than a value corresponding to a saturation level) among the plurality of image data sets.
  • the three-dimensional measurement device according to the means 1 or 2, characterized in that an image data set captured under the pattern light with the highest irradiation brightness is extracted from the plurality of types of pattern light.
  • image data having a larger luminance value can be extracted, and more appropriate three-dimensional measurement can be performed.
  • Means 4 configured to calculate an average value of the plurality of sets of image data sets when there are a plurality of sets of image data sets extracted by the extracting unit.
  • the three-dimensional measurement apparatus according to the means 1 or 2, wherein the three-dimensional measurement means performs the three-dimensional measurement based on the average value of the image data set calculated by the average value calculation means.
  • Means 5 As the lower limit value of the effective range, a value larger than the lower limit value (for example, “0”) that the luminance value of each pixel of the image data can take is set as described in any one of the means 1 to 4 Three-dimensional measuring device.
  • Means 6 The three-dimensional measurement according to any one of the means 1 to 5, further comprising: alignment means for aligning the coordinate systems between the image data respectively captured at different positions in the transport direction of the object to be measured apparatus.
  • FIG. 9 is a table showing theoretical numerical values for explaining the luminance saturation state in comparison with the data of FIG. 8;
  • the printed board 1 has a flat plate shape, and an electrode pattern 3 made of copper foil is provided on a base board 2 made of glass epoxy resin or the like. Furthermore, cream solder 4 is printed on the predetermined electrode pattern 3.
  • the area where the cream solder 4 is printed is referred to as a "solder print area”.
  • the portions other than the solder print area are generically referred to as "background area", but in this background area, an area where the electrode pattern 3 is exposed (symbol A), an area where the base substrate 2 is exposed (symbol B), A region (symbol C) coated with the resist film 5 and a region (symbol D) coated with the resist film 5 on the electrode pattern 3 are included.
  • the resist film 5 is coated on the surface of the printed circuit board 1 so that the cream solder 4 can not stand on other than the predetermined wiring portion.
  • FIG. 1 is a schematic configuration view schematically showing a substrate inspection apparatus 10.
  • the substrate inspection apparatus 10 is provided with a conveyor 13 as a conveying means for conveying the printed circuit board 1, an illumination device 14 as an irradiating means for irradiating a predetermined light from obliquely above the surface of the printed circuit board 1, and the irradiation of the light.
  • the camera 15 as an imaging means for imaging reflected light from the printed circuit board 1, and a control device 16 (see FIG. 3) for performing various controls, image processing, and arithmetic processing in the substrate inspection apparatus 10. There is.
  • the conveyor 13 is provided with a motor (not shown), and the motor is driven and controlled by the control device 16 so that the printed circuit board 1 placed on the conveyor 13 is fixed in a predetermined direction (right direction in FIG. 1). It is continuously transported at high speed. As a result, the imaging range W of the camera 15 moves relative to the printed circuit board 1 in the reverse direction (left direction in FIG. 1).
  • the illumination device 14 includes four lights (light sources) that emit predetermined light. Specifically, the first illumination 14A to the fourth illumination 14D are provided.
  • Each of the first to fourth illuminations 14A to 14D has a known liquid crystal optical shutter, and can irradiate pattern light having a stripe (sinusoidal) light intensity distribution to the printed board 1 along the conveyance direction. It is configured. That is, pattern light in which the direction of the stripes is orthogonal to the transport direction of the printed circuit board 1 is irradiated.
  • the pattern lights emitted from the first illumination 14A to the fourth illumination 14D have different illumination luminances.
  • pattern light of the first luminance is emitted from the first illumination 4A.
  • pattern light with a second luminance twice that of the first luminance is emitted.
  • pattern light with a third luminance twice that of the second luminance is emitted.
  • pattern light with a fourth luminance that is twice the third luminance is emitted.
  • the first luminance is “50 (cd / m 2)”
  • the second luminance is “100 (cd / m 2)”
  • the third luminance is “200 (cd / m 2)”
  • the fourth luminance is “ It is set as 400 (cd / m 2).
  • a monochrome CCD camera of 256 gradations using a CCD sensor as an imaging device is adopted. That is, an image captured by the camera 15 is converted into a digital signal in the camera 15 and image data including a luminance value of any value from "0" to "255" at least for each pixel.
  • image data including a luminance value of any value from "0" to "255" at least for each pixel.
  • the control device 16 performs image processing, three-dimensional measurement processing, inspection processing, and the like as described later.
  • FIG. 3 is a block diagram schematically showing the substrate inspection apparatus 10. As shown in FIG.
  • the control device 16 controls the entire substrate inspection apparatus 10 by a CPU and an input / output interface 21, an input device 22 as an input means configured by a keyboard, a mouse or a touch panel, a CRT or a liquid crystal , A display unit 23 having a display screen such as a display unit, an image data storage unit 24 for storing image data captured by the camera 15, various calculations such as three-dimensional measurement results obtained based on the image data An arithmetic result storage unit 25 or the like for storing the result is provided.
  • the devices 22 to 25 are electrically connected to the CPU and the input / output interface 21.
  • the control device 16 drives and controls the conveyor 13 to continuously transport the printed circuit board 1 at a constant speed. Then, the control device 16 drives and controls the lighting device 14 and the camera 15 based on a signal from an encoder (not shown) provided on the conveyor 13.
  • the predetermined amount ⁇ x is set to a distance corresponding to the phase ⁇ / 8 minutes (22.5 °) of the pattern light emitted from the illumination device 14 (the first illumination 14A to the fourth illumination 14D). It is set. Further, the imaging range W of the camera 15 is set to a length corresponding to the phase 2 ⁇ (360 °) of the pattern light.
  • FIG. 4 is a schematic view for explaining the relationship between the imaging range W of the camera 15 which moves relative to the passage of time and the coordinate position of the printed circuit board 1.
  • FIG. 5 is a correspondence table for explaining types of pattern light (irradiation luminance) which change with time, and phases of the pattern light at respective coordinate positions of the printed circuit board 1.
  • the pattern light of the first luminance is emitted from the first illumination 4A to the printed circuit board 1.
  • the imaging range W of the camera 15 the range corresponding to the coordinates P1 to P17 in the transport direction (X direction) of the printed circuit board 1 is located. That is, at the imaging timing t1, the image data G1 in the range of the coordinates P1 to P17 on the surface of the printed circuit board 1 irradiated with the pattern light of the first luminance is acquired.
  • the entire range in the Y direction of the printed board 1 is included in the imaging range of the camera 15, and the pattern in each coordinate position in the Y direction at the same coordinate position in the X direction There is no difference in the type and phase of light (same below).
  • the phase of the pattern light applied to the printed circuit board 1 is "0 °” at coordinate P17, "22.5 °” at coordinate P16, and "45 °” at coordinate P15.
  • the image data is acquired in which the phase of the pattern light is shifted by 22.5 ° for each of the coordinates P1 to P17, such as “360 °” at the coordinates P1.
  • the pattern light of the second luminance is emitted from the second illumination 4B to the printed circuit board 1.
  • a range corresponding to the coordinates P2 to P18 of the printed circuit board 1 is located in the imaging range W of the camera 15, and the image data G2 of the range is obtained.
  • the pattern light of the third luminance from the third illumination 4C is emitted to the printed circuit board 1.
  • a range corresponding to the coordinates P3 to P19 of the printed circuit board 1 is located in the imaging range W of the camera 15, and the image data G3 of the range is obtained.
  • the pattern light with the fourth brightness from the fourth illumination 4D is emitted to the printed circuit board 1.
  • a range corresponding to the coordinates P4 to P20 of the printed circuit board 1 is located in the imaging range W of the camera 15, and the image data G4 of the range is obtained.
  • the pattern light of the first luminance is emitted from the first illumination 4A to the printed circuit board 1.
  • a range corresponding to the coordinates P5 to P21 of the printed circuit board 1 is located in the imaging range W of the camera 15, and the image data G5 of the range is obtained.
  • the pattern light of the second luminance is emitted from the second illumination 4B to the printed circuit board 1.
  • a range corresponding to the coordinates P6 to P22 of the printed circuit board 1 is located in the imaging range W of the camera 15, and the image data G6 of the range is obtained.
  • the pattern light of the third luminance from the third illumination 4C is emitted to the printed circuit board 1.
  • a range corresponding to the coordinates P7 to P23 of the printed circuit board 1 is located within the imaging range W of the camera 15, and the image data G7 of the range is obtained.
  • the pattern light of the fourth illumination 4D to the fourth luminance is emitted to the printed circuit board 1.
  • a range corresponding to the coordinates P8 to P24 of the printed circuit board 1 is located within the imaging range W of the camera 15, and the image data G8 of the range is obtained.
  • the pattern light of the first luminance is emitted from the first illumination 4A to the printed circuit board 1.
  • a range corresponding to the coordinates P9 to P25 of the printed circuit board 1 is located within the imaging range W of the camera 15, and the image data G9 of the range is obtained.
  • the pattern light of the second luminance is emitted from the second illumination 4B to the printed circuit board 1.
  • a range corresponding to the coordinates P10 to P26 of the printed circuit board 1 is located within the imaging range W of the camera 15, and the image data G10 of the range is obtained.
  • the pattern light of the third luminance from the third illumination 4C is emitted to the printed circuit board 1.
  • a range corresponding to the coordinates P11 to P27 of the printed circuit board 1 is located in the imaging range W of the camera 15, and the image data G11 of the range is obtained.
  • the pattern light of the fourth illumination 4D to the fourth luminance is emitted to the printed circuit board 1.
  • a range corresponding to the coordinates P12 to P28 of the printed circuit board 1 is located within the imaging range W of the camera 15, and the image data G12 of the range is obtained.
  • the pattern light of the first luminance is emitted from the first illumination 4A to the printed circuit board 1.
  • a range corresponding to the coordinates P13 to P29 of the printed circuit board 1 is located within the imaging range W of the camera 15, and the image data G13 of the range is obtained.
  • the pattern light of the second luminance is emitted from the second illumination 4B to the printed circuit board 1.
  • a range corresponding to the coordinates P14 to P30 of the printed circuit board 1 is located within the imaging range W of the camera 15, and the image data G14 of the range is obtained.
  • the pattern light of the third luminance from the third illumination 4C is emitted to the printed circuit board 1.
  • a range corresponding to the coordinates P15 to P31 of the printed circuit board 1 is located in the imaging range W of the camera 15, and the image data G15 of the range is obtained.
  • the pattern light of the fourth illumination 4D to the fourth luminance is emitted to the printed circuit board 1.
  • a range corresponding to the coordinates P16 to P32 of the printed circuit board 1 is located in the imaging range W of the camera 15, and the image data G16 of the range is obtained.
  • the same processing as the processing at the imaging timing t1 is performed again. Thereafter, the same processing as the processing of the imaging timings t1 to t16 is repeatedly performed.
  • FIG. 6 is a table schematically showing a state in which coordinate positions of a plurality of image data G1 to G16 acquired at imaging timings t1 to t16 are aligned.
  • FIG. 7 is a table schematically showing a state in which each data relating to each coordinate position of the printed circuit board 1 shown in FIG. 6 is arranged and rearranged for each group set in advance. However, in FIG. 7, only the part related to the coordinate P17 is illustrated.
  • a first group data consisting of G.sub.1 and G.sub.2 light having pattern data of the second luminance and four phases (image data G.sub.2, G.sub.6, G.sub.10, G.sub.14) of which phase is shifted by 90.degree.
  • Third group data consisting of four groups of data (image data G3, G7, G11, and G15) captured under pattern light of second group data and third luminance, with the phase of the pattern light shifted by 90 °.
  • a fourth group of four data (image data G4, G8, G12, and G16) captured under pattern light of four luminances and in which the phase of the pattern light is shifted by 90 °. They are stored separately in the data.
  • each group data corresponds to an image data set in the present embodiment, and a processing function for acquiring these forms an image data acquisition means.
  • FIG. 8 one specific example of 16 kinds of data (brightness value) related to a predetermined coordinate position in the solder printing area is shown in FIG.
  • the luminance level of the light actually incident on the camera 15 is not proportional to the luminance value stored as image data.
  • the luminance level of incident light is equal to or higher than the level corresponding to the luminance value “255”.
  • the values regarding the above-described portion shown in FIG. 9 are theoretical numerical values obtained by replacing the luminance level of the incident light with the value corresponding to the data of 256 gradations of other portions.
  • the values of the luminance values included in the four groups of four data are included in the effective range H set in advance. It is determined whether or not the The function of executing such determination processing constitutes the determination means in the present embodiment.
  • the luminance value is included in the range of “11” or more and “254” or less (see FIG. 8).
  • group data including image data in a luminance saturated state is excluded from data that is a basis for performing three-dimensional measurement.
  • the function of executing such extraction processing constitutes the extraction means in the present embodiment.
  • the second group data imaged under the pattern light of the second luminance is extracted. If there is a plurality of group data in which the luminance value of each pixel of the image data is within the effective range H (including the case of all four group data), the irradiation luminance is the highest among the plurality of types of pattern light. Extract group data captured under pattern light. For example, when all the group data satisfy the above condition, the fourth group data imaged under the pattern light of the fourth luminance is extracted.
  • the control device 16 measures the height for each coordinate according to a known phase shift method also shown in the background art. Then, by repeating the process for each coordinate, height data of the entire printed circuit board 1 is calculated, and stored in the calculation result storage device 25 as three-dimensional data of the printed circuit board 1.
  • Such processing functions constitute the three-dimensional measurement means in the present embodiment.
  • the quality determination of the printing state of the cream solder 4 is performed. Specifically, the printing range of the cream solder 4 which is higher by a predetermined length or more than the height reference surface is detected, and the volume of the region within this range is calculated. Then, the volume is compared and determined with a preset reference value, and the quality of the printing state of the cream solder 4 is determined depending on whether the comparison result is within the allowable range.
  • the pattern light having a stripe-like light intensity distribution is irradiated to the print substrate 1 continuously conveyed, and the print substrate 1 irradiated with the pattern light is conveyed by a predetermined amount.
  • the camera 15 picks up an image each time it Thereby, four types of image data in which the phases of the irradiated pattern light differ by ⁇ / 2 are acquired. And three-dimensional measurement of the printed circuit board 1 is performed based on these image data.
  • a plurality of sets of group data consisting of four types of image data are acquired under four types of pattern lights having different luminances. Then, it is determined whether the luminance value of each pixel of the image data corresponding to each coordinate position on the printed circuit board 1 is included in the preset effective range H, and for each coordinate position of the printed circuit board 1 Group data in which the luminance value of each pixel of the image data is within the effective range H among the four group data, and each coordinate position of the printed board 1 by the phase shift method based on the extracted group data Perform three-dimensional measurement.
  • three-dimensional measurement can be performed using image data of more appropriate luminance for each coordinate position of the printed circuit board 1, and measurement accuracy can be improved.
  • the three-dimensional measurement device is embodied in the substrate inspection device 10 that measures the height of the cream solder 4 printed on the printed circuit board 1, but the present invention is not limited thereto.
  • the present invention may be embodied in a configuration for measuring the height of other things, such as printed solder bumps and electronic components mounted on a substrate.
  • phase of the pattern light is changed by 1 ⁇ 4 pitch, but the invention is not limited thereto.
  • the phase of the pattern light is changed by 1 ⁇ 3 pitch It is good also as composition.
  • the configuration of the lighting device 14 is not limited to the above embodiment.
  • four illuminations (light sources) having different illumination luminances are provided, but instead, one light source is provided and a configuration for appropriately changing and controlling the illumination luminances is adopted. You may
  • the irradiation luminance of each of the illuminations 4A to 4D is not limited to the above embodiment, for example, the first luminance is "100 (cd / m2)", the second luminance is "200 (cd / m2)", The three luminances may be set to “300 (cd / m 2)” and the fourth luminance may be set to “400 (cd / m 2)”, etc.
  • the configuration of the camera 15 is not limited to the above embodiment.
  • a camera using a CMOS sensor as an imaging device may be adopted.
  • the output gradation of the camera 15 is not limited to the 256 gradations in the above embodiment, but may be set differently from the above embodiment, such as 1024 gradations.
  • the lower limit value of the effective range H is set to “11”, which is a value larger than the lower limit value “0” that the luminance value of each pixel of the image data G1 to G16 can take.
  • the lower limit value is not limited to this, and may be set to a different value.
  • the lower limit of the effective range H may be set to “0”, that is, the lower limit may not be set because a defect such as luminance saturation does not occur in the lower limit.
  • the processing function of calculating the average value of the group data constitutes the average value calculation means in the present embodiment.
  • the phase shift method is employed as a three-dimensional measurement method using pattern light, but various other three-dimensional measurement methods such as space code method, moire method, focusing method, etc. It can also be adopted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　三次元計測を行うにあたり、計測精度の向上等を図ることのできる三次元計測装置を提供する。基板検査装置１０は、プリント基板１を搬送するコンベア１３と、プリント基板１に対し輝度の異なる４種類のパターン光のうちのいずれかを照射する照明装置１４と、当該パターン光の照射されたプリント基板１を撮像するカメラ１５とを備えている。そして、プリント基板１が所定量搬送される毎に、所定量ずつ位相の変化した同一輝度のパターン光の下で撮像される４通りの画像データを１組として、前記４種類のパターン光の下で撮像された４組のグループデータを取得する。次に画像データの各画素の輝度値が予め設定した有効範囲Ｈ内に含まれているか否かを判定すると共に、４つのグループデータの中から、画像データの各画素の輝度値が有効範囲Ｈ内にあるグループデータを抽出し、当該抽出されたグループデータを基に三次元計測を行う。

Description

三次元計測装置
　本発明は、三次元計測装置に関するものである。
　一般に、プリント基板上に電子部品を実装する場合、まずプリント基板上に配設された所定の電極パターン上にクリームハンダが印刷される。次に、該クリームハンダの粘性に基づいてプリント基板上に電子部品が仮止めされる。その後、前記プリント基板がリフロー炉へ導かれ、所定のリフロー工程を経ることでハンダ付けが行われる。昨今では、リフロー炉に導かれる前段階においてクリームハンダの印刷状態を検査する必要があり、かかる検査に際して三次元計測装置が用いられることがある。
　近年、光を用いたいわゆる非接触式の三次元計測装置が種々提案されており、例えば、位相シフト法を用いた三次元計測装置に関する技術が提案されている。
　当該位相シフト法を利用した三次元計測装置においては、光源と正弦波パターンのフィルタとの組み合わせからなる照射手段により、正弦波状（縞状）の光強度分布を有するパターン光を被計測物（この場合プリント基板）に照射する。そして、基板上の点を真上に配置した撮像手段を用いて観測する。撮像手段としては、レンズ及び撮像素子等からなるＣＣＤカメラ等が用いられる。この場合、画面上の計測対象点Ｐの光の強度Ｉは下式で与えられる。
　Ｉ＝Ｂ＋Ａ・ｃｏｓφ
［但し、Ｂ：直流光ノイズ（オフセット成分）、Ａ：正弦波のコントラスト（反射率）、φ：物体の凹凸により与えられる位相］
　このとき、パターン光を移動させて、位相を例えば４段階（φ＋０、φ＋π／２、φ＋π、φ＋３π／２）に変化させ、これらに対応する強度分布Ｉ１、Ｉ２、Ｉ３、Ｉ４をもつ画像を取り込み、下記式に基づいて変調分（高さを導出するための位置情報）θを求める。
　θ＝ａｒｃｔａｎ｛（Ｉ４－Ｉ２）／（Ｉ１－Ｉ３）｝
　この変調分θを用いて、プリント基板上のクリームハンダ等の計測対象点Ｐの３次元座標（Ｘ，Ｙ，Ｚ）が求められ、もって計測対象の三次元形状、特に高さが計測される。
　ところが、プリント基板上におけるクリームハンダの印刷部分（ハンダ印刷領域）と、その他の部分（背景領域）とでは、光の反射率等が異なることから、同一輝度のパターン光の下では、各部分のより正確なデータを取得することが困難となるおそれがある。
　例えば、比較的反射率の高いハンダ印刷領域に関しては、パターン光の輝度が高すぎると、撮像手段により撮像された画像データの中で当該ハンダ印刷領域に対応する画素に輝度飽和状態（サチュレーション）が生じてしまい、より正確な高さ計測が困難となるおそれがある。一方、比較的反射率の低い背景領域に関しては、パターン光の輝度が低すぎると、画像データ上、パターン光の明暗の差（輝度差）が小さくなってしまい、高さ計測が困難となるおそれがある。
　これに対し、近年では、ハンダ印刷領域に適した撮像条件（照射輝度）による撮像と、背景領域に適した撮像条件による撮像とを別々に行い、高さ計測を適切に行う技術も提案されている（例えば、特許文献１参照）。
特開２００６－３００５３９号公報
　しかしながら、同じハンダ印刷領域内や背景領域内であっても、例えばカメラとプリント基板の位置関係、クリームハンダの表面形状等により、プリント基板上で反射しカメラに入射するパターン光の反射率がプリント基板上の各位置毎に異なる。
　例えば所定のクリームハンダの表面形状が球面状になっている場合等には、当該クリームハンダに対応する同一領域内であっても反射率の高い部分と低い部分とが生じる。そのため、反射率の高い部分に適した撮像条件（照射輝度）で撮像した場合には、反射率の低い部分が暗い画像となってしまい、計測精度が低下するおそれがある。一方、反射率の低い部分に適した撮像条件で撮像した場合には、反射率の高い部分が輝度飽和状態となってしまうおそれがある。結果として、計測精度が低下するおそれがある。
　なお、上記課題は、必ずしもプリント基板上に印刷されたクリームハンダ等の高さ計測を行う場合に限らず、他の三次元計測装置の分野においても内在するものである。勿論、位相シフト法に限られる問題ではない。
　本発明は、上記事情を鑑みてなされたものであり、その目的は、三次元計測を行うにあたり、計測精度の向上等を図ることのできる三次元計測装置を提供することにある。
　以下、上記課題を解決するのに適した各手段につき項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。
　手段１．連続搬送される被計測物に対し、当該被計測物の搬送方向に沿って縞状の光強度分布を有しかつ輝度の異なる複数種類のパターン光を切換えて照射可能な照射手段と、
　前記各種パターン光の照射された前記被計測物からの反射光を撮像し、少なくとも輝度値を含む画像データを出力する撮像手段と、
　前記被計測物が所定量搬送される毎に、所定量ずつ位相の変化した同一輝度のパターン光の下で撮像される複数通りの画像データを１組として、前記複数種類のパターン光の下で撮像された複数の画像データ組を取得する画像データ取得手段と、
　前記被計測物上の各座標位置に対応する前記画像データの各画素の輝度値が予め設定した有効範囲内に含まれているか否かを判定する判定手段と、
　前記被計測物の各座標位置毎に、前記複数の画像データ組の中から、前記画像データの各画素の輝度値が前記有効範囲内にある画像データ組を抽出する抽出手段と、
　前記抽出された画像データ組を基に、前記被計測物の各座標位置に係る三次元計測を行う三次元計測手段とを備えたことを特徴とする三次元計測装置。
　上記手段１によれば、連続搬送される被計測物に対し縞状の光強度分布を有するパターン光が照射され、当該パターン光の照射された被計測物が所定量（例えばパターン光の位相π／２分に相当する距離）搬送される毎に撮像手段により撮像される。これにより、照射されたパターン光の位相が所定量ずつ（例えばπ／２ずつ）異なる複数通り（例えば４通り）の画像データが取得される。そして、これらの画像データを基に被計測物の三次元計測が行われる。
　さらに、本手段では、輝度の異なる複数種類のパターン光の下で上記複数通りの画像データからなる画像データ組を複数組取得する。そして、被計測物上の各座標位置（計測点）に対応する画像データの各画素の輝度値が予め設定した有効範囲内に含まれているか否かを判定すると共に、被計測物の各座標位置毎に、複数の画像データ組の中から、画像データの各画素の輝度値が有効範囲内にある画像データ組を抽出し、当該抽出された画像データ組を基に、例えば位相シフト法により被計測物の各座標位置に係る三次元計測を行う。
　結果として、被計測物の各座標位置毎に、より適切な輝度の画像データを用いて三次元計測を行うことができ、計測精度の向上を図ることができる。
　手段２．前記判定手段は、少なくとも前記画像データの各画素の輝度値が飽和レベルに相当する値よりも小さいか否かを判定することを特徴とする手段１に記載の三次元計測装置。
　上記手段２によれば、飽和レベルに相当する値よりも小さい値を上記有効範囲の上限に設定することにより、上記輝度飽和に起因した計測精度の低下を抑制することができる。
　手段３．前記抽出手段は、前記複数の画像データ組のうち、前記画像データの各画素の輝度値が前記有効範囲内にある画像データ組（飽和レベルに相当する値よりも小さい画像データ組）が複数組ある場合には、前記複数種類のパターン光のうち最も照射輝度の高いパターン光の下で撮像された画像データ組を抽出することを特徴とする手段１又は２に記載の三次元計測装置。
　上記手段３によれば、より大きな輝度値を有する画像データを抽出でき、より適切な三次元計測を行うことができる。
　手段４．前記抽出手段により抽出された画像データ組が複数組ある場合に、当該複数組の画像データ組の平均値を算出する平均値算出手段を備え、
　前記平均値算出手段により算出された画像データ組の平均値を基に、前記三次元計測手段が前記三次元計測を行うことを特徴とする手段１又は２に記載の三次元計測装置。
　上記手段４によれば、より適切な三次元計測を行うことのできる画像データを抽出することができる。
　手段５．前記有効範囲の下限値として、前記画像データの各画素の輝度値がとり得る下限値（例えば「０」）よりも大きな値を設定したことを特徴とする手段１乃至４のいずれかに記載の三次元計測装置。
　上記手段５によれば、より適切な三次元計測を行うために十分な輝度を有する画像データを抽出することができる。
　手段６．前記被計測物の搬送方向における異なる位置でそれぞれ撮像された前記画像データの相互間の座標系を合せる位置合せ手段を備えたことを特徴とする手段１乃至５のいずれかに記載の三次元計測装置。
　上記手段６によれば、被計測物の搬送を停止させることなく、各画像データの取得が可能となるため、計測効率の向上等を図ることができる。
一実施形態における基板検査装置を模式的に示す概略斜視図である。 プリント基板の断面図である。 基板検査装置の概略を示すブロック図である。 時間経過と共に変化するカメラの撮像範囲と、プリント基板の座標位置との関係を説明するための模式図である。 時間経過と共に変化するパターン光の種類（照射輝度）、及び、プリント基板の各座標位置におけるパターン光の位相を説明するための対応表である。 複数の画像データの座標位置を位置合せした状態を模式的に示した表である。 プリント基板の各座標位置に係る各データを予め設定したグループごとに整理して並べ替えた状態を模式的に示した表である。 プリント基板の所定の座標位置に係る１６通りのデータ（輝度値）の一具体例を示した表である。 図８のデータと比較して、輝度飽和状態を説明するための理論上の数値を示した表である。
　以下、一実施形態について図面を参照しつつ説明する。まず被計測物としてのプリント基板の構成について詳しく説明する。
　図２に示すように、プリント基板１は、平板状をなし、ガラスエポキシ樹脂等からなるベース基板２に、銅箔からなる電極パターン３が設けられている。さらに、所定の電極パターン３上には、クリームハンダ４が印刷形成されている。このクリームハンダ４が印刷された領域を「ハンダ印刷領域」ということにする。ハンダ印刷領域以外の部分を「背景領域」と総称するが、この背景領域には、電極パターン３が露出した領域（記号Ａ）、ベース基板２が露出した領域（記号Ｂ）、ベース基板２上にレジスト膜５がコーティングされた領域（記号Ｃ）、及び、電極パターン３上にレジスト膜５がコーティングされた領域（記号Ｄ）が含まれる。なお、レジスト膜５は、所定配線部分以外にクリームハンダ４がのらないように、プリント基板１の表面にコーティングされるものである。
　次に、本実施形態における三次元計測装置を具備する基板検査装置の構成について詳しく説明する。図１は、基板検査装置１０を模式的に示す概略構成図である。
　基板検査装置１０は、プリント基板１を搬送する搬送手段としてのコンベア１３と、プリント基板１の表面に対し斜め上方から所定の光を照射する照射手段としての照明装置１４と、当該光の照射されたプリント基板１からの反射光を撮像する撮像手段としてのカメラ１５と、基板検査装置１０内における各種制御や画像処理、演算処理を実施するための制御装置１６（図３参照）とを備えている。
　コンベア１３には、図示しないモータが設けられており、該モータが制御装置１６により駆動制御されることによって、コンベア１３上に載置されたプリント基板１が所定方向（図１右方向）へ定速で連続搬送される。これにより、カメラ１５の撮像範囲Ｗは、プリント基板１に対し逆方向（図１左方向）へ相対移動していくこととなる。
　照明装置１４は、所定の光を発する４個の照明（光源）を備えている。具体的には、第１照明１４Ａ～第４照明１４Ｄを備えている。
　第１照明１４Ａ～第４照明１４Ｄは、それぞれ公知の液晶光学シャッターを備え、プリント基板１に対し、その搬送方向に沿って縞状（正弦波状）の光強度分布を有するパターン光を照射可能に構成されている。つまり、縞の方向がプリント基板１の搬送方向と直交するパターン光が照射される。
　但し、第１照明１４Ａ～第４照明１４Ｄから照射されるパターン光は、それぞれ照射輝度が異なる。
　より詳しくは、第１照明４Ａからは第１輝度のパターン光が照射される。第２照明４Ｂからは、第１輝度の２倍の第２輝度のパターン光が照射される。第３照明４Ｃからは、第２輝度の２倍の第３輝度のパターン光が照射される。第４照明４Ｄからは、第３輝度の２倍の第４輝度のパターン光が照射される。
　本実施形態では、例えば第１輝度が「５０（ｃｄ／ｍ2）」、第２輝度が「１００（ｃｄ／ｍ2）」、第３輝度が「２００（ｃｄ／ｍ2）」、第４輝度が「４００（ｃｄ／ｍ2）」と設定されている。
　また、本実施形態におけるカメラ１５には、撮像素子としてＣＣＤセンサを用いた２５６階調のモノクロＣＣＤカメラが採用されている。つまり、カメラ１５によって撮像された画像は、当該カメラ１５内部においてデジタル信号に変換された上で、少なくとも各画素毎に「０」から「２５５」までのいずれかの値の輝度値を含む画像データとして制御装置１６に入力される。そして、制御装置１６は、当該画像データを基に、後述するような画像処理や三次元計測処理、検査処理等を実施する。
　次に、制御装置１６の電気的構成について図３を参照して詳しく説明する。図３は、基板検査装置１０の概略を示すブロック図である。
　図３に示すように、制御装置１６は、基板検査装置１０全体の制御を司るＣＰＵ及び入出力インターフェース２１、キーボードやマウス、あるいは、タッチパネルで構成される入力手段としての入力装置２２、ＣＲＴや液晶などの表示画面を有する表示手段としての表示装置２３、カメラ１５により撮像された画像データを記憶するための画像データ記憶装置２４、当該画像データに基づいて得られた三次元計測結果など、各種演算結果を記憶するための演算結果記憶装置２５等を備えている。なお、これら各装置２２～２５は、ＣＰＵ及び入出力インターフェース２１に対し電気的に接続されている。
　次に、基板検査装置１０にて実行される三次元計測処理等の各種処理について詳しく説明する。
　制御装置１６は、コンベア１３を駆動制御してプリント基板１を定速で連続搬送する。そして、制御装置１６は、コンベア１３に設けられた図示しないエンコーダからの信号に基づいて、照明装置１４及びカメラ１５を駆動制御する。
　より詳しくは、プリント基板１が所定量Δｘ搬送される毎、つまり所定時間Δｔが経過する毎に、所定の順序で照明装置１４から照射される光を切換えると共に、当該光の照射されたプリント基板１をカメラ１５により撮像する。本実施形態においては、前記所定量Δｘが、照明装置１４（第１照明１４Ａ～第４照明１４Ｄ）から照射されるパターン光の位相π／８分（２２．５°分）に相当する距離に設定されている。また、カメラ１５の撮像範囲Ｗは、前記パターン光の位相２π分（３６０°分）に相当する長さに設定されている。
　ここで、照明装置１４から照射される光と、カメラ１５の撮像範囲Ｗとの関係について具体例を挙げ詳しく説明する。図４は、時間経過と共に相対移動するカメラ１５の撮像範囲Ｗと、プリント基板１の座標位置との関係を説明するための模式図である。図５は、時間経過と共に変化するパターン光の種類（照射輝度）、及び、プリント基板１の各座標位置におけるパターン光の位相を説明するための対応表である。
　図４，５に示すように、所定の撮像タイミングｔ１においては、プリント基板１に対し、第１照明４Ａから第１輝度のパターン光が照射される。この際、カメラ１５の撮像範囲Ｗ内には、プリント基板１のうち、その搬送方向（Ｘ方向）における座標Ｐ１～Ｐ１７に相当する範囲が位置する。つまり、撮像タイミングｔ１においては、第１輝度のパターン光が照射されたプリント基板１表面の座標Ｐ１～Ｐ１７の範囲の画像データＧ１が取得される。なお、搬送方向と直交する方向（Ｙ方向）については、プリント基板１のＹ方向全範囲がカメラ１５の撮像範囲内に含まれ、Ｘ方向の同一座標位置におけるＹ方向の各座標位置についてはパターン光の種類及び位相に違いはない（以下同様）。
　図５に示すように、撮像タイミングｔ１においては、プリント基板１に照射されたパターン光の位相が座標Ｐ１７で「０°」、座標Ｐ１６で「２２．５°」、座標Ｐ１５で「４５°」、・・・、座標Ｐ１で「３６０°」といったように、パターン光の位相が各座標Ｐ１～Ｐ１７ごとに「２２．５°」ずつずれた画像データが取得される。
　撮像タイミングｔ１より所定時間Δｔが経過した撮像タイミングｔ２においては、プリント基板１に対し、第２照明４Ｂから第２輝度のパターン光が照射される。この際、カメラ１５の撮像範囲Ｗ内には、プリント基板１の座標Ｐ２～Ｐ１８に相当する範囲が位置し、当該範囲の画像データＧ２が取得される。
　撮像タイミングｔ２より所定時間Δｔが経過した撮像タイミングｔ３においては、プリント基板１に対し、第３照明４Ｃから第３輝度のパターン光が照射される。この際、カメラ１５の撮像範囲Ｗ内には、プリント基板１の座標Ｐ３～Ｐ１９に相当する範囲が位置し、当該範囲の画像データＧ３が取得される。
　撮像タイミングｔ３より所定時間Δｔが経過した撮像タイミングｔ４においては、プリント基板１に対し、第４照明４Ｄから第４輝度のパターン光が照射される。この際、カメラ１５の撮像範囲Ｗ内には、プリント基板１の座標Ｐ４～Ｐ２０に相当する範囲が位置し、当該範囲の画像データＧ４が取得される。
　撮像タイミングｔ４より所定時間Δｔが経過した撮像タイミングｔ５においては、プリント基板１に対し、第１照明４Ａから第１輝度のパターン光が照射される。この際、カメラ１５の撮像範囲Ｗ内には、プリント基板１の座標Ｐ５～Ｐ２１に相当する範囲が位置し、当該範囲の画像データＧ５が取得される。
　撮像タイミングｔ５より所定時間Δｔが経過した撮像タイミングｔ６においては、プリント基板１に対し、第２照明４Ｂから第２輝度のパターン光が照射される。この際、カメラ１５の撮像範囲Ｗ内には、プリント基板１の座標Ｐ６～Ｐ２２に相当する範囲が位置し、当該範囲の画像データＧ６が取得される。
　撮像タイミングｔ６より所定時間Δｔが経過した撮像タイミングｔ７においては、プリント基板１に対し、第３照明４Ｃから第３輝度のパターン光が照射される。この際、カメラ１５の撮像範囲Ｗ内には、プリント基板１の座標Ｐ７～Ｐ２３に相当する範囲が位置し、当該範囲の画像データＧ７が取得される。
　撮像タイミングｔ７より所定時間Δｔが経過した撮像タイミングｔ８においては、プリント基板１に対し、第４照明４Ｄから第４輝度のパターン光が照射される。この際、カメラ１５の撮像範囲Ｗ内には、プリント基板１の座標Ｐ８～Ｐ２４に相当する範囲が位置し、当該範囲の画像データＧ８が取得される。
　撮像タイミングｔ８より所定時間Δｔが経過した撮像タイミングｔ９においては、プリント基板１に対し、第１照明４Ａから第１輝度のパターン光が照射される。この際、カメラ１５の撮像範囲Ｗ内には、プリント基板１の座標Ｐ９～Ｐ２５に相当する範囲が位置し、当該範囲の画像データＧ９が取得される。
　撮像タイミングｔ９より所定時間Δｔが経過した撮像タイミングｔ１０においては、プリント基板１に対し、第２照明４Ｂから第２輝度のパターン光が照射される。この際、カメラ１５の撮像範囲Ｗ内には、プリント基板１の座標Ｐ１０～Ｐ２６に相当する範囲が位置し、当該範囲の画像データＧ１０が取得される。
　撮像タイミングｔ１０より所定時間Δｔが経過した撮像タイミングｔ１１においては、プリント基板１に対し、第３照明４Ｃから第３輝度のパターン光が照射される。この際、カメラ１５の撮像範囲Ｗ内には、プリント基板１の座標Ｐ１１～Ｐ２７に相当する範囲が位置し、当該範囲の画像データＧ１１が取得される。
　撮像タイミングｔ１１より所定時間Δｔが経過した撮像タイミングｔ１２においては、プリント基板１に対し、第４照明４Ｄから第４輝度のパターン光が照射される。この際、カメラ１５の撮像範囲Ｗ内には、プリント基板１の座標Ｐ１２～Ｐ２８に相当する範囲が位置し、当該範囲の画像データＧ１２が取得される。
　撮像タイミングｔ１２より所定時間Δｔが経過した撮像タイミングｔ１３においては、プリント基板１に対し、第１照明４Ａから第１輝度のパターン光が照射される。この際、カメラ１５の撮像範囲Ｗ内には、プリント基板１の座標Ｐ１３～Ｐ２９に相当する範囲が位置し、当該範囲の画像データＧ１３が取得される。
　撮像タイミングｔ１３より所定時間Δｔが経過した撮像タイミングｔ１４においては、プリント基板１に対し、第２照明４Ｂから第２輝度のパターン光が照射される。この際、カメラ１５の撮像範囲Ｗ内には、プリント基板１の座標Ｐ１４～Ｐ３０に相当する範囲が位置し、当該範囲の画像データＧ１４が取得される。
　撮像タイミングｔ１４より所定時間Δｔが経過した撮像タイミングｔ１５においては、プリント基板１に対し、第３照明４Ｃから第３輝度のパターン光が照射される。この際、カメラ１５の撮像範囲Ｗ内には、プリント基板１の座標Ｐ１５～Ｐ３１に相当する範囲が位置し、当該範囲の画像データＧ１５が取得される。
　撮像タイミングｔ１５より所定時間Δｔが経過した撮像タイミングｔ１６においては、プリント基板１に対し、第４照明４Ｄから第４輝度のパターン光が照射される。この際、カメラ１５の撮像範囲Ｗ内には、プリント基板１の座標Ｐ１６～Ｐ３２に相当する範囲が位置し、当該範囲の画像データＧ１６が取得される。
　撮像タイミングｔ１６より所定時間Δｔが経過したタイミングにおいては、再び上記撮像タイミングｔ１における処理と同様の処理が行われる。以後、上記撮像タイミングｔ１～ｔ１６の処理と同様の処理が繰り返し行われる。
　このようにして、プリント基板１の所定座標位置に係る全てのデータが取得されると、上記各画像データＧ１～Ｇ１６の座標位置を位置合せする位置合せ処理を実行する（図６参照）。かかる処理を実行する機能が本実施形態における位置合せ手段を構成する。図６は、撮像タイミングｔ１～ｔ１６において取得した複数の画像データＧ１～Ｇ１６の座標位置を位置合せした状態を模式的に示した表である。
　続いて、複数の画像データＧ１～Ｇ１６の同一座標位置に係る各データを各座標位置ごとにまとめた上で、予め設定したグループごとに整理して、演算結果記憶装置２５に記憶する（図７参照）。図７は、図６に示したプリント基板１の各座標位置に係る各データを、予め設定したグループごとに整理して並べ替えた状態を模式的に示した表である。但し、図７では、座標Ｐ１７に係る部分のみを例示している。
　本実施形態では、プリント基板１の各座標位置につき、第１輝度のパターン光の下で撮像され、当該パターン光の位相が９０°ずつずれた４通りのデータ（画像データＧ１，Ｇ５，Ｇ９，Ｇ１３）からなる第１グループデータ、第２輝度のパターン光の下で撮像され、当該パターン光の位相が９０°ずつずれた４通りのデータ（画像データＧ２，Ｇ６，Ｇ１０，Ｇ１４）からなる第２グループデータ、第３輝度のパターン光の下で撮像され、当該パターン光の位相が９０°ずつずれた４通りのデータ（画像データＧ３，Ｇ７，Ｇ１１，Ｇ１５）からなる第３グループデータ、第４輝度のパターン光の下で撮像され、当該パターン光の位相が９０°ずつずれた４通りのデータ（画像データＧ４，Ｇ８，Ｇ１２，Ｇ１６）からなる第４グループデータに分けて記憶される。ここで、各グループデータがそれぞれ本実施形態における画像データ組に相当し、これらを取得する処理機能が画像データ取得手段を構成する。
　ここで、ハンダ印刷領域中の所定の座標位置に係る１６通りのデータ（輝度値）の一具体例を図８に示す。図８に示した例では、第３及び第４グループデータのうち、初期位相からのパターン光のシフト量が［０°］及び［９０°］に対応する箇所の輝度値が、飽和レベルに相当する「２５５」となっている（散点模様を付した部分参照）。
　しかしながら、輝度値が飽和レベル「２５５」、すなわち輝度飽和状態となった上記箇所に関しては、実際にカメラ１５に入射した光の輝度レベルと、画像データとして記憶された輝度値とが比例していない可能性もある。例えば図９に例示したように、入射光の輝度レベルが、輝度値「２５５」に相当するレベル以上である可能性もある。尚、図９に示した上記箇所に関する値は、入射光の輝度レベルを、他の部分の２５６階調のデータに対応する値に置き換えた理論上の数値である。
　そこで、次にプリント基板１の各座標位置につき、上記４つグループの４通りデータ（計１６通りの画像データＧ１～Ｇ１６）に含まれる輝度値の値がそれぞれ予め設定した有効範囲Ｈ内に含まれているか否かを判定する。かかる判定処理を実行する機能が本実施形態における判定手段を構成する。
　本実施形態では、輝度値が「１１」以上、「２５４」以下の範囲に含まれるか否かを判定する（図８参照）。
　続いて、プリント基板１の各座標位置毎に、４つグループデータの中から、画像データＧ１～Ｇ１６の各画素の輝度値が上記有効範囲Ｈ（１１≦Ｈ≦２５４）内にあるグループデータを抽出する。これにより、輝度飽和状態となった画像データを含んだグループデータを、三次元計測を行う基となるデータから排除する。かかる抽出処理を実行する機能が本実施形態における抽出手段を構成する。
　図８に示す例では、第２輝度のパターン光の下で撮像された第２グループデータが抽出されることとなる。尚、画像データの各画素の輝度値が有効範囲Ｈ内にあるグループデータが複数ある場合（４つグループデータすべての場合も含む）には、上記複数種類のパターン光のうち最も照射輝度の高いパターン光の下で撮像されたグループデータを抽出する。例えば、全てのグループデータが上記条件を満たす場合には、第４輝度のパターン光の下で撮像された第４グループデータが抽出されることとなる。
　次に、制御装置１６は、上記抽出したグループデータに基づき、背景技術でも示した公知の位相シフト法により各座標毎の高さ計測を行う。そして、当該処理を各座標毎に繰り返すことで、プリント基板１全体の高さデータを算出し、当該プリント基板１の三次元データとして演算結果記憶装置２５に記憶する。かかる処理機能が本実施形態における三次元計測手段を構成する。
　そして、上記のように得られた計測結果を基にクリームハンダ４の印刷状態の良否判定を行う。具体的には、高さ基準面より所定長以上、高くなったクリームハンダ４の印刷範囲が検出され、この範囲内の部位の体積が算出される。そして、当該体積が予め設定した基準値と比較判定され、この比較結果が許容範囲内にあるか否かによって、当該クリームハンダ４の印刷状態の良否が判定される。
　以上詳述したように、本実施形態では、連続搬送されるプリント基板１に対し縞状の光強度分布を有するパターン光が照射され、当該パターン光の照射されたプリント基板１が所定量搬送される毎にカメラ１５により撮像される。これにより、照射されたパターン光の位相がπ／２ずつ異なる４通りの画像データが取得される。そして、これらの画像データを基にプリント基板１の三次元計測が行われる。
　さらに、本実施形態では、輝度の異なる４種類のパターン光の下で４通りの画像データからなるグループデータを複数組取得する。そして、プリント基板１上の各座標位置に対応する画像データの各画素の輝度値が予め設定した有効範囲Ｈ内に含まれているか否かを判定すると共に、プリント基板１の各座標位置毎に、４つのグループデータの中から、画像データの各画素の輝度値が有効範囲Ｈ内にあるグループデータを抽出し、当該抽出されたグループデータを基に位相シフト法によりプリント基板１の各座標位置に係る三次元計測を行う。
　結果として、プリント基板１の各座標位置毎に、より適切な輝度の画像データを用いて三次元計測を行うことができ、計測精度の向上を図ることができる。
　尚、上記実施形態の記載内容に限定されず、例えば次のように実施してもよい。勿論、以下において例示しない他の応用例、変更例も当然可能である。
　（ａ）上記実施形態では、三次元計測装置を、プリント基板１に印刷形成されたクリームハンダ４の高さを計測する基板検査装置１０に具体化したが、これに限らず、例えば基板上に印刷されたハンダバンプや、基板上に実装された電子部品など、他のものの高さを計測する構成に具体化してもよい。
　（ｂ）上記実施形態の位相シフト法では、パターン光の位相を４分の１ピッチずつ変化させる構成となっているが、これに限らず、パターン光の位相を３分の１ピッチずつ変化させる構成としてもよい。
　（ｃ）照明装置１４の構成は、上記実施形態に限定されるものではない。例えば、上記実施形態では、照射輝度の異なる４個の照明（光源）を備えた構成となっているが、これに代えて、１つの光源を備え、その照射輝度を適宜変更制御する構成を採用してもよい。
　また、各照明４Ａ～４Ｄの照射輝度も上記実施形態に限定されるものではなく、例えば第１輝度が「１００（ｃｄ／ｍ2）」、第２輝度が「２００（ｃｄ／ｍ2）」、第３輝度が「３００（ｃｄ／ｍ2）」、第４輝度が「４００（ｃｄ／ｍ2）」と設定されるなど、上記実施形態とは異なる設定としてもよい。
　（ｄ）カメラ１５の構成は上記実施形態に限定されるものではない。例えば、撮像素子としてＣＭＯＳセンサを用いたカメラ等を採用してもよい。また、カメラ１５の出力階調に関しても、上記実施形態の２５６階調に限らず、例えば１０２４階調など上記実施形態とは異なる設定としてもよい。
　（ｅ）上記実施形態では、プリント基板１上の各座標位置に対応する画像データＧ１～Ｇ１６の各画素の輝度値が予め設定した有効範囲Ｈ内に含まれているか否かを判定するにあたり、上限値に関しては、飽和レベルに相当する値「２５５」よりも小さい「２５４」以下であるか否かを判定する構成となっている。上限値はこれに限定されるものではなく、異なる値に設定してもよい。
　また、上記実施形態では、有効範囲Ｈの下限値として、画像データＧ１～Ｇ１６の各画素の輝度値がとり得る下限値「０」よりも大きな値である「１１」が設定されているが、下限値はこれに限定されるものではなく、異なる値に設定してもよい。尚、下限に関しては、上限のような輝度飽和等の不具合が生じないことから、有効範囲Ｈの下限値を「０」、すなわち下限値を設定しない構成としてもよい。
　（ｆ）上記実施形態では、画像データＧ１～Ｇ１６の各画素の輝度値が有効範囲Ｈ内にあるグループデータを抽出するにあたり、輝度の異なる４種類のパターン光の下で撮像した４つグループデータを取得する構成となっているが、グループデータの数はこれに限定されるものではなく、２以上あればよい。
　（ｇ）上記実施形態では、画像データの各画素の輝度値が有効範囲Ｈ内にあるグループデータが複数ある場合には、４種類のパターン光のうち最も照射輝度の高いパターン光の下で撮像されたグループデータを抽出する構成となっている。三次元計測に用いるグループデータの抽出方法は、これに限定されるものではなく、異なる方法を採用してもよい。
　例えば、画像データの各画素の輝度値が有効範囲Ｈ内にあるグループデータが複数ある場合には、当該複数のグループデータの平均値を算出し、当該グループデータの平均値を基に三次元計測を行う構成としてもよい。ここで、グループデータの平均値を算出する処理機能が本実施形態における平均値算出手段を構成する。
　（ｈ）上記実施形態では、パターン光を用いた三次元計測方法として位相シフト法を採用しているが、この他にも空間コード法やモアレ法、合焦法等といった各種三次元計測方法を採用することもできる。
　１…プリント基板、４…クリームハンダ、１０…基板検査装置、１３…コンベア、１４…照明装置、１５…カメラ、１６…制御装置、Ｐ１～Ｐ３２…座標、Ｇ１～Ｇ１６…画像データ、Ｈ…有効範囲、Ｗ…撮像範囲。

Claims (6)

  1. 　連続搬送される被計測物に対し、当該被計測物の搬送方向に沿って縞状の光強度分布を有しかつ輝度の異なる複数種類のパターン光を切換えて照射可能な照射手段と、
    　前記各種パターン光の照射された前記被計測物からの反射光を撮像し、少なくとも輝度値を含む画像データを出力する撮像手段と、
    　前記被計測物が所定量搬送される毎に、所定量ずつ位相の変化した同一輝度のパターン光の下で撮像される複数通りの画像データを１組として、前記複数種類のパターン光の下で撮像された複数の画像データ組を取得する画像データ取得手段と、
    　前記被計測物上の各座標位置に対応する前記画像データの各画素の輝度値が予め設定した有効範囲内に含まれているか否かを判定する判定手段と、
    　前記被計測物の各座標位置毎に、前記複数の画像データ組の中から、前記画像データの各画素の輝度値が前記有効範囲内にある画像データ組を抽出する抽出手段と、
    　前記抽出された画像データ組を基に、前記被計測物の各座標位置に係る三次元計測を行う三次元計測手段とを備えたことを特徴とする三次元計測装置。
  2. 　前記判定手段は、少なくとも前記画像データの各画素の輝度値が飽和レベルに相当する値よりも小さいか否かを判定することを特徴とする請求項１に記載の三次元計測装置。
  3. 　前記抽出手段は、前記複数の画像データ組のうち、前記画像データの各画素の輝度値が前記有効範囲内にある画像データ組が複数組ある場合には、前記複数種類のパターン光のうち最も照射輝度の高いパターン光の下で撮像された画像データ組を抽出することを特徴とする請求項１又は２に記載の三次元計測装置。
  4. 　前記抽出手段により抽出された画像データ組が複数組ある場合に、当該複数組の画像データ組の平均値を算出する平均値算出手段を備え、
    　前記平均値算出手段により算出された画像データ組の平均値を基に、前記三次元計測手段が前記三次元計測を行うことを特徴とする請求項１又は２に記載の三次元計測装置。
  5. 　前記有効範囲の下限値として、前記画像データの各画素の輝度値がとり得る下限値よりも大きな値を設定したことを特徴とする請求項１乃至４のいずれかに記載の三次元計測装置。
  6. 　前記被計測物の搬送方向における異なる位置でそれぞれ撮像された前記画像データの相互間の座標系を合せる位置合せ手段を備えたことを特徴とする請求項１乃至５のいずれかに記載の三次元計測装置。
PCT/JP2012/061063 2012-01-27 2012-04-25 三次元計測装置 WO2013111354A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112012005755.4T DE112012005755B4 (de) 2012-01-27 2012-04-25 Vorrichtung zur dreidimensionalen Messung
CN201280044167.7A CN103827626B (zh) 2012-01-27 2012-04-25 三维测量装置
KR1020147001708A KR101578056B1 (ko) 2012-01-27 2012-04-25 삼차원 계측 장치
US14/444,564 US9417053B2 (en) 2012-01-27 2014-07-28 Three-dimensional measuring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012014793A JP5640025B2 (ja) 2012-01-27 2012-01-27 三次元計測装置
JP2012-014793 2012-01-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/444,564 Continuation US9417053B2 (en) 2012-01-27 2014-07-28 Three-dimensional measuring device

Publications (1)

Publication Number Publication Date
WO2013111354A1 true WO2013111354A1 (ja) 2013-08-01

Family

ID=48873110

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/061063 WO2013111354A1 (ja) 2012-01-27 2012-04-25 三次元計測装置

Country Status (6)

Country Link
US (1) US9417053B2 (ja)
JP (1) JP5640025B2 (ja)
KR (1) KR101578056B1 (ja)
CN (1) CN103827626B (ja)
DE (1) DE112012005755B4 (ja)
WO (1) WO2013111354A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2786992C1 (ru) * 2018-12-21 2022-12-27 Доф Инк. Трехмерный сканер и способ сканирования с его помощью

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102081778B1 (ko) * 2014-02-19 2020-02-26 엘지전자 주식회사 객체의 3차원 형상을 산출하는 장치 및 방법
JP6259806B2 (ja) * 2015-12-24 2018-01-10 Ckd株式会社 三次元計測装置
JP6553011B2 (ja) * 2016-10-14 2019-07-31 Ckd株式会社 三次元計測装置
US10922839B2 (en) * 2017-11-07 2021-02-16 Casio Computer Co., Ltd. Location obtaining system, location obtaining device, location obtaining method, and non-transitory computer-readable recording medium
US10572989B2 (en) 2018-06-06 2020-02-25 The Boeing Company Chopped fiber additive manufacturing void detection
CN111076664A (zh) * 2019-12-27 2020-04-28 大连华锐重工集团股份有限公司 一种非接触式自焙电极压放量测量系统和方法
CN111415405A (zh) * 2020-03-16 2020-07-14 苏州依诺维视智能科技有限公司 高反光表面工件的三维高精度视觉测量方法
CN112781522A (zh) * 2020-12-25 2021-05-11 复旦大学 一种基于彩色相移结构光的去高光轮廓仪

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002107125A (ja) * 2000-10-04 2002-04-10 Ckd Corp 三次元計測装置
JP2003254727A (ja) * 2002-03-01 2003-09-10 Ckd Corp 三次元計測装置
JP2005214653A (ja) * 2004-01-27 2005-08-11 Olympus Corp ３次元形状測定方法及びその装置
JP2011220934A (ja) * 2010-04-13 2011-11-04 Ckd Corp 三次元計測装置及び基板検査装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4210075A1 (de) * 1992-03-29 1993-09-30 Henning Dipl Ing Dr Ing Wolf Verfahren und Vorrichtung zur dreidimensionalen optischen Kontrolle der Geometrie spiegelnder Objekte
DE19636354A1 (de) * 1996-09-02 1998-03-05 Ruedger Dipl Ing Rubbert Verfahren und Vorrichtung zur Durchführung von optischen Aufnahmen
WO2001051887A1 (en) * 2000-01-07 2001-07-19 Cyberoptics Corporation Phase profilometry system with telecentric projector
JP3618713B2 (ja) * 2001-12-04 2005-02-09 三菱電機株式会社 ディスプレイ画面検査方法およびディスプレイ画面検査装置
DE10309544A1 (de) * 2003-02-17 2004-09-02 Micro-Optronic-Messtechnik Gmbh Verfahren und Vorrichtung zur optischen Profilmessung eines Objektes mittels Linientriangulation
JP4827431B2 (ja) * 2005-04-15 2011-11-30 シーケーディ株式会社 三次元計測装置及び基板検査装置
JP2009264882A (ja) * 2008-04-24 2009-11-12 Olympus Corp 外観検査装置
JP4744610B2 (ja) * 2009-01-20 2011-08-10 シーケーディ株式会社 三次元計測装置
DE202010018585U1 (de) * 2009-05-27 2017-11-28 Koh Young Technology Inc. Vorrichtung zur Messung einer dreidimensionalen Form
JP5441840B2 (ja) * 2009-07-03 2014-03-12 コー・ヤング・テクノロジー・インコーポレーテッド ３次元形状測定装置
JP5482131B2 (ja) * 2009-11-17 2014-04-23 株式会社リコー 撮像装置
JP2012237613A (ja) * 2011-05-11 2012-12-06 Moire Institute Inc 形状計測装置及び形状計測方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002107125A (ja) * 2000-10-04 2002-04-10 Ckd Corp 三次元計測装置
JP2003254727A (ja) * 2002-03-01 2003-09-10 Ckd Corp 三次元計測装置
JP2005214653A (ja) * 2004-01-27 2005-08-11 Olympus Corp ３次元形状測定方法及びその装置
JP2011220934A (ja) * 2010-04-13 2011-11-04 Ckd Corp 三次元計測装置及び基板検査装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2786992C1 (ru) * 2018-12-21 2022-12-27 Доф Инк. Трехмерный сканер и способ сканирования с его помощью

Also Published As

Publication number Publication date
JP2013156045A (ja) 2013-08-15
DE112012005755T5 (de) 2014-12-24
CN103827626A (zh) 2014-05-28
CN103827626B (zh) 2016-09-21
US20140333727A1 (en) 2014-11-13
KR101578056B1 (ko) 2015-12-16
KR20140059773A (ko) 2014-05-16
DE112012005755T8 (de) 2015-03-19
US9417053B2 (en) 2016-08-16
DE112012005755B4 (de) 2020-11-19
JP5640025B2 (ja) 2014-12-10

Similar Documents

Publication Publication Date Title
JP5430612B2 (ja) 三次元計測装置
WO2013111354A1 (ja) 三次元計測装置
KR101121691B1 (ko) 삼차원 계측 장치
JP5290233B2 (ja) 三次元計測装置及び基板検査装置
JP6189984B2 (ja) 三次元計測装置
JP5162702B2 (ja) 表面形状測定装置
KR20100051589A (ko) 삼차원 계측 장치 및 기판 검사기
KR101241175B1 (ko) 실장기판 검사장치 및 검사방법
TWI568988B (zh) Three - dimensional measuring device
JP6027220B1 (ja) 三次元計測装置
JP5584671B2 (ja) 基板検査方法
WO2014196008A1 (ja) 検査装置および検査方法
TWI481814B (zh) 三維測定裝置
JP4947559B2 (ja) 三次元計測装置
WO2016203668A1 (ja) 三次元計測装置
CN113966457A (zh) 三维测量装置和三维测量方法
JP6126640B2 (ja) 三次元計測装置及び三次元計測方法
JP2017096866A (ja) 三次元計測装置
JP2013157360A (ja) 実装基板生産装置および実装基板生産方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12866570

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20147001708

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112012005755

Country of ref document: DE

Ref document number: 1120120057554

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12866570

Country of ref document: EP

Kind code of ref document: A1