WO2020039575A1 - 三次元計測装置、三次元計測方法 - Google Patents

三次元計測装置、三次元計測方法 Download PDF

Info

Publication number
WO2020039575A1
WO2020039575A1 PCT/JP2018/031331 JP2018031331W WO2020039575A1 WO 2020039575 A1 WO2020039575 A1 WO 2020039575A1 JP 2018031331 W JP2018031331 W JP 2018031331W WO 2020039575 A1 WO2020039575 A1 WO 2020039575A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixels
pixel
sensitivity
low
pixel value
Prior art date
Application number
PCT/JP2018/031331
Other languages
English (en)
French (fr)
Inventor
伸章 田端
Original Assignee
ヤマハ発動機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ発動機株式会社 filed Critical ヤマハ発動機株式会社
Priority to CN201880096669.1A priority Critical patent/CN112567199B/zh
Priority to PCT/JP2018/031331 priority patent/WO2020039575A1/ja
Priority to KR1020217004969A priority patent/KR102513710B1/ko
Priority to JP2020537988A priority patent/JP7051260B2/ja
Priority to DE112018007930.9T priority patent/DE112018007930T5/de
Priority to US17/270,840 priority patent/US11796308B2/en
Publication of WO2020039575A1 publication Critical patent/WO2020039575A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K3/00—Apparatus or processes for manufacturing printed circuits
    • H05K3/30—Assembling printed circuits with electric components, e.g. with resistor
    • H05K3/32—Assembling printed circuits with electric components, e.g. with resistor electrically connecting electric components or wires to printed circuits
    • H05K3/34—Assembling printed circuits with electric components, e.g. with resistor electrically connecting electric components or wires to printed circuits by soldering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/56—Measuring geometric parameters of semiconductor structures, e.g. profile, critical dimensions or trench depth

Definitions

  • This invention relates to a technique for measuring a three-dimensional shape of an object.
  • Patent Document 1 describes a three-dimensional measuring device that measures a three-dimensional shape of an object such as solder printed on an electrode of a printed circuit board.
  • the three-dimensional measuring device irradiates a target with white light, and measures a three-dimensional shape of the target based on an image obtained by imaging light reflected by the target.
  • an imaging camera having a plurality of pixels each outputting a pixel value corresponding to the intensity of incident light can be used for imaging light reflected by an object.
  • Each pixel of the imaging camera has a dynamic range, and cannot output an accurate pixel value for light that is darker or brighter than the dynamic range. Therefore, when the reflectance of the object is low, the intensity of the light applied to the object is increased, while when the reflectance of the object is high, the intensity of the light applied to the object is reduced. Can be considered. However, when a low-reflectance region and a high-reflectance region are mixed in an object, an accurate pixel value cannot be obtained in a high-reflectance region when the light intensity is high, and a reflection is not obtained when the light intensity is low. An accurate pixel value cannot be obtained for an area having a low rate. Therefore, such a technique was not always effective.
  • the present invention has been made in view of the above problems, and enables accurate pixel values to be obtained for both low-reflectance areas and high-reflectance areas, even when the target object includes both areas.
  • the purpose is to provide technology.
  • the three-dimensional measuring apparatus has a projector that irradiates a target with light having a predetermined wavelength, and has a plurality of pixels on which light reflected by the target enters, and each of the plurality of pixels has An imaging camera that outputs a pixel value according to the intensity, and a control unit that performs calculation of a three-dimensional shape of the object based on the pixel value, a plurality of pixels, a plurality of high-sensitivity pixels, a high-sensitivity pixel And a plurality of low-sensitivity pixels having a spectral sensitivity characteristic in which the ratio of the output to the input of the predetermined wavelength is lower than the spectral sensitivity characteristic of the pixel.
  • the three-dimensional measurement method the step of irradiating the object with light of a predetermined wavelength, the light reflected by the object is incident on a plurality of pixels, according to the intensity of the light incident on the plurality of pixels A step of outputting a pixel value, and a step of performing a shape calculation of a three-dimensional shape of the object based on the pixel value, a plurality of pixels, a plurality of high-sensitivity pixels, the spectral sensitivity characteristics of the high-sensitivity pixels and A plurality of low-sensitivity pixels having a spectral sensitivity characteristic having a low ratio of an output to an input of a predetermined wavelength.
  • the imaging camera compares the high-sensitivity pixel with the output of the predetermined wavelength by comparing the high-sensitivity pixel with the spectral sensitivity characteristic of the high-sensitivity pixel.
  • low-sensitivity pixels having low spectral sensitivity characteristics. That is, a high-sensitivity pixel having a spectral sensitivity characteristic with a high sensitivity and a low-sensitivity pixel having a spectral sensitivity characteristic with a low sensitivity compared to a high-sensitivity image with respect to light of a predetermined wavelength irradiated to an object Is provided.
  • the light reflected in the high reflectance area can be converted to an appropriate pixel value by the low sensitivity pixel, and the light reflected in the low reflectance area can be converted to the appropriate pixel value by the high sensitivity pixel.
  • the three-dimensional measurement device may be configured such that high-sensitivity pixels and low-sensitivity pixels are alternately arranged.
  • the high-sensitivity pixels and the low-sensitivity pixels are uniformly arranged adjacent to each other, the light reflected at a high reflectance is accurately captured by the high-sensitivity pixels while the light reflected at a high reflectance is reflected. Can be accurately detected with low-sensitivity pixels.
  • accurate pixel values can be obtained for both areas.
  • the three-dimensional measurement device may be configured such that the plurality of pixels include high-sensitivity pixels and low-sensitivity pixels at the same ratio. With such a configuration, it is possible to convert the light reflected in the high-reflectance region and the light reflected in the low-reflectance region into appropriate pixel values without bias. As a result, even when a low reflectance area and a high reflectance area are mixed in an object, accurate pixel values can be obtained for both areas.
  • the predetermined wavelength is a green wavelength
  • the plurality of pixels are arranged in a Bayer array in which red, green, and blue are arranged in a predetermined pattern
  • each of the plurality of high-sensitivity pixels is a green pixel in the Bayer array.
  • the three-dimensional measurement device may be configured such that the plurality of low-sensitivity pixels include the same number of blue pixels and red pixels in the Bayer array.
  • the green high-sensitivity pixels and the red or blue low-sensitivity pixels are uniformly arranged while being adjacent to each other. The light reflected at a low rate can be accurately captured by the low-sensitivity pixels. As a result, even when a low reflectance area and a high reflectance area are mixed in an object, accurate pixel values can be obtained for both areas.
  • the control unit performs a determination process for determining whether the pixel value output from the pixel is appropriate based on the pixel value for each of the plurality of pixels, and performs a shape calculation based on the determination result in the determination process.
  • a three-dimensional measuring device may be configured. With such a configuration, shape calculation can be performed using appropriate pixel values while suppressing the influence of inappropriate pixel values. Therefore, even when a low-reflectance region and a high-reflectance region are mixed in the target, the three-dimensional shape of the target can be accurately calculated.
  • control unit performs interpolation on the high-sensitivity pixels whose pixel values are determined to be inappropriate in the determination process using the pixel values of low-sensitivity pixels located within a predetermined range from the high-sensitivity pixels, or For a low-sensitivity pixel whose pixel value is determined to be inappropriate in the processing, the shape calculation is performed based on the result of executing the interpolation with the pixel value of the high-sensitivity pixel located within a predetermined range from the low-sensitivity pixel.
  • a three-dimensional measuring device may be configured.
  • the pixel value of a pixel determined to be inappropriate in the determination process is interpolated by the pixel value of a pixel located within a predetermined range from the pixel, and shape calculation can be performed based on the result.
  • shape calculation can be performed based on the result.
  • the projector irradiates the object with light having a predetermined wavelength and a plurality of stripe patterns having mutually different phases, and the control unit performs the shape calculation by the phase shift method, so that the three-dimensional measurement apparatus May be configured.
  • the three-dimensional shape of the target can be appropriately calculated by the phase shift method.
  • FIG. 1 is a block diagram schematically illustrating a visual inspection device according to the present invention.
  • FIG. 2 is a diagram schematically illustrating a configuration of an imaging unit.
  • FIG. 4 is a diagram schematically illustrating spectral sensitivity characteristics of a pixel included in the imaging unit. The figure which shows typically the relationship between the light reflected by each of the high reflection area
  • 9 is a flowchart illustrating an example of three-dimensional measurement performed by the visual inspection device. 6 is a flowchart illustrating an example of inappropriate pixel interpolation performed in the three-dimensional measurement in FIG. 5. FIG. 6 is a view for explaining the contents of calculations performed in the three-dimensional measurement in FIG. 5. The figure which shows an example of interpolation of an unsuitable pixel.
  • FIG. 1 is a block diagram schematically illustrating a visual inspection apparatus according to the present invention.
  • XYZ orthogonal coordinates composed of a Z direction parallel to the vertical direction, an X direction and a Y direction parallel to the horizontal direction are appropriately shown.
  • the appearance inspection apparatus 1 shown in FIG. 1 controls the transport conveyor 2, the inspection head 3, and the drive mechanism 4 by the control device 100, thereby controlling the state of the solder B that joins the components (electronic components) to the board 10 (printed board). Inspect for pass / fail.
  • the transport conveyor 2 transports the substrate 10 along a predetermined transport path. Specifically, the transport conveyor 2 carries the substrate 10 before inspection into the inspection position in the visual inspection device 1 and holds the substrate 10 horizontally at the inspection position. When the inspection of the substrate 10 at the inspection position is completed, the transport conveyor 2 carries out the inspected substrate 10 out of the visual inspection device 1.
  • the inspection head 3 has an imaging camera 31 for imaging the inside of the imaging visual field V31 from above, and the solder B of the substrate 10 carried into the inspection position is stored in the imaging visual field V31 and imaged by the imaging camera 31.
  • the imaging camera 31 has a flat imaging unit 311 that captures the reflected light from the solder B. The details of the imaging unit 311 will be described later with reference to FIG.
  • the inspection head 3 has a projector 32 that projects the striped pattern light L (S) whose light intensity distribution changes in a sine wave shape onto the imaging visual field V31.
  • the projector 32 has a light source such as an LED (Light Emitting Diode) and a digital micromirror device for reflecting light from the light source toward the imaging visual field V31.
  • the projector 32 can project a plurality of types of pattern lights L (S) having different phases from each other on the imaging visual field V31. That is, the inspection head 3 captures an image with the imaging camera 31 while changing the phase of the pattern light L (S) projected from the projector 32, and thereby the three-dimensional shape Bs of the solder B in the imaging visual field V31 by the phase shift method. Can be measured.
  • the inspection head 3 has eight projectors 32 (in FIG. 1, two projectors 32 are shown as representatives for simplicity of illustration).
  • the eight projectors 32 are arranged so as to surround the periphery of the imaging camera 31, and are arranged circumferentially at equal pitches around the vertical direction Z. Then, each projector 32 projects the pattern light L (S) from obliquely above the imaging field of view V31 of the imaging camera 31. Therefore, the pattern light L (S) can be projected onto the imaging visual field V31 from one of the plurality of projectors 32 that has an appropriate positional relationship with the solder B.
  • the driving mechanism 4 drives the inspection head 3 in the horizontal and vertical directions by a motor while supporting the inspection head 3.
  • the inspection head 3 can move above the solder B, capture the solder B in the imaging visual field V31, and measure the three-dimensional shape Bs of the solder B in the imaging visual field V31.
  • the control device 100 has a main control unit 110, which is a processor including a CPU (Central Processing Unit) and a memory.
  • the main control unit 110 controls the respective units of the device, and an inspection is performed. .
  • the control device 100 has a user interface 200 composed of input / output devices such as a display, a keyboard and a mouse. A user inputs commands to the control device 100 via the user interface 200, Can be checked.
  • the control device 100 includes a projection control unit 120 that controls the projector 32, an imaging control unit 130 that controls the imaging camera 31, and a drive control unit 140 that controls the driving mechanism 4.
  • the main control unit 110 controls the drive mechanism 4 by the drive control unit 140 to move the inspection head 3 above the solder B of the substrate 10. As a result, the solder B falls within the imaging field of view V31 of the imaging camera 31.
  • the main control unit 110 captures the pattern light L (S) projected on the imaging visual field V31 by the imaging camera 31 while projecting the pattern light L (S) from the projector 32 onto the imaging visual field V31 including the solder B. (Pattern imaging operation).
  • the main control unit 110 has a storage unit 150 formed of a nonvolatile memory, and reads the projection pattern T (S) stored in the storage unit 150.
  • the main control unit 110 controls the projection control unit 120 based on the projection pattern T (S) read from the storage unit 150 to project the angle of each micromirror of the digital micromirror device of the projector 32. Adjustment is made according to the pattern T (S).
  • the pattern light L (S) having the projection pattern T (S) is projected on the imaging visual field V31.
  • the main control unit 110 controls the imaging control unit 130 to acquire the captured image I (S) by capturing the pattern light L (S) projected on the imaging visual field V31 with the imaging camera 31.
  • This captured image I is stored in the storage unit 150.
  • the main control unit 110 obtains the height of the imaging visual field V31 for each pixel of the imaging camera 31 from the four types of captured images I (S) thus obtained by the phase shift method. Thus, the height of the surface of the solder B is obtained for each pixel of the imaging camera 31.
  • FIG. 2 is a diagram schematically showing the configuration of the imaging unit.
  • the imaging unit 311 includes a solid-state imaging device 312 such as a CCD (Charge Coupled Device) image sensor and a color filter 313 superposed on the solid-state imaging device 312.
  • the solid-state imaging device 312 has a plurality of light receiving pixels Pi arranged at a constant arrangement pitch ⁇ P in each of the X direction and the Y direction. That is, in the solid-state imaging device 312, the plurality of light receiving pixels Pi are two-dimensionally arranged.
  • the color filter 313 has a plurality of filter pixels Pf arranged at an arrangement pitch ⁇ P in each of the X direction and the Y direction. That is, in the color filter 313, a plurality of filter pixels Pf are two-dimensionally arranged.
  • the plurality of light receiving pixels Pi and the plurality of filter pixels Pf are provided in a one-to-one correspondence, and the corresponding light receiving pixels Pi and filter pixels Pf face each other.
  • the pixel Px is configured by the light receiving pixel Pi and the filter pixel Pf facing each other, and the plurality of pixels Px are arrayed in the X direction and the Y direction at an array pitch ⁇ P. Then, each pixel Px outputs a pixel value V (FIG. 3) corresponding to the intensity of light transmitted through the filter pixel Pf and incident on the light receiving pixel Pi from the light receiving pixel Pi.
  • each filter pixel Pf is selected from red (R), green (G), and blue (B).
  • R red
  • G green
  • B blue
  • each pixel Px of the imaging unit 311 has a spectral sensitivity characteristic according to the color of light that the filter pixel Pf allows transmission.
  • FIG. 3 is a diagram schematically showing the spectral sensitivity characteristics of the pixels included in the imaging unit.
  • a pixel Px having a filter pixel Pf that allows transmission of red (R) (hereinafter referred to as “red pixel Px”)
  • the spectral sensitivity characteristic SP (R) is indicated by a two-dot chain line
  • the spectral sensitivity characteristic SP (R) of the pixel Px (hereinafter, appropriately referred to as a “green pixel Px”) having a filter pixel Pf that allows transmission of green (G) is indicated.
  • the sensitivity characteristic SP (G) is indicated by a broken line, and the spectral sensitivity characteristic SP (B) of a pixel Px having a filter pixel Pf that allows transmission of blue (B) (hereinafter, appropriately referred to as “blue pixel Px”) is shown. This is indicated by a dashed line.
  • the wavelength distribution of the pattern light L (S) projected from the projector 32 is also indicated by a solid line.
  • the pattern light L (S) has a wavelength distribution having a peak at the green wavelength ⁇ g (in other words, has a green emission spectrum).
  • the green pixel Px has a spectral sensitivity characteristic SP (G) having high sensitivity to the wavelength ⁇ g of the pattern light L (S).
  • the red pixel Px has a spectral sensitivity characteristic SP (R) having a peak at a wavelength longer than the wavelength ⁇ g, and has lower sensitivity than the green pixel Px to the wavelength ⁇ g of the pattern light L (S).
  • the blue pixel Px has a spectral sensitivity characteristic SP (B) having a peak at a wavelength shorter than the wavelength ⁇ g, and has a lower sensitivity to the wavelength ⁇ g of the pattern light L (S) than the green pixel Px.
  • the green pixel Px functions as a high-sensitivity pixel Ph indicating high sensitivity to the wavelength ⁇ g
  • Each of the pixels Px functions as a low-sensitivity pixel Pl having lower sensitivity to the wavelength ⁇ g than the high-sensitivity pixel Ph.
  • the high-sensitivity pixels Ph (green pixels Px) and the low-sensitivity pixels Pl (red pixels Px) are alternately arranged in the Y direction
  • the high-sensitivity pixels Ph (green pixels Px) and the low-sensitivity pixels Pl blue The pixels Px) are alternately arranged in the X direction.
  • the low-sensitivity pixel Pl (red pixel Px) is adjacent to the high-sensitivity pixel Ph (green pixel Px) on both sides in the Y direction, and the low-sensitivity pixel Ph (green pixel Px) is low-sensitivity pixel.
  • Pl blue pixel Px
  • the high-sensitivity pixel Ph is adjacent to the low-sensitivity pixel Pl from four directions
  • the low-sensitivity pixel Pl is adjacent to the high-sensitivity pixel Ph from four directions.
  • the expression that the pixels Px are adjacent to each other indicates a state in which two target pixels Px are arranged at an arrangement pitch ⁇ P.
  • both the light reflected on the high reflection area Ah having a high reflectance and the light reflected on the low reflection area Al having a low reflectance are used.
  • the pixel value Px can be converted to an accurate pixel value V.
  • FIG. 4 is a view schematically showing the relationship between the light reflected by each of the high reflection area and the low reflection area and the pixel value.
  • the pattern light L (S) which is a sine wave
  • the pattern light L (S) is projected on each of the high reflection area Ah and the low reflection area Al
  • the light reflected on each area Ah, Al is reflected by red (R) and green (G).
  • 3) schematically shows the pixel values V output from these pixels Px when they are detected by the blue (B) pixels Px. Note that the pixel value V output from the pixel Px cannot actually fall outside the dynamic range D, and thus the waveform of the pixel value V is crushed. However, the waveform is not shown here.
  • the pixel value V output by the green G pixel Px (high sensitivity pixel Ph) that has detected the pattern light L (S) reflected by the high reflection area Ah is the dynamic range D of the pixel Px (in other words, the light receiving pixel Pi
  • the upper limit of the dynamic range D) is partially exceeded. Therefore, the green pixel Px cannot convert the pattern light L (S) reflected in the high reflection area Ah into an accurate pixel value V.
  • the pixel value V output by the red (R) and blue (B) pixels Px (low-sensitivity pixels Pl) that have detected the pattern light L (S) reflected by the high reflection area Ah is the dynamic range of the pixel Px. Fits in D. Therefore, the pixel Px of red (R) or blue (B) can convert the pattern light L (S) reflected in the high reflection area Ah into an accurate pixel value V.
  • the pixel value V output by the red (R) and blue (B) pixels Px (low-sensitivity pixels Pl) that have detected the pattern light L (S) reflected by the low reflection area Al is the dynamic range D of the pixel Px. Exceeds the lower limit in some cases. Therefore, the red (R) and blue (B) pixels Px cannot convert the pattern light L (S) reflected by the low reflection area Al into an accurate pixel value V.
  • the pixel value V output by the green (G) pixel Px (high-sensitivity pixel Ph) that has detected the pattern light L (S) reflected by the low reflection area Al falls within the dynamic range D of the pixel Px. Therefore, the green (G) pixel Px can convert the pattern light L (S) reflected by the low reflection area Al into an accurate pixel value V.
  • the pattern light L (S) reflected by the high reflection area Ah can be converted into an accurate pixel value V by the red (R) and blue (B) pixels Px (low sensitivity pixels Pl), and the low reflection area Al Can be converted to an accurate pixel value V by the green (G) pixel Px (high-sensitivity pixel Ph).
  • FIG. 5 is a flowchart illustrating an example of three-dimensional measurement performed by the visual inspection device
  • FIG. 6 is a flowchart illustrating an example of interpolation of inappropriate pixels performed in the three-dimensional measurement of FIG. 5
  • FIG. 8 is a diagram for explaining the content of the calculation executed in the three-dimensional measurement of FIG. 5 and 6 are executed under the control of the main control unit 110.
  • step S101 the pattern imaging operation of imaging the pattern light L (S) by the imaging camera 31 while projecting the pattern light L (S) onto the solder B is performed while changing the phase of the pattern light L (S) by 90 degrees.
  • step S102 the main control unit 110 calculates a three-dimensional image showing the three-dimensional shape Bs of the solder B from the captured images I (S) based on the phase shift method. Specifically, a three-dimensional calculation is performed for each of the plurality of pixels Px to calculate the angle ⁇ from the pixel values V0 to V3 of the four captured images I (S) based on Equation 1 in FIG. An image is obtained.
  • step S103 the main control unit 110 calculates a reliability image indicating the reliability of the pixel value V of each of the plurality of pixels Px.
  • This reliability indicates whether or not the pixel value V of the pixel Px falls within the dynamic range D. That is, when the pixel value V of the pixel Px is too bright or too dark, the reliability decreases.
  • an operation for obtaining the reliability from the pixel values V0 to V3 of the four captured images I (S) is performed for each of the plurality of pixels Px, thereby obtaining the reliability.
  • An image is obtained.
  • a saturated pixel value that is, a pixel value indicating “255” when represented by 8 bits
  • step S104 the interpolation of the inappropriate pixel shown in FIG. 6 is performed.
  • step S201 the count value N for identifying the plurality of pixels Px is reset to zero, and in step S202, the count value N is incremented.
  • Step S203 it is determined whether or not the reliability of the pixel value V of the pixel Px of the count value N is equal to or more than the threshold. If the reliability is equal to or greater than the threshold (“YES” in step S203), the process returns to step S202, and the count value N is incremented.
  • the pixel Px located within the array pitch ⁇ P from the pixel Px (unsuitable pixel) of the count value N that is, 4 pixels adjacent to the unsuitable pixel
  • the pixel value V of the inappropriate pixel can be interpolated based on the pixel values V of the pixels Px (step S204). Specifically, when there is a pixel Px having a reliability lower than the threshold value among these four pixels Px, it is determined that interpolation is impossible, and all of the pixel values V of these four pixels Px are equal to the threshold value. If it has the above reliability, it is determined that interpolation is possible.
  • step S204 If the interpolation is not possible (“NO” in step S204), the process returns to step S202, and the count value N is incremented. If interpolation is possible (“YES” in step S204), an interpolation operation is performed, and the pixel value V of the inappropriate pixel is interpolated by the pixel values V of four pixels Px adjacent to the inappropriate pixel. (Step S205). That is, the pixel value V0 of the target pixel Px is interpolated by the pixel values V0 of the four adjacent pixels Px, and the pixel values V1 to V3 are similarly interpolated. Such an interpolation operation can be performed using a known interpolation method such as linear interpolation or polynomial interpolation.
  • step S205 the angle ⁇ is calculated from the interpolated pixel values V (V0 to V3) based on Equation 1 in FIG. 7, and the corresponding pixel Px in the three-dimensional image calculated in step S102 (that is, step S205) Is adopted as the pixel Px) subjected to interpolation. Then, steps S202 to S205 are executed until the count value N reaches the maximum value (until “YES” in step S206).
  • the imaging camera 31 includes the high-sensitivity pixel Ph having the spectral sensitivity characteristic SP (G) having high sensitivity to the light of the wavelength ⁇ g applied to the solder B (target).
  • both the pattern light L (S) reflected by the high reflection area Ah and the low sensitivity pixel Pl can be converted into an appropriate pixel value V.
  • the high reflection area Ah and the low sensitivity pixel Pl are mixed in the solder B, it is possible to obtain an accurate pixel value V for both areas Ah and Al.
  • High-sensitivity pixels Ph and low-sensitivity pixels Pl are alternately arranged.
  • the pattern light L (S) reflected by the low-reflection region Al is accurately captured by the high-sensitivity pixels Ph.
  • the pattern light L (S) reflected by the high reflection area Ah can be accurately captured by the low-sensitivity pixel Pl.
  • the high reflection area Ah and the low-sensitivity pixel Pl are mixed in the solder B, it is possible to obtain an accurate pixel value V for both areas Ah and Al.
  • the high-sensitivity pixels Ph and the low-sensitivity pixels Pl are included in the same ratio.
  • the pattern light L (S) reflected by the high reflection area Ah and the pattern light L (S) reflected by the low reflection area Al are converted to an appropriate pixel value V without being biased. can do.
  • the high reflection area Ah and the low-sensitivity pixel Pl are mixed in the solder B, it is possible to obtain an accurate pixel value V for both areas Ah and Al.
  • the wavelength ⁇ g is a green wavelength
  • the plurality of pixels Px are arranged in a Bayer arrangement.
  • Each of the plurality of high-sensitivity pixels Ph is a green pixel Px in the Bayer array
  • the plurality of low-sensitivity pixels Pl includes the same number of blue pixels Px and red pixels Px in the Bayer array.
  • the pattern light L (S) reflected by the low reflection area Al is converted to the high-sensitivity pixel.
  • the pattern light L (S) reflected by the high reflection area Ah can be accurately captured by the low-sensitivity pixels Pl while accurately capturing the pattern light by Ph.
  • the main control unit 110 performs a determination process (step S203) for determining whether the pixel value V output from the pixel Px is appropriate based on the pixel value V for each of the plurality of pixels Px. Then, shape calculation is performed based on the determination result in the determination process (step S203) (step S205). With such a configuration, shape calculation can be performed using an appropriate pixel value V while suppressing the influence of an inappropriate pixel value V (steps S102 and S205). Therefore, even when the high reflection area Ah and the low-sensitivity pixels Pl are mixed in the solder B, the three-dimensional shape Bs of the solder B can be accurately calculated.
  • the main control unit 110 determines whether the low-sensitivity pixel Ph located within the range of the array pitch ⁇ P from the high-sensitivity pixel Ph for which the solder B has been determined to be inappropriate in the determination process (step S203). Interpolation using the pixel value V of Pl is performed, or the low-sensitivity pixel Pl in which the pixel value V is determined to be inappropriate in the determination process (step S203) is within the range of the array pitch ⁇ P from the low-sensitivity pixel Pl.
  • the shape calculation (steps S102 and S205) is executed based on the result of executing the interpolation based on the pixel value V of the located high-sensitivity pixel Ph.
  • the pixel value V of the inappropriate pixel Px determined to be inappropriate in the determination process (step S203) is interpolated by the pixel value V of the pixel Px located within the range of the array pitch ⁇ P from the inappropriate pixel Px.
  • Shape calculation (steps S102 and S205) can be executed based on the result. Therefore, even when the high reflection area Ah and the low reflection area Al are mixed in the solder B, the three-dimensional shape Bs of the solder B can be accurately calculated.
  • the projector 32 irradiates the solder B with the pattern light L (S) of the four projection patterns T (S) having the wavelength ⁇ g and having mutually different phases. Then, the main controller 110 executes shape calculation by the phase shift method (steps S102 and S205). With such a configuration, even when the high reflection area Ah and the low reflection area Al are mixed in the solder B, the three-dimensional shape Bs of the solder B can be appropriately calculated by the phase shift method.
  • the appearance inspection device 1 corresponds to an example of the “three-dimensional measuring device” of the present invention
  • the projector 32 corresponds to an example of the “projector” of the present invention
  • the imaging camera 31 corresponds to the present invention.
  • the control device 100 corresponds to an example of the “control unit” of the present invention
  • the pattern light L (S) corresponds to an example of the “light” of the present invention
  • the projection pattern T ( S) corresponds to an example of the “striped pattern” of the present invention
  • the wavelength ⁇ g corresponds to an example of the “predetermined wavelength” of the present invention
  • the solder B corresponds to an example of the “object” of the present invention
  • the shape Bs corresponds to an example of the “three-dimensional shape” of the present invention
  • the pixel Px corresponds to an example of the “pixel” of the present invention
  • the high-sensitivity pixel Ph corresponds to an example of the “high-sensitivity pixel” of the present invention.
  • the low-sensitivity pixel Pl corresponds to an example of the “low-sensitivity pixel” of the present invention
  • the arrangement pitch ⁇ P corresponds to an example of the “predetermined range” of the present invention
  • the spectral sensitivity characteristics SP (R), SP (B), and SP (G) correspond to an example of the “spectral sensitivity characteristic” of the present invention
  • the pixel value V is Step S203 corresponds to an example of the “determination process” of the present invention.
  • the present invention is not limited to the above embodiment, and various changes can be made to the above described one without departing from the gist of the present invention.
  • a red (R) pixel Px may be arranged in place of the blue (B) pixel Px.
  • the projector 32 may project the pattern light L (S) having the red (R) wavelength.
  • a blue (B) pixel Px may be arranged in place of the red (R) pixel Px.
  • the projector 32 may project the pattern light L (S) having a blue (G) wavelength.
  • the specific method of determining whether or not interpolation is possible in step S204 is not limited to the above example.
  • two pixels forming one pair out of a pair of two pixels Px arranged in the X direction across the inappropriate pixel and a pair of two pixels Px arranged in the Y direction across the inappropriate pixel If the reliability of Px is greater than or equal to the threshold, that is, if it is valid, it may be determined that interpolation is possible.
  • the interpolation calculation in step S205 may be performed as follows. That is, when only one pair has a valid reliability, the pixel value V of the unsuitable pixel is interpolated by the average value of the pixel values V of the two pixels Px forming the pair.
  • FIG. 8 is a diagram illustrating an example of interpolation of inappropriate pixels.
  • the pixel value Vn of the unsuitable pixel Pxn can be interpolated by the average value of the pixel values Vg of the two pixels Pxg sandwiching the unsuitable pixel Pxn (linear interpolation).
  • the interpolation operation is not limited to the linear interpolation illustrated here, but is similar to the above in that it can be performed using another known interpolation method.
  • interpolation is performed on the pixel value V of the pixel Px of the captured image I (S) obtained by capturing the pattern light L (S).
  • interpolation may be performed on the angle ⁇ of each pixel Px calculated from the pixel values V0 to V3 of the four captured images I (S).
  • interpolation may be performed on the height of each pixel Px calculated from the angle ⁇ .
  • the method of calculating the reliability is not limited to the above example.
  • the reliability may be calculated by a method described in Japanese Patent Application Laid-Open No. 2014-119442 or Japanese Patent No. 3996560.
  • the object of three-dimensional measurement is not limited to solder B.
  • Appearance inspection device three-dimensional measuring device 31 imaging camera 32 projector 100 control device (control unit)
  • B Solder (object) Bs: three-dimensional shape
  • Px Pixel Ph: High-sensitivity pixel
  • Pl Low-sensitivity pixel
  • ⁇ P Arrangement pitch (predetermined range) SP (R), SP (B), SP (G): Spectral sensitivity characteristics
  • V Pixel value ⁇ g: Green wavelength (predetermined wavelength)
  • S203 Determination processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

撮像カメラ３１は、半田Ｂ（対象物）に照射される波長λｇの光に対して、高い感度を持つ分光感度特性ＳＰ（Ｇ）を有する高感度画素Ｐｈと、低い感度を持つ分光感度特性ＳＰ（Ｒ）、ＳＰ（Ｂ）を有する低感度画素Ｐｌとを備える。したがって、半田Ｂの表面うち、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）は、低感度画素Ｐｌにより適切な画素値Ｖに変換でき、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）は、高感度画素Ｐｈにより適切な画素値Ｖに変換できる。つまり、高反射領域Ａｈおよび低感度画素Ｐｌで反射されたパターン光Ｌ（Ｓ）の両方を、適切な画素値Ｖに変換できる。こうして、高反射領域Ａｈと低感度画素Ｐｌとが半田Ｂに混在する場合であっても、両領域Ａｈ、Ａｌについて正確な画素値Ｖを取得することが可能となっている。

Description

三次元計測装置、三次元計測方法
　この発明は、対象物の三次元形状を計測する技術に関する。
　特許文献１では、プリント基板の電極に印刷された半田等の対象物の三次元形状を計測する三次元計測装置が記載されている。この三次元計測装置は、白色の光を対象物に照射し、対象物で反射された光を撮像した画像に基づき、対象物の三次元形状を計測する。また、このような三次元計測装置では、入射した光の強度に応じた画素値をそれぞれ出力する複数の画素を有する撮像カメラが、対象物で反射された光の撮像に使用することができる。
特許第４２５６０５９号公報
　なお、撮像カメラの各画素はダイナミックレンジを有しており、ダイナミックレンジよりも暗いあるいは明るい光に対しては、正確な画素値を出力することができない。そこで、対象物の反射率が低い場合には、対象物に照射する光の強度を高くする一方、対象物の反射率が高い場合には、対象物に照射する光の強度を低くするといった手法が考えられる。しかしながら、反射率の低い領域と反射率の高い領域とが対象物に混在する場合、光の強度を高くすると反射率の高い領域について正確な画素値が得られず、光の強度を低くすると反射率の低い領域について正確な画素値が得られない。そのため、かかる手法は必ずしも有効ではなかった。
　この発明は上記課題に鑑みなされたものであり、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、両領域について正確な画素値を取得することを可能とする技術の提供を目的とする。
　本発明に係る三次元計測装置は、所定波長の光を対象物に照射するプロジェクターと、　対象物で反射された光が入射する複数の画素を有し、複数の画素のそれぞれは入射した光の強度に応じた画素値を出力する撮像カメラと、画素値に基づき対象物の三次元形状の形状算出を実行する制御部とを備え、複数の画素は、複数の高感度画素と、高感度画素が有する分光感度特性と比較して所定波長の入力に対する出力の比が低い分光感度特性を有する複数の低感度画素とを含む。
　本発明に係る三次元計測方法は、所定波長の光を対象物に照射する工程と、対象物で反射された光を複数の画素に入射させ、複数の画素が入射した光の強度に応じた画素値を出力する工程と、画素値に基づき対象物の三次元形状の形状算出を実行する工程とを備え、複数の画素は、複数の高感度画素と、高感度画素が有する分光感度特性と比較して所定波長の入力に対する出力の比が低い分光感度特性を有する複数の低感度画素とを含む。
　このように構成された本発明（三次元計測装置、三次元計測方法）では、撮像カメラは、高感度画素と、当該高感度画素の分光感度特性と比較して所定波長の入力に対する出力の比が低い分光感度特性を有する低感度画素とを有する。すなわち、対象物に照射される所定波長の光に対して、高い感度を持つ分光感度特性を有する高感度画素と、高感度画外比較して低い感度を持つ分光感度特性を有する低感度画素とが具備される。したがって、対象物のうち、反射率の高い領域で反射された光は、低感度画素により適切な画素値に変換でき、反射率の低い領域で反射された光は、高感度画素により適切な画素値に変換できる。つまり、反射率の高い領域で反射された光および反射率の低い領域で反射された光の両方を、適切な画素値に変換できる。こうして、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、両領域について正確な画素値を取得することが可能となっている。
　また、高感度画素と低感度画素とが交互に配列されているように、三次元計測装置を構成しても良い。かかる構成では、高感度画素と低感度画素とが互いに隣接しつつ均一に配置されるため、低い反射率で反射された光を高感度画素で的確に捉えつつ、高い反射率で反射された光を低感度画素で的確に捉えることができる。その結果、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、両領域について正確な画素値を取得することが可能となる。
　また、複数の画素は、高感度画素と低感度画素とを同じ比率で含むように、三次元計測装置を構成しても良い。かかる構成では、高い反射率の領域で反射された光と、低い反射率の領域で反射された光の一方に偏ることなく、これらを適切な画素値に変換することができる。その結果、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、両領域について正確な画素値を取得することが可能となる。
　また、所定波長は、緑色の波長であり、複数の画素は、赤色、緑色および青色を所定のパターンで配列したベイヤー配列により配列され、複数の高感度画素のそれぞれは、ベイヤー配列における緑色の画素であり、複数の低感度画素は、ベイヤー配列における青色の画素と赤色の画素とを同数ずつ含むように、三次元計測装置を構成しても良い。かかる構成では、緑色の高感度画素と赤色あるいは青色の低感度画素とが互いに隣接しつつ均一に配置されるため、低い反射率で反射された光を高感度画素で的確に捉えつつ、高い反射率で反射された光を低感度画素で的確に捉えることができる。その結果、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、両領域について正確な画素値を取得することが可能となる。
　なお、反射率の高い領域で反射されて高感度画素に入射した光や、反射率の低い領域で反射されて低感度画素に入射した光を変換した画素値は、不適切である可能性が高い。そこで、制御部は、画素から出力される画素値が適切か否かを画素値に基づき判定する判定処理を複数の画素のそれぞれについて実行し、判定処理での判定結果に基づき形状算出を実行するように、三次元計測装置を構成しても良い。かかる構成では、不適切な画素値の影響を抑えつつ適切な画素値を用いて形状算出を実行できる。そのため、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、対象物の三次元形状を正確に算出することが可能となる。
　また、制御部は、判定処理で画素値が不適切と判定された高感度画素に対して、当該高感度画素から所定範囲内に位置する低感度画素の画素値による補間を実行し、あるいは判定処理で画素値が不適切と判定された低感度画素に対して、当該低感度画素から所定範囲内に位置する高感度画素の画素値による補間を実行した結果に基づき形状算出を実行するように、三次元計測装置を構成しても良い。かかる構成では、判定処理で不適切と判定された画素の画素値を当該画素から所定範囲内に位置する画素の画素値により補間し、その結果に基づき形状算出を実行できる。その結果、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、対象物の三次元形状を正確に算出することが可能となる。
　また、プロジェクターは、所定波長を有して、互いに異なる位相を有する複数の縞パターンの光を対象物に照射し、制御部は、位相シフト法によって形状算出を実行するように、三次元計測装置を構成しても良い。かかる構成では、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、対象物の三次元形状を位相シフト法によって適切に算出することが可能となる。
　本発明によれば、こうして、反射率の低い領域と反射率の高い領域とが対象物に混在する場合であっても、両領域について正確な画素値を取得することが可能となる。
本発明に係る外観検査装置を模式的に例示するブロック図。 撮像ユニットの構成を模式的に示す図。 撮像ユニットが有する画素の分光感度特性を模式的に示す図。 高反射領域および低反射領域それぞれで反射された光と画素値との関係を模式的に示す図。 外観検査装置が実行する三次元計測の一例を示すフローチャート。 図５の三次元計測で実行される不適画素の補間の一例を示すフローチャート。 図５の三次元計測で実行される演算の内容を説明する図。 不適画素の補間の一例を示す図。
　図１は本発明に係る外観検査装置を模式的に例示するブロック図である。同図および以下の図では、鉛直方向に平行なＺ方向、水平方向に平行なＸ方向およびＹ方向で構成されるＸＹＺ直交座標を適宜示す。図１の外観検査装置１は、制御装置１００によって搬送コンベア２、検査ヘッド３および駆動機構４を制御することで、基板１０（プリント基板）に部品（電子部品）を接合する半田Ｂの状態の良否を検査する。
　搬送コンベア２は、基板１０を所定の搬送経路に沿って搬送する。具体的には、搬送コンベア２は、検査前の基板１０を外観検査装置１内の検査位置に搬入し、基板１０を検査位置で水平に保持する。また、検査位置における基板１０への検査が終了すると、搬送コンベア２は、検査後の基板１０を外観検査装置１の外へ搬出する。
　検査ヘッド３は、撮像視野Ｖ３１内を上方から撮像する撮像カメラ３１を有しており、検査位置に搬入された基板１０の半田Ｂを撮像視野Ｖ３１に収めて撮像カメラ３１によって撮像する。撮像カメラ３１は、半田Ｂからの反射光を撮像する平板形状の撮像ユニット３１１を有する。この撮像ユニット３１１の詳細は、図２を用いて後述する。さらに、検査ヘッド３は、光強度分布が正弦波状に変化する縞状のパターン光Ｌ（Ｓ）を撮像視野Ｖ３１に投影するプロジェクター３２を有する。プロジェクター３２は、ＬＥＤ(Light Emitting Diode)等の光源と、光源からの光を撮像視野Ｖ３１へ向けて反射するデジタル・マイクロミラー・デバイスとを有している。かかるプロジェクター３２は、デジタル・マイクロミラー・デバイスの各マイクロミラーの角度を調整することで、互いに位相の異なる複数種のパターン光Ｌ（Ｓ）を撮像視野Ｖ３１に投影できる。つまり、検査ヘッド３は、プロジェクター３２から投影するパターン光Ｌ（Ｓ）の位相を変化させながら撮像カメラ３１により撮像を行うことで、位相シフト法によって撮像視野Ｖ３１内の半田Ｂの三次元形状Ｂｓを計測することができる。
　ちなみに、検査ヘッド３は、８個のプロジェクター３２を有している（図１では、図示を簡便化するために２個のプロジェクター３２が代表して示されている）。８個のプロジェクター３２は、撮像カメラ３１の周囲を囲むように配置されており、鉛直方向Ｚを中心として円周状に等ピッチで並ぶ。そして、各プロジェクター３２は、撮像カメラ３１の撮像視野Ｖ３１に対して斜め上方からパターン光Ｌ（Ｓ）を投影する。したがって、複数の方プロジェクター３２のうち、半田Ｂとの位置関係が適切な一のプロジェクター３２から、撮像視野Ｖ３１にパターン光Ｌ（Ｓ）を投影することができる。
　駆動機構４は、検査ヘッド３を支持しつつ、モーターによって水平方向および鉛直方向へ検査ヘッド３を駆動させる。この駆動機構４の駆動によって、検査ヘッド３は半田Ｂの上方に移動して、半田Ｂを撮像視野Ｖ３１内に捉えることができ、撮像視野Ｖ３１内の半田Ｂの三次元形状Ｂｓを計測できる。
　制御装置１００は、ＣＰＵ(Central Processing Unit)およびメモリーで構成されたプロセッサーである主制御部１１０を有しており、主制御部１１０が装置各部の制御を統括することで、検査が実行される。また。制御装置１００は、ディスプレイ、キーボードおよびマウス等の入出力機器で構成されたユーザーインターフェース２００を有しており、ユーザーは、ユーザーインターフェース２００を介して制御装置１００に指令を入力したり、制御装置１００による検査結果を確認したりすることができる。さらに、制御装置１００は、プロジェクター３２を制御する投影制御部１２０、撮像カメラ３１を制御する撮像制御部１３０および駆動機構４を制御する駆動制御部１４０を有する。搬送コンベア２が検査位置に基板１０を搬入すると、主制御部１１０は、駆動制御部１４０により駆動機構４を制御して、基板１０の半田Ｂの上方へ検査ヘッド３を移動させる。これによって、撮像カメラ３１の撮像視野Ｖ３１内に半田Ｂが収まる。
　続いて、主制御部１１０は、プロジェクター３２から半田Ｂを含む撮像視野Ｖ３１へパターン光Ｌ（Ｓ）を投影しつつ撮像視野Ｖ３１に投影されたパターン光Ｌ（Ｓ）を撮像カメラ３１により撮像する（パターン撮像動作）。具体的には、主制御部１１０は、不揮発性メモリーで構成された記憶部１５０を有しており、記憶部１５０に記憶された投影パターンＴ（Ｓ）を読み出す。そして、主制御部１１０は、記憶部１５０から読み出した投影パターンＴ（Ｓ）に基づいて投影制御部１２０を制御することで、プロジェクター３２のデジタル・マイクロミラー・デバイスの各マイクロミラーの角度を投影パターンＴ（Ｓ）に応じて調整する。こうして、撮像視野Ｖ３１には、投影パターンＴ（Ｓ）を有するパターン光Ｌ（Ｓ）が投影される。さらに、主制御部１１０は、撮像制御部１３０を制御することで、撮像視野Ｖ３１に投影されたパターン光Ｌ（Ｓ）を撮像カメラ３１により撮像して撮像画像Ｉ（Ｓ）を取得する。この撮像画像Ｉは、記憶部１５０に記憶される。なお、記憶部１５０には、互いに９０度ずつ位相の異なる４種類の投影パターンＴ（Ｓ）が記憶されており、パターン撮像動作は、投影パターンＴ（Ｓ）を変えながら４回実行される（Ｓ＝１、２、３、４）。その結果、それぞれ９０度ずつ位相の異なるパターン光Ｌ（Ｓ）を撮像した４種類の撮像画像Ｉ（Ｓ）が取得される。
　主制御部１１０は、こうして取得された４種類の撮像画像Ｉ（Ｓ）から、位相シフト法によって、撮像視野Ｖ３１の高さを撮像カメラ３１の画素毎に求める。これによって、半田Ｂの表面の高さが撮像カメラ３１の画素毎に求められることとなる。
　図２は撮像ユニットの構成を模式的に示す図である。撮像ユニット３１１は例えばＣＣＤ(Charge Coupled Device)イメージセンサー等の固体撮像素子３１２と、固体撮像素子３１２に重ねられたカラーフィルター３１３とを有する。固体撮像素子３１２は、Ｘ方向およびＹ方向のそれぞれに一定の配列ピッチΔＰで配列された複数の受光画素Ｐｉを有する。つまり、固体撮像素子３１２では、複数の受光画素Ｐｉが二次元的に配列されている。また、カラーフィルター３１３は、Ｘ方向およびＹ方向のそれぞれに配列ピッチΔＰで配列された複数のフィルター画素Ｐｆを有する。つまり、カラーフィルター３１３では、複数のフィルター画素Ｐｆが二次元的に配列されている。
　このように、複数の受光画素Ｐｉと複数のフィルター画素Ｐｆとが一対一の対応関係で設けられ、互いに対応する受光画素Ｐｉとフィルター画素Ｐｆとが対向する。換言すれば、撮像ユニット３１１では、互いに対向する受光画素Ｐｉとフィルター画素Ｐｆとで画素Ｐｘが構成され、複数の画素ＰｘがＸ方向およびＹ方向のそれぞれに配列ピッチΔＰで配列される。そして、各画素Ｐｘは、フィルター画素Ｐｆを透過して受光画素Ｐｉに入射した光の強度に応じた画素値Ｖ（図３）を、受光画素Ｐｉから出力する。
　図２に示すように、カラーフィルター３１３では、複数のフィルター画素Ｐｆがベイヤー配列に従って配列されており、各フィルター画素Ｐｆは、赤（Ｒ）、緑（Ｇ）および青（Ｂ）のうち、その配列位置に応じた色の光の透過を許容し、配列位置に応じた色とは異なる色の光の透過を制限する。したがって、撮像ユニット３１１の各画素Ｐｘは、そのフィルター画素Ｐｆが透過を許容する光の色に応じた分光感度特性を有する。
　図３は撮像ユニットが有する画素の分光感度特性を模式的に示す図である。図３では、横軸に光の波長を示すとともに縦軸に画素値Ｖを示すグラフにおいて、赤（Ｒ）の透過を許容するフィルター画素Ｐｆを有する画素Ｐｘ（以下、「赤の画素Ｐｘ」と適宜称する）の分光感度特性ＳＰ（Ｒ）が二点鎖線で示され、緑（Ｇ）の透過を許容するフィルター画素Ｐｆを有する画素Ｐｘ（以下、「緑の画素Ｐｘ」と適宜称する）の分光感度特性ＳＰ（Ｇ）が破線で示され、青（Ｂ）の透過を許容するフィルター画素Ｐｆを有する画素Ｐｘ（以下、「青の画素Ｐｘ」と適宜称する）の分光感度特性ＳＰ（Ｂ）が一点鎖線で示される。また、図３では、プロジェクター３２から投影されるパターン光Ｌ（Ｓ）の波長分布が実線で併記されている。
　つまり、本実施形態では、パターン光Ｌ（Ｓ）は、緑色の波長λｇにピークを有する波長分布を有する（換言すれば、緑色の発光スペクトルを有する）。これに対して、緑の画素Ｐｘは、パターン光Ｌ（Ｓ）の波長λｇに対して高い感度を持つ分光感度特性ＳＰ（Ｇ）を有する。赤の画素Ｐｘは、波長λｇよりも長い波長にピークを持つ分光感度特性ＳＰ（Ｒ）を有し、パターン光Ｌ（Ｓ）の波長λｇに対して緑の画素Ｐｘよりも低い感度を有する。青の画素Ｐｘは、波長λｇよりも短い波長にピークを持つ分光感度特性ＳＰ（Ｂ）を有し、パターン光Ｌ（Ｓ）の波長λｇに対して緑の画素Ｐｘよりも低い感度を有する。
　つまり、図２に示すように、撮像ユニット３１１が有する複数の画素Ｐｘのうち、緑の画素Ｐｘが波長λｇに対して高い感度を示す高感度画素Ｐｈとして機能し、赤の画素Ｐｘおよび青の画素Ｐｘのそれぞれが波長λｇに対して高感度画素Ｐｈより低い感度を示す低感度画素Ｐｌとして機能する。そして、高感度画素Ｐｈ（緑の画素Ｐｘ）と低感度画素Ｐｌ（赤の画素Ｐｘ）がＹ方向に交互に並ぶとともに、高感度画素Ｐｈ（緑の画素Ｐｘ）と低感度画素Ｐｌ（青の画素Ｐｘ）がＸ方向に交互に並ぶ。こうして、高感度画素Ｐｈ（緑の画素Ｐｘ）に対して低感度画素Ｐｌ（赤の画素Ｐｘ）がＹ方向の両側で隣接し、高感度画素Ｐｈ（緑の画素Ｐｘ）に対して低感度画素Ｐｌ（青の画素Ｐｘ）がＸ方向の両側で隣接する。換言すれば、高感度画素Ｐｈには４方向から低感度画素Ｐｌが隣接し、低感度画素Ｐｌには、４方向から高感度画素Ｐｈが隣接する。なお、ここで、画素Ｐｘが隣接するとは、対象の２個の画素Ｐｘが配列ピッチΔＰで配置された状態を示すものとする。
　かかる構成では、図４に示すように、半田Ｂの表面のうち、高い反射率を有する高反射領域Ａｈで反射された光および低い反射率を有する低反射領域Ａｌで反射された光の両方を、画素Ｐｘによって正確な画素値Ｖに変換することができる。
　図４は高反射領域および低反射領域それぞれで反射された光と画素値との関係を模式的に示す図である。同図は、正弦波であるパターン光Ｌ（Ｓ）を高反射領域Ａｈおよび低反射領域Ａｌのそれぞれに投影して、各領域Ａｈ、Ａｌで反射された光を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画素Ｐｘで検知した際に、これらの画素Ｐｘが出力する画素値Ｖを模式的に示す。なお、実際には、画素Ｐｘから出力される画素値ＶはダイナミックレンジＤから外れた値となることはできないため、画素値Ｖの波形がつぶれるが、ここでは波形をつぶさずに示した。
　高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）を検知した緑Ｇの画素Ｐｘ（高感度画素Ｐｈ）が出力する画素値Ｖは、画素ＰｘのダイナミックレンジＤ（換言すれば受光画素ＰｉのダイナミックレンジＤ）の上限を一部で超える。したがって、緑の画素Ｐｘは、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）を正確な画素値Ｖに変換することができない。一方、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）を検知した赤（Ｒ）および青（Ｂ）の画素Ｐｘ（低感度画素Ｐｌ）が出力する画素値Ｖは、画素ＰｘのダイナミックレンジＤに収まる。したがって、赤（Ｒ）あるいは青（Ｂ）の画素Ｐｘは、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）を正確な画素値Ｖに変換することができる。
　低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）を検知した赤（Ｒ）および青（Ｂ）の画素Ｐｘ（低感度画素Ｐｌ）が出力する画素値Ｖは、画素ＰｘのダイナミックレンジＤの下限を一部で超える。したがって、赤（Ｒ）および青（Ｂ）の画素Ｐｘは、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）を正確な画素値Ｖに変換することができない。一方、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）を検知した緑（Ｇ）の画素Ｐｘ（高感度画素Ｐｈ）が出力する画素値Ｖは、画素ＰｘのダイナミックレンジＤに収まる。したがって、緑（Ｇ）の画素Ｐｘは、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）を正確な画素値Ｖに変換することができる。
　つまり、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）は、赤（Ｒ）および青（Ｂ）の画素Ｐｘ（低感度画素Ｐｌ）によって正確な画素値Ｖに変換でき、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）は、緑（Ｇ）の画素Ｐｘ（高感度画素Ｐｈ）によって正確な画素値Ｖに変換できる。
　図５は外観検査装置が実行する三次元計測の一例を示すフローチャートであり、図６は図５の三次元計測で実行される不適画素の補間の一例を示すフローチャートであり、図７は図５の三次元計測で実行される演算の内容を説明する図である。図５および図６は主制御部１１０の制御によって実行される。
　ステップＳ１０１では、半田Ｂにパターン光Ｌ（Ｓ）を投影しつつ撮像カメラ３１によりパターン光Ｌ（Ｓ）を撮像するパターン撮像動作を、パターン光Ｌ（Ｓ）の位相を９０度ずつ変更しつつ繰り返し実行することで、９０度ずつ位相が異なる４つの撮像画像Ｉ（Ｓ）が取得される（Ｓ＝１、２、３、４）。
　ステップＳ１０２では、主制御部１１０は、位相シフト法に基づき、これら撮像画像Ｉ（Ｓ）から半田Ｂの三次元形状Ｂｓを示す三次元画像を算出する。具体的には、図７の式１に基づいて、４つの撮像画像Ｉ（Ｓ）の画素値Ｖ０～Ｖ３から角度θを求める演算を、複数の画素Ｐｘのそれぞれについて実行することで、三次元画像が得られる。
　ステップＳ１０３では、主制御部１１０は、複数の画素Ｐｘそれぞれの画素値Ｖの信頼度を示す信頼度画像を算出する。この信頼度は、画素Ｐｘの画素値ＶがダイナミックレンジＤに収まっているか否かを示す。つまり、画素Ｐｘの画素値Ｖが明るすぎるあるいは暗すぎる場合には、信頼度が低くなる。具体的には、図７の式２に基づいて、４つの撮像画像Ｉ（Ｓ）の画素値Ｖ０～Ｖ３から信頼度を求める演算を、複数の画素Ｐｘのそれぞれについて実行することで、信頼度画像が得られる。なお、これらの画素値Ｖ０～Ｖ３のうちに、飽和した画素値（すなわち、８ｂｉｔで表した場合には「２５５」を示す画素値）が存在する場合には、図７の式２によらずに画素値Ｖの信頼度を「０」にする。
　ステップＳ１０４では、図６に示す不適画素の補間が実行される。ステップＳ２０１で、複数の画素Ｐｘを識別するためのカウント値Ｎがゼロにリセットされ、ステップＳ２０２で、カウント値Ｎがインクリメントされる。そして、カウント値Ｎの画素Ｐｘの画素値Ｖの信頼度が閾値以上であるか否かが判断される（ステップＳ２０３）。信頼度が閾値以上である場合（ステップＳ２０３で「ＹＥＳ」の場合）には、ステップＳ２０２に戻ってカウント値Ｎがインクリメントされる。
　信頼度が閾値未満である場合（ステップＳ２０３で「ＮＯ」の場合）には、このカウント値Ｎの画素Ｐｘ（不適画素）から配列ピッチΔＰ以内に位置する画素Ｐｘ、すなわち不適画素に隣接する４個の画素Ｐｘの画素値Ｖによって、不適画素の画素値Ｖを補間可能であるかが判断される（ステップＳ２０４）。具体的には、これら４個の画素Ｐｘのうちに閾値未満の信頼度を有する画素Ｐｘが在る場合には、補間不能と判断され、これら４個の画素Ｐｘの画素値Ｖの全てが閾値以上の信頼度を有する場合には、補間可能と判断される。
　補間不能の場合（ステップＳ２０４で「ＮＯ」の場合）には、ステップＳ２０２に戻ってカウント値Ｎがインクリメントされる。補間可能の場合（ステップＳ２０４で「ＹＥＳ」の場合）には、補間演算が実行されて、不適画素の画素値Ｖが、当該不適画素に隣接する４個の画素Ｐｘの画素値Ｖによって補間される（ステップＳ２０５）。つまり、隣接する４個の画素Ｐｘの画素値Ｖ０によって、対象となる画素Ｐｘの画素値Ｖ０が補間され、画素値Ｖ１～Ｖ３についても同様に補間される。かかる補間演算は、線形補間あるいは多項式補間等、周知の補間方法を用いて実行できる。また、ステップＳ２０５では、図７の式１に基づき、補間された画素値Ｖ（Ｖ０～Ｖ３）から角度θが算出され、ステップＳ１０２で算出された三次元画像における該当画素Ｐｘ（すなわち、ステップＳ２０５の補間対象となった画素Ｐｘ）として採用される。そして、カウント値Ｎが最大値となるまで（ステップＳ２０６で「ＹＥＳ」となるまで）ステップＳ２０２～Ｓ２０５が実行される。
　以上に説明した実施形態では、撮像カメラ３１は、半田Ｂ（対象物）に照射される波長λｇの光に対して、高い感度を持つ分光感度特性ＳＰ（Ｇ）を有する高感度画素Ｐｈと、低い感度を持つ分光感度特性ＳＰ（Ｒ）、ＳＰ（Ｂ）を有する低感度画素Ｐｌとを備える。したがって、半田Ｂの表面うち、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）は、低感度画素Ｐｌにより適切な画素値Ｖに変換でき、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）は、高感度画素Ｐｈにより適切な画素値Ｖに変換できる。つまり、高反射領域Ａｈおよび低感度画素Ｐｌで反射されたパターン光Ｌ（Ｓ）の両方を、適切な画素値Ｖに変換できる。こうして、高反射領域Ａｈと低感度画素Ｐｌとが半田Ｂに混在する場合であっても、両領域Ａｈ、Ａｌについて正確な画素値Ｖを取得することが可能となっている。
　また、高感度画素Ｐｈと低感度画素Ｐｌとが交互に配列されている。かかる構成では、高感度画素Ｐｈと低感度画素Ｐｌとが互いに隣接しつつ均一に配置されるため、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）を高感度画素Ｐｈで的確に捉えつつ、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）を低感度画素Ｐｌで的確に捉えることができる。その結果、高反射領域Ａｈと低感度画素Ｐｌとが半田Ｂに混在する場合であっても、両領域Ａｈ、Ａｌについて正確な画素値Ｖを取得することが可能となる。
　また、高感度画素Ｐｈと低感度画素Ｐｌとが同じ比率で含まれている。かかる構成では、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）と、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）の一方に偏ることなく、これらを適切な画素値Ｖに変換することができる。その結果、高反射領域Ａｈと低感度画素Ｐｌとが半田Ｂに混在する場合であっても、両領域Ａｈ、Ａｌについて正確な画素値Ｖを取得することが可能となる。
　また、波長λｇは、緑色の波長であり、複数の画素Ｐｘは、ベイヤー配列により配列されている。そして、複数の高感度画素Ｐｈのそれぞれは、ベイヤー配列における緑色の画素Ｐｘであり、複数の低感度画素Ｐｌは、ベイヤー配列における青色の画素Ｐｘと赤色の画素Ｐｘとを同数ずつ含む。かかる構成では、緑色の高感度画素Ｐｈと赤色あるいは青色の低感度画素Ｐｌとが互いに隣接しつつ均一に配置されるため、低反射領域Ａｌで反射されたパターン光Ｌ（Ｓ）を高感度画素Ｐｈで的確に捉えつつ、高反射領域Ａｈで反射されたパターン光Ｌ（Ｓ）を低感度画素Ｐｌで的確に捉えることができる。その結果、高反射領域Ａｈと低感度画素Ｐｌとが半田Ｂに混在する場合であっても、両領域Ａｈ、Ａｌについて正確な画素値Ｖを取得することが可能となる。
　なお、高反射領域Ａｈで反射されて高感度画素Ｐｈに入射したパターン光Ｌ（Ｓ）や、低反射領域Ａｌで反射されて低感度画素Ｐｌに入射したパターン光Ｌ（Ｓ）を変換した画素値Ｖは、不適切である可能性が高い。そこで、主制御部１１０は、画素Ｐｘから出力される画素値Ｖが適切か否かを画素値Ｖに基づき判定する判定処理（ステップＳ２０３）を複数の画素Ｐｘのそれぞれについて実行する。そして、判定処理（ステップＳ２０３）での判定結果に基づき形状算出が実行される（ステップＳ２０５）。かかる構成では、不適切な画素値Ｖの影響を抑えつつ適切な画素値Ｖを用いて形状算出を実行できる（ステップＳ１０２、Ｓ２０５）。そのため、高反射領域Ａｈと低感度画素Ｐｌとが半田Ｂに混在する場合であっても、半田Ｂの三次元形状Ｂｓを正確に算出することが可能となる。
　また、主制御部１１０は、判定処理（ステップＳ２０３）で半田Ｂが不適切と判定された高感度画素Ｐｈに対して、当該高感度画素Ｐｈから配列ピッチΔＰの範囲内に位置する低感度画素Ｐｌの画素値Ｖによる補間を実行し、あるいは判定処理（ステップＳ２０３）で画素値Ｖが不適切と判定された低感度画素Ｐｌに対して、当該低感度画素Ｐｌから配列ピッチΔＰの範囲内に位置する高感度画素Ｐｈの画素値Ｖによる補間を実行した結果に基づき形状算出（ステップＳ１０２、Ｓ２０５）を実行する。かかる構成では、判定処理（ステップＳ２０３）で不適切と判定された不適画素Ｐｘの画素値Ｖを当該不適画素Ｐｘから配列ピッチΔＰの範囲内に位置する画素Ｐｘの画素値Ｖにより補間し、その結果に基づき形状算出（ステップＳ１０２、Ｓ２０５）を実行できる。したがって、高反射領域Ａｈと低反射領域Ａｌとが半田Ｂに混在する場合であっても、半田Ｂの三次元形状Ｂｓを正確に算出することが可能となる。
　また、プロジェクター３２は、波長λｇを有して、互いに異なる位相を有する４つの投影パターンＴ（Ｓ）のパターン光Ｌ（Ｓ）を半田Ｂに照射する。そして、主制御部１１０は、位相シフト法によって形状算出を実行する（ステップＳ１０２、Ｓ２０５）。かかる構成では、高反射領域Ａｈと低反射領域Ａｌとが半田Ｂに混在する場合であっても、半田Ｂの三次元形状Ｂｓを位相シフト法によって適切に算出することが可能となる。
　このように本実施形態では、外観検査装置１が本発明の「三次元計測装置」の一例に相当し、プロジェクター３２が本発明の「プロジェクター」の一例に相当し、撮像カメラ３１が本発明の「撮像カメラ」の一例に相当し、制御装置１００が本発明の「制御部」の一例に相当し、パターン光Ｌ（Ｓ）が本発明の「光」の一例の相当し、投影パターンＴ（Ｓ）が本発明の「縞パターン」の一例に相当し、波長λｇが本発明の「所定波長」の一例に相当し、半田Ｂが本発明の「対象物」の一例に相当し、三次元形状Ｂｓが本発明の「三次元形状」の一例に相当し、画素Ｐｘが本発明の「画素」の一例に相当し、高感度画素Ｐｈが本発明の「高感度画素」の一例に相当し、低感度画素Ｐｌが本発明の「低感度画素」の一例に相当し、配列ピッチΔＰが本発明の「所定範囲」の一例に相当し、分光感度特性ＳＰ（Ｒ）、ＳＰ（Ｂ）、ＳＰ（Ｇ）が本発明の「分光感度特性」の一例に相当し、画素値Ｖが本発明の「画素値」の一例に相当し、ステップＳ２０３が本発明の「判定処理」の一例に相当する。
　なお、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したものに対して種々の変更を加えることが可能である。例えば、複数の画素Ｐｘをベイヤー配列に従って配列する必要は必ずしもない。例えば、青（Ｂ）の画素Ｐｘに代えて赤（Ｒ）の画素Ｐｘを配置しても良い。この場合、プロジェクター３２から赤（Ｒ）の波長のパターン光Ｌ（Ｓ）を投影しても良い。あるいは、赤（Ｒ）の画素Ｐｘに代えて青（Ｂ）の画素Ｐｘを配置しても良い。この場合、プロジェクター３２から青（Ｇ）の波長のパターン光Ｌ（Ｓ）を投影しても良い。
　また、高感度画素Ｐｈと低感度画素Ｐｌとの個数の比率や、配列パターン等も適宜変更できる。
　また、上記のステップＳ２０４において補間の可否を判断する具体的手法は上記の例に限られない。つまり、不適画素を挟んでＸ方向に並ぶ２個の画素Ｐｘのペアおよび不適画素を挟んでＹ方向に並ぶ２個の画素Ｐｘのペアのうち、いずれか一方のペアを構成する２個の画素Ｐｘの信頼度が閾値以上、すなわち有効であれば、補間可能と判断しても良い。かかる例では、ステップＳ２０５の補間演算を次のように行えば良い。つまり、信頼度が有効なペアが１組のみの場合には、当該ペアを構成する２個の画素Ｐｘの画素値Ｖの平均値により、不適画素の画素値Ｖが補間される。また、信頼度が有効なペアが２組ある場合には、これら２組のペアのうち、ペアを構成する２個の画素Ｐｘの画素値Ｖの差（輝度差）の絶対値が小さい方のペアを構成する２個の画素Ｐｘの画素値Ｖの平均値により、不適画素の画素値Ｖが補間される。図８は不適画素の補間の一例を示す図である。図８に示すように、不適画素Ｐｘｎを挟む２個の画素Ｐｘｇの画素値Ｖｇの平均値によって、不適画素Ｐｘｎの画素値Ｖｎを補間できる（線形補間）。これらの手法によれば、不適画素が高反射領域Ａｈと低反射領域Ａｌの境界に位置する場合であっても、補間された画素値Ｖの誤差を抑えることができる。ただし、補間演算は、ここで例示した線形補間に限られず、他の周知の補間方法を用いて実行できる点は、上述と同様である。
　また、上記の例では、パターン光Ｌ（Ｓ）を撮像した撮像画像Ｉ（Ｓ）の画素Ｐｘの画素値Ｖに対して補間を実行している。しかしながら、４つの撮像画像Ｉ（Ｓ）の画素値Ｖ０～Ｖ３から算出される各画素Ｐｘの角度θに対して補間を実行しても良い。あるいは、この角度θから算出される各画素Ｐｘの高さに対して補間を実行しても良い。こうして、閾値以上の信頼度を有する画素値Ｖに基づき不適画素を補間しつつ、半田Ｂの三次元形状を算出することができる。
　また、信頼度の算出方法は、上記の例に限られない。例えば、特開２０１４－１１９４４２号公報あるいは特許第３９９６５６０号公報に記載の方法によって信頼度を算出しても良い。
　また、三次元計測の対象物は、半田Ｂに限られない。
　１…外観検査装置（三次元計測装置）
　３１…撮像カメラ
　３２…プロジェクター
　１００…制御装置（制御部）
　Ｂ…半田（対象物）
　Ｂｓ…三次元形状
　Ｌ（Ｓ）…パターン光（光）
　Ｐｘ…画素
　Ｐｈ…高感度画素
　Ｐｌ…低感度画素
　ΔＰ…配列ピッチ（所定範囲）
　ＳＰ（Ｒ）、ＳＰ（Ｂ）、ＳＰ（Ｇ）…分光感度特性
　Ｔ（Ｓ）…投影パターン（縞パターン）
　Ｖ…画素値
　λｇ…緑色の波長（所定波長）
　Ｓ２０３…判定処理

Claims (8)

  1. 　所定波長の光を対象物に照射するプロジェクターと、
    　前記対象物で反射された光が入射する複数の画素を有し、前記複数の画素のそれぞれは入射した光の強度に応じた画素値を出力する撮像カメラと、
    　前記画素値に基づき前記対象物の三次元形状の形状算出を実行する制御部と
    を備え、
    　前記複数の画素は、複数の高感度画素と、前記高感度画素が有する分光感度特性と比較して前記所定波長の入力に対する出力の比が低い分光感度特性を有する複数の低感度画素とを含む三次元計測装置。
  2. 　前記高感度画素と前記低感度画素とが交互に配列されている請求項１に記載の三次元計測装置。
  3. 　前記複数の画素は、前記高感度画素と前記低感度画素とを同じ比率で含む請求項２に記載の三次元計測装置。
  4. 　前記所定波長は、緑色の波長であり、
    　前記複数の画素は、赤色、緑色および青色を所定のパターンで配列したベイヤー配列により配列され、
    　前記複数の高感度画素のそれぞれは、ベイヤー配列における緑色の画素であり、
    　前記複数の低感度画素は、ベイヤー配列における青色の画素と赤色の画素とを同数ずつ含む請求項３に記載の三次元計測装置。
  5. 　前記制御部は、前記画素から出力される前記画素値が適切か否かを前記画素値に基づき判定する判定処理を前記複数の画素のそれぞれについて実行し、前記判定処理での判定結果に基づき前記形状算出を実行する請求項１ないし４のいずれか一項に記載の三次元計測装置。
  6. 　前記制御部は、前記判定処理で前記画素値が不適切と判定された前記高感度画素に対して、当該高感度画素から所定範囲内に位置する前記低感度画素の前記画素値による補間を実行し、あるいは前記判定処理で前記画素値が不適切と判定された前記低感度画素に対して、当該低感度画素から前記所定範囲内に位置する前記高感度画素の前記画素値による補間を実行した結果に基づき前記形状算出を実行する請求項５に記載の三次元計測装置。
  7. 　前記プロジェクターは、前記所定波長を有して、互いに異なる位相を有する複数の縞パターンの光を前記対象物に照射し、
    　前記制御部は、位相シフト法によって前記形状算出を実行する請求項１ないし６のいずれか一項に記載の三次元計測装置。
  8. 　所定波長の光を対象物に照射する工程と、
    　前記対象物で反射された光を複数の画素に入射させ、前記複数の画素が入射した光の強度に応じた画素値を出力する工程と、
    　前記画素値に基づき前記対象物の三次元形状の形状算出を実行する工程と
    を備え、
    　前記複数の画素は、複数の高感度画素と、前記高感度画素が有する分光感度特性と比較して前記所定波長の入力に対する出力の比が低い分光感度特性を有する複数の低感度画素とを含む三次元計測方法。
PCT/JP2018/031331 2018-08-24 2018-08-24 三次元計測装置、三次元計測方法 WO2020039575A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201880096669.1A CN112567199B (zh) 2018-08-24 2018-08-24 三维测量装置、三维测量方法
PCT/JP2018/031331 WO2020039575A1 (ja) 2018-08-24 2018-08-24 三次元計測装置、三次元計測方法
KR1020217004969A KR102513710B1 (ko) 2018-08-24 2018-08-24 3차원 계측 장치, 3차원 계측 방법
JP2020537988A JP7051260B2 (ja) 2018-08-24 2018-08-24 三次元計測装置、三次元計測方法
DE112018007930.9T DE112018007930T5 (de) 2018-08-24 2018-08-24 Vorrichtung zur dreidimensionalen Messung, Verfahren zur dreidimensionalen Messung
US17/270,840 US11796308B2 (en) 2018-08-24 2018-08-24 Three-dimensional measuring apparatus, three-dimensional measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/031331 WO2020039575A1 (ja) 2018-08-24 2018-08-24 三次元計測装置、三次元計測方法

Publications (1)

Publication Number Publication Date
WO2020039575A1 true WO2020039575A1 (ja) 2020-02-27

Family

ID=69592824

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/031331 WO2020039575A1 (ja) 2018-08-24 2018-08-24 三次元計測装置、三次元計測方法

Country Status (6)

Country Link
US (1) US11796308B2 (ja)
JP (1) JP7051260B2 (ja)
KR (1) KR102513710B1 (ja)
CN (1) CN112567199B (ja)
DE (1) DE112018007930T5 (ja)
WO (1) WO2020039575A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024062809A1 (ja) * 2022-09-21 2024-03-28 ソニーセミコンダクタソリューションズ株式会社 光検出装置、および光検出システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3134448B1 (fr) * 2022-04-11 2024-04-12 Insidix Procédé de mesure topographique et machine de mesure topographique

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003014422A (ja) * 2002-05-10 2003-01-15 Matsushita Electric Ind Co Ltd 実時間レンジファインダ
JP2006162386A (ja) * 2004-12-06 2006-06-22 Canon Inc ３次元モデル生成装置、３次元モデル生成システム及び３次元モデル生成プログラム
WO2016136085A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
JP2017173259A (ja) * 2016-03-25 2017-09-28 キヤノン株式会社 計測装置、システム及び物品の製造方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3414624B2 (ja) * 1997-09-16 2003-06-09 松下電器産業株式会社 実時間レンジファインダ
JP4256059B2 (ja) 2000-10-04 2009-04-22 シーケーディ株式会社 三次元計測装置
JP3996560B2 (ja) 2003-08-18 2007-10-24 株式会社リコー 物体形状測定装置
JP2009031150A (ja) * 2007-07-27 2009-02-12 Omron Corp 三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体
JP2009085739A (ja) * 2007-09-28 2009-04-23 Sunx Ltd 形状測定装置、形状測定方法
JP5765651B2 (ja) * 2011-02-01 2015-08-19 Ｊｕｋｉオートメーションシステムズ株式会社 ３次元測定装置
JP6238521B2 (ja) 2012-12-19 2017-11-29 キヤノン株式会社 ３次元計測装置およびその制御方法
JP6331308B2 (ja) 2013-09-26 2018-05-30 株式会社ニコン 形状測定装置、構造物製造システム及び形状測定用コンピュータプログラム
JP6364777B2 (ja) * 2014-01-10 2018-08-01 凸版印刷株式会社 画像データ取得システム及び画像データ取得方法
EP4194801A1 (en) * 2015-02-24 2023-06-14 The University of Tokyo Dynamic high-speed high-sensitivity imaging device and imaging method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003014422A (ja) * 2002-05-10 2003-01-15 Matsushita Electric Ind Co Ltd 実時間レンジファインダ
JP2006162386A (ja) * 2004-12-06 2006-06-22 Canon Inc ３次元モデル生成装置、３次元モデル生成システム及び３次元モデル生成プログラム
WO2016136085A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
JP2017173259A (ja) * 2016-03-25 2017-09-28 キヤノン株式会社 計測装置、システム及び物品の製造方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024062809A1 (ja) * 2022-09-21 2024-03-28 ソニーセミコンダクタソリューションズ株式会社 光検出装置、および光検出システム

Also Published As

Publication number Publication date
US11796308B2 (en) 2023-10-24
CN112567199B (zh) 2022-11-08
KR20210031967A (ko) 2021-03-23
JP7051260B2 (ja) 2022-04-11
DE112018007930T5 (de) 2021-05-06
JPWO2020039575A1 (ja) 2021-09-16
CN112567199A (zh) 2021-03-26
US20210310791A1 (en) 2021-10-07
KR102513710B1 (ko) 2023-03-24

Similar Documents

Publication Publication Date Title
US8199335B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
JP5576726B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム
JP5162702B2 (ja) 表面形状測定装置
JP5443303B2 (ja) 外観検査装置及び外観検査方法
TWI582383B (zh) 三維測量裝置
KR20160007361A (ko) 투영광원을 구비한 촬영방법 및 그 촬영장치
JP6322335B2 (ja) 外観検査装置
US9243899B2 (en) Method of measuring a height of 3-dimensional shape measurement apparatus
JP2015045587A (ja) 三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
US20140160243A1 (en) Three-dimensional shape measuring apparatus and control method thereof
TWI580926B (zh) Three - dimensional measuring device
JP2014219404A (ja) 数波長で同時に面の三次元測定を行う装置及び方法
WO2020039575A1 (ja) 三次元計測装置、三次元計測方法
JP2009180689A (ja) 三次元形状測定装置
JP2006227652A (ja) フィルタ格子縞板、三次元計測装置及び照明手段
KR102122275B1 (ko) 배광 특성 측정 장치 및 배광 특성 측정 방법
KR101750883B1 (ko) 비전 검사 시스템의 3차원 형상 측정 방법
US11017543B2 (en) Inspection device
TW202113344A (zh) 外觀檢查裝置及其校正方法、及電腦可讀取的記錄媒體
TWI580927B (zh) Three - dimensional measuring device and three - dimensional measurement method
JP7074400B2 (ja) 光学測定装置
WO2023170814A1 (ja) 三次元計測用演算装置、三次元計測用プログラム、記録媒体、三次元計測装置および三次元計測用演算方法
JP2022112379A (ja) 検査システム及び検査方法
JP2020128933A (ja) 検査装置
JP2022070696A (ja) 三次元形状計測方法および三次元形状計測装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18930522

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020537988

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20217004969

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18930522

Country of ref document: EP

Kind code of ref document: A1