WO2024004204A1 - 基板外観検査装置および基板外観検査方法 - Google Patents

基板外観検査装置および基板外観検査方法 Download PDF

Info

Publication number
WO2024004204A1
WO2024004204A1 PCT/JP2022/026476 JP2022026476W WO2024004204A1 WO 2024004204 A1 WO2024004204 A1 WO 2024004204A1 JP 2022026476 W JP2022026476 W JP 2022026476W WO 2024004204 A1 WO2024004204 A1 WO 2024004204A1
Authority
WO
WIPO (PCT)
Prior art keywords
height
restoration
image
component
appearance inspection
Prior art date
Application number
PCT/JP2022/026476
Other languages
English (en)
French (fr)
Inventor
良樹 草次
Original Assignee
ヤマハ発動機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ発動機株式会社 filed Critical ヤマハ発動機株式会社
Priority to JP2024530260A priority Critical patent/JPWO2024004204A1/ja
Priority to KR1020247033342A priority patent/KR20240160181A/ko
Priority to CN202280096602.4A priority patent/CN119318215A/zh
Priority to PCT/JP2022/026476 priority patent/WO2024004204A1/ja
Publication of WO2024004204A1 publication Critical patent/WO2024004204A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages

Definitions

  • a board appearance inspection device that inspects the appearance of a board on which parts are mounted
  • processing is performed to recognize predetermined information such as characters attached to the part from a two-dimensional image obtained by capturing an image of the part with a camera. is executed.
  • predetermined information such as characters attached to the part from a two-dimensional image obtained by capturing an image of the part with a camera.
  • high-resolution cameras have been used to reliably recognize predetermined information while responding to miniaturization of components.
  • the depth of field of a high-resolution camera is generally shallow, the height of the component may cause the component to deviate from the depth of field, resulting in blurred images.
  • Patent Document 1 discloses a technique for correcting image blur through arithmetic processing. Specifically, image blur that occurs in the two-dimensional image is corrected by performing restoration processing using a Wiener filter on the two-dimensional image.
  • restoration processing performs calculations to correct the blur of an image whose size is estimated based on the height of the part to be inspected (in other words, the distance between the camera and the part). Therefore, in order to reliably correct image blur, it is necessary to perform restoration processing while accurately reflecting the height of the inspection object.
  • the height of the components varies due to various factors such as individual differences between the components, the mounting state of the components on the board, and warpage of the board. In situations where such variations in the height of components occur, the above-described restoration process does not necessarily function effectively, making it difficult to reliably correct image blur.
  • the restoration processing unit calculates a parameter indicating the size of the image blur based on the height information, and executes a calculation to correct the image blur based on the parameter to perform the restoration process.
  • An inspection device may also be configured. By using such parameters, the restoration process can be performed while accurately reflecting the height of the object to be inspected. As a result, it is possible to reliably correct image blur that occurs in a two-dimensional image of the inspection object, regardless of variations in the height of the inspection object, such as components provided on a board.
  • the parameter may be the standard deviation of a Gaussian function, which is a point spread function.
  • the restoration processing unit may configure the board appearance inspection apparatus so that the parameter is determined based on the height information using relationship definition information that defines the relationship between the height information and the parameter.
  • relationship definition information that defines the relationship between the height information and the parameter.
  • the board appearance inspection apparatus may be configured to further include a calibration section that obtains related regulation information based on the results of multiple imaging operations performed by the imaging camera while changing the height of the object to be imaged by the imaging camera. good.
  • appropriate relationship regulation information can be obtained based on the result of actually measuring the relationship between the magnitude of image blur that occurs when the imaging camera captures an image of the imaging target and the height of the imaging target.
  • the calibration unit may change the height of the imaging target by changing one measurement region selected as the imaging target among a plurality of measurement regions having different heights from each other. may be configured.
  • the calibration unit may configure the board appearance inspection apparatus to change the height of the imaging target by moving one measurement region, which is the imaging target, in the vertical direction.
  • the restoration necessity determination unit determines that the restoration process is not necessary, and if the height of the inspection target indicated by the height information is within the predetermined range.
  • the board appearance inspection apparatus may be configured to determine that the restoration process is necessary if it is outside the range.
  • it further includes a recognition processing unit that executes recognition processing to recognize predetermined information included in the inspection target based on the two-dimensional image, and the restoration necessity determination unit determines that the restoration processing is unnecessary when the recognition processing is successful.
  • the board appearance inspection apparatus may be configured to determine that the restoration process is necessary if the recognition process fails.
  • the height information indicating the height of the inspection object such as a component is acquired based on, for example, the surface of the board (the surface on which the inspection object is placed).
  • the height information includes the effects of warpage of the substrate and variations in the holding position of the substrate, and it may not be possible to accurately correct image blur.
  • the height information acquisition unit sets a reference plane indicating the position of the board, and determines the height based on the height of the inspection object with respect to the reference plane and a reference offset indicating the deviation between the focal point position of the imaging camera and the reference plane.
  • the board appearance inspection apparatus may be configured to acquire the information. By using the height information acquired in this way, it is possible to acquire the height information and accurately correct image blur, regardless of the effects of warpage of the substrate or variations in the holding position of the substrate.
  • the height information acquisition unit may configure the board appearance inspection apparatus to set a plurality of reference points on the board and set a reference plane based on the height of each of the plurality of reference points. .
  • the present invention it is possible to reliably correct image blur that occurs in a two-dimensional image of an inspection object, regardless of variations in the height of the inspection object such as a component provided on a board.
  • FIG. 1 is a block diagram schematically illustrating an appearance inspection machine.
  • FIG. 2 is a perspective view schematically showing an example of a component targeted for character recognition processing.
  • FIG. 2B is a plan view of the component shown in FIG. 2A.
  • 2 is a flowchart showing a first example of character recognition processing executed by the appearance inspection machine.
  • FIG. 3 is a diagram schematically showing an example of how component height is obtained.
  • FIG. 4 is a block diagram illustrating an example of an image restoration circuit built in a calculation unit in the character recognition process of FIG. 3; 6 is a graph showing the correlation between component height and image blur, which is assumed by the image restoration circuit of FIG. 5;
  • FIG. 6 is a diagram showing an example of a lookup table used in the image restoration circuit of FIG. 5.
  • FIG. 5 is a block diagram schematically illustrating an appearance inspection machine.
  • FIG. 2 is a perspective view schematically showing an example of a component targeted for character recognition processing.
  • FIG. 2B is a plan
  • FIG. 7 is a flowchart showing a second example of character recognition processing executed by the appearance inspection machine.
  • 5 is a flowchart illustrating an example of a method for measuring the correlation between the height of an imaging target and the magnitude of blur in an image.
  • FIG. 10 is a side view schematically showing an example of the operation performed in the flowchart of FIG. 9; 10 is a side view schematically showing another example of the operation performed in the flowchart of FIG. 9.
  • FIG. 1 is a block diagram schematically illustrating an appearance inspection machine.
  • the appearance inspection machine 1 in FIG. 1 includes a conveyor 2, an inspection head 3, a drive mechanism 4, and a control section 5.
  • a component 7 is mounted on the surface 61 of the board 6, and the component 7 is particularly targeted for inspection.
  • This component 7 is, for example, an electronic component such as a chip capacitor, a chip resistor, or an LSI (Large-Scale Integration).
  • the conveyor 2 conveys the substrate 6 along a predetermined conveyance path. Specifically, the conveyor 2 carries the substrate 6 before inspection to the inspection position in the visual inspection machine 1, and holds the substrate 6 horizontally at the inspection position. In this way, the board 6 is fixed with the surface 61 of the board 6 on which the component 7 is mounted facing upward. Further, when the inspection of the component 7 mounted on the board 6 is completed, the conveyor 2 carries the inspected board 6 out of the appearance inspection machine 1 from the inspection position.
  • the inspection head 3 has an imaging camera 31 placed above the inspection position.
  • the optical axis of the imaging camera 31 is parallel to the Z direction, and the imaging camera 31 faces the surface 61 of the substrate 6 held horizontally at the inspection position by the transport conveyor 2 from above.
  • This imaging camera 31 has an imaging field of view V, and can image a range within the imaging field of view V of the substrate 6.
  • the inspection head 3 also includes a projector 32 that projects striped pattern light whose light intensity distribution changes in a sinusoidal manner onto the imaging field of view V.
  • the projector 32 includes a light source such as an LED, and a digital micromirror device that reflects light from the light source toward the imaging field of view V.
  • the projector 32 can project a plurality of patterns of light having mutually different phases onto the imaging field of view V by adjusting the angle of each micromirror of the digital micromirror device.
  • the inspection head 3 has a lighting 33 that irradiates the imaging field of view V with illumination light.
  • the illumination 33 includes, for example, R (red), G (green), and B (blue) LEDs (Light-Emitting Diodes), and irradiates the imaging field of view V with white illumination light from above.
  • the drive mechanism 4 supports the inspection head 3 and drives the inspection head 3 in the horizontal directions X, Y and vertical direction Z using a motor. By driving the drive mechanism 4, the inspection head 3 is moved above the substrate 6 at the inspection position, and a part of the substrate 6 can be captured in the imaging field of view V.
  • the control section 5 has a calculation section 51 and a storage section 52.
  • the calculation unit 51 is, for example, a processor such as a CPU (Central Processing Unit), and the storage unit 52 is a storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive). Then, the inspection is executed by the calculation unit 51 controlling the visual inspection machine 1 .
  • the control section 5 includes an imaging control section 53 that controls the imaging camera 31, a projection control section 54 that controls the projector 32, an illumination control section 55 that controls the illumination 33, and a drive control section 56 that controls the drive mechanism 4.
  • the calculation unit 51 controls the drive mechanism 4 using the drive control unit 56 to drive the inspection head 3, thereby checking the number of components 7 mounted on the board 6.
  • the inspection head 3 is opposed to the component 7 to be inspected.
  • the inspection range Ri including the component 7 and a part of the surface 61 of the substrate 6 around the component 7 falls within the imaging field of view V of the imaging camera 31.
  • the calculation unit 51 controls the projector 32 by the projection control unit 54 to project pattern light from the projector 32 onto the imaging field of view V, and controls the imaging camera 31 by the imaging control unit 53 to project the pattern light from the projector 32 to the imaging field of view V. is imaged by the imaging camera 31 (pattern imaging operation). As a result, the pattern light projected onto the imaging field of view V is imaged.
  • the calculation unit 51 repeats the pattern imaging operation while changing the phase of the pattern light, thereby acquiring a distance image Id showing the three-dimensional shape of the inspection range Ri using a phase shift method (distance image acquisition operation).
  • This distance image Id indicates the distance from the imaging camera 31 to the inspection range Ri (the component 7 and the surface 61 of the board 6), in other words, the height of the component 7.
  • This distance image Id is acquired for all components 7 mounted on the board 6. The distance image Id thus obtained is stored in the storage unit 52.
  • the calculation unit 51 controls the illumination 33 by the illumination control unit 55, thereby emitting illumination light from the illumination 33 to the imaging visual field V.
  • the imaging field of view V is imaged by the imaging camera 31 (two-dimensional image imaging operation).
  • Ri component 7 and the surface 61 of the board 6
  • This two-dimensional image It is captured for all components 7 mounted on the board 6.
  • the two-dimensional image It thus obtained is stored in the storage unit 52.
  • FIG. 2A is a perspective view schematically showing an example of a component targeted for character recognition processing
  • FIG. 2B is a plan view of the component shown in FIG. 2A.
  • the component 7 mounted on the front surface 61 of the substrate 6 has an upper surface 71 facing upward in the Z direction.
  • This upper surface 71 is located above the surface 61 of the substrate 6 by the thickness 72 of the component 7 .
  • the letter C as exemplified by "ABCD" is attached.
  • the appearance inspection machine 1 recognizes this character C based on the two-dimensional image It of the upper surface 71 of the component 7 (character recognition process).
  • FIG. 3 is a flowchart showing a first example of character recognition processing executed by the appearance inspection machine.
  • the flowchart in FIG. 3 is executed under the control of the calculation unit 51.
  • the conveyor 2 carries the substrate 6 to the inspection position.
  • an inspection range Ri(N) is set for each of the plurality of components 7 mounted on the board 6.
  • Information indicating the range to be inspected Ri(N) is, for example, created in advance by an operator and stored in the storage unit 52.
  • step S102 the variable N for identifying this inspection range Ri(N) is reset to zero, and in step S103, the variable N is incremented by one.
  • the calculation unit 51 drives the imaging camera 31 by controlling the drive mechanism 4 using the drive control unit 56, and causes the imaging camera 31 to face the inspection range Ri(N) from above (step S104). As a result, the inspection range Ri(N) falls within the imaging field of view V of the imaging camera 31.
  • step S105 the calculation unit 51 executes the above-described distance image acquisition operation to acquire a distance image Id indicating the three-dimensional shape of the inspection range Ri, and stores it in the storage unit 52. Further, in step S106, the calculation unit 51 acquires the two-dimensional image It of the inspection range Ri by executing the above-described two-dimensional image capturing operation, and stores it in the storage unit 52. Note that the order of execution of steps S105 and S106 is not limited to this example, and may be reversed from this example.
  • step S107 the calculation unit 51 obtains the height of the upper surface 71 of the component 7 indicated by the distance image Id as the component height H7 (FIG. 4).
  • FIG. 4 is a diagram schematically showing an example of the acquisition mode of component height.
  • the distance image Id acquired in step S105 indicates the measured distance D7 from the camera position L31 corresponding to the position of the imaging camera 31 to the upper surface 71 of the component 7.
  • the calculation unit 51 calculates the component height H7 from the distance image Id with reference to the focal position Lf where the focal point of the imaging camera 31 exists.
  • the difference between the reference distance Df from the camera position L31 to the focal position Lf and the actually measured distance D7 from the imaging camera 31 to the upper surface 71 of the component 7 is acquired as the component height H7.
  • This reference distance Df is measured in advance when the visual inspection machine 1 is shipped from the factory, and is stored in the storage unit 52.
  • the focal position Lf is adjusted to the design value of the substrate support position L61, which is the position of the surface 61 of the substrate 6 supported at the inspection position.
  • the focal point Lf may deviate from the substrate support position L61, as shown in FIG.
  • step S108 the calculation unit 51 determines whether the component height H7 is equal to or less than the threshold height Ht. If the component height H7 is less than or equal to the threshold height Ht ("YES" in step S108), it can be estimated that the blur generated in the image of the upper surface 71 of the component 7 shown in the two-dimensional image It is small. Therefore, in step S109, the calculation unit 51 recognizes the character C attached to the upper surface 71 of the component 7 based on the two-dimensional image It (character recognition process). Then, the process advances to step S113.
  • the calculation unit 51 executes steps S110 and S111 using the image restoration circuit 511 shown in FIG.
  • FIG. 5 is a block diagram showing an example of an image restoration circuit built in the calculation unit in the character recognition process shown in FIG. 6B is a diagram illustrating the relationship graphically, and FIG. 6B is a diagram illustrating an example of a lookup table used in the image restoration circuit of FIG. 5.
  • FIG. 5 is a block diagram showing an example of an image restoration circuit built in the calculation unit in the character recognition process shown in FIG. 6B is a diagram illustrating the relationship graphically
  • FIG. 6B is a diagram illustrating an example of a lookup table used in the image restoration circuit of FIG. 5.
  • an image restoration circuit 511 having a ⁇ acquisition section 512 and a Wiener filter section 513 is constructed in the calculation section 51.
  • This image restoration circuit 511 uses a defocus model in which light emitted from a point light source on the top surface 71 of the component 7 spreads in a Gaussian distribution and appears in the two-dimensional image It when the top surface 71 of the component 7 deviates from the focal position Lf. Assuming that. In other words, the point spread function is approximated by a Gaussian function.
  • FIG. 6A there is a correlation between the component height H7 and the standard deviation ⁇ of the Gaussian distribution such that the higher the component height H7 is, the larger the standard deviation ⁇ becomes.
  • the look-up table T in FIG. 6B shows the correspondence between the component height and the standard deviation ⁇ , and is stored in the storage unit 52 in advance.
  • the ⁇ acquisition unit 512 calculates the standard deviation ⁇ based on the lookup table T from the component height H7 acquired in step S107 (step S110). Then, the Wiener filter unit 513 performs Wiener filter processing on the two-dimensional image It using the point spread function approximated by the Gaussian function having the standard deviation ⁇ acquired by the ⁇ acquisition unit 512 (step S111). As a result, the image blur that had occurred on the top surface 71 of the component 7 in the two-dimensional image It is corrected, and a restored image Ir in which the letter C attached to the top surface 71 is made clear is generated. In step S112, the calculation unit 51 executes a character recognition process to recognize the character C based on the restored image Ir. Then, the process advances to step S113.
  • step S113 it is determined whether the variable N has reached the value Nx.
  • the value Nx is the number of inspection ranges Ri (N) set for the substrate 6. If the variable N has not reached the value Nx ("NO" in step S113), the process returns to step S103. In this way, steps S104 to S112 are repeated for all inspection ranges Ri(N).
  • the component height H7 (height information) indicating the height of the component 7 (inspection target) is acquired (steps S105, S107).
  • the restoration process the image blur that occurs in the two-dimensional image It due to the component height H7 is corrected using the component height H7 (step S111).
  • the restoration process can be performed while accurately reflecting the component height H7.
  • the image restoration circuit 511 (restoration processing unit) also calculates a standard deviation ⁇ (parameter) indicating the magnitude of image blur based on the component height H7, and performs a calculation to correct the image blur based on the standard deviation ⁇ . By executing this, the restoration process is executed (steps S110 and S111). By using such standard deviation ⁇ , the restoration process can be performed while accurately reflecting the component height H7 of the component 7. As a result, it is possible to reliably correct image blur that occurs in the two-dimensional image It of the component 7, regardless of variations in component height H7 of the component 7 provided on the substrate 6.
  • the calculation unit 51 determines whether the restoration process (step S111) is necessary for the two-dimensional image It (step S108). Then, if it is determined that the restoration process is necessary ("NO” in step S108), the image restoration circuit 511 executes the restoration process on the two-dimensional image It (step S111), and determines that the restoration process is unnecessary. If it is determined (“YES” in step S108), the restoration process is not performed on the two-dimensional image It. With such a configuration, it is possible to suppress unnecessary execution of the restoration process on the two-dimensional image It in which image blur does not occur.
  • the calculation unit 51 determines that the restoration process is unnecessary when the component height H7 is less than or equal to the threshold height Ht (predetermined range), and when the component height H7 is greater than the threshold height Ht, It is determined that restoration processing is necessary (step S108). Therefore, based on the result of actually measuring the component height H7 of the component 7, it is possible to accurately determine whether or not restoration processing is necessary.
  • the component height H7 of the component 7 is obtained based on, for example, the surface 61 of the board 6 (the surface on which the component 7 is mounted).
  • the component height H7 includes the effects of warpage of the board 6 and variations in the holding position of the board 6, and there is a possibility that image blur cannot be corrected accurately.
  • the calculation unit 51 acquires the component height H7 based on the actually measured distance D7 from the imaging camera 31 to the component 7 and the focal position Lf of the imaging camera 31 (step S107).
  • the component height H7 can be acquired and image blur can be accurately corrected, regardless of the effects of warpage of the board 6 or variations in the holding position of the board 6. be able to.
  • the component height indicated by the look-up table T is similarly based on the focal point position Lf.
  • FIG. 7 is a flowchart showing a second example of character recognition processing executed by the visual inspection machine.
  • the flowchart in FIG. 7 is executed under the control of the calculation unit 51.
  • Steps S201 to S204 are executed in the same manner as steps S101 to S104 in the first example.
  • the imaging camera 31 faces the inspection range Ri(N) from above, and the inspection range Ri(N) falls within the imaging field of view V of the imaging camera 31.
  • step S205 the calculation unit 51 acquires the two-dimensional image It of the inspection range Ri by executing the two-dimensional image capturing operation described above, and stores it in the storage unit 52.
  • step S206 the calculation unit 51 attempts a character recognition process to recognize the character C attached to the upper surface 71 of the component 7 based on the two-dimensional image It.
  • step S207 the calculation unit 51 determines whether the character recognition process attempted in step S206 was successful (that is, whether the character C was recognized). If the character recognition process is successful ("YES" in step S207), the process advances to step S213.
  • step S207 the calculation unit 51 executes the above-described distance image acquisition operation to determine the distance representing the three-dimensional shape of the inspection range Ri.
  • the image Id is acquired and stored in the storage unit 52 (step S208). Further, in step S209, the calculation unit 51 obtains the height of the upper surface 71 of the component 7 indicated by the distance image Id as the component height H7.
  • the calculation unit 51 executes steps S210 and S211 using the image restoration circuit 511 shown in FIG. That is, the ⁇ acquisition unit 512 calculates the standard deviation ⁇ based on the lookup table T from the component height H7 acquired in step S209 (step S210). Then, the Wiener filter unit 513 performs Wiener filter processing on the two-dimensional image It using the point spread function approximated by a Gaussian function having the standard deviation ⁇ acquired by the ⁇ acquisition unit 512 (step S211). As a result, the image blur that had occurred on the top surface 71 of the component 7 in the two-dimensional image It is corrected, and a restored image Ir in which the letter C attached to the top surface 71 is made clear is generated. In step S212, the calculation unit 51 executes a character recognition process to recognize the character C based on the restored image Ir. Then, the process advances to step S213.
  • the component height H7 (height information) indicating the height of the component 7 (inspection target) is acquired (steps S208, S209).
  • the restoration process the image blur that occurs in the two-dimensional image It due to the component height H7 is corrected using the component height H7 (step S211).
  • the restoration process can be performed while accurately reflecting the component height H7. As a result, it is possible to reliably correct image blur that occurs in the two-dimensional image It of the component 7, regardless of variations in the height of the component 7 provided on the substrate 6.
  • the calculation unit 51 determines whether the restoration process (step S211) is necessary for the two-dimensional image It (step S207). Then, if it is determined that the restoration process is necessary ("NO” in step S207), the image restoration circuit 511 executes the restoration process on the two-dimensional image It (step S211), and the restoration process is determined to be unnecessary. If it is determined (“YES” in step S207), the restoration process is not performed on the two-dimensional image It. With such a configuration, it is possible to suppress unnecessary execution of the restoration process on the two-dimensional image It in which image blur does not occur.
  • the calculation unit 51 executes a character recognition process that recognizes the character C (predetermined information) included in the component 7 based on the two-dimensional image It.
  • the calculation unit 51 determines that the restoration process (step S211) is unnecessary if the character recognition process is successful ("YES” in step S207), and if the character recognition process fails (step S207), the calculation unit 51 determines that the restoration process (step S211) is unnecessary. In the case of "NO"), it is determined that the restoration process (step S211) is necessary. Therefore, it is possible to accurately determine whether or not restoration processing is necessary based on the results of character recognition processing trials.
  • the visual inspection machine 1 corresponds to an example of the "board visual inspection apparatus" of the present invention
  • the conveyor 2 corresponds to an example of the "substrate holding section” of the present invention
  • the imaging camera 31 corresponds to an example of the "substrate holding section” of the present invention.
  • the imaging camera 31, projector 32, calculation section 51, imaging control section 53, and projection control section 54 cooperate to form the "height information acquisition section" of the present invention.
  • the calculation unit 51 functions as an example, and the calculation unit 51 corresponds to an example of the “restoration necessity determination unit” of the present invention, the calculation unit 51 corresponds to an example of the “recognition processing unit” of the invention, and the calculation unit 51 (especially The image restoration circuit 511) of the part 51 corresponds to an example of the "restoration processing part” of the present invention, the board 6 corresponds to an example of the "board” of the invention, and the component 7 corresponds to an example of the "inspection object” of the invention.
  • the component height H7 corresponds to an example of the "height information" of the present invention
  • the two-dimensional image It corresponds to an example of the "two-dimensional image” of the present invention
  • the restored image Ir corresponds to the "height information” of the present invention.
  • the lookup table T corresponds to an example of the "relationship regulation information” and the "lookup table” of the present invention
  • the standard deviation ⁇ corresponds to an example of the "parameter” of the present invention.
  • FIGS. 8A and 8B are diagrams schematically showing a modified example of the manner in which the component height is obtained. This modification is particularly suitable when the substrate 6 is warped as shown in FIG. 8A.
  • the calculation unit 51 measures the heights of a plurality of reference points set with respect to the surface 61 of the board 6. Specifically, by executing the above distance image acquisition operation for each of the plurality of reference points, the actual measured distance of the reference point, which is the actual measured distance from the camera position L31 to the reference point, is obtained for each of the plurality of reference points. get. Then, the calculation unit 51 calculates the regression plane P by performing a regression analysis such as the method of least squares on the actually measured distances of each of the plurality of reference points.
  • the calculation unit 51 sets the regression plane P (reference plane) indicating the position of the substrate 6.
  • This regression plane P is expressed as a distance from the camera position L31 with respect to the camera position L31.
  • the calculation unit 51 calculates the height HP7 of the upper surface 71 of the component 7 with respect to the regression plane P based on the actually measured distance D7 from the camera position L31 to the component 7, and also calculates the amount of deviation between the regression plane P and the focal position Lf. Calculate the offset F.
  • the calculation unit 51 sets the focal position Lf as a reference based on the difference between the height HP7 of the upper surface 71 of the component 7 with respect to the regression plane P and the offset F which is the amount of deviation between the regression plane P and the focal position Lf. Obtain the component height H7.
  • the calculation unit 51 sets the regression plane P (reference plane) indicating the position of the board 6, and calculates the height HP7 of the component 7 with respect to the regression plane P and the focal position Lf of the imaging camera 31.
  • the component height H7 (height information) is obtained based on the offset F (reference offset) indicating the deviation between the curve and the regression plane P.
  • FIG. 9 is a flowchart showing an example of a method for measuring the correlation between the height of an imaging target and the size of image blur
  • FIG. 10A is a side view schematically showing an example of the operation performed in the flowchart of FIG. It is. The flowchart in FIG. 9 is executed under the control of the calculation unit 51.
  • step S301 the conveyor 2 carries the jig 9 into the visual inspection machine 1.
  • the jig 9 has an imaging target plane 91, and is held by the conveyor 2 so that the imaging target plane 91 is horizontal.
  • step S302 a variable M that counts the number of times of imaging is reset to zero, and in step S303, the variable M is incremented by one.
  • the conveyor 2 positions the imaging target plane 91 of the jig 9 at the jig height H9 (M) by driving the jig 9 in the Z direction (step S304).
  • the imaging camera 31 faces the imaging target plane 91 at the jig height H9 (M) from above.
  • the imaging target plane 91 overlaps the imaging field of view V of the imaging camera 31.
  • step 305 the calculation unit 51 acquires the two-dimensional image It of the imaging target plane 91 by executing the two-dimensional image capturing operation described above, and stores it in the storage unit 52. Further, in step S306, the calculation unit 51 estimates the standard deviation ⁇ indicating the magnitude of image blur that occurs in the two-dimensional image It of the imaging target plane 91. Then, the calculation unit 51 records the jig height H9(M) and the standard deviation ⁇ in association with each other in the storage unit 52 (step S307).
  • step S308 the calculation unit 51 determines whether the variable M has reached the value Mx.
  • the value Mx indicates the number of times the imaging target plane 91 of the jig 9 should be imaged, and is set in advance by, for example, an operator. If the variable M has not reached the value Mx (“NO” in step S308), the process returns to step S303. In this way, steps S303 to S307 are repeated Mx times.
  • step S304 the conveyor 2 raises the jig 9 by the raising width ⁇ H.
  • the jig height H9 and standard deviation ⁇ are acquired and recorded while changing the distance between the imaging camera 31 and the imaging target plane 91.
  • the calculation unit 51 creates a look-up table T based on the recorded results of the jig height H9 and the standard deviation ⁇ , and stores it in the storage unit. 52 (step S309).
  • the calculation unit 51 (calibration unit) creates a lookup table based on the results of multiple imaging operations performed by the imaging camera 31 while changing the height of the imaging target plane 91 (imaging target) of the imaging camera 31.
  • Find T related regulation information.
  • an appropriate lookup is performed based on the result of actually measuring the relationship between the magnitude of image blur (standard deviation ⁇ ) that occurs when the imaging camera 31 captures the imaging target plane 91 and the height H9 of the imaging target plane 91. Table T can be found.
  • the distance between the imaging camera 31 and the imaging target plane 91 that overlaps the imaging field of view V is changed by raising the imaging target plane 91 (one measurement area) in the Z direction.
  • the distance between the imaging camera 31 and the imaging target plane 91 that overlaps the imaging field of view V may be changed by lowering the imaging target plane 91 (one measurement area) in the Z direction.
  • the distance between the imaging camera 31 and the imaging target plane 91 that overlaps the imaging field of view V may be changed by the method shown in FIG. 10B.
  • FIG. 10B is a side view schematically showing another example of the operation performed in the flowchart of FIG. 9.
  • the jig 9 shown in FIG. 10B has a plurality of imaging target planes 91 (measurement regions) arranged in the X direction (horizontal direction), and each of the imaging target planes 91 has a different height.
  • the conveyor 2 moves the imaging target plane 91 (one measurement area) that overlaps the imaging field of view V of the imaging camera 31 to a plurality of imaging target planes 91. Change between. That is, the calculation unit 51 (calibration unit) changes one imaging target plane 91 to be selected as the imaging target of the imaging camera 31 among the plurality of imaging target planes 91 having different heights, so that the imaging camera 31, the height of the imaging target is changed.
  • the standard deviation ⁇ is calculated from the component height H7 using the lookup table T showing the relationship between the component height H7 and the standard deviation ⁇ (steps S110 and S210).
  • a calculation formula for calculating the standard deviation ⁇ from the component height H7 may be stored in the storage unit 52, and the standard deviation ⁇ may be calculated from the component height H7 using the calculation formula in steps S110 and S210.
  • a calculation formula may be obtained instead of the lookup table T (step S309).
  • the specific method for acquiring the distance image Id is not limited to the above-mentioned phase shift method, and the distance image Id may be acquired using a TOF (Time of Flight) or a stereo camera.
  • TOF Time of Flight
  • the focal position Lf is adjusted to the design value of the substrate support position L61, which is the position of the surface 61 of the substrate 6 supported at the inspection position.
  • the manner in which the focal position Lf is set is not limited to this example, and the focal position Lf does not need to match the design value of the substrate support position L61.
  • the filter Kw(u,v) that minimizes the error between the restored image and the original image is given by the following equation 2.
  • This filter Kw(u,v) is a Wiener filter.
  • Equation 3 Equation 3
  • the point spread function is approximated by a Gaussian function.
  • the point spread function may be approximated by a function other than the Gaussian function, for example, as in Patent Document 3, a function that shows asymmetric spread in consideration of aberrations of the optical system of the camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Operations Research (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

部品７（検査対象）の高さを示す部品高さＨ７（高さ情報）が取得される（ステップＳ２０８、Ｓ２０９）。そして、復元処理においては、部品高さＨ７の高さに起因して二次元画像Ｉｔに発生する画像のぼけが、部品高さＨ７を用いて修正される（ステップＳ２１１）。これによって、部品高さＨ７の高さを的確に反映しつつ復元処理を行うことができる。その結果、基板６に設けられた部品７の高さのばらつきによらず、部品７の二次元画像Ｉｔに発生する画像のぼけを確実に修正することが可能となる。

Description

基板外観検査装置および基板外観検査方法
　この発明は、基板を撮像することで取得される二次元画像に基づき基板を検査する技術に関し、特に二次元画像に生じる画像のぼけに対応する技術に関する。
　例えば、部品が実装された基板の外観を検査する基板外観検査装置では、カメラにより部品を撮像することで取得された二次元画像から、部品に付された文字などの所定情報を認識するといった処理が実行される。特に近年では、部品の小型化に対応しつつ、所定情報を確実に認識するために、高分解能なカメラが用いられている。しかしながら、高分解能のカメラの被写界深度は一般に浅いため、部品の高さによって部品が被写界深度から外れてしまい、画像のぼけが発生してしまう場合がある。
特開２００５－１４０５９７号公報 ＷＯ２０１５００１６３４Ａ１ 特開２０１１－１２３５８９号公報
　このような画像のぼけに対応するために、焦点距離を変更できるコンバージョンレンズ（特許文献１）あるいは可変焦点レンズ（特許文献２）を用いて、部品の高さに応じてカメラの焦点を調整する機構が考えられる。ただし、このような機械的構成は、コストの上昇要因となる。これに対して、特許文献３では、演算処理によって画像のぼけを修正する技術が開示されている。具体的には、二次元画像に対してウィナーフィルタを用いた復元処理を実行することで、二次元画像に生じる画像のぼけが修正される。
　しかしながら、かかる復元処理は、検査対象である部品の高さ（換言すれば、カメラと部品との距離）に基づき推定される大きさを有する画像のぼけを修正する演算を行うものである。したがって、画像のぼけを確実に修正するためには、検査対象の高さを的確に反映しつつ復元処理を行う必要がある。これに対して、部品の高さは、部品の個体差、基板への部品の実装状態あるいは基板の反りといった種々の要因によりばらつく。このような部品の高さのばらつきが生じた状況では、上記の復元処理が必ずしも有効に機能せずに、画像のぼけを確実に修正することが難しかった。
　この発明は上記課題に鑑みなされたものであり、基板に設けられた部品等の検査対象の高さのばらつきによらず、検査対象の二次元画像に発生する画像のぼけを確実に修正することを目的とする。
　本発明に係る基板外観検査装置は、基板を保持する基板保持部と、基板に設けられた検査対象の二次元画像を撮像する撮像カメラと、検査対象の高さを示す高さ情報を取得する高さ情報取得部と、検査対象の高さに起因して二次元画像に発生する画像のぼけを、高さ情報を用いて修正して復元画像を取得する復元処理を実行する復元処理部とを備える。
　本発明に係る基板外観検査方法は、基板に設けられた検査対象の二次元画像を撮像カメラによって撮像する工程と、検査対象の高さを示す高さ情報を取得する工程と、検査対象の高さに起因して二次元画像に発生する画像のぼけを、高さ情報を用いて修正して復元画像を取得する復元処理を実行する工程とを備える。
　このように構成された本発明（基板外観検査装置および基板外観検査方法）では、検査対象の高さを示す高さ情報が取得される。そして、復元処理においては、検査対象の高さに起因して二次元画像に発生する画像のぼけが、高さ情報を用いて修正される。これによって、検査対象の高さを的確に反映しつつ復元処理を行うことができる。その結果、基板に設けられた部品等の検査対象の高さのばらつきによらず、検査対象の二次元画像に発生する画像のぼけを確実に修正することが可能となる。
　また、復元処理部は、画像のぼけの大きさを示すパラメータを高さ情報に基づき求めて、パラメータに基づき画像のぼけを修正する演算を実行することで復元処理を実行するように、基板外観検査装置を構成してもよい。このようなパラメータを用いることで、検査対象の高さを的確に反映しつつ復元処理を行うことができる。その結果、基板に設けられた部品等の検査対象の高さのばらつきによらず、検査対象の二次元画像に発生する画像のぼけを確実に修正することが可能となる。
　このように画像のぼけの大きさを示すパラメータの具体例は、種々想定される。したがって、パラメータは、点広がり関数であるガウス関数の標準偏差であってもよい。
　また、復元処理部は、高さ情報とパラメータとの関係を規定する関係規定情報を用いて、高さ情報に基づきパラメータを求めるように、基板外観検査装置を構成してもよい。このような関係規定情報を用いることで、高さ情報からパラメータを簡便に求めることができる。
　例えば、関係規定情報は、高さ情報からパラメータを算出する計算式であってもよい。このような計算式を用いることで、高さ情報からパラメータを簡便に求めることができる。
　あるいは、関係規定情報は、高さ情報とパラメータとの対応関係を示すルックアップテーブルであってもよい。このようなルックアップテーブルを用いることで、高さ情報からパラメータを簡便に求めることができる。
　また、撮像カメラの撮像対象の高さを変更しつつ撮像カメラにより複数回の撮像を行った結果に基づき、関係規定情報を求める較正部をさらに備えるように、基板外観検査装置を構成してもよい。かかる構成では、撮像カメラによる撮像対象の撮像において生じる画像のぼけの大きさと撮像対象の高さとの関係を実測した結果に基づき、適切な関係規定情報を求めることができる。
　なお、撮像対象の高さを変更する具体的手法は種々想定される。例えば、較正部は、互いに異なる高さを有する複数の計測領域の間で、撮像対象として選択する一の計測領域を変更することで、撮像対象の高さを変更するように、基板外観検査装置を構成してもよい。あるいは、較正部は、撮像対象である一の計測領域を鉛直方向に移動させることで、撮像対象の高さを変更するように、基板外観検査装置を構成してもよい。
　また、二次元画像に対する復元処理の要否を判定する復元要否判定部をさらに備え、復元処理部は、復元要否判定部によって復元処理が必要と判定された場合に二次元画像に対して復元処理を実行し、復元要否判定部によって復元処理が不要と判定された場合には二次元画像に対して復元処理を実行しないように、基板外観検査装置を構成してもよい。かかる構成では、画像のぼけが生じない二次元画像に対して復元処理が不要に実行されるのを抑制できる。
　なお、復元処理の要否を判定する具体的手法は種々想定される。例えば、復元要否判定部は、高さ情報が示す検査対象の高さが所定範囲以内である場合には、復元処理は不要と判定し、高さ情報が示す検査対象の高さが所定範囲外である場合には、復元処理は必要と判定するように、基板外観検査装置を構成してもよい。あるいは、検査対象に含まれる所定情報を二次元画像に基づき認識する認識処理を実行する認識処理部をさらに備え、復元要否判定部は、認識処理が成功した場合には、復元処理は不要と判定し、認識処理が失敗した場合には、復元処理は必要と判定するように、基板外観検査装置を構成してもよい。
　ところで、部品等の検査対象の高さを示す高さ情報は、例えば基板の表面（検査対象が載置された面）を基準に取得することが考えられる。ただし、このような手法では、基板の反りや基板の保持位置のばらつきの影響を、高さ情報が含んでしまい、画像のぼけを正確に修正できない可能性がある。
　そこで、高さ情報取得部は、撮像カメラから検査対象までの距離と、撮像カメラの焦点の位置とに基づき、高さ情報を取得するように、基板外観検査装置を構成してもよい。このように取得された高さ情報を用いることで、基板の反りや基板の保持位置のばらつきの影響によらず、高さ情報を取得して、画像のぼけを正確に修正することができる。
　あるいは、高さ情報取得部は、基板の位置を示す基準平面を設定し、基準平面に対する検査対象の高さと、撮像カメラの焦点の位置と基準平面とのずれを示す基準オフセットとに基づき、高さ情報を取得するように、基板外観検査装置を構成してもよい。このように取得された高さ情報を用いることで、基板の反りや基板の保持位置のばらつきの影響によらず、高さ情報を取得して、画像のぼけを正確に修正することができる。
　なお、基準平面を設定する具体的手法は種々想定される。例えば、高さ情報取得部は、基板に対して複数の基準点を設定して、複数の基準点それぞれの高さに基づき基準平面を設定するように、基板外観検査装置を構成してもよい。
　本発明によれば、基板に設けられた部品等の検査対象の高さのばらつきによらず、検査対象の二次元画像に発生する画像のぼけを確実に修正することが可能となる。
外観検査機を模式的に例示するブロック図。 文字認識処理の対象となる部品の一例を模式的に示す斜視図。 図２Ａに示す部品の平面図。 外観検査機で実行される文字認識処理の第１例を示すフローチャート。 部品高さの取得態様の一例を模式的示す図。 図３の文字認識処理において演算部に構築される画像復元回路の一例を示すブロック図。 図５の画像復元回路が前提とする部品高さと画像のぼけとの相関関係をグラフによって示す図。 図５の画像復元回路で使用されるルックアップテーブルの一例を示す図。 外観検査機で実行される文字認識処理の第２例を示すフローチャート。 部品高さの取得態様の変形例を模式的示す図。 部品高さの取得態様の変形例を模式的示す図。 撮像対象の高さと画像のぼけの大きさとの相関関係を計測する方法の一例を示すフローチャート。 図９のフローチャートで実行される動作の一例を模式的に示す側面図。 図９のフローチャートで実行される動作の他の例を模式的に示す側面図。
　図１は外観検査機を模式的に例示するブロック図である。同図では、鉛直方向に平行なＺ方向、水平方向に平行なＸ方向およびＹ方向で構成されるＸＹＺ直交座標を適宜示す。図１の外観検査機１は、搬送コンベア２、検査ヘッド３、駆動機構４および制御部５を備え、制御部５が搬送コンベア２、検査ヘッド３および駆動機構４を制御することで、基板６（プリント基板）の外観を検査する。基板６の表面６１には部品７が実装されており、特に部品７が検査対象となる。この部品７は、例えばチップコンデンサ、チップ抵抗あるいはＬＳＩ(Large-Scale Integration)等の電子部品である。
　搬送コンベア２は、基板６を所定の搬送経路に沿って搬送する。具体的には、搬送コンベア２は、検査前の基板６を外観検査機１内の検査位置に搬入し、基板６を検査位置で水平に保持する。こうして、部品７が実装された基板６の表面６１が上方へ向いた状態で、基板６が固定される。また、基板６に実装された部品７の検査が終了すると、搬送コンベア２は、検査後の基板６を検査位置から外観検査機１の外へ搬出する。
　検査ヘッド３は、検査位置の上方に配置された撮像カメラ３１を有する。撮像カメラ３１の光軸はＺ方向に平行であり、撮像カメラ３１は、搬送コンベア２によって検査位置に水平に保持される基板６の表面６１に上方から対向する。この撮像カメラ３１は撮像視野Ｖを有し、基板６のうち撮像視野Ｖ内の範囲を撮像することができる。
　また、検査ヘッド３は、光強度分布が正弦波状に変化する縞状のパターン光を撮像視野Ｖに投影するプロジェクタ３２を有する。プロジェクタ３２は、ＬＥＤ等の光源と、光源からの光を撮像視野Ｖへ向けて反射するデジタル・マイクロミラー・デバイスとを有している。かかるプロジェクタ３２は、デジタル・マイクロミラー・デバイスの各マイクロミラーの角度を調整することで、互いに位相の異なる複数のパターン光を撮像視野Ｖに投影できる。
　さらに、検査ヘッド３は、撮像視野Ｖに照明光を照射する照明３３を有する。照明３３は、例えばＲ（赤色）、Ｇ（緑色）およびＢ（青色）のＬＥＤ(Light-Emitting Diode)を有し、上方から撮像視野Ｖに白色の照明光を照射する。
　駆動機構４は、検査ヘッド３を支持しつつ、モータによって水平方向Ｘ、Ｙおよび鉛直方向Ｚへ検査ヘッド３を駆動させる。この駆動機構４の駆動によって、検査ヘッド３は検査位置の基板６の上方に移動して、基板６の一部を撮像視野Ｖに捉えることができる。
　制御部５は、演算部５１および記憶部５２を有する。演算部５１は、例えばＣＰＵ(Central Processing Unit)等のプロセッサであり、記憶部５２は、ＨＤＤ(Hard Disk Drive)あるいはＳＳＤ(Solid State Drive)等の記憶装置である。そして、演算部５１が外観検査機１の制御を統括することで、検査が実行される。この制御部５は、撮像カメラ３１を制御する撮像制御部５３、プロジェクタ３２を制御する投影制御部５４、照明３３を制御する照明制御部５５および駆動機構４を制御する駆動制御部５６を有する。
　搬送コンベア２が検査位置に基板６を搬入すると、演算部５１は、駆動制御部５６により駆動機構４を制御して検査ヘッド３を駆動することで、基板６に実装された複数の部品７のうち、検査対象となる部品７に検査ヘッド３を対向させる。これによって、当該部品７および当該部品７の周囲の基板６の表面６１の一部を含む被検査範囲Ｒｉが撮像カメラ３１の撮像視野Ｖに収まる。
　続いて、演算部５１は、投影制御部５４によってプロジェクタ３２を制御することでプロジェクタ３２から撮像視野Ｖへパターン光を投影しつつ、撮像制御部５３によって撮像カメラ３１を制御することで撮像視野Ｖを撮像カメラ３１により撮像する（パターン撮像動作）。これによって、撮像視野Ｖに投影されたパターン光が撮像される。演算部５１は、パターン光の位相を変更しつつパターン撮像動作を繰り返すことで、被検査範囲Ｒｉの三次元形状を示す距離画像Ｉｄを位相シフト法により取得する（距離画像取得動作）。この距離画像Ｉｄは、撮像カメラ３１から被検査範囲Ｒｉ（部品７および基板６の表面６１）までの距離、換言すれば部品７の高さを示す。この距離画像Ｉｄの取得は、基板６に実装された全ての部品７について実行される。こうして取得された距離画像Ｉｄは、記憶部５２に保存される。
　また、演算部５１は、照明制御部５５によって照明３３を制御することで照明３３から撮像視野Ｖへ照明光を照射しつつ。撮像制御部５３によって撮像カメラ３１を制御することで撮像視野Ｖを撮像カメラ３１により撮像する（二次元画像撮像動作）。これによって、平面視における被検査範囲Ｒｉ（部品７および基板６の表面６１）を示す二次元画像Ｉｔを撮像することができる。この二次元画像Ｉｔの撮像は、基板６に実装された全ての部品７について実行される。こうして取得された二次元画像Ｉｔは、記憶部５２に保存される。
　上述の外観検査機１は、部品７に付された文字を認識する文字認識処理を基板６の外観検査において実行する。図２Ａは文字認識処理の対象となる部品の一例を模式的に示す斜視図であり、図２Ｂは図２Ａに示す部品の平面図である。図２Ａに示すように、基板６の表面６１に実装された部品７は、Ｚ方向の上方を向く上面７１を有する。この上面７１は、基板６の表面６１から部品７の厚み７２だけ上方へ位置する。また、部品７の上面７１には、「ＡＢＣＤ」で例示されるような文字Ｃが付されている。そして、外観検査機１は、部品７の上面７１を撮像した二次元画像Ｉｔに基づき、この文字Ｃを認識する（文字認識処理）。
　図３は外観検査機で実行される文字認識処理の第１例を示すフローチャートである。図３のフローチャートは、演算部５１の制御によって実行される。ステップＳ１０１において、搬送コンベア２が基板６を検査位置に搬入する。この基板６には、当該基板６に実装された複数の部品７のそれぞれに対して被検査範囲Ｒｉ（Ｎ）が設定される。被検査範囲Ｒｉ（Ｎ）を示す情報は、例えば予めオペレータによって作成されて、記憶部５２に保存されている。
　ステップＳ１０２では、この被検査範囲Ｒｉ（Ｎ）を識別するための変数Ｎがゼロにリセットされ、ステップＳ１０３では、変数Ｎが１だけインクリメントされる。そして、演算部５１は、駆動制御部５６により駆動機構４を制御することで撮像カメラ３１を駆動して、撮像カメラ３１を被検査範囲Ｒｉ（Ｎ）に上方から対向させる（ステップＳ１０４）。これによって、撮像カメラ３１の撮像視野Ｖに被検査範囲Ｒｉ（Ｎ）が収まる。
　ステップＳ１０５では、演算部５１は、上述の距離画像取得動作を実行することで、被検査範囲Ｒｉの三次元形状を示す距離画像Ｉｄを取得して、記憶部５２に保存する。また、ステップＳ１０６では、演算部５１は、上述の二次元画像撮像動作を実行することで、被検査範囲Ｒｉの二次元画像Ｉｔを取得して、記憶部５２に保存する。なお、ステップＳ１０５、Ｓ１０６の実行順序はここの例に限られず、ここの例の逆でもよい。
　ステップＳ１０７では、演算部５１は、距離画像Ｉｄが示す部品７の上面７１の高さを部品高さＨ７（図４）として取得する。ここで、図４は部品高さの取得態様の一例を模式的示す図である。ステップＳ１０５で取得される距離画像Ｉｄは、撮像カメラ３１の位置に相当するカメラ位置Ｌ３１から部品７の上面７１までの実測距離Ｄ７を示す。一方、演算部５１は、撮像カメラ３１の焦点が存在する焦点位置Ｌｆを基準にして、距離画像Ｉｄから部品高さＨ７を求める。具体的には、カメラ位置Ｌ３１から焦点位置Ｌｆまでの基準距離Ｄｆと、撮像カメラ３１から部品７の上面７１までの実測距離Ｄ７との差が部品高さＨ７として取得される。この基準距離Ｄｆは、外観検査機１の工場出荷時に予め計測されて、記憶部５２に保存されている。
　部品高さＨ７がゼロである場合には、部品７の上面７１に撮像カメラ３１の焦点が一致しており、二次元画像Ｉｔが示す部品７の上面７１の画像にぼけは発生しない。一方、部品高さＨ７が高くなるにつれて、部品７の上面７１が撮像カメラ３１の焦点からずれて、二次元画像Ｉｔが示す部品７の上面７１の画像に発生するぼけが大きくなる。基本的には、焦点位置Ｌｆは、検査位置に支持される基板６の表面６１の位置である基板支持位置Ｌ６１の設計値に調整される。しかしながら、実際には、基板６に反りが発生したり、基板６の位置がＺ方向にずれたりすることで、図４に示すように、焦点位置Ｌｆと基板支持位置Ｌ６１とはずれる場合がある。
　ステップＳ１０８では、演算部５１は、部品高さＨ７が閾高さＨｔ以下であるかを判定する。部品高さＨ７が閾高さＨｔ以下である場合（ステップＳ１０８で「ＹＥＳ」の場合）には、二次元画像Ｉｔが示す部品７の上面７１の画像に発生するぼけは小さいと推定できる。そこで、ステップＳ１０９において、演算部５１は、二次元画像Ｉｔに基づき部品７の上面７１に付された文字Ｃを認識する（文字認識処理）。そして、ステップＳ１１３に進む。
　一方、部品高さＨ７が閾高さＨｔより大きい場合（ステップＳ１０８で「ＮＯ」の場合）には、二次元画像Ｉｔが示す部品７の上面７１の画像には大きなぼけが発生していると推定できる。そこで、演算部５１は図５に示す画像復元回路５１１によってステップＳ１１０、Ｓ１１１を実行する。
　図５は図３の文字認識処理において演算部に構築される画像復元回路の一例を示すブロック図であり、図６Ａは図５の画像復元回路が前提とする部品高さと画像のぼけとの相関関係をグラフによって示す図であり、図６Ｂは図５の画像復元回路で使用されるルックアップテーブルの一例を示す図である。
　図５に示す例では、σ取得部５１２およびウィナーフィルタ部５１３を有する画像復元回路５１１が演算部５１に構築される。この画像復元回路５１１は、部品７の上面７１が焦点位置Ｌｆからずれることで、部品７の上面７１における点光源から射出された光がガウス分布で広がって二次元画像Ｉｔに表れるという焦点ぼけモデルを前提とする。つまり、点広がり関数は、ガウス関数で近似されている。図６Ａに示すように、部品高さＨ７とガウス分布の標準偏差σとの間には、部品高さＨ７が高くなるほど標準偏差σが大きくなるといった相関関係が存在する。図６ＢのルックアップテーブルＴは、このような部品高さと標準偏差σとの対応関係を示し、記憶部５２に予め保存されている。
　σ取得部５１２は、ステップＳ１０７で取得された部品高さＨ７から、ルックアップテーブルＴに基づき標準偏差σを求める（ステップＳ１１０）。そして、ウィナーフィルタ部５１３は、σ取得部５１２が取得した標準偏差σを有するガウス関数で近似した点広がり関数を用いて、ウィナーフィルタ処理を二次元画像Ｉｔに対して実行する（ステップＳ１１１）。これによって、二次元画像Ｉｔにおいて部品７の上面７１に発生していた画像のぼけが修正されて、当該上面７１に付された文字Ｃが鮮明化された復元画像Ｉｒが生成される。ステップＳ１１２では、演算部５１は、この復元画像Ｉｒに基づき文字Ｃを認識する文字認識処理が実行される。そして、ステップＳ１１３に進む。
　ステップＳ１１３では、変数Ｎが値Ｎｘに到達したか否かが判定される。ここで、値Ｎｘは、基板６に対して設定された被検査範囲Ｒｉ（Ｎ）の個数である。変数Ｎが値Ｎｘに到達していない場合（ステップＳ１１３で「ＮＯ」の場合）には、ステップＳ１０３に戻る。こうして、全ての被検査範囲Ｒｉ（Ｎ）に対してステップＳ１０４～１１２が繰り返される。
　以上に説明する文字認識処理の第１例では、部品７（検査対象）の高さを示す部品高さＨ７（高さ情報）が取得される（ステップＳ１０５、Ｓ１０７）。そして、復元処理においては、部品高さＨ７の高さに起因して二次元画像Ｉｔに発生する画像のぼけが、部品高さＨ７を用いて修正される（ステップＳ１１１）。これによって、部品高さＨ７の高さを的確に反映しつつ復元処理を行うことができる。その結果、基板６に設けられた部品７の高さのばらつきによらず、部品７の二次元画像Ｉｔに発生する画像のぼけを確実に修正することが可能となる。
　また、画像復元回路５１１（復元処理部）は、画像のぼけの大きさを示す標準偏差σ（パラメータ）を部品高さＨ７に基づき求めて、標準偏差σに基づき画像のぼけを修正する演算を実行することで復元処理を実行する（ステップＳ１１０、Ｓ１１１）。このような標準偏差σを用いることで、部品７の部品高さＨ７を的確に反映しつつ復元処理を行うことができる。その結果、基板６に設けられた部品７の部品高さＨ７のばらつきによらず、部品７の二次元画像Ｉｔに発生する画像のぼけを確実に修正することが可能となる。
　また、画像復元回路５１１は、部品高さＨ７と標準偏差σとの関係を規定するルックアップテーブルＴ（関係規定情報）を用いて、部品高さＨ７に基づき標準偏差σを求める。このようなルックアップテーブルＴを用いることで、部品高さＨ７から標準偏差σを簡便に求めることができる。
　また、演算部５１（復元要否判定部）は、二次元画像Ｉｔに対する復元処理（ステップＳ１１１）の要否を判定する（ステップＳ１０８）。そして、画像復元回路５１１は、復元処理が必要と判定された場合（ステップＳ１０８で「ＮＯ」の場合）に二次元画像Ｉｔに対して復元処理を実行し（ステップＳ１１１）、復元処理が不要と判定された場合（ステップＳ１０８で「ＹＥＳ」の場合）には二次元画像Ｉｔに対して復元処理を実行しない。かかる構成では、画像のぼけが生じない二次元画像Ｉｔに対して復元処理が不要に実行されるのを抑制できる。
　また、演算部５１は、部品高さＨ７が閾高さＨｔ（所定範囲）以下である場合には、復元処理は不要と判定し、部品高さＨ７が閾高さＨｔより大きい場合には、復元処理が必要と判定する（ステップＳ１０８）。したがって、部品７の部品高さＨ７を実測した結果に基づき、復元処理の要否を的確に判定できる。
　ところで、部品７の部品高さＨ７は、例えば基板６の表面６１（部品７が実装された面）を基準に取得することが考えられる。ただし、このような手法では、基板６の反りや基板６の保持位置のばらつきの影響を、部品高さＨ７が含んでしまい、画像のぼけを正確に修正できない可能性がある。
　これに対して、演算部５１（高さ情報取得部）は、撮像カメラ３１から部品７までの実測距離Ｄ７と、撮像カメラ３１の焦点位置Ｌｆとに基づき、部品高さＨ７を取得する（ステップＳ１０７）。このように取得された部品高さＨ７を用いることで、基板６の反りや基板６の保持位置のばらつきの影響によらず、部品高さＨ７を取得して、画像のぼけを正確に修正することができる。なお、この場合には、ルックアップテーブルＴが示す部品高さは、同様に焦点位置Ｌｆを基準にする。
　図７は外観検査機で実行される文字認識処理の第２例を示すフローチャートである。図７のフローチャートは、演算部５１の制御によって実行される。第１例のステップＳ１０１～Ｓ１０４と同様にして、ステップＳ２０１～Ｓ２０４が実行される。その結果、撮像カメラ３１が被検査範囲Ｒｉ（Ｎ）に上方から対向して、撮像カメラ３１の撮像視野Ｖに被検査範囲Ｒｉ（Ｎ）が収まる。
　ステップＳ２０５では、演算部５１は、上述の二次元画像撮像動作を実行することで、被検査範囲Ｒｉの二次元画像Ｉｔを取得して、記憶部５２に保存する。ステップＳ２０６では、演算部５１は、二次元画像Ｉｔに基づき部品７の上面７１に付された文字Ｃを認識する文字認識処理を試行する。ステップＳ２０７では、演算部５１は、ステップＳ２０６で試行した文字認識処理に成功したか（すなわち、文字Ｃを認識できたか）を判定する。文字認識処理に成功した場合（ステップＳ２０７で「ＹＥＳ」の場合）には、ステップＳ２１３に進む。
　一方、文字認識処理に失敗した場合（ステップＳ２０７で「ＮＯ」の場合）には、演算部５１は、上述の距離画像取得動作を実行することで、被検査範囲Ｒｉの三次元形状を示す距離画像Ｉｄを取得して、記憶部５２に保存する（ステップＳ２０８）。また、ステップＳ２０９では、演算部５１は、距離画像Ｉｄが示す部品７の上面７１の高さを部品高さＨ７として取得する。
　そして、演算部５１は図５に示す画像復元回路５１１によってステップＳ２１０、Ｓ２１１を実行する。つまり、σ取得部５１２は、ステップＳ２０９で取得された部品高さＨ７から、ルックアップテーブルＴに基づき標準偏差σを求める（ステップＳ２１０）。そして、ウィナーフィルタ部５１３は、σ取得部５１２が取得した標準偏差σを有するガウス関数で近似した点広がり関数を用いて、ウィナーフィルタ処理を二次元画像Ｉｔに対して実行する（ステップＳ２１１）。これによって、二次元画像Ｉｔにおいて部品７の上面７１に発生していた画像のぼけが修正されて、当該上面７１に付された文字Ｃが鮮明化された復元画像Ｉｒが生成される。ステップＳ２１２では、演算部５１は、この復元画像Ｉｒに基づき文字Ｃを認識する文字認識処理が実行される。そして、ステップＳ２１３に進む。
　ステップＳ２１３では、変数Ｎが値Ｎｘに到達したか否かが判定される。変数Ｎが値Ｎｘに到達していない場合（ステップＳ２１３で「ＮＯ」の場合）には、ステップＳ２０３に戻る。こうして、全ての被検査範囲Ｒｉ（Ｎ）に対してステップＳ２０４～２１２が繰り返される。
　以上に説明する文字認識処理の第２例においても、部品７（検査対象）の高さを示す部品高さＨ７（高さ情報）が取得される（ステップＳ２０８、Ｓ２０９）。そして、復元処理においては、部品高さＨ７の高さに起因して二次元画像Ｉｔに発生する画像のぼけが、部品高さＨ７を用いて修正される（ステップＳ２１１）。これによって、部品高さＨ７の高さを的確に反映しつつ復元処理を行うことができる。その結果、基板６に設けられた部品７の高さのばらつきによらず、部品７の二次元画像Ｉｔに発生する画像のぼけを確実に修正することが可能となる。
　また、演算部５１（復元要否判定部）は、二次元画像Ｉｔに対する復元処理（ステップＳ２１１）の要否を判定する（ステップＳ２０７）。そして、画像復元回路５１１は、復元処理が必要と判定された場合（ステップＳ２０７で「ＮＯ」の場合）に二次元画像Ｉｔに対して復元処理を実行し（ステップＳ２１１）、復元処理が不要と判定された場合（ステップＳ２０７で「ＹＥＳ」の場合）には二次元画像Ｉｔに対して復元処理を実行しない。かかる構成では、画像のぼけが生じない二次元画像Ｉｔに対して復元処理が不要に実行されるのを抑制できる。
　また、演算部５１（認識処理部）は、部品７に含まれる文字Ｃ（所定情報）を二次元画像Ｉｔに基づき認識する文字認識処理を実行する。この際、演算部５１は、文字認識処理が成功した場合（ステップＳ２０７で「ＹＥＳ」の場合）には、復元処理（ステップＳ２１１）は不要と判定し、文字認識処理に失敗した場合（ステップＳ２０７で「ＮＯ」の場合）には、復元処理（ステップＳ２１１）は必要と判定する。したがって、文字認識処理を試行した結果に基づき、復元処理の要否を的確に判定できる。
　このように上記の実施形態では、外観検査機１が本発明の「基板外観検査装置」の一例に相当し、搬送コンベア２が本発明の「基板保持部」の一例に相当し、撮像カメラ３１が本発明の「撮像カメラ」の一例に相当し、撮像カメラ３１、プロジェクタ３２、演算部５１、撮像制御部５３および投影制御部５４が協働して本発明の「高さ情報取得部」の一例として機能し、演算部５１が本発明の「復元要否判定部」の一例に相当し、演算部５１が本発明の「認識処理部」の一例に相当し、演算部５１（特に、演算部５１の画像復元回路５１１）が本発明の「復元処理部」の一例に相当し、基板６が本発明の「基板」の一例に相当し、部品７が本発明の「検査対象」の一例に相当し、部品高さＨ７が本発明の「高さ情報」の一例に相当し、二次元画像Ｉｔが本発明の「二次元画像」の一例に相当し、復元画像Ｉｒが本発明の「復元画像」の一例に相当し、ルックアップテーブルＴが本発明の「関係規定情報」および「ルックアップテーブル」の一例に相当し、標準偏差σが本発明の「パラメータ」の一例に相当する。
　なお、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したものに対して種々の変更を加えることが可能である。例えば、部品高さＨ７の取得態様を次のように変形してもよい。図８Ａおよび図８Ｂは部品高さの取得態様の変形例を模式的示す図である。この変形例は、図８Ａに示すように基板６が反っている場合に特に好適となる。
　この変形例では、基板６が外観検査機１に搬入されると（ステップＳ１０１、Ｓ２０１）、演算部５１は、基板６の表面６１に対して設定した複数の基準点の高さを測定する。具体的には、上記の距離画像取得動作を複数の基準点のそれぞれに対して実行することで、カメラ位置Ｌ３１から基準点までの実測距離である基準点実測距離を複数の基準点のそれぞれについて取得する。そして、演算部５１は、例えば最小二乗法等の回帰分析を複数の基準点それぞれの基準点実測距離に対して実行することで、回帰平面Ｐを算出する。
　こうして、演算部５１は基板６の位置を示す回帰平面Ｐ（基準平面）を設定する。この回帰平面Ｐは、カメラ位置Ｌ３１を基準として、当該カメラ位置Ｌ３１からの距離で表される。また、演算部５１は、回帰平面Ｐに対する部品７の上面７１の高さＨＰ７を、カメラ位置Ｌ３１から部品７までの実測距離Ｄ７に基づき算出するとともに、回帰平面Ｐと焦点位置Ｌｆとのずれ量であるオフセットＦを算出する。そして、演算部５１は、回帰平面Ｐに対する部品７の上面７１の高さＨＰ７と、回帰平面Ｐと焦点位置Ｌｆとのずれ量であるオフセットＦとの差に基づき、焦点位置Ｌｆを基準とする部品高さＨ７を取得する。
　つまり、演算部５１（高さ情報取得部）は、基板６の位置を示す回帰平面Ｐ（基準平面）を設定し、回帰平面Ｐに対する部品７の高さＨＰ７と、撮像カメラ３１の焦点位置Ｌｆと回帰平面Ｐとのずれを示すオフセットＦ（基準オフセット）とに基づき、部品高さＨ７（高さ情報）を取得する。このように取得された部品高さＨ７を用いることで、基板６の反りや基板６の保持位置のばらつきの影響によらず、部品高さＨ７を取得して、画像のぼけを正確に修正することができる。
　ところで、上述するように、撮像対象（部品７）の高さと、当該撮像対象を撮像した画像に生じる画像のぼけの大きさ（標準偏差σ）との間には図６Ａに示す相関関係が存在する。続いては、かかる相関関係を計測する方法について説明する。図９は撮像対象の高さと画像のぼけの大きさとの相関関係を計測する方法の一例を示すフローチャートであり、図１０Ａは図９のフローチャートで実行される動作の一例を模式的に示す側面図である。図９のフローチャートは、演算部５１の制御によって実行される。
　ステップＳ３０１では、搬送コンベア２が外観検査機１内に治具９を搬入する。治具９は撮像対象平面９１を有し、この撮像対象平面９１が水平となるように搬送コンベア２によって保持される。ステップＳ３０２では、撮像回数をカウントする変数Ｍがゼロにリセットされて、ステップＳ３０３では、変数Ｍが１だけインクリメントされる。
　そして、搬送コンベア２は、治具９をＺ方向に駆動することで、治具９の撮像対象平面９１を治具高さＨ９（Ｍ）に位置決めする（ステップＳ３０４）。この際、撮像カメラ３１は、治具高さＨ９（Ｍ）の撮像対象平面９１に上方から対向する。これによって、撮像対象平面９１が撮像カメラ３１の撮像視野Ｖに重複する。
　ステップ３０５では、演算部５１は、上述の二次元画像撮像動作を実行することで、撮像対象平面９１の二次元画像Ｉｔを取得して、記憶部５２に保存する。また、ステップＳ３０６では、演算部５１は、撮像対象平面９１の二次元画像Ｉｔに生じる画像のぼけの大きさを示す標準偏差σを推定する。そして、演算部５１は、治具高さＨ９（Ｍ）と標準偏差σとを対応付けて、記憶部５２に記録する（ステップＳ３０７）。
　ステップＳ３０８では、演算部５１は、変数Ｍが値Ｍｘに到達したか否かを判定する。ここで、値Ｍｘは、治具９の撮像対象平面９１を撮像すべき回数を示し、例えばオペレータによって予め設定される。変数Ｍが値Ｍｘに到達していない場合（ステップＳ３０８で「ＮＯ」の場合）には、ステップＳ３０３に戻る。こうして、ステップＳ３０３～Ｓ３０７がＭｘ回繰り返される。
　なお、ステップＳ３０４の実行の度に、搬送コンベア２は、治具９を上昇幅ΔＨだけ上昇させる。こうして、撮像カメラ３１と撮像対象平面９１との距離を変更しつつ、治具高さＨ９と標準偏差σとが取得されて、記録される。そして、変数Ｍが値Ｍｘに到達すると（ステップＳ３０８で「ＹＥＳ」）、演算部５１は、治具高さＨ９と標準偏差σとの記録結果に基づき、ルックアップテーブルＴを作成して記憶部５２に保存する（ステップＳ３０９）。
　このように、演算部５１（較正部）は、撮像カメラ３１の撮像対象平面９１（撮像対象）の高さを変更しつつ撮像カメラ３１により複数回の撮像を行った結果に基づき、ルックアップテーブルＴ（関係規定情報）を求める。かかる構成では、撮像カメラ３１による撮像対象平面９１の撮像において生じる画像のぼけの大きさ（標準偏差σ）と撮像対象平面９１の高さＨ９との関係を実測した結果に基づき、適切なルックアップテーブルＴを求めることができる。
　なお、ここの例では、撮像対象平面９１（一の計測領域）をＺ方向において上昇させることで、撮像カメラ３１と撮像視野Ｖに重複する撮像対象平面９１との距離を変更している。しかしながら、撮像対象平面９１（一の計測領域）をＺ方向において下降させることで、撮像カメラ３１と撮像視野Ｖに重複する撮像対象平面９１との距離を変更しても構わない。あるいは、撮像カメラ３１と撮像視野Ｖに重複する撮像対象平面９１との距離を図１０Ｂに示す方法で変更してもよい。
　図１０Ｂは図９のフローチャートで実行される動作の他の例を模式的に示す側面図である。図１０Ｂに示す治具９は、Ｘ方向（水平方向）に配列された複数の撮像対象平面９１（計測領域）を有し、撮像対象平面９１のそれぞれは異なる高さを有する。これに対して、搬送コンベア２は、治具９をＸ方向に駆動することで、撮像カメラ３１の撮像視野Ｖに重複する撮像対象平面９１（一の計測領域）を、複数の撮像対象平面９１の間で変更する。つまり、演算部５１（較正部）は、互いに異なる高さを有する複数の撮像対象平面９１の間で、撮像カメラ３１の撮像対象として選択する一の撮像対象平面９１を変更することで、撮像カメラ３１の撮像対象の高さを変更する。
　ところで、上記の例では、部品高さＨ７と標準偏差σとの関係を示すルックアップテーブルＴによって、部品高さＨ７から標準偏差σを求めている（ステップＳ１１０、Ｓ２１０）。しかしながら、部品高さＨ７から標準偏差σを算出する計算式を記憶部５２に保存しておき、ステップＳ１１０、Ｓ２１０において、計算式を用いて部品高さＨ７から標準偏差σを求めてもよい。この場合、図９の相関関係計測では、ルックアップテーブルＴに代えて計算式を求めればよい（ステップＳ３０９）。
　また、距離画像Ｉｄを取得する具体的な方法は、上記の位相シフト法に限られず、ＴＯＦ(Time of Flight)あるいはステレオカメラによって距離画像Ｉｄを取得してもよい。
　また、上記では、検査位置に支持される基板６の表面６１の位置である基板支持位置Ｌ６１の設計値に焦点位置Ｌｆが調整されると説明した。しかしながら、焦点位置Ｌｆの設定態様はこの例に限られず、焦点位置Ｌｆが基板支持位置Ｌ６１の設計値に一致する必要はない。
　また、上記では、二次元画像Ｉｔに生じる画像のぼけをガウス分布でモデル化し、部品高さＨ７から推定される標準偏差σを有するガウス分布を示す画像のぼけをウィナーフィルタによって修正する（復元処理）。このような復元処理で実行される演算について、ここで説明しておく。
　原画像（ぼけのない画像）に対して二次元フーリエ変換を実行して得られるF(u,v)と、劣化画像（ぼけのある画像）に対して二次元フーリエ変換を実行して得られるG(u,v)と、点広がり関数に対して二次元フーリエ変換を実行して得られるH(u,v)との間には、次の数１の関係式が成立する。なお、N(u,v)はノイズに対して二次元フーリエ変換を実行して得られる。
Figure JPOXMLDOC01-appb-M000001
　上記の例では、点広がり関数がガウス関数で近似されるため、H(u,v)は、ガウス関数に対して二次元フーリエ変換を実行したものとなる。
　この際、復元画像と原画像との間の誤差を最小とするようなフィルタKw(u,v)は、次の数２で与えられる。このフィルタKw(u,v)がウィナーフィルタである。
Figure JPOXMLDOC01-appb-M000002
　また、ノイズおよび原画像が未知である場合には、次の数３のように、適当な定数を用いても構わない。
Figure JPOXMLDOC01-appb-M000003
　ちなみに、上記では、点広がり関数をガウス関数で近似した場合に説明した。しかしながら、ガウス関数以外の関数、例えば特許文献３のように、カメラの光学系の収差を考慮した非対称な広がりを示す関数で、点広がり関数を近似してもよい。
　１…外観検査機（基板外観検査装置）
　２…搬送コンベア（基板保持部）
　３１…撮像カメラ（高さ情報取得部）
　３２…プロジェクタ（高さ情報取得部）
　５１…演算部（高さ情報取得部、復元要否判定部、認識処理部、復元処理部）
　５１１…画像復元回路（復元処理部）
　５３…撮像制御部（高さ情報取得部）
　５４…投影制御部（高さ情報取得部）
　６…基板
　７…部品（検査対象）
　Ｈ７…部品高さ（高さ情報）
　Ｉｔ…二次元画像
　Ｉｒ…復元画像
　Ｔ…ルックアップテーブル（関係規定情報）
　σ…標準偏差（パラメータ）
 
　

Claims (16)

  1. 　基板を保持する基板保持部と、
    　前記基板に設けられた検査対象の二次元画像を撮像する撮像カメラと、
    　前記検査対象の高さを示す高さ情報を取得する高さ情報取得部と、
    　前記検査対象の高さに起因して前記二次元画像に発生する画像のぼけを、前記高さ情報を用いて修正して復元画像を取得する復元処理を実行する復元処理部と
    を備えた基板外観検査装置。
  2. 　前記復元処理部は、前記画像のぼけの大きさを示すパラメータを前記高さ情報に基づき求めて、前記パラメータに基づき前記画像のぼけを修正する演算を実行することで前記復元処理を実行する請求項１に記載の基板外観検査装置。
  3. 　前記パラメータは、点広がり関数であるガウス関数の標準偏差である請求項２に記載の基板外観検査装置。
  4. 　前記復元処理部は、前記高さ情報と前記パラメータとの関係を規定する関係規定情報を用いて、前記高さ情報に基づき前記パラメータを求める請求項２または３に記載の基板外観検査装置。
  5. 　前記関係規定情報は、前記高さ情報から前記パラメータを算出する計算式である請求項４に記載の基板外観検査装置。
  6. 　前記関係規定情報は、前記高さ情報と前記パラメータとの対応関係を示すルックアップテーブルである請求項４に記載の基板外観検査装置。
  7. 　前記撮像カメラの撮像対象の高さを変更しつつ前記撮像カメラにより複数回の撮像を行った結果に基づき、前記関係規定情報を求める較正部をさらに備える請求項４ないし６のいずれか一項に記載の基板外観検査装置。
  8. 　前記較正部は、互いに異なる高さを有する複数の計測領域の間で、前記撮像対象として選択する一の計測領域を変更することで、前記撮像対象の高さを変更する請求項７に記載の基板外観検査装置。
  9. 　前記較正部は、前記撮像対象である一の計測領域を鉛直方向に移動させることで、前記撮像対象の高さを変更する請求項７に記載の基板外観検査装置。
  10. 　前記二次元画像に対する前記復元処理の要否を判定する復元要否判定部をさらに備え、
    　前記復元処理部は、前記復元要否判定部によって前記復元処理が必要と判定された場合に前記二次元画像に対して前記復元処理を実行し、前記復元要否判定部によって前記復元処理が不要と判定された場合には前記二次元画像に対して前記復元処理を実行しない請求項１ないし９のいずれか一項に記載の基板外観検査装置。
  11. 　前記復元要否判定部は、前記高さ情報が示す前記検査対象の高さが所定範囲以内である場合には、前記復元処理は不要と判定し、前記高さ情報が示す前記検査対象の高さが所定範囲外である場合には、前記復元処理は必要と判定する請求項１０に記載の基板外観検査装置。
  12. 　前記検査対象に含まれる所定情報を前記二次元画像に基づき認識する認識処理を実行する認識処理部をさらに備え、
    　前記復元要否判定部は、前記認識処理が成功した場合には、前記復元処理は不要と判定し、前記認識処理が失敗した場合には、前記復元処理は必要と判定する請求項１１に記載の基板外観検査装置。
  13. 　前記高さ情報取得部は、前記撮像カメラから前記検査対象までの距離と、前記撮像カメラの焦点の位置とに基づき、前記高さ情報を取得する請求項１ないし１２のいずれか一項に記載の基板外観検査装置。
  14. 　前記高さ情報取得部は、前記基板の位置を示す基準平面を設定し、前記基準平面に対する前記検査対象の高さと、前記撮像カメラの焦点の位置と前記基準平面とのずれを示す基準オフセットとに基づき、前記高さ情報を取得する請求項１ないし１２のいずれか一項に記載の基板外観検査装置。
  15. 　前記高さ情報取得部は、前記基板に対して複数の基準点を設定して、前記複数の基準点それぞれの高さに基づき前記基準平面を設定する請求項１４に記載の基板外観検査装置。
  16. 　基板に設けられた検査対象の二次元画像を撮像カメラによって撮像する工程と、
    　前記検査対象の高さを示す高さ情報を取得する工程と、
    　前記検査対象の高さに起因して前記二次元画像に発生する画像のぼけを、前記高さ情報を用いて修正して復元画像を取得する復元処理を実行する工程と
    を備えた基板外観検査方法。
     
PCT/JP2022/026476 2022-07-01 2022-07-01 基板外観検査装置および基板外観検査方法 WO2024004204A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2024530260A JPWO2024004204A1 (ja) 2022-07-01 2022-07-01
KR1020247033342A KR20240160181A (ko) 2022-07-01 2022-07-01 기판 외관 검사 장치 및 기판 외관 검사 방법
CN202280096602.4A CN119318215A (zh) 2022-07-01 2022-07-01 基板外观检测装置和基板外观检测方法
PCT/JP2022/026476 WO2024004204A1 (ja) 2022-07-01 2022-07-01 基板外観検査装置および基板外観検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/026476 WO2024004204A1 (ja) 2022-07-01 2022-07-01 基板外観検査装置および基板外観検査方法

Publications (1)

Publication Number Publication Date
WO2024004204A1 true WO2024004204A1 (ja) 2024-01-04

Family

ID=89382583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026476 WO2024004204A1 (ja) 2022-07-01 2022-07-01 基板外観検査装置および基板外観検査方法

Country Status (4)

Country Link
JP (1) JPWO2024004204A1 (ja)
KR (1) KR20240160181A (ja)
CN (1) CN119318215A (ja)
WO (1) WO2024004204A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196643A (ja) * 2001-12-28 2003-07-11 Yamagata Casio Co Ltd 画像処理方法及びそれを用いた部品搭載装置
JP2011180084A (ja) * 2010-03-03 2011-09-15 Fuji Mach Mfg Co Ltd 部品実装機の撮像画像処理装置
WO2021009884A1 (ja) * 2019-07-17 2021-01-21 株式会社Ｆｕｊｉ 検査装置および検査用画像の撮像方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4298473B2 (ja) 2003-11-05 2009-07-22 ヤマハ発動機株式会社 表面実装機
JP5546229B2 (ja) 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP6334528B2 (ja) 2013-07-03 2018-05-30 株式会社Ｆｕｊｉ 撮像装置および生産設備

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196643A (ja) * 2001-12-28 2003-07-11 Yamagata Casio Co Ltd 画像処理方法及びそれを用いた部品搭載装置
JP2011180084A (ja) * 2010-03-03 2011-09-15 Fuji Mach Mfg Co Ltd 部品実装機の撮像画像処理装置
WO2021009884A1 (ja) * 2019-07-17 2021-01-21 株式会社Ｆｕｊｉ 検査装置および検査用画像の撮像方法

Also Published As

Publication number Publication date
JPWO2024004204A1 (ja) 2024-01-04
KR20240160181A (ko) 2024-11-08
CN119318215A (zh) 2025-01-14

Similar Documents

Publication Publication Date Title
KR101121691B1 (ko) 삼차원 계측 장치
JP6299111B2 (ja) レーザ加工装置
US10563977B2 (en) Three-dimensional measuring device
CN105783784B (zh) 检查装置及检查装置的控制方法
TWI414750B (zh) Dimensional shape measuring device, three-dimensional shape measurement method and three-dimensional shape measurement program
KR101241175B1 (ko) 실장기판 검사장치 및 검사방법
JP6322335B2 (ja) 外観検査装置
KR101081538B1 (ko) 3차원 형상 측정장치 및 측정방법
KR101237497B1 (ko) 검사영역의 설정방법
KR20120052087A (ko) 기판 검사방법
JP2010281778A (ja) 三次元形状計測装置
JP2019100753A (ja) プリント基板検査装置及びプリント基板検査方法
JP2017198470A (ja) 計測装置、計測方法、システム及び物品の製造方法
JP3597484B2 (ja) はんだ印刷検査装置
WO2024004204A1 (ja) 基板外観検査装置および基板外観検査方法
JP6236204B2 (ja) 検査装置及び検査方法
JP6751567B2 (ja) 電子部品検査方法、電子部品実装方法、及び電子部品実装装置
JP2002286427A (ja) はんだ印刷検査装置
JP2019219357A (ja) 撮影装置、撮影方法および撮影プログラム
JP4218283B2 (ja) ターゲット投影式３次元形状計測方法および装置
KR101442666B1 (ko) 복수 행의 조명부재를 포함하는 비전검사장치
JP2010025803A (ja) 位置決め機能を有する検査装置、位置決め機能を有する検査装置用プログラム、位置決め機能を有する検査装置の検査方法
JP2003254727A (ja) 三次元計測装置
JP2015232464A (ja) 校正装置、校正方法および校正プログラム
JP2013011569A (ja) 変位量特定装置、変位量特定方法および変位量特定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22949477

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024530260

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20247033342

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020247033342

Country of ref document: KR