WO2020066415A1 - 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ - Google Patents

三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ Download PDF

Info

Publication number
WO2020066415A1
WO2020066415A1 PCT/JP2019/033279 JP2019033279W WO2020066415A1 WO 2020066415 A1 WO2020066415 A1 WO 2020066415A1 JP 2019033279 W JP2019033279 W JP 2019033279W WO 2020066415 A1 WO2020066415 A1 WO 2020066415A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional shape
region
difference
target
defective product
Prior art date
Application number
PCT/JP2019/033279
Other languages
English (en)
French (fr)
Inventor
和隆 谷口
Original Assignee
株式会社Ｓｃｒｅｅｎホールディングス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｓｃｒｅｅｎホールディングス filed Critical 株式会社Ｓｃｒｅｅｎホールディングス
Publication of WO2020066415A1 publication Critical patent/WO2020066415A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Definitions

  • the present invention relates to a technique for determining the presence or absence of a shape defect in an object.
  • Patent Literature 1 determines the presence or absence of a shape defect based on a comparison between a reference image indicating a non-defective product which is an object having no shape defect and an inspection image obtained by imaging the object. judge.
  • the presence or absence of a shape defect may not be accurately determined.
  • an inspection for a relatively flat region of an object such as a forged product there is an inspection that detects irregularities caused by an impact, that is, a dent as a shape defect.
  • the depth of the dent in the depth direction of the image may be more important than the area of the dent in the captured image in order to determine whether the dent is a problem for the quality of the target object. .
  • the depth of the dent cannot be accurately grasped from the two-dimensional image.
  • the calculation of the difference between the measurement data and the non-defective data is performed by aligning the positions of the three-dimensional shapes indicated by the data and extracting the difference.
  • the alignment of the three-dimensional shape indicated by each data is not accurate, there is a possibility that it is erroneously determined that a difference exists in a portion where the difference does not originally exist. That is, in the above-described example of the forged product, a wall surface that is steeply inclined or parallel to the depth direction may be present at an end or a step of a good forged product.
  • the three-dimensional shape indicated by each data is misaligned in the direction orthogonal to the depth direction, a large difference occurs near the wall surface. For this reason, it was not possible to determine whether the difference indicates a wall surface or a shape defect originally existing in a non-defective product, and it was sometimes impossible to accurately determine the presence or absence of a shape defect.
  • the present invention has been made in view of the above problems, and in determining the presence or absence of a shape defect based on a difference in a predetermined direction generated between measurement data and non-defective data, distinguishing from a wall surface originally existing in an object, It is an object of the present invention to provide a technique capable of accurately determining the presence or absence of a shape defect.
  • a three-dimensional shape inspection apparatus includes: an imaging unit that images a target; and data that obtains measurement data by measuring a three-dimensional shape of a surface of the target based on a result of the imaging unit imaging the target.
  • the acquisition unit with the measurement data and the non-defective data indicating the three-dimensional shape of the surface of the non-defective product having no shape defect, the position of the surface of the object indicated by the measurement data and the non-defective
  • a difference calculation unit for calculating a difference in a predetermined direction from the position of the surface, and, among the surfaces of the non-defective products indicated by the non-defective product data, a wall surface region in which an acute angle to the predetermined direction is smaller than the predetermined angle or parallel to the predetermined direction is removed.
  • a quality determining unit that determines the presence or absence of a shape defect in the target object based on the difference in the target region.
  • the three-dimensional shape inspection method compares measurement data, which is the result of measuring the three-dimensional shape of the surface of the object, with non-defective data indicating the three-dimensional shape of the surface of a non-defective product having no shape defect.
  • a step of obtaining a difference in a predetermined direction between the position of the surface of the object indicated by the measurement data and the position of the surface of the non-defective product indicated by the non-defective data Determining the presence or absence of a shape defect in the target object based on the difference in the target region excluding the wall region in which the acute angle formed is smaller than the predetermined angle or parallel to the predetermined direction.
  • the three-dimensional shape inspection program compares measurement data, which is the result of measuring the three-dimensional shape of the surface of the object, with non-defective data indicating the three-dimensional shape of a non-defective surface having no shape defect.
  • a step of obtaining a difference in a predetermined direction between the position of the surface of the object indicated by the measurement data and the position of the surface of the non-defective product indicated by the non-defective data Determining the presence or absence of a shape defect in the object based on the difference in the wall area where the acute angle formed is smaller than the predetermined angle or parallel to the predetermined direction.
  • the computer according to the present invention executes the above-described three-dimensional shape inspection program.
  • the present invention (three-dimensional shape inspection apparatus, three-dimensional shape inspection method, three-dimensional shape inspection program, computer) configured as described above provides measurement data, which is the result of measuring the three-dimensional shape of the surface of an object.
  • the non-defective product is compared with non-defective data indicating the three-dimensional shape of the surface of the non-defective product.
  • a difference in a predetermined direction between the position of the surface of the object indicated by the measurement data and the position of the surface of the non-defective item indicated by the non-defective data is determined, and the presence or absence of a shape defect in the object is determined based on the difference.
  • the presence / absence of a shape defect is determined based on a difference between the measurement data and the non-defective data in a predetermined direction.
  • the presence or absence of a shape defect in the target object is determined based on the difference in the target region excluding the wall surface region in which the acute angle formed with respect to the predetermined direction is smaller than the predetermined angle or parallel to the predetermined direction on the surface of the non-defective product indicated by the non-defective product data. Is determined. Therefore, it is possible to accurately determine the presence or absence of a shape defect, distinguishing from the wall surface originally existing in the target object.
  • the difference calculation unit may be configured to calculate the difference for the target region without calculating the difference for the wall surface region, and to configure the three-dimensional shape inspection apparatus. This makes it possible to calculate the difference required to determine the presence or absence of a shape defect while suppressing the amount of calculation.
  • the pass / fail determination unit may be configured to configure the three-dimensional shape inspection apparatus so as to exclude, from the target region, a region in which the magnitude of the difference in the predetermined direction is smaller than the predetermined value from the determination target of the presence or absence of the shape defect. good.
  • the pass / fail determination unit may include a three-dimensional shape inspection device that further excludes, from among the regions remaining as determination targets in the target region, a region whose area on a plane orthogonal to the predetermined direction is smaller than the predetermined area, from the determination target. You may comprise. With this configuration, it is possible to accurately determine the presence or absence of a shape defect by narrowing down the determination target of the presence or absence of a shape defect to a region having a relatively large area.
  • the pass / fail determination unit extracts a region remaining as a determination target among the target regions as a candidate region, sets a reference plane by approximating a peripheral region of the candidate region with a plane orthogonal to a predetermined direction, and sets a reference plane.
  • the three-dimensional shape inspection apparatus may be configured to determine that a shape defect exists in the candidate region when the distance from the reference plane at the position where the candidate region is farthest from the reference plane is equal to or greater than a threshold. With this configuration, the presence or absence of a shape defect in the candidate area can be accurately determined based on a reference plane that approximates the peripheral area of the candidate area.
  • the three-dimensional shape inspection device may be configured such that the pass / fail determination unit sets different thresholds for each of a plurality of ranges included in the target region. With such a configuration, the presence of a shape defect can be accurately determined based on an appropriate threshold value according to the location of the target object.
  • the shape defect when judging the presence or absence of a shape defect based on the difference in the predetermined direction generated between the measurement data and the non-defective data, the shape defect is distinguished from the wall surface originally existing in the object. Can be accurately determined.
  • FIG. 2 is a block diagram showing an example of an electrical configuration of the three-dimensional shape inspection device shown in FIG. 1.
  • 9 is a flowchart illustrating an example of a measurement process for measuring a three-dimensional shape of an object.
  • 9 is a flowchart illustrating an example of an inspection process for inspecting the presence or absence of a shape defect in an object.
  • FIG. 6 is a diagram schematically showing the calculation contents in the inspection processing shown in FIG. 5.
  • FIG. 6 is a diagram schematically showing the calculation contents in the inspection processing shown in FIG. 5.
  • FIG. 6 is a diagram schematically showing the calculation contents in the inspection processing shown in FIG. 5.
  • FIG. 6 is a diagram schematically showing the calculation contents in the inspection processing shown in FIG. 5.
  • FIG. 6 is a diagram schematically showing the calculation contents in the inspection processing shown in FIG. 5.
  • FIG. 6 is a diagram schematically showing the calculation contents in the inspection processing shown in FIG. 5.
  • FIG. 1 is a view schematically showing one example of a three-dimensional shape inspection apparatus according to the present invention.
  • the three-dimensional shape inspection apparatus 1 includes a support table 2 that supports the object J, and an imaging unit 4 that measures the three-dimensional shape of the object J on the support table 2 and acquires point cloud data.
  • an electromagnet table can be used as the support table 2.
  • a table that supports the object J by air suction or a chuck mechanism can be used as the support table 2.
  • the imaging unit 4 has a camera 41 and a projector 42.
  • the camera 41 captures an image of the imaging range F by forming light incident on the lens 411 from within the imaging range F (in other words, the field of view) on the solid-state imaging device.
  • the projector 42 emits a light pattern to the imaging range F by modulating light from a light source with a DMD (Digital Mirror Device) or the like.
  • DMD Digital Mirror Device
  • FIG. 2 is a block diagram showing an example of an electrical configuration provided in the three-dimensional shape inspection apparatus shown in FIG.
  • the three-dimensional shape inspection device 1 includes a controller 9 having a calculation unit 91, a storage unit 92, a communication unit 93, and an imaging control unit 94.
  • the calculation unit 91 is a processor including a CPU (Central Processing Unit), a RAM (Random Access Memory), and the like, and controls the control of the entire apparatus.
  • the storage unit 12 is constituted by an HDD (Hard ⁇ Disk ⁇ Drive) and stores a measurement program Pm, an inspection program Pi, conforming data Dr, measurement data Dm, and the like. The contents of these various programs Pm, Pi and data Dr, Dm will be described later.
  • the communication unit 93 has a function of communicating with an external device.
  • the imaging control unit 94 uses the imaging unit 4 to measure the three-dimensional shape of the surface of the target object J. Specifically, the imaging control unit 94 irradiates the pattern from the projector 42 toward the object J on the support table 2 while imaging the object J in the imaging range F with the camera 41, thereby irradiating the pattern. An image M is obtained by imaging the target object J thus obtained. The image M includes a pattern deformed according to the three-dimensional shape of the surface of the object J.
  • the calculation unit 91 executes the above-described measurement program Pm to develop the data generation unit 911 therein. Then, the data generation unit 911 generates point cloud data indicating the three-dimensional shape of the object J based on the image M acquired by the imaging control unit 94. Note that various methods such as a phase shift method and a space coding method can be used as a specific method of measuring the three-dimensional shape of the object J based on an image obtained by capturing the object J while irradiating the pattern.
  • FIG. 3 is a flowchart showing an example of a measurement process for measuring a three-dimensional shape of an object.
  • steps S101 to S103 are executed under the control of the imaging control unit 94, and step S104 is executed by the operation of the data generation unit 911.
  • the projector 42 moves the object J on the support table 2
  • the pattern is projected (Step S101), and the object J on which the pattern is projected is captured by the camera 41 (Step S102). Then, it is confirmed whether or not the imaging has been completed for all of the plurality of different patterns (step S103).
  • steps S101 and S102 are executed again while changing the pattern to be projected on the target object J.
  • steps S101 and S102 are executed again while changing the pattern to be projected on the target object J.
  • the three-dimensional shape of the surface of the object J is indicated based on the plurality of images M including each of these patterns.
  • Point cloud data is created (step S104) and stored in the storage unit 92 as measurement data Dm. That is, the measurement data Dm is point cloud data indicating the three-dimensional shape of the surface of the target object J measured in the measurement processing.
  • the controller 9 Based on the measurement data Dm, the controller 9 performs an inspection process for determining whether or not a shape defect such as a dent is present on the surface of the object J. More specifically, the inspection program Pi defines the content of the inspection process, and the arithmetic unit 91 executes the inspection program Pi, thereby executing a calculation required for the inspection process by the difference calculation unit 912 and the pass / fail determination unit 913. Expands into it.
  • the non-defective data Dr used in the inspection processing is stored in the storage unit 92 in advance.
  • the non-defective product data Dr is point group data indicating a three-dimensional shape of the surface of a non-defective product which is the target object J having no shape defect.
  • Such non-defective data Dr may be point cloud data obtained by performing measurement processing on non-defective products, or may be data generated based on CAD (Computer-Aided @ Design) data of the object J.
  • FIG. 4 is a diagram schematically illustrating an example of each of the non-defective data and the measured data.
  • the three-dimensional shape Sr of the surface of the object J indicated by the non-defective product data Dr (referred to as “non-defective three-dimensional shape Sr” as appropriate) is formed by extending the upper part of a rectangular flat plate extending in the Y-axis direction in parallel with the Y-axis direction. It has a notched outer shape.
  • the non-defective product data Dr indicates the position of the non-defective three-dimensional shape Sr at each XY coordinate in the Z-axis direction.
  • the three-dimensional shape Sm of the measured surface of the object J indicated by the measurement data Dm (referred to as “measurement three-dimensional shape Sm” as appropriate) is such that the concave portion C is located on the upper surface of the three-dimensional shape Sr indicated by the conforming data Dr. It has a shape that opens to the side.
  • the measurement data Dm indicates the position of the measured three-dimensional shape Sm at each XY coordinate in the Z-axis direction.
  • FIG. 5 is a flowchart showing an example of an inspection process for inspecting the presence or absence of a shape defect in an object.
  • FIGS. 6 and 7A to 7D are diagrams schematically showing the contents of calculations in the inspection process shown in FIG. . In this inspection processing, the presence or absence of a dent on the relatively flat upper surface of the object J facing the camera 41 is inspected.
  • step S201 the difference calculation unit 912 performs data matching between the non-defective data Dr and the measurement data Dm. As shown in FIG. 7A, this data matching is performed by matching corresponding points (that is, points representing the same position) of the non-defective three-dimensional shape Sr and the measured three-dimensional shape Sm, so that these three-dimensional shapes Sr and Sm are matched. Is an arithmetic process for executing the position alignment.
  • step S202 the difference calculation unit 912 sets a mask for the aligned wall surface region Rw of the three-dimensional shapes Sr and Sm.
  • the setting of such a mask is executed in two stages: the specification of the existence range of the wall surface region Rw in the non-defective three-dimensional shape Sr and the setting of the mask on the wall surface region Rw.
  • the wall surface region Rw is a region in which the acute angle ⁇ a between the wall surface region Rw and the Z-axis direction is smaller than a predetermined acute angle ⁇ b (predetermined angle), or a region parallel to the Z-axis direction.
  • the inclination at each point of the non-defective three-dimensional shape Sr is obtained, for example, by calculating the inclination at each point.
  • the predetermined acute angle ⁇ b may be defined in the inspection program Pi or may be set by the user.
  • the difference calculation unit 912 specifies the existence range of the wall surface region Rw by searching for the wall surface region Rw from the non-defective three-dimensional shape Sr. Then, the difference calculation unit 912 sets a mask in the existing range of the wall surface region Rw in the aligned three-dimensional shapes Sr and Sm. As a result, as shown in FIG. 7B, a mask is set on the wall surface region Rw hatched with diagonal lines, and the wall surface region Rw is excluded from the targets of subsequent calculations. As a result, of the aligned three-dimensional shapes Sr and Sm, a relatively flat (in other words, parallel to the XY plane) flat region Rf is extracted.
  • step S203 the difference calculation unit 912 calculates, for each XY coordinate, a difference in position in the Z-axis direction between the aligned flat region Rf of the conforming three-dimensional shape Sr and the flat region Rf of the measured three-dimensional shape Sm. In this way, the difference in the Z-axis direction between the position of the surface of the object J indicated by the measurement data Dm and the position of the surface of the non-defective product indicated by the non-defective product Dr is obtained.
  • Such a difference is substantially zero in a range relatively parallel to the XY plane orthogonal to the Z-axis direction, while the difference is not present in the non-defective product indicated by the non-defective product data Dr but in the concave portion C existing in the target object J indicated by the measurement data Dm. growing.
  • a difference image Mc in which three concave portions C are made obvious is obtained.
  • step S204 the pass / fail determination unit 913 extracts a pixel whose difference is equal to or larger than a predetermined value. This step S204 is executed for the purpose of extracting a pixel relating to the concave portion C by excluding a flat area from the difference image Mc.
  • step S205 the pass / fail determination unit 913 connects the pixels extracted in step S204 to set a connection region Rc. This is performed for the purpose of associating pixels belonging to the same recess C with associating adjacent pixels in the XY coordinates, while distinguishing pixels belonging to different recesses C. Therefore, in the example of FIG. 7C, the connection region Rc is set in each of the three concave portions C.
  • step S206 the pass / fail determination unit 913 extracts a connected region Rc having an area equal to or larger than a predetermined area on the XY plane as a candidate region Rp.
  • a connected region Rc having an area equal to or larger than a predetermined area on the XY plane as a candidate region Rp.
  • two of the three connected regions Rc are extracted as candidate regions Rp1 and Rp2.
  • the pass / fail determination unit 913 resets the identification number I for identifying the candidate areas Rp1 and Rp2 to zero (step S207), and increments the identification number I (step S208). As a result, the candidate region Rp1 is set as an execution target of the subsequent steps.
  • step S209 as shown in the column of “Rp1” in FIG. 7D, the pass / fail determination unit 913 sets the candidate area Rp1 in the difference image Mc to the reference plane L obtained by approximating the peripheral area of the candidate area Rp1 with a plane orthogonal to the Z-axis direction. Set to Rp1.
  • Such plane approximation can be performed by, for example, the least square method.
  • step S210 the pass / fail determination unit 913 determines that the distance Z1 from the reference plane L at the position V1 (in other words, the peak) where the candidate region Rp1 is farthest from the reference plane L in the Z-axis direction is equal to or greater than the threshold Zt. Is determined.
  • the pass / fail determination unit 913 determines “NO” in step S210, and proceeds to step S211.
  • the identification number I is “1”, “NO” is determined in the step S211.
  • the process returns to step S208, and the identification number I is incremented.
  • the candidate region Rp2 is set as an execution target of the subsequent steps.
  • step S209 the pass / fail determination unit 913 sets the candidate plane R, which is obtained by approximating the peripheral area of the candidate area Rp2 in the difference image Mc with a plane orthogonal to the Z-axis direction, as shown in the column of “Rp2” in FIG. Set to Rp2. Then, in step S210, the pass / fail determination unit 913 determines that the distance Z2 from the reference plane L at a position V2 (in other words, a peak) where the candidate region Rp2 is farthest from the reference plane L in the Z-axis direction is equal to or greater than the threshold value Zt. Is determined.
  • the pass / fail determination unit 913 determines “YES” in step S210, and determines that a defective shape (dent) exists in the candidate region Rp1 (step S212). ).
  • the acceptability determination unit 913 determines that there is no defective shape in the target object J and performs a conformity determination. (Step S213).
  • the measurement data Dm which is the result of measuring the three-dimensional shape Sm of the surface of the target object J
  • the non-defective data Dr which indicates the three-dimensional shape Sr of the non-defective surface having no shape defect
  • Compare steps S201, S203.
  • a difference in the Z-axis direction between the position of the surface of the object J indicated by the measurement data Dm and the position of the surface of a non-defective item indicated by the non-defective data Dr is obtained (step S203). It is determined whether there is a shape defect in J (step S210).
  • the presence / absence of a shape defect is determined based on the difference in the Z-axis direction generated between the measurement data Dm and the conforming data Dr.
  • the presence or absence of a shape defect in the object J is determined (steps S202, S203, S210). Therefore, it is possible to accurately determine the presence or absence of a shape defect, distinguishing from the wall surface originally existing in the target object J.
  • the difference calculation unit 912 does not calculate a difference for the wall surface region Rw, but calculates a difference for the flat region Rf (steps S202 and S203). This makes it possible to calculate the difference required to determine the presence or absence of a shape defect (that is, the difference in the flat region Rf) while suppressing the amount of calculation of the difference calculation unit 912.
  • the pass / fail determination unit 913 excludes, from the flat region Rf, a region in which the magnitude of the difference in the Z-axis direction is smaller than a predetermined value from the determination target of the presence / absence of a shape defect (step S204).
  • the pass / fail determination unit 913 further excludes, from the determination target, the connection region Rc whose area in the XY plane orthogonal to the Z-axis direction is smaller than a predetermined area among the connection regions Rc remaining as determination targets in the flat region Rf ( Step SS206).
  • the pass / fail determination unit extracts the connected region Rc remaining as a determination target from the flat region Rf as candidate regions Rp1 and Rp2 (step S206), and makes the peripheral regions of the candidate regions Rp1 and Rp2 orthogonal to the Z-axis direction.
  • a reference plane L is set by approximation with an XY plane.
  • the three-dimensional shape inspection device 1 corresponds to an example of the “three-dimensional shape inspection device” of the present invention
  • the controller 9 corresponds to an example of the “computer” of the present invention
  • the inspection program Pi corresponds to the example.
  • the imaging unit 4 corresponds to an example of the “imaging unit” of the invention
  • the imaging control unit 94 corresponds to an example of the “data acquisition unit” of the invention.
  • the difference calculation unit 912 corresponds to an example of the “difference calculation unit” of the present invention
  • the pass / fail determination unit 913 corresponds to an example of the “pass / fail determination unit” of the present invention
  • the measurement data Dm corresponds to the “measurement data” of the present invention.
  • the non-defective data Dr corresponds to an example of the “non-defective data” of the present invention
  • the three-dimensional shapes Sm and Sr correspond to an example of the “three-dimensional shape” of the present invention
  • the Z-axis direction corresponds to the It corresponds to an example of the "predetermined direction” of the invention
  • the region Rw corresponds to an example of the “wall region” of the present invention
  • the flat region Rf corresponds to an example of the “target region” of the present invention
  • the candidate regions Rp1 and Rp2 correspond to an example of the “candidate region” of the present invention
  • the reference plane L corresponds to an example of the “reference plane” of the present invention.
  • the present invention is not limited to the above-described embodiment, and various changes other than those described above can be made without departing from the gist of the present invention.
  • the target to which the inspection processing in FIG. 5 is applied is not limited to the target object J described above. Therefore, the inspection process may be executed with the following spanner as the object J.
  • FIG. 8 is a diagram showing a spanner as a different example to which the inspection processing is applied.
  • FIG. 8 shows a difference image obtained by executing steps S201 to S203 of FIG. 5 on the spanner.
  • the wall region Rw is shown in dark gray
  • the flat region Rf is shown in lighter gray.
  • white circles are also shown for the shape defects (dents) detected by executing steps S204 to S212.
  • the flowchart of FIG. 5 ends when one shape defect is detected (“YES” in step S210), and a defect determination is performed (step S212), but the example in FIG.
  • the process proceeds to step S211 after step S212, and corresponds to the result of performing the pass / fail determination on all the candidate regions Rp.
  • the tolerance of the shape defect may be different between the mouth portion on the left side of the step on the neck and the handle portion on the right side. Therefore, the threshold Zt used in step S210 may be different between the flat region Rf1 on the left side of the step and the flat region Rf2 on the right side of the step.
  • the pass / fail determination unit 913 sets different thresholds Zt for each of the plurality of ranges Rf1 and Rf2 included in the flat region Rf.
  • steps S204 to S209 may be omitted, and if a difference equal to or greater than the predetermined threshold value Zt exists in the difference image calculated in step S203, a defect determination may be made.
  • the pass / fail judgment is performed on the shape defect having the concave shape.
  • the pass / fail judgment is performed on the shape defect having the convex shape, and the inspection processing in FIG. 5 can be similarly used.
  • the function of performing the inspection process may be independent of the three-dimensional shape inspection device 1.
  • the imaging control unit 94 and the measurement program Pm may be transferred from the controller 9 to another arithmetic unit of the three-dimensional shape inspection device 1, and the controller 9 may be made independent from the three-dimensional shape inspection device 1.
  • the inspection program Pi installed on a personal computer, it is possible to realize a computer that executes inspection processing independently of the three-dimensional shape inspection apparatus 1.
  • the specific configuration of the imaging unit 4, that is, the number and arrangement of the cameras 41 or the projectors 42 may have various modes.
  • the imaging unit 4 is not limited to the one that images the object J on which the pattern is projected. Therefore, the imaging unit 4 is configured to capture a distance image of the object J based on the result of detecting the laser light reflected by the object J with the solid-state imaging device while irradiating the object J with the laser light. May be.
  • the present invention is applicable to all kinds of techniques for measuring the three-dimensional shape of an object.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

計測データと良品データとの間に生じる差分に基づき形状欠陥の有無を判定するにあたり、対象物に本来存在する壁面と区別して、形状欠陥の有無を的確に判定する。良品データＤｒが示す良品の表面のうち、Ｚ軸方向に対して成す鋭角θａが所定鋭角θｂより小さいあるいはＺ軸方向に平行な壁面領域Ｒｗを除いた平坦領域Ｒｆにおける差分に基づき、対象物Ｊにおける形状欠陥の有無が判定される（ステップＳ２０２、Ｓ２０３、Ｓ２１０）。したがって、対象物Ｊに本来存在する壁面と区別して、形状欠陥の有無を的確に判定することが可能となっている。

Description

三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ
　この発明は、対象物における形状欠陥の有無を判定する技術に関する。
　従来、対象物を撮像した画像に基づき、対象物における形状欠陥の有無を判定する検査装置が知られている。例えば特許文献１に記載の検査装置は、形状欠陥を有しない対象物である良品を示す基準画像と、対象物を撮像することで得られた検査画像との比較に基づき、形状欠陥の有無を判定する。
特開２０１５－０６８６６８号公報
　ところで、二次元的な画像に基づく上記の検査では、形状欠陥の有無を的確に判定できない場合があった。例えば、鍛造品等の対象物が有する比較的平坦な領域に対する検査には、打撃によって生じた凹凸、すなわち打痕を形状欠陥として検出するものがある。この際、打痕が対象物の品質にとって問題となるかを判定するには、撮像した画像に表れる打痕の面積よりも、画像の奥行方向における打痕の深さが重要となる場合がある。これに対して、上記の二次元的な画像からは、打痕の深さを的確に把握することができない。
　つまり、二次元的な画像では、形状欠陥の有無を判定するのに重要となる方向における情報が無いために、かかる判定を的確にできない場合があった。そこで、対象物の表面の三次元形状を計測した結果である計測データと、形状欠陥を有さない良品の表面の三次元形状を示す良品データとの差分により、形状欠陥の有無を判定する方法が考えられる。
　なお、計測データと良品データとの差分の算出は、各データが示す三次元形状それぞれの位置を合わせて、これらの差を抽出することで実行される。この際、各データが示す三次元形状の位置合わせが正確でないと、差分が本来存在しない部分に、差分が存在すると誤判定する可能性がある。つまり、上記の鍛造品の例では、奥行き方向に急峻に傾いたあるいは平行な壁面が良品の鍛造品の端や段差に存在しうる。これに対して、奥行き方向に直交する方向において、各データが示す三次元形状の位置合わせにずれがあると、この壁面の近傍で大きな差分が生じる。そのため、差分が良品に本来存在する壁面を示すのか、形状欠陥を示すのかを判別できず、形状欠陥の有無を的確に判定できない場合があった。
　この発明は上記課題に鑑みなされたものであり、計測データと良品データとの間に生じる所定方向への差分に基づき形状欠陥の有無を判定するにあたり、対象物に本来存在する壁面と区別して、形状欠陥の有無を的確に判定することを可能とする技術の提供を目的とする。
　本発明に係る三次元形状検査装置は、対象物を撮像する撮像ユニットと、撮像ユニットに対象物を撮像させた結果に基づき対象物の表面の三次元形状を計測して計測データを取得するデータ取得部と、計測データと、形状欠陥を有さない良品の表面の三次元形状を示す良品データとを比較することで、計測データが示す対象物の表面の位置と、良品データが示す良品の表面の位置との所定方向への差分を求める差分算出部と、良品データが示す良品の表面のうち、所定方向に対して成す鋭角が所定角より小さいあるいは所定方向に平行な壁面領域を除いた対象領域における差分に基づき、対象物における形状欠陥の有無を判定する良否判定部とを備える。
　本発明に係る三次元形状検査方法は、対象物の表面の三次元形状を計測した結果である計測データと、形状欠陥を有さない良品の表面の三次元形状を示す良品データとを比較することで、計測データが示す対象物の表面の位置と、良品データが示す良品の表面の位置との所定方向への差分を求める工程と、良品データが示す良品の表面のうち、所定方向に対して成す鋭角が所定角より小さいあるいは所定方向に平行な壁面領域を除いた対象領域における差分に基づき、対象物における形状欠陥の有無を判定する工程とを備える。
　本発明に係る三次元形状検査プログラムは、対象物の表面の三次元形状を計測した結果である計測データと、形状欠陥を有さない良品の表面の三次元形状を示す良品データとを比較することで、計測データが示す対象物の表面の位置と、良品データが示す良品の表面の位置との所定方向への差分を求める工程と、良品データが示す良品の表面のうち、所定方向に対して成す鋭角が所定角より小さいあるいは所定方向に平行な壁面領域における差分に基づき、対象物における形状欠陥の有無を判定する工程とをコンピュータに実行させる。
　本発明に係るコンピュータは、上記の三次元形状検査プログラムを実行する。
　このように構成された本発明（三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ）は、対象物の表面の三次元形状を計測した結果である計測データと、形状欠陥を有さない良品の表面の三次元形状を示す良品データとを比較する。これによって、計測データが示す対象物の表面の位置と、良品データが示す良品の表面の位置との所定方向への差分が求められ、かかる差分に基づき、対象物における形状欠陥の有無が判定される。つまり、計測データと良品データとの間に生じる所定方向への差分に基づき形状欠陥の有無が判定される。この際、良品データが示す良品の表面のうち、所定方向に対して成す鋭角が所定角より小さいあるいは所定方向に平行な壁面領域を除いた対象領域における差分に基づき、対象物における形状欠陥の有無が判定される。したがって、対象物に本来存在する壁面と区別して、形状欠陥の有無を的確に判定することが可能となっている。
　また、差分算出部は、壁面領域については差分を算出せず、対象領域について差分を算出するように、三次元形状検査装置を構成しても良い。これによって、演算量を抑制しつつ、形状欠陥の有無を判定するのに要する差分を算出することができる。
　また、良否判定部は、対象領域のうち、所定方向における差分の大きさが所定値未満である領域を形状欠陥の有無の判定対象から除外するように、三次元形状検査装置を構成しても良い。かかる構成では、形状欠陥の有無の判定対象を比較的大きな差分が表れる領域に絞り込んで、形状欠陥の有無を的確に判定することができる。
　また、良否判定部は、対象領域において判定対象として残った領域のうち、所定方向に直交する平面における面積が所定面積未満である領域を判定対象からさらに除外するように、三次元形状検査装置を構成しても良い。かかる構成では、形状欠陥の有無の判定対象を比較的大きな面積を有する領域に絞り込んで、形状欠陥の有無を的確に判定することができる。
　また、良否判定部は、対象領域のうち、判定対象として残った領域を候補領域として抽出し、候補領域の周縁の領域を所定方向に直交する平面で近似して基準平面を設定し、所定方向において候補領域が基準平面から最も離れる位置での基準平面からの距離が閾値以上である場合に、候補領域に形状欠陥が存在すると判定するように、三次元形状検査装置を構成しても良い。かかる構成では、候補領域の周縁の領域を近似する基準平面に基づき、候補領域における形状欠陥の有無を的確に判定することができる。
　また、良否判定部は、対象領域に含まれる複数の範囲のそれぞれに対して異なる閾値を設定するように、三次元形状検査装置を構成しても良い。かかる構成では、対象物の場所に応じた適切な閾値に基づき、形状欠陥の存在を的確に判定することができる。
　以上のように、本発明によれば、計測データと良品データとの間に生じる所定方向への差分に基づき形状欠陥の有無を判定するにあたり、対象物に本来存在する壁面と区別して、形状欠陥の有無を的確に判定することが可能となっている。
本発明に係る三次元形状検査装置の一例を模式的に示す図。 図１に示す三次元形状検査装置が備える電気的構成の一例を示すブロック図。 対象物の三次元形状を計測する計測処理の一例を示すフローチャート。 良品データおよび計測データそれぞれの一例を模式的に示す図。 対象物における形状欠陥の有無を検査する検査処理の一例を示すフローチャート。 図５に示す検査処理での演算内容を模式的に示す図。 図５に示す検査処理での演算内容を模式的に示す図。 図５に示す検査処理での演算内容を模式的に示す図。 図５に示す検査処理での演算内容を模式的に示す図。 図５に示す検査処理での演算内容を模式的に示す図。 検査処理の適用対象の異なる例としてスパナを示す図。
　図１は本発明に係る三次元形状検査装置の一例を模式的に示す図である。同図および以下の図では、Ｚ軸方向を鉛直方向とし、Ｘ軸方向およびＹ軸方向をそれぞれ水平方向とするＸＹＺ直交座標系を適宜示す。三次元形状検査装置１は、対象物Ｊを支持する支持テーブル２と、支持テーブル２上の対象物Ｊの三次元形状を計測して点群データを取得するための撮像ユニット４とを備える。
　対象物Ｊが鉄等を含んで磁力により保持できる場合には、支持テーブル２として電磁石テーブルを用いることができる。また、対象物Ｊが樹脂等の磁力により保持できないものである場合には、エアー吸着あるいはチャック機構によって対象物Ｊを支持するテーブルを支持テーブル２として用いることができる。
　撮像ユニット４は、カメラ４１とプロジェクタ４２とを有する。カメラ４１は、撮像範囲Ｆ（換言すれば、視野）内からそのレンズ４１１に入射した光を固体撮像素子に結像することで、撮像範囲Ｆの画像を撮像する。プロジェクタ４２は、光源からの光をＤＭＤ(Digital Mirror Device)等で変調することで、撮像範囲Ｆに対して光のパターンを射出する。
　図２は図１に示す三次元形状検査装置が備える電気的構成の一例を示すブロック図である。図２に示すように、三次元形状検査装置１は、演算部９１、記憶部９２、通信部９３および撮像制御部９４を有するコントローラ９を備える。演算部９１はＣＰＵ(Central Processing Unit)やＲＡＭ(Random Access Memory)等で構成されたプロセッサであり、装置全体の制御を統括する。記憶部１２は、ＨＤＤ(Hard Disk Drive)で構成され、計測プログラムＰｍ、検査プログラムＰｉ、良品データＤｒおよび計測データＤｍ等を記憶する。これら各種のプログラムＰｍ、ＰｉおよびデータＤｒ、Ｄｍの内容は後述する。通信部９３は、外部装置との通信機能を担当する。
　撮像制御部９４は、撮像ユニット４を用いて、対象物Ｊの表面の三次元形状を計測する。具体的には、撮像制御部９４は、プロジェクタ４２から支持テーブル２上の対象物Ｊへ向けてパターンを照射しつつ撮像範囲Ｆ内の対象物Ｊをカメラ４１により撮像することで、パターンが照射された対象物Ｊを撮像して画像Ｍを取得する。かかる画像Ｍには、対象物Ｊの表面の三次元形状に応じて変形したパターンが含まれる。また、演算部９１は、上記の計測プログラムＰｍを実行することで、その内部にデータ生成部９１１を展開する。そして、データ生成部９１１は、撮像制御部９４により取得された画像Ｍに基づき、対象物Ｊの三次元形状を示す点群データを生成する。なお、パターンを照射しつつ対象物Ｊを撮像した画像に基づき対象物Ｊの三次元形状を計測する具体的手法は、位相シフト法および空間コード化法等の種々の方法を用いることができる。
　図３は対象物の三次元形状を計測する計測処理の一例を示すフローチャートである。同図のフローチャートのうち、ステップＳ１０１～Ｓ１０３は撮像制御部９４の制御により実行され、ステップＳ１０４はデータ生成部９１１の演算により実行される。計測処理では、カメラ４１の光軸Ａの方向から見て、撮像ユニット４の撮像範囲Ｆに支持テーブル２上の対象物Ｊを収めた状態で、プロジェクタ４２から支持テーブル２上の対象物Ｊにパターンが投影され（ステップＳ１０１）、パターンが投影された対象物Ｊがカメラ４１により撮像される（ステップＳ１０２）。そして、互いに異なる複数のパターンの全てについて撮像が完了したかが確認される（ステップＳ１０３）。全パターンの撮像が完了していない場合（ステップＳ１０３で「ＮＯ」の場合）には、対象物Ｊに投影するパターンを変更しつつ、ステップＳ１０１、Ｓ１０２が再実行される。一方、全パターンの撮像が完了している場合（ステップＳ１０３で「ＹＥＳ」の場合）には、これらのパターンのそれぞれを含む複数の画像Ｍに基づき、対象物Ｊの表面の三次元形状を示す点群データが作成され（ステップＳ１０４）、計測データＤｍとして記憶部９２に記憶される。つまり、計測データＤｍは、計測処理で計測された対象物Ｊの表面の三次元形状を示す点群データである。
　また、図２に示すコントローラ９は、この計測データＤｍに基づき、対象物Ｊの表面に打痕等の形状欠陥が存在するか否かを判定する検査処理を実行する。具体的には、上記の検査プログラムＰｉは検査処理の内容を規定しており、演算部９１は検査プログラムＰｉを実行することで、検査処理に要する演算を担う差分算出部９１２および良否判定部９１３をその内部に展開する。また、記憶部９２には、検査処理で使用される良品データＤｒが予め保存されている。この良品データＤｒは、形状欠陥を有さない対象物Ｊである良品の表面の三次元形状を示す点群データである。かかる良品データＤｒは、良品に対して計測処理を実行することで得られた点群データでも良いし、対象物ＪのＣＡＤ(Computer-Aided Design)データに基づき生成されたものでも良い。
　図４は良品データおよび計測データそれぞれの一例を模式的に示す図である。良品データＤｒが示す対象物Ｊの表面の三次元形状Ｓｒ（「良品三次元形状Ｓｒ」と適宜称する）は、Ｙ軸方向に延設された長方形状の平板の上部をＹ軸方向に平行に切り欠いた外形を有する。この良品データＤｒは、各ＸＹ座標における良品三次元形状ＳｒのＺ軸方向への位置を示す。一方、計測データＤｍが示す計測された対象物Ｊの表面の三次元形状Ｓｍ（「計測三次元形状Ｓｍ」と適宜称する）は、良品データＤｒが示す三次元形状Ｓｒの上面で凹部Ｃが上方へ開口する外形を有する。この計測データＤｍは、各ＸＹ座標における計測三次元形状ＳｍのＺ軸方向への位置を示す。なお、同図に示す対象物Ｊは一例に過ぎず、以下に説明する検査処理の適用対象が同図の例に限られないことは言うまでもない。
　図５は対象物における形状欠陥の有無を検査する検査処理の一例を示すフローチャートであり、図６および図７Ａ～図７Ｄは図５に示す検査処理での演算内容を模式的に示す図である。この検査処理は、カメラ４１に対向する対象物Ｊの比較的平坦な上面における打痕の有無を検査する。
　ステップＳ２０１では、差分算出部９１２は、良品データＤｒと計測データＤｍとのデータマッチングを実行する。このデータマッチングは、図７Ａに示すように、良品三次元形状Ｓｒおよび計測三次元形状Ｓｍそれぞれの対応点（すなわち、同一の位置を表す点）を一致させることで、これら三次元形状Ｓｒ、Ｓｍの位置合わせを実行する演算処理である。
　ステップＳ２０２では、差分算出部９１２は、位置合わせされた三次元形状Ｓｒ、Ｓｍの壁面領域Ｒｗに対してマスクを設定する。かかるマスクの設定は、良品三次元形状Ｓｒにおける壁面領域Ｒｗの存在範囲の特定と、当該壁面領域Ｒｗへのマスクの設定との二段階で実行される。図６に示すように、壁面領域Ｒｗは、それとＺ軸方向との間の鋭角θａが所定鋭角θｂ（所定角）より小さい領域、あるいはＺ軸方向に平行な領域である。良品三次元形状Ｓｒの各点での傾きは、例えば当該各点での勾配を算出することで求められる。また、所定鋭角θｂは、検査プログラムＰｉに規定されていても良いし、ユーザにより設定されても良い。
　差分算出部９１２は、かかる壁面領域Ｒｗを良品三次元形状Ｓｒから探索することで、壁面領域Ｒｗの存在範囲を特定する。そして、差分算出部９１２は、位置合わせされた三次元形状Ｓｒ、Ｓｍにおける壁面領域Ｒｗの存在範囲にマスクを設定する。その結果、図７Ｂに示すように、斜線のハッチングが付された壁面領域Ｒｗにマスクが設定され、以後の演算の対象から、壁面領域Ｒｗが除外される。その結果、位置合わせされた三次元形状Ｓｒ、Ｓｍのうち、比較的平坦な（換言すれば、ＸＹ平面に平行な）平坦領域Ｒｆが抽出される。
　ステップＳ２０３では、差分算出部９１２は、位置合わせされた良品三次元形状Ｓｒの平坦領域Ｒｆと計測三次元形状Ｓｍの平坦領域ＲｆとのＺ軸方向における位置の差を各ＸＹ座標について算出する。こうして、計測データＤｍが示す対象物Ｊの表面の位置と、良品データＤｒが示す良品の表面の位置とのＺ軸方向の差分が求められる。かかる差分は、Ｚ軸方向に直交するＸＹ平面に比較的平行な範囲で概ねゼロとなる一方、良品データＤｒが示す良品に存在せずに計測データＤｍが示す対象物Ｊに存在する凹部Ｃにおいて大きくなる。その結果、図７Ｃに示すように、３個の凹部Ｃを顕在化した差分画像Ｍｃが得られる。
　ステップＳ２０４では、良否判定部９１３は、差分の大きさが所定値以上である画素を抽出する。このステップＳ２０４は、差分画像Ｍｃのうちから平坦な領域を除外して、凹部Ｃに係る画素を抽出する目的で実行される。
　ステップＳ２０５では、良否判定部９１３は、ステップＳ２０４で抽出された画素を連結して連結領域Ｒｃを設定する。これはＸＹ座標において隣接する画素を関連付けることで、同一の凹部Ｃに属する画素を関連付ける一方、異なる凹部Ｃに属する画素を区別する目的で実行される。したがって、図７Ｃの例では、３個の凹部Ｃのそれぞれに連結領域Ｒｃが設定されることとなる。
　ステップＳ２０６では、良否判定部９１３は、ＸＹ平面において所定面積以上の面積を有する連結領域Ｒｃを候補領域Ｒｐとして抽出する。図７Ｃの例では、３個の連結領域Ｒｃのうち、２個の連結領域Ｒｃが候補領域Ｒｐ１、Ｒｐ２として抽出される。
　続いて、良否判定部９１３は、候補領域Ｒｐ１、Ｒｐ２を識別する識別番号Ｉをゼロにリセットし（ステップＳ２０７）、識別番号Ｉをインクリメントする（ステップＳ２０８）。これによって、候補領域Ｒｐ１が以後のステップの実行対象に設定される。
　ステップＳ２０９では、良否判定部９１３は、図７Ｄの「Ｒｐ１」の欄に示すように、差分画像Ｍｃにおける候補領域Ｒｐ１の周縁領域をＺ軸方向に直交する平面で近似した基準平面Ｌを候補領域Ｒｐ１に設定する。かかる平面近似は、例えば最小自乗法により実行できる。そして、ステップＳ２１０では、良否判定部９１３は、Ｚ軸方向において候補領域Ｒｐ１が基準平面Ｌから最も離れる位置Ｖ１（換言すればピーク）での基準平面Ｌからの距離Ｚ１が、閾値Ｚｔ以上であるかを判定する。ここでは、距離Ｚ１が閾値Ｚｔ未満であるため、良否判定部９１３は、ステップＳ２１０で「ＮＯ」と判定し、ステップＳ２１１に進む。
　ステップＳ２１１では、識別番号Ｉが候補領域Ｒｐの個数Ｉｘ（＝２）に等しいかが判定される。ここでは、識別番号Ｉが「１」であるため、ステップＳ２１１で「ＮＯ」と判定される。その結果、ステップＳ２０８に戻って識別番号Ｉがインクリメントされる。これによって、候補領域Ｒｐ２が以後のステップの実行対象に設定される。
　ステップＳ２０９では、良否判定部９１３は、図７Ｄの「Ｒｐ２」の欄に示すように、差分画像Ｍｃにおける候補領域Ｒｐ２の周縁領域をＺ軸方向に直交する平面で近似した基準平面Ｌを候補領域Ｒｐ２に設定する。そして、ステップＳ２１０では、良否判定部９１３は、Ｚ軸方向において候補領域Ｒｐ２が基準平面Ｌから最も離れる位置Ｖ２（換言すればピーク）での基準平面Ｌからの距離Ｚ２が、閾値Ｚｔ以上であるかを判定する。ここでは、距離Ｚ２が閾値Ｚｔ以上であるため、良否判定部９１３は、ステップＳ２１０で「ＹＥＳ」と判定し、候補領域Ｒｐ１に不良形状（打痕）が存在するとして不良判定を行う（ステップＳ２１２）。
　ちなみに、ステップＳ２０６で抽出された全ての候補領域Ｒｐについて、ステップＳ２１０で「ＮＯ」と判定された場合には、良否判定部９１３は、対象物Ｊに不良形状は存在しないとして、良品判定を行う（ステップＳ２１３）。
　以上に説明した実施形態では、対象物Ｊの表面の三次元形状Ｓｍを計測した結果である計測データＤｍと、形状欠陥を有さない良品の表面の三次元形状Ｓｒを示す良品データＤｒとを比較する（ステップＳ２０１、Ｓ２０３）。これによって、計測データＤｍが示す対象物Ｊの表面の位置と、良品データＤｒが示す良品の表面の位置とのＺ軸方向への差分が求められ（ステップＳ２０３）、かかる差分に基づき、対象物Ｊにおける形状欠陥の有無が判定される（ステップＳ２１０）。つまり、計測データＤｍと良品データＤｒとの間に生じるＺ軸方向への差分に基づき形状欠陥の有無が判定される。この際、良品データＤｒが示す良品の表面のうち、Ｚ軸方向に対して成す鋭角θａが所定鋭角θｂより小さいあるいはＺ軸方向に平行な壁面領域Ｒｗを除いた平坦領域Ｒｆにおける差分に基づき、対象物Ｊにおける形状欠陥の有無が判定される（ステップＳ２０２、Ｓ２０３、Ｓ２１０）。したがって、対象物Ｊに本来存在する壁面と区別して、形状欠陥の有無を的確に判定することが可能となっている。
　また、差分算出部９１２は、壁面領域Ｒｗについては差分を算出せず、平坦領域Ｒｆについて差分を算出する（ステップＳ２０２、Ｓ２０３）。これによって、差分算出部９１２の演算量を抑制しつつ、形状欠陥の有無を判定するのに要する差分（すなわち、平坦領域Ｒｆでの差分）を算出することができる。
　また、良否判定部９１３は、平坦領域Ｒｆのうち、Ｚ軸方向における差分の大きさが所定値未満である領域を形状欠陥の有無の判定対象から除外する（ステップＳ２０４）。かかる構成では、形状欠陥の有無の判定対象を比較的大きな差分が表れる領域に絞り込んで、形状欠陥の有無を的確に判定することができる。
　また、良否判定部９１３は、平坦領域Ｒｆにおいて判定対象として残った連結領域Ｒｃのうち、Ｚ軸方向に直交するＸＹ平面における面積が所定面積未満である連結領域Ｒｃを判定対象からさらに除外する（ステップＳＳ２０６）。かかる構成では、形状欠陥の有無の判定対象を比較的大きな面積を有する連結領域Ｒｃに絞り込んで、形状欠陥の有無を的確に判定することができる。
　また、良否判定部は、平坦領域Ｒｆのうち、判定対象として残った連結領域Ｒｃを候補領域Ｒｐ１、Ｒｐ２として抽出し（ステップＳ２０６）、候補領域Ｒｐ１、Ｒｐ２の周縁領域をＺ軸方向に直交するＸＹ平面で近似して基準平面Ｌを設定する。そして、Ｚ軸方向において候補領域Ｒｐ１、Ｒｐ２が基準平面Ｌから最も離れる位置Ｖ１、Ｖ２での基準平面Ｌからの距離Ｚ１、Ｚ２が閾値Ｚｔ以上である場合に、候補領域Ｒｐ１に形状欠陥が存在すると判定する。かかる構成では、候補領域Ｒｐ１、Ｒｐ２の周縁領域を近似する基準平面Ｌに基づき、候補領域Ｒｐ１、Ｒｐ２における形状欠陥の有無を的確に判定することができる。
　以上に説明した実施形態では、三次元形状検査装置１が本発明の「三次元形状検査装置」の一例に相当し、コントローラ９が本発明の「コンピュータ」の一例に相当し、検査プログラムＰｉが本発明の「三次元形状検査プログラム」の一例に相当し、撮像ユニット４が本発明の「撮像ユニット」の一例に相当し、撮像制御部９４が本発明の「データ取得部」の一例に相当し、差分算出部９１２が本発明の「差分算出部」の一例に相当し、良否判定部９１３が本発明の「良否判定部」の一例に相当し、計測データＤｍが本発明の「計測データ」の一例に相当し、良品データＤｒが本発明の「良品データ」の一例に相当し、三次元形状Ｓｍ、Ｓｒが本発明の「三次元形状」の一例に相当し、Ｚ軸方向が本発明の「所定方向」の一例に相当し、壁面領域Ｒｗが本発明の「壁面領域」の一例に相当し、平坦領域Ｒｆが本発明の「対象領域」の一例に相当し、候補領域Ｒｐ１、Ｒｐ２が本発明の「候補領域」の一例に相当し、基準平面Ｌが本発明の「基準平面」の一例に相当する。
　なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上述したとおり、図５の検査処理の適用対象は、上記の対象物Ｊに限られない。そこで、次に示すスパナを対象物Ｊとして検査処理を実行しても良い。
　図８は検査処理の適用対象の異なる例としてスパナを示す図である。特に図８では、スパナに対して図５のステップＳ２０１～Ｓ２０３を実行することで求められた差分画像が示されている。この差分画像では、壁面領域Ｒｗが暗い灰色で示され、平坦領域Ｒｆがこれより明るい灰色で示されている。さらに、ステップＳ２０４～Ｓ２１２を実行することで検出された形状欠陥（打痕）に対して、白色の丸印が併せて示されている。なお、図５のフローチャートは、１個の形状欠陥が検出された時点で（ステップＳ２１０で「ＹＥＳ」）、不良判定を行って（ステップＳ２１２）、終了していたが、図８の例は、ステップＳ２１２の次にステップＳ２１１に進んで、全ての候補領域Ｒｐに対して良否判定を実行した結果に相当する。
　ちなみに、図８のスパナのような対象物Ｊでは、例えば首の段差より左側の口の部分と、右側の柄の部分とでは、形状欠陥に対する許容度が異なる場合がある。そこで、段差左側の平坦領域Ｒｆ１と、段差右側の平坦領域Ｒｆ２とで、ステップＳ２１０で用いる閾値Ｚｔを異ならせても良い。この場合、良否判定部９１３は、平坦領域Ｒｆに含まれる複数の範囲Ｒｆ１、Ｒｆ２のそれぞれに対して異なる閾値Ｚｔを設定する。かかる構成では、ステップＳ２０９において、対象物Ｊの場所に応じた適切な閾値Ｚｔに基づき、形状欠陥の存在を的確に判定することができる。
　また、図５のフローチャートのステップを適宜省略することもできる。例えば、ステップＳ２０４～Ｓ２０９を省略して、ステップＳ２０３で算出した差分画像に所定の閾値Ｚｔ以上の差分が存在する場合には、不良判定を行うように構成しても良い。
　また、上記の例では、凹形状を有する形状欠陥について良否判定を行うが、凸形状を有する形状欠陥に対して良否判定を行うにあたって、図５の検査処理を同様に用いることができる。
　また、検査処理を行う機能を、三次元形状検査装置１から独立させても良い。具体的には、撮像制御部９４および計測プログラムＰｍをコントローラ９から三次元形状検査装置１の別の演算装置に移設して、このコントローラ９を三次元形状検査装置１から独立させれば良い。あるいは、パーソナルコンピュータに検査プログラムＰｉをインストールすることで、三次元形状検査装置１から独立して検査処理を実行するコンピュータを実現できる。
　また、撮像ユニット４の具体的構成、すなわちカメラ４１あるいはプロジェクタ４２の個数や配置には種々の態様がありうる。
　また、撮像ユニット４は、パターンが投影された対象物Ｊを撮像するものに限られない。したがって、レーザ光を対象物Ｊに照射しつつ、対象物Ｊで反射されたレーザ光を固体撮像素子で検出した結果に基づき対象物Ｊの距離画像を撮像するように、撮像ユニット４を構成しても良い。
　本発明は、対象物の三次元形状を計測する技術の全般に適用可能である。
　１…三次元形状検査装置
　４…撮像ユニット
　９…コントローラ（コンピュータ）
　９１２…差分算出部
　９１３…良否判定部
　９４…撮像制御部（データ取得部）
　Ｄｍ…計測データ
　Ｄｒ…良品データ
　Ｌ…基準平面
　Ｐｉ…検査プログラム（三次元形状検査プログラム）
　Ｒｆ…平坦領域（対象領域）
　Ｒｐ１、Ｒｐ２…候補領域
　Ｒｗ…壁面領域
　Ｓｍ、Ｓｒ…三次元形状
　Ｚ…Ｚ軸方向（所定方向）

Claims (9)

  1. 　対象物を撮像する撮像ユニットと、
    　前記撮像ユニットに前記対象物を撮像させた結果に基づき前記対象物の表面の三次元形状を計測して計測データを取得するデータ取得部と、
    　前記計測データと、形状欠陥を有さない良品の表面の三次元形状を示す良品データとを比較することで、前記計測データが示す前記対象物の表面の位置と、前記良品データが示す前記良品の表面の位置との所定方向への差分を求める差分算出部と、
    　前記良品データが示す前記良品の表面のうち、前記所定方向に対して成す鋭角が所定角より小さいあるいは所定方向に平行な壁面領域を除いた対象領域における前記差分に基づき、前記対象物における前記形状欠陥の有無を判定する良否判定部と
    を備える三次元形状検査装置。
  2. 　前記差分算出部は、前記壁面領域については前記差分を算出せず、前記対象領域について前記差分を算出する請求項１に記載の三次元形状検査装置。
  3. 　前記良否判定部は、前記対象領域のうち、前記所定方向における前記差分の大きさが所定値未満である領域を前記形状欠陥の有無の判定対象から除外する請求項１または２に記載の三次元形状検査装置。
  4. 　前記良否判定部は、前記対象領域において前記判定対象として残った領域のうち、前記所定方向に直交する平面における面積が所定面積未満である領域を前記判定対象からさらに除外する請求項３に記載の三次元形状検査装置。
  5. 　前記良否判定部は、前記対象領域のうち、前記判定対象として残った領域を候補領域として抽出し、前記候補領域の周縁の領域を前記所定方向に直交する平面で近似して基準平面を設定し、前記所定方向において前記候補領域が前記基準平面から最も離れる位置での前記基準平面からの距離が閾値以上である場合に、前記候補領域に前記形状欠陥が存在すると判定する請求項３または４に記載の三次元形状検査装置。
  6. 　前記良否判定部は、前記対象領域に含まれる複数の範囲のそれぞれに対して異なる前記閾値を設定する請求項５に記載の三次元形状検査装置。
  7. 　対象物の表面の三次元形状を計測した結果である計測データと、形状欠陥を有さない良品の表面の三次元形状を示す良品データとを比較することで、前記計測データが示す前記対象物の表面の位置と、前記良品データが示す前記良品の表面の位置との所定方向への差分を求める工程と、
    　前記良品データが示す前記良品の表面のうち、前記所定方向に対して成す鋭角が所定角より小さいあるいは所定方向に平行な壁面領域を除いた対象領域における前記差分に基づき、前記対象物における前記形状欠陥の有無を判定する工程と
    を備える三次元形状検査方法。
  8. 　対象物の表面の三次元形状を計測した結果である計測データと、形状欠陥を有さない良品の表面の三次元形状を示す良品データとを比較することで、前記計測データが示す前記対象物の表面の位置と、前記良品データが示す前記良品の表面の位置との所定方向への差分を求める工程と、
    　前記良品データが示す前記良品の表面のうち、前記所定方向に対して成す鋭角が所定角より小さいあるいは所定方向に平行な壁面領域における前記差分に基づき、前記対象物における前記形状欠陥の有無を判定する工程と
    をコンピュータに実行させる三次元形状検査プログラム。
  9. 　請求項８に記載の三次元形状検査プログラムを実行するコンピュータ。
PCT/JP2019/033279 2018-09-25 2019-08-26 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ WO2020066415A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-178276 2018-09-25
JP2018178276A JP7153514B2 (ja) 2018-09-25 2018-09-25 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ

Publications (1)

Publication Number Publication Date
WO2020066415A1 true WO2020066415A1 (ja) 2020-04-02

Family

ID=69950415

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/033279 WO2020066415A1 (ja) 2018-09-25 2019-08-26 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ

Country Status (2)

Country Link
JP (1) JP7153514B2 (ja)
WO (1) WO2020066415A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022034694A1 (ja) * 2020-08-14 2022-02-17 日本電気株式会社 撮影装置、撮影ユニット、画像分析装置および三次元形状計測システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0674904A (ja) * 1992-08-26 1994-03-18 Sumitomo Metal Ind Ltd 被検出材の微小欠陥検出方法及び装置
JP2000346813A (ja) * 1999-06-07 2000-12-15 Kanebo Ltd 物品の表面検査装置
JP2015068668A (ja) * 2013-09-27 2015-04-13 株式会社Ｓｃｒｅｅｎホールディングス 外観検査装置
JP2018144153A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5564348B2 (ja) 2010-07-15 2014-07-30 株式会社キーエンス 画像処理装置及び外観検査方法
JP6384171B2 (ja) 2014-07-23 2018-09-05 アイシン精機株式会社 欠陥抽出装置及び欠陥抽出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0674904A (ja) * 1992-08-26 1994-03-18 Sumitomo Metal Ind Ltd 被検出材の微小欠陥検出方法及び装置
JP2000346813A (ja) * 1999-06-07 2000-12-15 Kanebo Ltd 物品の表面検査装置
JP2015068668A (ja) * 2013-09-27 2015-04-13 株式会社Ｓｃｒｅｅｎホールディングス 外観検査装置
JP2018144153A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022034694A1 (ja) * 2020-08-14 2022-02-17 日本電気株式会社 撮影装置、撮影ユニット、画像分析装置および三次元形状計測システム

Also Published As

Publication number Publication date
JP2020051762A (ja) 2020-04-02
JP7153514B2 (ja) 2022-10-14

Similar Documents

Publication Publication Date Title
US9182221B2 (en) Information processing apparatus and information processing method
JP5436431B2 (ja) 被検体の凹凸検出方法とその装置
JP6507653B2 (ja) 検査装置及び検査装置の制御方法
JP6465682B2 (ja) 情報処理装置、情報処理方法及びプログラム
US7880899B2 (en) Three-dimensional measurement system, inspection method, three-dimensional measurement method and program
US11667036B2 (en) Workpiece picking device and workpiece picking method
WO2013061976A1 (ja) 形状検査方法およびその装置
JP2013186100A (ja) 形状検査方法およびその装置
JP2009115512A (ja) 物品検査方法
JP5913903B2 (ja) 形状検査方法およびその装置
JP2006010375A (ja) Ｓｅｍによる立体形状計測方法およびその装置
JP6116710B2 (ja) 外観検査装置および外観検査方法
WO2020066415A1 (ja) 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ
JP2017198470A (ja) 計測装置、計測方法、システム及び物品の製造方法
US9230337B2 (en) Analysis of the digital image of the internal surface of a tyre and processing of false measurement points
JP5403367B2 (ja) 物体形状評価装置
JP4784396B2 (ja) ３次元形状計測方法及びこれを用いた３次元形状計測装置
JP5445848B2 (ja) 物体形状評価装置
CN110678968A (zh) 用于检查半导体晶片的技术
JP2006269710A (ja) パターン評価方法および半導体装置の製造方法
JP6079664B2 (ja) 被測定物の表面測定装置およびその表面測定方法
JP2010025803A (ja) 位置決め機能を有する検査装置、位置決め機能を有する検査装置用プログラム、位置決め機能を有する検査装置の検査方法
JP4741943B2 (ja) 検査装置及び検査方法
JP2013167445A (ja) 欠陥抽出装置および欠陥抽出方法
JP4837541B2 (ja) 端面形状検査方法および同装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19865581

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19865581

Country of ref document: EP

Kind code of ref document: A1