WO2014045508A1 - 検査装置、検査方法、および検査プログラム - Google Patents

検査装置、検査方法、および検査プログラム Download PDF

Info

Publication number
WO2014045508A1
WO2014045508A1 PCT/JP2013/004625 JP2013004625W WO2014045508A1 WO 2014045508 A1 WO2014045508 A1 WO 2014045508A1 JP 2013004625 W JP2013004625 W JP 2013004625W WO 2014045508 A1 WO2014045508 A1 WO 2014045508A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
inspection
registered
difference
feature points
Prior art date
Application number
PCT/JP2013/004625
Other languages
English (en)
French (fr)
Inventor
大輔 西脇
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2014045508A1 publication Critical patent/WO2014045508A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method

Definitions

  • the present invention relates to an inspection apparatus, an inspection method, and an inspection program.
  • the present invention relates to an inspection apparatus, an inspection method, and an inspection program that inspect by image.
  • images acquired by photographing the inspection object with a camera must be used. There are many. Such an inspection is performed by determining whether or not the inspection object has a defect (that is, whether or not the inspection object is completed as designed) using the image of the inspection object.
  • a determination method for example, there is a method of detecting a difference by comparing an image of an inspection object that is registered in advance and has no defect with an image acquired from an inspection object that is determined to have a defect. .
  • an image acquisition environment for registering an image to be inspected without a defect and an image acquisition environment for acquiring an image to be inspected for the presence or absence of a defect are provided. It is important to be the same.
  • the image acquisition environment is, for example, a camera and a light source. Making the image acquisition environment the same means, for example, making the camera and camera parameters, the light source, the positional relationship between the camera and the light source, and the like when shooting these images the same.
  • Time and labor are required for a registration operation for capturing and storing an image to be inspected without defects and a reference adjustment operation for detecting defects from detected differences.
  • the inspection by the inspection environment is much faster than the manual inspection.
  • the production line is a low-volume, high-volume production line, once the above adjustment is completed, there is no need to readjust for a long time. In this case, since the time for readjustment is unnecessary, the time required for the inspection per inspection object is much shorter than the time required for the inspection when manually checking the inspection objects one by one.
  • the production line is a production line of a small quantity and a variety of products that has been increasing in recent years, it is necessary to adjust the inspection environment every time the type of inspection object changes. In this case, the visual inspection by hand may have a higher inspection efficiency.
  • human visual inspection there may be human-specific errors such as careless mistakes or missed defective products caused by misunderstandings.
  • quality may vary due to a difference in judgment criteria for each inspector. Therefore, it is desired to provide an inspection environment that requires less adjustment man-hours even in a small-lot, multi-product production line.
  • Patent Document 1 describes an appearance inspection apparatus that performs a defect inspection by comparing an image obtained by photographing an inspection object to be compared with an image obtained by photographing the inspection object.
  • the external appearance inspection apparatus of Patent Literature 1 includes both images of two or more different corresponding pattern portions of an image obtained by photographing an inspection object to be compared and an image obtained by photographing the inspection object to be inspected. Perform position alignment.
  • the appearance inspection apparatus corresponds to the reference image cut out from two or more positions of the image of the die that is the comparison target, and the position of the region on the image where the die that is the inspection target, that is, the inspection object is photographed, Detect in subpixel units.
  • the appearance inspection apparatus superimposes the two images so that the reference image on the image of the die to be compared overlaps the detected position on the image of the die to be inspected.
  • the appearance inspection apparatus performs defect inspection by comparing the patterns. Specifically, the appearance inspection apparatus generates a difference image between two images, and detects a die defect from the generated difference image.
  • the pattern inspection apparatus of Patent Document 2 detects die defects by comparing images of adjacent dies on a semiconductor wafer. When comparing the images of adjacent dies, the pattern inspection apparatus detects a positional shift on the image of the same portion of two adjacent dies using the image of that portion. The pattern inspection apparatus derives a gray level difference between pixels corresponding to each other when images of two dies are superimposed on the basis of the detected deviation. The pattern inspection apparatus generates a gray level difference image from the derived result. The pattern inspection apparatus detects the position of the defect candidate existing in the die from the generated gray level difference image. The pattern inspection apparatus further detects the position of the defect candidate in the same manner from one image of the two dies that generated the gray level difference image and the image of the other die adjacent to the die.
  • the pattern inspection apparatus when a defect candidate is detected in the next inspection at a position within a predetermined distance from the defect candidate detected in the previous inspection, is a defect candidate of the die that was the inspection object in both inspections. It is determined that there is a defect at the position where is detected.
  • Patent Document 3 describes a surface inspection device that uses two cameras to discriminate unevenness and dirt on a steel sheet. These two cameras are mounted so that the optical axis is in a direction perpendicular to the surface of the steel plate. Then, the surface inspection apparatus images the triangular calibration piece with two cameras before starting the inspection. The surface inspection apparatus calculates coordinate conversion parameters for affine transformation representing coordinate transformation between the two images from the coordinates of the vertexes of the calibration pieces in the two obtained images. At the time of inspection, the surface inspection apparatus photographs the steel plate simultaneously with two cameras. The surface inspection apparatus performs image conversion such that the coordinate systems of the two obtained images are the same coordinate system by coordinate conversion using the above-described coordinate conversion parameters. The surface inspection apparatus calculates the difference between the pixel values of each pixel for the two converted images. The surface inspection apparatus detects uneven scratches from the obtained difference.
  • One of the objects of the present invention is to provide an inspection apparatus that can reduce the load of adjustment work for inspection when the type of inspection object for detecting a defect or the arrangement of a camera with respect to the inspection object is changed. It is to provide.
  • the inspection apparatus is a registered image that is an image obtained by photographing the inspection object having no defect among inspection objects having a flat shape, and matches a predetermined condition extracted from the registration image.
  • a plurality of registered image storage means for storing a plurality of feature points, extraction of the plurality of feature points from an inspection image, wherein the inspection object is an image captured from a direction different from the imaging direction of the registered image capturing, Based on the plurality of feature points of the inspection image and the plurality of feature points of the registered image, the inspection is performed on a plurality of points on the inspection object including both the inspection image and the registered image.
  • the execution of the projective transformation for one image includes alignment means for performing alignment, and a difference detection means for detecting the difference of the test image and the registered image after the positioning.
  • the inspection method of the present invention is a registered image that is an image obtained by photographing the inspection object having no defect among inspection objects having a flat shape, and matches a predetermined condition extracted from the registration image.
  • a plurality of feature points are stored in the registered image storage means, and the inspection object is an image taken from a direction different from the shooting direction of the registered image shooting, and extraction of the plurality of feature points from the inspection image; Based on the plurality of feature points of the inspection image and the plurality of feature points of the registered image, the inspection is performed on a plurality of points on the inspection object including both the inspection image and the registered image.
  • Calculation of a conversion parameter representing projective transformation for matching the coordinates of the image of the point on one of the image and the registered image with the coordinates of the image of the point on the other image, and by the conversion parameter Above Square is the execution of the projective transformation for the image, it performs alignment, detects the difference of the test image and the registered image after the positioning.
  • the inspection program of the present invention causes a computer to match a registered image, which is an image of the inspection object having no defect among inspection objects having a flat shape, and a predetermined condition extracted from the registration image.
  • a registered image which is an image of the inspection object having no defect among inspection objects having a flat shape, and a predetermined condition extracted from the registration image.
  • a plurality of points on the inspection object that are included in both the inspection image and the registered image based on the plurality of feature points of the inspection image and the plurality of feature points of the registered image.
  • the execution of the projective transformation for the one image by conversion parameters, and alignment means for performing alignment, it is operated as a difference detecting means for detecting the difference of the test image and the registered image after the positioning.
  • the present invention can also be realized by a computer-readable tangible recording medium in which the above-described inspection program is stored.
  • the present invention reduces the load of adjustment for inspection when the type of inspection object and the arrangement between the camera that acquires the image for inspection and the inspection object are frequently changed. In addition, there is an effect that the inspection time including the adjustment time for the inspection can be shortened.
  • FIG. 1 is a block diagram illustrating a configuration of an inspection system 100 according to the first, second, and third embodiments.
  • FIG. 2 is a flowchart showing an operation when the registered image is stored in the registered image storage unit 11 of the inspection apparatus 1 of each embodiment.
  • FIG. 3 is a flowchart showing an operation of detecting the defect of the inspection object 4 from the inspection image of the inspection apparatus 1 according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of an inspection image.
  • FIG. 5 is a diagram illustrating an example of a registered image.
  • FIG. 6 is a flowchart showing the operation of the inspection apparatus 1 at the time of alignment.
  • FIG. 7 is a diagram illustrating an example of feature points extracted from the inspection image and the registered image.
  • FIG. 1 is a block diagram illustrating a configuration of an inspection system 100 according to the first, second, and third embodiments.
  • FIG. 2 is a flowchart showing an operation when the registered image is stored in the registered image storage unit 11 of the
  • FIG. 8 is a diagram illustrating an example of inspection images before and after deformation.
  • FIG. 9 is a diagram illustrating an example of a registered image, an inspection image after deformation, and a difference detected as a defect.
  • FIG. 10 is a flowchart showing an operation of detecting the defect of the inspection object 4 from the inspection image of the inspection apparatus 1 according to the second embodiment.
  • FIG. 11 is a block diagram illustrating calibration of the inspection apparatus 1 according to the fourth embodiment.
  • FIG. 12 is a diagram illustrating the arrangement of the imaging device 2 and the inspection object 4 in the configuration example of the first embodiment.
  • FIG. 13 is a diagram illustrating an example of a defect detection result using a mask.
  • FIG. 14 is a diagram illustrating an example of a defect detection result using a mask.
  • FIG. 15 is a diagram illustrating an example of a configuration of a computer 1000 that is used to implement the inspection apparatus 1.
  • FIG. 1 is a block diagram showing the configuration of an inspection system 100 according to the first embodiment of the present invention.
  • the inspection system 100 includes an inspection device 1, an imaging device 2, and an output device 3.
  • the inspection system 100 detects a defect in the inspection object 4.
  • the inspection apparatus 1 includes an input unit 10, a registered image storage unit 11, a registration unit 12, a difference detection unit 13, and an output unit 14.
  • the imaging device 2 is, for example, a camera that captures an image of the inspection object 4.
  • the output device 3 is a display device such as a display.
  • the output device 3 may be another device such as a printing device.
  • the output device 3 may be a general output device in a computer system.
  • the input unit 10 acquires an image obtained by photographing the inspection object 4 from the photographing device 2.
  • an image obtained by photographing the inspection object 4 that is an inspection object for detecting a defect is referred to as an inspection image.
  • the input unit 10 may acquire, as an inspection image, an image of the inspection target 4 that has been captured in advance by the imaging device 2 and stored in a registered image storage unit 11 described later or another storage unit (not illustrated). .
  • the registered image storage unit 11 stores an image of the inspection object 4 having no defect.
  • an image to be compared with an inspection image for defect detection is referred to as a registered image.
  • the image of the inspection object 4 having no defect stored in the registered image storage unit 11 is used as a registered image.
  • the alignment unit 12 calculates a conversion parameter representing a conversion that most matches one of the registered image and the acquired inspection image with the other.
  • the alignment unit 12 performs image conversion using the calculated conversion parameter.
  • the difference detection unit 13 detects a difference between the registered image and the inspection image after the image conversion.
  • the output unit 14 outputs the detected time to the output device 3.
  • FIG. 2 is a flowchart showing the operation when the registered image is stored in the registered image storage unit 11 of the inspection apparatus 1 of the present embodiment.
  • storing a registered image in the registered image storage unit 11 is also referred to as registering a registered image.
  • the operation of the inspection apparatus 1 according to another embodiment described later when the registered image is stored in the registered image storage unit 11 is the same as the operation represented by FIG.
  • the input unit 10 acquires a registered image from the photographing apparatus 2 (step S101).
  • the imaging device 2 may capture an image of the inspection object 4 that has been confirmed in advance to be free of defects.
  • a method for confirming that the inspection object 4 is free of defects may be any existing method. For example, an inspector may confirm by visual inspection that there is no defect in the inspection object 4. Alternatively, the following method may be used as a method for confirming that the inspection object 4 has no defect.
  • the imaging device 2 images three or more different inspection objects 4.
  • the input unit 10 acquires an image photographed by the photographing apparatus 2.
  • the alignment unit 12 and the difference detection unit 13 perform the operations described later, using one of the combinations as a registered image and the other as an inspection image for all combinations of two images taken. By doing so, the difference is detected.
  • the difference detection unit 13 does not detect a difference with respect to a combination of images of the inspection object 4 having no defect. On the other hand, for the combination of the image of the inspection object 4 having a defect and the image of the inspection object 4 having no defect, the difference detection unit 13 detects the difference. In the case of a combination of images of the inspection object 4 having a defect, the difference detection unit 13 does not detect the difference if the defect is the same, but the difference detection unit 13 detects the difference if the defect is not the same. If the number of inspection objects 4 having no defect is larger than the number of inspection objects 4 having a defect, the number of times that a difference is detected with respect to the image of the inspection object 4 having no defect is determined based on the image of the inspection object 4 having defects. On the other hand, it should be less than the number of times a difference is detected.
  • the input unit 10 may obtain a difference detection result from the difference detection unit 13 and set an image with the smallest number of detections of the difference as a registered image.
  • the input unit 10 stores the registered image in the registered image storage unit 11 (step S102).
  • FIG. 3 is a flowchart showing an operation of the inspection apparatus 1 according to the present embodiment when a defect of the inspection object 4 is detected from the inspection image.
  • the input unit 10 acquires an inspection image (step S103).
  • the inspection image is an image obtained by photographing the inspection object 4 that is an inspection object for detecting the presence or absence of a defect.
  • the alignment unit 12 reads a registered image from the registered image storage unit 11 (step S104). As described above, an image obtained by photographing the inspection object 4 having no defect is used as a registered image.
  • an inspection staff may specify registered images for the inspection images.
  • the alignment unit 12 may determine the type of the inspection object 4 shown in the inspection image by an existing arbitrary image recognition method. Then, the alignment unit 12 may read out the registered image of the determined type of the inspection object 4 from the registered image storage unit 11.
  • the alignment unit 12 aligns the acquired inspection image and the read registered image (step S105). This alignment is correction performed so that the size and shape of the inspection object 4 on the inspection image match the size and shape of the inspection object 4 on the registered image.
  • the alignment unit 12 performs alignment, for example, by performing correction for converting the inspection image with reference to the registered image.
  • the alignment unit 12 converts the registration image and the inspection image to eliminate differences in the size of the inspection object 4 on the image, differences in the orientation and orientation, and distortion in the inspection object 4 due to differences in the shooting direction. Is calculated. These differences are caused by the difference in the type of the imaging device 2 and the difference in the positional relationship between the imaging target 4 and the imaging device 2 when the registered image and the inspection image are captured.
  • the alignment unit 12 corrects the inspection image by conversion using the calculated conversion parameter.
  • the alignment may be to convert the registered image with reference to the inspection image. The alignment will be described in detail later.
  • the difference detection unit 13 detects the difference by comparing the registered inspection image with the registered image (step S106). The detection of the difference will be described in detail later.
  • the output unit 14 outputs the difference to the output device 3 (step S107).
  • FIG. 4 is an example of a registered image.
  • FIG. 5 is an example of an inspection image.
  • the registered image in FIG. 4 is a registered image for the inspection image in FIG.
  • the 4 and 5 are characters on the surface of the inspection object 4.
  • the surface of the inspection object 4 where these characters are present is a plane.
  • the characters in FIG. 4 and the characters in FIG. 5 are on the same plane.
  • the defect detected by the inspection apparatus 1 of the present embodiment is a difference in characters on the surface of the inspection object 4. 4 and 5 are different from FIG. 4 in the part corresponding to “8” in the character string “abc812” in the lower right of FIG. 5.
  • the portion corresponding to “8” in FIG. 5 is “0” in FIG.
  • the portion “8” of the character string “abc812” in FIG. 5 is defective.
  • the relationship between the coordinates of two points, which are images of the same point on the plane to be imaged, in two images taken of the same plane is the coordinates of the points on the other image from the coordinates of the points on the other image.
  • x2 Hx1 when the coordinate on one image is x1 and the coordinate on the other image is x2.
  • x1 and x2 are three-dimensional vectors whose third element is not zero.
  • Two-dimensional vectors represented by two elements, which are two values obtained by dividing the first element and the second element by the third element, of these vectors represent coordinates on the plane.
  • the matrix H is a 3 ⁇ 3 matrix that represents projective transformation.
  • a matrix that is a constant multiple of the matrix H also represents the same projective transformation. That is, the degree of freedom of the matrix H is 8.
  • the matrix H representing the projective transformation is also called a homography matrix.
  • the homography matrix between two images taken with the same plane is known, it is possible to calculate at which position in the other image all the points appearing in one image are located. As a result, an image corresponding to an image captured by the image capturing apparatus that captured the other image can be obtained from the one image and the homography matrix. In the calculation, it is not necessary to derive the position of the imaging device 2 that has captured two images with respect to the imaging target 4. Further, the photographing device 2 that photographed two images may not be the same photographing device.
  • An image of the inspection object 4 on the inspection image obtained by photographing the inspection object 4 having no defect is inspected on the registered image by converting the inspection image by a homography matrix that converts the inspection image into a registered image. Should match the image of object 4. Similarly, the image of the inspection object 4 on the registered image should match the image of the inspection object 4 on the inspection image by converting the registered image by a homography matrix that converts the registered image into the inspection image. .
  • the image conversion by the matrix representing the conversion represents the conversion for each pixel of the image to be converted. The specific process will be described later.
  • Non-Patent Document 1 if the coordinates of four sets of corresponding points are obtained between two images, a homography representing conversion from one image to the other image It is known that it is possible to derive an image conversion formula using a matrix (H). In other words, if there are four sets of corresponding point coordinates in the inspection image and the registered image, it is possible to align the inspection image and the registered image, correcting the aforementioned size, rotation, and projection distortion.
  • FIG. 6 is a flowchart showing the operation of the inspection apparatus 1 at the time of alignment.
  • the alignment unit 12 extracts feature points from both the inspection image and the registered image (step S301).
  • the alignment unit 12 may extract feature points from the registered image in advance, and store the coordinates of the extracted feature points in, for example, the registered image storage unit 11. In that case, the alignment unit 12 may read the coordinates of each feature point of the registered image corresponding to the inspection image from the registered image storage unit 11.
  • the alignment unit 12 may extract feature points by specifying the coordinates of pixels that meet a predetermined condition. For example, the alignment unit 12 may calculate the gradient of the pixel values in both the vertical direction and the horizontal direction of the image. And the alignment part 12 should just extract the point from which both the gradient of a vertical direction and the gradient of a horizontal direction are extreme values as a feature point.
  • the feature point extraction method may be another method.
  • the position alignment part 12 should just extract the feature point by the method described in the nonpatent literature 2, for example.
  • Non-Patent Document 2 David G. Lowe; Object recognition from local scale-invariant features, Proc. Of Intl. Conf. On Computer Vision. 2. pp. 1150-1157 (1999).
  • the alignment unit 12 binarizes the image with an appropriate threshold value, obtains a connected area, and obtains each connected area.
  • the feature points may be extracted by a method using the centroid points as feature points. In this case, the alignment unit 12 first determines whether the pixel value of each pixel is one of two values based on the result of comparison between the pixel value of each pixel and a predetermined threshold value of the original image that is an inspection image or a registered image.
  • a binary image is generated. For example, when the pixel value of a certain pixel in the original image is greater than or equal to the threshold value, the alignment unit 12 sets the pixel value of the pixel of the binary image at the position corresponding to the pixel position to the first value. Further, when the pixel value of a pixel in the original image is less than the threshold value, the alignment unit 12 sets the pixel value of the pixel of the binary image at the position corresponding to the pixel position to the second value.
  • the first value and the second value are 0 and 1, for example. The first value and the second value may be any values as long as they are different values.
  • the alignment part 12 extracts the connection area
  • the alignment unit 12 It is only necessary to extract a connected region for a value corresponding to the pixel value of a character pixel among the values. And the alignment part 12 should just extract the gravity center of each connection area
  • FIG. 7 is a diagram illustrating an example of feature points extracted from the inspection image and the registered image.
  • the alignment unit 12 uses the feature points extracted from both images to calculate a conversion parameter representing conversion for matching the inspection object 4 on the inspection image with the inspection object 4 on the registered image (step). S302).
  • the transformation parameter is a value of each element of the homography matrix.
  • the alignment unit 12 calculates a transformation matrix H that is a homography matrix.
  • the calculation of the transformation matrix H requires four or more pairs of corresponding points.
  • the set of corresponding points is a set of a point on the inspection image and a point on the registered image that can be regarded as an image of the same point on the object to be imaged.
  • the alignment unit 12 When calculating the transformation matrix H, the alignment unit 12 first detects four or more pairs of corresponding points.
  • the alignment unit 12 may detect a set of corresponding points by an existing arbitrary method such as a simple template matching method or a method described in Non-Patent Document 1.
  • the alignment unit 12 calculates a transformation matrix H from the coordinates of a pair of four or more detected corresponding points.
  • the alignment unit 12 may calculate the transformation matrix H by any existing method such as, for example, a method of calculating each element of the transformation matrix H by the least square method.
  • the alignment unit 12 may calculate the transformation matrix H by robust estimation that reduces the influence of the outlier value in the coordinates of the pair of corresponding points.
  • the out-of-coordinate value of the pair of corresponding points is generated by, for example, erroneous extraction of feature points or erroneous detection of the pair of corresponding points.
  • a robust estimation method for example, there are an LMedS (Least Median of Squares) estimation and an estimation method using an M estimator (M-estimator).
  • the alignment unit 12 calculates the transformation matrix H by, for example, these methods or other types of robust estimation.
  • the alignment unit 12 may calculate the transformation matrix H by the method described in Non-Patent Document 3, for example.
  • the method described in Non-Patent Document 3 calculates the transformation matrix H while associating feature points extracted from both the inspection image and the registered image.
  • Non-Patent Document 3 Martin A. Fischler and Robert C. Bolles; Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography, Comm. Of the ACM 24 (6), pp.381-395 ( (1981).
  • the alignment unit 12 may calculate the transformation matrix H using, for example, the method described in Non-Patent Document 4.
  • This method is a method of obtaining a pair of corresponding points after extracting feature points, and calculating a transformation matrix H from the coordinates of the obtained pair of corresponding points (Non-patent Document 4) Akiyama, Nishiwaki; Projection Invariant Of Text Image Retrieval Method Using Homography Matrix and Homography Matrix, 9th Information Science and Technology Forum (FIT2010), H-011 (2011.9).
  • the alignment unit 12 converts the inspection image using the conversion matrix H (step S304).
  • the alignment unit 12 When the inspection image is converted, for example, the alignment unit 12 first converts coordinates using the conversion matrix H for each pixel of the inspection image. Next, based on the pixel value of each pixel of the inspection image and the converted coordinates, the alignment unit 12 calculates the pixel value of the converted inspection image at the coordinates of each pixel of the registered image by complementation. Or the alignment part 12 may calculate the pixel value of a registration image in the coordinate after the conversion of each pixel of a test
  • FIG. 8 is a diagram illustrating inspection images before and after conversion by the conversion matrix H.
  • conversion is also expressed as deformation.
  • the alignment unit 12 converts the inspection image so that the image of the inspection object 4 included in the inspection image matches the image of the inspection object 4 included in the registered image.
  • the alignment unit 12 may convert the registered image so that the image of the inspection object 4 included in the registered image matches the image of the inspection object 4 included in the inspection image.
  • step S106 the difference detection by the difference detection unit 13 in step S106 will be described in detail.
  • the difference detection unit 13 calculates the difference between the registered image and the inspection image after the conversion represented by the calculated conversion parameter.
  • the difference detection unit 13 calculates the difference between the registered image and the inspection image deformed using the calculated deformation matrix H.
  • the difference detection unit 13 may calculate a difference in pixel values at the same coordinates between the registered image and the inspection image deformed using the calculated deformation matrix H.
  • the difference detection unit 13 may calculate a difference between feature amounts calculated from pixel values of both images as a difference between both images.
  • the difference detection unit 13 outputs the detected difference to the output unit 14 as information indicating the detected defect.
  • the difference detection unit 13 may output, for example, information specifying each coordinate that is included in the inspection image or the registered image and for which the difference has been calculated, and a value that represents the difference at each coordinate.
  • the coordinates may be coordinates in inspection coordinates before conversion or coordinates in a registered image.
  • the difference detection unit 13 may specify coordinates where the calculated difference exceeds a predetermined threshold S, and may output the specified coordinates.
  • the difference detection unit 13 may output the difference at the coordinates in addition to the specified coordinates.
  • the threshold value S may be set in advance by, for example, a system designer or an inspector.
  • step S107 the output unit 14 outputs information representing the difference received from the difference detection unit 13 to the output device 3.
  • the output unit 14 generates, for example, a difference image in which the pixel value of each pixel represents a difference in the coordinates of the pixel. Then, the output unit 14 may display the generated difference image on the output device 3. For example, the output unit 14 may change the color or gray value of each pixel of the inspection image in accordance with the detected magnitude of the difference. Then, the output unit 14 may display the changed inspection image on the output device 3. Alternatively, the output unit 14 may change the color or gray value of the pixel included in the region of the inspection image where the difference exceeds the threshold value S. Then, the output unit 14 may display the changed inspection image on the output device 3.
  • the output unit 14 may change, for example, the color or gray value of the pixel included in the circumscribed rectangle in the connected region of the inspection image where the difference exceeds the threshold S. Then, the output unit 14 may display the changed inspection image on the output device 3. The output unit 14 may change the color and gray value of the registered image instead of the inspection image. Then, the output unit 14 may display the changed registered image on the output device 3. The output unit 14 may display the difference by characters. The output unit 14 may add a change that can identify a portion where there is a difference, such as a change in color or gray value, as described above, to one or both of the inspection image and the registered image. Then, the output unit 14 may display the changed inspection image and registered image side by side on the output device 3. The format of the difference displayed on the output device 3 by the output unit 14 is not limited to the above.
  • the output device 3 is a general output device in a computer system such as a display or a printer.
  • FIG. 9 is a diagram showing a registered image, an inspection image after deformation, and a difference detected as a defect.
  • the load of adjustment for inspection when the type of inspection object and the arrangement between the camera that acquires the image for inspection and the inspection object are frequently changed.
  • the inspection time including the adjustment time for the inspection can be reduced and the inspection time can be shortened.
  • the difference detection unit 13 detects a difference between the converted inspection image and the registered image. Therefore, it is desirable that the positional relationship between the inspection object 4 and the imaging device 2 when acquiring the registered image and when acquiring the inspection image is close, but it is not necessary to be the same. Therefore, it is not necessary to strictly adjust the arrangement of the imaging device 2 and the inspection object 4. Further, even if the arrangement of the imaging device 2 and the inspection object 4 changes, it is not necessary to perform calibration.
  • the alignment unit 12 calculates the conversion parameters described above using the coordinates of the feature points extracted from the image of the inspection object 4. Therefore, the marking for alignment on the inspection object 4 is not necessary. Also, no special jig for calibration is required. Even if the type of the inspection object 4 changes, no adjustment for inspection is required.
  • the inspection system 100 of the present embodiment can be used for inspection of many kinds of small quantities that are often visually inspected. Therefore, by performing the inspection by the inspection system 100, it is possible to suppress oversight of defects that may occur in the visual inspection performed in the small-quantity and high-variety inspection and quality variations due to differences in inspection standards for each inspector. You can also.
  • the configuration of the inspection system 100 of the present embodiment is the same as the configuration of the inspection system 100 of the first embodiment of FIG.
  • the registered image storage unit 11 of the present embodiment stores registered images of a plurality of types of inspection objects 4.
  • the alignment unit 12 aligns all the registered images stored in the registered image storage unit 11 with the inspection image acquired by the imaging device 2.
  • the difference detection unit 13 detects the difference between the registered image and the inspection image after alignment for all the registered images stored in the registered image storage unit 11. The difference detection unit 13 selects the smallest difference and sets the selected difference as a difference with respect to the inspection image.
  • each component of the inspection system 100 of the present embodiment is the same as the component denoted by the same reference numeral in the first embodiment, the description thereof is omitted.
  • FIG. 10 is a flowchart showing an operation of detecting the defect of the inspection object 4 from the inspection image of the inspection apparatus 1 of the present embodiment.
  • the input unit 10 acquires an inspection image (step S103).
  • the registration unit 12 stores the registered images.
  • One registered image is selected from the registered images (step S202).
  • the alignment unit 12 detects a difference in the selected registered image in the same manner as the alignment unit 12 of the first embodiment (step S104, step S105, step S106).
  • the difference detection unit 13 selects the smallest difference. (Step S203).
  • the fact that the difference detection unit 13 selects the smallest difference corresponds to the difference detection unit 13 selecting the registered image from which the selected difference is derived as a registered image corresponding to the acquired inspection image.
  • the output unit 14 outputs the selected difference to the display device 3 (step S107).
  • the method for calculating the difference between the registered image and the inspection image may be an existing arbitrary method for calculating the evaluation value of the difference between the images.
  • the difference detection unit 13 for example, for each pixel of the registered image and the inspection image after the above-described conversion, the absolute value of the difference between the pixel values of the registered image pixel and the inspection image pixel at the corresponding coordinates. May be calculated.
  • the difference detection unit 13 may set the calculated sum to the magnitude of the difference.
  • the difference detection unit 13 determines the number of sets of registered image pixels and inspection image pixels in the coordinates corresponding to each other, in which the pixel value difference between the registered image and the inspection image after the conversion exceeds the threshold value S. , You may make the difference size.
  • This embodiment has the effect of further reducing the inspection load in addition to the same effect as the first embodiment. Further, in the present embodiment, even if different types of inspection objects 4 are mixed in a random order, marking on each inspection object 4 for identifying the type or changing the type of the inspection object 4 is accompanied. There is an effect that the inspection can be performed without adjustment.
  • the difference detection unit 13 selects the smallest difference from the difference between each registered image stored in the registered image storage unit 11 and the inspection image.
  • the difference derived from the registered image of the inspection object 4 of a different type from the inspection object 4 of the inspection image is usually larger than the difference derived from the registered image of the inspection object 4 of the same type as the inspection object 4 of the inspection image. Therefore, if the registered image of the inspection object 4 of the same type as the inspection object 4 of the inspection image is stored in the registered image storage unit 11, the above-described smallest difference selected by the difference detection unit 13 is the inspection image inspection. This is a difference derived from a registered image of the inspection object 4 of the same type as the object 4. Therefore, it is not necessary to specify a registered image at the time of inspection. Further, when the type of the inspection object 4 is changed, it is not necessary to make adjustments for inspection.
  • the configuration of the inspection system 100 of the present embodiment is the same as the configuration of the inspection system 100 of the first embodiment of FIG.
  • the difference detection unit 13 does not calculate the difference between the pixel values of the registered image and the inspection image after image conversion, but calculates the feature amount from the pixel values of these images. Then, the difference detection unit 13 outputs the difference between the feature amounts to the output unit 14 as a difference between the registered image and the inspection image.
  • the inspection object 4 of the present embodiment is a figure having one or more types of predetermined patterns on a planar surface.
  • An example of such a figure is a character.
  • Such a figure may be a figure other than a character, such as a circle, a polygon, or a combination of line segments.
  • step S103 to step S105 of the inspection apparatus 1 of the present embodiment Since the operation from step S103 to step S105 of the inspection apparatus 1 of the present embodiment is the same as the operation of the steps with the same reference numerals of the inspection apparatus 1 of the first embodiment, the description thereof is omitted.
  • the difference detection unit 13 extracts a feature amount representing a figure from both the registered image and the inspection image after image conversion.
  • the difference detection unit 13 also specifies coordinates representing the position of the graphic.
  • the feature amount representing a graphic is, for example, a vector representing the shape of the graphic.
  • the figure is, for example, a character.
  • the difference detection unit 13 may use the coordinates of the center of gravity of the detected figure as the coordinates of the position of the figure.
  • the difference detection unit 13 may use, for example, the coordinates of the center of gravity of the circumscribed rectangle of the detected figure or the coordinates of any one of the vertices as the coordinates of the position of the figure.
  • the feature amount representing the figure on the registered image and the coordinates of the position where the feature amount is extracted may be stored in the registered image storage unit 11 in advance.
  • the difference detection unit 13 may read the feature amount representing the graphic on the registered image and the coordinates of the position where the graphic is detected from the registered image storage unit 11.
  • the difference detection unit 13 extracts a figure having an area overlapping with the figure detected from the other image when the registration image and the examination image are overlapped, among the figures detected from the registered image and the examination image. .
  • the difference detection unit 13 has an area of an overlapping area with respect to the area of one figure area for each combination of the figure detected from the registered image and the figure detected from the inspection image. Calculate the percentage.
  • the area of the graphic may be a circumscribed rectangle of the graphic.
  • the difference detection unit 13 associates the graphic extracted from the registered image and the graphic extracted from the inspection image, which have the largest overlapping area ratio.
  • the difference detection unit 13 calculates the difference between the feature amounts of the two figures associated with each other and the difference between the coordinates of the positions where these figures are extracted. If the feature quantity is a vector, the difference detection unit 13 may calculate a predefined distance between the two feature quantities as the feature quantity difference. The difference detection unit 13 may calculate, for example, the distance between the two points represented by the coordinates of the position where the two figures are extracted as the difference in coordinates. The difference detection unit 13 may set, for example, a predetermined value larger than each threshold described later as the distance between the feature amount difference and the position coordinate of the graphic having no associated graphic. *
  • the difference detection unit 13 compares, for each graphic, the distance between the feature amounts of the two graphics associated with each other and the threshold value S2 with respect to the distance between the feature amounts. In addition, the difference detection unit 13 compares the distance between the coordinates of the positions where the two graphics associated with each other are detected, and the threshold S3 with respect to the distance between the coordinates. The difference detection unit 13 detects, as a defect, a graphic in which at least one of the distance between the feature amount and the coordinate between the positions where the two graphics are detected exceeds the respective threshold value.
  • the difference detection unit 13 may transmit, for example, information representing a graphic area detected as a defect to the output unit 14.
  • the difference detection unit 13 may further transmit any of the above-described distances exceeding the threshold to the output unit 14.
  • the detection apparatus 1 of this embodiment detects the difference between a registration image and a test
  • This embodiment has the same effect as the first embodiment.
  • FIG. 11 is a diagram illustrating the configuration of the inspection apparatus 1 according to the present embodiment.
  • the inspection apparatus 1 matches a registered image, which is an image of the inspection object having no defect among inspection objects having a flat shape, and a predetermined condition extracted from the registration image.
  • a registered image storage unit 11 that stores a plurality of feature points that are points, and extraction of the plurality of feature points from an inspection image in which the inspection target is an image captured from a direction different from the imaging direction of the registered image capturing And a plurality of points on the inspection object that are included in both the inspection image and the registered image based on the plurality of feature points of the inspection image and the plurality of feature points of the registered image.
  • Conversion parameter which is the projective transformation executed the respect one image by, including a positioning unit 12 for positioning, and a difference detection unit 13 for detecting the difference of the registered image and the inspection image after the positioning.
  • FIG. 11 is a diagram illustrating the configuration of the inspection apparatus 1 according to the present embodiment.
  • FIG. 12 is a diagram illustrating the arrangement of the imaging device 2 and the inspection object 4 of this configuration example.
  • the imaging device 2 of this configuration example images the planar inspection object 4 placed on the inspection table 40.
  • the z direction is the normal direction of the surface of the inspection table 40 and the inspection object 4.
  • the distance between the inspection object 4 and the image plane on which the image is projected in the photographing apparatus 2 is d.
  • the angle of deviation of the optical axis of the imaging device 2 with respect to the surface of the inspection table 40 and the normal direction of the inspection object 4 is represented by ⁇ and ⁇ . If the inspection object 4 is included in the depth of field of the image capturing apparatus 2 and the entire image of the inspection object 4 in the image captured by the image capturing apparatus 2 is in focus, the distance d, the declination angles ⁇ and ⁇ are Any value is acceptable.
  • the inspection device 1 is connected to the photographing device 2.
  • the inspection apparatus 1 and the imaging apparatus 2 may be connected by a general-purpose interface such as USB (Universal Serial Bus) or IEEE 1394 (The Institute of Electrical and Electronics Engineers).
  • the inspection apparatus 1 may be configured using a computer on which an image capture board is mounted. In that case, the inspection device 1 and the imaging device 2 may be connected by a transmission line capable of transmitting a video signal. And the inspection apparatus 1 may acquire the video signal transmitted from the imaging device 2 as a digitized image by the video capture board.
  • FIG. 13 is a diagram illustrating an example of a defect inspection result using a mask.
  • FIG. 13 shows a keyboard pattern to be inspected, a mask, and an inspection result in which the mask is superimposed on the keyboard.
  • the keyboard in FIG. 13 has a defect in which V is printed where W should be printed.
  • V is printed where W should be printed.
  • a figure in which a black V is superimposed on a white W appears in white where V is printed in place of W by mistake.
  • the inspector detects a point where a white graphic appears as a defect.
  • the defect existing in the portion hidden by the mask when the mask is overlaid may not be detected by the detection by the mask.
  • FIG. 14 is a diagram illustrating an example of a defect inspection result using a mask.
  • the keyboard shown in FIG. 14 has a defect in which O is printed at a place where C should be printed.
  • a white figure does not appear at the place where the defect exists. Therefore, the inspector cannot detect the defect.
  • E is mistakenly printed at the place where F of the keyboard is printed, no defect is detected by the inspection using the mask.
  • the inspection apparatus 1 according to each embodiment of the present invention detects a difference between images to be compared. Therefore, the inspection apparatus 1 according to each embodiment of the present invention can detect the above-described defects that are not detected because they are hidden by the mask in the inspection using the mask.
  • the inspection apparatus 1 can be realized by a computer and a program for controlling the computer, dedicated hardware, or a combination of the computer and the program for controlling the computer and dedicated hardware.
  • FIG. 15 is a diagram illustrating an example of the configuration of a computer 1000 used to realize the inspection apparatus 1.
  • a computer 1000 includes a processor 1001, a memory 1002, a storage device 1003, and an I / O (Input / Output) interface 1004.
  • the computer 1000 can access the recording medium 1005.
  • the memory 1002 and the storage device 1003 are recording devices such as a RAM (Random Access Memory) and a hard disk, for example.
  • the recording medium 1005 is, for example, a storage device such as a RAM or a hard disk, a ROM (Read Only Memory), or a portable recording medium.
  • the storage device 1003 may be the recording medium 1005.
  • the processor 1001 can read and write data and programs from and to the memory 1002 and the storage device 1003.
  • the processor 1001 can receive data of an image obtained by photographing the inspection target from the photographing apparatus 2 via the I / O interface 1004.
  • the processor 1001 can access the recording medium 1005.
  • the recording medium 1005 stores a program that causes the computer 1000 to operate as the inspection apparatus 1.
  • the processor 1001 loads a program stored in the recording medium 1005 and operating the computer 1000 as the inspection apparatus 1 into the memory 1002. Then, when the processor 1001 executes the program loaded in the memory 1002, the computer 1000 operates as the inspection apparatus 1.
  • the input unit 10, the alignment unit 12, the difference detection unit 13, and the output unit 14 are, for example, a dedicated program for realizing the function of each unit read into the memory 1002 from the recording medium 1005 storing the program, It can be realized by a processor 1001 that executes a program.
  • the registered image storage unit 11 can be realized by a memory 1002 included in the computer 1000 or a storage device 1003 that is a hard disk device, for example.
  • some or all of the input unit 10, the registered image storage unit 11, the alignment unit 12, the difference detection unit 13, and the output unit 14 can be realized by a dedicated circuit that realizes the function of each unit.
  • the present invention can be applied to the inspection of a plane on which characters or figures are printed.
  • the present invention can also be applied to an arrangement inspection of a key chip such as a keyboard.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

［課題］　欠陥を検出する検査の対象物の種類や、検査の対象物に対するカメラの配置が変更された場合の、検査のための調整作業の負荷を軽減できる検査装置を提供する。 ［解決手段］本発明の検査装置は、形状が平面である検査対象のうち、欠陥がない前記検査対象が撮影された画像である登録画像と、当該登録画像から抽出された、所定の条件に合致する点である特徴点を複数、記憶する登録画像記憶手段と、前記検査対象が前記登録画像撮影の撮影方向と異なる方向から撮影された画像である、検査画像からの複数の前記特徴点の抽出と、前記検査画像の複数の前記特徴点及び前記登録画像の複数の前記特徴点に基づく、前記検査画像及び前記登録画像の双方に像が含まれる、前記検査対象上の複数の点に対して、前記検査画像及び前記登録画像のいずれか一方の画像上の前記点の像の座標を、前記他方の画像上の前記点の像の座標に一致させる射影変換を表す変換パラメータの算出と、当該変換パラメータによる前記一方の画像に対する前記射影変換の実行である、位置合わせを行う位置合わせ手段と、前記位置合わせ後の前記検査画像と前記登録画像の差違を検出する差違検出手段とを含む。

Description

検査装置、検査方法、および検査プログラム
　本発明は、検査装置、検査方法、および検査プログラムに関する。本発明は、特に、画像によって検査を行う検査装置、検査方法、および検査プログラムに関する。
　誌面や部品に印刷された文字が正しく印刷されているか、あるいは、基板上に部品が正しく装着されているかを調べる検査においては、検査対象をカメラで撮影することにより取得された画像が用いられることが多い。そのような検査は、検査対象の画像を用いて、検査対象に欠陥が無いか否か（すなわち、検査対象が設計通りに出来上がっているか否か）を判定することにより行われる。そのような判定方法としては、例えば、予め登録されている、欠陥が無い検査対象の画像と、欠陥の有無が判定される検査対象から取得した画像との比較により、差違を検出する方法がある。この方法で差違を精度よく検出するためには、欠陥の無い検査対象の画像を登録する際の画像取得環境と、欠陥の有無が検査される検査対象の画像を取得する際の画像取得環境を、同一にすることが重要である。画像取得環境は、例えば、カメラ及び光源である。画像取得環境を同一にすることは、例えば、それらの画像を撮影する際の、カメラ及びカメラパラメータ、光源、カメラと光源の位置関係等を、同一にすることである。さらに、それぞれの画像を取得する際、画像取得環境に対する検査対象の配置も同じにする必要がある。このような検査環境を製造ラインにおいて実現するには、検査環境を製造ライン内に構築する必要がある。欠陥がない検査対象の画像の撮影や保存を行う登録作業や、検出される差違から欠陥を検出する基準の調整作業には、時間や労力が必要である。一方、検査環境の構築が完了した後の、検査環境による検査は、人手による検査より、はるかに高速である。
　製造ラインが少品種大量生産ラインである場合、一旦、前述の調整が完了すれば、長時間、再調整を行う必要がない。この場合、再調整のための時間が不要であるため、検査対象１個当たりの検査に必要な時間は、人手で検査対象をひとつずつチェックする場合の検査に必要な時間より、はるかに短い。一方、製造ラインが、近年増加している少量多品種の生産ラインである場合、検査対象の品種が変わる毎に検査環境の調整が必要である。この場合、人手による目視検査の方が検査の効率が高い場合もある。しかし、人手による目視検査においては、ケアレスミスや勘違いから起こる不良品の見逃しといった人間固有のエラーが発生する可能性がある。また、人手による目視検査においては、検査者毎の判断基準の違いによる品質にばらつきが発生する可能性がある。従って、少量多品種の生産ラインでも調整工数が少なくて済む検査環境の提供が望まれる。
　特許文献１には、比較対象である被検査物を撮影した画像と、検査対象の被検査物を撮影した画像を比較することにより欠陥検査を行う外観検査装置が記載されている。特許文献１の外観検査装置は、比較対象である被検査物を撮影した画像と、検査対象の被検査物を撮影した画像のそれぞれの、異なる２ヶ所以上の対応するパターン部分で、双方の画像の位置合わせを行う。言い換えると、外観検査装置は、比較対象であるダイの画像の２ヶ所以上から切り出された基準画像に対応する、検査対象すなわち被検査物であるダイが撮影された画像上の領域の位置を、サブピクセル単位で検出する。そして、外観検査装置は、比較対象であるダイの画像上の基準画像が、検査対象のダイの画像上の、前述の検出された位置に重なるよう、２枚の画像を重ねる。そして、外観検査装置は、パターンを比較することにより欠陥検査を行う。具体的には、外観検査装置は、２枚の画像の差分画像を生成し、生成された差分画像から、ダイの欠陥を検出する。
　特許文献２のパターン検査装置は、半導体ウェハ上の隣接するダイの画像を比較することにより、ダイの欠陥を検出する。パターン検査装置は、隣接するダイの画像の比較の際、隣接する２個のダイの同一部分の、画像上における位置のずれを、その部分の画像を使用して検出する。パターン検査装置は、検出したずれをもとに、２個のダイの画像を重ね合わせた場合の、互いに対応する画素のグレイレベルの差を導出する。パターン検査装置は、導出された結果から、グレイレベル差画像を生成する。パターン検査装置は、生成したグレイレベル差画像から、ダイに存在する欠陥候補の位置を検出する。パターン検査装置は、さらに、グレイレベル差画像を生成した２個のダイの一方の画像と、そのダイに近接する他のダイの画像から、同様に欠陥候補の位置を検出する。パターン検査装置は、先の検査で検出された欠陥候補から所定距離以内の位置で、次の検査でも欠陥候補が検出された場合、２回の検査で共に検査対象であったダイの、欠陥候補が検出された位置に、欠陥が存在すると判定する。
　特許文献３には、２台のカメラを使用して鋼板の凹凸キズと汚れを判別する表面検査装置が記載されている。これらの２台のカメラは、光軸が鋼板の表面に垂直な方向になるよう取り付けられている。そして、表面検査装置は、検査を開始する前に、三角形の校正片を２台のカメラで撮影する。表面検査装置は、得られた２枚の画像中の校正片の頂点の座標から、２枚の画像間の座標変換を表すアフィン変換の座標変換パラメータを算出する。検査の際、表面検査装置は、鋼板を２台のカメラで同時に撮影する。表面検査装置は、前述の座標変換パラメータを使用した座標変換により、得られた２枚の画像の座標系が同じ座標系になるよう画像の変換を行う。表面検査装置は、変換後の２枚の画像に対して、各画素の画素値の差分を算出する。表面検査装置は、得られた差分から、凹凸キズを検出する。
特開２０００－３２３５４１号公報 特開２００４－２７３８５０号公報 特開２００６－１７７８５２号公報
　特許文献１乃至３の技術では、検査の対象物の種類や、対象物に対するカメラの配置が変更される度に、検査のための調整作業を行う必要がある。特許文献１及び特許文献２の技術では、検査のための調整作業は、例えば、対象物の位置ずれを検出するための、対象物の一部分の画像を取得と、欠陥のない対象物の画像の登録である。特許文献３の技術では、検査のための調整作業は、例えば、三角形の校正片を使用した座標変換パラメータの算出である。
　本発明の目的の一つは、欠陥を検出する検査の対象物の種類や、検査の対象物に対するカメラの配置が変更された場合の、検査のための調整作業の負荷を軽減できる検査装置を提供することにある。
　本発明の検査装置は、形状が平面である検査対象のうち、欠陥がない前記検査対象が撮影された画像である登録画像と、当該登録画像から抽出された、所定の条件に合致する点である特徴点を複数、記憶する登録画像記憶手段と、前記検査対象が前記登録画像撮影の撮影方向と異なる方向から撮影された画像である、検査画像からの複数の前記特徴点の抽出と、前記検査画像の複数の前記特徴点及び前記登録画像の複数の前記特徴点に基づく、前記検査画像及び前記登録画像の双方に像が含まれる、前記検査対象上の複数の点に対して、前記検査画像及び前記登録画像のいずれか一方の画像上の前記点の像の座標を、前記他方の画像上の前記点の像の座標に一致させる射影変換を表す変換パラメータの算出と、当該変換パラメータによる前記一方の画像に対する前記射影変換の実行である、位置合わせを行う位置合わせ手段と、前記位置合わせ後の前記検査画像と前記登録画像の差違を検出する差違検出手段とを含む。
　本発明の検査方法は、形状が平面である検査対象のうち、欠陥がない前記検査対象が撮影された画像である登録画像と、当該登録画像から抽出された、所定の条件に合致する点である特徴点を複数、登録画像記憶手段に記憶し、前記検査対象が前記登録画像撮影の撮影方向と異なる方向から撮影された画像である、検査画像からの複数の前記特徴点の抽出と、前記検査画像の複数の前記特徴点及び前記登録画像の複数の前記特徴点に基づく、前記検査画像及び前記登録画像の双方に像が含まれる、前記検査対象上の複数の点に対して、前記検査画像及び前記登録画像のいずれか一方の画像上の前記点の像の座標を、前記他方の画像上の前記点の像の座標に一致させる射影変換を表す変換パラメータの算出と、当該変換パラメータによる前記一方の画像に対する前記射影変換の実行である、位置合わせを行い、前記位置合わせ後の前記検査画像と前記登録画像の差違を検出する。
　本発明の検査プログラムは、コンピュータを、形状が平面である検査対象のうち、欠陥がない前記検査対象が撮影された画像である登録画像と、当該登録画像から抽出された、所定の条件に合致する点である特徴点を複数、記憶する登録画像記憶手段と、前記検査対象が前記登録画像撮影の撮影方向と異なる方向から撮影された画像である、検査画像からの複数の前記特徴点の抽出と、前記検査画像の複数の前記特徴点及び前記登録画像の複数の前記特徴点に基づく、前記検査画像及び前記登録画像の双方に像が含まれる、前記検査対象上の複数の点に対して、前記検査画像及び前記登録画像のいずれか一方の画像上の前記点の像の座標を、前記他方の画像上の前記点の像の座標に一致させる射影変換を表す変換パラメータの算出と、当該変換パラメータによる前記一方の画像に対する前記射影変換の実行である、位置合わせを行う位置合わせ手段と、前記位置合わせ後の前記検査画像と前記登録画像の差違を検出する差違検出手段として動作させる。
　なお、本発明は、上述した検査プログラムが格納された、コンピュータで読み取り可能な有形な記録媒体によっても実現できる。
　本発明には、検査の対象物の種類や、検査のための画像を取得するカメラと検査の対象物との間の配置が頻繁に変更される場合に、検査のための調整の負荷を軽減し、検査のための調整の時間を含む検査時間を短縮することができるという効果がある。
図１は、第１、第２、第３の実施形態の検査システム１００の構成を表すブロック図である。 図２は、各実施形態の検査装置１の、登録画像を登録画像記憶部１１に格納する場合の動作を表すフローチャートである。 図３は、第１の実施形態の検査装置１の、検査画像から検査対象４の欠陥を検出する動作を表すフローチャートである。 図４は、検査画像の例を表す図である。 図５は、登録画像の例を表す図である。 図６は、位置合わせ時の検査装置１の動作を表すフローチャートである。 図７は、検査画像と登録画像から抽出された特徴点の例を表す図である。 図８は、変形前後の検査画像の例を表す図である。 図９は、登録画像と、変形後の検査画像と、欠陥として検出された差違の例を表す図である。 図１０は、第２の実施形態の検査装置１の、検査画像から検査対象４の欠陥を検出する動作を表すフローチャートである。 図１１は、第４の実施形態の検査装置１の校正を表すブロック図である。 図１２は、第１の実施形態の構成例の撮影装置２と検査対象４の配置を表す図である。 図１３は、マスクによる欠陥の検出結果の例を表す図である。 図１４は、マスクによる欠陥の検出結果の例を表す図である。 図１５は、検査装置１を実現するために使用されるコンピュータ１０００の構成の一例を表す図である。
　次に、本発明の実施の形態について図面を参照して詳細に説明する。
　図１は本発明の第１の実施形態の検査システム１００の構成を表すブロック図である。
　図１を参照すると、本実施形態の検査システム１００は、検査装置１と、撮影装置２と、出力装置３を含む。検査システム１００は、検査対象４の欠陥の検出を行う。
　検査装置１は、入力部１０と、登録画像記憶部１１と、位置合わせ部１２と、差違検出部１３と、出力部１４を含む。
　撮影装置２は、例えば、検査対象４の画像を撮影するカメラである。
　出力装置３は、ディスプレイなどの表示装置である。出力装置３は、印刷装置などの他の装置であってもよい。出力装置３は、コンピュータシステムにおける一般的な出力装置であればよい。
　入力部１０は、撮影装置２から、検査対象４が撮影された画像を取得する。以下では、欠陥を検出する検査の対象である検査対象４が撮影された画像は、検査画像と表記される。入力部１０は、撮影装置２によって予め撮影され、後述の登録画像記憶部１１や図示されない他の記憶部に格納された、検査対象４が撮影された画像を、検査画像として取得してもよい。
　登録画像記憶部１１は、欠陥のない検査対象４の画像を記憶する。以下では、欠陥検出のために検査画像と比較される画像は、登録画像と表記される。登録画像記憶部１１に格納されている、欠陥のない検査対象４の画像は、登録画像として使用される。
　位置合わせ部１２は、登録画像と、取得された検査画像のいずれか一方を、他方に最も一致させる変換を表す変換パラメータを算出する。位置合わせ部１２は、算出した変換パラメータを使用して、画像の変換を行う。
　差違検出部１３は、画像の変換後の、登録画像と検査画像の差違を検出する。
　出力部１４は、検出された際を出力装置３に出力する。
　次に、登録画像を登録画像記憶部１１に格納する場合の、検査装置１の動作について、図面を参照して詳細に説明する。
　図２は、本実施形態の検査装置１の、登録画像を登録画像記憶部１１に格納する場合の動作を表すフローチャートである。以下では、登録画像を登録画像記憶部１１に格納することは、登録画像を登録するとも表記される。また、後述の他の実施形態の検査装置１の、登録画像を登録画像記憶部１１に格納する場合の動作は、図２によって表される動作と同じである。
　図２を参照すると、まず、入力部１０が、撮影装置２から登録画像を取得する（ステップＳ１０１）。
　撮影装置２は、欠陥がないことが予め確認されている検査対象４の画像を撮影すればよい。検査対象４に欠陥がないことを確認する方法は、既存の任意の方法でよい。例えば、検査係員が、目視により、検査対象４に欠陥がないことを確認すればよい。あるいは、検査対象４に欠陥がないことを確認する方法は、次の方法であってもよい。まず、撮影装置２が、異なる３個以上の検査対象４を撮影する。入力部１０は、撮影装置２が撮影した画像を取得する。位置合わせ部１２及び差違検出部１３は、撮影された画像のうちの２枚の画像の組み合わせ全てに対し、組み合わせのいずれか一方を登録画像に、他方を検査画像にして、後述される動作を行うことによって、差違の検出を行う。欠陥がない検査対象４の画像の組み合わせに対して、差違検出部１３は差違を検出しない。一方、欠陥がある検査対象４の画像と、欠陥がない検査対象４の画像の組み合わせに対しては、差違検出部１３は差違を検出する。欠陥がある検査対象４の画像の組み合わせの場合、欠陥が同一であれば差違検出部１３は差違を検出しないが、欠陥が同一でなければ差違検出部１３は差違を検出する。欠陥が無い検査対象４の数が、欠陥がある検査対象４の数より多ければ、欠陥がない検査対象４の画像に対して差違が検出される回数は、欠陥がある検査対象４の画像に対して差違が検出される回数より少なくなるはずである。入力部１０は、差違の検出結果を差違検出部１３から取得し、差違が検出された回数が最も少ない画像を、登録画像にすればよい。
　次に、入力部１０は、登録画像を登録画像記憶部１１に格納する（ステップＳ１０２）。
　次に、検査画像から検査対象４の欠陥を検出する場合の、検査装置１の動作について、図面を参照して詳細に説明する。
　図３は、本実施形態の検査装置１の、検査画像から検査対象４の欠陥を検出する場合の動作を表すフローチャートである。
　図３を参照すると、まず、入力部１０が、検査画像を取得する（ステップＳ１０３）。前述のように、検査画像は、欠陥の有無を検出する検査の対象である検査対象４が撮影された画像である。
　次に、位置合わせ部１２が、登録画像記憶部１１から登録画像を読み出す（ステップＳ１０４）。前述のように、欠陥のない検査対象４が撮影された画像が、登録画像として使用される。登録画像記憶部１１に、複数の種類の検査対象４の登録画像が登録されている場合、例えば検査係員が、検査画像に対して登録画像を指定すればよい。あるいは、位置合わせ部１２が、既存の任意の画像認識方法により、検査画像に写っている検査対象４の種類を判定してもよい。そして、位置合わせ部１２は、判定された種類の検査対象４の登録画像を登録画像記憶部１１から読み出してもよい。
　位置合わせ部１２は、取得された検査画像と、読み出された登録画像の位置合わせを行う（ステップＳ１０５）。この位置合わせは、検査画像上の検査対象４のサイズや形が、登録画像上の検査対象４のサイズや形に合うように行われる補正である。位置合わせ部１２は、例えば、登録画像を基準にして検査画像を変換する補正を行うことにより、位置合わせを行う。位置合わせの際、位置合わせ部１２は、登録画像と検査画像の、画像上における検査対象４のサイズや位置や向きの違いや、撮影方向の違いによる検査対象４の歪みの違いを解消する変換を表す変換パラメータを算出する。これらの違いは、登録画像の撮影時と検査画像の撮影時における、撮影装置２の種類の違いや、撮影対象４と撮影装置２の位置関係の違いによって生じる。そして、位置合わせ部１２は、算出された変換パラメータを使用する変換によって、検査画像の補正を行う。位置合わせは、検査画像を基準にして登録画像を変換することであっても良い。位置合わせについては、後で詳細に説明される。
　続いて、差違検出部１３が、位置合わせ後の検査画像と登録画像を比較することにより、差違を検出する（ステップＳ１０６）。差違の検出については、後で詳細に説明される。
　最後に、出力部１４が、その差違を出力装置３に出力する（ステップＳ１０７）。
　次に、ステップＳ１０５の位置合わせ時の検査装置１の動作について、図面を参照して詳細に説明する。
　図４は、登録画像の一例である。
　図５は、検査画像の一例である。図４の登録画像は、図５の検査画像のための登録画像である。
　図４及び図５の文字は、検査対象４の表面上の文字である。本実施形態では、これらの文字が存在する、検査対象４の表面は、平面である。図４の文字と、図５の文字は、それぞれ、同一平面上に存在する。本実施形態の検査装置１が検出する欠陥は、検査対象４の表面上の文字の相違である。図４と図５を比較すると、図５の右下の文字列「ａｂｃ８１２」のうち「８」に対応する部分が、図４と異なる。図５の「８」に対応する部分は、図４では「０」である。本実施形態では、図５の文字列「ａｂｃ８１２」の「８」の部分が、欠陥である。
　同じ平面を撮影した２枚の画像における、撮影対象の平面上の同じ点の像である２点の座標間の関係は、一方の画像上の点の座標から、他方の画像上の点の座標への射影変換で表される。射影変換を表す式は、一方の画像上の座標がｘ１、他方の画像上の座標がｘ２である場合、ｘ２＝Ｈｘ１である。ｘ１とｘ２は、３番目の要素が０でない３次元のベクトルである。これらのベクトルの、１番目の要素と２番目の要素を３番目の要素で割った２つの値である、２つの要素で表される２次元ベクトルが、平面上の座標を表す。行列Ｈは、射影変換を表す、３×３行列である。行列Ｈの定数倍である行列も、同じ射影変換を表す。すなわち、行列Ｈの自由度は８である。この射影変換を表す行列Ｈは、ホモグラフィ行列とも呼ばれる。
　同じ平面が撮影された２枚の画像の間のホモグラフィ行列が既知であれば、一方の画像に写っている全ての点が、他方の画像のどの位置にあるかを計算することができる。このことにより、一方の画像とホモグラフィ行列から、一方の画像における撮影対象が、他方の画像を撮影した撮影装置によって撮影された画像に相当する画像を得ることができる。その計算の際、２枚の画像を撮影した撮影装置２の撮影対象４に対する位置を導出する必要はない。また、２枚の画像を撮影した撮影装置２が同じ撮影装置でなくてもよい。
　欠陥のない検査対象４を撮影して得られた検査画像上の検査対象４の像は、検査画像を登録画像に変換するホモグラフィ行列によって、検査画像を変換することにより、登録画像上の検査対象４の像に一致するはずである。同様に、登録画像上の検査対象４の像は、登録画像を検査画像に変換するホモグラフィ行列によって、登録画像を変換することにより、検査画像上の検査対象４の像に一致するはずである。変換を表す行列による画像の変換は、変換対象の画像の各画素に対する変換を表す。その具体的な処理についての説明は後述される。
　例えば、非特許文献１にも記載されているように、２枚の画像間で４組の対応点の座標が得られていれば、一方の画像から他方の画像への変換を表す、ホモグラフィ行列（Ｈ）を用いた画像の変換式を導出することが可能であることが知られている。すなわち、検査画像と登録画像に４組の対応点の座標があれば、前述のサイズ、回転、射影歪みを補正する、検査画像と登録画像の間の位置合わせが可能である。
　（非特許文献１）金澤靖, 金谷健一；２画像間の特徴点対応の自動探索, 画像ラボ,　ｐｐ．２０－２３（２００４）．
　図６は、位置合わせ時の検査装置１の動作を表すフローチャートである。
　図６を参照すると、まず、位置合わせ部１２が、検査画像と登録画像の双方から特徴点を抽出する（ステップＳ３０１）。位置合わせ部１２は、予め登録画像から特徴点を抽出しておき、抽出した特徴点の座標を、例えば登録画像記憶部１１に格納しておいてもよい。その場合、位置合わせ部１２は、検査画像に対応する登録画像の各特徴点の座標を、登録画像記憶部１１から読み出せばよい。
　位置合わせ部１２は、所定の条件に合致する画素の座標を特定することで、特徴点の抽出を行えばよい。位置合わせ部１２は、例えば、画像の縦方向、横方向の双方の画素値の勾配を算出すればよい。そして、位置合わせ部１２は、縦方向の勾配と横方向の勾配の双方が、極値である点を、特徴点として抽出すればよい。特徴点の抽出方法は、他の方法でもよい。また、位置合わせ部１２は、例えば、非特許文献２に記載されている方法で、特徴点の抽出を行えばよい。
　（非特許文献２）David G. Lowe; Object recognition from local scale-invariant features, Proc. of Intl. Conf. on Computer Vision. 2. pp. 1150-1157 (1999).
　検査画像や登録画像が図４及び図５の例のような文字画像であれば、位置合わせ部１２は、画像を適当な閾値で２値化した上で、連結領域を求め、それぞれの連結領域の重心点を特徴点とする方法で、特徴点の抽出を行ってもよい。その場合、位置合わせ部１２は、まず、検査画像や登録画像である元画像の、各画素の画素値と所定の閾値との比較の結果に基づき、各画素の画素値が２つの値のいずれかである二値画像を生成する。例えば、位置合わせ部１２は、元画像のある画素の画素値が閾値以上である場合、その画素の位置に対応する位置にある二値画像の画素の画素値を第１の値にする。また、位置合わせ部１２は、元画像のある画素の画素値が閾値未満である場合、その画素の位置に対応する位置にある二値画像の画素の画素値を第２の値にする。第１の値と第２の値は、例えば０と１である。第１の値と第２の値は、それぞれ異なる値であればいずれの値であってもよい。そして、位置合わせ部１２は、二値画像から、同一の画素値が連続する領域である連結領域を抽出する。検査画像や登録画像が文字画像であり、文字に含まれる画素の画素値が第１の値と第２の値のどちらの値に対応するかが既知である場合、位置合わせ部１２は、二値のうち文字の画素の画素値に対応する値に対してだけ、連結領域を抽出すればよい。そして、位置合わせ部１２は、各連結領域の重心を特徴点として抽出すればよい。
　図７は、検査画像と登録画像から抽出された特徴点の例を表す図である。
　次に、位置合わせ部１２は、双方の画像から抽出した特徴点を使用して、検査画像上の検査対象４を、登録画像上の検査対象４に合わせる変換を表す変換パラメータを算出する（ステップＳ３０２）。
　前述のように、この変換がホモグラフィ行列により表される場合、変換パラメータはホモグラフィ行列の各要素の値である。その場合、位置合わせ部１２は、ホモグラフィ行列である変換行列Ｈを計算する。前述のように変換行列Ｈの計算には、４組以上の対応点の組が必要である。対応点の組は、撮影の対象上の同じ点の像であると見なすことができる、検査画像上の点と、登録画像上の点との組である。
　変換行列Ｈの計算の際、位置合わせ部１２は、まず、４組以上の対応点の組を検出する。位置合わせ部１２は、単純なテンプレートマッチングによる方法や、非特許文献１に記載されている方法など、既存の任意の方法で、対応点の組を検出すればよい。
　位置合わせ部１２は、検出された４組以上の対応点の組の座標から、変換行列Ｈを計算する。位置合わせ部１２は、例えば、最小二乗法により変換行列Ｈの各要素を算出する方法など、既存の任意の方法で変換行列Ｈを計算すればよい。
　位置合わせ部１２は、対応点の組の座標におけるはずれ値の影響を軽減する、ロバスト推定により、変換行列Ｈを算出してもよい。対応点の組として検出された、実際には対応点の組ではない、検査画像上の点と登録画像上の点の組の座標である。対応点の組の座標のはずれ値は、例えば、特徴点の誤抽出や、対応点の組の誤検出などにより生じる。ロバスト推定の方法として、例えば、ＬＭｅｄＳ（Ｌｅａｓｔ　Ｍｅｄｉａｎ　ｏｆ　Ｓｑｕａｒｅｓ）推定や、Ｍ推定量（Ｍ－ｅｓｔｉｍａｔｏｒ）による推定方法がある。位置合わせ部１２は、例えばこれらの方法や、他の種類のロバスト推定により、変換行列Ｈを算出する。
　位置合わせ部１２は、例えば、非特許文献３に記載されている方法で、変換行列Ｈを計算すればよい。非特許文献３に記載されている方法は、検査画像と登録画像の双方から抽出した特徴点の対応付けを行いながら変換行列Ｈを計算する。
　（非特許文献３）Martin A. Fischler and Robert C. Bolles; Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography, Comm. of the ACM 24 (6), pp.381-395 (1981).
　位置合わせ部１２は、例えば、非特許文献４に記載されている方法を用いて、変換行列Ｈを計算してもよい。この方法は、特徴点の抽出の後、対応点の組を求め、求めた対応点の組の座標から、変換行列Ｈを計算する方法である
　（非特許文献４）秋山、西脇；射影不変量とホモグラフィー行列を用いた文字列画像検索方式の提案, 第9回情報科学技術フォーラム（FIT2010）, H-011 （2011.9）.
　次に、位置合わせ部１２は、変換行列Ｈを使って、検査画像を変換する（ステップＳ３０４）。
　検査画像の変換の際、位置合わせ部１２は、例えば、まず、検査画像の各画素に対して、変換行列Ｈを使用した座標の変換を行う。位置合わせ部１２は、次に、検査画像の各画素の画素値と変換後の座標に基づき、登録画像の各画素の座標における、変換後の検査画像の画素値を、補完によって算出する。あるいは、位置合わせ部１２は、次に、検査画像の各画素の変換後の座標における、登録画像の画素値を、補完によって算出してもよい。
　図８は、変換行列Ｈによる変換前後の検査画像を表す図である。本実施形態では、変換を変形とも表記する。本変換により、先述の、登録画像に対する検査画像の、検査対象４のサイズの違い、検査対象４の向きの違い、射影歪みが解消される。
　以上の説明は、位置合わせ部１２が、検査画像に含まれる検査対象４の像を、登録画像に含まれる検査対象４の像に合わせるように、検査画像を変換する場合についての説明である。位置合わせ部１２は、逆に、登録画像に含まれる検査対象４の像を、検査画像に含まれる検査対象４の像に合わせるように、登録画像を変換しても構わない。
　次に、ステップＳ１０６の、差違検出部１３による差違の検出について、詳細に説明する。
　ステップＳ１０６で、差違検出部１３は、算出された変換パラメータで表される変換後の、登録画像と検査画像の差違を計算する。上述の例では、差違検出部１３は、登録画像と、計算された変形行列Ｈを使用して変形された検査画像の差違を計算する。具体的には、差違検出部１３は、登録画像と、計算された変形行列Ｈを使用して変形された検査画像の、同じ座標における画素値の差を計算すればよい。差違検出部１３は、双方の画像の画素値から算出した特徴量の差を、双方の画像の差違として計算してもよい。
　差違検出部１３は、検出された差違を、検出された欠陥を表す情報として、出力部１４に出力する。差違検出部１３は、例えば、検査画像あるいは登録画像に含まれ、差違の計算を行った各座標を特定する情報と、その各座標における差違を表す値を、出力すればよい。座標は、変換前の検査座標における座標であっても、登録画像における座標であってもよい。差違検出部１３は、算出された差違が所定の閾値Ｓを超える座標を特定し、特定された座標を出力してもよい。差違検出部１３は、その特定された座標に加えて、その座標における差違を出力してもよい。これらの場合、閾値Ｓは、例えばシステムの設計者や検査係員によって、あらかじめ設定されていればよい。
　ステップＳ１０７で、出力部１４は、差違検出部１３から受信した差違を表す情報を、出力装置３に出力する。
　出力部１４は、例えば、各画素の画素値が、その画素の座標における差違を表す差分画像を生成する。そして、出力部１４は、生成された差分画像を出力装置３に表示すればよい。出力部１４は、例えば、検査画像の各画素の色や濃淡値を、検出された差違の大きさに応じて変更してもよい。そして、出力部１４は、変更された検査画像を出力装置３に表示してもよい。あるいは、出力部１４は、検査画像の、差違が閾値Ｓを超えた領域に含まれる画素の色や濃淡値を変更してもよい。そして、出力部１４は、変更された検査画像を出力装置３に表示してもよい。出力部１４は、検査画像の、差違が閾値Ｓを超えた領域の連結領域の、例えば外接矩形に含まれる画素の色や濃淡値を変更してもよい。そして、出力部１４は、変更された検査画像を出力装置３に表示してもよい。出力部１４は、検査画像ではなく登録画像に対して、色や濃淡値の変更を行ってもよい。そして、出力部１４は、変更された登録画像を出力装置３に表示してもよい。出力部１４は、文字により差違を表示してもよい。出力部１４は、検査画像及び登録画像のいずれか一方又は双方に対して、前述のような、色や濃淡値の変更などの、差違が存在する部分を特定できる変更を加えてもよい。そして、出力部１４は、変更後の、検査画像及び登録画像を、並べて出力装置３に表示してもよい。出力部１４が出力装置３に表示する差違の形式は、以上に限られない。
　前述のように、出力装置３は、例えば、ディスプレイやプリンタのような、コンピュータシステムにおける一般的な出力装置である。
　図９は、登録画像と、変形後の検査画像と、欠陥として検出された差違を表す図である。
　本実施形態には、検査の対象物の種類や、検査のための画像を取得するカメラと検査の対象物との間の配置が頻繁に変更される場合に、検査のための調整の負荷を軽減し、検査のための調整の時間を含む検査時間を短縮することができると言う効果がある。
　その理由は、位置合わせ部１２が、検査画像上の検査対象４と、検査画像上の検査対象４の、大きさと、向きと、射影歪みが同じになる変換を、検査画像あるいは登録画像に対して行うからである。そして、差違検出部１３は、変換後の検査画像と登録画像の差違を検出する。従って、登録画像取得時と、検査画像取得時の、検査対象４と撮影装置２の位置関係は、近いことが望ましいが、同一である必要がない。よって、撮影装置２と検査対象４の配置の厳密な調整が必要ない。また、撮影装置２と検査対象４の配置が変化しても、校正を行う必要がない。
　また、位置合わせ部１２は、検査対象４の画像から抽出した特徴点の座標を使用して、上述の変換のパラメータを算出する。従って、検査対象４に位置合わせのためのマーキングが必要ない。また、校正のための特別なジグが必要ない。検査対象４の種類が変わった場合であっても、検査のための調整が必要ない。
　また、本実施形態の検査システム１００は、目視による検査が行われることが多い、少量多品種の検査にも使用できる。従って、検査システム１００によって検査を行うことにより、少量多品種検査で行っている目視検査で発生する可能性のある不具合の見逃しや、検査者毎の検査基準の違いによる品質のばらつきを抑制することもできる。
　次に、本発明の第２の実施形態について、図面を参照して詳細に説明する。
　本実施形態の検査システム１００の構成は、図１の第１の実施形態の検査システム１００の構成と同じである。
　本実施形態の登録画像記憶部１１は、複数の種類の検査対象４の登録画像を記憶する。
　位置合わせ部１２は、登録画像記憶部１１が記憶する全ての登録画像に対して、撮影装置２が取得した検査画像との位置合わせを行う。
　差違検出部１３は、登録画像記憶部１１が記憶する全ての登録画像に対して、位置合わせ後に登録画像と検査画像の差違の検出を行う。差違検出部１３は、最も小さい差違を選択し、選択した差違を、検査画像に対する差違にする。
　本実施形態の検査システム１００の各構成要素は、他の点では、第１の実施形態の同一の符号が付された構成要素と同じであるので、説明を省略する。
　次に、本実施形態の検査装置１の動作について、図面を参照して詳細に説明する。
　図１０は、本実施形態の検査装置１の、検査画像から検査対象４の欠陥を検出する動作を表すフローチャートである。
　まず、入力部１０が検査画像を取得する（ステップＳ１０３）。
　位置合わせ部１２は、登録画像記憶部１１が記憶する登録画像に、取得された検査画像との間の差異の検出が行われていない登録画像が存在する場合（ステップＳ２０１、Ｙｅｓ）、それらの登録画像から１枚の登録画像を選択する（ステップＳ２０２）。
　位置合わせ部１２は、選択された登録画像に対して、第１の実施形態の位置合わせ部１２と同様に、差違の検出を行う（ステップＳ１０４、ステップＳ１０５、ステップＳ１０６）。
　登録画像記憶部１１が記憶する全ての登録画像に対して、登録画像と取得された検査画像の差違の検出が終了した場合（ステップＳ２０１、Ｎｏ）、差違検出部１３は、最も小さい差違を選択する（ステップＳ２０３）。
　差違検出部１３が最も小さい差違を選択することは、差違検出部１３が、選択された差違が導かれた登録画像を、取得された検査画像に対応する登録画像として選択することに相当する。
　出力部１４は、選択された差違を表示装置３に出力する（ステップＳ１０７）。
　登録画像と検査画像の差違の大きさの算出方法は、画像間の差の大きさの評価値を算出する既存の任意の方法でよい。差違検出部１３は、例えば、前述の変換後における、登録画像と検査画像の各画素に対して、互いに対応する座標にある登録画像の画素と検査画像の画素の、画素値の差の絶対値の和を算出すればよい。差違検出部１３は、算出した和を、差違の大きさにすればよい。差違検出部１３は、前述の変換後における登録画像と検査画像の、画素値の差が前述の閾値Ｓを上回る、互いに対応する座標にある登録画像の画素と検査画像の画素の組の数を、差違の大きさにしてもよい。
　本実施形態には、第１の実施形態と同じ効果に加えて、検査の負荷を更に軽減できるという効果がある。また、本実施形態には、異なる種類の検査対象４がランダムな順番で混在しているとしても、種類を識別するための各検査対象４へのマーキングや、検査対象４の種類の変更に伴う調整を行うことなく、検査を行うことができると言う効果がある。
　その理由は、差違検出部１３が、登録画像記憶部１１に格納されているそれぞれの登録画像と、検査画像の差違から、最も小さい差違を選択するからである。検査画像の検査対象４と異なる種類の検査対象４の登録画像から導かれる差違は、通常、検査画像の検査対象４と同じ種類の検査対象４の登録画像から導かれる差違より大きい。従って、検査画像の検査対象４と同じ種類の検査対象４の登録画像が登録画像記憶部１１に格納されていれば、差違検出部１３が選択する、上述の最も小さい差違は、検査画像の検査対象４と同じ種類の検査対象４の登録画像から導かれる差違である。従って、検査の際、登録画像を指定する必要がない。また、検査対象４の種類が変更された場合に、検査のための調整を行う必要がない。
　次に、本発明の第３の実施形態について、図面を参照して詳細に説明する。
　本実施形態の検査システム１００の構成は、図１の第１の実施形態の検査システム１００の構成と同じである。
　ただし、差違検出部１３は、画像変換後の、登録画像と検査画像の画素値の差違を算出するのではなく、それらの画像の画素値から、特徴量を算出する。そして、差違検出部１３は、その特徴量の差を、登録画像と検査画像の差違として、出力部１４に出力する。
　次に、本実施形態の検査装置１の動作について、図面を参照して詳細に説明する。
　本実施形態の検査対象４は、平面状の表面上の、１種類以上の所定のパターンの図形である。このような図形として、例えば文字がある。このような図形は、円、多角形、線分の組み合わせなど、文字以外の図形であってもよい。
　図３は、本実施形態の検査装置１の、検査画像に基づいて検査対象４の欠陥を検出する動作を表すフローチャートである。
　本実施形態の検査装置１のステップＳ１０３からステップＳ１０５の動作は、第１の実施形態の検査装置１の、同じ符号のステップの動作と同じであるので、説明を省略する。
　ステップＳ１０６で、差違検出部１３は、画像変換後の、登録画像と検査画像の双方から、図形を表す特徴量を抽出する。差違検出部１３は、その図形の位置を表す座標の特定も行う。図形を表す特徴量は、例えば、図形の形状を表すベクトルである。前述のように、図形は、例えば文字である。差違検出部１３は、例えば、検出された図形の重心の座標を、図形の位置の座標にすればよい。差違検出部１３は、例えば、検出された図形の外接矩形の重心の座標や、予め定められたいずれかの頂点の座標を、図形の位置の座標にしてもよい。
　登録画像上の図形を表す特徴量や、その特徴量が抽出された位置の座標は、あらかじめ、登録画像記憶部１１に格納されていてもよい。その場合、差違検出部１３は、登録画像上の図形を表す特徴量とその図形が検出された位置の座標を、登録画像記憶部１１から読み出せばよい。
　次に、差違検出部１３は、登録画像と検査画像から検出された図形のうち、登録画像と検査画像を重ねた場合に、他方の画像から検出された図形と重なる領域を持つ図形を抽出する。差違検出部１３は、互いに重なる領域がある、登録画像ら検出された図形と検査画像から検出された図形の組み合わせの各々に対して、一方の図形の領域の面積に対する、互いに重なる領域の面積の割合を算出する。図形の領域は、図形の外接矩形であってもよい。差違検出部１３は、互いに最も重複する面積の割合が大きい、登録画像から抽出された図形と、検査画像から抽出された図形を、関連付ける。
　そして、差違検出部１３は、互いに関連付けられた２個の図形の特徴量の差と、それらの図形が抽出された位置の座標の差を算出する。特徴量がベクトルであるなら、差違検出部１３は、２つの特徴量の間の、予め定義された距離を、特徴量の差として算出すればよい。差違検出部１３は、例えば、２個の図形が抽出された位置の座標で表される２点の間の距離を、座標の差として算出すればよい。差違検出部１３は、関連付けられている図形が存在しない図形の、特徴量の差と位置の座標間の距離として、例えば、後述のそれぞれの閾値より大きい所定値を設定すればよい。　
　差違検出部１３は、各図形に対して、互いに関連付けられた２個の図形の特徴量の距離と、特徴量の距離に対する閾値Ｓ２の比較を行う。また、差違検出部１３は、各図形に対して、互いに関連付けられた２個の図形が検出された位置の座標の間の距離と、座標間の距離に対する閾値Ｓ３の比較を行う。差違検出部１３は、特徴量の距離と、２個の図形が検出された位置の座標の間の距離の、少なくとも一方が、それぞれの閾値を上回る図形を、欠陥として検出する。
　差違検出部１３は、例えば、欠陥として検出された図形の領域を表す情報を、出力部１４に送信すればよい。差違検出部１３は、さらに、閾値を超えた、前述のいずれかの距離を、出力部１４に送信してもよい。
　出力部１４は、第１の実施形態と同様に、欠陥が検出された場所を特定できる形で、欠陥の検出結果を表示する。
　なお、本実施形態の検出装置１は、第２の実施形態の検出装置１と同様に、登録画像記憶部１１が記憶する全ての登録画像に対して、登録画像と検査画像の差違を検出してもよい。そして、本実施形態の検出装置１は、検出された最も小さい差違が閾値を超える場合、その差違を、欠陥として出力してもよい。
　本実施形態には、第１の実施形態と同じ効果がある。
　次に、本発明の第４の実施形態について、図面を参照して詳細に説明する。
　図１１は、本実施形態の検査装置１の構成を表す図である。
　本実施形態の検査装置１は、形状が平面である検査対象のうち、欠陥がない前記検査対象が撮影された画像である登録画像と、当該登録画像から抽出された、所定の条件に合致する点である特徴点を複数、記憶する登録画像記憶部１１と、前記検査対象が前記登録画像撮影の撮影方向と異なる方向から撮影された画像である、検査画像からの複数の前記特徴点の抽出と、前記検査画像の複数の前記特徴点及び前記登録画像の複数の前記特徴点に基づく、前記検査画像及び前記登録画像の双方に像が含まれる、前記検査対象上の複数の点に対して、前記検査画像及び前記登録画像のいずれか一方の画像上の前記点の像の座標を、前記他方の画像上の前記点の像の座標に一致させる射影変換を表す変換パラメータの算出と、当該変換パラメータによる前記一方の画像に対する前記射影変換の実行である、位置合わせを行う位置合わせ部１２と、前記位置合わせ後の前記検査画像と前記登録画像の差違を検出する差違検出部１３とを含む。
　図１１は、本実施形態の検査装置１の構成を表す図である。
　次に、第１の実施形態の具体的な構成例について、図面を参照して詳細に説明する。
　本構成例の構成は、図１の第１の実施形態の構成と同じである。
　図１２は、本構成例の撮影装置２と、検査対象４の配置を表す図である。
　図１２を参照すると、本構成例の撮影装置２は、検査台４０に載せられた、平面状の検査対象４を撮影する。
　図１２のｘ方向及びｙ方向は、共に、検査台４０の表面及び検査対象４に平行な方向である。ｚ方向は、検査台４０の表面及び検査対象４の法線方向である。検査対象４と、撮影装置２内において画像が投影される画像面との距離がｄである。検査台４０の表面及び検査対象４の法線方向に対する、撮影装置２の光軸の偏角は、θとγで表される。検査対象４が撮影装置２の被写界深度内に含まれ、撮影装置２で撮影される画像内の検査対象４の像全体が合焦状態であれば、距離ｄ、偏角θとγは、いずれの値でもよい。
　検査装置１は、撮影装置２に接続されている。検査装置１と撮影装置２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）やＩＥＥＥ１３９４（Ｔｈｅ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｅｌｅｃｔｒｉｃａｌ　ａｎｄ　Ｅｌｅｃｔｒｏｎｉｃｓ　Ｅｎｇｉｎｅｅｒｓ）などの汎用のインタフェースにより接続されていればよい。検査装置１は、画像キャプチャボードが搭載されたコンピュータを使用して構成されていてもよい。その場合、検査装置１と撮影装置２は、映像信号を送信可能な送信線により接続されていればよい。そして、検査装置１は、その映像キャプチャボードによって、撮影装置２から送信される映像信号を、デジタル化された画像として取得してもよい。
　次に、キーボードの検査における効果について説明する。
　キーボードの検査の方法のひとつとして、マスクを利用する方法が知られている。マスクは、濃淡のパターンで構成される検査対象の検査に使用される。マスクは、検査対象のパターンの濃淡が反転されたパターンのシートである。マスクを使用した検査対象の検査は、マスクを検査対象に重ねることによって行われる。マスクの、検査対象の色が黒い部分に対応する部分は、透明である。このようなマスクは、ビニルシートなどで作られている。欠陥が無い検査対象にマスクが重ねられた場合、マスク上に白い部分は現れない。検査対象に本来黒い領域が白い欠陥があるなら、その検査対象にマスクが重ねられた場合、マスク上に白い部分が現れる。検査者は、検査対象にマスクを重ねることにより現れる、白い部分を欠陥として検出する。
　例えば、背景の色が白で、文字の色が黒であるキーボードを検査するためのマスクは、背景の色が黒で、文字の部分が透明なシートである。
　図１３は、マスクによる欠陥の検査結果の一例を表す図である。図１３には、検査対象であるキーボードのパターンと、マスクと、キーボードにマスクを重ねた検査結果が表される。
　図１３のキーボードには、Ｗが印刷されているべき場所にＶが印刷されている欠陥がある。このキーボードにマスクを重ねることにより、誤ってＷの代わりにＶが印刷されている部分に、白いＷに黒いＶが重ねられた図形が白く現れる。検査者は、白い図形が現れた箇所を欠陥として検出する。
　しかし、マスクを重ねた場合にマスクによって隠される部分に存在する欠陥は、マスクによる検出では欠陥が検出されない場合がある。
　図１４は、マスクによる欠陥の検査結果の一例を表す図である。図１４に示すキーボードには、Ｃが印刷されているべき場所にＯが印刷されている欠陥がある。図１４に示す例の場合、キーボードにマスクを重ねても、欠陥が存在する場所に白い図形は現れない。従って、検査者は、欠陥を検出することができない。キーボードのＦが印刷されている場所に誤ってＥが印刷されている場合も、マスクによる検査では欠陥は検出されない。
　本発明の各実施形態の検査装置１は、比較対象の画像の差違を検出する。従って、本発明の各実施形態の検査装置１は、マスクによる検査ではマスクによって隠されるために検出されない、前述の欠陥を検出することができる。
　検査装置１は、それぞれ、コンピュータ及びそのコンピュータを制御するプログラム、専用のハードウェア、又は、コンピュータ及びそのコンピュータを制御するプログラムと専用のハードウェアの組合せにより実現することができる。
　図１５は検査装置１を実現するために使用されるコンピュータ１０００の構成の一例を表す図である。図１５を参照すると、コンピュータ１０００は、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１００４とを含む。また、コンピュータ１０００は、記録媒体１００５にアクセスすることができる。メモリ１００２と記憶装置１００３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ハードディスクなどの記録装置である。記録媒体１００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、可搬記録媒体である。記憶装置１００３が記録媒体１００５であってもよい。プロセッサ１００１は、メモリ１００２と、記憶装置１００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１００１は、Ｉ／Ｏインタフェース１００４を介して、例えば、撮影装置２から検査対象が撮影された画像のデータを受信することができる。プロセッサ１００１は、記録媒体１００５にアクセスすることができる。記録媒体１００５には、コンピュータ１０００を検査装置１として動作させるプログラムが格納されている。
　プロセッサ１００１は、記録媒体１００５に格納されている、コンピュータ１０００を検査装置１として動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は検査装置１として動作する。
　入力部１０、位置合わせ部１２、差違検出部１３、出力部１４は、例えば、プログラムを記憶する記録媒体１００５からメモリ１００２に読み込まれた、各部の機能を実現するための専用のプログラムと、そのプログラムを実行するプロセッサ１００１により実現することができる。また、登録画像記憶部１１は、コンピュータ１０００が含むメモリ１００２や例えばハードディスク装置である記憶装置１００３により実現することができる。あるいは、入力部１０、登録画像記憶部１１、位置合わせ部１２、差違検出部１３、出力部１４の一部又は全部を、各部の機能を実現する専用の回路によって実現することもできる。
　以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１２年９月１８日に出願された日本出願特願２０１２－２０４８３４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明によれば、文字や図形などが印字された平面の検査に適用できる。本発明はキーボードなどキーチップの配置検査などにも適用可能である。
　１　　検査装置
　２　　撮影装置
　３　　出力装置
　４　　検査対象
　１０　　入力部
　１１　　登録画像記憶部
　１２　　位置合わせ部
　１３　　差違検出部
　１４　　出力部
　４０　　検査台
　１００　　検査システム
　１０００　　コンピュータ
　１００１　　プロセッサ
　１００２　　メモリ
　１００３　　記憶装置
　１００４　　Ｉ／Ｏインタフェース
　１００５　　記録媒体

Claims (10)

  1. 　形状が平面である検査対象のうち、欠陥がない前記検査対象が撮影された画像である登録画像と、当該登録画像から抽出された、所定の条件に合致する点である特徴点を複数、記憶する登録画像記憶手段と、
    　前記検査対象が前記登録画像撮影の撮影方向と異なる方向から撮影された画像である、検査画像からの複数の前記特徴点の抽出と、前記検査画像の複数の前記特徴点及び前記登録画像の複数の前記特徴点に基づく、前記検査画像及び前記登録画像の双方に像が含まれる、前記検査対象上の複数の点に対して、前記検査画像及び前記登録画像のいずれか一方の画像上の前記点の像の座標を、前記他方の画像上の前記点の像の座標に一致させる射影変換を表す変換パラメータの算出と、当該変換パラメータによる前記一方の画像に対する前記射影変換の実行である、位置合わせを行う位置合わせ手段と、
    　前記位置合わせ後の前記検査画像と前記登録画像の差違を検出する差違検出手段と
    　を含む検査装置。
  2. 　前記登録画像記憶手段は、１種類以上の前記検査対象の前記登録画像を含む、複数の前記登録画像と、前記登録画像の各々の複数の前記特徴点の組を記憶し、
    　前記位置合わせ手段は、前記登録画像記憶手段に格納されている複数の前記登録画像の各々に対して、当該登録画像と前記検査画像の位置合わせを行い、
    　前記差違検出手段は、前記位置合わせ後の前記登録画像と前記検査画像の組み合わせの各々に対して、前記差違を検出し、検出した前記差違の各々のうち、前記差違の大きさを表す値が最も小さい前記差違を、前記検査画像に対する前記差違として検出する
    　請求項１に記載の検査装置。
  3. 　前記差違検出手段は、前記検査画像の少なくとも一部の領域と、当該領域に対応する、前記登録画像の領域から、それぞれ特徴量を算出し、算出した特徴量の差を前記差違として検出する
    　請求項１又は２に記載の検査装置。
  4. 　前記登録画像記憶手段は、前記登録画像から抽出された少なくとも所定個数の前記特徴点の座標を記憶し、
    　前記位置合わせ手段は、前記検査画像から少なくとも所定個数の前記特徴点を抽出し、前記検査画像及び前記登録画像のいずれか一方の画像から検出された少なくとも所定個数の複数の特徴点に対応する、他方の画像から抽出された前記特徴点を検出し、互いに対応付けられた、前記検査画像から抽出された前記特徴点と、前記登録画像から抽出された前記特徴点との、複数の組み合わせから、前記変換パラメータを算出する
    　請求項１乃至３のいずれかに記載の検査装置。
  5. 　前記位置合わせ手段は、前記複数の特徴点の座標のうち、はずれ値が前記変換パラメータに与える影響を軽減する、前記特徴点の座標に対するロバスト推定を用いて、前記変換パラメータを算出する
    　請求項４に記載の検査装置。
  6. 　前記位置合わせ手段は、前記検査画像を所定の閾値で二値化した二値画像を生成し、前記二値画像のいずれか一方又は双方の画素値に対して、当該画素値をもつ画素が連続する領域である連結領域を抽出し、当該連結領域の重心点を前記特徴点として抽出する
    　請求項１乃至５のいずれかに記載の検査装置。
  7. 　前記検査画像を撮影する撮影装置と、請求項１乃至６のいずれかに記載の検査装置と、前記検査装置から前記差違を受信して表示する表示装置と
    　を含む検査システム。
  8. 　形状が平面である検査対象のうち、欠陥がない前記検査対象が撮影された画像である登録画像と、当該登録画像から抽出された、所定の条件に合致する点である特徴点を複数、登録画像記憶手段に記憶し、
    　前記検査対象が前記登録画像撮影の撮影方向と異なる方向から撮影された画像である、検査画像からの複数の前記特徴点の抽出と、前記検査画像の複数の前記特徴点及び前記登録画像の複数の前記特徴点に基づく、前記検査画像及び前記登録画像の双方に像が含まれる、前記検査対象上の複数の点に対して、前記検査画像及び前記登録画像のいずれか一方の画像上の前記点の像の座標を、前記他方の画像上の前記点の像の座標に一致させる射影変換を表す変換パラメータの算出と、当該変換パラメータによる前記一方の画像に対する前記射影変換の実行である、位置合わせを行い、
    　前記位置合わせ後の前記検査画像と前記登録画像の差違を検出する
    　検査方法。
  9. 　コンピュータを、
    　形状が平面である検査対象のうち、欠陥がない前記検査対象が撮影された画像である登録画像と、当該登録画像から抽出された、所定の条件に合致する点である特徴点を複数、記憶する登録画像記憶手段と、
    　前記検査対象が前記登録画像撮影の撮影方向と異なる方向から撮影された画像である、検査画像からの複数の前記特徴点の抽出と、前記検査画像の複数の前記特徴点及び前記登録画像の複数の前記特徴点に基づく、前記検査画像及び前記登録画像の双方に像が含まれる、前記検査対象上の複数の点に対して、前記検査画像及び前記登録画像のいずれか一方の画像上の前記点の像の座標を、前記他方の画像上の前記点の像の座標に一致させる射影変換を表す変換パラメータの算出と、当該変換パラメータによる前記一方の画像に対する前記射影変換の実行である、位置合わせを行う位置合わせ手段と、
    　前記位置合わせ後の前記検査画像と前記登録画像の差違を検出する差違検出手段と
    　して動作させる検査プログラム。
  10. 　コンピュータを、
    　１種類以上の前記検査対象の前記登録画像を含む、複数の前記登録画像と、前記登録画像の各々の複数の前記特徴点の組を記憶する前記登録画像記憶手段と、
    　前記登録画像記憶手段に格納されている複数の前記登録画像の各々に対して、当該登録画像と前記検査画像の位置合わせを行う前記位置合わせ手段と、
    　前記位置合わせ後の前記登録画像と前記検査画像の組み合わせの各々に対して、前記差違を検出し、検出した前記差違の各々のうち、前記差違の大きさを表す値が最も小さい前記差違を、前記検査画像に対する前記差違として検出する前記差違検出手段と
    　して動作させる請求項９に記載の検査プログラム。
PCT/JP2013/004625 2012-09-18 2013-07-31 検査装置、検査方法、および検査プログラム WO2014045508A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012204834 2012-09-18
JP2012-204834 2012-09-18

Publications (1)

Publication Number Publication Date
WO2014045508A1 true WO2014045508A1 (ja) 2014-03-27

Family

ID=50340850

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/004625 WO2014045508A1 (ja) 2012-09-18 2013-07-31 検査装置、検査方法、および検査プログラム

Country Status (2)

Country Link
TW (1) TWI500925B (ja)
WO (1) WO2014045508A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106645209A (zh) * 2016-12-29 2017-05-10 百富计算机技术（深圳）有限公司 一种按键丝印的检测方法及系统
US10043694B2 (en) 2015-04-23 2018-08-07 SCREEN Holdings Co., Ltd. Inspection device and substrate processing apparatus
CN109738450A (zh) * 2019-01-09 2019-05-10 合肥联宝信息技术有限公司 笔记本键盘的检测方法和装置
CN110596115A (zh) * 2018-06-12 2019-12-20 欧姆龙株式会社 图像检查系统以及其控制方法
JP2021086208A (ja) * 2019-11-25 2021-06-03 オムロン株式会社 画像検査装置
CN116309573A (zh) * 2023-05-19 2023-06-23 成都工业学院 一种牛奶包装盒印刷字符的缺陷检测方法
TWI810623B (zh) * 2021-08-04 2023-08-01 中國信託商業銀行股份有限公司 文件校對方法及裝置、電腦可讀取的記錄媒體

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10147178B2 (en) * 2017-01-12 2018-12-04 Nanya Technology Corporation Method of recognizing wafer
TWI702493B (zh) * 2019-09-09 2020-08-21 英業達股份有限公司 插槽檢測方法及系統
JP2023012844A (ja) * 2021-07-14 2023-01-26 株式会社日立ハイテク 試料観察装置、試料観察方法、およびコンピュータシステム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1114324A (ja) * 1997-06-27 1999-01-22 Hitachi Ltd パターン欠陥検査方法及びその装置
JPH11183393A (ja) * 1997-10-13 1999-07-09 Mitsubishi Electric Corp パターン欠陥検査装置及びパターン欠陥検査方法
JPH11258174A (ja) * 1998-03-10 1999-09-24 Dainippon Printing Co Ltd 撮像画像複合歪み検出装置
JP2000082141A (ja) * 1998-09-07 2000-03-21 Dainippon Printing Co Ltd 撮像画像幾何歪み検出装置
JP2000105199A (ja) * 1998-09-29 2000-04-11 Minolta Co Ltd 円筒容器の印刷検査方法
JP2007212201A (ja) * 2006-02-08 2007-08-23 Hitachi High-Technologies Corp パターン検査方法及びその装置
JP2009276124A (ja) * 2008-05-13 2009-11-26 Pfu Ltd 図面情報管理装置および照合検査方法
JP2010032287A (ja) * 2008-07-28 2010-02-12 Bridgestone Corp 外観検査装置、及び被検査物の外観検査方法
JP2010286256A (ja) * 2009-06-09 2010-12-24 Jfe Techno Research Corp 印刷物の検査方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012081587A1 (ja) * 2010-12-14 2012-06-21 株式会社ニコン 検査方法、検査装置、露光管理方法、露光システムおよび半導体デバイス

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1114324A (ja) * 1997-06-27 1999-01-22 Hitachi Ltd パターン欠陥検査方法及びその装置
JPH11183393A (ja) * 1997-10-13 1999-07-09 Mitsubishi Electric Corp パターン欠陥検査装置及びパターン欠陥検査方法
JPH11258174A (ja) * 1998-03-10 1999-09-24 Dainippon Printing Co Ltd 撮像画像複合歪み検出装置
JP2000082141A (ja) * 1998-09-07 2000-03-21 Dainippon Printing Co Ltd 撮像画像幾何歪み検出装置
JP2000105199A (ja) * 1998-09-29 2000-04-11 Minolta Co Ltd 円筒容器の印刷検査方法
JP2007212201A (ja) * 2006-02-08 2007-08-23 Hitachi High-Technologies Corp パターン検査方法及びその装置
JP2009276124A (ja) * 2008-05-13 2009-11-26 Pfu Ltd 図面情報管理装置および照合検査方法
JP2010032287A (ja) * 2008-07-28 2010-02-12 Bridgestone Corp 外観検査装置、及び被検査物の外観検査方法
JP2010286256A (ja) * 2009-06-09 2010-12-24 Jfe Techno Research Corp 印刷物の検査方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043694B2 (en) 2015-04-23 2018-08-07 SCREEN Holdings Co., Ltd. Inspection device and substrate processing apparatus
US10546766B2 (en) 2015-04-23 2020-01-28 SCREEN Holdings Co., Ltd. Inspection device and substrate processing apparatus
CN106645209A (zh) * 2016-12-29 2017-05-10 百富计算机技术（深圳）有限公司 一种按键丝印的检测方法及系统
CN110596115A (zh) * 2018-06-12 2019-12-20 欧姆龙株式会社 图像检查系统以及其控制方法
CN109738450A (zh) * 2019-01-09 2019-05-10 合肥联宝信息技术有限公司 笔记本键盘的检测方法和装置
CN109738450B (zh) * 2019-01-09 2021-06-29 合肥联宝信息技术有限公司 笔记本键盘的检测方法和装置
JP2021086208A (ja) * 2019-11-25 2021-06-03 オムロン株式会社 画像検査装置
WO2021106566A1 (ja) * 2019-11-25 2021-06-03 オムロン株式会社 画像検査装置
JP7354790B2 (ja) 2019-11-25 2023-10-03 オムロン株式会社 画像検査装置
TWI810623B (zh) * 2021-08-04 2023-08-01 中國信託商業銀行股份有限公司 文件校對方法及裝置、電腦可讀取的記錄媒體
CN116309573A (zh) * 2023-05-19 2023-06-23 成都工业学院 一种牛奶包装盒印刷字符的缺陷检测方法
CN116309573B (zh) * 2023-05-19 2023-07-25 成都工业学院 一种牛奶包装盒印刷字符的缺陷检测方法

Also Published As

Publication number Publication date
TW201415010A (zh) 2014-04-16
TWI500925B (zh) 2015-09-21

Similar Documents

Publication Publication Date Title
WO2014045508A1 (ja) 検査装置、検査方法、および検査プログラム
CN108451536B (zh) 自动地定位x射线系统的x射线源的方法和x射线系统
EP3033875B1 (en) Image processing apparatus, image processing system, image processing method, and computer program
JP6507730B2 (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
JP5699788B2 (ja) スクリーン領域検知方法及びシステム
CN109584307B (zh) 改进摄像机固有参数校准的系统和方法
JP6701118B2 (ja) 画像処理装置および画像処理方法
JP3951984B2 (ja) 画像投影方法、及び画像投影装置
TWI419081B (zh) 提供擴增實境的標籤追蹤方法、系統與電腦程式產品
US20150262346A1 (en) Image processing apparatus, image processing method, and image processing program
JP4001162B2 (ja) 画像処理方法、画像処理用のプログラムならびにその記憶媒体、および画像処理装置
WO2012063593A1 (ja) オブジェクト表示装置及びオブジェクト表示方法
US20140270481A1 (en) System for determining alignment of a user-marked document and method thereof
JP2017032548A (ja) 自動工業検査における３ｄビジョンの使用
JP2016058637A (ja) オーバーレイ計測方法、装置、および表示装置
US11488354B2 (en) Information processing apparatus and information processing method
JP2014197243A (ja) パターン処理装置、パターン処理方法、パターン処理プログラム
Redzuwan et al. Affine versus projective transformation for SIFT and RANSAC image matching methods
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
KR100808536B1 (ko) 패턴 영상을 이용한 캘리브레이션 방법
JP2019178892A (ja) 画像処理装置、画像処理方法及びプログラム
KR101574195B1 (ko) 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법
JP2014191685A (ja) 画像処理装置および画像処理方法
KR101559941B1 (ko) 인쇄패턴 불량 검사 시스템
JP2005227929A (ja) 対象物の撮影画像の処理方法、画像表示システム、プログラム、および、記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13838424

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13838424

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP