WO2021192376A1 - 外観検査システムおよびコンピュータプログラム - Google Patents

外観検査システムおよびコンピュータプログラム Download PDF

Info

Publication number
WO2021192376A1
WO2021192376A1 PCT/JP2020/039729 JP2020039729W WO2021192376A1 WO 2021192376 A1 WO2021192376 A1 WO 2021192376A1 JP 2020039729 W JP2020039729 W JP 2020039729W WO 2021192376 A1 WO2021192376 A1 WO 2021192376A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
inspected
offset
defect
visual inspection
Prior art date
Application number
PCT/JP2020/039729
Other languages
English (en)
French (fr)
Inventor
和也 森口
Original Assignee
日本電産株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電産株式会社 filed Critical 日本電産株式会社
Priority to CN202080098729.0A priority Critical patent/CN115298539A/zh
Publication of WO2021192376A1 publication Critical patent/WO2021192376A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This disclosure relates to visual inspection systems and computer programs.
  • Japanese Patent Application Laid-Open No. 2013-224833 discloses a technique for defining a judgment standard for good / bad judgment for each specific pixel and automatically setting the judgment standard using the average value / standard deviation of brightness. .. According to the technique of Japanese Patent Application Laid-Open No. 2013-224833, it is possible to omit frequent manual changes in the judgment criteria, and it is possible to operate the visual inspection more efficiently.
  • the present disclosure provides a visual inspection system and a computer program that suppress over-detection while suppressing omission of defect detection.
  • the exemplary visual inspection system is an visual inspection system that determines the quality of the inspected object by using an image of the inspected object, and is a plurality of images of a plurality of articles determined to be non-defective.
  • a storage device that stores an image, a reference table in which a plurality of thresholds are described, and an offset table in which a plurality of offset values are described, and an interface device that receives image data of an inspected object and attribute data indicating attributes related to manufacturing conditions. , With an arithmetic circuit.
  • Each of the image of the object to be inspected and the plurality of images includes a plurality of partial regions.
  • Each of the plurality of threshold values in the reference table and each of the plurality of offset values in the offset table are set in association with each of the plurality of subregions.
  • Each of the plurality of threshold values is a reference for determining that the image of the object to be inspected contained in each of the plurality of associated subregions represents a defect.
  • the plurality of offset values include a first-class offset value that changes a part of the plurality of threshold values and a second-class offset value that does not change the remaining part.
  • the arithmetic circuit (a) performs a defect detection process predetermined for the image data, and if an image of at least one defect is included in the image of the object to be inspected, the object to be inspected is a defect candidate. Execute the process of extracting as.
  • the arithmetic circuit is (b) a process of cutting out a partial image from the image of the object to be inspected extracted as the defect candidate, and the position of the cut out partial image is the first position in the offset table. Performs processing, which is the position of the subregion with which the offset value of the species is associated. Further, the arithmetic circuit is (c) a process of determining whether or not the image feature amount of the cut out partial image is classified into the overdetection class, and the overdetection class is the offset of the first type. A process is executed in which the image feature amount of each partial image of the plurality of images is classified at a ratio of a predetermined value or more at the position of the partial region to which the value is associated.
  • the arithmetic circuit sets the threshold value of the reference table at the position of the partial region as the offset of the first type when (d) the image feature amount of the cut out partial image is classified into the overdetection class.
  • a process is performed in which the value is used to raise the criteria for determining that the image of the object to be inspected represents a defect.
  • the arithmetic circuit uses the reference table in which the threshold value is changed to execute a process of determining whether or not an image of at least one defect is included in the image of the object to be inspected.
  • the exemplary computer program according to the present disclosure is a computer program executed by the arithmetic circuit of the visual inspection system that determines the quality of the inspected object by using the image of the inspected object.
  • the visual inspection system is a storage device that stores a plurality of images taken of each of a plurality of articles determined to be non-defective, a reference table in which a plurality of threshold values are described, and an offset table in which a plurality of offset values are described.
  • An interface device that receives image data of the object to be inspected, and the arithmetic circuit.
  • Each of the image of the object to be inspected and the plurality of images includes a plurality of partial regions.
  • Each of the plurality of threshold values in the reference table and each of the plurality of offset values in the offset table are set in association with each of the plurality of subregions.
  • Each of the plurality of threshold values is a reference for determining that the image of the object to be inspected contained in each of the plurality of associated subregions represents a defect.
  • the plurality of offset values include a first-class offset value that changes a part of the plurality of threshold values and a second-class offset value that does not change the remaining part.
  • the computer program performs (a) a defect detection process predetermined for the image data on the arithmetic circuit, and when the image of at least one defect is included in the image of the object to be inspected, the computer program is inspected.
  • the process of extracting an object as a defect candidate is executed.
  • the computer program is (b) a process of cutting out a partial image from the image of the object to be inspected extracted as the defect candidate, and the position of the cut out partial image is the first position in the offset table. Execute the process, which is the position of the subregion to which the offset value of the species is associated.
  • the computer program is (c) a process of determining whether or not the image feature amount of the cut out partial image is classified into the overdetection class, and the overdetection class is the offset of the first type.
  • a process is executed, which is a class in which the image feature amount of each partial image of the plurality of images is classified at a ratio of a predetermined value or more at the position of the partial region to which the value is associated.
  • the computer program offsets the threshold value of the reference table at the position of the partial region of the first type when the image feature amount of the cut out partial image is classified into the overdetection class. The value is used to change to perform a process that raises the criteria for determining that the inspected object represents a defect.
  • the computer program (e) uses the reference table in which the threshold value is changed to execute a process of determining whether or not an image of at least one defect is included in the image of the object to be inspected.
  • FIG. 1 is a diagram showing a configuration example of the appearance inspection system 1000 of the present disclosure having the appearance inspection device 100.
  • FIG. 2 is a diagram schematically showing a configuration example of the visual inspection apparatus 100.
  • FIG. 3 is a diagram showing an example of the database 14Z in the storage device 14.
  • FIG. 4 is a diagram schematically showing an example of image data obtained by photographing the work 70.
  • FIG. 5 is a diagram showing an example of an image of the work 70 divided into a plurality of partial regions 72.
  • FIG. 6 is a flowchart showing the procedure of the visual inspection process.
  • FIG. 7 is a diagram showing an example of the result of defect detection processing when a scratch is present in a certain partial region 72b.
  • FIG. 8 is a diagram schematically showing the offset table 14c (upper row) and the position of the partial image cut out from the image 72 of the work 70 (lower row).
  • FIG. 9 is a diagram for explaining the process of step S8 of FIG.
  • FIG. 10 is a diagram for explaining step S10 of FIG.
  • FIG. 11 is a flowchart showing a specific procedure of the visual inspection process.
  • FIG. 12 is a flowchart showing the procedure of the database registration process.
  • FIG. 13 is a flowchart showing the procedure of the similarity tendency confirmation process.
  • FIG. 14 is a diagram for specifically explaining steps S56 and S58 of FIG.
  • FIG. 15 is a flowchart showing a procedure for generating / updating the offset table.
  • FIG. 16 is a flowchart showing a procedure for updating the database 14Z.
  • FIG. 17 is a flowchart showing the procedure of the offset table application process.
  • FIG. 18 is a diagram showing a configuration of a visual inspection system 1100 according to
  • FIG. 1 is a diagram showing a configuration example of the visual inspection system 1000 of the present disclosure having the visual inspection device 100.
  • FIG. 2 is a diagram schematically showing a configuration example of the visual inspection apparatus 100.
  • the visual inspection system 1000 includes an imaging device 30, a visual inspection device 100, and a monitor 130.
  • the visual inspection device 100, the input device 120 and the monitor 130 can be realized by a general-purpose digital computer system such as a PC.
  • the image pickup device 30 can be a digital still camera.
  • the image pickup apparatus 30 is communicably connected to the appearance inspection apparatus 100 by a wired communication cable or a wireless communication line (not shown).
  • the monitor 130 is communicably connected to the visual inspection device 100 by a wired communication cable (not shown).
  • the image pickup device 30 takes an image of the object to be inspected and sends the image data acquired by the image pickup to the appearance inspection device 100.
  • the visual inspection device 100 performs a visual inspection of the object to be inspected based on the image data received from the image pickup device 30 according to the procedure described later.
  • the procedure for visual inspection of the object to be inspected performed in the visual inspection system will be described with reference to FIG.
  • the object to be inspected is various articles such as various products or parts that are subject to visual inspection.
  • the object to be inspected may be referred to as a "work".
  • the work 70 is placed on the transfer table 62 and fixed to the transfer table 62 by the gripping mechanism.
  • the work 70 is, for example, a finished product of a hard disk drive, a housing of a hard disk drive in which a motor is incorporated, or the like.
  • the transfer table 62 can be moved in the horizontal direction by the transfer stage 64 with the work 70 on it.
  • the image pickup apparatus 30 is supported by a support member 60 above the transfer stage 64 so as to include the transfer stage 64 in the field of view.
  • the image pickup apparatus 30 images the work 70 in the field of view.
  • the work 70 may be gripped by the robot arm and placed in the imaging position.
  • a light source (not shown) may illuminate the work 70 during imaging.
  • the image data acquired by imaging is sent from the imaging device 30 to the visual inspection device 100.
  • An example of the size of the image acquired by one imaging is a horizontal 1600 pixel and a vertical 1200 image, and another example is a horizontal 800 pixel and a vertical 600 image.
  • the visual inspection device 100 includes an arithmetic circuit 10, a memory 12, a storage device 14, a communication circuit 16, and an image processing circuit 18. The components are connected to each other so as to be able to communicate with each other by the bus 20. Further, the visual inspection device 100 includes an interface device 22a that communicates with the image pickup device 30, an interface device 22b that communicates with the input device 120, and an interface device 22c that outputs video data to the monitor 130.
  • An example of the interface device 22a is a video input terminal or an Ethernet terminal.
  • An example of the interface device 22b is a USB terminal.
  • An example of the interface device 22c is an HDMI® terminal. Instead of these examples, other terminals may be used as the interface devices 22a to 22c.
  • the interface devices 22a to 22c may be wireless communication circuits for performing wireless communication.
  • a wireless communication circuit compliant with the Wi-Fi (registered trademark) standard that performs wireless communication using frequencies such as 2.4 GHz / 5.2 GHz / 5.3 GHz / 5.6 GHz. It has been known.
  • the arithmetic circuit 10 can be, for example, an integrated circuit (IC) chip such as a central processing unit (CPU) or a digital signal processing processor.
  • the memory 12 is a recording medium in which a computer program 12p for controlling the operation of the arithmetic circuit 10 is stored and a learned convolutional neural network 12n described later is constructed.
  • the substance of the learned convolutional neural network 12n is a plurality of parameters given to each artificial neuron constituting the input layer, the intermediate layer, and the output layer.
  • the parameters include a weight applied to each of the inputs to each artificial neuron and a threshold value to be compared with the weighted sum of the inputs (the sum of the products of the inputs and the weights).
  • the memory 12 does not have to be a single recording medium, but may be a set of a plurality of recording media.
  • the memory 12 may include, for example, a semiconductor volatile memory such as RAM and a semiconductor non-volatile memory such as flash ROM. At least a portion of the memory 12 may be a removable recording medium.
  • the storage device 14 stores a database which is a set of various data.
  • FIG. 3 shows an example of the database 14Z in the storage device 14.
  • the storage device 14 includes a plurality of images 14a in which each of the plurality of articles determined to be non-defective products is captured, a reference table 14b in which a plurality of threshold values are described, and an offset in which a plurality of offset values are described.
  • the table 14c is stored.
  • the storage device 14 may store the attribute data 14d indicating the attributes related to the manufacturing conditions of the object to be inspected. The contents of each stored data will be described in detail later.
  • the image pickup device 30 is a device that outputs an image signal for generating image data of the object to be inspected.
  • the image signal is sent to the arithmetic circuit 10 by wire or wirelessly.
  • a typical example of the image pickup apparatus 30 is a camera including an area sensor such as a CMOS image sensor or a CCD image sensor in which a large number of photodiodes are arranged in a matrix.
  • the image pickup apparatus 30 generates data of a color image or a monochrome image of the object to be inspected.
  • Various cameras for visual inspection can be used for the image pickup apparatus 30.
  • FIG. 4 schematically shows an example of image data obtained by photographing the work 70.
  • the image data is a frame image including an image of the work 70.
  • An exemplary image in this embodiment is an array of 256-gradation pixel values (“brightness” or “grayscale” values) that reflect the irregularities and patterns on the surface of the work 70. Pixel values may be referred to as luminance values or densities.
  • the frame image is a color image, for example, the pixel value can be defined by three colors of red, green, and blue, each of which is represented by 256 gradations.
  • the gradation value, the brightness value and the like may be comprehensively referred to as "image feature amount".
  • the "image feature amount” not only means the feature related to the pixel value, but also local such as the brightness histogram statistic for evaluating the basic properties of the image, the strength and weakness of the contrast between pixels, and the degree of pixel cohesion. It may also include Gray Level Co-occurrence Matrix (GLCM) features that can represent the features.
  • GLCM Gray Level Co-occurrence Matrix
  • a part of the transfer table 62 may be included as the background 70B in addition to the work 70 in one frame image.
  • the area 52 surrounded by the line 52L is the “inspection area”.
  • One frame image may include a plurality of inspection areas 52.
  • Alignment is performed so that the position of the work 70 in the frame image is aligned with a predetermined position in the frame image.
  • This alignment is to align the plurality of reference points of the work 70 with the plurality of reference points in the field of view of the image pickup apparatus 30.
  • the first step of such alignment is to adjust the physical arrangement relationship of the work 70 with respect to the lens optical axis of the image pickup apparatus 30.
  • the second step of alignment is to adjust the pixel position (coordinates) of the captured image.
  • the second stage alignment involves translating, rotating, enlarging and / or reducing the image by an image processing technique. As a result of such alignment, the inspection area 52 of each work 70 is always aligned with the area surrounded by the line 52L.
  • the image of the inspection area 52 of each work 70 can be processed in units of partial areas.
  • the above-mentioned alignment can be mainly executed by the arithmetic circuit 10 or the image processing circuit 18, but a mechanism (not shown) that changes the posture of the image pickup apparatus 30 according to a command from the arithmetic circuit 10 or the image processing circuit 18 It may be executed by rotating or translating the image pickup apparatus 30 in a plane parallel to the transport stage 64.
  • the monitor 130 is a device that displays the result of determination executed by the image processing device 100.
  • the monitor 130 can also display the image acquired by the image pickup apparatus 30.
  • the input device 120 is an input device that receives an input from a user including a designation of a selection area and gives it to the arithmetic circuit 10.
  • An example of the input device 120 is a touch panel, mouse and / or keyboard.
  • the monitor 130 and the input device 120 need not always be connected to the arithmetic circuit 10 by wire, but may be connected to the arithmetic circuit 10 only when necessary wirelessly or by wire via a communication interface.
  • the monitor 130 and the input device 120 may be a terminal device or a smartphone carried by the user.
  • the visual inspection system 1000 determines whether or not a defect is present in the object to be inspected by using an image.
  • the visual inspection system 1000 according to the exemplary embodiment uses a neural network to determine whether or not an image of a defect is present in the image of the object to be inspected. The presence or absence of defects is determined for each partial region when the article image is divided into a plurality of partial regions.
  • FIG. 5 shows an example of an image of the work 70 divided into a plurality of partial regions 72.
  • the plurality of partial regions 72 are in a grid pattern.
  • FIG. 5 illustrates one partial region 72a constituting the plurality of partial regions 72.
  • the plurality of partial regions 72 are set slightly larger than the image of the work 70 so as to completely include the inspection region 52 of the work 70 as a whole.
  • the visual inspection system 1000 uses, for example, the pixel values of all the pixels constituting the partial region 72a as inputs to the neural network to obtain an output from the neural network.
  • a convolutional neural network 12n that has been pre-learned using images of various defects such as "dirt”, “foreign matter”, and “scratches” and the names of the defects as teacher signals is used.
  • NS the type of defect is referred to as "class”.
  • a value indicating a size indicating that the image input to the neural network and the standard image judged to be normal do not match is output.
  • the output value may be referred to in the present specification as a "probability value" indicating a high possibility of being a defect.
  • the defect is a "scratch" on the surface of the hard disk drive housing.
  • the reflectance of the aluminum plate is higher than the reflectance of the coating, so the brightness value of the scratched image is higher than the brightness value of the image in the absence of scratches.
  • an image feature amount related to the brightness value of the input partial region image can be obtained from the intermediate layer of the convolutional neural network.
  • Each extracted image feature amount is treated as a hash value of the image of the input partial area.
  • any one of the plurality of images 14a in which each of the plurality of articles determined to be non-defective products stored in the storage device 14 was taken was used, it was determined to be a defect from the intermediate layer of the convolutional neural network. It is also possible to extract the image feature amount related to the brightness value of the partial region of the non-defective image corresponding to the position of the partial region.
  • the above-mentioned "probability value" is obtained for each subregion determined to contain a defect. Obtainable.
  • the probability value of the image of the partial region determined to be defective can be adjusted to be, for example, at least 50% or more.
  • the defect class name and probability value output from the neural network are defect candidate detection results based on the learning result of the neural network.
  • the visual inspection system 1000 changes the defect determination criteria based on the relationship with a plurality of articles determined to be non-defective, even if the article is once determined to contain defects. However, it is judged again whether or not the defect can be said to exist.
  • determining that a defect exists even though it is an article that should be determined to be a non-defective product is referred to as "overdetection". If over-detection occurs, the yield of the article will decrease, and it will have to be subject to repair, etc., and the cost of the article will increase.
  • the visual inspection system 1000 first determines whether or not the product is a non-defective product based on a criterion that is clearly determined to be a non-defective product. It was decided to relax the criteria for determining defects based on the relationship with multiple articles that were determined to be.
  • the visual inspection system 1000 When the visual inspection system 1000 performs a visual inspection, the following data is stored in the storage device 14 in advance.
  • Items judged to be non-defective are not limited to items judged to be non-defective from the beginning. Includes objects to be inspected that are once determined to be defective and then determined to be non-defective by, for example, visual judgment by an inspector, and objects to be inspected that are determined to be non-defective as a result of the processing according to the present disclosure described later. .. By including the latter two, the range of features of the image judged to be non-defective can be expanded.
  • Each of the "plurality of images" may include an image of only one article or may include an image of a plurality of articles. The image of each article judged to be non-defective is used to change the criteria for determining the presence or absence of defects.
  • Each of the "plurality thresholds” is a threshold value associated with each subregion when the image is divided into a plurality of subregions. Each threshold value is used as a reference for determining whether or not each partial region contains an image of a defect when determining the presence or absence of a defect in the inspected object once determined to have a defect.
  • the initial value of each of the "plurality of threshold values” is, for example, "0.5". As the threshold value approaches 1, only obvious defects and the like are determined to be "defects”. That is, the closer the threshold value is to 1, the more difficult it is to determine that the defect is a defect.
  • Each of the plurality of thresholds can be updated to a higher threshold value by each of the "plurality of offset values” described below.
  • the partial area may be an area composed of a plurality of consecutive pixels, or an area composed of one pixel, that is, an area defined by the size of one pixel.
  • one pixel can be, for example, an area defined by the size of three sub-pixels of red, green, and blue, which are arranged adjacent to each other.
  • Multiple offset values are used to update multiple thresholds described in the reference table.
  • the threshold value of the partial region is updated according to the offset value so that the criterion for determining the defect is higher. For example, the value obtained by adding the current threshold value and the offset value is updated as a new threshold value. This makes it possible to raise the criteria for determining a defect.
  • the "plurality of offset values” is not limited to the offset value for updating the threshold value, and may include an offset value that does not update the threshold value, that is, an offset value that maintains the current value.
  • an embodiment having both an offset value for maintaining the current value (type 1 offset value) and an offset value for updating the threshold value (type 2 offset value) is illustrated. Will be explained.
  • an offset value that maintains the current value is used, the calculation will be performed for all partial areas, so the calculation processing program can be simplified. For example, when adding an offset value to the current threshold value of each subregion, 0 is set for the offset value that does not update the threshold value, and a value greater than 0 is set for the offset value that updates the threshold value. Arithmetic processing that adds an offset value to the current threshold value for a partial area may be programmed. On the other hand, when the offset value is added only to the threshold value of a specific subregion, it is necessary to specify the subregion to be updated of the threshold value, which may complicate the programming of the arithmetic processing.
  • the visual inspection system 1000 again uses a higher threshold for determining that the article image is defective, and each partial region of the article image is defective. Determine if the image is included.
  • the visual inspection system 1000 registers the article image as one of the "plurality of images" shown in the above (a). On the other hand, when it is determined that any partial region in the article image still contains the image of the defect, the visual inspection system 1000 determines that the article in the article image contains the defect.
  • the above-mentioned "defect” is divided into a plurality of classes, and it is determined whether or not the defect is a defect for each class.
  • Examples of a plurality of classes are "dirt”, “foreign matter”, “scratch”, “burr”, “chip”, “deformation”, “color unevenness”, “unevenness”, and “cloudiness”.
  • the image of the subject to be inspected may have one or more classes of "defects” as described above.
  • the image of a non-defective product ((a) above) there may be features of one or more classes described above that are once determined to be “defects”.
  • the reference table (b) and the offset table (c) may be provided for each class of defects and used for determining the presence or absence of defects for each class.
  • one class corresponding to a defect will be described as an example, and the description of all the classes will be omitted because it is complicated.
  • the image processing device 100 that has acquired the image data executes the above-mentioned processing to perform an appearance inspection of the work 70. The contents of this process will be described in more detail below.
  • FIG. 6 is a flowchart showing a procedure of visual inspection processing.
  • step S2 the arithmetic circuit 10 performs a predetermined defect detection process on the image data, and extracts the inspected object as a defect candidate when the image of at least one defect is included in the image of the inspected object. do.
  • the "predetermined defect detection process” referred to here is a defect detection process using the convolutional neural network described above.
  • the inspected object is extracted as a defect candidate.
  • FIG. 7 shows an example of the result of the defect detection process when a scratch is present in a certain partial region 72b.
  • the defect class output from the convolutional neural network is "scratch", and the "probability value" indicating the high possibility of being a defect is 0.75.
  • the work 70 shown in FIG. 7 is extracted as a defect candidate.
  • a defect class other than "scratch” may be given.
  • a partial region determined to have a defect may be referred to as a “defect candidate region”.
  • step S4 and subsequent steps the criteria for determining defects are changed based on the relationship with a plurality of articles determined to be non-defective for the object to be inspected once determined to contain defects, and can it be said that the defects still exist?
  • the process of determining whether or not is performed again is performed.
  • the "offset table” includes a first-class offset value that changes a part of a plurality of threshold values and a second-class offset value that does not change the remaining part. Using each offset value, the threshold value of the criterion for determining whether or not the defect is set for each partial region is changed or maintained as it is. The method of creating the offset table will be described later.
  • step S4 the arithmetic circuit 10 cuts out a partial image from the image of the object to be inspected extracted as a defect candidate.
  • the position of the partial image to be cut out is the position of the partial area in the offset table 14c to which the offset value of the first type is associated.
  • FIG. 8 is a diagram schematically showing the offset table 14c (upper row) and the position of the partial image cut out from the image 72 of the work 70 (lower row).
  • the number of rows and columns of the offset table 14c provided in a grid pattern matches the number of rows and columns in which a plurality of subregions are partitioned. Therefore, it is possible to associate the position of each element of the offset table 14c with the position of each partial region set in the image 72.
  • the offset table 14c there are a first type offset value (value other than 0) and a second type offset value (value of 0).
  • first type offset value value other than 0
  • second type offset value value of 0
  • the images of the partial regions 72b, 72c, 72d, and 72e corresponding to the respective positions to which the offset values of the first type are assigned are cut out by the process of step S4.
  • step S6 the arithmetic circuit 10 determines whether or not the image feature amount of the cut out partial image is classified into the overdetection class.
  • the "overdetection class” is a class in which the image feature amount of each partial image of a plurality of images is classified at a ratio of a predetermined value or more at the position of the partial region to which the offset value of the first type is associated.
  • the "overdetection class" will be explained more clearly.
  • the plurality of images include images in which over-detection has occurred in the former visual inspection process.
  • a partial region where over-detection has been made (hereinafter, referred to as “over-detected partial region”) is cut out from these plurality of images.
  • the defect detection process according to step S2 is performed on the over-detected partial region, one or a plurality of image features related to the image of the input partial region can be obtained from the intermediate layer of the convolutional neural network.
  • a predetermined clustering process is performed on each of the obtained image feature amounts, the image can be divided into one or a plurality of clusters.
  • the cluster having the largest number of elements is classified into image features that tend to be over-detected in a plurality of past images.
  • the image feature amount may differ depending on the defect class in which over-detection has occurred (hereinafter, referred to as “over-detection class”).
  • the process of step S6 is a process of determining whether or not the partial image extracted in step S4 has an image feature amount belonging to the overdetection class.
  • clustering can be performed in a one-dimensional space according to the magnitude of the image features.
  • the number of image feature quantities is P (P: an integer of 2 or more)
  • clustering can be performed on the P-dimensional space according to the magnitude of the image feature quantity.
  • step S8 when the image feature amount of the cut out partial image is classified into the overdetection class, the arithmetic circuit 10 changes the threshold value of the reference table at the position of the partial region by using the offset value of the first kind. .. This raises the criteria for determining that the object to be inspected is defective.
  • step S8 has the significance of suppressing such over-detection by updating the reference table so that the threshold value at the position of the partial region becomes high.
  • FIG. 9 is a diagram for explaining the process of step S8 of FIG. Subsequently, it is assumed that a defect exists in the partial region 72b (FIG. 7). Further, in step S6, it is assumed that the image feature amount of the partial image cut out from the partial region 72b (FIG. 7) is classified into the overdetection class. For convenience of explanation, the partial image having the image feature amount classified into the overdetection class is only the partial region 72b (FIG. 7).
  • the arithmetic circuit 10 adds the threshold values and offset values of the reference table 14b and the offset table 14c at each position where the rows and columns are common.
  • the value of the position 72-1 corresponding to the partial region 72b is “0.5”.
  • the offset value of the first type at the position 72-2 corresponding to the partial region 72b is “0.3”.
  • a second type offset value "0.0" is set at each position corresponding to the partial region other than the partial region 72b.
  • the threshold value and offset value of the position corresponding to the partial area 72b When the threshold value and offset value of the position corresponding to the partial area 72b are added, it becomes “0.8". “0.8” is described in position 72-3 of the updated reference table 14b-2 obtained by addition. Since it is assumed that the partial image having the image feature amount classified into the overdetection class is only the partial region 72b (FIG. 7), the difference between the reference tables 14b and 14b-2 before and after the update is the position 72-3. Only the threshold of. However, when a plurality of image features are classified into the overdetection class, the threshold value of the position of other subregions can be updated.
  • step S10 the arithmetic circuit 10 determines whether or not the image of at least one defect is included in the image of the object to be inspected by using the reference table 14b-2 whose threshold value has been updated. Specifically, with respect to the partial region 72b (FIG. 7) in which the image of the defect is determined to exist in step S2, the already obtained probability value is compared with the threshold value of the reference table 14b-2. As a result of the comparison, the arithmetic circuit 10 determines that the defect still exists when the probability value is equal to or larger than the threshold value or larger than the threshold value. When the probability value is less than the threshold value or less than the threshold value, the arithmetic circuit 10 determines that there is no defect.
  • FIG. 10 is a diagram for explaining step S10 of FIG.
  • the arithmetic circuit 10 compares the probability value “0.75” in which the image of the position of the partial region 72b includes a defect with the threshold value “0.8” of the reference table 14b-2 corresponding to the position. Since the probability value is smaller than the threshold value, the arithmetic circuit 10 determines that there is no defect in the partial region 72b once determined to include the image of the defect in step S2.
  • the threshold value which is the judgment standard, is updated only when the result of the past non-defective product judgment is similar to the case where over-detection is performed. As a result, it is possible to suppress over-detection of defects while preventing undetected defects.
  • the "attribute data" of the inspected object is data indicating the attributes related to the manufacturing conditions of each inspected object.
  • the attributes related to the manufacturing conditions are, for example, the mold, the manufacturing line, the manufacturing factory, and the manufacturing date of each inspected object used at the time of manufacturing each inspected object. ..
  • the attribute data may be at least one data selected from a set (group) of the above-mentioned mold, production line, manufacturing factory, manufacturing date, and the like.
  • the attribute data can be represented by, for example, a combination of a character string indicating a name, a number, a symbol, and a numerical string. Attribute data is prepared for each inspected object. However, if the manufacturing conditions of each inspected object are common, one attribute data can be used as the attribute data for each inspected object.
  • a set of reference table and offset table can be prepared for each defect class.
  • FIG. 11 is a flowchart showing a specific procedure of the visual inspection process. This flowchart is executed by the arithmetic circuit 10 by utilizing the convolutional neural network 12n in the memory 12 and various data in the storage device 14.
  • the arithmetic circuit 10 acquires image data of the object to be inspected.
  • the image pickup apparatus 30 photographs an object to be inspected, acquires image data, and transmits the image data to the interface device 22a.
  • the arithmetic circuit 10 receives the image data received by the interface device 22a from the interface device 22a.
  • the arithmetic circuit 10 may acquire the image data from the storage device 14. In the latter example, the imaging device 30 may not be included as part of the visual inspection system 1000.
  • step S22 the arithmetic circuit 10 acquires the attribute data of the object to be inspected.
  • step S24 the arithmetic circuit 10 performs defect detection processing using the convolutional neural network 12n. Then, when a defect candidate region is detected in the image of the inspected object, the inspected object is extracted as a defect candidate. At this time, the defect class and the probability value are output for each defect candidate area.
  • step S26 the arithmetic circuit 10 executes the offset table application process.
  • the offset table application process corresponds to the process shown in FIG.
  • the reference table 14b is updated by the offset table 14c, and a new reference table 14b-2 is acquired. A specific description of the offset table application process will be described later.
  • step S28 the arithmetic circuit 10 uses the probability value output for each defect candidate region in step S24 and the updated threshold value of the reference table 14b-2 to determine whether or not a defect actually exists in the defect candidate region. Is determined. More specifically, the arithmetic circuit 10 compares the probability value of the position of the defect candidate region with the threshold value of the reference table 14b-2 of the position corresponding to the position. When the probability value is equal to or greater than the threshold value or larger than the threshold value, it is determined that the inspected object still has a defect, that is, the inspected object is a defective product, and the process ends. On the other hand, when the probability value is less than the threshold value or less than the threshold value, the arithmetic circuit 10 determines that there is no defect, and the process proceeds to step S30.
  • step S30 the arithmetic circuit 10 executes the update process of the database 14Z.
  • the image, attribute, and detection result of the object to be inspected which is once determined to be a defect candidate, are registered in the storage device 14 as a good product, and an offset table is created according to the presence or absence of a similar tendency of the image feature amount. This is the process of updating or deleting. A specific description of the database 14Z update process will be described later with reference to FIG.
  • step S28 the processing of the arithmetic circuit 10 ends. After that, for example, an inspector visually checks whether or not the inspected object has a defect. You may judge.
  • FIG. 12 is a process of generating an offset table, which is a prerequisite for executing step S30 of FIG.
  • the process of updating the database 14Z is also performed, but the process of updating will be described later with reference to FIG.
  • FIG. 12 is a flowchart showing the procedure of the database registration process. This flowchart is executed by the arithmetic circuit 10.
  • step S40 the arithmetic circuit 10 newly registers a non-defective image, an attribute, and a detection result in the storage device 14.
  • the database 14Z is generated.
  • Good product image refers to an image of an article judged to be "good product”.
  • the articles judged to be "non-defective” are not limited to the articles judged to be non-defective from the beginning. That is, an inspected object that is once determined to be defective and then determined to be a non-defective product, and an inspected object that is determined to be a non-defective product as a result of the processing according to the present disclosure described later are also included.
  • the "detection result" includes the detected range, the defect class, and the probability of the defect.
  • the detected range can be represented by the coordinates of the upper left corner and the coordinates of the lower right corner. Even if it is a non-defective product, the over-detection state differs depending on the sample, so it is registered as a separate and independent detection result.
  • step S42 the arithmetic circuit 10 executes a similar tendency confirmation process.
  • the "similarity tendency confirmation process” is to cluster non-defective images based on the same image feature amount of non-defective images having the same attributes, and if there is a cluster containing non-defective images in a predetermined ratio or more, such clustering. It is a process to save the classifier that realizes. The fact that the classifier was obtained means that the convolutional neural network 12n overdetected an image having a specific attribute and a specific image feature amount.
  • the similar tendency confirmation process will be described later with reference to FIGS. 13 and 14.
  • step S44 the arithmetic circuit 10 determines whether or not there is a similar tendency from the result of the similarity tendency confirmation process performed in step S42. If there is a similar tendency, the process proceeds to step S44, and if there is no similar tendency, the process ends without generating an offset table.
  • step S46 the arithmetic circuit 10 generates an offset table and registers it in the database 14Z.
  • an offset table is generated, and thereafter, when it is determined that an image having the same attribute and image feature amount is a defect, the defect determination criterion (threshold value) can be changed. This will be described with reference to FIG. 15 after the offset table generation process.
  • the processing of registering the offset table in the database 14Z is completed.
  • the offset table 14c is registered in the database 14Z as shown in FIG.
  • the similarity tendency confirmation process is a process of generating an offset table when the non-defective product image newly registered in step S40 of FIG. 12 tends to be similar in relation to the non-defective product image already registered in the database 14Z. be. Since the similarity tendency confirmation process is performed according to the attributes of the inspected object, the target attributes are determined in advance when the process is executed.
  • FIG. 13 is a flowchart showing the procedure of the similarity tendency confirmation process. This flowchart is executed by the arithmetic circuit 10.
  • step S50 the arithmetic circuit 10 extracts n images (n: an integer of 2 or more) from the database 14Z from the latest non-defective image among the non-defective images having the target attribute.
  • step S52 the arithmetic circuit 10 cuts out an over-detection region of one or a plurality of non-defective images in which over-detection has occurred from the extracted n non-defective images.
  • step S54 the arithmetic circuit 10 extracts a predetermined image feature amount.
  • the amount of image features to be extracted is predetermined.
  • the image feature amount may be, for example, a feature amount extracted by the convolutional neural network 12n or a GLCM feature amount.
  • the number of image features to be extracted is arbitrary.
  • step S56 the arithmetic circuit 10 executes the clustering process on the non-defective image of the same attribute including the over-detected non-defective image.
  • the K-means method can be used. Since the K-means method is a known technique, a specific description thereof will be omitted. A known clustering technique other than the K-means method may be used.
  • step S58 the arithmetic circuit 10 determines whether or not the number of samples belonging to the cluster including the over-detected non-defective image occupies m% (m: 0 or more and 100 or less real number, for example, 60) or more of the total number of samples. ..
  • m% 0 or more and 100 or less real number, for example, 60
  • the process proceeds to step S60. If it is less than m%, there is no similar tendency, and it is presumed that overdetection occurred suddenly. The process ends there.
  • step S60 the arithmetic circuit 10 stores the cluster classifier in the storage device 14.
  • FIG. 14 is a diagram for specifically explaining steps S56 and S58 of FIG.
  • Each non-defective image is plotted using two-dimensional image features.
  • the horizontal axis is the image feature amount related to brightness
  • the vertical axis is the GLCM feature amount related to contrast.
  • Cluster A is a plurality of points s on which the image features of the image determined to be defective by the convolutional neural network 12n are plotted and each image feature of the non-defective image group already registered in the database 14Z is plotted. Includes point a and.
  • step S58 of FIG. 12 determines in step S58 of FIG. 12 whether or not Q ⁇ m.
  • Q ⁇ m the image corresponding to the point s can be presumed to be over-detected like the non-defective image in which over-detection once occurred. Therefore, in step S60 of FIG. 13, it was decided to save the cluster classifier used for clustering and use it for the subsequent determination of the image of the object to be inspected.
  • the offset table generation / update process is a process executed in step S46 of FIG.
  • FIG. 15 is a flowchart showing the procedure of the offset table generation / update process. This flowchart is executed by the arithmetic circuit 10.
  • step S70 the arithmetic circuit 10 extracts n images from the database 14Z from the latest non-defective image among the non-defective images having the target attribute. This process is the same as step S50 in FIG. 13, but "n" does not have to be the same value.
  • step S72 the arithmetic circuit 10 generates an average image of n extracted non-defective images.
  • the pixel value at the position of the coordinates (x, y) of the average image is the average value of the pixel values of the coordinates (x, y) of each of the extracted n non-defective images.
  • step S74 the arithmetic circuit 10 inputs the average image to the convolutional neural network 12n, and generates an offset table using the output result.
  • the average image represents a typical non-defective image.
  • the average image is input to the convolutional neural network 12n, and defect detection processing is performed. Then, a defect candidate region can be detected in the average image. This is because the convolutional neural network 12n also detects a defect candidate region even for a non-defective image having an image feature amount of points belonging to the cluster A in FIG.
  • the detection result may include one or more defect candidate regions.
  • the defect class and the probability value can be output for each defect candidate area.
  • the arithmetic circuit 10 generates an offset table in which an offset value (type 1 offset value) corresponding to the magnitude of the probability value is described in one or a plurality of partial regions.
  • the generated offset table is similar to, for example, the offset table 14c of FIG.
  • step S76 the arithmetic circuit 10 extracts a defect candidate region for each defect class.
  • This process means preparing an offset table for each defect class. If the offset table contains defect candidate regions, it can be said that the convolutional neural network 12n has overdetected the defect class. Therefore, the defect candidate region can also be called an “overdetection region”.
  • step S78 the arithmetic circuit 10 sets the value of the region other than the overdetection region to 0 in the offset table for each defect class. As a result, the second type offset value is described in the offset table.
  • step S80 the arithmetic circuit 10 saves the offset table for each defect class in the database.
  • an offset table for each defect class is prepared in the database 14Z.
  • an offset table 14c for one defect class for example, defect class: scratch
  • FIG. 16 is a flowchart showing the procedure of the update process of the database 14Z.
  • step S44 determines whether there is a similar tendency or not. If it is determined in step S44 that there is a similar tendency, the process proceeds to step S96, and if it is determined that there is no similar tendency, the process proceeds to step S98.
  • step S96 the arithmetic circuit 10 updates the offset table.
  • step S98 the arithmetic circuit 10 deletes the offset table.
  • the reason for deleting the offset table is to reduce the risk of failing to detect defects. Setting the offset slightly increases the risk of undetection. Therefore, when it is judged that there is no similar tendency, the offset table is deleted assuming that the tendency of over-detection has disappeared, and the risk of undetection is suppressed.
  • FIG. 17 is a flowchart showing the procedure of the offset table application process. This flowchart is executed by the arithmetic circuit 10.
  • step S100 the arithmetic circuit 10 loads an offset table having the same attributes as the one to be inspected from the storage device.
  • the attributes of the object to be inspected are determined based on the attribute data acquired in step S22 of FIG.
  • step S102 the arithmetic circuit 10 cuts out a partial region of the image of the object to be inspected.
  • the position of the partial region to be cut out corresponds to, for example, the position in the offset table 14c (FIG. 8) in which the first type offset value (non-zero value) is described.
  • step S104 the arithmetic circuit 10 inputs the image feature amount of the cut out partial region into the cluster classifier saved in step S60 of FIG.
  • step S106 the arithmetic circuit 10 determines whether or not the image feature amount of the partial region is classified into a cluster including overdetection.
  • the cluster including over-detection is cluster A in the example of FIG. If the image feature amount is classified into a cluster including over-detection, the process proceeds to step S108, and if it is not classified, the process ends.
  • step S108 the arithmetic circuit 10 adds the first type offset value to the determination standard (threshold value) of the cut out partial region. This process corresponds to the process described with reference to FIG.
  • the threshold value of the reference table is updated to a larger value.
  • the image of the object to be inspected used for the determination of the deformation example may be acquired by the visual inspection apparatus 100 by taking an image of one or a plurality of articles in real time by the imaging apparatus (camera). Alternatively, after being photographed once, it may be stored in a large-capacity storage device, read from the large-capacity storage device, and acquired by the visual inspection device 100. An example of the latter will be described.
  • FIG. 18 shows the configuration of the visual inspection system 1100 according to the modified example.
  • the visual inspection system 1100 has a visual inspection device 100 and a secondary storage device 310 connected to the communication network 300.
  • the communication network 300 is, for example, a wide area network (WAN) such as the Internet, or a premises communication network (LAN) laid on the premises of a company or the like.
  • WAN wide area network
  • LAN premises communication network
  • the imaging device 30 is also connected to the communication network 300, the imaging device 30 is not an essential component of the visual inspection system 1100 at the time when the visual inspection device 100 performs the visual inspection.
  • the secondary storage device 310 is a so-called cloud storage. In this modification, the secondary storage device 310 receives and stores the image data of the object to be inspected taken and transmitted by the image pickup device 30 via the communication network 300.
  • the interface device 22d of the visual inspection device 100 receives the image data of the object to be inspected from the secondary storage device 310 via the communication network 300.
  • the arithmetic circuit 10 acquires the image data received by the interface device 22d, stores it in, for example, the storage device 14, and executes the above-described processing.
  • the visual inspection system and computer program according to the present disclosure can be suitably used for visual inspection of an article or part at a manufacturing site such as a factory.

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】欠陥の検出漏れを抑えながら、過検出を抑制する技術を提供する。 【解決手段】被検査物の画像を利用して被検査物の良否を判定する外観検査システム等を提供する。外観検査システムは、良品画像、複数の閾値が記述された基準テーブル、および複数のオフセット値が記述されたオフセットテーブルを記憶した記憶装置と、演算回路とを備える。複数の閾値の各々は、対応付けられた複数の部分領域の各々に含まれる被検査物の像が欠陥を表していると判定するための基準である。演算回路は、部分画像の画像特徴量が過検出クラスに分類されるか否かを判定する処理を実行する。部分画像の画像特徴量が過検出クラスに分類される場合、演算回路はさらに、部分領域の位置における基準テーブルの閾値を、オフセット値を用いて変更し、変更後の基準テーブルを用いて欠陥の像が被検査物の画像に含まれているか否かを判定する。

Description

外観検査システムおよびコンピュータプログラム
　本開示は、外観検査システムおよびコンピュータプログラムに関する。
　従来、被検査物を撮影して取得した画像を、基準となる物品の画像（基準画像）と比較することにより、被検査物に欠陥が存在するか否か、すなわち被検査物が良品であるか否か、を判定する外観検査が行われている。
　従来の外観検査装置では、良否判定のための判定基準を十分な検証を行った後、人手により装置に設定する。形状や表面の模様がよく変化する対象を検査する場合には、判定基準をこまめに変更する必要があるため、効率的な運用が困難であった。
　例えば日本国公開公報特開２０１３－２２４８３３号公報は、良否判定の判定基準を特定の画素毎に定義し、輝度の平均値／標準偏差を用いて判定基準を自動的に設定する技術を開示する。日本国公開公報特開２０１３－２２４８３３号公報の技術によれば、人手による判定基準のこまめな変更を省略化でき、外観検査のより効率的な運用が可能である。
日本国公開公報：特開２０１３－２２４８３３号公報
　しかしながら、日本国公開公報特開２０１３－２２４８３３号公報では、過検出を抑制すると、画素値のばらつきが大きい箇所の判定基準が緩くなり、欠陥の検出もれが発生してしまうおそれがあった。
　本開示は、欠陥の検出漏れを抑えながら、過検出を抑制する外観検査システムおよびコンピュータプログラムを提供する。
　本開示による例示的な外観検査システムは、被検査物の画像を利用して前記被検査物の良否を判定する外観検査システムであって、良品と判定された複数の物品が撮影された複数の画像、複数の閾値が記述された基準テーブル、および複数のオフセット値が記述されたオフセットテーブルを記憶した記憶装置と、被検査物の画像データおよび製造条件に関する属性を示す属性データを受け取るインタフェース装置と、演算回路とを備える。前記被検査物の画像および前記複数の画像の各々は、複数の部分領域を含む。前記基準テーブルの前記複数の閾値の各々および前記オフセットテーブルの前記複数のオフセット値の各々は、前記複数の部分領域の各々に対応付けて設定されている。前記複数の閾値の各々は、対応付けられた前記複数の部分領域の各々に含まれる前記被検査物の像が欠陥を表していると判定するための基準である。前記複数のオフセット値は、前記複数の閾値の一部を変化させる第１種のオフセット値および残りの一部を変化させない第２種のオフセット値を含む。前記演算回路は、（ａ）前記画像データに予め定められた欠陥検出処理を行い、少なくとも１つの欠陥の像が前記被検査物の画像に含まれている場合には前記被検査物を欠陥候補として抽出する処理を実行する。また、前記演算回路は、（ｂ）前記欠陥候補として抽出された前記被検査物の画像から部分画像を切り出す処理であって、切り出される前記部分画像の位置は、前記オフセットテーブル中の前記第１種のオフセット値が対応付けられた部分領域の位置である、処理を実行する。また、前記演算回路は、（ｃ）切り出した前記部分画像の画像特徴量が過検出クラスに分類されるか否かを判定する処理であって、前記過検出クラスは、前記第１種のオフセット値が対応付けられた部分領域の位置における、前記複数の画像の各部分画像の画像特徴量が所定以上の割合で分類されるクラスである、処理を実行する。また、前記演算回路は、（ｄ）切り出した前記部分画像の画像特徴量が前記過検出クラスに分類される場合に、前記部分領域の位置における前記基準テーブルの閾値を、前記第１種のオフセット値を用いて変更して、前記被検査物の像が欠陥を表していると判定するための基準をより高くする処理を実行する。また、前記演算回路は、（ｅ）前記閾値を変更した前記基準テーブルを用いて、少なくとも１つの欠陥の像が前記被検査物の画像に含まれているか否かを判定する処理を実行する。
　本開示による例示的なコンピュータプログラムは、被検査物の画像を利用して前記被検査物の良否を判定する外観検査システムの演算回路によって実行されるコンピュータプログラムである。前記外観検査システムは、良品と判定された複数の物品の各々が撮影された複数の画像、複数の閾値が記述された基準テーブル、および複数のオフセット値が記述されたオフセットテーブルを記憶した記憶装置と、被検査物の画像データを受け取るインタフェース装置と、前記演算回路とを備える。前記被検査物の画像および前記複数の画像の各々は、複数の部分領域を含む。前記基準テーブルの前記複数の閾値の各々および前記オフセットテーブルの前記複数のオフセット値の各々は、前記複数の部分領域の各々に対応付けて設定される。前記複数の閾値の各々は、対応付けられた前記複数の部分領域の各々に含まれる前記被検査物の像が欠陥を表していると判定するための基準である。前記複数のオフセット値は、前記複数の閾値の一部を変化させる第１種のオフセット値および残りの一部を変化させない第２種のオフセット値を含む。前記コンピュータプログラムは前記演算回路に、（ａ）前記画像データに予め定められた欠陥検出処理を行い、少なくとも１つの欠陥の像が前記被検査物の画像に含まれている場合には前記被検査物を欠陥候補として抽出する処理を実行させる。また、前記コンピュータプログラムは、（ｂ）前記欠陥候補として抽出された前記被検査物の画像から部分画像を切り出す処理であって、切り出される前記部分画像の位置は、前記オフセットテーブル中の前記第１種のオフセット値が対応付けられた部分領域の位置である、処理を実行させる。また、前記コンピュータプログラムは、（ｃ）切り出した前記部分画像の画像特徴量が過検出クラスに分類されるか否かを判定する処理であって、前記過検出クラスは、前記第１種のオフセット値が対応付けられた部分領域の位置における、前記複数の画像の各部分画像の画像特徴量が所定以上の割合で分類されるクラスである、処理を実行させる。また、前記コンピュータプログラムは、（ｄ）切り出した前記部分画像の画像特徴量が前記過検出クラスに分類される場合に、前記部分領域の位置における前記基準テーブルの閾値を、前記第１種のオフセット値を用いて変更して、前記被検査物が欠陥を表していると判定するための基準をより高くする処理を実行させる。また、前記コンピュータプログラムは、（ｅ）前記閾値を変更した前記基準テーブルを用いて、少なくとも１つの欠陥の像が前記被検査物の画像に含まれているか否かを判定する処理を実行させる。
　本開示にかかる例示的な実施形態によれば、未検出の発生を最低限に抑えながら、過検出を抑制することが可能になる。
図１は、外観検査装置１００を有する、本開示の外観検査システム１０００の構成例を示す図である。 図２は、主として外観検査装置１００の構成例を模式的に示す図である。 図３は、記憶装置１４内のデータベース１４Ｚの一例を示す図である。 図４は、ワーク７０を撮影した画像データの一例を模式的に示す図である。 図５は、複数の部分領域７２に分けられたワーク７０の画像の例を示す図である。 図６は、外観検査処理の手順を示すフローチャートである。 図７は、ある部分領域７２ｂに傷が存在するときの欠陥検出処理の結果の一例を示す図である。 図８は、オフセットテーブル１４ｃ（上段）と、ワーク７０の画像７２から切り出される部分画像の位置（下段）とを模式的に示す図である。 図９は、図６のステップＳ８の処理を説明するための図である。 図１０は、図６のステップＳ１０を説明するための図である。 図１１は、外観検査処理の具体的な手順を示すフローチャートである。 図１２は、データベース登録処理の手順を示すフローチャートである。 図１３は、類似傾向確認処理の手順を示すフローチャートである。 図１４は、図１３のステップＳ５６およびＳ５８を具体的に説明するための図である。 図１５は、オフセットテーブルの生成・更新処理の手順を示すフローチャートである。 図１６は、データベース１４Ｚの更新処理の手順を示すフローチャートである。 図１７は、オフセットテーブルの適用処理の手順を示すフローチャートである。 図１８は、変形例にかかる外観検査システム１１００の構成を示す図である。
　以下、添付の図面を参照しながら、本開示にかかる外観検査システムの実施形態を説明する。本明細書では、必要以上に詳細な説明は省略する場合がある。たとえば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、本発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図しない。以下の説明においては、同一または類似する構成要素には、同一の参照符号を付している。
　１．外観検査システムの構成
　図１は、外観検査装置１００を有する、本開示の外観検査システム１０００の構成例を示す図である。図２は、主として外観検査装置１００の構成例を模式的に示す図である。
　図示されている例において、外観検査システム１０００は、撮像装置３０と、外観検査装置１００と、モニタ１３０とを有している。外観検査装置１００、入力装置１２０およびモニタ１３０は、汎用的なデジタルコンピュータシステム、例えばＰＣによって実現され得る。また撮像装置３０は、デジタルスチルカメラであり得る。撮像装置３０は、図示されない有線の通信ケーブルまたは無線通信回線で外観検査装置１００と通信可能に接続されている。モニタ１３０は、図示されない有線の通信ケーブルで外観検査装置１００と通信可能に接続されている。
　撮像装置３０は被検査物を撮像し、撮像によって取得した画像データを外観検査装置１００に送る。外観検査装置１００は、後述の手順にしたがって、撮像装置３０から受け取った画像データに基づき被検査物の外観検査を行う。
　図１を参照しながら、外観検査システムにおいて行われる被検査物の外観検査の手順を説明する。被検査物は、外観検査の対象となるさまざまな製品または部品などの各種の物品である。以下、被検査物を「ワーク」と称する場合がある。
　ワーク７０は、移送台６２に乗せられ、把持機構によって移送台６２に固定される。ワーク７０は、例えば、ハードディスクドライブの完成品、モータが組み込まれたハードディスクドライブの筐体等である。
　移送台６２は、ワーク７０を乗せたまま、搬送ステージ６４によって水平方向に移動可能である。撮像装置３０は搬送ステージ６４を視野に含むよう、搬送ステージ６４の上方でサポート部材６０によって支持されている。撮像装置３０は、視野内のワーク７０の撮像を行う。ワーク７０は、ロボットアームに把持されて撮像ポジションに置かれてもよい。なお、撮像にあたっては光源（図示せず）がワーク７０を照らしてもよい。
　撮像によって取得された画像データは、撮像装置３０から外観検査装置１００に送られる。１回の撮像によって取得される画像のサイズの一例は横１６００画素、縦１２００画像であり、他の一例は横８００画素、縦６００画像である。
　次に、図２を参照する。
　外観検査装置１００は、演算回路１０と、メモリ１２と、記憶装置１４と、通信回路１６と、画像処理回路１８とを有している。構成要素同士はバス２０で通信可能に接続されている。また外観検査装置１００は、撮像装置３０との通信を行うインタフェース装置２２ａと、入力装置１２０との通信を行うインタフェース装置２２ｂと、モニタ１３０に映像データを出力するインタフェース装置２２ｃとを有する。インタフェース装置２２ａの一例は、映像入力端子またはイーサネット端子である。インタフェース装置２２ｂの一例は、ＵＳＢ端子である。インタフェース装置２２ｃの一例は、ＨＤＭＩ（登録商標）端子である。これらの例に代えて、他の端子をインタフェース装置２２ａ～２２ｃとして利用してもよい。なお、インタフェース装置２２ａ～２２ｃは、無線通信を行うための無線通信回路であってもよい。そのような無線通信回路として、例えば２．４ＧＨｚ／５．２ＧＨｚ／５．３ＧＨｚ／５．６ＧＨｚ等の周波数を利用して無線通信を行う、Wi-Fi（登録商標）規格に準拠した無線通信回路が知られている。
　演算回路１０は、例えば中央演算処理装置（ＣＰＵ）またはデジタル信号処理プロセッサなどの集積回路（ＩＣ）チップであり得る。メモリ１２は、演算回路１０の動作を制御するコンピュータプログラム１２ｐが格納され、後述の学習済み畳み込みニューラルネットワーク１２ｎが構築された記録媒体である。なお、学習済み畳み込みニューラルネットワーク１２ｎの実体は、入力層、中間層および出力層を構成する各人工ニューロンに付与される複数のパラメータである。複数のパラメータは、各人工ニューロンへの複数の入力の各々に適用される重みと、入力の重み付き和（入力と重みとの積の総和）と比較される閾値を含む。ニューラルネットワーク１２ｎが演算し、結果を出力するためには、実際には演算回路１０の処理が必要になることに留意されたい。なお、メモリ１２上のニューラルネットワーク１２ｎをなす複数のパラメータと、ニューラルネットワーク１２ｎに関する演算回路１０の演算機能とを一体化したハードウェア（特定用途向け集積回路（ＡＳＩＣ）、ＧＰＧＰＵ、プログラマブルロジックデバイス）を採用してもよい。
　メモリ１２は、単一の記録媒体である必要はなく、複数の記録媒体の集合であり得る。メモリ１２は、例えばＲＡＭなどの半導体揮発性メモリおよびフラッシュＲＯＭなどの半導体不揮発性メモリを含み得る。メモリ１２の少なくとも一部は、取り外し可能な記録媒体であってもよい。
　記憶装置１４は、種々のデータの集合であるデータベースを格納する。図３は、記憶装置１４内のデータベース１４Ｚの一例を示している。具体的には、記憶装置１４は、良品と判定された複数の物品の各々が撮影された複数の画像１４ａ、複数の閾値が記述された基準テーブル１４ｂ、および複数のオフセット値が記述されたオフセットテーブル１４ｃを記憶している。さらに記憶装置１４は、被検査物の製造条件に関する属性を示す属性データ１４ｄを記憶していてもよい。記憶されている各データの内容等は後に詳述する。
　再び図２を参照する。
　撮像装置３０は、被検査対物の画像のデータを生成するための画像信号を出力する装置である。画像信号は、有線または無線により、演算回路１０に送られる。撮像装置３０の典型例は、多数のフォトダイオードが行列状に配列されたＣＭＯＳイメージセンサまたはＣＣＤイメージセンサなどのエリアセンサを備えるカメラである。撮像装置３０は、被検査物のカラー画像またはモノクローム画像のデータを生成する。撮像装置３０には、外観検査用の各種カメラを使用することができる。
　図４は、ワーク７０を撮影した画像データの一例を模式的に示している。画像データは、ワーク７０の像を含むフレーム画像である。本実施形態における例示的な画像は、ワーク７０の表面が有する凹凸および模様を反映した２５６階調の画素値（「明るさ」または「グレースケール」の値）の配列である。画素値を輝度値または濃度と称する場合がある。フレーム画像がカラー画像である場合には、例えば、それぞれが２５６階調で表現される赤色、緑色および青色の３色で画素値が定義され得る。本明細書では、階調値、輝度値等を包括的に「画像特徴量」と呼ぶこともある。ただし、「画像特徴量」は画素値に関する特徴を意味するだけでなく、例えば画像の基本的な性質を評価する輝度ヒストグラム統計量、画素間のコントラストの強弱や画素のまとまり具合などの局所的な特徴を表すことができる、グレーレベルの同時生起行列（Grey Level Co-occurrence Matrix;ＧＬＣＭ）特徴量も含み得る。
　１枚のフレーム画像には、ワーク７０以外に移送台６２の一部が背景７０Ｂとして含まれ得る。図４の例において、線５２Ｌによって囲まれた領域５２が「検査領域」である。１枚のフレーム画像は、複数の検査領域５２を含んでいてもよい。
　フレーム画像中のワーク７０の位置は、フレーム画像内において予め決められた位置に整合するようにアライメントが実行される。このアライメントは、ワーク７０の複数の基準点を撮像装置３０の視野における複数の基準点に一致させることである。このようなアライメントの第１段階は、撮像装置３０のレンズ光軸に対するワーク７０の物理的な配置関係を調整することである。アライメントの第２段階は、撮像された画像の画素位置（座標）を調整することである。第２段階のアライメントは、画像処理技術によって画像の並進、回転、拡大および／または縮小などを行うことを含む。このようなアライメントの結果、各ワーク７０の検査領域５２は、常に線５２Ｌによって囲まれた領域に整合する。こうして、各ワーク７０の検査領域５２の画像を、部分領域単位で処理することが可能になる。なお、上述のアラインメントは、主として演算回路１０または画像処理回路１８によって実行され得るが、演算回路１０または画像処理回路１８からの指令に従い、撮像装置３０の姿勢を変化させる機構（図示せず）が撮像装置３０を搬送ステージ６４に平行な平面内で回転させ、または平行移動させることによって実行されてもよい。
　モニタ１３０は、画像処理装置１００が実行した判別の結果などを表示する装置である。モニタ１３０は、撮像装置３０によって取得された画像を表示することもできる。
　入力装置１２０は、選択領域の指定を含むユーザからの入力を受け取り、演算回路１０に与える入力デバイスである。入力装置１２０の一例は、タッチパネル、マウスおよび／またはキーボードである。モニタ１３０および入力装置１２０は、演算回路１０に有線によって常に接続されている必要はなく、通信インタフェースを介して無線または有線によって必要なときだけ接続されていてもよい。モニタ１３０および入力装置１２０は、ユーザが携帯する端末装置またはスマートフォンであってもよい。
　２．外観検査の概要
　本開示にかかる外観検査システム１０００は、画像を利用して被検査物に欠陥が存在するか否かを判定する。例示的な実施形態にかかる外観検査システム１０００は、ニューラルネットワークを用いて、被検査物の画像内に欠陥の像が存在するか否かを判定する。欠陥の有無は、物品画像を複数の部分領域に分けたときの部分領域ごとに判定される。
　図５は、複数の部分領域７２に分けられたワーク７０の画像の例を示している。複数の部分領域７２は格子状である。図５には、複数の部分領域７２を構成する１つの部分領域７２ａが例示されている。複数の部分領域７２は、全体としてワーク７０の検査領域５２を完全に含むよう、ワーク７０の像よりも若干大きく設定されている。
　外観検査システム１０００は、例えば部分領域７２ａを構成する全ての画素の画素値をニューラルネットワークへの入力として利用して、ニューラルネットワークからの出力を得る。本実施形態では、「汚れ」、「異物」、「傷」等の各種の欠陥の像と、各欠陥の名称とを教師信号として利用して予め学習が行われた畳み込みニューラルネットワーク１２ｎが使用される。本明細書では、欠陥の種類を「クラス」と呼ぶ。部分領域７２ａの全ての画素の画素値がニューラルネットワークへ入力され、その結果、欠陥が存在すると判定されると、ニューラルネットワークは、該当すると考えられる欠陥のクラス名を出力する。
　さらに本実施形態では、欠陥のクラス名の出力とともに、ニューラルネットワークへ入力された像と正常であると判定される標準的な像とが一致しない程度の大きさを示す値を出力する。出力される値を、本明細書では欠陥である可能性の高さを示す「確率値」と呼ぶことがある。
　確率値の算出方法は種々考えられる。いま、欠陥がハードディスクドライブの筐体表面の「傷」であるとする。アルミプレートの上のコーティングに傷が入ると、コーティングの反射率よりもアルミプレートの反射率の方が高いため、傷の画像の輝度値は、傷が存在しない場合の画像の輝度値よりも高くなる。傷を含む部分領域の画像を畳み込みニューラルネットワークに入力すると、畳み込みニューラルネットワークの中間層からは、入力された部分領域の画像の輝度値に関する画像特徴量を得ることができる。抽出された各画像特徴量は、入力された部分領域の画像のハッシュ値として取り扱われる。また、例えば記憶装置１４に記憶された、良品と判定された複数の物品の各々が撮影された複数の画像１４ａのいずれかを用いると、畳み込みニューラルネットワークの中間層からは、欠陥と判定された部分領域の位置に対応する、良品画像の部分領域の輝度値に関する画像特徴量も抽出することができる。入力された部分領域の画像のハッシュ値と、その部分領域の標準的な画像のハッシュ値とを比較したとき、ハッシュ値が近いほど両者は類似し、ハッシュ値が遠いほど両者は類似していないと言える。そこで、両者のハッシュ値の差が大きくなるほど１００に近づく値を割り当て、差が小さくなるほど０に近づく値を割り当てることで、欠陥を含むと判断された各部分領域について、上述の「確率値」を得ることができる。なお、欠陥であると判定された部分領域の画像の確率値は、例えば少なくとも５０％以上の値になるよう調整され得る。上述の、ＣＮＮによって抽出した画像特徴量をハッシュ値として抽出する技術は、公知である。よって詳細な説明は省略する。
　ニューラルネットワークから出力された欠陥のクラス名および確率値は、ニューラルネットワークの学習結果に基づく欠陥候補検出結果である。
　ところで、ある物品が欠陥を含むと判定された場合であっても、実際には欠陥には該当しないと判定される場合があり得る。例えば、物品の表面に汚れが着いているものの、その程度は小さく、機能的な問題および外観上の問題が実質的には生じない場合である。従来の外観検査では、熟練した検査員が物品を目視することにより、そのような汚れは欠陥には該当しないと判定していた。
　例示的な実施形態にかかる外観検査システム１０００は、一旦、物品が欠陥を含むと判定した場合であっても、良品と判定された複数の物品との関係を踏まえて欠陥の判定基準を変更し、それでも欠陥が存在すると言えるかどうかを改めて判定する。本来は良品と判定すべき物品であるにも拘らず欠陥が存在すると判定することを、本明細書では「過検出」と呼ぶ。過検出が発生すると物品の歩留まりが下がり、改修等の対象とせざるを得ず、物品のコストが上昇する。そのような過検出を抑制するため、これまでの経験を踏まえて、良品と判定される範囲を広げることにより過検出を抑制するよう、欠陥の判定基準を変更することとした。
　なお、過検出を抑制するために当初から欠陥の判定基準を緩和するという方法も考えられる。しかしながら、過検出を抑制するあまり、本来欠陥と判定すべきところを良品と判定してしまう、つまり欠陥の未検出が発生するのでは外観検査の目的を達成できない。
　例示的な実施形態にかかる外観検査システム１０００は、まずは明確に良品と判定される基準で良品であるか否かを判定し、良品ではなく欠陥が存在すると判定した場合には、それまでに良品と判定された複数の物品との関係を踏まえて欠陥の判定基準を緩和することとした。
　具体的な処理の概要は以下のとおりである。
　外観検査システム１０００が外観検査を行う際には、下記のデータが記憶装置１４に予め保存されている。
　（ａ）良品と判定された複数の物品の各々が撮影された複数の画像
　（ｂ）複数の閾値が記述された基準テーブル
　（ｃ）複数のオフセット値が記述されたオフセットテーブル
　上記（ａ）について説明する。
　良品と判定された物品は、当初から良品と判定された物品に限られない。一旦は欠陥ありと判定され、その後、例えば検査員による目視判定等によって良品と判定された被検査物、および、後述の本開示にかかる処理の結果、良品と判定された被検査物も含まれる。後二者を含めることによって良品と判定される画像の特徴の範囲を広げることができる。「複数の画像」の各々は、１個の物品の像のみを含んでもよいし複数の物品の像を含んでもよい。良品と判定された各物品の画像は、欠陥の存否を判定する基準を変更するために用いられる。
　上記（ｂ）について説明する。
　「複数の閾値」の各々は、画像を複数の部分領域に分けたときの各部分領域に対応付けられた閾値である。各閾値は、一旦欠陥ありと判定された被検査物について、改めて欠陥の有無を判定する際に、各部分領域が欠陥の像を含むか否かを判定するための基準として利用される。本実施形態では、「複数の閾値」の各々の初期値は、例えば「０．５」である。閾値が１に近いほど、明らかな欠陥等のみが「欠陥」と判定される。つまり、閾値が１に近いほど欠陥であると判定されにくくなる。複数の閾値の各々は、次に説明する「複数のオフセット値」の各々によって、より高い閾値に更新され得る。
　なお、部分領域は、連続する複数の画素からなる領域であってもよいし、１個の画素からなる領域、すなわち１個の画素の大きさで定義される領域であってもよい。物品画像がカラーで表現される場合には、１画素は、例えば互いに隣接して配置される、赤、緑、青の三つのサブ画素の大きさで定義される領域であり得る。
　上記（ｃ）について説明する。
　「複数のオフセット値」は、基準テーブルに記述された複数の閾値を更新するために用いられる。本実施形態にかかる処理によってある部分領域のオフセット値が算出されると、欠陥であると判定するための基準がより高くなるよう、当該部分領域の閾値が当該オフセット値に従って更新される。例えば、現在の閾値とオフセット値とを加算して得られた値を、新たな閾値として更新する。これにより、欠陥であると判定するための基準をより高くすることが可能になる。
　なお、「複数のオフセット値」は、閾値を更新するためのオフセット値に限られず、閾値を更新しないオフセット値、つまり現在の値を維持するオフセット値を含んでもよい。後述の実施形態の説明では、現在の値を維持するオフセット値（第１種のオフセット値）と、閾値を更新するためのオフセット値（第２種のオフセット値）とを両方有する態様を例示して説明する。
　現在の値を維持するオフセット値を使用すると、全ての部分領域を対象として演算を行うことになるため、演算処理のプログラムを簡単化できる。例えば、各部分領域の現在の閾値にオフセット値を加算する場合には、閾値を更新しないオフセット値には０を設定し、閾値を更新するオフセット値には０より大きい値を設定し、全ての部分領域に関して現在の閾値にオフセット値を加算する演算処理をプログラミングすればよい。他方、特定の部分領域の閾値のみにオフセット値を加算する場合には、閾値の更新を行う対象となる部分領域を指定する操作が必要になるため、演算処理のプログラミングが複雑化し得る。
　一旦は欠陥の像を含むと判定された物品画像について、外観検査システム１０００は、欠陥であると判定するための基準をより高くした閾値を用いて、再度当該物品画像の各部分領域が欠陥の像を含むか否かを判定する。
　物品画像内のいずれの部分領域も欠陥の像を含まないと判定したときは、外観検査システム１０００は、当該物品画像を、上記（ａ）に示す「複数の画像」の一つとして登録する。一方、物品画像内のいずれかの部分領域が引き続き欠陥の像を含むと判定したときは、外観検査システム１０００は、当該物品画像の物品が欠陥を含むと判定する。
　上記処理によれば、未検出を防ぎつつ、過検出を抑制することが可能になる。
　本実施形態では、上述した「欠陥」を複数のクラスに分け、クラスごとに欠陥か否かを判定する。複数のクラスを例示すると、「汚れ」、「異物」、「傷」、「バリ」、「欠け」、「変形」、「色ムラ」、「凹凸」、「曇り」である。被検査物の画像には、上述した１または複数のクラスの「欠陥」が存在し得る。一方、良品の画像（上記（ａ））には、上述した１または複数のクラスの、一度は「欠陥」と判定された特徴が存在し得る。そこで、上記（ｂ）の基準テーブル、上記（ｃ）のオフセットテーブルも欠陥のクラスごとに設け、クラスごとの欠陥の有無の判定にあたって利用すればよい。後述の実施形態においては、欠陥に相当する１つのクラスを例示して説明し、すべてのクラスについての説明は煩雑になるため省略する。
　画像データを取得した画像処理装置１００は、前述した処理を実行してワーク７０の外観検査を実行する。以下、この処理の内容をより詳しく説明する。
　３．　外観検査処理
　３．１　外観検査処理の考え方の説明
　図６は、外観検査処理の手順を示すフローチャートである。
　ステップＳ２において、演算回路１０は、画像データに予め定められた欠陥検出処理を行い、少なくとも１つの欠陥の像が被検査物の画像に含まれている場合には被検査物を欠陥候補として抽出する。ここで言う「予め定められた欠陥検出処理」とは、上述した畳み込みニューラルネットワークを利用した欠陥検出処理である。欠陥検出処理によって、少なくとも１つの欠陥の像が被検査物の画像に含まれている場合には、当該被検査物を欠陥候補として抽出する。図７は、ある部分領域７２ｂに傷が存在するときの欠陥検出処理の結果の一例を示している。この例では、畳み込みニューラルネットワークから出力された欠陥クラスは「傷」であり、欠陥である可能性の高さを示す「確率値」は０．７５である。この結果、図７に示すワーク７０は欠陥候補として抽出される。なお、図７には、１つの部分領域のみに欠陥が存在すると判定されているが、複数の欠陥が存在することもあり得る。その場合、「傷」以外の欠陥クラスが付与されることがあり得る。本明細書では、欠陥が存在すると判定された部分領域を「欠陥候補領域」と呼ぶことがある。
　再び図６を参照する。続くステップＳ４以降では、一旦欠陥を含むと判定された被検査物に対して、良品と判定された複数の物品との関係を踏まえて欠陥の判定基準を変更し、それでも欠陥が存在すると言えるかどうかを改めて判定する処理が行われる。
　以下の処理では、予め用意された、上述の「基準テーブル」および「オフセットテーブル」が利用される。本実施形態では、「オフセットテーブル」は、複数の閾値の一部を変化させる第１種のオフセット値および残りの一部を変化させない第２種のオフセット値を含む。各オフセット値を用いて、部分領域ごとに設定された欠陥であるか否かを判定するための判定基準の閾値を変化させ、または変化させずにそのまま維持する。なお、オフセットテーブルの作成方法については後に説明する。
　ステップＳ４において、演算回路１０は、欠陥候補として抽出された被検査物の画像から部分画像を切り出す。切り出される部分画像の位置は、オフセットテーブル１４ｃ中の第１種のオフセット値が対応付けられた部分領域の位置である。
　図８は、オフセットテーブル１４ｃ（上段）と、ワーク７０の画像７２から切り出される部分画像の位置（下段）とを模式的に示す図である。格子状に設けられたオフセットテーブル１４ｃの行および列の数は、複数の部分領域が区画された行および列の数と一致する。よって、オフセットテーブル１４ｃの各要素の位置と、画像７２に設定された各部分領域の位置とを対応付けることが可能である。
　図８の上段を参照すると、オフセットテーブル１４ｃには、第１種のオフセット値（０以外の値）と第２種のオフセット値（０の値）とが存在する。このうち、第１種のオフセット値が割り当てられた各位置に対応する部分領域７２ｂ，７２ｃ，７２ｄ，７２ｅの画像が、ステップＳ４の処理によって切り出される。
　再び図６を参照する。
　ステップＳ６において、演算回路１０は、切り出した部分画像の画像特徴量が過検出クラスに分類されるか否かを判定する。「過検出クラス」は、第１種のオフセット値が対応付けられた部分領域の位置における、複数の画像の各部分画像の画像特徴量が所定以上の割合で分類されるクラスである。
　「過検出クラス」をよりわかりやすく説明する。まず、良品であると判定された複数の画像を用意する。複数の画像は、かつての外観検査処理において過検出が生じた画像を含む。これらの複数の画像を対象として、過検出がなされた部分領域（以下、「過検出部分領域」と呼ぶ。）を切り出す。過検出部分領域に対してステップＳ２による欠陥検出処理を行うと、畳み込みニューラルネットワークの中間層からは、入力された部分領域の画像に関する１または複数の画像特徴量を得ることができる。得られた各画像特徴量を対象として所定のクラスタリング処理を行うと、１または複数のクラスタに分けることができる。その中で、最も多い数の要素を有するクラスタは、過去の複数の画像において過検出がなされやすい傾向があった画像特徴量が分類されているといえる。画像特徴量は、過検出が発生した欠陥クラス（以下、「過検出クラス」と呼ぶ。）に応じて異なり得る。ステップＳ６の処理は、ステップＳ４で抽出された部分画像が過検出クラスに属する画像特徴量
を有するか否かを判定する処理である。
　なお、畳み込みニューラルネットワークの中間層から抽出される画像特徴量の数が１つの場合には、画像特徴量の大きさに応じて一次元空間上でクラスタリングが行われ得る。画像特徴量の数がＰ（Ｐ：２以上の整数）の場合には、画像特徴量の大きさに応じてＰ次元空間上でクラスタリングが行われ得る。
　ステップＳ８において、演算回路１０は、切り出した部分画像の画像特徴量が過検出クラスに分類される場合に、部分領域の位置における基準テーブルの閾値を、第１種のオフセット値を用いて変更する。これにより、被検査物が欠陥品であると判定するための基準をより高くする。
　切り出した部分画像の画像特徴量が過検出クラスに分類されたということは、当該画像特徴量は過検出がなされやすい傾向があったと言える。ステップＳ８の処理は、部分領域の位置における基準テーブルの閾値が高くなるよう更新してそのような過検出を抑制する意義を有する。
　図９は、図６のステップＳ８の処理を説明するための図である。引き続き、部分領域７２ｂ（図７）に欠陥が存在する場合を想定する。さらにステップＳ６において、部分領域７２ｂ（図７）から切り出した部分画像の画像特徴量が過検出クラスに分類されたとする。説明の便宜上、過検出クラスに分類された画像特徴量を有する部分画像は部分領域７２ｂ（図７）のみである。
　演算回路１０は、基準テーブル１４ｂおよびオフセットテーブル１４ｃの、行および列が共通する各位置の閾値およびオフセット値を加算する。図９の例では、基準テーブル１４ｂにおいて、部分領域７２ｂに対応する位置７２－１の値は「０．５」である。オフセットテーブル１４ｃにおいて、部分領域７２ｂに対応する位置７２－２における第１種のオフセット値は「０．３」である。なお、オフセットテーブル１４ｃでは、部分領域７２ｂ以外の部分領域に対応する各位置には、第２種のオフセット値「０．０」が設定されている。
　部分領域７２ｂに対応する位置の閾値およびオフセット値を加算すると、「０．８」になる。加算によって得られる更新後の基準テーブル１４ｂ－２の位置７２－３には「０．８」が記述されている。なお、過検出クラスに分類された画像特徴量を有する部分画像が部分領域７２ｂ（図７）のみであると仮定したため、更新前後の基準テーブル１４ｂおよび１４ｂ－２の相違点は、位置７２－３の閾値のみである。しかしながら、複数の画像特徴量が過検出クラスに分類された場合には、他の部分領域の位置の閾値が更新され得る。
　再び図６を参照する。
　ステップＳ１０において、演算回路１０は、閾値を更新した基準テーブル１４ｂ－２を用いて、少なくとも１つの欠陥の像が被検査物の画像に含まれているか否かを判定する。具体的には、ステップＳ２において欠陥の像が存在すると判定した部分領域７２ｂ（図７）について、既に得られている確率値と、基準テーブル１４ｂ－２の閾値とを比較する。比較の結果、演算回路１０は、確率値が閾値以上、または閾値よりも大きい場合には、依然として欠陥が存在すると判定する。演算回路１０は、確率値が閾値未満、または閾値以下の場合には、欠陥は存在しないと判定する。
　図１０は、図６のステップＳ１０を説明するための図である。演算回路１０は、部分領域７２ｂの位置の像が欠陥を含む確率値「０．７５」と、その位置に対応する基準テーブル１４ｂ－２の閾値「０．８」とを比較する。確率値が閾値よりも小さいため、演算回路１０は、ステップＳ２では一旦欠陥の像を含むと判定した部分領域７２ｂには欠陥は存在しないと判定する。
　以上説明したように、一旦は欠陥と判定された場合であっても、過去の良品判定の結果において過検出を行ったときと類似する場合にのみ判定基準である閾値を更新する。その結果、欠陥の未検出を防ぎつつ、欠陥の過検出を抑制することが可能になる。
　３．２　外観検査処理の具体的な説明
　外観検査処理のより具体的な例を説明する。以下の説明では、被検査物の「属性データ」を導入する。被検査物の「属性データ」とは、各被検査物の製造条件に関する属性を示すデータである。図３の属性データ１４ｄとして示されるように、製造条件に関する属性は、例えば各被検査物の製造時に使用された金型、製造ライン、製造工場、そして各被検査物の製造年月日である。属性データは、上述した金型、製造ライン、製造工場、製造年月日等の集合（グループ）から選択された少なくとも１つのデータであり得る。なお、属性データは、例えば名称を示す文字列、番号、記号および数値列の組み合わせで表現され得る。属性データは被検査物ごとに用意される。ただし、各被検査物の製造条件が共通している場合には、１つの属性データが被検査物ごとの属性データとして利用され得る。
　属性データを採用する理由を説明する。ある被検査物に欠陥が認められた場合、金型、製造ラインおよび／または製造工場等が共通する他の被検査物にも同様の欠陥が認められることが経験的に知られている。そのため、被検査物に欠陥が存在すると一旦判定された後で改めて欠陥の存否を判断する際には、属性が共通する複数の被検査物に対しては、共通する基準テーブルおよびオフセットテーブルを採用する。これにより、再度の欠陥判定の結果のぶれを低減できる。
　上述のとおり、採用する属性を決定した後は、属性の種類ごとに基準テーブルおよびオフセットテーブルの組を用意する。基準テーブルおよびオフセットテーブルの組は欠陥クラスごとに用意され得る。
　図１１は、外観検査処理の具体的な手順を示すフローチャートである。このフローチャートは、メモリ１２内の畳み込みニューラルネットワーク１２ｎおよび記憶装置１４内の種々のデータを利用して演算回路１０によって実行される。
　まずステップＳ２０において、演算回路１０は被検査物の画像データを取得する。画像データの取得方法は種々考えられる。例えば、撮像装置３０が被検査物を撮影して画像データを取得し、インタフェース装置２２ａに送信する。演算回路１０は、インタフェース装置２２ａが受信した画像データをインタフェース装置２２ａから受け取る。あるいは、撮像装置３０からの被検査物の画像データをインタフェース装置２２ａが受信し、記憶装置１４が当該画像データを格納した後、演算回路１０は記憶装置１４から画像データを取得してもよい。後者の例では、撮像装置３０は外観検査システム１０００の一部として含まれなくてもよい。
　ステップＳ２２において、演算回路１０は被検査物の属性データを取得する。
　ステップＳ２４において、演算回路１０は畳み込みニューラルネットワーク１２ｎを用いて欠陥の検出処理を行う。そして、被検査物の画像内に欠陥候補領域を検出した場合には当該被検査物を欠陥候補として抽出する。このとき、欠陥候補領域ごとに、欠陥クラスおよび確率値が出力される。
　ステップＳ２６において、演算回路１０はオフセットテーブル適用処理を実行する。オフセットテーブル適用処理は図９に示す処理に相当する。オフセットテーブル適用処理により、基準テーブル１４ｂがオフセットテーブル１４ｃにより更新されて、新たな基準テーブル１４ｂ－２が取得される。オフセットテーブル適用処理の具体的な説明は後述する。
　ステップＳ２８において、演算回路１０は、ステップＳ２４において欠陥候補領域ごとに出力された確率値と、更新した基準テーブル１４ｂ－２の閾値とを用いて、欠陥候補領域に実際に欠陥は存在するか否かを判定する。より具体的には、演算回路１０は、欠陥候補領域の位置の確率値と、当該位置に対応する位置の基準テーブル１４ｂ－２の閾値とを比較する。確率値が閾値以上、または閾値よりも大きい場合には、被検査物には依然として欠陥が存在する、すなわち被検査物は不良品であると判定し処理は終了する。一方、確率値が閾値未満、または閾値以下の場合には、演算回路１０は、欠陥は存在しないと判定し、処理はステップＳ３０に進む。
　ステップＳ３０において、演算回路１０はデータベース１４Ｚの更新処理を実行する。データベース１４Ｚの更新処理は、一旦は欠陥候補と判断された被検査物の画像、属性および検出結果を良品として記憶装置１４に登録し、さらに画像特徴量の類似傾向の有無に応じてオフセットテーブルを更新または削除する処理である。データベース１４Ｚの更新処理の具体的な説明は、図１６を参照しながら後述する。
　以上で図１１による外観検査処理は終了する。
　なお、ステップＳ２８において被検査物が不良品であると判定された後は演算回路１０の処理は終了するが、その後、例えば検査員が目視により、被検査物に欠陥が存在するか否かを判定してもよい。
　３．３　データベース登録処理（類似傾向確認処理およびオフセットテーブルの生成・更新処理を含む）
　次に、図１２を参照しながら、記憶装置１４のデータベース１４Ｚにオフセットテーブルを登録する処理を説明する。なお図１２の処理は、図１１のステップＳ３０を実行するための前提となる、オフセットテーブルを生成する処理である。本実施形態ではデータベース１４Ｚを更新する処理も行われるが、更新する処理については後に図１６を参照しながら説明する。
　図１２は、データベース登録処理の手順を示すフローチャートである。このフローチャートは、演算回路１０によって実行される。
　ステップＳ４０において、演算回路１０は記憶装置１４に、新たに良品画像、属性および検出結果を登録する。これによりデータベース１４Ｚが生成される。「良品画像」は「良品」と判定された物品の画像を言う。既に説明したように、「良品」と判定された物品は、当初から良品と判定された物品に限られない。つまり、一旦は欠陥ありと判定され、その後、良品と判定された被検査物、および、後述の本開示にかかる処理の結果、良品と判定された被検査物も含まれる。また「検出結果」とは、検出した範囲、欠陥クラス、欠陥の確率を含む。検出した範囲は、例えば矩形の場合、左上隅の座標と右下隅の座標とによって表現され得る。なお、良品であっても過検出の状態はサンプルによって異なるので別個独立の検出結果として登録される。
　ステップＳ４２において、演算回路１０は類似傾向確認処理を実行する。「類似傾向確認処理」とは、同じ属性を有する良品画像の同じ画像特徴量に基づいて良品画像をクラスタリングし、所定の割合以上の良品画像を含むクラスタが存在する場合には、そのようなクラスタリングを実現したクラス分類器を保存する処理である。クラス分類器が得られたことは、特定の属性で、かつ特定の画像特徴量を有する画像に関しては、畳み込みニューラルネットワーク１２ｎは過検出を行ったことを意味する。類似傾向確認処理は後に図１３および図１４を参照しながら説明する。
　ステップＳ４４において、演算回路１０は、ステップＳ４２において行われた類似傾向確認処理の結果から、類似傾向があるか否かを判定する。類似傾向がある場合には処理はステップＳ４４に進み、類似傾向がない場合にはオフセットテーブルを生成せず処理を終了する。
　ステップＳ４６において、演算回路１０はオフセットテーブルを生成し、データベース１４Ｚに登録する。過検出を行った場合にはオフセットテーブルを生成し、以後、同じ属性および画像特徴量を有する画像が欠陥であると判定されたときに、欠陥の判定基準（閾値）を変更することができる。オフセットテーブルの生成処理後に図１５を参照しながら説明する。
　以上の処理により、所定の条件に合致した場合には、オフセットテーブルをデータベース１４Ｚに登録する処理が終了する。上述の処理を経て、図３に示すようにオフセットテーブル１４cがデータベース１４Ｚに登録される。
　次に、図１３および図１４を参照しながら類似傾向確認処理の具体的な内容を説明する。類似傾向確認処理は、図１２のステップＳ４０において新たに登録された良品画像がデータベース１４Ｚに既に登録されている良品画像との関係で類似する傾向にある場合には、オフセットテーブルを生成する処理である。類似傾向確認処理は被検査物の属性に応じて行われるため、処理実行時には対象となる属性が予め決定されている。
　図１３は、類似傾向確認処理の手順を示すフローチャートである。このフローチャートは、演算回路１０によって実行される。
　ステップＳ５０において、演算回路１０は、対象の属性を有する良品画像のうち、最新の良品画像からｎ枚（ｎ：２以上の整数）をデータベース１４Ｚから抽出する。
　ステップＳ５２において、演算回路１０は抽出したｎ枚の良品画像のうち、過検出が発生していた１または複数の良品画像の過検出領域を切り出す。
　ステップＳ５４において、演算回路１０は所定の画像特徴量を抽出する。抽出すべき画像特徴量は予め定められている。画像特徴量は、例えば畳み込みニューラルネットワーク１２ｎによって抽出した特徴量であってもよいし、ＧＬＣＭ特徴量であってもよい。抽出する画像特徴量の数は任意である。
　ステップＳ５６において、演算回路１０は過検出された良品画像を含む、同属性の良品画像でクラスタリング処理を実行する。クラスタリング処理として、例えばK-means 法を用いることができる。K-means 法は公知の技術であるから具体的な説明は省略する。K-means 法以外の公知のクラスタリング技術を用いてもよい。
　ステップＳ５８において、演算回路１０は過検出された良品画像を含むクラスタに属するサンプル数が全サンプル数のｍ％（m：０以上１００以下の実数。例えば６０）以上を占めるか否かを判定する。当該クラスタに属するサンプル数が全サンプル数のｍ％以上の場合には、かつての過検出と類似する傾向が存在することを意味し、処理はステップＳ６０に進む。ｍ％未満の場合には類似傾向がなく、突発的に過検出が発生したと推定される。そこで処理は終了する。
　ステップＳ６０において、演算回路１０はクラスタ分類器を記憶装置１４に保存する。
　図１４は、図１３のステップＳ５６およびＳ５８を具体的に説明するための図である。各良品画像が２次元の画像特徴量を用いてプロットされている。例えば、横軸は輝度に関する画像特徴量であり、縦軸はコントラストに関するＧＬＣＭ特徴量である。所定のクラスタリング技術によってクラスタリングを実行した結果、図１４に示すように３つのクラスタＡ，ＢおよびＣに分類されたとする。このうち、クラスタＡに注目する。
　クラスタＡは、畳み込みニューラルネットワーク１２ｎによって欠陥があると判定された画像の画像特徴量がプロットされた点ｓと、既にデータベース１４Ｚに登録されていた良品画像群の各画像特徴量がプロットされた複数の点ａとを含む。
　総数ｎ枚の画像のうち、クラスタＡには点ｓを含めてｋ枚の画像の画像特徴量がプロットされたとする。演算回路１０は、Ｑ＝（ｋ／ｎ）＊１００　の演算を行い、良品画像がクラスタＡに分類される割合を求める。そして演算回路１０は、図１２のステップＳ５８において、Ｑ≧ｍであるか否かを判定する。Ｑ≧ｍであるときは、点ｓに対応する画像は、かつて過検出が発生した良品画像と同様に過検出であると推定し得る。そこで、図１３のステップＳ６０において、クラスタリングに用いたクラスタ分類器を保存し、以後新たに行われる被検査物の画像の判定に利用することとした。
　次に、図１５を参照しながら、オフセットテーブルの生成・更新処理の具体的な内容を説明する。オフセットテーブルの生成・更新処理は、図１２のステップＳ４６において実行される処理である。
　図１５は、オフセットテーブルの生成・更新処理の手順を示すフローチャートである。このフローチャートは、演算回路１０によって実行される。
　ステップＳ７０において、演算回路１０は、対象の属性を有する良品画像のうち、最新の良品画像からｎ枚をデータベース１４Ｚから抽出する。この処理は図１３のステップＳ５０と同じであるが、「ｎ」は同じ値である必要はない。
　ステップＳ７２において、演算回路１０は抽出したｎ枚の良品画像の平均画像を生成する。平均画像の座標（ｘ，ｙ）の位置の画素値は、抽出したｎ枚の良品画像のそれぞれの座標（ｘ，ｙ）の画素値の平均値である。
　ステップＳ７４において、演算回路１０は平均画像を畳み込みニューラルネットワーク１２ｎに入力し、出力結果を利用してオフセットテーブルを生成する。より具体的に説明する。平均画像は典型的な良品画像を表すと言える。その平均画像を畳み込みニューラルネットワーク１２ｎに入力し、欠陥の検出処理を行う。すると、平均画像内に欠陥候補領域が検出され得る。畳み込みニューラルネットワーク１２ｎは、図１４のクラスタＡに属する点の画像特徴量を有する良品画像についても欠陥候補領域を検出してしまうからである。検出結果には、１または複数の欠陥候補領域が含まれ得る。また、各欠陥候補領域について、欠陥クラスおよび確率値も出力され得る。演算回路１０は、１または複数の部分領域に、確率値の大きさに応じたオフセット値（第１種のオフセット値）を記述したオフセットテーブルを生成する。生成されたオフセットテーブルは、例えば図８のオフセットテーブル１４ｃと同様である。
　ステップＳ７６において、演算回路１０は欠陥クラスごとに欠陥候補領域を抽出する。この処理は、欠陥クラスごとにオフセットテーブルを用意することを意味する。オフセットテーブルが欠陥候補領域を含む場合、その欠陥クラスについて畳み込みニューラルネットワーク１２ｎは過検出を行ったと言うことができる。したがって、欠陥候補領域は「過検出領域」とも呼び得る。
　ステップＳ７８において、演算回路１０は欠陥クラスごとのオフセットテーブルにおいて、過検出領域以外の領域の値を０に設定する。これにより、オフセットテーブルには第２種のオフセット値が記述される。
　ステップＳ８０において、演算回路１０は欠陥クラスごとのオフセットテーブルをデータベースに保存する。これにより、データベース１４Ｚには欠陥クラスごとのオフセットテーブルが用意されることになる。図３には、１つの欠陥クラス（例えば、欠陥クラス：傷）についてのオフセットテーブル１４ｃがデータベース１４Ｚに登録されている。
　なお、既にオフセットテーブルが存在していたとしても、新たに良品画像が登録されると、新たなオフセットテーブルが生成され、既存のオフセットテーブルが書き換えられる。そのような場合には、図１５の処理はオフセットテーブルの更新処理と呼び得る。
　３．４　データベース更新処理
　次に、図１６を参照しながらデータベース１４Ｚの更新処理を説明する。なおステップＳ４０、Ｓ４２およびＳ４４は、図１２の処理と同じであるため説明は省略する。
　図１６は、データベース１４Ｚの更新処理の手順を示すフローチャートである。
　ステップＳ４４において類似傾向があると判定された場合には、処理はステップＳ９６に進み、類似傾向がないと判定された場合には、処理はステップＳ９８に進む。
　ステップＳ９６において、演算回路１０はオフセットテーブルを更新する。一方、ステップＳ９８において、演算回路１０はオフセットテーブルを削除する。オフセットテーブルを削除する理由は、欠陥を検出し損なうリスクを抑えるためである。オフセットを設定すると、未検出のリスクが僅かに高まる。そのため、類似傾向がないと判断される場合には、過検出の傾向がなくなったとしてオフセットテーブルを削除し、未検出のリスクを抑えている。
　３．５　オフセットテーブルの適用処理
　次に、図１７を参照しながら、オフセットテーブルの適用処理の具体的な内容を説明する。オフセットテーブルの適用処理は、図１１のステップＳ２６において行われる処理である。
　図１７は、オフセットテーブルの適用処理の手順を示すフローチャートである。このフローチャートは、演算回路１０によって実行される。
　ステップＳ１００において、演算回路１０は、記憶装置から、被検査物の属性と同じ属性のオフセットテーブルをロードする。なお、被検査物の属性は、図１１のステップＳ２２において取得された属性データに基づいて決定される。
　ステップＳ１０２において、演算回路１０は被検査物の画像の部分領域を切り出す。切り出す部分領域の位置は、例えばオフセットテーブル１４ｃ（図８）内で第１種のオフセット値（非ゼロの値）が記述されている位置に対応する。
　ステップＳ１０４において、演算回路１０は、図１３のステップＳ６０によって保存されたクラスタ分類器に、切り出した部分領域の画像特徴量を入力する。
　ステップＳ１０６において、演算回路１０は、部分領域の画像特徴量が過検出を含むクラスタに分類されたか否かを判定する。過検出を含むクラスタとは、図１４の例ではクラスタＡである。画像特徴量が過検出を含むクラスタに分類された場合には処理はステップＳ１０８に進み、分類されなかった場合には処理は終了する。
　ステップＳ１０８において、演算回路１０は、切り出した部分領域の判定基準（閾値）に第１種のオフセット値を加算する。この処理は、図９を参照しながら説明した処理に相当する。
　以上の処理によって、基準テーブルの閾値がより大きい値に更新される。これにより良品と判定される範囲が広がり、過検出を抑制することが可能になる。
　４．　変形例
　判定に利用される被検査物の画像は、撮像装置（カメラ）が１または複数の物品をリアルタイムで撮影して外観検査装置１００に取得されてもよい。または、一旦撮影された後に大容量記憶装置に記憶され、当該大容量記憶装置から読み出されて外観検査装置１００に取得されてもよい。後者の例を説明する。
　図１８は、変形例にかかる外観検査システム１１００の構成を示している。外観検査システム１１００は、通信ネットワーク３００に接続された外観検査装置１００および二次記憶装置３１０を有する。通信ネットワーク３００は、例えばインターネット等の広域通信網（ＷＡＮ）、または企業等の構内に敷設された構内通信網（ＬＡＮ）である。なお、撮像装置３０も通信ネットワーク３００に接続されているが、外観検査装置１００が外観検査を行う時点では、撮像装置３０は外観検査システム１１００の必須の構成要素ではない。
　二次記憶装置３１０は、いわゆるクラウドストレージである。本変形例では、二次記憶装置３１０は、通信ネットワーク３００を介して、撮像装置３０が撮影し送信した被検査物の画像データを受信し、格納する。
　外観検査装置１００のインタフェース装置２２ｄは、通信ネットワーク３００を介して二次記憶装置３１０から被検査物の画像データを受信する。演算回路１０は、インタフェース装置２２ｄが受信した画像データを取得し、例えば記憶装置１４に格納して上述の処理を実行する。
　本開示による外観検査システムおよびコンピュータプログラムは、工場などの製造現場における物品または部品の外観検査に好適に利用され得る。
　１０００・・・外観検査システム、１０・・・演算回路、１２・・・メモリ、１４・・・記憶装置、１６・・・通信回路、１８・・・画像処理回路、２２ａ～２２ｃ・・・インタフェース装置、３０・・・撮像装置、１２０・・・入力装置、１３０・・・モニタ
 

Claims (22)

  1. 　被検査物の画像を利用して前記被検査物の良否を判定する外観検査システムであって、
    　良品と判定された複数の物品が撮影された複数の画像、複数の閾値が記述された基準テーブル、および複数のオフセット値が記述されたオフセットテーブルを記憶した記憶装置と、
    　被検査物の画像データを受け取るインタフェース装置と、
    　演算回路と
    　を備え、前記被検査物の画像および前記複数の画像の各々は、複数の部分領域を含み、
    　前記基準テーブルの前記複数の閾値の各々および前記オフセットテーブルの前記複数のオフセット値の各々は、前記複数の部分領域の各々に対応付けて設定されており、
    　前記複数の閾値の各々は、対応付けられた前記複数の部分領域の各々に含まれる前記被検査物の像が欠陥を表していると判定するための基準であり、
    　前記複数のオフセット値は、前記複数の閾値の一部を変化させる第１種のオフセット値および残りの一部を変化させない第２種のオフセット値を含み、
    　前記演算回路は、
    　（ａ）前記画像データに予め定められた欠陥検出処理を行い、少なくとも１つの欠陥の像が前記被検査物の画像に含まれている場合には前記被検査物を欠陥候補として抽出する処理と、
    　（ｂ）前記欠陥候補として抽出された前記被検査物の画像から部分画像を切り出す処理であって、切り出される前記部分画像の位置は、前記オフセットテーブル中の前記第１種のオフセット値が対応付けられた部分領域の位置である、処理と、
    　（ｃ）切り出した前記部分画像の画像特徴量が過検出クラスに分類されるか否かを判定する処理であって、前記過検出クラスは、前記第１種のオフセット値が対応付けられた部分領域の位置における、前記複数の画像の各部分画像の画像特徴量が所定以上の割合で分類されるクラスである、処理と、
    　（ｄ）切り出した前記部分画像の画像特徴量が前記過検出クラスに分類される場合に、前記部分領域の位置における前記基準テーブルの閾値を、前記第１種のオフセット値を用いて変更して、前記被検査物の像が欠陥を表していると判定するための基準をより高くする処理と、
    　（ｅ）前記閾値を変更した前記基準テーブルを用いて、少なくとも１つの欠陥の像が前記被検査物の画像に含まれているか否かを判定する処理と
    　を実行する、外観検査システム。
  2. 　前記インタフェース装置は、前記被検査物の製造条件に関する属性を示す属性データをさらに受け取り、
    　前記記憶装置は、前記基準テーブルおよび前記オフセットテーブルを、予め分類された属性ごとに記憶しており、
    　前記（ｂ）の処理は、
    　（ｂ１）前記演算回路が、前記被検査物の属性データに基づいて、前記記憶装置に記憶された複数種類のオフセットテーブルのうちから、前記被検査物の属性と同じ属性を有する同属性オフセットテーブルを読み出す処理と、
    　（ｂ２）前記演算回路が、読み出した前記同属性オフセットテーブルに含まれる前記第１種のオフセット値が対応付けられた前記部分領域の位置において、前記欠陥候補として抽出された前記被検査物の画像から部分画像を切り出す処理と、
    　を包含する、請求項１に記載の外観検査システム。
  3. 　前記製造条件に関する前記属性は、前記被検査物の製造時に使用された金型、製造ラインおよび製造工場からなるグループから選択された少なくとも１つである、請求項１または２に記載の外観検査システム。
  4. 　前記演算回路は、前記（ａ）の処理で行われる前記欠陥検出処理において、前記画像データの第１画像特徴量を利用して前記少なくとも１つの欠陥の像を検出し、
    　前記（ｃ）の処理に用いられる前記画像特徴量を第２画像特徴量とするとき、
    　前記第１画像特徴量と前記第２画像特徴量とは同一である、請求項１から３のいずれかに記載の外観検査システム。
  5. 　前記（ｃ）の処理における前記画像特徴量は、画像のグレーレベル同時生起行列（ＧＬＣＭ）に関する画像特徴量である、請求項１から３のいずれかに記載の外観検査システム。
  6. 　前記（ａ）の処理における前記欠陥検出処理は複数種類の欠陥を検出するための処理であり、
    　前記（ａ）の処理は、検出された前記少なくとも１つの欠陥の種類ごとに前記欠陥候補を抽出する処理を包含する、請求項１から５のいずれかに記載の外観検査システム。
  7. 　前記記憶装置は、前記基準テーブルおよび前記オフセットテーブルを、前記欠陥の種類ごとに記憶しており、
    　前記（ｂ）の処理は、
    　（ｂ３）前記演算回路が、前記記憶装置に記憶された複数種類のオフセットテーブルのうちから、前記少なくとも１つの欠陥の種類に応じた同種類オフセットテーブルを読み出す処理と、
    　（ｂ４）前記演算回路が、読み出した前記同種類オフセットテーブルに含まれる前記第１種のオフセット値が対応付けられた前記部分領域の位置において、前記欠陥候補として抽出された前記被検査物の画像から部分画像を切り出す処理と、
    　を包含する、請求項６に記載の外観検査システム。
  8. 　前記複数の部分領域の各々は、１画素で表される領域であり、
    　前記基準テーブルの前記複数の閾値の各々および前記オフセットテーブルの前記複数のオフセット値の各々は、画素ごとに対応付けて設定されている、請求項１から７のいずれかに記載の外観検査システム。
  9. 　（ｆ）前記（ｅ）の処理において前記少なくとも１つの欠陥の像が前記被検査物の画像に含まれていなかった場合に、前記被検査物の画像を、良品と判定された前記複数の物品の各々が撮影された前記複数の画像として前記記憶装置に追加して記憶する処理をさらに包含する、請求項１から８のいずれかに記載の外観検査システム。
  10. 　（ｇ）前記（ｆ）の処理の後、前記記憶装置に記憶されている前記オフセットテーブルを、前記第２のオフセット値を変更したオフセットテーブルに書き換える処理をさらに包含する、請求項９に記載の外観検査システム。
  11. 　前記（ｆ）の処理は、
    　（ｆ１）類似する過検出結果が存在するか否かを判定する処理、および
    　（ｆ２）判定結果が、類似する過検出結果が存在することを示す場合には、前記オフセットテーブルの前記第２のオフセット値を書き換える処理
    　を包含し、
    　前記（ｆ１）の処理は、前記第１種のオフセット値が対応付けられた部分領域の位置に関して、前記複数の画像の各部分画像の画像特徴量が前記所定以上の割合で前記過検出クラスに分類される場合に、類似する過検出結果が存在すると判定する処理である、請求項１０に記載の外観検査システム。
  12. 　前記（ｆ１）の処理は、前記第１種のオフセット値が対応付けられた部分領域の位置に関し、前記複数の画像の各部分画像の画像特徴量に関して所定のクラスタリング処理を実行し、実行結果が前記所定以上の割合で同じクラスタに分類されたことを示す場合に、類似する過検出結果が存在すると判定する処理である、請求項１１に記載の外観検査システム。
  13. 　前記所定のクラスタリング処理に用いられるクラス分類器をさらに備え、
    　前記（ｃ）の処理は、前記クラス分類器を利用して、切り出した前記部分画像の画像特徴量が過検出クラスに分類されるか否かを判定する処理である、請求項１２に記載の外観検査システム。
  14. 　前記（ｆ）の処理は、
    　（ｆ３）判定結果が、類似する過検出結果が存在しないことを示す場合には、前記第２のオフセット値を変更したオフセットテーブルを破棄する処理
    　を包含する、請求項１１に記載の外観検査システム。
  15. 　前記インタフェース装置は、前記被検査物の製造条件に関する属性を示す属性データをさらに受け取り、
    　前記記憶装置は、良品と判定された前記複数の物品の各々が撮影された前記複数の画像、前記基準テーブルおよび前記オフセットテーブルを、予め分類された属性に関連付けて記憶しており、
    　前記（ｇ）の処理は、
    　（ｇ１）前記記憶装置に記憶された前記複数の画像から、前記インタフェース装置が受け取った前記属性データと同じ属性を有する画像群を選出し、
    　（ｇ２）前記画像群から少なくとも１枚の参照画像を生成し
    　（ｇ３）前記少なくとも１枚の参照画像の画像データに予め定められた前記欠陥検出処理を行い、１以上の欠陥の像が前記少なくとも１枚の参照画像に含まれていると判定された場合には、各欠陥の像の位置を表す領域と過検出が発生する程度を表す値とが関連付けられた過検出テーブルを生成し、
    　（ｇ４）前記過検出テーブルに、前記各欠陥の像の位置には前記過検出が発生する程度を表す第１の値を記述し、前記各欠陥の像の位置以外の位置には前記過検出が発生していないことを表す第２の値を記述し、
    　（ｇ５）前記記憶装置に記憶されている前記オフセットテーブルを、前記過検出テーブルを用いて前記第２のオフセット値を変更したオフセットテーブルに書き換える、請求項１０から１４のいずれかに記載の外観検査システム。
  16. 　撮像装置をさらに備え、
    　前記撮像装置は、前記被検査物を撮影して前記画像データを取得し、出力する、請求項１から１５のいずれかに記載の外観検査システム。
  17. 　前記撮像装置は、前記被検査物の画像データを前記インタフェース装置に送信し、
    　前記演算回路は、前記インタフェース装置が受信した前記画像データを取得する、請求項１６に記載の外観検査システム。
  18. 　前記インタフェース装置は、前記撮像装置から前記被検査物の画像データを受信し、
    　前記記憶装置は、受信した前記画像データを格納し、
    　前記演算回路は、前記記憶装置から前記被検査物の画像データを取得する、請求項１６に記載の外観検査システム。
  19. 　通信ネットワークに接続された二次記憶装置をさらに備え、
    　前記撮像装置は、前記通信ネットワークを介して前記被検査物の画像データを前記二次記憶装置に送信し、
    　前記二次記憶装置は、受信した前記画像データを格納し、
    　前記インタフェース装置は、前記通信ネットワークを介して前記二次記憶装置から前記被検査物の画像データを受信し、
    　前記演算回路は、前記インタフェース装置が受信した前記画像データを取得する、請求項１６に記載の外観検査システム。
  20. 　前記（ａ）の処理における前記予め定められた欠陥検出処理は、学習済みのニューラルネットワークを用いて、前記被検査物の画像から前記少なくとも１つの欠陥の像を含まれているか否かを判定する処理であり、
    　前記ニューラルネットワークは、良品および不良品を包含する複数の物品の各物品の画像と、前記各物品が良品であるか不良品であるかを示す良否データとを教師データとして用いた機械学習処理によって構築されている、請求項１から１９のいずれかに記載の外観検査システム。
  21. 　前記ニューラルネットワークは、良品および不良品を包含する複数の物品の各物品の画像と、前記各物品が良品であるか不良品であるかを示す良否データと、前記不良品の不良の種類を示す不良種類データとを教師データとして用いた機械学習処理によって構築されている、請求項２０に記載の外観検査システム。
  22. 　被検査物の画像を利用して前記被検査物の良否を判定する外観検査システムの演算回路によって実行されるコンピュータプログラムであって、
    　前記外観検査システムは、
    　　良品と判定された複数の物品の各々が撮影された複数の画像、複数の閾値が記述された基準テーブル、および複数のオフセット値が記述されたオフセットテーブルを記憶した記憶装置と、
    　　被検査物の画像データを受け取るインタフェース装置と、
    　　前記演算回路と
    　を備え、前記被検査物の画像および前記複数の画像の各々は、複数の部分領域を含み、　前記基準テーブルの前記複数の閾値の各々および前記オフセットテーブルの前記複数のオフセット値の各々は、前記複数の部分領域の各々に対応付けて設定されており、
    　 前記複数の閾値の各々は、対応付けられた前記複数の部分領域の各々に含まれる前記被検査物の像が欠陥を表していると判定するための基準であり、
    　前記複数のオフセット値は、前記複数の閾値の一部を変化させる第１種のオフセット値および残りの一部を変化させない第２種のオフセット値を含み、
    　前記コンピュータプログラムは前記演算回路に、
    　（ａ）前記画像データに予め定められた欠陥検出処理を行い、少なくとも１つの欠陥の像が前記被検査物の画像に含まれている場合には前記被検査物を欠陥候補として抽出する処理と、
    　（ｂ）前記欠陥候補として抽出された前記被検査物の画像から部分画像を切り出す処理であって、切り出される前記部分画像の位置は、前記オフセットテーブル中の前記第１種のオフセット値が対応付けられた部分領域の位置である、処理と、
    　（ｃ）切り出した前記部分画像の画像特徴量が過検出クラスに分類されるか否かを判定する処理であって、前記過検出クラスは、前記第１種のオフセット値が対応付けられた部分領域の位置における、前記複数の画像の各部分画像の画像特徴量が所定以上の割合で分類されるクラスである、処理と、
    　（ｄ）切り出した前記部分画像の画像特徴量が前記過検出クラスに分類される場合に、前記部分領域の位置における前記基準テーブルの閾値を、前記第１種のオフセット値を用いて変更して、前記被検査物が欠陥を表していると判定するための基準をより高くする処理と、
    　（ｅ）前記閾値を変更した前記基準テーブルを用いて、少なくとも１つの欠陥の像が前記被検査物の画像に含まれているか否かを判定する処理と
    　を実行させる、コンピュータプログラム。
PCT/JP2020/039729 2020-03-24 2020-10-22 外観検査システムおよびコンピュータプログラム WO2021192376A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202080098729.0A CN115298539A (zh) 2020-03-24 2020-10-22 外观检查系统和计算机程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020052573 2020-03-24
JP2020-052573 2020-03-24

Publications (1)

Publication Number Publication Date
WO2021192376A1 true WO2021192376A1 (ja) 2021-09-30

Family

ID=77891669

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039729 WO2021192376A1 (ja) 2020-03-24 2020-10-22 外観検査システムおよびコンピュータプログラム

Country Status (2)

Country Link
CN (1) CN115298539A (ja)
WO (1) WO2021192376A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023095490A1 (ja) * 2021-11-26 2023-06-01 新興窯業株式会社 プログラム、情報処理装置、情報処理方法、学習モデルの生成方法、および撮影システム
JP7327866B1 (ja) 2023-02-07 2023-08-16 株式会社シュヴァルベル 学習モデル生成方法
JP7471031B2 (ja) 2022-02-08 2024-04-19 慶應義塾 欠陥推定装置、欠陥推定方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019132720A (ja) * 2018-01-31 2019-08-08 日本特殊陶業株式会社 外観検査装置及び外観検査方法
WO2019176614A1 (ja) * 2018-03-16 2019-09-19 日本電産株式会社 画像処理装置、画像処理方法、およびコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019132720A (ja) * 2018-01-31 2019-08-08 日本特殊陶業株式会社 外観検査装置及び外観検査方法
WO2019176614A1 (ja) * 2018-03-16 2019-09-19 日本電産株式会社 画像処理装置、画像処理方法、およびコンピュータプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023095490A1 (ja) * 2021-11-26 2023-06-01 新興窯業株式会社 プログラム、情報処理装置、情報処理方法、学習モデルの生成方法、および撮影システム
JP7471031B2 (ja) 2022-02-08 2024-04-19 慶應義塾 欠陥推定装置、欠陥推定方法及びプログラム
JP7327866B1 (ja) 2023-02-07 2023-08-16 株式会社シュヴァルベル 学習モデル生成方法

Also Published As

Publication number Publication date
CN115298539A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
WO2021192376A1 (ja) 外観検査システムおよびコンピュータプログラム
JP7004145B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
US11017259B2 (en) Defect inspection method, defect inspection device and defect inspection system
TWI670781B (zh) 疊代式缺陷濾除製程
WO2020137222A1 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP2004294202A (ja) 画面の欠陥検出方法及び装置
JP2008145226A (ja) 欠陥検査装置及び欠陥検査方法
WO2019194064A1 (ja) 画像処理装置、画像処理方法、外観検査システムおよび外観検査方法
TWI751372B (zh) 用於缺陷偵測之系統及方法
CN110596120A (zh) 玻璃边界缺陷检测方法、装置、终端及存储介质
US7634131B2 (en) Image recognition apparatus and image recognition method, and teaching apparatus and teaching method of the image recognition apparatus
JP2007285754A (ja) 欠陥検出方法および欠陥検出装置
KR20220016245A (ko) 불량 이미지 생성 장치 및 방법
WO2020071234A1 (ja) 画像処理装置、画像処理方法、外観検査システムおよびコンピュータプログラム
WO2014208193A1 (ja) ウエハ外観検査装置
JP2005309535A (ja) 画像自動分類方法
JP4244046B2 (ja) 画像処理方法および画像処理装置
JP2004212311A (ja) ムラ欠陥の検出方法及び装置
JP2009139133A (ja) 欠陥検出方法および欠陥検出装置
KR20230171378A (ko) 결함 검사 장치
WO2019176614A1 (ja) 画像処理装置、画像処理方法、およびコンピュータプログラム
JP2005164565A (ja) 低解像度および高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法
JP7380332B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
JP2005140655A (ja) シミ欠陥の検出方法及びその検出装置
CN110672631B (zh) 面板缺陷拍照方法和面板缺陷拍照装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20926441

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20926441

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP