WO2023171205A1 - 外観検査システム、外観検査方法、及びプログラム - Google Patents

外観検査システム、外観検査方法、及びプログラム Download PDF

Info

Publication number
WO2023171205A1
WO2023171205A1 PCT/JP2023/004015 JP2023004015W WO2023171205A1 WO 2023171205 A1 WO2023171205 A1 WO 2023171205A1 JP 2023004015 W JP2023004015 W JP 2023004015W WO 2023171205 A1 WO2023171205 A1 WO 2023171205A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
target image
region
target
inspection system
Prior art date
Application number
PCT/JP2023/004015
Other languages
English (en)
French (fr)
Inventor
慶一 尾林
真嗣 栗田
洋平 大川
崇志 西本
滋穂里 内田
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2023171205A1 publication Critical patent/WO2023171205A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a visual inspection system, a visual inspection method, and a program.
  • a visual inspection is performed to determine whether a product is good or defective based on its appearance.
  • a visual inspection may be performed on a member on an electronic board as described in Patent Document 1.
  • Patent Document 1 since it is important to determine whether there is a foreign object on the solder applied to the board for rework, the area where the solder has been applied is identified in the image data of the board, and the area is identified. A foreign matter inspection method for determining foreign matter on the body is shown.
  • Appearance inspection targets products that have multiple parts, and even if the product is determined to be non-defective, some parts have a wide tolerance for variations in position, shape, or area. .
  • criteria for determining good quality are set based on components with a wide tolerance range, the overall criteria for determining quality will be lenient even if there are abnormalities such as foreign objects in other components. , the product is judged to be of good quality overall. In this case, it becomes difficult to detect foreign objects in other members.
  • the present disclosure has been made in view of such actual circumstances, and the purpose is to inspect an object to be inspected whose position etc. of a member changes even if it is a non-defective item, and to detect parts other than the changing member.
  • An object of the present invention is to provide a visual inspection system, a visual inspection method, and a program that can detect abnormalities in parts.
  • the present disclosure adopts the following configuration in order to solve the above-mentioned problems.
  • An appearance inspection system detects a first region of a target image corresponding to the first target object based on a target image in which an inspection target including a first target object and a second target object is captured.
  • an area identifying unit that identifies a second area from which the first area has been removed from the target image; and a feature extraction unit that extracts a feature amount of the second area based on the target image and the second area; and an output unit that outputs a determination result indicating whether or not the second object is a non-defective product based on the feature amount.
  • the first area corresponding to the first target object and the second area from which the first area is removed from the target image are identified, and the second area is determined based on the feature amount of the second area. , it is determined whether the second object located in the second area is a non-defective item.
  • the second area in determining the quality of the second object, is not directly specified, but the first area is specified, and the second area is specified as an area other than the first area.
  • the second area can be appropriately specified, so that the second area can be properly identified.
  • the second object can be inspected while suppressing the influence of changes in position and the like.
  • the second area can be properly specified and then the second object can be inspected. becomes possible. This makes it possible to detect abnormalities in parts other than the parts that fluctuate, even if the inspection object is a non-defective item, but the position of the member fluctuates.
  • the feature extraction section extracts the feature amount of the first region based on the target image and the first region
  • the output section extracts the feature amount of the first region based on the feature amount of the first region. , a determination result indicating whether or not the first object is a good product may be output.
  • the region identifying unit may perform semantic segmentation on the target image to identify the first region and the second region. According to this configuration, for example, by performing semantic segmentation using the first object as the foreground and the second object as the background, it becomes possible to specify the first region and the second region.
  • the region identifying unit may perform instance segmentation on the target image to identify the first region and the second region. According to this configuration, by setting the instance classified corresponding to the first object as the first area and setting the remaining instances as the second area, it is possible to specify the first area and the second area. Become.
  • the visual inspection system replaces parameters of pixels included in at least part of the first area in the target image with predetermined conversion parameters, and converts at least part of the first area to the second area.
  • the image forming apparatus may further include a converting section.
  • the determination unit can, for example, compare the reference image and the image to be determined, and determine whether the second object is good or bad.
  • the predetermined conversion parameter may be a parameter of a pixel corresponding to the second object.
  • both the reference image of the second target object and the target image can have pixel parameters based on the second target object.
  • the accuracy of the determination can be made higher than, for example, when the parameters of the pixels in the first region are converted using parameters that have little relation to the second object.
  • the feature extraction unit extracts the first pixel information generated based on the pixels included in the second area as the feature
  • the output unit extracts the first pixel information generated based on the pixels included in the second area
  • the output unit extracts the first pixel information generated based on the pixels included in the second region
  • the output unit extracts the first pixel information generated based on the pixels included in the second area.
  • the second pixel information generated based on the pixels included in the second region in the case of One pixel information may be input and the determination result may be output.
  • the feature amount is extracted based on the pixels included in the second region.
  • feature amounts are extracted based on pixels, and quality determination is performed using a learning model using the feature amounts.
  • the appearance inspection method is based on a target image in which an inspection target including a first target object and a second target object is captured, and a first target image corresponding to the first target object. identifying a region and identifying a second region from which the first region is removed from the target image; extracting a feature amount of the second region based on the target image and the second region; and outputting a determination result indicating whether or not the second object is a non-defective product based on the second object.
  • the program causes a computer to obtain a target image corresponding to the first target object based on a target image in which an inspection target consisting of a first target object and a second target object is captured.
  • a visual inspection system capable of detecting abnormalities in parts other than the fluctuating parts of an inspected object whose position etc. vary even if it is a non-defective product. programs can be provided.
  • FIG. 1 is a diagram schematically showing how the appearance inspection system according to the first embodiment is used.
  • FIG. 1 is a block diagram of a visual inspection system according to a first embodiment.
  • FIG. 3 is a diagram showing an example of a target image according to the first embodiment. It is a figure which shows another example of the target image based on 1st Embodiment. It is a figure showing the outline of processing of the appearance inspection system concerning a 1st embodiment.
  • FIG. 3 is a diagram showing a specific example of a first region and a second region according to the first embodiment.
  • FIG. 7 is a diagram showing another example of specifying the first region and the second region according to the first embodiment.
  • FIG. 3 is a diagram illustrating output processing of determination results according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a model in output processing of determination results according to the first embodiment. It is a flowchart explaining another example of processing of the appearance inspection system concerning a 1st embodiment.
  • FIG. 3 is a diagram illustrating an example of a model in output processing of determination results according to the first embodiment. It is a figure which shows another example of the target image based on 1st Embodiment. It is a figure showing an example of the whole processing of the visual inspection system concerning a 1st embodiment.
  • FIG. 2 is a block diagram of a visual inspection system according to a second embodiment.
  • FIG. 7 is a diagram illustrating an example of specifying a first region and a second region and converting the first region according to the second embodiment. It is a flow chart explaining an example of processing of a visual inspection system concerning a 2nd embodiment.
  • FIG. 1 schematically shows the visual inspection system 101 according to the first embodiment and how products P1, P2, and P3 are inspected by the visual inspection system 101.
  • the visual inspection system 101 is installed, for example, in a production line where products P1, P2, and P3 move along arrow D.
  • a product P1 in which the circuit element E1 and the circuit element L1 are provided on the board B1 a product P2 in which the circuit element E2 and the circuit element L2 are provided in the board B2, and a product P2 in which the circuit element E1 and the circuit element L1 are provided in the board B1, A product P3 to be provided is shown.
  • Products P1, P2, and P3 correspond to "inspection objects" of the present disclosure.
  • the circuit elements E1, E2, E3 and the circuit elements L1, L2, L3 correspond to the "first object” of the present disclosure
  • the substrates B1, B2, B3 correspond to the "second object” of the present disclosure
  • the "second object” may include an inspection table (not shown) on which the product P is placed.
  • the "second object” may be any object other than the "first object” among the objects included in the target image.
  • products P1, P2, P3, circuit elements E1, E2, E3, circuit elements L1, L2, L3, and substrates B1, B2, B3 will be referred to as product P, circuit elements E, They are called circuit element L and substrate B.
  • the visual inspection system 101 photographs each product using an imaging device and obtains a target image of the product to be inspected.
  • the appearance inspection system 101 performs image processing on the target image and determines whether the board B is a good product.
  • the visual inspection system 101 may determine whether at least one of the circuit element E and the circuit element L is a non-defective product.
  • the visual inspection system 101 may determine that the first object is a non-defective item.
  • the visual inspection system 101 can determine that the circuit element E is a non-defective item if the circuit element E is included in the target image.
  • the circuit element E can take various postures with respect to the substrate B. However, as shown in FIG. 1, even if the postures of the circuit elements E1, E2, and E3 have changed, the result of the quality determination of the first object itself is determined to be non-defective. In other words, the circuit element E is an object with variations in position, etc. in non-defective products. On the other hand, even if the substrate B is a good product, the variations in position etc. are so small that they can be ignored.
  • the visual inspection system 101 determines the quality of the board B based on the target image of the product P.
  • Foreign matter FM may adhere to the substrate B, for example, as on the substrate B2.
  • the board B2 to which the foreign matter FM has adhered is a defective product.
  • the visual inspection system 101 needs to determine the quality of the substrates B1, B2, and B3 under the conditions that the circuit elements E1, E2, and E3 are included in the target images of the products P1, P2, and P3, respectively.
  • the variation in position etc. is large for the circuit element E and small for the substrate B.
  • the quality of the board B for example, when extracting the feature amount from the entire target image including other members whose positions etc. vary, the contribution to the feature amount due to the presence of the foreign object FM is due to the contribution of other members whose positions etc. vary. It becomes smaller due to the influence of the members. As a result of the feature amount due to the foreign object FM becoming relatively small, the foreign object FM becomes difficult to be detected in the entire image.
  • the visual inspection system 101 identifies, in the target image of the inspection object, a first area that corresponds to the circuit element E and the circuit element L and whose position etc. change even if it is a non-defective item, and a second area that corresponds to the board B. .
  • the appearance inspection system 101 determines whether or not the substrate B is a non-defective product based on the feature amounts of pixels included in the second region of the target image. Details of the pass/fail determination will be described later.
  • the visual inspection system 101 includes a storage section 201, a communication section 202, a display section 203, an imaging section 204, and a control section 205.
  • the visual inspection system 101 may be realized by one device, or may be realized by a plurality of devices having the functions of each part.
  • the imaging unit 204 does not need to be implemented as a device that also includes other parts.
  • the visual inspection system 101 can be implemented to include an imaging device that implements the imaging section 204 and an information processing device that has functions other than the imaging section 204.
  • the visual inspection system 101 may be realized by a general-purpose desktop PC (Personal Computer), a tablet PC, or the like, in addition to an information processing device designed exclusively for the provided service.
  • the storage unit 201 is, for example, an auxiliary storage device such as a hard disk drive or a solid state drive, and stores programs executed for processing by the control unit 205 and various information used in the visual inspection system 101.
  • the program can be stored in an auxiliary storage device.
  • the auxiliary storage device storing the program may be, but is not particularly limited to, a non-transitory computer readable medium such as a USB memory.
  • the communication unit 202 is configured, for example, as an information processing unit that connects the visual inspection system 101 to other systems or information processing devices connected through a network and exchanges data.
  • the communication unit 202 is, for example, a wired LAN (Local Area Network) module, a wireless LAN module, or the like, and is an interface for wired or wireless communication via a network.
  • the communication unit 202 can transmit, for example, the determination result of the target object to another system or information processing device under the control of the control unit 205.
  • the display unit 203 is, for example, a device for outputting, such as a display or a speaker.
  • the imaging unit 204 is, for example, an imaging device having an imaging element such as a CMOS (Complementary MOS) or a CCD (Charge Coupled Device).
  • the imaging unit 204 acquires an image of the product P under the control of the control unit 205.
  • the control unit 205 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc., and controls each component according to information processing.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the area specifying unit 2051 acquires the target image of the inspection target imaged by the imaging unit 204, and in the target image, first areas corresponding to circuit elements E and L (first target object) whose positions etc. change; A second region corresponding to a member (second object) other than the circuit elements E and L is specified.
  • the region specifying unit 2051 performs, for example, semantic segmentation or instance segmentation to specify the first region and the second region.
  • the feature amount extraction unit 2052 extracts the feature amount of the second area based on the target image captured by the imaging unit 204 and the second area specified by the area identification unit 2051.
  • the feature amount of the second region is, for example, the basic statistical amount of the parameter of the pixel included in the second region.
  • the pixel parameters are, for example, the RGB values of the pixel, the brightness calculated based on the RGB values, the HSV value, and the HLS value.
  • the basic statistics are, for example, statistics such as an average value, maximum value, minimum value, median value, and mode.
  • the basic statistics extracted as features by the feature extraction unit 2052 do not need to be scalar values having one type of basic statistics, and may be extracted as vectors having multiple basic statistics, for example.
  • the feature amount of the second region may be a histogram (frequency distribution) of parameters of pixels included in the second region.
  • a histogram as a feature quantity, for example, the horizontal axis is the R (Red) value among RGB values, and the vertical axis is the ratio of pixels having a certain R value to the pixels included in the second area. I can do it.
  • the feature amount of the second region is a basic statistic amount and the case where it is a histogram will be described later.
  • the output unit 2053 outputs a determination result indicating whether components other than the circuit elements E and L (second object) are non-defective products based on the feature amount of the second region extracted by the feature amount extraction unit 2052. do.
  • the output unit 2053 outputs a determination result using the learning model 2054.
  • the learning model 2054 is shown in FIG. 2 in association with the output unit 2053, it may be stored in the storage unit 201, for example. Further, the learning model 2054 may be stored in another information processing device connected to the visual inspection system 101 through a network.
  • the learning model 2054 inputs pixel information generated based on pixels included in the second region when the second object is a non-defective item, and generates information (judgment result) indicating that the second object is a non-defective item. is learned to output.
  • the pixel information is, for example, the feature amount of the second region extracted by the feature amount extraction unit 2052.
  • the output unit 2053 inputs the feature amount of the second region extracted by the feature amount extraction unit 2052 based on the target image to the learning model 2054, and obtains the determination result of the second target object from the learning model 2054.
  • the output unit 2053 outputs the acquired determination result so that it is stored in the storage unit 201, for example.
  • the preprocessing unit 2055 performs preprocessing on the image acquired by the imaging unit 204. Any method can be used for pretreatment.
  • the preprocessing may be, for example, an image transformation process using filtering image processing such as edge extraction processing, edge enhancement processing, or Gaussian blurring processing.
  • the preprocessing may be image conversion processing using color conversion image processing such as HSV conversion or HLS conversion.
  • the feature amount extraction unit 2052 may extract the feature amount of the second region based on the image after the conversion process by the preprocessing unit 2055.
  • the preprocessing unit 2055 may convert the image into a feature map using a CNN (Convolutional Neural Networks) that is pre-trained using the data set. Specifically, VGGnet, ResNet, etc., which are pre-trained using ImageNet, can be used as the CNN.
  • CNN Convolutional Neural Networks
  • FIG. 3 shows an example of the target image IG1.
  • the target image IG1 is an image obtained when the image capturing unit 204 captures an image of the product P1 arranged in a plane on a table T for inspection from a direction perpendicular to the table T.
  • the target image IG1 includes a product P1 and a table T having circuit elements E1, L1, and a board B1. Further, on the board B1, characters TX1 such as "R001" are printed as an example of the model number of the board.
  • FIG. 4 shows an example of a target image IG2 captured from the same viewpoint as in FIG. 3.
  • the target image IG2 includes a product P1 and a table T having circuit elements E2 and L2 and a board B2. Furthermore, characters TX2 such as "R001" are printed on the board B2 as an example of the model number of the board. Furthermore, foreign matter FM is attached to the substrate B2.
  • the quality determination of the board B by the visual inspection system 101 will be described.
  • the quality determination based on the target image IG1 in FIG. 3 and the quality determination based on the target image IG2 in FIG. 4 will be described.
  • FIG. 5 shows a flowchart as an example of processing by the visual inspection system 101.
  • the area specifying unit 2051 acquires a target image of the inspection object from the imaging unit 204.
  • An example of the acquired target image IG2 is shown in FIG. 6(a) and FIG. 7(a).
  • FIG. 6 is an example where the area specifying unit 2051 performs semantic segmentation
  • FIG. 7 is an example where the area specifying unit 2051 performs instance segmentation.
  • the area identifying unit 2051 identifies a second area corresponding to the second object in the target image, and outputs it to the feature extracting unit 2052.
  • FIG. 6B an example in which the circuit elements E2 and L2 are classified into the area A1 and the board B2 and the table T are classified into the area A2 by semantic segmentation is shown as an image IG21.
  • FIG. 7B by instance segmentation, a part of the circuit element E2 is classified into the area A3, the remaining part of the circuit element E2 is classified into the area A4, and the circuit element L2 is classified into the area A5. An example of this is shown as image IG23. Further, the substrate B2 and the table T are classified into the area A6.
  • the second area output in step A2 is area A2 in the case of FIG. 6(b), and area A6 in the case of FIG. 7(b).
  • Examples of the second area output in step A2 are shown as images IG22 in FIGS. 6(c) and 7(c), respectively. Regardless of whether the semantic segmentation in FIG. 6 or the instance segmentation in FIG. 7 is used, the resulting image is the same image IG22. Note that although images are shown here for explanation, the information indicating the second area does not necessarily have to be the images shown in FIGS. 6 and 7, but information indicating the pixels of the second area and the parameters of the pixels It is enough as long as it is.
  • step A3 the feature extraction unit 2052 acquires the target image from the imaging unit 204. At this time, the feature extraction unit 2052 may acquire the target image stored in the storage unit 201.
  • step A4 the feature amount extraction unit 2052 extracts the feature amount of the second target object (board and table) based on the second region and the target image. Details of feature extraction will be described later.
  • step A5 the output unit 2053 acquires a determination result indicating whether the second target object is a non-defective product based on the feature amount of the second target object, and outputs it to the display unit 203, for example.
  • the learning model 2054 is trained using the reference image IG0 when the second target object (board B) is a non-defective product.
  • the reference image IG0 includes the circuit element E0 at the reference position, the board B0, and the characters TX0 printed on the board B0.
  • parameters RGB values, brightness, HSV values, HSL values
  • Second pixel information generated based on the parameters of each pixel to be classified is used.
  • the learning model 2054 receives the second pixel information generated based on the reference image IG0 and is trained to output information indicating that the determination result is a non-defective product.
  • the learning model 2054 is trained as described above and performs quality determination using the image IG12 from which the second region of the target image IG1 is extracted and the image IG22 from which the second region of the target image IG2 is extracted.
  • step Y1 the feature amount extraction unit 2052 extracts the feature amount of the second object from the image IG12 as first pixel information, and the output unit 2053 inputs the first pixel information to the learning model 2054.
  • step Y2 the output unit 2053 obtains the determination result determined by the learning model 2054. In the image IG12, there is no foreign matter on the board B1, so the determination result is that it is a good product.
  • step Y3 the feature amount extraction unit 2052 extracts the feature amount of the second object from the image IG22 as first pixel information, and the output unit 2053 inputs the first pixel information to the learning model 2054.
  • step Y4 the output unit 2053 obtains the determination result determined by the learning model 2054. In image IG22, since there is a foreign substance on board B2, the determination result is that the product is defective.
  • a determination method of the learning model 2054 according to the first pixel information input to the learning model 2054 will be described with reference to FIGS. 9 to 12.
  • FIG. 9 shows a flowchart of the processing of the visual inspection system 101 when the basic statistics of pixel parameters are used as feature quantities. At this time, it is assumed that the learning model 2054 has been trained as described above using basic statistics as feature quantities.
  • step S901 the feature extracting unit 2052 obtains parameters of pixels classified into the second region based on the second region specified by the area specifying unit 2051 and the target image captured by the imaging unit 204.
  • step S902 the feature extraction unit 2052 generates first pixel information based on the basic statistics of the obtained parameters.
  • step S903 the output unit 2053 inputs the first pixel information to the learning model 2054.
  • step S904 the output unit 2053 obtains the determination result from the learning model 2054.
  • step S905 the output unit 2053 outputs the determination result to, for example, the display unit 203 or the storage unit 201.
  • the learning model 2054 outputs a determination result based on, for example, the difference between the distribution of feature amounts (basic statistics) in the case of a non-defective product and the input feature amount. For example, the learning model 2054 determines that the product is non-defective if the feature quantity input to the distribution function that approximates the distribution of the feature quantities of a non-defective product is located within a predetermined confidence interval, and otherwise determines it to be a defective product. It is learned to judge. In addition, the learning model 2054 uses, for example, a Gaussian mixture model (GMM) to determine whether the input feature is included in the distribution range of the feature of a non-defective product, and the product is non-defective.
  • GMM Gaussian mixture model
  • the product is trained to be judged as a good product. Furthermore, the learning model 2054 uses the k-nearest neighbor method to determine that if the input feature amount is within a predetermined distance from the feature amount of a non-defective product, it is determined to be a good product, and if not, it is determined to be a defective product. You can also do this.
  • FIG. 10 shows an example of pass/fail determination using the k-nearest neighbor method.
  • feature amounts are classified by two parameters, the x1 axis and the x2 axis.
  • the feature amount F1 is close in distance to the feature amount based on the non-defective image.
  • the second object included in the target image having the feature amount F1 is a non-defective item. It is determined that On the other hand, the feature amount F2 is far away from the feature amount based on the non-defective image.
  • the second object included in the target image having the feature amount F2 is defective. It is determined that the product is of good quality.
  • FIG. 10 shows a flowchart of the processing of the visual inspection system 101 when distribution information (histogram) indicating the distribution of pixel parameters is used as the feature quantity.
  • distribution information hoverogram
  • the learning model 2054 has been trained as described above using the histogram as a feature quantity.
  • step S1001 the feature extracting unit 2052 obtains parameters of pixels classified into the second region based on the second region specified by the area specifying unit 2051 and the target image captured by the imaging unit 204.
  • step S1002 the feature extraction unit 2052 generates first pixel information as distribution information based on the distribution of the obtained parameters.
  • step S1003 the output unit 2053 inputs the first pixel information to the learning model 2054.
  • step S1004 the output unit 2053 obtains the determination result from the learning model 2054.
  • step S1005 the output unit 2053 outputs the determination result to, for example, the display unit 203 or the storage unit 201.
  • the learning model 2054 is trained such that, for example, the distribution of predetermined parameters in pixels of an image of a non-defective product is input as a feature amount, and the output is a determination result.
  • the learning model 2054 is trained using a histogram as a feature amount, which indicates the ratio of each value to the number of pixels classified into the second region for a certain parameter. More specifically, as schematically shown in FIG. 12(b), the learning model 2054 prepares multiple distributions of good products shown by histograms, and performs principal component analysis on the multiple distributions. be learned. In the principal component analysis result shown in FIG. 12(b), each point corresponds to one histogram.
  • the learning model 2054 outputs a determination result according to the reconstruction error RE of the input feature amount F4 for the principal component determined by the principal component analysis. For example, the learning model 2054 determines that the product is non-defective if the reconstruction error RE is less than or equal to a predetermined threshold, and otherwise determines the product to be defective.
  • pixel PX2 in image IG22 shown in FIG. 12(c) corresponds to element HG1 in the histogram in FIG. 12(d).
  • the reconstruction error for the histogram in FIG. 12(d) is greater than or equal to a predetermined threshold.
  • the learning model 2054 outputs a determination result that the second object in the image IG22 is a defective product.
  • the learning model 2054 may output information about the pixel that caused the reconstruction error.
  • the learning model 2054 generates a distribution when reconstruction errors are eliminated. This is, for example, the distribution shown in FIG. 12(a).
  • the learning model 2054 calculates the difference between the error-free distribution in FIG. 12(a) and the original distribution in FIG. 12(d).
  • elements corresponding to pixels that exist in the distribution of FIG. 12(d) but not in the distribution of FIG. 12(a) are specified.
  • the learning model 2054 can specify that the pixel PX2 corresponding to the element HG1 is a defective pixel, that is, a pixel in which the foreign substance FM is present.
  • the learning model 2054 outputs information on the pixels identified in this way. Thereby, in the determination result, the image can be displayed while emphasizing the position where the foreign object is located, and the visibility of the determination result is improved. In addition, by generating the distribution based on the proportion of the number of pixels classified into the second area, the influence of fluctuations in the number of pixels in the second area that would occur when an area other than the first area is set as the second area can be reduced. Can be made smaller.
  • the appearance inspection system 101 can also be used to inspect characters printed on the board B.
  • FIG. 13 shows an example in which characters TX3 are printed as "R002" on the substrate B2.
  • the character that should originally be printed is "R001", but due to a printing error, the character TX3 is printed.
  • the visual inspection system 101 can determine not only foreign matter FM on the board B2 but also printing errors and determine whether the board B is good or bad by the above-described method.
  • the overall process of the visual inspection system 101 will be described with reference to FIG. 14.
  • a case will be described in which, in addition to the quality determination of the board (second target object), the quality determination of the circuit element (first target object) is performed.
  • step B1 the area specifying unit 2051 acquires a target image of the inspection object from the imaging unit 204.
  • step B2 the area specifying unit 2051 specifies a second area corresponding to the second object in the target image, and outputs it to the feature extraction unit 2052.
  • steps B1 and B2 is similar to the processing in steps A1 and A2 described above.
  • step B3 the preprocessing unit 2055 acquires the target image from the imaging unit 204. At this time, the preprocessing unit 2055 may acquire the target image stored in the storage unit 201.
  • step B4 the preprocessing unit 2055 performs predetermined preprocessing on the target image and outputs a preprocessed image.
  • step B5 the feature amount extraction unit 2052 extracts the feature amount of the second target object based on the second region and the preprocessed target image.
  • step B6 the output unit 2053 acquires a determination result indicating whether the second target object is a non-defective product based on the feature amount of the second target object, and outputs it to the display unit 203, for example.
  • step C2 the area identifying unit 2051 identifies a first area corresponding to the first object in the target image, and outputs it to the feature extracting unit 2052.
  • the process in step C2 is similar to the process in step A2 described above.
  • step C3 the preprocessing unit 2055 acquires the target image from the imaging unit 204. At this time, the preprocessing unit 2055 may acquire the target image stored in the storage unit 201.
  • step C4 the preprocessing unit 2055 performs predetermined preprocessing on the target image and outputs a preprocessed image.
  • the preprocessing unit 2055 can perform preprocessing suitable for the first object, and the method may be different from the method in step B4.
  • step C5 the feature amount extraction unit 2052 extracts the feature amount of the first target object based on the first region and the preprocessed target image. At this time, the feature extraction unit 2052 can extract a feature suitable for the first object, and the method may be different from the method in step B5.
  • the feature amount extraction unit 2052 can extract the feature amount using only the segmented image IG22.
  • the feature amounts in this case include, for example, the area, circumference, and position of the center of gravity of the component.
  • the feature amount extraction unit 2052 may perform skeleton processing on the image IG22 and use the dimensions of the skeleton as the feature amount. Further, the feature amount extracting unit 2052 may obtain a bounding box of the first object, and may use the size, area, and center position of the adjacent rectangle as the feature amount. Note that since the position and shape of the first object change, the number of pixels of the first object changes. A method similar to the method for the second object described above can be selected as the method for extracting the feature amount from the changing number of pixels.
  • step C6 the output unit 2053 acquires a determination result indicating whether or not the second object is a non-defective item based on the feature amount of the second object, and outputs it to the display unit 203, for example.
  • the output unit 2053 can use a determination method suitable for the first object, and the method may be different from the method in step B6.
  • the output unit 2053 can perform a determination using a rule-based determination method or a learning model.
  • the visual inspection system 101 may determine the quality of the first object in addition to determining the quality of the second object.
  • FIG. 15 shows a block diagram of a visual inspection system 101A according to the second embodiment.
  • the visual inspection system 101A differs from the visual inspection system 101 in that it includes a converter 1501, but is common in other respects.
  • the conversion unit 1501 converts the first area into the second area by replacing the parameters of the pixels in the first area identified by the area identification unit 2051 with the parameters (conversion parameters) of the pixels corresponding to the second object. I do.
  • the conversion unit 1501 can use an image repair method based on a probabilistic model or a conversion method using deep learning. When converting a first region including a plurality of pixels, the conversion unit 1501 may separately replace parameters for each pixel with a plurality of conversion parameters. Alternatively, the conversion unit 1501 may replace the parameters of the first region including multiple pixels with one conversion parameter. Further, the conversion unit 1501 may replace parameters of pixels included in at least a portion of the first area.
  • FIG. 16 shows a flowchart as an example of processing by the visual inspection system 101.
  • the area specifying unit 2051 acquires a target image of the inspection object from the imaging unit 204.
  • An example of the acquired target image IG2 is shown in FIG. 17(a).
  • FIG. 17 is an example in which the area specifying unit 2051 performs semantic segmentation.
  • step D2 the area specifying unit 2051 specifies a first area corresponding to the first target object and a second area corresponding to the second target object in the target image, and outputs them to the converting unit 1501.
  • FIG. 17B an example in which the circuit elements E2 and L2 are classified into the area A1 and the board B2 and the table T are classified into the area A2 by semantic segmentation is shown as an image IG21.
  • the first area output in step D2 is area A1, and the second area is area A2.
  • step D3 the conversion unit 1501 acquires a target image from the imaging unit 204.
  • the feature extraction unit 2052 may acquire the target image stored in the storage unit 201.
  • step D4 the conversion unit 1501 converts the first area of the target image into the second area by replacing the parameters of the pixels in the first area with the parameters of the pixels corresponding to the second target object.
  • the converted target image is output to the output unit 2053.
  • An example of the converted target image is shown as image IG24 in FIG. 17(c).
  • image IG24 area A3 corresponding to circuit elements E2 and L2 (first object) is replaced with area A4, and at the same time, parameters of the corresponding pixels are also replaced with parameters of pixels corresponding to substrate B2 (second object). It is being
  • step D5 the output unit 2053 obtains a determination result indicating whether or not the second target object is a non-defective product based on the converted target image, and outputs it to the display unit 203, for example.
  • FIG. 17 shows a flowchart of processing by the output unit 2053 when the first area is converted.
  • step S1801 the output unit 2053 obtains the converted target image from the conversion unit 1501.
  • step S1802 the output unit 2053 inputs the converted target image to the learning model 2054.
  • step S1803 the output unit 2053 obtains the determination result from the learning model 2054.
  • step S1804 the output unit 2053 outputs the determination result to, for example, the display unit 203 or the storage unit 201.
  • the learning model 2054 is trained using a reference image when the second object (substrate B) is a good product.
  • the reference image used here is an image of a product having a first object and a second object in the case of a non-defective product, in which a first area corresponding to the first object is in a second area corresponding to a second object. This is the converted image.
  • the learning model 2054 receives the reference image as input and is trained to output a determination result indicating that the product is a non-defective product.
  • the learning model 2054 is, for example, a model that performs principal component analysis of an image and makes a quality determination using an image reconstruction method.
  • the learning model 2054 can output information about pixels corresponding to foreign object positions, that is, pixels whose reconstruction error during reconstruction exceeds a threshold value. This makes it possible to visualize the foreign object position in addition to the determination result.
  • the parameters of the foreign object among the second objects are the same as those of other second objects, it is difficult to visualize the foreign object even if it is detected. This is because, although pixels in which a foreign object may exist are identified, pixels of other second objects having the same parameters as the foreign object are also identified.
  • the method of the first embodiment is suitable in a case where the position of the elements constituting the second object changes. Note that the method of the first embodiment and the method of the second embodiment can be combined as appropriate.
  • the area specifying unit performs semantic segmentation on the target image to specify the first area and the second area.
  • the area specifying unit performs instance segmentation on the target image to specify the first area and the second area.
  • a conversion unit (1501) that replaces parameters of pixels included in at least a portion of the first region with predetermined conversion parameters in the target image, and converts at least a portion of the first region into the second region;
  • An appearance inspection system further comprising: [Additional note 6] The visual inspection system, wherein the predetermined conversion parameter is a parameter of a pixel corresponding to the second object.
  • the feature amount extraction unit extracts first pixel information generated based on pixels included in the second region as the feature amount
  • the output unit includes second pixel information generated based on pixels included in the second area when the second object is a non-defective item and the determination result indicating that the second object is a non-defective item.
  • a visual inspection system that inputs the first pixel information to a learning model (2054) that has been trained using a set of , and outputs the determination result.
  • the computer is Based on the target image (IG1, IG2) in which the inspection target (P) consisting of the first target object (E, L) and the second target object (B) is imaged, the target corresponding to the first target object identifying a first area (A1, A3, A4, A5) of the image, and identifying a second area (A2, A6) from which the first area is removed from the target image; extracting a feature amount of the second region based on the target image and the second region; outputting a determination result indicating whether the second object is a good product based on the feature amount; Appearance inspection methods, including: [Additional note 9] The computer causes the inspection object (P) consisting of the first object (E, L) and the second object (B) to correspond to the first object based on the captured object images (IG1, IG2).

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

良品であっても部材の位置等が変動する検査対象物に対して、当該変動する部材以外の部分における異常を検知することが可能な外観検査システムを提供する。外観検査システムは、第１対象物と第２対象物からなる検査対象物が撮像された対象画像に基づいて、第１対象物に対応する対象画像の第１領域を特定し、対象画像から第１領域が除かれた第２領域を特定する領域特定部と、対象画像と第２領域とに基づいて、第２領域の特徴量を抽出する特徴量抽出部と、特徴量に基づいて、第２対象物が良品であるか否かを示す判定結果を出力する出力部と、を備える。

Description

外観検査システム、外観検査方法、及びプログラム
　本発明は、外観検査システム、外観検査方法、及びプログラムに関する。
　製品の品質管理において、製品が良品であるか不良品であるかを、製品の外観から検査する外観検査が行われる。外観検査には、対象物を撮影し、対象物の画像をコンピュータによって画像処理することで、検査を行う手法がある。外観検査は、様々な製品に対して行われる。
　外観検査は、一例として、特許文献１に記載のように電子基板上の部材に対して行われることがある。特許文献１では、基板上に塗布された半田上の異物を判定することが、その手直しのために重要であることから、基板の画像データにおいて、半田が塗布された領域を特定し、当該領域上の異物を判定する異物検査方法が示される。
特開２０１４－２２８２７４号公報
　外観検査の検査対象には、複数の部材を有する製品であり、良品と判定される場合であったとしても、ある部材については位置、形状、又は面積等のばらつきの許容範囲が広い製品がある。このような製品の外観検査において、許容範囲が広い部材に合わせて良品の判定基準を設けると、他の部材において異物等の異常がある場合であっても、全体の判定基準が緩やかであるため、製品は全体として良品と判断される。この場合、他の部材における異物等の検出が難しくなる。
　本開示は、一側面では、このような実情を鑑みてなされたものであり、その目的は、良品であっても部材の位置等が変動する検査対象物に対して、当該変動する部材以外の部分における異常を検知することが可能な外観検査システム、外観検査方法、及びプログラムを提供することである。
　本開示は、上述した課題を解決するために、以下の構成を採用する。
　本開示の一側面に係る外観検査システムは、第１対象物と第２対象物からなる検査対象物が撮像された対象画像に基づいて、第１対象物に対応する対象画像の第１領域を特定し、対象画像から第１領域が除かれた第２領域を特定する領域特定部と、対象画像と第２領域とに基づいて、第２領域の特徴量を抽出する特徴量抽出部と、特徴量に基づいて、第２対象物が良品であるか否かを示す判定結果を出力する出力部と、を備える。
　上記構成では、検査対象物の対象画像において、第１対象物に対応する第１領域と対象画像から第１領域が除かれた第２領域とが特定され、第２領域の特徴量に基づいて、第２領域にある第２対象物が良品であるか否かが判定される。
　上記構成では第２対象物の良否判定において、第２領域を直接特定するのではなく、第１領域を特定し、第１領域以外の領域として第２領域を特定している。このように構成された外観検査システムでは、良品画像において第１対象物の位置、面積、又は形状等が変化する場合であっても、第２領域を適切に特定できるので、第１対象物の位置等の変化による影響を抑えつつ、第２対象物の検査を行うことができる。
　なお、第２対象物の検査のために第２領域を直接特定することも考えられる。しかし、第２領域を直接特定しようとすることは難しい。なぜなら、第２対象物が異物等の異常の検査対象であり、第２領域を直接特定するには、第２対象物に偶発的に生じる異常をも含めて第２領域を特定する必要があるからである。
　第２領域が第１領域以外の領域として特定されることで、第１対象物の位置等が変化する場合であっても、第２領域を適切に特定した上で、第２対象物の検査が可能となる。これにより、良品であっても部材の位置等が変動する検査対象物に対して、当該変動する部材以外の部分における異常を検知することが可能となる。
　上記一側面に係る外観検査システムにおいて、特徴量抽出部は、対象画像と第１領域とに基づいて、第１領域の特徴量を抽出し、出力部は、第１領域の特徴量に基づいて、第１対象物が良品であるか否かを示す判定結果を出力してもよい。
　当該構成によれば、第２対象物の外観検査に加えて、第１対象物の良否を判定することが可能となる。これにより、良品における対象物の位置等のばらつきが大きい製品に対して、他の対象物における異常を検知することを可能としつつ、位置等のばらつきが大きい製品の良否の判定をまとめて行うことが可能となる。
　上記一側面に係る外観検査システムにおいて、領域特定部は、対象画像に対してセマンティックセグメンテーションを行い、第１領域及び第２領域を特定してもよい。当該構成によれば、例えば、第１対象物を前景とし、第２対象物を背景とするセマンティックセグメンテーションを行うことで、第１領域の特定及び第２領域の特定が可能となる。
　上記一側面に係る外観検査システムにおいて、領域特定部は、対象画像に対してインスタンスセグメンテーションを行い、第１領域及び第２領域を特定してもよい。当該構成によれば、第１対象物に対応する分類がされたインスタンスを第１領域とし、残りのインスタンスを第２領域とすることで、第１領域の特定及び第２領域の特定が可能となる。
　上記一側面に係る外観検査システムは、対象画像において、第１領域の少なくとも一部に含まれる画素のパラメータを、所定の変換パラメータによって置き換えるとともに、第１領域の少なくとも一部を第２領域に変換する変換部、をさらに備えてもよい。
　当該構成によれば、第１領域の少なくとも一部の画素は、所定の変換パラメータによって置き換えられる。例えば、第１対象物の位置等が変化することにより、第１領域は製品ごとに変化し、結果として第２領域も製品ごとに変化する。この場合、第２対象物の良否判定は、第２領域の変化に対応可能に行われなければならない。しかし、第１領域を第２領域に変換することで、判定部が判定する判定対象の画素数を製品ごとに揃えることが可能となる。これにより、判定部は、例えば基準画像と判定対象の画像とを比較し、第２対象物の良否を判定することができる。画像間での比較が可能になることで、例えば、差分が生じた位置の特定が容易になり、判定結果に基づく、異常が生じた箇所の可視化が容易になる。
　上記一側面に係る外観検査システムにおいて、所定の変換パラメータは、第２対象物に対応する画素のパラメータであってもよい。当該構成によれば、基準とする第２対象物の画像と対象画像はともに第２対象物に基づく画素のパラメータを有するようにできる。これにより、例えば第１領域の画素のパラメータを第２対象物とは関係の低いパラメータで変換するような場合に比べて、判定の精度を高くすることができる。
　上記一側面に係る外観検査システムにおいて、特徴量抽出部は、第２領域に含まれる画素に基づいて生成された第１画素情報を特徴量として抽出し、出力部は、第２対象物が良品である場合の第２領域に含まれる画素に基づいて生成された第２画素情報と第２対象物が良品であることを示す判定結果との組を教師データとして学習された学習モデルに、第１画素情報を入力し、判定結果を出力してもよい。
　当該構成によれば、第２領域に含まれる画素に基づいて特徴量が抽出される。当該構成では、画素に基づいて特徴量が抽出され、特徴量を用いて学習モデルによる良否判定が行われる。これにより、第１対象物の位置等の変化により第２領域の画素数が変化する場合であっても、画素数の変化の影響を抑えることができる。
　また、本開示の一側面に係る外観検査方法は、第１対象物と第２対象物からなる検査対象物が撮像された対象画像に基づいて、第１対象物に対応する対象画像の第１領域を特定し、対象画像から第１領域が除かれた第２領域を特定することと、対象画像と第２領域とに基づいて、第２領域の特徴量を抽出することと、特徴量に基づいて、第２対象物が良品であるか否かを示す判定結果を出力することと、を含む。
　また、本開示の一側面に係るプログラムは、コンピュータに、第１対象物と第２対象物からなる検査対象物が撮像された対象画像に基づいて、第１対象物に対応する対象画像の第１領域を特定し、対象画像から第１領域が除かれた第２領域を特定する処理と、対象画像と第２領域とに基づいて、第２領域の特徴量を抽出する処理と、特徴量に基づいて、第２対象物が良品であるか否かを示す判定結果を出力する処理と、を実行させる。
　本発明によれば、良品であっても部材の位置等が変動する検査対象物に対して、当該変動する部材以外の部分における異常を検知することが可能な外観検査システム、外観検査方法、及びプログラムを提供することができる。
第１実施形態に係る外観検査システムが利用される様子を模式的に示す図である。 第１実施形態に係る外観検査システムのブロック図である。 第１実施形態に係る対象画像の一例を示す図である。 第１実施形態に係る対象画像の他の一例を示す図である。 第１実施形態に係る外観検査システムの処理の概略を示す図である。 第１実施形態に係る第１領域及び第２領域の特定の例を示す図である。 第１実施形態に係る第１領域及び第２領域の特定の他の例を示す図である。 第１実施形態に係る判定結果の出力処理を説明する図である。 第１実施形態に係る外観検査システムの処理の一例を説明するフローチャートである。 第１実施形態に係る判定結果の出力処理におけるモデルの一例を説明する図である。 第１実施形態に係る外観検査システムの処理の他の一例を説明するフローチャートである。 第１実施形態に係る判定結果の出力処理におけるモデルの一例を説明する図である。 第１実施形態に係る対象画像の他の一例を示す図である。 第１実施形態に係る外観検査システムの処理の全体の一例を示す図である。 第２実施形態に係る外観検査システムのブロック図である。 第２実施形態に係る外観検査システムの処理の概略を示す図である。 第２実施形態に係る第１領域及び第２領域の特定及び第１領域の変換の例を示す図である。 第２実施形態に係る外観検査システムの処理の一例を説明するフローチャートである。
　以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。以下、添付図面を参照して説明する。
  なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
　［第１実施形態］
　第１実施形態について説明する。図１には、第１実施形態に係る外観検査システム１０１及び外観検査システム１０１による製品Ｐ１，Ｐ２，Ｐ３の検査の様子が模式的に示される。
　外観検査システム１０１は、例えば、製品Ｐ１，Ｐ２，Ｐ３が矢印Ｄにそって移動するような製造ラインに設けられる。ここでは、一例として、基板Ｂ１に回路要素Ｅ１及び回路要素Ｌ１が設けられる製品Ｐ１、基板Ｂ２に回路要素Ｅ２及び回路要素Ｌ２が設けられる製品Ｐ２、及び基板Ｂ１に回路要素Ｅ１及び回路要素Ｌ１が設けられる製品Ｐ３が示される。製品Ｐ１，Ｐ２，Ｐ３は本開示の「検査対象物」に相当する。回路要素Ｅ１，Ｅ２，Ｅ３及び回路要素Ｌ１，Ｌ２，Ｌ３は本開示の「第１対象物」に相当し、基板Ｂ１，Ｂ２，Ｂ３は本開示の「第２対象物」に相当する。なお、「第２対象物」には製品Ｐが配置される検査用のテーブル（不図示）が含まれてもよい。つまり、「第２対象物」とは、対象画像に含まれる物体のうち、「第１対象物」以外の物体であればよい。
　以降、区別の必要がない場合は、製品Ｐ１，Ｐ２，Ｐ３、回路要素Ｅ１，Ｅ２，Ｅ３、回路要素Ｌ１，Ｌ２，Ｌ３、及び基板Ｂ１，Ｂ２，Ｂ３をそれぞれ、製品Ｐ、回路要素Ｅ，回路要素Ｌ、及び基板Ｂとよぶ。
　外観検査システム１０１は、撮像装置によって各製品を撮影し、検査対象である製品の対象画像を取得する。外観検査システム１０１は、対象画像に対して画像処理を行い、基板Ｂが良品であるか否かを判定する。なお、外観検査システム１０１は、回路要素Ｅ及び回路要素Ｌの少なくとも一方が良品であるか否かを判定してもよい。また、外観検査システム１０１は、回路要素Ｅや回路要素Ｌ等の第１対象物が対象画像に含まれるならば、第１対象物は良品であると判定してもよい。例えば、外観検査システム１０１は、回路要素Ｅが対象画像に含まれるならば、回路要素Ｅは良品であるというように判定できる。
　各製品において、回路要素Ｅは、基板Ｂに対して様々な姿勢を取り得る。ただし、図１のように、回路要素Ｅ１，Ｅ２，及びＥ３の姿勢が変化していたとしても、第１対象物自体の良否判定の結果は良品と判定される。つまり、回路要素Ｅは良品における位置等のばらつきがある対象物である。他方、基板Ｂは良品においても位置等のばらつきが無視できる程度に小さい。
　外観検査システム１０１は、製品Ｐの対象画像に基づいて基板Ｂの良否を判定する。基板Ｂには、例えば、基板Ｂ２におけるように、異物ＦＭが付着する場合がある。異物ＦＭが付着した基板Ｂ２は不良品である。
　外観検査システム１０１は、回路要素Ｅ１，Ｅ２，Ｅ３がそれぞれ、製品Ｐ１，Ｐ２，Ｐ３の対象画像に含まれる条件で基板Ｂ１，Ｂ２，Ｂ３の良否を判定する必要がある。良品の場合の位置等のばらつきは、回路要素Ｅは大きく、基板Ｂは小さい。基板Ｂの良否を判定するにあたり、位置等がばらつく他の部材を含む対象画像全体から、例えば、特徴量を抽出する場合、異物ＦＭがあることによる特徴量への寄与は、位置がばらつく他の部材の影響によって小さくなる。異物ＦＭによる特徴量が相対的に小さくなる結果として、異物ＦＭが画像全体において検出されにくくなる。
　外観検査システム１０１は、検査対象物の対象画像において、回路要素Ｅ及び回路要素Ｌ対応し、良品であっても位置等が変化する第１領域と基板Ｂに対応する第２領域とを特定する。外観検査システム１０１は、対象画像の第２領域に含まれる画素の特徴量に基づいて、基板Ｂが良品であるか否かを判定する。良否判定の詳細については後述する。
　図２を参照して、外観検査システム１０１の構成の一例について説明する。図２の例では、外観検査システム１０１は、記憶部２０１、通信部２０２、表示部２０３、撮像部２０４、及び制御部２０５を備える。
　外観検査システム１０１は、１つの装置によって実現されてもよく、あるいは各部の機能を有する複数の装置によって実現されてよい。例えば、外観検査システム１０１は、撮像部２０４を有するが、撮像部２０４は他の各部をも含む装置として実現されなくともよい。例えば、外観検査システム１０１は、撮像部２０４を実現する撮像装置と、撮像部２０４以外の機能を有する情報処理装置とを備えるように実現することができる。外観検査システム１０１は、提供されるサービス専用に設計された情報処理装置の他、汎用のデスクトップＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ等によって実現されてもよい。
　記憶部２０１は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部２０５による処理のために実行されるプログラムや、外観検査システム１０１で使用される各種の情報を記憶する。当該プログラムは、補助記憶装置に格納することができる。当該プログラムを格納した補助記憶装置は、特に限定されないが、ＵＳＢメモリ等のコンピュータ読み取り可能な非一時的な記憶媒体（Non-transitory computer readable medium）であってもよい。
　通信部２０２は、例えば、外観検査システム１０１とネットワークを通じて接続される他のシステム又は情報処理装置への接続及びデータ授受を行う情報処理ユニットとして構成されている。通信部２０２は、例えば、有線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。通信部２０２は、制御部２０５の制御に従って、他のシステム又は情報処理装置に、例えば、対象物の判定結果等を送信することができる。
　表示部２０３は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。
　撮像部２０４は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　ＭＯＳ）、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）等の撮像素子を有する撮像装置である。撮像部２０４は、制御部２０５の制御に従って、製品Ｐの画像を取得する。
　制御部２０５は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を含み、情報処理に応じて各構成要素の制御を行う。
　領域特定部２０５１は、撮像部２０４が撮像した検査対象物の対象画像を取得し、対象画像において、位置等が変化する回路要素Ｅ，Ｌ（第１対象物）に対応する第１領域と、回路要素Ｅ，Ｌ以外の部材（第２対象物）に対応する第２領域とを特定する。領域特定部２０５１は、例えば、セマンティックセグメンテーションや、インスタンスセグメンテーションを行い、第１領域及び第２領域を特定する。
　特徴量抽出部２０５２は、撮像部２０４が撮像した対象画像と、領域特定部２０５１が特定した第２領域とに基づいて、第２領域の特徴量を抽出する。
　第２領域の特徴量とは、例えば、第２領域に含まれる画素のパラメータの基本統計量である。ここで、画素のパラメータとは、例えば、画素のＲＧＢ値、ＲＧＢ値に基づいて算出される輝度、ＨＳＶ値、ＨＬＳ値である。基本統計量とは、例えば、平均値、最大値、最小値、中央値、最頻値等の統計量である。特徴量抽出部２０５２が特徴量として抽出する基本統計量は、１種の基本統計量を有するスカラー値である必要はなく、例えば、複数の基本統計量を有するベクトルとして抽出されてもよい。
　また、例えば、第２領域の特徴量とは、第２領域に含まれる画素のパラメータのヒストグラム（頻度分布）であってもよい。特徴量としてのヒストグラムでは、例えば、横軸をＲＧＢ値のうちＲ（Ｒｅｄ：赤）の値とし、縦軸をあるＲの値を有する画素が第２領域に含まれる画素に占める割合とすることができる。
　第２領域の特徴量が基本統計量である場合、及びヒストグラムである場合のそれぞれの詳細については後述する。
　出力部２０５３は、特徴量抽出部２０５２が抽出した第２領域の特徴量に基づいて、回路要素Ｅ，Ｌ以外の部材（第２対象物）が良品であるか否かを示す判定結果を出力する。
  出力部２０５３は、学習モデル２０５４を用いて判定結果を出力する。学習モデル２０５４は、図２では、出力部２０５３に関連付けて図示されているが、例えば記憶部２０１に記憶されてもよい。また、学習モデル２０５４は、外観検査システム１０１とネットワークを通じて接続された他の情報処理装置に記憶されてもよい。
　学習モデル２０５４は、第２対象物が良品である場合の第２領域に含まれる画素に基づいて生成された画素情報を入力とし、第２対象物が良品であることを示す情報（判定結果）を出力するように学習される。ここで、画素情報とは、例えば、特徴量抽出部２０５２が抽出した第２領域の特徴量である。
　出力部２０５３は、対象画像に基づいて特徴量抽出部２０５２が抽出した第２領域の特徴量を学習モデル２０５４に入力し、第２対象物の判定結果を学習モデル２０５４から取得する。出力部２０５３は、取得した判定結果を、例えば記憶部２０１に記憶されるように出力する。
　前処理部２０５５は、撮像部２０４が取得した画像に対して前処理を行う。前処理には任意の方法を用いることができる。前処理は、例えば、エッジ抽出処理、エッジ強調処理、又はガウシアンぼかし処理等のフィルタリング画像処理による画像変換処理であり得る。また、前処理は、ＨＳＶ変換やＨＬＳ変換などの色変換画像処理による画像変換処理であり得る。特徴量抽出部２０５２は、前処理部２０５５による変換処理後の画像に基づいて、第２領域の特徴量を抽出してもよい。また、前処理部２０５５は、データセットを用いて事前学習したＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ）により画像を特徴量マップに変換してもよい。ＣＮＮは、具体的にはＩｍａｇｅＮｅｔを用いて事前学習したＶＧＧｎｅｔや、ＲｅｓＮｅｔなどが使用できる。
　図３及び図４を参照して、対象画像、第１対象物、及び第２対象物の例について説明する。図３には、対象画像ＩＧ１が一例として示される。対象画像ＩＧ１は、検査用のテーブルＴに平面状に配置された製品Ｐ１を、撮像部２０４がテーブルＴに垂直な方向から撮像した場合の画像である。
　対象画像ＩＧ１には、回路要素Ｅ１，Ｌ１、及び基板Ｂ１を有する製品Ｐ１及びテーブルＴが含まれる。また、基板Ｂ１には、基板の型番などを示す一例として文字ＴＸ１が「Ｒ００１」のように印字されている。
　図４には、図３と同様の視点から撮像された対象画像ＩＧ２が一例として示される。対象画像ＩＧ２には、回路要素Ｅ２，Ｌ２、及び基板Ｂ２を有する製品Ｐ１及びテーブルＴが含まれる。また、基板Ｂ２には、基板の型番などを示す一例として文字ＴＸ２が「Ｒ００１」のように印字されている。また、基板Ｂ２には、異物ＦＭが付着している。
　図５から図８を参照して、外観検査システム１０１による基板Ｂの良否判定を説明する。ここでは、図３の対象画像ＩＧ１に基づく良否判定及び図４の対象画像ＩＧ２に基づく良否判定について説明する。
　図５には、外観検査システム１０１による処理の一例としてのフローチャートが示される。ステップＡ１において、領域特定部２０５１は、撮像部２０４から、検査対象物の対象画像を取得する。取得された対象画像ＩＧ２の一例が図６（ａ）及び図７（ａ）に示される。ここで、図６は、領域特定部２０５１がセマンティックセグメンテーションを行う場合の例であり、図７は、領域特定部２０５１がインスタンスセグメンテーションを行う場合の例である。
　ステップＡ２において、領域特定部２０５１は対象画像における第２対象物に対応する第２領域を特定し、特徴量抽出部２０５２に出力する。図６（ｂ）には、セマンティックセグメンテーションによって、回路要素Ｅ２，Ｌ２が領域Ａ１に分類され、基板Ｂ２及びテーブルＴが領域Ａ２に分類される例が、画像ＩＧ２１として示される。図７（ｂ）には、インスタンスセグメンテーションによって、回路要素Ｅ２が領域の一部が領域Ａ３に分類され、回路要素Ｅ２の残りの一部が領域Ａ４に分類され、回路要素Ｌ２が領域Ａ５に分類される例が、画像ＩＧ２３として示される。また、基板Ｂ２及びテーブルＴは領域Ａ６に分類される。
　ステップＡ２にて出力される第２領域は、図６（ｂ）の場合は領域Ａ２であり、図７（ｂ）の場合は領域Ａ６である。ステップＡ２にて出力される第２領域の例が、図６（ｃ）及び図７（ｃ）にそれぞれ、画像ＩＧ２２として示される。図６におけるセマンティックセグメンテーション及び図７におけるインスタンスセグメンテーションのいずれを用いる場合であっても、得られる画像は画像ＩＧ２２で共通である。なお、ここでは、説明のために画像を示しているが、第２領域を示す情報は必ずしも図６，７に示される画像である必要はなく、第２領域の画素及び画素のパラメータを示す情報でありさえすればよい。
　ステップＡ３において、特徴量抽出部２０５２は、撮像部２０４から対象画像を取得する。このとき、特徴量抽出部２０５２は記憶部２０１に記憶された対象画像を取得するようにしてもよい。
　ステップＡ４において、特徴量抽出部２０５２は、第２領域及び対象画像に基づいて、第２対象物（基板及びテーブル）の特徴量を抽出する。特徴量の抽出の詳細については後述する。
　ステップＡ５において、出力部２０５３は、第２対象物の特徴量に基づいて、第２対象物が良品であるか否かを示す判定結果を取得し、例えば、表示部２０３に出力する。
　図８を参照して、出力部２０５３による学習モデル２０５４を用いた判定結果の取得について説明する。なお、以降の説明では基板のみを示し、テーブルの図示は省略する。これは、例えば、制御部２０５が対象画像をクロップする処理を行うことによって、基板部分の画像を取り出すことに対応する。
　学習モデル２０５４は、第２対象物（基板Ｂ）が良品である場合の基準画像ＩＧ０を用いて学習される。基準画像ＩＧ０には、基準位置にある回路要素Ｅ０，基板Ｂ０，及び基板Ｂ０に印字された文字ＴＸ０が含まれる。
　学習における入力として、例えば、図８において模式的に示されるような基準画像ＩＧ０の画素ＰＸ０のパラメータ（ＲＧＢ値，輝度，ＨＳＶ値，ＨＳＬ値）のように、基準画像ＩＧ０において、第２領域に分類される各画素のパラメータに基づいて生成される第２画素情報が用いられる。
　学習モデル２０５４は、基準画像ＩＧ０に基づいて生成された第２画素情報を入力とし、判定結果が良品であることを示す情報を出力するように学習される。
　学習モデル２０５４は、上記のように学習され、対象画像ＩＧ１の第２領域が取り出された画像ＩＧ１２及び対象画像ＩＧ２の第２領域が取り出された画像ＩＧ２２を用いた良否判定を行う。
　ステップＹ１において、特徴量抽出部２０５２が、画像ＩＧ１２から、第２対象物の特徴量を第１画素情報として抽出し、出力部２０５３が学習モデル２０５４に第１画素情報を入力する。ステップＹ２において、学習モデル２０５４によって判定された判定結果を出力部２０５３が取得する。画像ＩＧ１２において、基板Ｂ１に異物はないので、判定結果は良品となる。
　ステップＹ３においては、特徴量抽出部２０５２が、画像ＩＧ２２から、第２対象物の特徴量を第１画素情報として抽出し、出力部２０５３が学習モデル２０５４に第１画素情報を入力する。ステップＹ４において、学習モデル２０５４によって判定された判定結果を出力部２０５３が取得する。画像ＩＧ２２においては、基板Ｂ２に異物があるため、判定結果は不良品となる。
　図９から図１２を参照して、学習モデル２０５４に入力する第１画素情報に応じた学習モデル２０５４の判定手法について説明する。
　図９には、画素のパラメータの基本統計量が特徴量として用いられる場合の、外観検査システム１０１の処理のフローチャートが示される。このとき、学習モデル２０５４は、基本統計量を特徴量として上述のように学習されているものとする。
　ステップＳ９０１において、特徴量抽出部２０５２は、第２領域に分類された画素のパラメータを、領域特定部２０５１が特定した第２領域及び撮像部２０４が撮像した対象画像に基づいて取得する。
　ステップＳ９０２において、特徴量抽出部２０５２は、取得されたパラメータの基本統計量に基づいて第１画素情報を生成する。
　ステップＳ９０３において、出力部２０５３は、学習モデル２０５４に第１画素情報を入力する。
　ステップＳ９０４において、出力部２０５３は、学習モデル２０５４から判定結果を取得する。
　ステップＳ９０５において、出力部２０５３は、判定結果を例えば表示部２０３や記憶部２０１に出力する。
　学習モデル２０５４は、例えば、良品の場合の特徴量（基本統計量）の分布と、入力された特徴量との差異に基づいて、判定結果を出力する。学習モデル２０５４は、例えば、良品の特徴量の分布を近似する分布関数に対して入力された特徴量が所定の信頼区間に位置している場合は良品と判定し、そうでない場合は不良品と判定するように学習される。
  また、学習モデル２０５４は、例えば、ガウス混合モデル（Ｇａｕｓｓｉａｎ　ｍｉｘｔｕｒｅ　ｍｏｄｅｌ：ＧＭＭ）を用いて、良品の特徴量の分布範囲に、入力された特徴量が含まれる場合は良品、含まれない場合は不良品と判定するように学習される。また、学習モデル２０５４は、ｋ近傍法を用いて、良品の特徴量に対して入力された特徴量が所定の距離内にある場合は良品と判定し、そうでない場合は不良品と判定するようにしてもよい。
　図１０には、ｋ近傍法を用いた良否判定の一例が示される。ここでは、特徴量がｘ１軸とｘ２軸の２つのパラメータによって分類される例を示す。このとき、良品画像に基づく特徴量に対して、特徴量Ｆ１は距離が近い、例えば、距離に対して設けられる閾値に基づいて、特徴量Ｆ１を有する対象画像に含まれる第２対象物は良品であると判定される。一方、良品画像に基づく特徴量に対して、特徴量Ｆ２は距離が遠い、同様に、距離に対して設けられる閾値に基づいて、特徴量Ｆ２を有する対象画像に含まれる第２対象物は不良品であると判定される。
　図１０には、画素のパラメータの分布を示す分布情報（ヒストグラム）が特徴量として用いられる場合の、外観検査システム１０１の処理のフローチャートが示される。このとき、学習モデル２０５４は、ヒストグラムを特徴量として上述のように学習されているものとする。
　ステップＳ１００１において、特徴量抽出部２０５２は、第２領域に分類された画素のパラメータを、領域特定部２０５１が特定した第２領域及び撮像部２０４が撮像した対象画像に基づいて取得する。
　ステップＳ１００２において、特徴量抽出部２０５２は、取得されたパラメータの分布に基づいて、分布情報として第１画素情報を生成する。
　ステップＳ１００３において、出力部２０５３は、学習モデル２０５４に第１画素情報を入力する。
　ステップＳ１００４において、出力部２０５３は、学習モデル２０５４から判定結果を取得する。
　ステップＳ１００５において、出力部２０５３は、判定結果を例えば表示部２０３や記憶部２０１に出力する。
　学習モデル２０５４は、例えば、良品の場合の画像の画素における所定のパラメータの分布が特徴量として入力され、出力が判定結果となるように学習される。
　学習モデル２０５４は、図１２（ａ）に示されるように、あるパラメータについて、それぞれの値が第２領域に分類される画素数に対する割合を示すヒストグラムを特徴量として学習される。より具体的には、学習モデル２０５４は、図１２（ｂ）に模式的に示されるように、ヒストグラムによって示される良品の分布が複数用意され、複数の分布に対して主成分分析が行われて学習される。図１２（ｂ）の主成分分析の結果では、各点が１つのヒストグラムに対応する。学習モデル２０５４は、主成分分析によって定められた主成分に対して、入力される特徴量Ｆ４の再構成誤差ＲＥに応じて判定結果を出力する。例えば、学習モデル２０５４は、再構成誤差ＲＥが所定の閾値以下である場合は良品と判定し、そうでない場合は不良品と判定する。
　例えば、図１２（ｃ）に示される画像ＩＧ２２における画素ＰＸ２は、図１２（ｄ）のヒストグラムにおける要素ＨＧ１に対応しているとする。このとき、図１２（ｄ）のヒストグラムに対する再構成誤差が所定の閾値以上であるとする。このとき、学習モデル２０５４は、画像ＩＧ２２における第２対象物は不良品であるという判定結果を出力する。
　このとき、学習モデル２０５４は、再構成誤差を生じさせた画素の情報を出力してもよい。画素の特定のために、例えば、学習モデル２０５４は、再構成誤差をなくした場合の分布を生成する。これは、例えば図１２（ａ）の分布である。学習モデル２０５４は、誤差のない図１２（ａ）の分布とオリジナルの図１２（ｄ）の分布との差分をとる。これにより、図１２（ｄ）の分布に存在するが、図１２（ａ）の分布には存在しない画素に対応する要素が特定される。これにより、学習モデル２０５４は、要素ＨＧ１に対応する画素ＰＸ２が不良を生じた画素つまり異物ＦＭが存在する画素であると特定できる。学習モデル２０５４は、このように特定された画素の情報を出力する。これにより、判定結果において、異物がある位置を強調しつつ画像を表示することができ、判定結果の視認性が向上する。また、分布を第２領域に分類される画素数に対する割合に基づいて生成することで、第１領域以外の領域を第２領域とした場合に生じる、第２領域の画素数の変動による影響を小さくすることができる。
　以上の第１実施形態は異物ＦＭの検査を例に説明したが、外観検査システム１０１は、基板Ｂ上に印字された文字の検査にも用いることができる。図１３には、基板Ｂ２上に文字ＴＸ３が「Ｒ００２」と印字されている例が示される。本来印字されるべき文字は「Ｒ００１」であるが、印字ミスによって文字ＴＸ３が印字されている。外観検査システム１０１は、上述の方法によって、基板Ｂ２における異物ＦＭのみならず、印字ミスを判定し、基板Ｂの良否を判定することができる。
　図１４を参照して、外観検査システム１０１の処理の全体について説明する。ここでは、基板（第２対象物）の良否判定に加えて回路要素（第１対象物）の良否判定が行われる場合を説明する。
　ステップＢ１において、領域特定部２０５１は、撮像部２０４から、検査対象物の対象画像を取得する。
　ステップＢ２において、領域特定部２０５１は対象画像における第２対象物に対応する第２領域を特定し、特徴量抽出部２０５２に出力する。
　ステップＢ１，Ｂ２における処理は、上述のステップＡ１，Ａ２の処理と同様である。
　ステップＢ３において、前処理部２０５５は、撮像部２０４から対象画像を取得する。このとき、前処理部２０５５は記憶部２０１に記憶された対象画像を取得するようにしてもよい。
　ステップＢ４において、前処理部２０５５は対象画像に対して所定の前処理を行い、前処理済画像を出力する。
　ステップＢ５において、特徴量抽出部２０５２は、第２領域及び前処理済みの対象画像に基づいて、第２対象物の特徴量を抽出する。
　ステップＢ６において、出力部２０５３は、第２対象物の特徴量に基づいて、第２対象物が良品であるか否かを示す判定結果を取得し、例えば、表示部２０３に出力する。
　ステップＣ２において、領域特定部２０５１は対象画像における第１対象物に対応する第１領域を特定し、特徴量抽出部２０５２に出力する。ステップＣ２における処理は、上述のステップＡ２の処理と同様である。
　ステップＣ３において、前処理部２０５５は、撮像部２０４から対象画像を取得する。このとき、前処理部２０５５は記憶部２０１に記憶された対象画像を取得するようにしてもよい。
　ステップＣ４において、前処理部２０５５は対象画像に対して所定の前処理を行い、前処理済画像を出力する。このとき、前処理部２０５５は第１対象物に適した前処理を行うことができ、その方法はステップＢ４における方法と異なっていてもよい。
　ステップＣ５において、特徴量抽出部２０５２は、第１領域及び前処理済みの対象画像に基づいて、第１対象物の特徴量を抽出する。このとき、特徴量抽出部２０５２は第１対象物に適した特徴量を抽出することができ、その方法はステップＢ５における方法と異なっていてもよい。
　例えば、第１対象物の特徴量が部品の位置や形状のみで決定される場合、特徴量抽出部２０５２はセグメンテーションされた画像ＩＧ２２のみを用いて特徴量の抽出を行い得る。この場合の特徴量は、例えば、部品の面積や周長、重心の位置などである。特徴量抽出部２０５２は、画像ＩＧ２２にスケルトン処理を行い、スケルトンの寸法を特徴量としてもよい。また、特徴量抽出部２０５２は、第１対象物の隣接矩形（Ｂｏｕｎｄｉｎｇ　Ｂｏｘ）を求め、隣接矩形の大きさや面積、中心位置を特徴量としてもよい。なお、第１対象物の位置や形状は変動するため、第１対象物の画素数は変化する。変化する画素数から特徴量を抽出する方法は、上述の第２対象物に対する方法と同様の方法を選択することができる。
　ステップＣ６において、出力部２０５３は、第２対象物の特徴量に基づいて、第２対象物が良品であるか否かを示す判定結果を取得し、例えば、表示部２０３に出力する。このとき、出力部２０５３は第１対象物に適した判定手法を用いることができ、その方法はステップＢ６における方法と異なっていてもよい。例えば、出力部２０５３は、ルールベースの判定方法や、学習モデルを使用した判定を行うことができる。
　このように、外観検査システム１０１は、第２対象物の良否判定に加えて、第１対象物の良否判定を行うようにしてもよい。
　［第２実施形態］
　第２実施形態について説明する。第２実施形態では第１実施形態と共通の事柄についての記述を省略し、異なる点についてのみ説明する。図１５には第２実施形態に係る外観検査システム１０１Ａのブロック図が示される。外観検査システム１０１Ａは、変換部１５０１を有する点で、外観検査システム１０１と異なり、他の点は共通する。
　変換部１５０１は、領域特定部２０５１が特定した第１領域の画素のパラメータを第２対象物に対応する画素のパラメータ（変換パラメータ）によって置き換えることで、第１領域を第２領域に変換する処理を行う。変換部１５０１は、確率モデルにもとづく画像補修法や深層学習による変換手法を用いることができる。変換部１５０１は、複数の画素を含む第１領域の変換にあたって、画素ごとのパラメータを複数の変換パラメータによって別個に置き換えてもよい。あるいは、変換部１５０１は、複数の画素を含む第１領域のパラメータを、１つの変換パラメータによって置き換えてもよい。また、変換部１５０１は、第１領域の少なくとも一部に含まれる画素のパラメータを置き換えてもよい。
　図１６には、外観検査システム１０１による処理の一例としてのフローチャートが示される。ステップＤ１において、領域特定部２０５１は、撮像部２０４から、検査対象物の対象画像を取得する。取得された対象画像ＩＧ２の一例が図１７（ａ）に示される。ここで、図１７は、領域特定部２０５１がセマンティックセグメンテーションを行う場合の例である。
　ステップＤ２において、領域特定部２０５１は対象画像において、第１対象物に対応する第１領域及び第２対象物に対応する第２領域を特定し、変換部１５０１に出力する。図１７（ｂ）には、セマンティックセグメンテーションによって、回路要素Ｅ２，Ｌ２が領域Ａ１に分類され、基板Ｂ２及びテーブルＴが領域Ａ２に分類される例が、画像ＩＧ２１として示される。ステップＤ２にて出力される第１領域は領域Ａ１であり、第２領域は領域Ａ２である。
　ステップＤ３において、変換部１５０１は撮像部２０４から対象画像を取得する。このとき、特徴量抽出部２０５２は記憶部２０１に記憶された対象画像を取得するようにしてもよい。
　ステップＤ４において、変換部１５０１は第１領域の画素のパラメータを第２対象物に対応する画素のパラメータによって置き換えるようにして、対象画像の第１領域を第２領域に変換する。変換された対象画像は、出力部２０５３に出力される。変換された対象画像の一例は、図１７（ｃ）において画像ＩＧ２４として示される。画像ＩＧ２４では、回路要素Ｅ２，Ｌ２（第１対象物）に対応する領域Ａ３が領域Ａ４に置き換えられ、同時に対応する画素のパラメータも基板Ｂ２（第２対象物）に対応する画素のパラメータに置き換えられている。
　ステップＤ５において、出力部２０５３は、変換された対象画像に基づいて、第２対象物が良品であるか否かを示す判定結果を取得し、例えば、表示部２０３に出力する。
　図１７には、第１領域が変換される場合の出力部２０５３による処理のフローチャートが示される。
　ステップＳ１８０１において、出力部２０５３は、変換部１５０１から変換された対象画像を取得する。
　ステップＳ１８０２において、出力部２０５３は、学習モデル２０５４に変換された対象画像を入力する。
　ステップＳ１８０３において、出力部２０５３は、学習モデル２０５４から判定結果を取得する。
　ステップＳ１８０４において、出力部２０５３は、判定結果を例えば表示部２０３や記憶部２０１に出力する。
　ここで、学習モデル２０５４は、第２対象物（基板Ｂ）が良品である場合の基準画像を用いて学習される。ここで用いられる基準画像は、良品の場合の第１対象物及び第２対象物を有する製品の画像において、第１対象物に対応する第１領域が第２対象物に対応する第２領域に変換された画像である。学習モデル２０５４は、基準画像を入力とし良品であることを示す判定結果が出力されるよう学習される。学習モデル２０５４は、例えば、画像の主成分分析を行い、画像再構成手法を用いて良否判定を行うモデルである。
　学習モデル２０５４は、判定結果に加えて、異物位置に対応する画素つまり、再構成時の再構成誤差が閾値を超える画素の情報を出力することができる。これにより、判定結果に加えて、異物位置の可視化が可能となる。
　このように、画像そのものを学習モデル２０５４に入力することの利点について説明する。第１実施形態で説明したような第２対象物のヒストグラムを用いる手法では、画像ごとに第１対象物の領域が大きく変動する場合、異物位置の可視化が難しいことがある。なぜなら、ヒストグラムの再構成誤差が小さい対象画像であっても、第１対象物の位置や形状が大きく異なっている可能性があるからである。このような場合に、第１実施形態のようにヒストグラム間で差分をとると、可視化対象である異物位置の可視化が、第１対象物の位置による影響を強く受けることがある。よって、異物位置の可視化が難しくなることがある。
　また、第２対象物のうち、異物のパラメータがその他の第２対象物のパラメータと同じ場合、異物を検出したとしても可視化することが難しい。なぜなら、異物が存在する可能性のある画素は特定されるが、異物と同じパラメータを持つその他の第２対象物の画素も同じく特定されるからである。
　このような場合に、変換部１５０１による変換により第２対象物の画素数を固定し、画像再構成手法を用いることで、異物の可視化を容易にしつつ、対象画像における第２対象物の良否を判定できるようになる。画像再構成手法では、第２領域の特徴量を用いる場合の可視化における問題が解消される。一方、第２対象物を構成する要素の位置が変動するようなケースでは、第１実施形態の手法が適している。なお、第１実施形態の手法及び第２実施形態の手法は適宜組み合わせることができる。
　ここで、以上説明した外観検査システム、外観検査方法、及びプログラムの主要な構成についてまとめておく。
［付記１］
　第１対象物（Ｅ，Ｌ）と第２対象物（Ｂ）からなる検査対象物（Ｐ）が撮像された対象画像（ＩＧ１，ＩＧ２）に基づいて、前記第１対象物に対応する前記対象画像の第１領域（Ａ１，Ａ３，Ａ４，Ａ５）を特定し、前記対象画像から前記第１領域が除かれた第２領域（Ａ２，Ａ６）を特定する領域特定部（２０５１）と、
　前記対象画像と前記第２領域とに基づいて、前記第２領域の特徴量を抽出する特徴量抽出部（２０５２）と、
　前記特徴量に基づいて、前記第２対象物が良品であるか否かを示す判定結果を出力する出力部（２０５３）と、
　を備える、外観検査システム。
［付記２］
　前記特徴量抽出部は、前記対象画像と前記第１領域とに基づいて、前記第１領域の特徴量を抽出し、
　前記出力部は、前記第１領域の特徴量に基づいて、前記第１対象物が良品であるか否かを示す判定結果を出力する、外観検査システム。
［付記３］
　前記領域特定部は、前記対象画像に対してセマンティックセグメンテーションを行い、前記第１領域及び前記第２領域を特定する、外観検査システム。
［付記４］
　前記領域特定部は、前記対象画像に対してインスタンスセグメンテーションを行い、前記第１領域及び前記第２領域を特定する、外観検査システム。
［付記５］
　前記対象画像において、前記第１領域の少なくとも一部に含まれる画素のパラメータを、所定の変換パラメータによって置き換えるとともに、前記第１領域の少なくとも一部を前記第２領域に変換する変換部（１５０１）、をさらに備える、外観検査システム。
［付記６］
　前記所定の変換パラメータは、前記第２対象物に対応する画素のパラメータである、外観検査システム。
［付記７］
　前記特徴量抽出部は、前記第２領域に含まれる画素に基づいて生成された第１画素情報を前記特徴量として抽出し、
　前記出力部は、前記第２対象物が良品である場合の前記第２領域に含まれる画素に基づいて生成された第２画素情報と前記第２対象物が良品であることを示す前記判定結果との組を教師データとして学習された学習モデル（２０５４）に、前記第１画素情報を入力し、前記判定結果を出力する、外観検査システム。
［付記８］
　コンピュータが、
　第１対象物（Ｅ，Ｌ）と第２対象物（Ｂ）からなる検査対象物（Ｐ）が撮像された対象画像（ＩＧ１，ＩＧ２）に基づいて、前記第１対象物に対応する前記対象画像の第１領域（Ａ１，Ａ３，Ａ４，Ａ５）を特定し、前記対象画像から前記第１領域が除かれた第２領域（Ａ２，Ａ６）を特定することと、
　前記対象画像と前記第２領域とに基づいて、前記第２領域の特徴量を抽出することと、
　前記特徴量に基づいて、前記第２対象物が良品であるか否かを示す判定結果を出力することと、
　を含む、外観検査方法。
［付記９］
　コンピュータに、第１対象物（Ｅ，Ｌ）と第２対象物（Ｂ）からなる検査対象物（Ｐ）が撮像された対象画像（ＩＧ１，ＩＧ２）に基づいて、前記第１対象物に対応する前記対象画像の第１領域（Ａ１，Ａ３，Ａ４，Ａ５）を特定し、前記対象画像から前記第１領域が除かれた第２領域（Ａ２，Ａ６）を特定する処理と、
　前記対象画像と前記第２領域とに基づいて、前記第２領域の特徴量を抽出する処理と、
　前記特徴量に基づいて、前記第２対象物が良品であるか否かを示す判定結果を出力する処理と、
　を実行させる、プログラム。
　１０１，１０１Ａ…外観検査システム、２０１…記憶部、２０２…通信部、２０３…表示部、２０４…撮像部、２０５…制御部、２０５１…領域特定部、２０５２…特徴量抽出部、２０５３…出力部、２０５４…学習モデル、１５０１…変換部

Claims (9)

  1. 　第１対象物と第２対象物からなる検査対象物が撮像された対象画像に基づいて、前記第１対象物に対応する前記対象画像の第１領域を特定し、前記対象画像から前記第１領域が除かれた第２領域を特定する領域特定部と、
    　前記対象画像と前記第２領域とに基づいて、前記第２領域の特徴量を抽出する特徴量抽出部と、
    　前記特徴量に基づいて、前記第２対象物が良品であるか否かを示す判定結果を出力する出力部と、
    　を備える、外観検査システム。
  2. 　請求項１に記載の外観検査システムであって、
    　前記特徴量抽出部は、前記対象画像と前記第１領域とに基づいて、前記第１領域の特徴量を抽出し、
    　前記出力部は、前記第１領域の前記特徴量に基づいて、前記第１対象物が良品であるか否かを示す判定結果を出力する、外観検査システム。
  3. 　請求項１又は２に記載の外観検査システムであって、
    　前記領域特定部は、前記対象画像に対してセマンティックセグメンテーションを行い、
    前記第１領域及び前記第２領域を特定する、外観検査システム。
  4. 　請求項１又は２に記載の外観検査システムであって、
    　前記領域特定部は、前記対象画像に対してインスタンスセグメンテーションを行い、前記第１領域及び前記第２領域を特定する、外観検査システム。
  5. 　請求項１から４のいずれか一項に記載の外観検査システムであって、
    　前記対象画像において、前記第１領域の少なくとも一部に含まれる画素のパラメータを、所定の変換パラメータによって置き換えるとともに、前記第１領域の少なくとも一部を前記第２領域に変換する変換部、をさらに備える、外観検査システム。
  6. 　請求項５に記載の外観検査システムであって、
    　前記所定の変換パラメータは、前記第２対象物に対応する画素のパラメータである、外観検査システム。
  7. 　請求項１から６のいずれか一項に記載の外観検査システムであって、
    　前記特徴量抽出部は、前記第２領域に含まれる画素に基づいて生成された第１画素情報を前記特徴量として抽出し、
    　前記出力部は、前記第２対象物が良品である場合の前記第２領域に含まれる画素に基づいて生成された第２画素情報と前記第２対象物が良品であることを示す前記判定結果との組を教師データとして学習された学習モデルに、前記第１画素情報を入力し、前記判定結果を出力する、外観検査システム。
  8. 　コンピュータが、
    　第１対象物と第２対象物からなる検査対象物が撮像された対象画像に基づいて、前記第１対象物に対応する前記対象画像の第１領域を特定し、前記対象画像から前記第１領域が除かれた第２領域を特定することと、
    　前記対象画像と前記第２領域とに基づいて、前記第２領域の特徴量を抽出することと、
    　前記特徴量に基づいて、前記第２対象物が良品であるか否かを示す判定結果を出力することと、
    　を含む、外観検査方法。
  9. 　コンピュータに、
    　第１対象物と第２対象物からなる検査対象物が撮像された対象画像に基づいて、前記第１対象物に対応する前記対象画像の第１領域を特定し、前記対象画像から前記第１領域が除かれた第２領域を特定する処理と、
    　前記対象画像と前記第２領域とに基づいて、前記第２領域の特徴量を抽出する処理と、
    　前記特徴量に基づいて、前記第２対象物が良品であるか否かを示す判定結果を出力する処理と、
    　を実行させる、プログラム。
PCT/JP2023/004015 2022-03-07 2023-02-07 外観検査システム、外観検査方法、及びプログラム WO2023171205A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-034395 2022-03-07
JP2022034395A JP2023129993A (ja) 2022-03-07 2022-03-07 外観検査システム、外観検査方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023171205A1 true WO2023171205A1 (ja) 2023-09-14

Family

ID=87936621

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/004015 WO2023171205A1 (ja) 2022-03-07 2023-02-07 外観検査システム、外観検査方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP2023129993A (ja)
WO (1) WO2023171205A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003168114A (ja) * 2001-12-04 2003-06-13 Olympus Optical Co Ltd 欠陥分類装置
JP2005351763A (ja) * 2004-06-10 2005-12-22 Nitto Denko Corp 貼付材の欠陥検査方法
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP6793896B1 (ja) * 2020-03-04 2020-12-02 三菱電機株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2022061127A (ja) * 2020-10-06 2022-04-18 東レエンジニアリング株式会社 外観検査装置および方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003168114A (ja) * 2001-12-04 2003-06-13 Olympus Optical Co Ltd 欠陥分類装置
JP2005351763A (ja) * 2004-06-10 2005-12-22 Nitto Denko Corp 貼付材の欠陥検査方法
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP6793896B1 (ja) * 2020-03-04 2020-12-02 三菱電機株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2022061127A (ja) * 2020-10-06 2022-04-18 東レエンジニアリング株式会社 外観検査装置および方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Anomaly Detection_Anomaly Detection (Vol.2), AISIA-AD", SYSTEM INTEGRATOR CO., LTD., PRODUCT, 21 August 2018 (2018-08-21), XP093090784, Retrieved from the Internet <URL:https://products.sint.co.jp/aisia-ad/blog/deep-learning-vol.2> [retrieved on 20231011] *
ANONYMOUS: "Introduction and utilization of image recognition using AI", MUSASHI AI BLOG, 2 April 2021 (2021-04-02), XP093090782, Retrieved from the Internet <URL:https://musashi-ai.com/blog/2021/04/AI%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%9F%E7%94%BB%E5%83%8F%E8%AA%8D%E8%AD%98%E3%81%AE%E7%B4%B9%E4%BB%8B%E3%81%A8%E6%B4%BB%E7%94%A8.html> [retrieved on 20231011] *

Also Published As

Publication number Publication date
JP2023129993A (ja) 2023-09-20

Similar Documents

Publication Publication Date Title
US9172824B2 (en) Apparatus, system, and method of inspecting image, and recording medium storing image inspection control program
JP7292979B2 (ja) 画像処理装置及び画像処理方法
CN110021005A (zh) 电路板瑕疵筛选方法及其装置与计算机可读取记录介质
CN112686858A (zh) 一种手机充电器视觉缺陷检测方法、装置、介质及设备
JP5337563B2 (ja) 帳票認識方法および装置
KR100868884B1 (ko) 유리 기판 유리 불량 정보 시스템 및 분류 방법
CN103530625A (zh) 一种基于数字图像处理的光学字符识别方法
Park et al. D 3 pointnet: Dual-level defect detection pointnet for solder paste printer in surface mount technology
CN114972246A (zh) 一种基于深度学习的模切产品表面缺陷检测方法
JP2010071826A (ja) 教師データ作成方法、並びに、画像分類方法および画像分類装置
CN113785181A (zh) Oled屏幕点缺陷判定方法、装置、存储介质及电子设备
Wang et al. Local defect detection and print quality assessment
WO2023171205A1 (ja) 外観検査システム、外観検査方法、及びプログラム
CN113469944A (zh) 一种产品质检方法、装置和电子设备
CN110310341B (zh) 颜色算法中默认参数的生成方法、装置、设备和存储介质
CN112561875A (zh) 一种基于人工智能的光伏电池板粗栅检测方法
JP4814116B2 (ja) 実装基板外観検査方法
CN115479891A (zh) 基于图像识别的电路板载元器件自动检测系统和方法
CN113840135B (zh) 色偏检测方法、装置、设备及存储介质
CN115374517A (zh) 布线软件的测试方法、装置、电子设备及存储介质
CN115131355A (zh) 利用电子设备数据检测防水布异常的智能方法
CN114299054A (zh) 部件缺失检测方法、装置、电子设备及存储介质
CA3219745A1 (en) Texture mapping to polygonal models for industrial inspections
CN115115596A (zh) 电子元器件检测方法、装置及自动质检设备
CN114299307A (zh) 一种输电线路图像标注方法及相关装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23766385

Country of ref document: EP

Kind code of ref document: A1