WO2022151658A1 - 一种缺陷检测方法、装置、计算机设备及计算机可读存储介质 - Google Patents

一种缺陷检测方法、装置、计算机设备及计算机可读存储介质 Download PDF

Info

Publication number
WO2022151658A1
WO2022151658A1 PCT/CN2021/101788 CN2021101788W WO2022151658A1 WO 2022151658 A1 WO2022151658 A1 WO 2022151658A1 CN 2021101788 W CN2021101788 W CN 2021101788W WO 2022151658 A1 WO2022151658 A1 WO 2022151658A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
pixel point
target
detected
Prior art date
Application number
PCT/CN2021/101788
Other languages
English (en)
French (fr)
Inventor
牛临潇
李�诚
Original Assignee
北京市商汤科技开发有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京市商汤科技开发有限公司 filed Critical 北京市商汤科技开发有限公司
Publication of WO2022151658A1 publication Critical patent/WO2022151658A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Definitions

  • the present disclosure relates to the technical field of image processing, and in particular, to a defect detection method, an apparatus, a computer device, and a computer-readable storage medium.
  • PCBs printed circuit boards
  • the performance of electronic equipment is not only affected by the quality and performance of the electronic components themselves, but also largely depends on the quality of the PCB.
  • PCB defect detection technology is an important link related to the quality and production cycle of electronic systems, and has received much attention since the invention of PCB.
  • manufacturers of various equipment have higher and higher requirements for circuit boards, not only pursuing higher performance and production efficiency, but also having stricter requirements on quality factors such as the yield rate of circuit boards.
  • AOI optical inspection
  • Embodiments of the present disclosure provide at least a defect detection method, an apparatus, a computer device, and a computer-readable storage medium.
  • an embodiment of the present disclosure provides a defect detection method, including: acquiring a template image and an image to be detected; and generating a mask corresponding to the image to be detected based on the template image and the image to be detected mask image; the pixel value of each first pixel in the mask image, representing the abnormality value of the defect in the second pixel; the second pixel is the position in the image to be detected that is the same as the first pixel pixel points matched with pixel points; based on the mask image, determine the defect detection result of the to-be-detected image.
  • a mask image corresponding to the image to be detected is generated, and the pixel value of each first pixel in the mask image represents the second pixel at the corresponding position in the image to be detected Whether there is an abnormality value of the defect, and then according to the mask image, the detection result of the image to be detected is determined, which has higher detection accuracy.
  • generating a mask image corresponding to the to-be-detected image based on the template image and the to-be-detected image includes: determining a first image according to the to-be-detected image, and According to the template image, a second image is determined; for each third pixel in the first image, from the second image, a plurality of target pixels corresponding to the third pixel are determined; The distance between the plurality of target pixels and the target fourth pixel in the second image is less than the first distance threshold, and the target fourth pixel is the position in the second image and the third pixel The fourth pixel point of point matching; for each of the third pixel points, based on the similarity between the multiple target pixel points and the third pixel point, determine the abnormality value of the third pixel point; According to the abnormality value of the third pixel point, the abnormality degree value of the second pixel point corresponding to the third pixel point in the image to be detected is determined.
  • the correspondence is determined based on the similarity between the plurality of target pixel points and the corresponding third pixel points.
  • the abnormal degree value of the third pixel point, and then the abnormal degree value of the second pixel point corresponding to the third pixel point is obtained, so that the abnormal degree value of the second pixel point is affected by multiple pixels in the template image, so as to reduce the The influence of production error, matching error, acquisition noise, etc. on the defect detection result of the second pixel in the image to be inspected improves the defect detection accuracy of the image to be inspected.
  • the determining the first image according to the to-be-detected image and determining the second image according to the template image includes: determining the to-be-detected image as the first image, and Determining the template image as the second image; or, determining the first image according to the to-be-detected image, and determining the second image according to the template image includes: acquiring a first image of the to-be-detected image A feature map is obtained, and the first feature map is determined as the first image; a second feature map of the template image is acquired, and the second feature map is determined as the second image.
  • the image to be detected is determined as the first image and the template image is determined as the second image, that is, the mask image of the image to be detected is directly obtained based on the image to be detected and the template image, and the mask image represented by the image to be detected is among the images to be detected.
  • the abnormality value of the defect of each second pixel is more accurate; the first feature map of the image to be detected is used as the first image, and the second feature map of the template image is used as the second image, that is, based on the first feature map and The mask image of the image to be detected is obtained from the second feature map, which is beneficial to reduce the computation amount and computation time required for generating the mask image, and improve the detection efficiency.
  • the degree of abnormality of the third pixel point is determined based on the similarity between the plurality of target pixel points and the third pixel point.
  • the value includes: determining the maximum similarity among the similarities between the plurality of target pixels and the third pixel; and determining the abnormality value of the third pixel based on the maximum similarity.
  • the abnormality value of the third pixel is determined based on the maximum similarity among the similarities between the multiple target pixels and the third pixel, which can improve whether each second pixel represented by the mask image is There is exceptional precision.
  • determining a plurality of target pixels corresponding to the third pixel including: For each third pixel in the first image, from a plurality of fourth pixels in the second image, determine a target fourth pixel that matches the position of the third pixel; Among the plurality of fourth pixels in the second image, a plurality of fourth pixels whose distances from the target fourth pixels are smaller than the first distance threshold are determined, and the determined fourth pixels are determined as the target pixels point.
  • the target pixels are determined by the first distance threshold, so as to determine the mask image based on the similarity between each target pixel and the corresponding third pixel, thereby reducing production errors, acquisition noise, and matching errors. Wait for the impact of defect detection on the image to be inspected.
  • the similarity between each target pixel point and the third pixel point is determined in the following manner: based on the third pixel point in the third pixel point A position in an image and a preset second distance threshold to obtain a first sub-image corresponding to the third pixel; and based on the position of each target pixel in the second image, and the The second distance threshold is used to obtain the second sub-image corresponding to each target pixel; based on the first sub-image and the second sub-image, each target pixel and the third pixel are determined similarity between.
  • the similarity between the third pixel point and the target pixel point is determined by the area around the third pixel point and the area around the target pixel point, which can reduce the image to be detected due to production errors, acquisition noise, matching errors, etc. impact on defect detection.
  • the first sub-image corresponding to the third pixel is obtained based on the position of the third pixel in the first image and a preset second distance threshold, including: In the first image, determine a first circular area with the third pixel as the center and the second distance threshold as the radius, based on the first circular area on the first image The third pixel is obtained to obtain the first sub-image; the corresponding position of each target pixel is obtained based on the position of each target pixel in the second image and the second distance threshold. The second sub-image of the The fourth pixel point located in the second circular area is obtained to obtain the second sub-image.
  • the first sub-image corresponding to the third pixel is obtained based on the position of the third pixel in the first image and a preset second distance threshold, including: Determine the target side length based on the second distance threshold; on the first image, determine a first square area with the third pixel as the center and the determined target side length as the side length, based on the obtaining the first sub-image based on the third pixel point located in the first square area on the first image; the Two distance thresholds to obtain a second sub-image corresponding to each target pixel, including: on the second image, determining the determined target side length with each target pixel as the center as a second square area with a side length; the second sub-image is obtained based on the fourth pixel point located in the second square area on the second image.
  • the determining according to the abnormality value of the third pixel The abnormality value of the second pixel corresponding to the third pixel in the image to be detected includes: determining the abnormality value of each third pixel in the first image as the to-be-detected The abnormality value of the second pixel point whose position matches the third pixel point in the image.
  • the abnormality degree according to the third pixel and determining the abnormality value of the second pixel point corresponding to the third pixel point in the image to be detected including: according to each third pixel point in the first feature map and each The mapping relationship between the second pixel points and the abnormality degree value of each third pixel point in the first feature map determine the abnormality degree value corresponding to each second pixel point.
  • an embodiment of the present disclosure further provides a defect detection apparatus, including: an acquisition part, configured to acquire a template image and an image to be detected; a generation part, configured to be based on the template image and the to-be-detected image image, generate a mask image corresponding to the image to be detected; the pixel value of each first pixel in the mask image represents the abnormality value of the defect in the second pixel; the second pixel is a pixel point in the image to be inspected whose position matches the first pixel point; the detection part is configured to determine a defect detection result of the image to be inspected based on the mask image.
  • the generating part is further configured to: determine a first image according to the to-be-detected image, and determine a second image according to the template image; for each of the first images a third pixel point, from the second image, determine multiple target pixel points corresponding to the third pixel point; the multiple target pixel points and the target fourth pixel point in the second image The distance between them is less than the first distance threshold, and the target fourth pixel point is the fourth pixel point whose position matches the third pixel point in the second image; for each third pixel point, based on the The similarity between the plurality of target pixels and the third pixel is determined, and the abnormality value of the third pixel is determined; according to the abnormality value of the third pixel, the to-be-detected image is determined The abnormality value of the second pixel point corresponding to the third pixel point in .
  • the generating part is further configured to: determine the image to be detected as the first image, and determine the template image as the second image; obtaining the first feature map of the image to be detected, and determining the first feature map as the first image; acquiring the second feature map of the template image, and determining the second feature map as the first feature map Second image.
  • the generating part is further configured to: determine the maximum similarity among the similarities between the multiple target pixel points and the third pixel point; based on the maximum similarity , and determine the abnormality value of the third pixel point.
  • the generating part is further configured to: for each third pixel in the first image, from a plurality of fourth pixels in the second image, determine the The target fourth pixel that matches the position of the third pixel; from a plurality of the fourth pixels in the second image, determine a plurality of fourth pixels whose distance from the target fourth pixel is less than the first distance threshold There are four pixel points, and the determined fourth pixel point is determined as the target pixel point.
  • the generating part is further configured to: for each third pixel point, based on the position of the third pixel point in the first image and a preset second pixel point. distance threshold to obtain the first sub-image corresponding to the third pixel; and based on the position of each target pixel in the second image and the second distance threshold, obtain the corresponding to each target pixel The second sub-image of ; based on the first sub-image and the second sub-image, determine the similarity between each target pixel point and the third pixel point.
  • the generating part is further configured as:
  • the first image determine a first circular area with the third pixel as the center and the second distance threshold as the radius, based on the first circular area on the first image the third pixel point to obtain the first sub-image;
  • the generating part is further configured as:
  • the generating part is further configured to: in the case that the first image is the to-be-detected image and the second image is the template image, the first image is the template image.
  • the abnormality value of each third pixel point in the image is determined as the abnormality degree value of the second pixel point in the image to be detected whose position matches the third pixel point.
  • the generating part is further configured to: in the case that the first image is the first feature map and the second image is the second feature map, according to the The mapping relationship between each third pixel point in the first feature map and each second pixel point in the image to be detected, and the abnormality value of each third pixel point in the first feature map, determine the relationship with The abnormality value corresponding to each second pixel point.
  • an embodiment of the present disclosure further provides a computer device, comprising: a processor and a memory connected to each other, where the memory stores machine-readable instructions executable by the processor, and when the computer device runs, The machine-readable instructions are executed by the processor to implement the first aspect, or the defect detection method in any possible implementation manner of the first aspect.
  • embodiments of the present disclosure further provide a computer-readable storage medium, where a computer program is stored on the computer-readable storage medium, and the computer program is executed by a processor to execute the first aspect, or any one of the first aspect.
  • an embodiment of the present disclosure further provides a computer program, including computer-readable code, and when the computer-readable code is executed in a computer device, the processor in the computer device implements the above-mentioned first step when executed.
  • the processor in the computer device implements the above-mentioned first step when executed.
  • FIG. 1 shows a system architecture diagram of a defect detection system provided by an embodiment of the present disclosure
  • FIG. 2 shows a flowchart of a defect detection method provided by an embodiment of the present disclosure
  • FIG. 3 shows a flowchart of a method for generating a mask image corresponding to an image to be detected provided by an embodiment of the present disclosure
  • FIG. 4 shows a flowchart of a method for determining the similarity between each target pixel and a third pixel provided by an embodiment of the present disclosure
  • FIG. 5 shows a schematic structural diagram of a defect detection device provided by an embodiment of the present disclosure
  • FIG. 6 shows a schematic structural diagram of a computer device provided by an embodiment of the present disclosure.
  • the embodiments of the present disclosure provide a defect detection method and device, which generates a mask image corresponding to the to-be-detected image by using the template image and the to-be-detected image.
  • the pixels of each first pixel in the mask image are The value represents the abnormality value of whether there is a defect in the second pixel point at the corresponding position in the image to be detected, and then the detection result of the image to be detected is determined according to the mask image, which has higher detection accuracy.
  • the device includes, for example, a terminal device or a server or other processing device.
  • the terminal device may be a device dedicated to PCB quality inspection, and may also be implemented by the processor calling computer-readable instructions stored in the memory.
  • the defect detection method provided by the embodiments of the present disclosure can not only be used for defect detection of PCB, but also defect detection of other items, such as workpieces, machine parts, and the like.
  • FIG. 1 is a system architecture diagram of a defect detection system provided by an embodiment of the present disclosure; as shown in FIG. 1 , the defect detection system 100 includes a server 10 and a terminal device 20 , and the server 10 and the terminal device 20 are connected through a network.
  • the terminal device 20 is used to obtain a template image and an image to be detected, generate a mask image corresponding to the image to be detected based on the template image and the image to be detected, and determine the defect detection result of the image to be detected based on the mask image, wherein the mask image
  • the pixel value of each first pixel point in the version image represents the abnormality value of the defect in the second pixel point, and the second pixel point is the pixel point in the image to be detected whose position matches the first pixel point.
  • the server 10 is configured to receive and store the template image sent by the terminal device 20 , or send the required template image to the terminal device 20 according to an acquisition request of the terminal device 20 .
  • the terminal device 20 can send the template image to the server 10 for backup storage, so that other terminal devices can directly acquire the template image from the server 10 for defect detection, thereby improving the The detection efficiency of other terminal equipment for defect detection.
  • the template image required by the terminal device 20 has been stored in the server 10, and the terminal device 20 can directly obtain the required template image from the server 10, so as to improve the defect detection efficiency of the terminal device 20. detection efficiency.
  • defect detection method provided by the embodiment of the present disclosure will be described in detail below by taking defect detection on a PCB as an example.
  • the method includes steps S101-S103, wherein:
  • S102 Based on the template image and the to-be-detected image, generate a mask image corresponding to the to-be-detected image; the pixel value of each first pixel in the mask image indicates the existence of a second pixel The abnormality value of the defect; the second pixel point is the pixel point whose position matches the first pixel point in the to-be-detected image;
  • the template image refers to an image captured on a qualified PCB used in defect detection of the PCB.
  • the image to be inspected refers to the image obtained by the PCB to be inspected.
  • the model or logo of the PCB to be inspected can be obtained first; then, according to the model or logo of the PCB, a template image corresponding to the PCB to be inspected is obtained from a pre-built template image library; For another example, in the case where there is no template image of the PCB to be inspected in the template image library, for example, a template PCB without defects can be determined from a plurality of PCBs to be inspected, and then an image of the template PCB can be obtained to obtain a template. image.
  • the to-be-detected image can be acquired by, for example, an image acquisition module set on the defect detection device, and can also receive the to-be-detected image transmitted by other devices.
  • any one of the first mask images in the mask image is generated.
  • the pixel value of the pixel is affected by the pixel values of multiple pixels in the template image, so that each first pixel in the mask image can more accurately represent the second pixel that matches the position in the image to be detected. There is an abnormal degree value of the defect, and then a higher defect detection result of the image to be detected is obtained.
  • an embodiment of the present disclosure provides a method for generating a mask image corresponding to an image to be detected based on a template image and an image to be detected, including:
  • S201 Determine a first image according to the to-be-detected image, and determine a second image according to the template image.
  • the image to be detected may be determined as the first image, and the template image may be determined as the second image.
  • the process of generating a mask image corresponding to the image to be detected based on the first image and the second image is essentially to directly perform the following processes S202 to S204 based on the image to be detected and the template image to obtain a mask of the image to be detected. version image.
  • the first feature map of the image to be detected may be obtained, and the first feature map may be determined as the first image; the second feature map of the template image may be obtained, and the second feature map may be determined as second image.
  • the process of generating a mask image corresponding to the image to be detected based on the first image and the second image refers to performing the following S202 for the first feature map based on the image to be detected and the second feature map of the template image
  • the process of ⁇ S204 is to obtain a mask image of the image to be detected.
  • a feature extraction neural network may be used to perform feature extraction processing on the image to be detected and the template image, respectively, to obtain the first feature map of the image to be detected and the second feature map of the template image.
  • the second feature map can be extracted only once for the template image, and the Its second feature map is stored; when defect detection is performed on each to-be-detected image in the plurality of images to be detected, when the second feature map of the template image already exists, it can be stored from the storage of the second feature map.
  • the position reads the second feature map, and uses the feature extraction network to perform feature extraction processing on the image to be detected, so as to obtain the first feature map of each image to be detected.
  • S202 For each third pixel in the first image, from the second image, determine multiple target pixels corresponding to the third pixel; the multiple target pixels are the same as the The distance between the target fourth pixel points in the second image is smaller than the first distance threshold, and the target fourth pixel point is the fourth pixel point whose position matches the third pixel point in the second image.
  • the first image is composed of a plurality of third pixels; when the first image is an image to be detected, each third pixel in the first image is the same as each second pixel in the to-be-detected image One-to-one correspondence; when the first image is the first feature map of the image to be detected, each third pixel point in the first image corresponds to each feature point in the first feature map one-to-one.
  • the second image is composed of a plurality of fourth pixels; when the second image is a template image, each fourth pixel in the second image corresponds to each pixel in the template image one-to-one; When the second image is the second feature map of the template image, each fourth pixel point in the second image corresponds to each feature point in the second feature map one-to-one.
  • an embodiment of the present disclosure provides a method for determining, for each third pixel point, a plurality of target pixel points corresponding to the third pixel point from a second image, including: for each third pixel point in the first image a third pixel point, from a plurality of fourth pixel points in the second image, determine a target fourth pixel point that matches the position of the third pixel point; from a plurality of the fourth pixel points in the second image Among the pixel points, a plurality of fourth pixel points whose distances from the target fourth pixel point are smaller than the first distance threshold are determined, and the determined fourth pixel point is determined as the target pixel point.
  • the distance between the fourth pixel point and the target fourth pixel point includes, for example, any one of the L1 distance, the L2 distance, the Euclidean distance, or the Manhattan distance.
  • all fourth pixels whose distance from the target fourth pixel is smaller than the first distance threshold can be regarded as the target pixel; All fourth pixels whose distances are smaller than the first distance threshold are used as candidate pixels, and then multiple target pixels are determined from multiple candidate pixels according to random sampling or sampling at uniform intervals.
  • S203 For each of the third pixel points, determine an abnormality value of the third pixel point based on the similarity between the multiple target pixel points and the third pixel point.
  • an embodiment of the present disclosure provides a method for determining the similarity between each target pixel point and a third pixel point, including:
  • S301 Based on the position of the third pixel in the first image and a preset second distance threshold, obtain a first sub-image corresponding to the third pixel; The position in the second image and the second distance threshold are obtained to obtain a second sub-image corresponding to each target pixel.
  • the first sub-image corresponding to the third pixel point may be obtained in the following manner: in the first image, determine the third pixel point as the center of the circle and the second distance threshold as the radius In a circular area, the first sub-image is obtained based on the third pixel point located in the first circular area on the first image; the second sub-image corresponding to each target pixel is obtained in the following manner : In the second image, determine a second circular area with each target pixel as the center and the second distance threshold as the radius, based on the second image on the second circular area The fourth pixel in the area is obtained to obtain the second sub-image.
  • the first sub-image and the second sub-image have the same size; and the first sub-image can be formed based on all the third pixel points located in the first circular area, and based on all the third pixel points located in the second circular area.
  • the fourth pixel constitutes the second sub-image.
  • the first sub-image may also be formed based on a part of the third pixel points located in the first circular area
  • the second sub-image may be formed based on a part of the fourth pixel points located in the second circular area.
  • the position of each third pixel in the first sub-image in the first image matches the position of each fourth pixel in the second sub-image in the second image one by one.
  • the first sub-image corresponding to the third pixel can be obtained in the following manner: determining the side length of the target based on the second distance threshold; above, determine the first square area with the third pixel as the center and the determined target side length as the side length, and based on the third pixel located in the first square area on the first image, obtain the first sub-image; the second sub-image corresponding to each target pixel is obtained in the following manner: on the second image, determine the determined target centered on each target pixel The side length is the second square area of the side length; based on the fourth pixel point located in the second square area on the second image, the second sub-image is obtained.
  • the first sub-image can be formed based on all the third pixel points located in the first square area
  • the second sub-image can also be formed based on all the fourth pixel points located in the second square area.
  • the first sub-picture may be formed based on some third pixels located in the first square area
  • the second sub-picture may be formed based on some of the fourth pixels located in the second square area.
  • the position of each third pixel in the first sub-image in the first image matches the position of each fourth pixel in the second sub-image in the second image one by one.
  • S302 Based on the first sub-image and the second sub-image, determine the similarity between each target pixel point and the third pixel point.
  • patch A represents the first sub-image
  • Patch B represents the second sub-image
  • patch A *Patch B represents the matrix multiplication of the first sub-image and the second sub-image, and the result of the matrix multiplication between the two is a size
  • sum( ) represents the sum of the element values of all elements in the matrix obtained by multiplying the first subgraph and the second subgraph.
  • the range of NCC n is [-1, 1]. The higher the value of this coefficient, the more similar the third pixel is to the corresponding target pixel.
  • the similarity between the multiple target pixels of each third pixel and the third pixel for example, it can be determined that the similarity between the multiple target pixels and the third pixel is among the The maximum similarity; based on the maximum similarity, determine the abnormality value of the third pixel point.
  • the abnormality value S of the third pixel point for example, satisfies the following formula (2):
  • H represents the maximum similarity.
  • ⁇ is a preset coefficient, such as 1, 0.5, etc., which can be set according to actual needs.
  • the average similarity may be determined according to the similarities between the plurality of target pixels and the third pixel, and the abnormality value of the third pixel may be determined based on the average similarity.
  • the method for generating a mask image corresponding to the image to be detected further includes:
  • S204 Determine, according to the abnormality value of the third pixel point, the abnormality degree value of the second pixel point corresponding to the third pixel point in the image to be detected.
  • the abnormality value of each third pixel in the first image can be determined as the second pixel in the image to be detected whose position matches the third pixel. outlier value.
  • the first feature map of the image to be detected is used as the first image
  • the second feature map of the template image is used as the second image
  • the feature points in the first feature map and the second pixel points in the image to be detected have a certain mapping relationship, so each third pixel point in the first feature map and each third pixel point in the image to be detected.
  • Two pixel points also have the same mapping relationship, so the mapping relationship between each third pixel point in the first feature map and each second pixel point in the to-be-detected image, and the first feature map
  • the anomaly degree value of each third pixel point in determine the abnormal degree value corresponding to each second pixel point.
  • the defect detection result of the to-be-detected image is determined based on the mask image.
  • the template image and the to-be-detected image may be used to determine the intermediate defect detection result of the to-be-detected image; wherein, the intermediate defect detection result , including the first probability that each second pixel point in the image to be detected has a defect.
  • the size of the matrix is consistent with the size of the image to be detected; the element value of any element in the matrix is the probability that the second pixel corresponding to the element has defects, and the higher the element value is is larger, the probability that the corresponding second pixel point has defects is also larger; and in the mask image, the pixel value of each first pixel point indicates that the second pixel point matching the first pixel point in the image to be detected has defects.
  • the abnormality value of the larger the abnormality value, the greater the possibility that the second pixel has defects; then the matrix is multiplied by the mask image to obtain the defect detection result of the image to be detected.
  • the defect detection result includes a second probability that each second pixel in the image to be detected has a defect.
  • the intermediate defect detection results indicate that a certain second pixel is more likely to have defects, but the mask image indicates that the second pixel is more likely to have no defects, Then, the obtained second probability of the second pixel will change by a certain value, and the change of the value indicates that the probability of the second pixel having a defect decreases.
  • the intermediate defect detection result indicates that it is more likely that a certain second pixel has no defects, but the mask image indicates that the second pixel is more likely to have defects, then the obtained second pixel of the second pixel is more likely to have defects.
  • the change in the value of the probability indicates that the probability that the second pixel point has a defect increases.
  • the intermediate defect detection result indicates that a certain second pixel is more likely to have defects, and the mask image indicates that the second pixel is more likely to have defects, then the obtained second probability of the second pixel is determined.
  • the change of the value that occurs, the probability that the second pixel point has a defect is further strengthened.
  • the intermediate defect detection result indicates that a certain second pixel is more likely to have no defects, and the mask image indicates that the second pixel is more likely to have no defects, then the obtained second pixel of the second pixel is more likely to have no defects.
  • the change in the value of the probability indicates that the probability that there is no defect in the second pixel point is further strengthened.
  • the defect detection result of the to-be-detected image can be assisted to obtain higher detection accuracy.
  • a mask image corresponding to the image to be detected is generated by using the template image and the image to be detected, and the pixel value of each first pixel in the mask image represents the second pixel value at the corresponding position in the image to be detected. Whether the pixel has an abnormality value of defects, and then according to the mask image, the detection result of the image to be detected is determined, which has higher detection accuracy.
  • the defect detection method provided by the embodiments of the present disclosure can be applied to technical fields such as industrial image correlation or artificial intelligence (artificial intelligence, AI) education, for example, can be applied to industrial image processing and embedded image detection.
  • industrial image correlation or artificial intelligence (artificial intelligence, AI) education for example, can be applied to industrial image processing and embedded image detection.
  • AI artificial intelligence
  • the writing order of each step does not mean a strict execution order but constitutes any limitation on the implementation process, and the specific execution order of each step should be based on its function and possible Internal logic is determined.
  • the embodiments of the present disclosure also provide a defect detection device corresponding to the defect detection method. See implementation of the method.
  • the device includes: an acquisition part 41 , a generation part 42 , and a detection part 43 ; wherein,
  • an acquisition part 41 configured to acquire a template image and an image to be detected
  • the generating part 42 is configured to generate a mask image corresponding to the to-be-detected image based on the template image and the to-be-detected image; the pixel value of each first pixel in the mask image represents the The second pixel has an abnormality value of a defect; the second pixel is a pixel whose position in the image to be detected matches the first pixel;
  • the detection part 43 is configured to determine a defect detection result of the image to be detected based on the mask image.
  • the generating part 42 is further configured to:
  • each third pixel in the first image from the second image, determine a plurality of target pixels corresponding to the third pixel; the plurality of target pixels and the second The distance between the target fourth pixel points in the image is less than the first distance threshold, and the target fourth pixel point is the fourth pixel point whose position matches the third pixel point in the second image;
  • the abnormality degree value of the second pixel point corresponding to the third pixel point in the image to be detected is determined.
  • the generating part 42 is further configured to:
  • the generating part 42 is further configured to:
  • the generating part 42 is further configured to:
  • the generating part 42 is further configured to:
  • the similarity between each target pixel point and the third pixel point is determined.
  • the generating part 42 is further configured to:
  • the first image determine a first circular area with the third pixel as the center and the second distance threshold as the radius, based on the first circular area on the first image the third pixel point to obtain the first sub-image;
  • the generating part 42 is also configured to:
  • the first image determine a first circular area with the third pixel as the center and the second distance threshold as the radius, based on the first circular area on the first image the third pixel point to obtain the first sub-image;
  • the generating part 42 is further configured to:
  • the generating part 42 is further configured to:
  • the abnormality value of each third pixel in the first image is determined as the to-be-detected image
  • the abnormality value of the second pixel point whose position matches the third pixel point in the image is detected.
  • the generating part 42 is further configured to:
  • the mapping relationship between each second pixel point and the abnormality degree value of each third pixel point in the first feature map determine the abnormality degree value corresponding to each second pixel point.
  • a "part" may be a part of a circuit, a part of a processor, a part of a program or software, etc., of course, a unit, a module or a non-modularity.
  • An embodiment of the present disclosure further provides a computer device 10.
  • a schematic structural diagram of the computer device 10 provided by the embodiment of the present disclosure includes:
  • a mask image corresponding to the to-be-detected image is generated; the pixel value of each first pixel in the mask image represents the position and the A second pixel matched with a pixel has an abnormality value of a defect; the second pixel is a pixel whose position in the image to be detected matches the first pixel;
  • a defect detection result of the to-be-detected image is determined.
  • Embodiments of the present disclosure further provide a computer-readable storage medium, where a computer program is stored on the computer-readable storage medium, and when the computer program is run by a processor, the steps of the defect detection method described in the above method embodiments are executed.
  • the storage medium may be a volatile or non-volatile computer-readable storage medium.
  • Embodiments of the present disclosure further provide a computer program product, where the computer program product carries program code (computer-readable code), and the program code includes instructions that can be used to execute the steps of the defect detection method described in the above method embodiments , for details, refer to the above method embodiments.
  • program code computer-readable code
  • the above-mentioned computer program product can be specifically implemented by means of hardware, software or a combination thereof.
  • the computer program product is embodied as a computer storage medium, and in another optional embodiment, the computer program product is embodied as a software product, such as a software development kit (Software Development Kit, SDK), etc. Wait.
  • the units described as separate components may or may not be physically separated, and components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution in this embodiment.
  • the functions, if implemented in the form of software functional units and sold or used as stand-alone products, may be stored in a processor-executable non-volatile computer-readable storage medium.
  • the technical solutions of the present disclosure can be embodied in the form of software products in essence, or the parts that make contributions to the prior art or the parts of the technical solutions.
  • the computer software products are stored in a storage medium, including Several instructions are used to cause a computer device (which may be a personal computer, a server, or a network device, etc.) to execute all or part of the steps of the methods described in various embodiments of the present disclosure.
  • a computer-readable storage medium can also be a tangible device that holds and stores instructions for use by the instruction execution device, and can be a volatile storage medium or a non-volatile storage medium.
  • the computer-readable storage medium may be, for example, but not limited to, an electrical storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination of the foregoing.
  • a more specific list (non-exhaustive list) of computer-readable storage media includes: USB sticks, magnetic disks, optical disks, portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), erasable Programmable Read Only Memory (EPROM or Flash), Static Random Access Memory Reader (ROM), Portable Compact Disc Read Only Memory (CD-ROM), Digital Versatile Disc (DVD), Memory Stick, Floppy Disk, Memory Encoding Device, Such as punch cards or recessed structures with instructions stored thereon, and any suitable combination of the above.
  • Computer-readable storage media are not to be interpreted as transient signals per se, such as radio waves or other freely propagating battery waves, battery waves propagating through waveguides or other media media (eg, light pulses through fiber optic cables), or Electrical signals transmitted through wires.
  • Embodiments of the present disclosure provide a defect detection method, apparatus, computer device, and computer-readable storage medium, wherein the method includes: acquiring a template image and an image to be detected; Detect the mask image corresponding to the image; the pixel value of each first pixel in the mask image represents the abnormality value of the defect in the second pixel whose position matches each first pixel; the second pixel is to be Detecting pixel points in the image whose positions match the first pixel point; determining the defect detection result of the image to be detected based on the mask image.
  • the embodiments of the present disclosure generate a mask image corresponding to the to-be-detected image based on the template image and the to-be-detected image, and the pixel value of each first pixel in the mask image represents the second pixel value at the corresponding position in the to-be-detected image. Whether the pixel point has an abnormality value of defects, and then according to the mask image, the detection result of the image to be detected is determined, which has higher detection accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

一种缺陷检测方法、装置、计算机设备及计算机可读存储介质，其中，该方法包括：获取模板图像、以及待检测图像(S101)；基于模板图像、以及待检测图像，生成与待检测图像对应的蒙版图像；蒙版图像中每个第一像素点的像素值，表征位置与每个第一像素点匹配的第二像素点存在缺陷的异常度值；第二像素点为待检测图像中位置与第一像素点匹配的像素点(S102)；基于蒙版图像，确定待检测图像的缺陷检测结果(S103)。

Description

一种缺陷检测方法、装置、计算机设备及计算机可读存储介质
相关申请的交叉引用
本公开基于申请号为202110055119.9、申请日为2021年01月15日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本公开作为参考。
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种缺陷检测方法、装置、计算机设备及计算机可读存储介质。
背景技术
随着科技的发展，现代制造业对于印刷电路板(Printed circuit board，PCB)的需求也日益增长。电子设备性能的优劣不但受电子元器件本身质量和性能的影响，而且在很大程度上取决于PCB质量的好坏。PCB缺陷检测技术是关系到电子系统质量和生产周期的重要环节，自从PCB发明以来就备受重视。当前各种设备的生产厂商对于电路板的要求越来越高，不只是追求更高性能和生产效率，对电路板的良品率等质量因素还有更加严格的要求。
当前通常利用自动光学检测(Automated Optical Inspection，AOI)设备来进行PCB缺陷检测；AOI设备在自动检测时，通过摄像头对PCB进行自动扫描得到PCB图像，然后将PCB图像中的焊点与数据库中合格PCB的模板图像进行比较，以检查出PCB上存在的缺陷。
发明内容
本公开实施例至少提供一种缺陷检测方法、装置、计算机设备及计算机可读存储介质。
第一方面，本公开实施例提供了一种缺陷检测方法，包括：获取模板图像、以及待检测图像；基于所述模板图像、以及所述待检测图像，生成与所述待检测图像对应的蒙版图像；所述蒙版图像中每个第一像素点的像素值，表征第二像素点存在缺陷的异常度值；所述第二像素点为所述待检测图像中位置与所述第一像素点匹配的像素点；基于所述蒙版图像，确定所述待检测图像的缺陷检测结果。
这样，通过模板图像和待检测图像，生成待检测图像对应的蒙版图像，该蒙版图像中的每个第一像素点的像素值，表征了在待检测图像中对应位置的第二像素点是否存在缺陷的异常度值，然后根据蒙版图像，确定待检测图像的检测结果，具有更高的检测精度。
一种可能的实施方式中，所述基于所述模板图像、以及所述待检测图像，生成与所述待检测图像对应的蒙版图像，包括：根据所述待检测图像确定第 一图像，以及根据所述模板图像，确定第二图像；针对所述第一图像中的每个第三像素点，从所述第二图像中，确定与该第三像素点对应的多个目标像素点；所述多个目标像素点与所述第二图像中的目标第四像素点之间的距离小于第一距离阈值，所述目标第四像素点为所述第二图像中位置与所述第三像素点匹配的第四像素点；针对每个所述第三像素点，基于所述多个目标像素点分别与该第三像素点之间的相似度，确定该第三像素点的异常度值；根据所述第三像素点的异常度值，确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值。
这样，通过从第二图像中确定与第一图像中的各个第三像素点对应的多个目标像素点，基于多个目标像素点分别与对应第三像素点之间的相似度来确定该对应第三像素点的异常度值，进而得到与该第三像素点对应的第二像素点的异常度值，使得第二像素点的异常度值受到模板图像中多个像素点的影响，以降低生产误差、匹配误差、采集噪声等对待检测图像中第二像素点的缺陷检测结果的影响，提升对待检测图像的缺陷检测精度。
一种可能的实施方式中，所述根据所述待检测图像确定第一图像，以及根据所述模板图像，确定第二图像，包括：将所述待检测图像确定为所述第一图像，以及将所述模板图像确定为所述第二图像；或者，所述根据所述待检测图像确定第一图像，以及根据所述模板图像，确定第二图像，包括：获取所述待检测图像的第一特征图，并将所述第一特征图确定为所述第一图像；获取所述模板图像的第二特征图，并将所述第二特征图确定为所述第二图像。
这样，将待检测图像确定为第一图像、将模板图像确定为第二图像，也即直接基于待检测图像和模板图像得到待检测图像的蒙版图像，蒙版图像所表征的待检测图像中各个第二像素点的存在缺陷的异常度值更加精确；将待检测图像的第一特征图作为第一图像、将模板图像的第二特征图作为第二图像，也即基于第一特征图和第二特征图得到待检测图像的蒙版图像，有利于减少生成蒙版图像时所需要耗费的运算量和运算时间，提升检测效率。
一种可能的实施方式中，所述针对每个所述第三像素点，基于所述多个目标像素点分别与该第三像素点之间的相似度，确定该第三像素点的异常度值，包括：确定所述多个目标像素点分别与该第三像素点之间的相似度中的最大相似度；基于所述最大相似度，确定该第三像素点的异常度值。
这样，基于多个目标像素点分别与第三像素点之间的相似度中的最大相似度，来确定第三像素点的异常度值，能够提升蒙版图像所表征的各个第二像素点是否存在异常的精确度。
一种可能的实施方式中，所述针对所述第一图像中的每个第三像素点，从所述第二图像中，确定与该第三像素点对应的多个目标像素点，包括：针对所述第一图像中的每个第三像素点，从所述第二图像的多个第四像素点中，确定与该第三像素点位置匹配的目标第四像素点；从所述第二图像的多个所述第四像素点中，确定与所述目标第四像素点距离小于第一距离阈值的多个第四像素点，并将确定的第四像素点确定为所述目标像素点。
这样，通过第一距离阈值的限定，确定目标像素点，以基于各个目标像素点与对应第三像素点之间的相似度，来确定蒙版图像，进而降低由于生产误差、采集噪声、匹配误差等对待检测图像的缺陷检测造成的影响。
一种可能的实施方式中，针对每个所述第三像素点，采用下述方式确定每个目标像素点与该第三像素点之间的相似度：基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值，得到该第三像素点对应的第一子图；以及基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值，得到所述每个目标像素点对应的第二子图；基于所述第一子图、以及所述第二子图，确定所述每个目标像素点与该第三像素点之间的相似度。
这样，通过第三像素点周围的区域、以及目标像素点周围的区域，来确定第三像素点和目标像素点之间的相似度，能够降低由于生产误差、采集噪声、匹配误差等对待检测图像的缺陷检测造成的影响。
一种可能的实施方式中，所述基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值，得到该第三像素点对应的第一子图，包括：在所述第一图像中，确定以该第三像素点为圆心、以所述第二距离阈值为半径的第一圆形区域，基于所述第一图像上位于该第一圆形区域内的第三像素点，得到所述第一子图；所述基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值，得到所述每个目标像素点对应的第二子图，包括：在所述第二图像中，确定以所述每个目标像素点为圆心、以所述第二距离阈值为半径的第二圆形区域，基于所述第二图像上位于该第二圆形区域内的第四像素点，得到所述第二子图。
一种可能的实施方式中，所述基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值，得到该第三像素点对应的第一子图，包括：基于所述第二距离阈值，确定目标边长；在所述第一图像上，确定以该第三像素点为中心、以确定的所述目标边长为边长的第一正方形区域，基于所述第一图像上位于该第一正方形区域内的第三像素点，得到所述第一子图；所述基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值，得到所述每个目标像素点对应的第二子图，包括：在所述第二图像上，确定以所述每个目标像素点为中心、以确定的所述目标边长为边长的第二正方形区域；基于所述第二图像上位于该第二正方形区域内的第四像素点，得到所述第二子图。
一种可能的实施方式中，在所述第一图像为所述待检测图像、所述第二图像为所述模板图像的情况下，所述根据所述第三像素点的异常度值，确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值，包括：将所述第一图像中每个第三像素点的异常度值，确定为所述待检测图像中位置与所述第三像素点匹配的第二像素点的异常度值。
一种可能的实施方式中，在所述第一图像为所述第一特征图、所述第二图像为所述第二特征图的情况下，所述根据所述第三像素点的异常度值，确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值，包括： 根据所述第一特征图中各个第三像素点与所述待检测图像中各个第二像素点之间的映射关系、以及所述第一特征图中每个第三像素点的异常度值，确定与每个第二像素点对应的异常度值。
第二方面，本公开实施例还提供一种缺陷检测装置，包括：获取部分，被配置为获取模板图像、以及待检测图像；生成部分，被配置为基于所述模板图像、以及所述待检测图像，生成与所述待检测图像对应的蒙版图像；所述蒙版图像中每个第一像素点的像素值，表征第二像素点存在缺陷的异常度值；所述第二像素点为所述待检测图像中位置与所述第一像素点匹配的像素点；检测部分，被配置为基于所述蒙版图像，确定所述待检测图像的缺陷检测结果。
一种可能的实施方式中，所述生成部分，还被配置为：根据所述待检测图像确定第一图像，以及根据所述模板图像，确定第二图像；针对所述第一图像中的每个第三像素点，从所述第二图像中，确定与该第三像素点对应的多个目标像素点；所述多个目标像素点与所述第二图像中的目标第四像素点之间的距离小于第一距离阈值，所述目标第四像素点为所述第二图像中位置与所述第三像素点匹配的第四像素点；针对每个所述第三像素点，基于所述多个所述目标像素点分别与该第三像素点之间的相似度，确定该第三像素点的异常度值；根据所述第三像素点的异常度值，确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值。
一种可能的实施方式中，所述生成部分，还被配置为：将所述待检测图像确定为所述第一图像，以及将所述模板图像确定为所述第二图像；或者，获取所述待检测图像的第一特征图，并将所述第一特征图确定为所述第一图像；获取所述模板图像的第二特征图，并将所述第二特征图确定为所述第二图像。
一种可能的实施方式中，所述生成部分，还被配置为：确定所述多个目标像素点分别与该第三像素点之间的相似度中的最大相似度；基于所述最大相似度，确定该第三像素点的异常度值。
一种可能的实施方式中，所述生成部分，还被配置为：针对所述第一图像中的每个第三像素点，从所述第二图像的多个第四像素点中，确定与该第三像素点位置匹配的目标第四像素点；从所述第二图像的多个所述第四像素点中，确定与所述目标第四像素点距离小于第一距离阈值的多个第四像素点，并将确定的第四像素点确定为所述目标像素点。
一种可能的实施方式中，所述生成部分，还被配置为：针对每个所述第三像素点，基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值，得到该第三像素点对应的第一子图；以及基于每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值，得到所述每个目标像素点对应的第二子图；基于所述第一子图、以及所述第二子图，确定所述每个目标像素点与该第三像素点之间的相似度。
一种可能的实施方式中，所述生成部分，还被配置为：
在所述第一图像中，确定以该第三像素点为圆心、以所述第二距离阈值为半径的第一圆形区域，基于所述第一图像上位于该第一圆形区域内的第三像素点，得到所述第一子图；
在所述第二图像中，确定以所述每个目标像素点为圆心、以所述第二距离阈值为半径的第二圆形区域，基于所述第二图像上位于该第二圆形区域内的第四像素点，得到所述第二子图。
一种可能的实施方式中，所述生成部分，还被配置为：
基于所述第二距离阈值，确定目标边长；在所述第一图像上，确定以该第三像素点为中心、以确定的所述目标边长为边长的第一正方形区域，基于所述第一图像上位于该第一正方形区域内的第三像素点，得到所述第一子图；
在所述第二图像上，确定以所述每个目标像素点为中心、以确定的所述目标边长为边长的第二正方形区域；基于所述第二图像上位于该第二正方形区域内的第四像素点，得到所述第二子图。
一种可能的实施方式中，所述生成部分，还被配置为：在所述第一图像为所述待检测图像、所述第二图像为所述模板图像的情况下，将所述第一图像中每个第三像素点的异常度值，确定为所述待检测图像中位置与所述第三像素点匹配的第二像素点的异常度值。
一种可能的实施方式中，所述生成部分，还被配置为：在所述第一图像为所述第一特征图、所述第二图像为所述第二特征图的情况下，根据所述第一特征图中各个第三像素点与所述待检测图像中各个第二像素点之间的映射关系、以及所述第一特征图中每个第三像素点的异常度值，确定与每个第二像素点对应的异常度值。
第三方面，本公开实施例还提供一种计算机设备，包括：相互连接的处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，在计算机设备运行的情况下，所述机器可读指令被所述处理器执行以实现上述第一方面，或第一方面中任一种可能的实施方式中的缺陷检测方法。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的缺陷检测方法。
第五方面，本公开实施例还提供一种计算机程序，包括计算机可读代码，在所述计算机可读代码在计算机设备中运行的情况下，所述计算机设备中的处理器执行时实现上述第一方面，或第一方面中任一种可能的实施方式中的缺陷检测方法。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的 一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的缺陷检测系统的一个系统架构图；
图2示出了本公开实施例所提供的一种缺陷检测方法的流程图；
图3示出了本公开实施例所提供的生成与待检测图像对应的蒙版图像的方法的流程图；
图4示出了本公开实施例所提供的确定每个目标像素点和第三像素点之间的相似度的方法的流程图；
图5示出了本公开实施例所提供的一种缺陷检测装置的结构示意图；
图6示出了本公开实施例所提供的一种计算机设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，在使用AOI设备对PCB进行缺陷检测的情况下，首先需要专业的工程师根据PCB上焊点的位置，针对PCB进行编程；在编程后，通过AOI设备上的摄像头自动扫描PCB得到PCB图像，然后将PCB图像中的焊点与数据库中合格图像的金属焊点进行比较；在PCB图像中任一金属焊点与合格图像中对应金属焊点的形状不一致的情况下，则确定该焊点可能存在缺陷，然后将该焊点位置标注出来，并通过AOI设备上的显示设备展示给工程师，以使工程师能够基于缺陷检测结果来进行后续处理。
但是实际上，PCB在生产过程中，常常造成PCB上存在生产误差；另外在将PCB的待检测图像和模板图像进行比对时，也会存在图像之间的匹配误差；此外，待检测图像在采集过程中也可能存在采集噪声；这些误差导致了当前对PCB的缺陷检测结果存在大量误检区域，造成缺陷检测精度的下降。
基于上述研究，本公开实施例提供了一种缺陷检测方法及装置，通过模板图像和待检测图像，生成待检测图像对应的蒙版图像，该蒙版图像中的每个第一像素点的像素值，表征了在待检测图像中对应位置的第二像素点是否存在缺陷的异常度值，然后根据蒙版图像，确定待检测图像的检测结果，具有更高的检测精度。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种缺陷检测方法进行详细介绍，本公开实施例所提供的缺陷检测方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为专用于进行PCB质量检测的设备，也可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
另外，本公开实施行例提供的缺陷检测方法除了能够用于对PCB进行缺陷检测外，还可以对其他物品进行缺陷检测，例如工件、机器部件等。
图1为本公开实施例所提供的缺陷检测系统的一个系统架构图；如图1所示，缺陷检测系统100包括服务器10和终端设备20，且服务器10和终端设备20通过网络连接。终端设备20用于获取模板图像和待检测图像，基于模板图像和待检测图像，生成与待检测图像对应的蒙版图像，并基于蒙版图像，确定待检测图像的缺陷检测结果，其中，蒙版图像中每个第一像素点的像素值，表征第二像素点存在缺陷的异常度值，第二像素点为待检测图像中位置与第一像素点匹配的像素点。服务器10用于接收并存储终端设备20发送的模板图像，或者，根据终端设备20的获取请求，向终端设备20发送所需的模板图像。
在一些实施例中，终端设备20可以在获取到模板图像后，将模板图像发送至服务器10进行备份存储，以使其他终端设备可以从服务器10处直接获取模板图像，以进行缺陷检测，从而提高其他终端设备进行缺陷检测时的检测效率。
在另一些实施例中，在服务器10中已存储有终端设备20所需的模板图像，终端设备20则可以直接从服务器10处获取所需的模板图像，以提高终端设备20进行缺陷检测时的检测效率。
下面以对PCB进行缺陷检测为例对本公开实施例提供的缺陷检测方法加以详细说明。
参见图2所示，为本公开实施例提供的缺陷检测方法的流程图，所述方法包括步骤S101～S103，其中：
S101：获取模板图像、以及待检测图像；
S102：基于所述模板图像、以及所述待检测图像，生成与所述待检测图像对应的蒙版图像；所述蒙版图像中每个第一像素点的像素值，表征第二像素点存在缺陷的异常度值；所述第二像素点为所述待检测图像中位置与所述第一像素点匹配的像素点；
S103：基于所述蒙版图像，确定所述待检测图像的缺陷检测结果。
下面对上述S101～S103加以详细说明。
在上述S101中，模板图像，是指在对PCB进行缺陷检测时所用的对合格的PCB拍摄的图像。待检测图像，是指对待检测的PCB获取的图像。
在对待检测PCB进行缺陷检测的情况下，例如首先可以获取待检测PCB的型号或者标识；然后根据PCB的型号或者标识，从预先构建的模板图像库中，获取与待检测PCB对应的模板图像；又例如，在模板图像库中不存在待检测PCB的模板图像的情况下，例如可以首先从多个待检测PCB中确定一未存在缺陷的模板PCB，然后获取该模板PCB的图像，以得到模板图像。
待检测图像例如可以通过缺陷检测设备上设置的图像采集模组来获取，也可以接收其他设备传输的待检测图像。
在上述S102中，为了降低生产误差、匹配误差、采集噪声等对缺陷检测过程造成的影响，本公开实施例在生成与待检测图像对应的蒙版图像时，使得蒙版图像中任一第一像素点的像素值，受到模板图像中多个像素点的像素值的影响，进而使得蒙版图像中的各个第一像素点，能够更准确的表征在待检测图像中位置匹配的第二像素点存在缺陷的异常度值，进而得到待检测图像更高的缺陷检测结果。
参见图3所示，本公开实施例提供一种基于模板图像、以及待检测图像，生成与待检测图像对应的蒙版图像的方法，包括：
S201：根据所述待检测图像确定第一图像，以及根据所述模板图像，确定第二图像。
此处，在一种可能的实施方式中，可以将待检测图像确定为第一图像，并将模板图像确定为第二图像。
此时，基于第一图像和第二图像生成与待检测图像对应的蒙版图像的过程，实质为直接基于待检测图像和模板图像执行如下述S202～S204的过程，以得到待检测图像的蒙版图像。
在另一种可能的实施方式中，可以获取待检测图像的第一特征图，并将第一特征图确定为第一图像；获取模板图像的第二特征图，并将第二特征图确定为第二图像。
该种情况下，基于第一图像和第二图像生成与待检测图像对应的蒙版图像的过程，是指为基于待检测图像的第一特征图和模板图像的第二特征图执行如下述S202～S204的过程，以得到待检测图像的蒙版图像。
另外，在该种情况下，例如可以采用特征提取神经网络分别对待检测图像和模板图像进行特征提取处理，以得到待检测图像的第一特征图和模板图像的第二特征图。
此外，在对多个相同型号的PCB的多张待检测图像进行缺陷检测处理的情况下，由于所采用的模板图像都是同一张，因此可以针对模板图像只提取一次第二特征图，并将其第二特征图进行存储；在对多张待检测图像中的每张待检测图像进行缺陷检测时，在已经存在模板图像的第二特征图的情况下，可从存储第二特征图的存储位置读取第二特征图，并利用特征提取网络对待 检测图像进行特征提取处理，得到每张待检测图像的第一特征图。
S202：针对所述第一图像中的每个第三像素点，从所述第二图像中，确定与该第三像素点对应的多个目标像素点；所述多个目标像素点与所述第二图像中的目标第四像素点之间的距离小于第一距离阈值，所述目标第四像素点为所述第二图像中位置与所述第三像素点匹配的第四像素点。
此处，第一图像由多个第三像素点构成；在第一图像为待检测图像的情况下，第一图像中的各个第三像素点，与待检测图像中的各个第二像素点一一对应；在第一图像为待检测图像的第一特征图的情况下，第一图像中的各个第三像素点，与第一特征图中的各个特征点一一对应。
类似的，第二图像由多个第四像素点构成；在第二图像为模板图像的情况下，第二图像中的各个第四像素点与模板图像中的各个像素点一一对应；在第二图像为模板图像的第二特征图的情况下，第二图像中的各个第四像素点与第二特征图中的各个特征点一一对应。
这里，本公开实施例提供一种针对每个第三像素点，从第二图像中确定与该第三像素点对应的多个目标像素点的方法，包括：针对所述第一图像中的每个第三像素点，从所述第二图像的多个第四像素点中，确定与该第三像素点位置匹配的目标第四像素点；从所述第二图像的多个所述第四像素点中，确定与所述目标第四像素点距离小于第一距离阈值的多个第四像素点，并将确定的第四像素点确定为所述目标像素点。
示例性的，第四像素点与目标第四像素点之间的距离例如包括：L1距离、L2距离、欧式距离、或者曼哈顿距离中任一种。
在为每一个第三像素点确定多个目标像素点的情况下，可以将与目标第四像素点的距离小于第一距离阈值的所有第四像素点均作为目标像素点；也可以将与目标第四像素点的距离小于第一距离阈值的所有第四像素点作为备选像素点，然后按照随机采样、或者均匀间隔采样的方式，从多个备选像素点中确定多个目标像素点。
S203：针对每个所述第三像素点，基于所述多个目标像素点分别与该第三像素点之间的相似度，确定该第三像素点的异常度值。
在一些实施例中，参见图4所示，本公开实施例提供一种确定每个目标像素点和第三像素点之间的相似度的方法，包括：
S301：基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值，得到该第三像素点对应的第一子图；基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值，得到所述每个目标像素点对应的第二子图。
此处，例如可以采用下述方式得到第三像素点对应的第一子图：在所述第一图像中，确定以该第三像素点为圆心、以所述第二距离阈值为半径的第一圆形区域，基于所述第一图像上位于该第一圆形区域内的第三像素点，得到所述第一子图；采用下述方式得到每个目标像素点对应的第二子图：在所述第二图像中，确定以所述每个目标像素点为圆心、以所述第二距离阈值为 半径的第二圆形区域，基于所述第二图像上位于该第二圆形区域内的第四像素点，得到所述第二子图。
示例性的，第一子图和第二子图的尺寸相同；且可以基于位于第一圆形区域内的全部第三像素点构成第一子图，并基于位于第二圆形区域内的全部第四像素点构成第二子图。
另外，也可以基于位于第一圆形区域内的部分第三像素点构成第一子图，并基于位于第二圆形区域内的部分第四像素点构成第二子图。在该种情况下，第一子图中的各个第三像素点在第一图像中的位置，与第二子图中的各个第四像素点在第二图像中的位置一一匹配。
另外，在另一种可能的实施方式中，例如还可以采用下述方式得到第三像素点对应的第一子图：基于所述第二距离阈值，确定目标边长；在所述第一图像上，确定以该第三像素点为中心、以确定的所述目标边长为边长的第一正方形区域，基于所述第一图像上位于该第一正方形区域内的第三像素点，得到所述第一子图；采用下述方式得到每个目标像素点对应的第二子图：在所述第二图像上，确定以所述每个目标像素点为中心、以确定的所述目标边长为边长的第二正方形区域；基于所述第二图像上位于该第二正方形区域内的第四像素点，得到所述第二子图。
此处，目标边长L例如满足：L＝2r+1；其中，r表示第二距离阈值。
类似的，可以基于位于第一正方形区域内的全部第三像素点构成第一子图，也可以基于位于第二正方形区域内的全部第四像素点构成第二子图。
另外，也可以基于位于第一正方形区域内的部分第三像素点构成第一子图，也可以基于位于第二正方形区域内的部分第四像素点构成第二子图。在该种情况下，第一子图中的各个第三像素点在第一图像中的位置，与第二子图中的各个第四像素点在第二图像中的位置一一匹配。
S302：基于所述第一子图、以及所述第二子图，确定所述每个目标像素点与该第三像素点之间的相似度。
示例性的，若与任一第三像素点对应的目标像素点有N个，则第n个目标像素点和该任一第三像素点之间的相似度NCC n满足下述公式(1)：
Figure PCTCN2021101788-appb-000001
其中，patch A表示第一子图；Patch B表示第二子图；patch A*Patch B表示将第一子图和第二子图进行矩阵相乘，两者进行矩阵相乘的结果为一尺寸和第一子图、第二子图相同的矩阵；sum(·)表示将第一子图和第二子图进行矩阵相乘后得到的矩阵中所有元素的元素值求和。NCC n范围为[-1,1]，此系数值越高，代表第三像素点和对应的目标像素点之间越相似。
在确定各个第三像素点的多个目标像素点分别和该第三像素点之间的相似度后，例如可以确定所述多个目标像素点分别与该第三像素点之间的相似度中的最大相似度；基于所述最大相似度，确定该第三像素点的异常度值。
此处，该第三像素点的异常度值S例如满足下述公式(2)：
S＝1-λ×H                         (2)
其中，H表示最大相似度。λ为预设系数，例如为1、0.5等，可以根据实际的需要进行设定。
又例如，可以根据多个目标像素点分别与该第三像素点之间的相似度，确定相似度均值，并基于该相似度均值，确定该第三像素点的异常度值。
基于相似度均值确定异常度值的方式与上述公式(2)类似。
承接上述S203，本公开实施例提供的生成与待检测图像的对应的蒙版图像的方法还包括：
S204：根据所述第三像素点的异常度值，确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值。
在一些实施例中，在将待检测图像确定为第一图像，并将模板图像确定为第二图像的情况下，由于第一图像中的第三像素点和待检测图像中的第二像素点具有一一对应关系，因此，可以将所述第一图像中每个第三像素点的异常度值，确定为所述待检测图像中位置与所述第三像素点匹配的第二像素点的异常度值。
在将待检测图像的第一特征图作为第一图像，并将模板图像的第二特征图作为第二图像的情况下，由于第一图像的第三像素点和第一特征图中的特征点具有一一对应关系，且第一特征图中的特征点和待检测图像中第二像素点具有一定的映射关系，因而第一特征图中的各个第三像素点与待检测图像中的各个第二像素点也具有相同的映射关系，因此可以根据所述第一特征图中各个第三像素点与所述待检测图像中各个第二像素点之间的映射关系、以及所述第一特征图中每个第三像素点的异常度值，确定与每个第二像素点对应的异常度值。
在上述S103中，基于所述蒙版图像，确定所述待检测图像的缺陷检测结果，例如首先可以利用模板图像和待检测图像，确定待检测图像的中间缺陷检测结果；其中，中间缺陷检测结果中，包括了待检测图像中各个第二像素点存在缺陷的第一概率。然后利用该中间检测结果构成一矩阵，该矩阵的尺寸与待检测图像的尺寸一致；该矩阵中任一元素的元素值，为该元素对应的第二像素点存在缺陷的概率，且元素值越大，对应的第二像素点存在缺陷的概率也越大；而在蒙版图像中，各个第一像素点的像素值表征在待检测图像中与第一像素点匹配的第二像素点存在缺陷的异常度值；该异常度值越大，表征该第二像素点存在缺陷的可能性也就越大；然后将该矩阵与蒙版图像进行矩阵相乘，得到待检测图像的缺陷检测结果。在该缺陷检测结果中，包括了待检测图像中各个第二像素点存在缺陷的第二概率。
在中间缺陷检测结果中存在误检测的情况下，例如中间缺陷检测结果表征某个第二像素点存在缺陷的可能较大，但蒙版图像表征该第二像素点未存在缺陷的可能较大，则得到的该第二像素点的第二概率会发生一定数值的变化，该数值的变化指示该第二像素点存在缺陷的概率下降。
又例如，中间缺陷检测结果表征某个第二像素点未存在缺陷的可能较大，但蒙版图像表征该第二像素点存在缺陷的可能较大，则得到的该第二像素点的第二概率所发生的数值的变化，表征该第二像素点存在缺陷的概率上升。
又例如，中间缺陷检测结果表征某个第二像素点存在缺陷的可能较大，蒙版图像表征该第二像素点存在缺陷的可能较大，则得到的该第二像素点的第二概率所发生的数值的变化，表征该第二像素点存在缺陷的概率进一步被加强。
又例如，中间缺陷检测结果表征某个第二像素点未存在缺陷的可能较大，蒙版图像表征该第二像素点未存在缺陷的可能较大，则得到的该第二像素点的第二概率所发生的数值的变化，表征该第二像素点未存在缺陷的概率进一步被加强。
进而通过蒙版图像，辅助得到待检测图像的缺陷检测结果，具有更高的检测精度。
本公开实施例通过模板图像和待检测图像，生成待检测图像对应的蒙版图像，该蒙版图像中的每个第一像素点的像素值，表征了在待检测图像中对应位置的第二像素点是否存在缺陷的异常度值，然后根据蒙版图像，确定待检测图像的检测结果，具有更高的检测精度。
本公开实施例提供的缺陷检测方法，可以应用于与工业图像相关或人工智能(artificial intelligence，AI)教育等技术领域中，例如，可以应用于工业图像处理方面和嵌入式图像检测方面。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与缺陷检测方法对应的缺陷检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述缺陷检测方法相似，因此装置的实施可以参见方法的实施。
参照图5所示，为本公开实施例提供的一种缺陷检测装置的结构示意图，所述装置包括：获取部分41、生成部分42、以及检测部分43；其中，
获取部分41，被配置为获取模板图像、以及待检测图像；
生成部分42，被配置为基于所述模板图像、以及所述待检测图像，生成与所述待检测图像对应的蒙版图像；所述蒙版图像中每个第一像素点的像素值，表征第二像素点存在缺陷的异常度值；所述第二像素点为所述待检测图像中位置与所述第一像素点匹配的像素点；
检测部分43，被配置为基于所述蒙版图像，确定所述待检测图像的缺陷检测结果。
一种可能的实施方式中，所述生成部分42，还被配置为：
根据所述待检测图像确定第一图像，以及根据所述模板图像，确定第二图像；
针对所述第一图像中的每个第三像素点，从所述第二图像中，确定与该 第三像素点对应的多个目标像素点；所述多个目标像素点与所述第二图像中的目标第四像素点之间的距离小于第一距离阈值，所述目标第四像素点为所述第二图像中位置与所述第三像素点匹配的第四像素点；
针对每个所述第三像素点，基于所述多个所述目标像素点分别与该第三像素点之间的相似度，确定该第三像素点的异常度值；
根据所述第三像素点的异常度值，确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值。
一种可能的实施方式中，所述生成部分42，还被配置为：
将所述待检测图像确定为所述第一图像，以及将所述模板图像确定为所述第二图像；
或者，获取所述待检测图像的第一特征图，并将所述第一特征图确定为所述第一图像；获取所述模板图像的第二特征图，并将所述第二特征图确定为所述第二图像。
一种可能的实施方式中，所述生成部分42，还被配置为：
确定所述多个目标像素点分别与该第三像素点之间的相似度中的最大相似度；基于所述最大相似度，确定该第三像素点的异常度值。
一种可能的实施方式中，所述生成部分42，还被配置为：
针对所述第一图像中的每个第三像素点，从所述第二图像的多个第四像素点中，确定与该第三像素点位置匹配的目标第四像素点；
从所述第二图像的多个所述第四像素点中，确定与所述目标第四像素点距离小于第一距离阈值的多个第四像素点，并将确定的第四像素点确定为所述目标像素点。
一种可能的实施方式中，所述生成部分42，还被配置为：
针对每个所述第三像素点，基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值，得到该第三像素点对应的第一子图；以及
基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值，得到所述每个目标像素点对应的第二子图；
基于所述第一子图、以及所述第二子图，确定所述每个目标像素点与该第三像素点之间的相似度。
一种可能的实施方式中，所述生成部分42，还被配置为：
在所述第一图像中，确定以该第三像素点为圆心、以所述第二距离阈值为半径的第一圆形区域，基于所述第一图像上位于该第一圆形区域内的第三像素点，得到所述第一子图；
所述生成部分42，还被配置为：
在所述第一图像中，确定以该第三像素点为圆心、以所述第二距离阈值为半径的第一圆形区域，基于所述第一图像上位于该第一圆形区域内的第三像素点，得到所述第一子图；
在所述第二图像中，确定以所述每个目标像素点为圆心、以所述第二距离阈值为半径的第二圆形区域，基于所述第二图像上位于该第二圆形区域内 的第四像素点，得到所述第二子图。
一种可能的实施方式中，所述生成部分42，还被配置为：
基于所述第二距离阈值，确定目标边长；在所述第一图像上，确定以该第三像素点为中心、以确定的所述目标边长为边长的第一正方形区域，基于所述第一图像上位于该第一正方形区域内的第三像素点，得到所述第一子图；
在所述第二图像上，确定以所述每个目标像素点为中心、以确定的所述目标边长为边长的第二正方形区域；基于所述第二图像上位于该第二正方形区域内的第四像素点，得到所述第二子图。
一种可能的实施方式中，所述生成部分42，还被配置为：
在所述第一图像为所述待检测图像、所述第二图像为所述模板图像的情况下，将所述第一图像中每个第三像素点的异常度值，确定为所述待检测图像中位置与所述第三像素点匹配的第二像素点的异常度值。
一种可能的实施方式中，所述生成部分42，还被配置为：
在所述第一图像为所述第一特征图、所述第二图像为所述第二特征图的情况下，根据所述第一特征图中各个第三像素点与所述待检测图像中各个第二像素点之间的映射关系、以及所述第一特征图中每个第三像素点的异常度值，确定与每个第二像素点对应的异常度值。
关于装置中的各部分的处理流程、以及各部分之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
在本公开实施例以及其他的实施例中，“部分”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是单元，还可以是模块也可以是非模块化的。
本公开实施例还提供了一种计算机设备10，如图6所示，为本公开实施例提供的计算机设备10结构示意图，包括：
处理器11和存储器12；所述存储器12存储有所述处理器11可执行的机器可读指令，在计算机设备运行的情况下，所述机器可读指令被所述处理器11执行以实现下述步骤：获取模板图像、以及待检测图像；
基于所述模板图像、以及所述待检测图像，生成与所述待检测图像对应的蒙版图像；所述蒙版图像中每个第一像素点的像素值，表征位置与所述每个第一像素点匹配的第二像素点存在缺陷的异常度值；所述第二像素点为所述待检测图像中位置与所述第一像素点匹配的像素点；
基于所述蒙版图像，确定所述待检测图像的缺陷检测结果。
上述指令的具体执行过程可以参考本公开实施例中所述的缺陷检测方法的步骤。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的缺陷检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程 序代码(计算机可读代码)，所述程序代码包括的指令可用于执行上述方法实施例中所述的缺陷检测方法的步骤，具体可参见上述方法实施例。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。
计算机可读取存储介质还可以是保持和存储由指令执行设备使用的指令的有形设备，可为易失性存储介质或非易失性存储介质。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的列子(非穷举的列表)包括：U盘、磁碟、光盘、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦拭可编程只读存储器(EPROM或闪存)、静态随机存储读取器(ROM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、记性编码设备、例如其上存储有指令的打孔卡或凹槽内凹起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身， 诸如无线电波或者其他自由传播的电池波、通过波导或其他传媒介质传播的电池波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
工业实用性
本公开实施例提供了一种缺陷检测方法、装置、计算机设备及计算机可读存储介质，其中，该方法包括：获取模板图像、以及待检测图像；基于模板图像、以及待检测图像，生成与待检测图像对应的蒙版图像；蒙版图像中每个第一像素点的像素值，表征位置与每个第一像素点匹配的第二像素点存在缺陷的异常度值；第二像素点为待检测图像中位置与第一像素点匹配的像素点；基于蒙版图像，确定待检测图像的缺陷检测结果。本公开实施例基于模板图像和待检测图像，生成待检测图像对应的蒙版图像，该蒙版图像中的每个第一像素点的像素值，表征了在待检测图像中对应位置的第二像素点是否存在缺陷的异常度值，然后根据蒙版图像，确定待检测图像的检测结果，具有更高的检测精度。

Claims (23)

  1. 一种缺陷检测方法，包括：
    获取模板图像、以及待检测图像；
    基于所述模板图像、以及所述待检测图像，生成与所述待检测图像对应的蒙版图像；所述蒙版图像中每个第一像素点的像素值，表征第二像素点存在缺陷的异常度值；所述第二像素点为所述待检测图像中位置与所述第一像素点匹配的像素点；
    基于所述蒙版图像，确定所述待检测图像的缺陷检测结果。
  2. 根据权利要求1所述的方法，其中，所述基于所述模板图像、以及所述待检测图像，生成与所述待检测图像对应的蒙版图像，包括：
    根据所述待检测图像确定第一图像，以及根据所述模板图像，确定第二图像；
    针对所述第一图像中的每个第三像素点，从所述第二图像中，确定与该第三像素点对应的多个目标像素点；所述多个目标像素点与所述第二图像中的目标第四像素点之间的距离小于第一距离阈值，所述目标第四像素点为所述第二图像中位置与所述第三像素点匹配的第四像素点；
    针对每个所述第三像素点，基于所述多个目标像素点分别与该第三像素点之间的相似度，确定该第三像素点的异常度值；
    根据所述第三像素点的异常度值，确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值。
  3. 根据权利要求2所述的方法，其中，所述根据所述待检测图像确定第一图像，以及根据所述模板图像，确定第二图像，包括：
    将所述待检测图像确定为所述第一图像，以及将所述模板图像确定为所述第二图像；
    或者，
    所述根据所述待检测图像确定第一图像，以及根据所述模板图像，确定第二图像，包括：
    获取所述待检测图像的第一特征图，并将所述第一特征图确定为所述第一图像；获取所述模板图像的第二特征图，并将所述第二特征图确定为所述第二图像。
  4. 根据权利要求2或3所述的方法，其中，所述针对每个所述第三像素点，基于所述多个目标像素点分别与该第三像素点之间的相似度，确定该第三像素点的异常度值，包括：
    确定所述多个目标像素点分别与该第三像素点之间的相似度中的最大相似度；
    基于所述最大相似度，确定该第三像素点的异常度值。
  5. 根据权利要求2-4任一项所述的方法，其中，所述针对所述第一图像 中的每个第三像素点，从所述第二图像中，确定与该第三像素点对应的多个目标像素点，包括：
    针对所述第一图像中的每个第三像素点，从所述第二图像的多个第四像素点中，确定与该第三像素点位置匹配的目标第四像素点；
    从所述第二图像的多个所述第四像素点中，确定与所述目标第四像素点距离小于第一距离阈值的多个第四像素点，并将确定的第四像素点确定为所述目标像素点。
  6. 根据权利要求2-5任一项所述的方法，其中，针对每个所述第三像素点，采用下述方式确定每个目标像素点与该第三像素点之间的相似度：
    基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值，得到该第三像素点对应的第一子图；以及
    基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值，得到所述每个目标像素点对应的第二子图；
    基于所述第一子图、以及所述第二子图，确定所述每个目标像素点与该第三像素点之间的相似度。
  7. 根据权利要求6所述的方法，其中，所述基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值，得到该第三像素点对应的第一子图，包括：
    在所述第一图像中，确定以该第三像素点为圆心、以所述第二距离阈值为半径的第一圆形区域，基于所述第一图像上位于该第一圆形区域内的第三像素点，得到所述第一子图；
    所述基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值，得到所述每个目标像素点对应的第二子图，包括：
    在所述第二图像中，确定以所述每个目标像素点为圆心、以所述第二距离阈值为半径的第二圆形区域，基于所述第二图像上位于该第二圆形区域内的第四像素点，得到所述第二子图。
  8. 根据权利要求6所述的方法，其中，所述基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值，得到该第三像素点对应的第一子图，包括：
    基于所述第二距离阈值，确定目标边长；在所述第一图像上，确定以该第三像素点为中心、以确定的所述目标边长为边长的第一正方形区域，基于所述第一图像上位于该第一正方形区域内的第三像素点，得到所述第一子图；
    所述基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值，得到所述每个目标像素点对应的第二子图，包括：
    在所述第二图像上，确定以所述每个目标像素点为中心、以确定的所述目标边长为边长的第二正方形区域；基于所述第二图像上位于该第二正方形区域内的第四像素点，得到所述第二子图。
  9. 根据权利要求3所述的方法，其中，在所述第一图像为所述待检测图像、所述第二图像为所述模板图像的情况下，所述根据所述第三像素点的异 常度值，确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值，包括：
    将所述第一图像中每个第三像素点的异常度值，确定为所述待检测图像中位置与所述第三像素点匹配的第二像素点的异常度值。
  10. 根据权利要求3所述的方法，其中，在所述第一图像为所述第一特征图、所述第二图像为所述第二特征图的情况下，所述根据所述第三像素点的异常度值，确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值，包括：
    根据所述第一特征图中各个第三像素点与所述待检测图像中各个第二像素点之间的映射关系、以及所述第一特征图中每个第三像素点的异常度值，确定与每个第二像素点对应的异常度值。
  11. 一种缺陷检测装置，包括：
    获取部分，被配置为获取模板图像、以及待检测图像；
    生成部分，被配置为基于所述模板图像、以及所述待检测图像，生成与所述待检测图像对应的蒙版图像；所述蒙版图像中每个第一像素点的像素值，表征第二像素点存在缺陷的异常度值；所述第二像素点为所述待检测图像中位置与所述第一像素点匹配的像素点；
    检测部分，被配置为基于所述蒙版图像，确定所述待检测图像的缺陷检测结果。
  12. 根据权利要求11所述的装置，其中，所述生成部分，还被配置为：根据所述待检测图像确定第一图像，以及根据所述模板图像，确定第二图像；针对所述第一图像中的每个第三像素点，从所述第二图像中，确定与该第三像素点对应的多个目标像素点；所述多个目标像素点与所述第二图像中的目标第四像素点之间的距离小于第一距离阈值，所述目标第四像素点为所述第二图像中位置与所述第三像素点匹配的第四像素点；针对每个所述第三像素点，基于所述多个目标像素点分别与该第三像素点之间的相似度，确定该第三像素点的异常度值；根据所述第三像素点的异常度值，确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值。
  13. 根据权利要求12所述的装置，其中，所述生成部分，还被配置为：将所述待检测图像确定为所述第一图像，以及将所述模板图像确定为所述第二图像；或者，获取所述待检测图像的第一特征图，并将所述第一特征图确定为所述第一图像；获取所述模板图像的第二特征图，并将所述第二特征图确定为所述第二图像。
  14. 根据权利要求12或13所述的装置，其中，所述生成部分，还被配置为：确定所述多个目标像素点分别与该第三像素点之间的相似度中的最大相似度；基于所述最大相似度，确定该第三像素点的异常度值。
  15. 根据权利要求12-14任一项所述的装置，其中，所述生成部分，还被配置为：针对所述第一图像中的每个第三像素点，从所述第二图像的多个第四像素点中，确定与该第三像素点位置匹配的目标第四像素点；从所述第二 图像的多个所述第四像素点中，确定与所述目标第四像素点距离小于第一距离阈值的多个第四像素点，并将确定的第四像素点确定为所述目标像素点。
  16. 根据权利要求12-15任一项所述的装置，其中，所述生成部分，还被配置为：针对每个所述第三像素点，基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值，得到该第三像素点对应的第一子图；以及基于每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值，得到所述每个目标像素点对应的第二子图；基于所述第一子图、以及所述第二子图，确定所述每个目标像素点与该第三像素点之间的相似度。
  17. 根据权利要求16所述的装置，其中，所述生成部分，还被配置为：
    在所述第一图像中，确定以该第三像素点为圆心、以所述第二距离阈值为半径的第一圆形区域，基于所述第一图像上位于该第一圆形区域内的第三像素点，得到所述第一子图；
    在所述第二图像中，确定以所述每个目标像素点为圆心、以所述第二距离阈值为半径的第二圆形区域，基于所述第二图像上位于该第二圆形区域内的第四像素点，得到所述第二子图。
  18. 根据权利要求16所述的装置，其中，所述生成部分，还被配置为：
    基于所述第二距离阈值，确定目标边长；在所述第一图像上，确定以该第三像素点为中心、以确定的所述目标边长为边长的第一正方形区域，基于所述第一图像上位于该第一正方形区域内的第三像素点，得到所述第一子图；
    在所述第二图像上，确定以所述每个目标像素点为中心、以确定的所述目标边长为边长的第二正方形区域；基于所述第二图像上位于该第二正方形区域内的第四像素点，得到所述第二子图。
  19. 根据权利要求13所述的装置，其中，所述生成部分，还被配置为：在所述第一图像为所述待检测图像、所述第二图像为所述模板图像的情况下，将所述第一图像中每个第三像素点的异常度值，确定为所述待检测图像中位置与所述第三像素点匹配的第二像素点的异常度值。
  20. 根据权利要求13所述的装置，其中，所述生成部分，还被配置为：在所述第一图像为所述第一特征图、所述第二图像为所述第二特征图的情况下，根据所述第一特征图中各个第三像素点与所述待检测图像中各个第二像素点之间的映射关系、以及所述第一特征图中每个第三像素点的异常度值，确定与每个第二像素点对应的异常度值。
  21. 一种计算机设备，包括：相互连接的处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，在计算机设备运行的情况下，所述机器可读指令被所述处理器执行以实现如权利要求1至10任一项所述的缺陷检测方法。
  22. 一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任一项所述的缺陷检测方法。
  23. 一种计算机程序，包括计算机可读代码，在所述计算机可读代码在 计算机设备中运行的情况下，所述计算机设备中的处理器执行时实现权利要求1至10任一项所述的缺陷检测方法。
PCT/CN2021/101788 2021-01-15 2021-06-23 一种缺陷检测方法、装置、计算机设备及计算机可读存储介质 WO2022151658A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110055119.9A CN112750116B (zh) 2021-01-15 2021-01-15 一种缺陷检测方法、装置、计算机设备及存储介质
CN202110055119.9 2021-01-15

Publications (1)

Publication Number Publication Date
WO2022151658A1 true WO2022151658A1 (zh) 2022-07-21

Family

ID=75652233

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/101788 WO2022151658A1 (zh) 2021-01-15 2021-06-23 一种缺陷检测方法、装置、计算机设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN112750116B (zh)
WO (1) WO2022151658A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631199A (zh) * 2022-12-21 2023-01-20 深圳新视智科技术有限公司 pin针缺陷检测方法、装置、设备及存储介质
CN115880248A (zh) * 2022-12-13 2023-03-31 哈尔滨耐是智能科技有限公司 一种表面划痕缺陷识别方法及视觉检测设备
CN116452587A (zh) * 2023-06-15 2023-07-18 山东兴华钢结构有限公司 一种环保建筑结构钢板缺陷识别方法
CN116580031A (zh) * 2023-07-13 2023-08-11 山东勇嘉包装科技股份有限公司 一种无溶剂复合印刷异常检测方法
CN117474924A (zh) * 2023-12-28 2024-01-30 山东鲁抗医药集团赛特有限责任公司 基于机器视觉的标签缺陷检测方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750116B (zh) * 2021-01-15 2023-08-11 北京市商汤科技开发有限公司 一种缺陷检测方法、装置、计算机设备及存储介质
CN115131287A (zh) * 2022-05-16 2022-09-30 奥蒂玛光学科技（深圳）有限公司 一种图像处理方法、区域检测方法、检测设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170270658A1 (en) * 2016-03-18 2017-09-21 Ricoh Company, Ltd. Examination device, examination method, and computer program product
CN111476780A (zh) * 2020-04-07 2020-07-31 腾讯科技（深圳）有限公司 一种图像检测方法、装置、电子设备以及存储介质
CN112149672A (zh) * 2020-09-29 2020-12-29 广州虎牙科技有限公司 图像处理方法和装置、电子设备及存储介质
US20210012474A1 (en) * 2019-07-10 2021-01-14 International Business Machines Corporation Object defect detection
CN112750116A (zh) * 2021-01-15 2021-05-04 北京市商汤科技开发有限公司 一种缺陷检测方法、装置、计算机设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349189B2 (en) * 2013-07-01 2016-05-24 Here Global B.V. Occlusion resistant image template matching using distance transform
CN106203511B (zh) * 2016-06-12 2019-09-10 湘潭大学 一种图像相似块评估方法
CN106530275B (zh) * 2016-10-11 2019-06-11 广州视源电子科技股份有限公司 元件错件检测方法和系统
CN108846399A (zh) * 2018-04-10 2018-11-20 阿里巴巴集团控股有限公司 一种图像处理的方法及装置
CN109166109A (zh) * 2018-08-14 2019-01-08 珠海格力智能装备有限公司 缺陷检测方法、装置、存储介质及处理器
CN110197180B (zh) * 2019-05-30 2022-03-01 新华三技术有限公司 字符缺陷检测方法、装置及设备
CN110443803A (zh) * 2019-09-02 2019-11-12 河海大学 一种印刷品图像质量检测方法及装置
CN111553905B (zh) * 2020-04-30 2022-11-01 展讯通信（上海）有限公司 图像检测方法、设备、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170270658A1 (en) * 2016-03-18 2017-09-21 Ricoh Company, Ltd. Examination device, examination method, and computer program product
US20210012474A1 (en) * 2019-07-10 2021-01-14 International Business Machines Corporation Object defect detection
CN111476780A (zh) * 2020-04-07 2020-07-31 腾讯科技（深圳）有限公司 一种图像检测方法、装置、电子设备以及存储介质
CN112149672A (zh) * 2020-09-29 2020-12-29 广州虎牙科技有限公司 图像处理方法和装置、电子设备及存储介质
CN112750116A (zh) * 2021-01-15 2021-05-04 北京市商汤科技开发有限公司 一种缺陷检测方法、装置、计算机设备及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880248A (zh) * 2022-12-13 2023-03-31 哈尔滨耐是智能科技有限公司 一种表面划痕缺陷识别方法及视觉检测设备
CN115880248B (zh) * 2022-12-13 2024-02-09 哈尔滨耐是智能科技有限公司 一种表面划痕缺陷识别方法及视觉检测设备
CN115631199A (zh) * 2022-12-21 2023-01-20 深圳新视智科技术有限公司 pin针缺陷检测方法、装置、设备及存储介质
CN115631199B (zh) * 2022-12-21 2023-04-14 深圳新视智科技术有限公司 pin针缺陷检测方法、装置、设备及存储介质
CN116452587A (zh) * 2023-06-15 2023-07-18 山东兴华钢结构有限公司 一种环保建筑结构钢板缺陷识别方法
CN116452587B (zh) * 2023-06-15 2023-08-18 山东兴华钢结构有限公司 一种环保建筑结构钢板缺陷识别方法
CN116580031A (zh) * 2023-07-13 2023-08-11 山东勇嘉包装科技股份有限公司 一种无溶剂复合印刷异常检测方法
CN116580031B (zh) * 2023-07-13 2023-09-29 山东勇嘉包装科技股份有限公司 一种无溶剂复合印刷异常检测方法
CN117474924A (zh) * 2023-12-28 2024-01-30 山东鲁抗医药集团赛特有限责任公司 基于机器视觉的标签缺陷检测方法
CN117474924B (zh) * 2023-12-28 2024-03-15 山东鲁抗医药集团赛特有限责任公司 基于机器视觉的标签缺陷检测方法

Also Published As

Publication number Publication date
CN112750116A (zh) 2021-05-04
CN112750116B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
WO2022151658A1 (zh) 一种缺陷检测方法、装置、计算机设备及计算机可读存储介质
WO2022088663A1 (zh) 缺陷检测方法及装置、电子设备和存储介质
US11854173B2 (en) System and method for finding lines in an image with a vision system
WO2017032311A1 (zh) 一种检测方法及装置
CN112115893A (zh) 仪表盘指针读数识别方法、装置、计算机设备及存储介质
JP5831420B2 (ja) 画像処理装置および画像処理方法
US11699283B2 (en) System and method for finding and classifying lines in an image with a vision system
US20190011263A1 (en) Method and apparatus for determining spacecraft attitude by tracking stars
WO2017193596A1 (zh) 印制电路板图像匹配方法和系统
CN107038443B (zh) 一种在电路板上定位感兴趣区域的方法和装置
US9971954B2 (en) Apparatus and method for producing image processing filter
CN112597837A (zh) 图像检测方法、装置、设备、存储介质和计算机程序产品
JP2017090450A (ja) ビジョンシステムでラインを検出するためのシステム及び方法
CN112559341A (zh) 一种画面测试方法、装置、设备及存储介质
CN107194971B (zh) 一种金手指定位方法、装置及计算机可读存储介质
JP2022009474A (ja) ビジョンシステムでラインを検出するためのシステム及び方法
CN111695405B (zh) 一种狗脸特征点的检测方法、装置、系统及存储介质
CN108898632B (zh) 一种仪表指针的旋转角度确定方法及装置
CN115393838A (zh) 指针式仪表读数识别方法、装置、电子设备及存储介质
CN112529829A (zh) 一种毛刺定位、毛刺检测模型的训练方法及装置
CN116051559B (zh) 一种产品检测方法、装置、设备及存储介质
CN116152340A (zh) 一种确定电路板坐标的方法、装置、电子设备及存储介质
CN109376739B (zh) 一种编组方式确定方法及装置
CN113435300B (zh) 一种避雷器仪表实时识别方法及系统
US20240078801A1 (en) System and method for finding and classifying lines in an image with a vision system

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022539241

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21918854

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21918854

Country of ref document: EP

Kind code of ref document: A1