WO2021010430A1 - 検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラム - Google Patents

検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラム Download PDF

Info

Publication number
WO2021010430A1
WO2021010430A1 PCT/JP2020/027584 JP2020027584W WO2021010430A1 WO 2021010430 A1 WO2021010430 A1 WO 2021010430A1 JP 2020027584 W JP2020027584 W JP 2020027584W WO 2021010430 A1 WO2021010430 A1 WO 2021010430A1
Authority
WO
WIPO (PCT)
Prior art keywords
defect
block
complementary
coordinates
identification step
Prior art date
Application number
PCT/JP2020/027584
Other languages
English (en)
French (fr)
Inventor
貴之 石黒
Original Assignee
株式会社テクムズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社テクムズ filed Critical 株式会社テクムズ
Publication of WO2021010430A1 publication Critical patent/WO2021010430A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a defect detection method for an product to be inspected, an apparatus thereof, and a computer program thereof.
  • the present invention addresses such a subject, the first aspect of which is defined as follows. That is.
  • a defect identification step that performs AI processing on the identified block to be processed to detect the presence or absence of a defect, and when a defect is present, specifies the coordinates of the defect and its probability in the block to be processed
  • a coordinate conversion step that converts the coordinates of the defect obtained in the defect identification step into the original coordinates of the original image
  • It is a defect detection method of an inspection target product including an inspection result creation step of creating a defect inspection result based on the defect coordinates in the original coordinates and the probability thereof.
  • the processing target block identification step is A main processing target block specifying step for specifying the processing target block consisting of an area of m ⁇ n (m and n are natural numbers of 2 or more) in the original image, and In the original image, the first complementary block forming step of forming the first complementary block by shifting the processing target block in the alignment direction of m in each region.
  • a second complementary block forming step is provided in which the processing target block is shifted in the alignment direction of the n in the original image in units of regions to form the second complementary block.
  • the defect identification step A main defect identification step for specifying the coordinates of defects and their probabilities in the block to be processed, and The first complementary defect identification step for specifying the coordinates of defects and their probabilities in the first complementary block, and Includes a second complementary defect identification step that identifies the coordinates and probabilities of the defects in the second complementary block.
  • the coordinate conversion step converts the coordinates of the defects identified in the main defect identification step, the first complementary defect identification step, and the second complementary defect identification step into the original coordinates of the original image. , Defect detection method for products to be inspected.
  • the complementary defect identification step in addition to the main defect identification step for the block to be processed, the complementary defect identification step is executed by using the complementary block.
  • defect inspection for the effective domain was performed as many times as the number of complementary defect identification steps were performed. This is because the effective areas included in the processing target block exist at relatively different positions in the entire block in the first complementary block and the second complementary block, so that they are different targets in the AI processing.
  • the probability changes.
  • the defect with the highest probability can be adopted (second phase).
  • the coordinates of the defect specified in each block are converted into the original coordinates (absolute coordinates) in the original image, and it is considered that those having overlapping coordinates point to the same defect.
  • the coordinates of the defects detected in each block overlap in the original coordinates, the one with the highest probability is adopted.
  • an AND set or an or set of the duplicates can be created and used as the coordinates of the defects (third aspect).
  • the AND set refers to an overlapping portion of the set of coordinates of the original coordinates corresponding to the set of coordinates of the defect specified in each block.
  • the one with the highest probability (defect) among those identified as defects in each block can be adopted.
  • the or set is defined by the outline of the set of original coordinates corresponding to the set of coordinates of the defects identified in each block. For the probability, the average of the probability of defects in each block can be adopted.
  • the fourth aspect of the present invention is defined as follows.
  • the first complementary block is rotated in the first complementary block forming step
  • the second complementary block is rotated in the second complementary block forming step.
  • the effective domain included in each complementary block has a change in the relative position in the block in comparison with the block to be processed.
  • the input mode to the AI processing device can be further changed.
  • the block to be processed consists of a 2 ⁇ 2 region
  • the first complementary block displaced by one region in the horizontal direction (m side) is rotated 90 degrees clockwise and vertically (n side).
  • the second complementary block shifted by one area to) is also rotated by 270 degrees
  • the third complementary block shifted by one area to the horizontal and vertical sides is also rotated by 180 degrees with respect to each block.
  • the defect identification process is executed (fifth phase). As a result, it is possible to give a uniform and regular change in the mode when the effective region contained in the block is input to the AI processing device.
  • the center of rotation when rotating each complementary block is not particularly limited, but it is preferably the center of the block.
  • the sixth aspect is defined as follows. That is, The step of dividing the original image of the inspection target together with the background into multiple areas, An effective area identification step of determining whether or not the inspection target is reflected in the divided area and setting the area in which the inspection target is reflected as an effective area.
  • a defect identification step that performs AI processing on the identified block to be processed to detect the presence or absence of a defect, and when a defect is present, specifies the coordinates of the defect and its probability in the block to be processed
  • a coordinate conversion step that converts the coordinates of the defect obtained in the defect identification step into the original coordinates of the original image
  • It is a defect detection method of an inspection target product including an inspection result creation step of creating a defect inspection result based on the defect coordinates in the original coordinates and the probability thereof.
  • the processing target block identification step is A main processing target block specifying step for specifying the processing target block in the original image, and A complementary block forming step of forming a complementary block sharing at least one area of the processing target block with reference to the processing target block is provided.
  • the defect identification step A main defect identification step for specifying the coordinates of defects and their probabilities in the block to be processed, and Includes complementary defect identification steps that identify the coordinates of defects and their probabilities in the complementary block.
  • the coordinate conversion step converts the coordinates of the defects identified in the main defect identification step and the complementary defect identification step into the original coordinates of the original image. Defect detection method for products to be inspected.
  • the present invention can also be defined as the invention of the device as follows.
  • An image division unit that divides the original image of the inspection target together with the background into multiple areas
  • An effective area specifying unit that determines whether or not the inspection target is reflected in the divided area and sets the area in which the inspection target is reflected as an effective area.
  • a processing target block specifying unit that is composed of a plurality of regions selected from the original image and specifies a processing target block including at least one effective region.
  • An AI process is performed on the identified block to be processed to detect the presence or absence of a defect, and when a defect is present, a defect identification unit that specifies the coordinates of the defect and its probability in the block to be processed, A coordinate conversion unit that converts the coordinates of the defect obtained in the defect identification step into the original coordinates of the original image, and It is a defect detection device of an inspection target product including an inspection result creation unit that creates a defect inspection result based on the defect coordinates in the original coordinates and the probability thereof.
  • the processing target block specific part is In the original image, a main processing target block specifying unit that specifies the processing target block composed of an area of m ⁇ n (m and n are natural numbers of 2 or more) and In the original image, the processing target block is displaced in the alignment direction of m in each region to form the first complementary block, and in the original image, the processing target block is displaced in the alignment direction of n in region units.
  • a complementary block forming portion for forming a second complementary block is provided.
  • the defect identification part is A main defect identification step for specifying the coordinates of defects and their probabilities in the block to be processed, and The first complementary defect identification step for specifying the coordinates of defects and their probabilities in the first complementary block, and The second complementary defect identification step of specifying the coordinates of the defect and its probability in the second complementary block is executed.
  • the coordinate conversion unit converts the coordinates of the defects identified in the main defect identification step, the first complementary defect identification step, and the second complementary defect identification step into the original coordinates of the original image.
  • Defect detection device for products to be inspected According to the invention of the seventh aspect defined in this way, the same effect as that of the invention defined in the first aspect can be obtained.
  • the eighth aspect of the present invention is defined as follows. That is, In the apparatus specified in the seventh aspect, the inspection result creation unit is identified in the main defect identification step, the first complementary defect identification step, and the second complementary defect identification step, respectively, and the original Select the defect with the highest probability among the defects converted into coordinates. According to the invention of the eighth aspect defined in this way, the same effect as the invention of the second aspect can be obtained.
  • the ninth aspect of the present invention is defined as follows. That is, In the apparatus specified in the seventh aspect, the inspection result creation unit is identified in the main defect identification step, the first complementary defect identification step, and the second complementary defect identification step, respectively, and the original. From the coordinates of the defect converted into coordinates, an AND set or an or set of defect coordinates is created in the original coordinates. According to the invention of the ninth aspect defined in this way, the same effect as the invention of the third aspect can be obtained.
  • the tenth aspect of the present invention is defined as follows. That is, In the apparatus specified in any of the seventh to ninth aspects, the complementary block forming unit rotates the first complementary block and the second complementary block. According to the invention of the tenth aspect defined in this way, the same effect as the invention of the fourth aspect can be obtained.
  • the eleventh aspect of the present invention is defined as follows. That is, In the apparatus specified in the tenth aspect, when the block to be processed consists of a region of m ⁇ n, the complementary block forming portion is rotated by 90 degrees of the first complementary block shifted to the m side by one region. The second complementary block displaced by one region to the n side was rotated by 270 degrees, and the third complementary block displaced by one region to the m side and the n side were rotated by 180 degrees.
  • the defect identification unit identifies the defect material and its probability with respect to the obtained rotation complement block. According to the invention of the eleventh aspect defined in this way, the same effect as the invention of the fifth aspect can be obtained.
  • the twelfth aspect of the present invention is defined as follows. That is, An image division unit that divides the original image of the inspection target together with the background into multiple areas, An effective area specifying unit that determines whether or not the inspection target is reflected in the divided area and sets the area in which the inspection target is reflected as an effective area. A processing target block specifying unit that is composed of a plurality of regions selected from the original image and specifies a processing target block including at least one effective region.
  • An AI process is performed on the identified block to be processed to detect the presence or absence of a defect, and when a defect is present, a defect identification unit that specifies the coordinates of the defect and its probability in the block to be processed, A coordinate conversion unit that converts the coordinates of the defect obtained in the defect identification step into the original coordinates of the original image, and It is a defect detection device of an inspection target product including an inspection result creation unit that creates a defect inspection result based on the defect coordinates in the original coordinates and the probability thereof.
  • the processing target block specific part is A main processing target block specifying unit that specifies the processing target block in the original image, A complementary block forming unit for forming a complementary block that shares at least one area of the processing target block with reference to the processing target block is provided.
  • the defect identification part is A main defect identification step for specifying the coordinates of defects and their probabilities in the block to be processed, and Performing a complementary defect identification step of identifying the coordinates of defects and their probabilities in the complementary block,
  • the coordinate conversion unit converts the coordinates of the defects identified in the main defect identification step and the complementary defect identification step into the original coordinates of the original image. Defect detection device for products to be inspected.
  • This invention can also be defined as an invention of a program as follows.
  • An image division unit that divides the original image of the inspection target together with the background into multiple areas
  • An effective area specifying unit that determines whether or not the inspection target is reflected in the divided area and sets the area in which the inspection target is reflected as an effective area.
  • a processing target block specifying unit that is composed of a plurality of regions selected from the original image and specifies a processing target block including at least one effective region.
  • An AI process is performed on the identified block to be processed to detect the presence or absence of a defect, and when a defect is present, a defect identification unit that specifies the coordinates of the defect and its probability in the block to be processed, A coordinate conversion unit that converts the coordinates of the defect obtained in the defect identification step into the original coordinates of the original image, and A program for a computer used in a defect detection device for an inspection target product, including an inspection result creation unit that creates a defect inspection result based on the defect coordinates in the original coordinates and the probability thereof.
  • the processing target block specifying unit includes a main processing target block specifying unit and a complementary block forming unit.
  • the main processing target block specifying unit is made to specify the processing target block composed of an area of m ⁇ n (m and n are natural numbers of 2 or more) in the original image.
  • the complementary block forming unit is formed by shifting the processing target block in the original image in each region in the arrangement direction of m, and the processing target block is arranged in the n arrangement in the original image.
  • a second complementary block is formed by shifting in the direction in units of regions.
  • the coordinate conversion unit is made to convert the coordinates of the defects specified for the main defect specifying block, the first complementary block, and the second complementary block into the original coordinates of the original image.
  • a program for computers According to the invention of the thirteenth aspect defined in this way, the same effect as that of the invention defined in the first aspect can be obtained.
  • the fourteenth aspect of the present invention is defined as follows. That is, In the program defined in the thirteenth aspect, the main defect identification block, the first complementary block, and the second complementary block are specified, respectively, and the defect converted into the original coordinates is selected with the highest probability. According to the invention of the fourteenth aspect defined in this way, the same effect as that of the invention of the second aspect can be obtained.
  • the fifteenth aspect of the present invention is defined as follows. That is, In the program specified in the seventh aspect, the defect coordinates in the original coordinates are obtained from the coordinates of the defects specified in the main defect identification block, the first complementary block, and the second complementary block, respectively, and converted into the original coordinates. To create an and set or an set of. According to the invention of the fifteenth aspect defined in this way, the same effect as the invention of the third aspect can be obtained.
  • the sixteenth aspect of the present invention is defined as follows. That is, In the program specified in any of the thirteenth to fifteenth aspects, the first complementary block and the second complementary block are rotated by the complementary block forming portion. According to the invention of the 16th aspect defined in this way, the same effect as the invention of the 4th aspect can be obtained.
  • the seventeenth aspect of the present invention is defined as follows. That is, In the program specified in the sixteenth aspect, when the block to be processed consists of an m ⁇ n region, the first complementary block is rotated by 90 degrees so that the complementary block forming portion is displaced by one region toward the m side. The second complementary block shifted by one region to the n side was rotated by 270 degrees, and the third complementary block shifted by one region to the m side and the n side were rotated by 180 degrees.
  • the defect identification unit is made to specify the defect material and its probability for each of the obtained rotation complement blocks. According to the invention of the seventeenth aspect defined in this way, the same effect as the invention of the fifth aspect can be obtained.
  • the eighteenth aspect of the present invention is defined as follows. That is, An image division unit that divides the original image of the inspection target together with the background into multiple areas, An effective area specifying unit that determines whether or not the inspection target is reflected in the divided area and sets the area in which the inspection target is reflected as an effective area. A processing target block specifying unit that is composed of a plurality of regions selected from the original image and specifies a processing target block including at least one effective region.
  • An AI process is performed on the identified block to be processed to detect the presence or absence of a defect, and when a defect is present, a defect identification unit that specifies the coordinates of the defect and its probability in the block to be processed, A coordinate conversion unit that converts the coordinates of the defect obtained in the defect identification step into the original coordinates of the original image, and A program for a computer used in a defect detection device for an inspection target product, including an inspection result creation unit that creates a defect inspection result based on the defect coordinates in the original coordinates and the probability thereof.
  • the processing target block specifying unit includes a main processing target block specifying unit and a complementary block forming unit.
  • the complementary block forming unit is formed with a complementary block that shares at least one area of the processing target block with reference to the processing target block, and the defect identification unit is made to specify the coordinates of defects in the processing target block and their probabilities. , Let the coordinates of the defects in the complementary block and their probabilities be specified.
  • the coordinate conversion unit is made to convert the coordinates of the defects specified for the main defect specifying block and the complementary block into the original coordinates of the original image.
  • FIG. 1 is a functional block diagram of the defect detection device according to the embodiment of the present invention.
  • FIG. 2 is a flowchart showing the operation of the defect detection device.
  • FIG. 3 shows a state in which a captured image (original image) of the O-ring to be inspected is divided into regions with a grid.
  • FIG. 4 shows a state in which the effective area in which the O-ring is reflected is marked (light black in the figure).
  • FIG. 5 is a schematic diagram showing a block to be processed.
  • FIG. 6 is a schematic diagram showing complementary blocks.
  • FIG. 7 is a schematic diagram showing a rotated complementary block and its rotation rule.
  • FIG. 8 is a schematic diagram showing a hardware configuration of the defect detection device.
  • FIG. 1 is a block diagram showing a function of the defect detection device 1 of the embodiment.
  • the camera 3 of the defect detection device 1 includes, for example, a CCD device, and photographs an inspection target together with its background.
  • the captured image (original image) is stored in the original image storage unit 4, and the original image is divided into a plurality of areas by the original image division unit 5.
  • the size and shape of the region can be arbitrarily selected, but it is preferable to form a grid.
  • the effective area specifying unit 7 a flag is set in the area in which the inspection target is reflected, and this is set as the effective area. In other words, the background-only area is inactivated so that it is not subject to subsequent image processing.
  • the main processing target block specifying unit 9 of the processing target block specifying unit 8 forms a plurality of regions (mutually continuous) from the original image, for example, a block of four regions (vertical (2) ⁇ horizontal (2)).
  • the block to be processed is selected and includes at least one effective area.
  • the complementary block forming unit 10 forms the complementary block based on the processing target block specified by the processing target block specifying unit 9 based on a predetermined rule. It is preferable that the processing target block and the complementary block are the same in the number of areas and their arrangement, but the number of areas and the arrangement can be changed.
  • the defect identification unit 13 includes an AI processing unit 131.
  • Each block formed by the processing target block specified by the processing target block specifying unit 9 and the complementary block forming unit 10 is input to the AI processing unit 131 of the defect specifying unit 13. It is assumed that the AI processing unit 131 uses a general-purpose neural network and sufficient teacher data is read in order to determine the presence or absence of defects.
  • BTO Core-i9-9940X manufactured by Dospara and 64GB of memory were used as the AI processing unit, and DEEPS AI Injection manufactured by Techms Co., Ltd. was used as the software for AI. It is assumed that 5000 pieces of teacher data without defects and 1000 pieces of teacher data with defects are read in block units.
  • GeForce RTX 2080 Ti manufactured by Nvidia is used as the GPU.
  • the defect identification unit 131 When the image of the block input to the defect identification unit 131, that is, the image of the block to be processed and the image of the complementary block thereof are processed by the AI processing unit 131 and a defect is detected (higher than a predetermined probability), The defect coordinates and their probabilities are stored in the defect coordinate storage unit 151 and the defect probability storage unit 153 of the block data storage unit 15, respectively.
  • the coordinates of the defect stored in the block data storage unit 15 are the coordinates determined for each block. Therefore, the coordinate conversion unit 17 refers to the original coordinates stored in the original coordinate storage unit 11 of the original image, the block specific rule by the processing target block identification unit 9, and the complementary block formation rule, and is a block data storage unit.
  • the coordinates of the defects stored in the defect coordinate storage unit 151 of 15 are associated with the original coordinates of the original image.
  • the defect coordinates converted into the original coordinates in this way are stored in the defect coordinate storage unit 211 of the original image data storage unit 21.
  • the probability of the defect is copied from the defect probability storage unit 153 of the block data storage unit 15 to the defect probability storage unit 213 of the original image data storage unit 21.
  • the main processing target blocks are specified so as to cover the entire area of the original image, complementary blocks are formed, AI processing is performed for each block, and the coordinates of defects and their probabilities are specified in the entire area of the original image. Then, it is saved in the original image data storage unit 21.
  • the coordinates of the defects specified in each block are duplicated and stored. In other words, the data of each block is converted to the original coordinates and stored respectively.
  • the inspection result creation unit 23 creates an inspection result of the inspection target product with reference to the data accumulated in the original image data storage unit 21.
  • the inspection for example, when a defect having a predetermined probability or more is present, the product to be inspected is NG and is removed from the production line, for example.
  • step 1 the operation of the defect detection device 1 will be described with reference to FIG. 2 by taking the O-ring flowing through the production line as an example of an inspection target.
  • the O-ring 100 is photographed by the camera 3.
  • the background is a bright color such as white and the contrast with the black O-ring 100 is increased.
  • the original image of the O-ring 100 and its background is obtained and stored in the original image storage unit 4.
  • An example of the captured image (original image) is shown in FIG.
  • step 3 the original image stored in the original image storage unit 4 is divided into 100 regions (m0, n0) to (m9, n9) from the grid shown by the dotted line as shown in FIG. 3 by the original image decomposition unit 5. It is divided.
  • the division means to specify the area constituting the image processing target.
  • the coordinates (original coordinates) of the original image are attached according to the pixels with the upper left end of the area (m0, n0) as the origin, and are stored in the original coordinate storage unit 11 of the original image.
  • the effective region specifying unit 7 determines whether or not the O-ring 100 is reflected in each region.
  • the area in which the O-ring 100 is reflected is the effective area.
  • the effective domain is marked.
  • the region (m4, n1), the region (m2, n2) ... Are effective regions.
  • the main processing target block specifying unit 9 of the processing target block specifying unit 8 specifies the processing target block.
  • blocks consisting of four regions are sequentially specified from the upper left end of the original image in the right direction of the drawing. In the drawing, the numbers 1, 2, 3 ... Are attached to each block.
  • the block to be processed here is a block including at least one effective area. Therefore, in step 7, the block including at least one effective area is specified as the processing target block by the main processing target block specifying unit 9.
  • the blocks 3 and 6 correspond to the blocks with numerical values. As a result, the number of processing targets can be reduced.
  • the complementary block is formed by the complementary block forming unit 10.
  • FIG. 6 shows an example of a complementary block.
  • the first complementary block is a block 3 to be processed shifted in the m direction (right direction in the drawing) by one region.
  • the second complementary block 2 is a block 3 to be processed that is shifted in the n direction (lower direction in the drawing) by one region.
  • the third complementary block 3 is a block 3 to be processed that is shifted by one region in each of the m and n directions.
  • step 9 the processing target block 3 specified in step 7 and the first to third complementary blocks formed by the complementary block forming unit 10 are AI-processed by the AI processing unit 131 of the defect specifying unit 13.
  • the AI process can be omitted.
  • the AI process is executed a total of four times with reference to the process target block, triggered by the identification of the process target block including the effective area in which the O-ring 100 is reflected.
  • the block to be AI-processed is formed by processing in addition to the processing target block initially specified as the processing target.
  • this is processed and formed to form a complementary block so as to shift the region by 1 unit in each of the m direction and the n direction from the reference block (process target block).
  • the processing target block specified in step 7 is composed of a P region (m direction, 3 ⁇ P) ⁇ Q region (n direction, 3 ⁇ Q), a region of 2 units or more in each of the m direction and the n direction.
  • Complementary blocks can also be formed by shifting the minutes.
  • the complementary block is rotated at a predetermined pitch.
  • the rotation angle (pitch) is an angle obtained by dividing 360 degrees by the number of complementary blocks + 1, and the center of rotation is preferably the center point of the complementary blocks, but is not particularly limited to this.
  • the complementary block is rotated around the center point of each complementary block to form a rotation complementary block.
  • the pitch of the rotation angle is 90 degrees in the clockwise direction. Since the first complementary block 1 does not include an effective region, it can be excluded from the rotation target.
  • the rotation complement block thus obtained is AI-processed in step 9.
  • the result of AI processing is saved in the block data storage unit 15 for each block (step 11). More specifically, a defect having a probability of a defect of a predetermined value (for example, 80%) or more is determined as a defect, and the coordinates of the block to be processed are stored in the defect coordinate storage unit 151 and linked to the defect coordinate storage unit 151. The probability of defect is stored in the probability storage unit 153 of defect.
  • a defect having a probability of a defect of a predetermined value for example, 80%
  • the defect coordinates stored in the defect coordinate storage unit 151 of the block data storage unit 15 are the unique coordinates of each block.
  • the coordinates of the processing target block are defined with the upper left end of the area (m4, n0) as the origin, and in the case of the second complementary block, the upper left end of the area (m4, n1) is set as the origin.
  • the coordinates of the complementary block are specified. Therefore, in step 13, in order to integrate the coordinates of the defects identified in each block, the coordinates of each block are converted into the original coordinates of the original image (the upper left end of (m0, n0) is the origin)).
  • the coordinates identified as having defects in each block are converted into original coordinates for each block and stored in the defective coordinate storage unit 211 of the original image data storage unit 21.
  • the probability of each defect stored in the defect probability storage unit 153 is the probability of the defect in the original image data storage unit 211 while maintaining the link when the defect coordinates linked to the defect are converted to the original coordinates. It is stored in the storage unit 213.
  • the coordinate conversion unit 17 uses the data related to the coordinates of the original coordinate storage unit 17 of the original image and the block identification rule by the processing target block identification unit 8.
  • the rule of complementary block formation by the complementary block forming unit 10 is referred to.
  • the inspection result creation unit 23 has a defect presence / absence and a defect based on the defect coordinates stored in the defect coordinate storage unit 211 of the original image data storage unit 211 and the probability of the defect coordinates also stored in the defect probability storage unit 213.
  • the probability and the position of the defect are specified and output as the inspection result.
  • the coordinates determined to be defective in the data from one block when viewed from the original coordinate data are the other coordinates. It may be determined that there is no defect in the data from the block. In such a case, it can be determined that the coordinates have a defect from the viewpoint of increasing the safety factor.
  • the inspection result creation unit 23 can create the inspection result according to an arbitrary rule according to the inspection target and the inspection purpose.
  • the calculation unit 300 includes a CPU 301, a ROM 303, and a RAM 305, and is in charge of controlling the entire system. At the same time, it functions as an original image division unit 5, an effective area identification unit 7, a processing target block identification unit 8, a defect identification unit 13, a coordinate conversion unit 17, and an inspection result creation unit 23.
  • the ROM 303 includes a non-volatile memory (not shown) in which a control program or the like for controlling the arithmetic unit 300 is stored.
  • the RAM 305 readablely stores various set values preset by the user via an input device 330 such as a keyboard, and provides a working area to the CPU 301.
  • the control program for controlling the arithmetic unit 300 is not limited to the ROM 303, but may be stored in the RAM 305, the first storage device 311 and the second storage device 313.
  • the CPU 301 is preferably one suitable for neutral network processing, and the ROM 303 or the first and second storage devices 311, 313 have a capacity capable of storing a large amount of data used during deep learning.
  • the first storage device 311 functions as an original image storage 4 and an original coordinate storage unit 11 of the original image.
  • the second storage device 313 functions as a block data storage unit 15 and an original image data storage unit 21. It is preferable that the first and second storage devices 311, 313 utilize a part of the memory device area of the server system, such as a hard memory and a flash memory. A part of the RAM of the arithmetic unit can be used for the so-called buffer memory for temporarily storing data.
  • the output device 320 is a display or an audio output device, and the input device 330 corresponds to an audio input unit, a touch panel type keyboard or a mouse arranged on the display, or the like. Further, the input device 330 can input teacher data (image data) for AI processing.
  • a general-purpose CCD camera can be used for the camera 3. Camera specifications such as its resolution and depth of focus can be set arbitrarily.
  • Each device constituting the computer is connected by a system bus 340.
  • Inspection target Rubber product (major axis approx. 4 cm)
  • Complementary block Form 3 as shown in Fig. 6
  • AI software Techms DEEPS
  • AI Inspiration PC BTO personal computer manufactured by Dospara (Core-i9-9940X, memory 64GB, GPU: GeForce RTX 2080Ti manufactured by NVIDIA)
  • Inspection target 22 normal products, 74 abnormal products
  • the so-called accuracy of overlooking defects or erroneously determining defects was 97.92%.
  • the accuracy when the complementary block was not formed was 94.79%.
  • the present invention can be extended as follows.
  • a defect identification step that performs AI processing on the identified block to be processed to detect the presence or absence of a defect, and when a defect is present, specifies the coordinates of the defect and its probability in the block to be processed
  • a coordinate conversion step that converts the coordinates of the defect obtained in the defect identification step into the original coordinates of the original image
  • It is a defect detection method of an inspection target product including an inspection result creation step of creating a defect inspection result based on the defect coordinates in the original coordinates and the probability thereof.
  • the processing target block identification step is A main processing target block specifying step for specifying the processing target block in the original image, and A complementary block forming step of forming a complementary block sharing at least one area of the processing target block with reference to the processing target block is provided.
  • the defect identification step A main defect identification step for specifying the coordinates of defects and their probabilities in the block to be processed, and Includes complementary defect identification steps that identify the coordinates of defects and their probabilities in the complementary block.
  • the coordinate conversion step converts the coordinates of the defects identified in the main defect identification step and the complementary defect identification step into the original coordinates of the original image. Defect detection method for products to be inspected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

ＡＩ技術を用いた高精度の欠陥検出方法を提案する。　背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、分割された領域において検査対象が映り込んでいるか否かを判断し、検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける欠陥の座標とその確率を特定する欠陥特定ステップと、欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、　処理対象ブロック特定ステップは、前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、　原画像において処理対象ブロックをｍの並び方向に領域単位で偏移させて第１補完ブロックを形成する第１補完ブロック形成ステップと、　原画像において処理対象ブロックをｎの並び方向に領域単位で偏移させて第２補完ブロックを形成する第２補完ブロック形成ステップと、を備え、　欠陥特定ステップは、　処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、　第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、　第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を含み、　座標変換ステップは、主欠陥特定ステップ、第１の補完的な欠陥特定ステップ及び第２の補完な欠陥特定ステップでそれぞれ特定された欠陥の座標を原画像の原座標に変換する。

Description

検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラム
　本発明は検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラムに関する。
　工業製品、例えばオーリングではその表面に小さな傷、凹凸その他の変形（以下、欠陥と総称する）があるとその性能が著しく低下する。
　そこで従来では、オーリングを出荷する前に、画像処理技術を利用してその欠陥を検出していた。
　画像処理の一例として、ディープラーニングによりニューラルネットワークに学習させる機能を適用した所謂ＡＩ処理装置を用いるものがある。
　欠陥の検査の精度を上げるため、検査対象を撮影した画像は複数のブロックに分割されて、ブロックごとに欠陥の有無が検査される。
　本願発明に関連する技術を示す先行文献として特許文献１及び特許文献２を参照されたい。
特許第４６５７８６９号公報 特開２０１７－１６６９２９号公報
　検査対象の撮影画像を複数のブロックに分割し、分割されたブロックごとにＡＩ処理することで、欠陥の検査に高い精度が確保される。
　しかし、自動車に使用されるオーリングなどの精密部品は人命に関わるため、高精度な欠陥検出手法が求められている。
　この発明は、かかる課題に対応するものであり、その第１の局面は次のように規定される。即ち。
　背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、
　該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
　前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
　特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
　欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
　該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
　前記処理対象ブロック特定ステップは、
　　前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
　　前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成する第１補完ブロック形成ステップと、
　　記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成する第２補完ブロック形成ステップと、を備え、
　　前記欠陥特定ステップは、
　　前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
　　前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
　　前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を含み、
　前記座標変換ステップは、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
　検査対象品の欠陥検出方法。
　このように規定される第１の局面の欠陥検索方法によれば、欠陥特定ステップにおいて、処理対象ブロックに対する主欠陥特定ステップに加えて、補完ブロックを利用して補完的な欠陥特定ステップが実行される。その結果、有効領域に対する欠陥検査が、補完的な欠陥特定ステップを実行した数だけ、多く実行されたこととなる。処理対象ブロックに含まれる有効領域は、第１補完ブロックや第２補完ブロックでは、ブロック全体において相対的に異なる位置に存在するので、ＡＩ処理においては、異なる対象となるからである。
　有効領域に映り込んでいる検査対象品の部分に欠陥があったとき、ＡＩ処理装置への入力態様が異なる（ブロックにおける相対的な位置が異なる）と、その確率に変化が生じる。この場合、最も高い確率の欠陥を採用することができる（第２の局面）。
　なお、各ブロックにおいて特定された欠陥の座標は、原画像における原座標（絶対座標）に変換され、その座標が重複するものは同じ欠陥を指すものと考えられる。第２の局面では、各ブロックで検出された欠陥の座標が原座標において重複したとき、最も確率が高いものを採用することとした。
　他方、各ブロックで検出された欠陥の座標が原座標において重複したとき、重複したもののアンド集合又はオア集合を作成して、それを欠陥の座標とすることができる（第３の局面）。なお、アンド集合は、各ブロックにおいて特定された欠陥の座標の集合体に対応する原座標の座標の集合体の重複部分を指す。アンド集合では、各ブロックにおいて欠陥として特定されたもののなかで最も高い確率のもの（欠陥）を採用することができる。
　オア集合は、各ブロックにおいて特定された欠陥の座標の集合体に対応する原座標の集合体の外郭で規定される。その確率は、各ブロックにおける欠陥の確率の平均を採用することができる。
　この発明の第４の局面は次の様に規定される。
　第１～第３のいずれかに規定の方法において、前記第１補完ブロック形成ステップでは前記第１補完ブロックを回転させる、前記第２補完ブロック形成ステップでは前記第２補完ブロックを回転させる。
　このように規定される第４の局面の欠陥検査方法によれば、各補完ブロックに含まれる有効領域は、処理対象ブロックとの比較において、ブロックにおける相対的な位置に変化がつけられたことに加えて、補完ブロックを回転することにより、ＡＩ処理装置への入力態様に更に変化を与えられる。
　なお、処理対象ブロックが２×２の領域からなるときは、例えば横方向（ｍ側）へ１つの領域分偏移させた第１補完ブロックを時計方向へ９０度回転させ、縦方向（ｎ側）へ１つの領域分偏移させた第２補完ブロックを同じく２７０度回転させ、横縦側へそれぞれ１つの領域分偏移させた第３補完ブロックは同じく１８０度回転させ、それぞれのブロックに対して欠陥特定処理を実行する（第５の局面）。これにより、ブロックに含まれる有効領域をＡＩ処理装置へ入力する際の態様に均一かつ規則的な変化を与えることができる。
　各補完ブロックを回転するときの回転中心は特に限定されるものではないが、ブロックの中心とすることが好ましい。
　以上を敷衍して、第６の局面は次のように規定される。即ち、
　背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、
　該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
　前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
　特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
　欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
　該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
　前記処理対象ブロック特定ステップは、
　　前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
　　前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成ステップと、を備え、
　　前記欠陥特定ステップは、
　　前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
　　前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を含み、
　前記座標変換ステップは、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
　検査対象品の欠陥検出方法。
　この発明は装置の発明として次のように規定することもできる。
　背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
　該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
　前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
　特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
　欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
　該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置であって、
　前記処理対象ブロック特定部は、
　　前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定する主処理対象ブロック特定部と、
　　前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成し、記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成する補完ブロック形成部と、を備え、
　　前記欠陥特定部は、
　　前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
　　前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
　　前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を実行し、
　前記座標変換部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
　検査対象品の欠陥検出装置。
　このように規定される第７の局面の発明によれば、第１の局面に規定の発明と同じ効果が得られる。
　この発明の第８の局面は次のように規定される。即ち、
　第７の局面に規定の装置において、前記検査結果作成部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥において、確率の最も高いものを選択する。
　このように規定される第８の局面の発明によれば、第２の局面の発明と同じ効果が得られる。
　この発明の第９の局面は次のように規定される。即ち、
　第７の局面に規定の装置において、前記検査結果作成部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥の座標より、前記原座標において欠陥座標のアンド集合若しくはオア集合を作成する。
　このように規定される第９の局面の発明によれば、第３の局面の発明と同じ効果が得られる。
　この発明の第１０の局面は次のように規定される。即ち、
　第７～９のいずれかの局面に規定の装置において、前記補完ブロック形成部は、前記第１補完ブロック及び前記第２補完ブロックを回転させる。
　このように規定される第１０の局面の発明によれば、第４の局面の発明と同じ効果が得られる。
　この発明の第１１の局面は次のように規定される。即ち、
　第１０の局面に規定の装置において、処理対象ブロックがｍ×ｎの領域からなるとき、前記前記補完ブロック形成部は、ｍ側へ１つの領域分偏移させた前記第１補完ブロック９０度回転させ、ｎ側へ１つの領域分偏移させた第２補完ブロックを２７０度回転させ、ｍ側とｎ側へそれぞれ１つの領域分偏移させた第３補完ブロックを１８０度回転させ、
　前記欠陥特定部は、得られた回転補完ブロックに対してそれぞれ欠陥の材料とその確率を特定する。
　このように規定される第１１の局面の発明によれば、第５の局面の発明と同じ効果が得られる。
　この発明の第１２の局面は次のように規定される。即ち、
　背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
　該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
　前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
　特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
　欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
　該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置であって、
　前記処理対象ブロック特定部は、
　　前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定部と、
　　前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成部と、を備え、
　　前記欠陥特定部は、
　　前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
　　前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を実行し、
　前記座標変換部は、前記主欠陥特定ステップ、及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
　検査対象品の欠陥検出装置。
　この発明はプログラムの発明として次のように規定することもできる。
　背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
　該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
　前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
　特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
　欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
　該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置に用いられるコンピュータ用のプログラムであって、
　前記処理対象ブロック特定部は主処理対象ブロック特定部及び補完ブロック形成部を備え、
　　前記主処理対象ブロック特定部に、前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定させ、
　　前記補完ブロック形成部に、前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成させ、記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成させ、
　前記欠陥特定部に
　　前記処理対象ブロックにおける欠陥の座標とその確率を特定させ、
　　前記第１補完ブロックにおける欠陥の座標とその確率を特定させ、
　　前記第２補完ブロックにおける欠陥の座標とその確率を特定させ、
　前記座標変換部に、前記主欠陥特定ブロック、前記第１補完ブロック及び第２補完ブロックについてそれぞれ特定された欠陥の座標を前記原画像の原座標に変換させる。
　コンピュータ用のプログラム。　このように規定される第１３の局面の発明によれば、第１の局面に規定の発明と同じ効果が得られる。
　この発明の第１４の局面は次のように規定される。即ち、
　第１３の局面に規定のプログラムにおいて、前記主欠陥特定ブロック、前記第１補完ブロック及び第２補完ブロックについてそれぞれ特定され、前記原座標に変換された欠陥において、確率の最も高いものを選択させる。
　このように規定される第１４の局面の発明によれば、第２の局面の発明と同じ効果が得られる。
　この発明の第１５の局面は次のように規定される。即ち、
　第７の局面に規定のプログラムおいて、前記主欠陥特定ブロック、前記第１補完ブロック及び第２補完ブロックについてそれぞれ特定され、前記原座標に変換された欠陥の座標より、前記原座標において欠陥座標のアンド集合若しくはオア集合を作成させる。
　このように規定される第１５の局面の発明によれば、第３の局面の発明と同じ効果が得られる。
　この発明の第１６の局面は次のように規定される。即ち、
　第１３～１５のいずれかの局面に規定のプログラムにおいて、前記補完ブロック形成部に、前記第１補完ブロック及び前記第２補完ブロックを回転させる。
　このように規定される第１６の局面の発明によれば、第４の局面の発明と同じ効果が得られる。
　この発明の第１７の局面は次のように規定される。即ち、
　第１６の局面に規定のプログラムにおいて、処理対象ブロックがｍ×ｎの領域からなるとき、前記前記補完ブロック形成部に、ｍ側へ１つの領域分偏移させた前記第１補完ブロック９０度回転させ、ｎ側へ１つの領域分偏移させた第２補完ブロックを２７０度回転させ、ｍ側とｎ側へそれぞれ１つの領域分偏移させた第３補完ブロックを１８０度回転させ、
　前記欠陥特定部に、得られた回転補完ブロックに対してそれぞれ欠陥の材料とその確率を特定させる。
　このように規定される第１７の局面の発明によれば、第５の局面の発明と同じ効果が得られる。
　この発明の第１８の局面は次のように規定される。即ち、
　背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
　該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
　前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
　特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
　欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
　該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置に用いられるコンピュータ用のプログラムであって、
　前記処理対象ブロック特定部は主処理対象ブロック特定部及び補完ブロック形成部を備え、
　　前記主処理対象ブロック特定部に前記処理対象ブロックを特定させ、
　　前記補完ブロック形成部に、前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成させ
　前記欠陥特定部に
　　前記処理対象ブロックにおける欠陥の座標とその確率を特定させ、
　　前記補完ブロックにおける欠陥の座標とその確率を特定させ、
　前記座標変換部に、前記主欠陥特定ブロック及び前記補完ブロックについてそれぞれ特定された欠陥の座標を前記原画像の原座標に変換させる、
　コンピュータ用のプログラム。
図１は本発明の実施形態の欠陥検出装置の機能ブロック図である。 図２は欠陥検出装置の動作を示すフローチャートである。 図３は検査対象であるオーリングの撮影画像（原画像）にグリッドを付して領域に分割した状態を示す。 図４はオーリングが映り込んでいる有効領域にマーク（図中で薄墨色）を付した状態を示す。 図５は処理対象ブロックを示す模式図である。 図６は補完ブロックを示す模式図である。 図７は回転させた補完ブロックとその回転規則を示す模式図である。 図８は欠陥検出装置のハード構成を示す模式図である。
　以下、本発明を実施形態に基づき更に詳細に説明する。
　図１は実施の形態の欠陥検出装置１の機能を示すブロック図である。
　この欠陥検出装置１のカメラ３は例えばＣＣＤデバイスを備え、検査対象をその背景とともに撮影する。
　撮影された画像（原画像）は原画像保存部４に保存され、原画像分割部５により原画像は複数の領域に分割される。領域の大きさや形状は任意に選択できるが、グリッド（格子）状にすることが好ましい。
　有効領域特定部７では、検査対象が映り込んでいる領域にフラグをたててこれを有効領域とする。換言すれば、背景のみの領域を不活性化して後の画像処理の対象としないようにする。
　処理対象ブロック特定部８の主処理対象ブロック特定部９は、例えば縦（２）×横（２）の４つの領域の塊のように、原画像から複数の領域（相互に連続したもの）を選択し、少なくとも１つの有効領域が含まれるものを処理対象ブロックとする。なお、処理対象ブロック特定部９で特定された処理対象ブロックに基づき、補完ブロック形成部１０は、所定のルールに基づき補完ブロックを形成する。処理対象ブロックと補完ブロックとは領域の数およびその並び方において同一とすることが好ましいが、領域の数や並び方に変化をつけることもできる。
　欠陥特定部１３はＡＩ処理部１３１を含む。処理対象ブロック特定部９で特定された処理対象ブロック及び補完ブロック形成部１０で形成された各ブロックが欠陥特定部１３のＡＩ処理部１３１へ入力される。ＡＩ処理部１３１は汎用的なニューラルネットワーク用いており、欠陥の有無の判断のため、十分な教師データが読み込まれているものとする。
　この例では、ＡＩ処理部としてドスパラ社製のＢＴＯ　Ｃｏｒｅ－ｉ９－９９４０Ｘ、メモリ６４ＧＢを用い、ＡＩ用のソフトウエアとしてテクムズ社のＤＥＥＰＳ　ＡＩ　Ｉｎｓｐｅｃｔｉｏｎを用いた。ブロック単位で欠陥の無い教師データが５０００枚、欠陥のある１０００枚の教師データが読み込まれるものとする。その他、ＧＰＵとして Nvidia社製 ＧｅＦｏｒｃｅ　ＲＴＸ　２０８０　Ｔｉ　を用いている。
　欠陥特定部１３１へ入力されたブロックの画像、即ち処理対象ブロックの画像及びその補完ブロックの画像がＡＩ処理部１３１で処理されて、欠陥が検出されたとき（所定の確率より高いもの）は、その欠陥の座標とその確率がブロックデータ保存部１５の欠陥座標保存部１５１と欠陥の確率保存部１５３にそれぞれ保存される。
　ブロックデータ保存部１５に保存される欠陥の座標は、ブロック毎に定められた座標である。そこで、座標変換部１７は、原画像の原座標保存部１１に保存されている原座標と処理対象ブロック特定部９によるブロック特定のルール及び補完ブロック形成のルールを参照して、ブロックデータ保存部１５の欠陥座標保存部１５１に保存されている欠陥の座標を原画像の原座標に対応つける。このようにして原座標に変換された欠陥の座標は原画像データ保存部２１の欠陥座標保存部２１１に保存される。それとともに、欠陥の確率がブロックデータ保存部１５の欠陥の確率保存部１５３から原画像データ保存部２１の欠陥の確率保存部２１３にコピーされる。
　原画像の全域をカバーするように主処理対象ブロックを特定して、さらにそれらの補完ブロックを形成して、各ブロックにつきＡＩ処理を実行し、原画像の全域において欠陥の座標とその確率を特定し、原画像データ保存部２１に保存する。
　原画像データ保存部２１においては、各ブロックにおいて特定された欠陥の座標が重複して保存される。換言すれば、各ブロックのデータが原座標に変換されて、それぞれ保存されている。
　検査結果作成部２３は、原画像データ保存部２１に蓄積されたデータを参照して検査対象品の検査結果を作成する。
　検査結果として、例えば所定の確率以上の欠陥が存在したときは、検査対象品はＮＧとして、例えば製造ラインから除去する。
　次に、図２を参照して、製造ラインを流れるオーリングを検査対象の例として、欠陥検出装置１の動作を説明する。
　ステップ１では、カメラ３により、オーリング１００を撮影する。このとき、背景は白色など明るい色として、黒色のオーリング１００とのコントラストを大きくしておくことが好ましい。
　この撮影によりオーリング１００とその背景の原画像が得られ、原画像保存部４に保存される。
　撮影された画像（原画像）の例を図３に示す。
　ステップ３では、原画像保存部４に保存された原画像が原画像分解部５により、図３に示すように点線で示すグリッドより１００個の領域（ｍ０，ｎ０）～（ｍ９，ｎ９）に分割される。ここで、分割とは、画像処理対象を構成する領域を指定することをいう。
　なお、原画像の座標（原座標）は、例えば領域（ｍ０、ｎ０）の左上端を原点として、画素に応じて付されて、原画像の原座標保存部１１に保存される。
　ステップ５では、有効領域特定部７が、領域ごとにオーリング１００が映り込んでいるか否かを判断する。オーリング１００が映り込んでいる領域が有効領域となる。
図４の例では有効領域にマークした。例えば、領域（ｍ４，ｎ１）、領域（ｍ２，ｎ２）……が有効領域である。
　ステップ７では、処理対象ブロック特定部８の主処理対象ブロック特定部９が処理対象ブロックを特定する。この例では、図５に示すように、原画像の左端上から、順次、図示右方向に４つの領域からなるブロックを特定する。図面上、各ブロックに数１，２，３…を付してある。
　ここで処理対象となるブロックは、有効領域を少なくとも１つ含むブロックである。
　したがって、ステップ７において、主処理対象ブロック特定部９により有効領域を少なくとも１つ含むブロックが処理対象ブロックとして特定される。図５の例において数値をふったブロックでは、ブロック３、６が該当する。
　これにより、処理対象の数を削減できる。
　更にステップ８では、補完ブロック形成部１０により補完ブロックが形成れる。図６に補完ブロックの例を示す。図６において、第１補完ブロックは、処理対象ブロック３をｍ方向（図示右方向）へ１領域分偏移させたものである。同じく第２補完ブロック２は、処理対象ブロック３をｎ方向（図示下方向）へ１領域分偏移させたものである。第３補完ブロック３は、処理対象ブロック３をｍ、ｎ方向へそれぞれ１領域分偏移させたものである。
　ステップ９では、ステップ７で特定された処理対象ブロック３と補完ブロック形成部１０により形成された第１～３補完ブロックとが、欠陥特定部１３のＡＩ処理部１３１においてＡＩ処理される。
　なお、この例では、第１補完ブロックには、有効領域が含まれていないので、ＡＩ処理を省略可能である。
　換言すれば、このステップ９では、オーリング１００が映り込んだ有効領域を含む処理対象ブロックが特定されたことをトリガとして、当該処理対象ブロックを基準にしてＡＩ処理が計４回実行される。そして、ＡＩ処理されるブロックは、当初処理対象として特定された処理対象ブロックに加え、これを基準にして加工形成したものである。図６の例では、基準となるブロック（処理対象ブロック）から、ｍ方向、ｎ方向へそれぞれ１単位の領域偏移するようにこれを加工形成して補完ブロックとしている。
　ステップ７で特定された処理対象ブロックがＰ領域（ｍ方向、３≦Ｐ）×Ｑ領域（ｎ方向、３≦Ｑ）から構成されるときは、ｍ方向、ｎ方向へそれぞれ２単位以上の領域分を偏移させて補完ブロックを形成することもできる。
　加工形成された補完ブロックに更に加工を加えることもできる。例えば、補完ブロックを所定のピッチで回転させる。回転の角度（ピッチ）は、３６０度を補完ブロック数+１で除した角度であり、回転中心は補完ブロックの中心点とすることが好ましいが、特にこれに限定されるわけでない。
　図７の例では、補完ブロックを各補完ブロックの中心点を中心にして回転させて回転補完ブロックを形成している。回転角度のピッチは時計周り方向で９０度である。
　なお、第１補完ブロック１は、これに有効領域が含まれていないので、回転対象から外すことができる。
　このようにして得られた回転補完ブロックはステップ９においてＡＩ処理される。
　ＡＩ処理の結果はブロックごとにブロックデータ保存部１５に保存される（ステップ１１）。より具体的には、欠陥の確率が所定値（例えば８０％）以上のものを欠陥と判定して、処理対象となったブロックの座標を欠陥座標保存部１５１に保存し、それにリンクして、欠陥の確率が欠陥の確率保存部１５３に保存される。
　ブロックデータ保存部１５の欠陥座標保存部１５１に保存されている欠陥の座標は、各ブロックの独自の座標である。例えば、処理対象ブロックであれば領域（ｍ４，ｎ０）の左上端部を原点として処理対象ブロックの座標は規定され、第２補完ブロックであれば領域（ｍ４，ｎ１）の左上端部を原点として補完ブロックの座標が規定される。
　そこで、ステップ１３において、各ブロックで特定された欠陥の座標を統合するため、各ブロックの座標を原画像の原座標（（ｍ０，ｎ０）の左上端を原点とする））に変換する。
　これにより、各ブロックにおいて欠陥があると特定された座標は、ブロック毎に原座標に変換されて、原画像データ保存部２１の欠陥座標保存部２１１に保存される。
　なお、欠陥の確率保存部１５３に保存されていた各欠陥の確率は、これがリンクされた欠陥座標が原座標に変換されたとき、当該リンクを維持して原画像データ保存部２１１の欠陥の確率保存部２１３に保存される。
　なお、上記のようにブロックの座標を原画像の座標に変換する際、座標変換部１７は原画像の原座標保存部１７の座標に関するデータと、処理対象ブロック特定部８によるブロックの特定ルールとを参照する。なお、補完ブロックについては、補完ブロック形成部１０による補完ブロック形成のルールが参照される。
　検査結果作成部２３は原画像データ保存部２１１の欠陥座標保存部２１１に保存されている欠陥座標と、同じく欠陥の確率保存部２１３に保存されている欠陥座標の確率とに基づき、欠陥有無及びその確率や欠陥の位置を特定し、検査結果として出力する。
　ここに、原画像データ保存部２１には各ブロックからのデータが独立して保存されているので、原座標データからみたとき、一つのブロックからのデータでは欠陥有りと判定された座標が他のブロックからのデータでは欠陥無し、と判定されることがある。
　このような場合、安全率を高める見地から、当該座標には欠陥ありと判定することができる。換言すれば、原座標の各座標に対応する各ブロックからのデータにおいて、欠陥として最も高い確率を採用する。
　勿論、各ブロックからのデータにリンクされた確率の平均を演算して、欠陥の有無を判定することもできる。
　更には、各ブロックからのデータにおいてすべて欠陥有りと判定された座標のみ欠陥ありとすることもできるし（アンド集合）、各ブロックからのデータのひとつでも欠陥ありと判定された座標を欠陥あり（オア集合）とすることもできる。
　このように、検査結果作成部２３は、検査対象や検査目的に応じて、任意のルールに従って、検査の結果を作成することができる。
　この欠陥検査装置１のハード構成を図８に示す。
　演算部３００はＣＰＵ３０１、ＲＯＭ３０３及びＲＡＭ３０５を備え、システム全体の制御をつかさどる。それとともに、原画像分割部５、有効領域特定部７、処理対象ブロック特定部８、欠陥特定部１３、座標変換部１７及び検査結果作成部２３として機能する。ＲＯＭ３０３は、演算部３００を制御する制御プログラム等が格納された図示しない不揮発性メモリを含む。ＲＡＭ３０５は、キーボード等の入力装置３３０を介して利用者により予め設定された各種設定値を読み出し可能に格納したり、ＣＰＵ３０１に対してワーキングエリアを提供したりする。演算部３００を制御する制御プログラムはＲＯＭ３０３に限らずＲＡＭ３０５や第１記憶装置３１１及び第２記憶装置３１３に格納されていてもよい。
　ＣＰＵ３０１はニュートラルネットワーク処理に適したものが好ましく、ＲＯＭ３０３若しくは第１及び第２記憶装置３１１，３１３はディープラーニング時に用いる大量のデータを保存できる容量を持つものとする。
　第１記憶装置３１１は原画像保存４、原画像の原座標保存部１１として機能する。第２記憶装置３１３はブロックデータ保存部１５及び原画像データ保存部２１として機能する。
　これら第１及び第２の記憶装置３１１，３１３はハードメモリやフラッシュメモリなど、サーバシステムのメモリ装置の一部の領域を利用することが好ましい。
　なお、データを一時的に保存する、いわゆるバッファメモリには、演算部のＲＡＭの一部領域を利用できる。
　出力装置３２０はディスプレイや音声出力装置であり、入力装置３３０は音声入力部や、ディスプレイに重ねて配置されるタッチパネル式のキーボートやマウスなどが該当する。また、入力装置３３０はＡＩ処理のための教師データ（画像データ）を入力できるものとする。
　カメラ３には汎用的はＣＣＤカメラを用いることができる。その解像度や焦点深度などのカメラのスペックは任意に設定可能である。
　コンピュータを構成する各装置はシステムバス３４０で連結されている。
　本発明の効果を確認するため、下記の実験を行った。
　検査対象：ゴム製品（長径約４cm）
　カメラの解像度：２０４８ｘ１５３６
　グリッドの数（ｍ＝１３、ｎ＝１０）
　処理対象ブロック：（ｍ＝２、ｎ＝２）
　補完ブロック：図６のように３つを形成
　教師データの数　　（正＝５，０００、誤＝１，０００）
　ＡＩソフト：テクムズ社　ＤＥＥＰＳ　ＡＩ　Ｉｎｓｐｅｃｔｉｏｎ
　ＰＣ：ドスパラ社製ＢＴＯパソコン（Ｃｏｒｅ－ｉ９－９９４０Ｘ，メモリ６４ＧＢ，ＧＰＵ：Ｎｖｉｄｉａ社製　ＧｅＦｏｒｃｅ ＲＴＸ　２０８０Ｔｉ）
　検査対象： 正常品２２枚、異常品７４枚
　欠陥の見落としや誤って欠陥と判断した、いわゆる精度は９７．９２％であった。
　他方、上記実験において、補完ブロックを形成しないときの精度は９４．７９％であった。
　以上の結果を踏まえ、本発明は次のように敷衍することができる。
　背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、
　該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
　前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
　特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
　欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
　該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
　前記処理対象ブロック特定ステップは、
　　前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
　　前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成ステップと、を備え、
　　前記欠陥特定ステップは、
　　前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
　　前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を含み、
　前記座標変換ステップは、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する。
　検査対象品の欠陥検出方法。
　この発明は、上記発明の実施形態の説明に何ら限定されるものではない。特許請求の範囲の記載を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。
１…欠陥検出装置
３…カメラ
５…原画像分割部
７…有効領域特定部
８…処理対象ブロック特定部
９…主処理対象ブロック特定部
１０…ブロック加工形成部
１３…欠陥特定部
１５…ブロックデータ保存部
２１…原画像データ保存部
２３…検査結果作成
１３１…ＡＩ処理部

Claims (18)

  1. 　背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、
    　該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
    　前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
    　特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
    　欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
    　該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
    　前記処理対象ブロック特定ステップは、
    　　前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
    　　前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成する第１補完ブロック形成ステップと、
    　　記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成する第２補完ブロック形成ステップと、を備え、
    　　前記欠陥特定ステップは、
    　　前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
    　　前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
    　　前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を含み、
    　前記座標変換ステップは、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
    　検査対象品の欠陥検出方法。
  2. 　前記検査結果作成ステップでは、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換され欠陥において、確率の最も高いものを選択する、請求項１に記載の方法。
  3. 　前記検査結果作成ステップでは、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥の座標より、前記原座標において欠陥座標のアンド集合若しくはオア集合を作成する、請求項１に記載の方法。
  4. 　前記第１補完ブロック形成ステップでは前記第１補完ブロックを回転させ、前記第２補完ブロック形成ステップでは前記第２補完ブロックを回転させる請求項１～３のいずれかに記載の方法。
  5. 　前記処理対象ブロック特定ステップにおいて、ｍ、ｎ＝２のとき、ｍ側へ１つの領域分偏移させた前記第１補完ブロック９０度回転させ、ｎ側へ１つの領域分偏移させた第２補完ブロックを２７０度回転させ、ｍ側とｎ側へそれぞれ１つの領域分偏移させた第３補完ブロックを１８０度回転させ、それぞれ得られた回転補完ブロックに対して前記欠陥特定ステップを実行する、請求項４に記載の方法。
  6. 　背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、
    　該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
    　前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
    　特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
    　欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
    　該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
    　前記処理対象ブロック特定ステップは、
    　　前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
    　　前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成ステップと、を備え、
    　　前記欠陥特定ステップは、
    　　前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
    　　前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を含み、
    　前記座標変換ステップは、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
    　検査対象品の欠陥検出方法。
  7. 　背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
    　該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
    　前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
    　特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
    　欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
    　該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置であって、
    　前記処理対象ブロック特定部は、
    　　前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定する主処理対象ブロック特定部と、
    　　前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成し、記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成する補完ブロック形成部と、を備え、
    　　前記欠陥特定部は、
    　　前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
    　　前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
    　　前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を実行し、
    　前記座標変換部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
    　検査対象品の欠陥検出装置。
  8. 　前記検査結果作成部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥において、確率の最も高いものを選択する、請求項７に記載の装置。
  9. 　前記検査結果作成部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥の座標より、前記原座標において欠陥座標のアンド集合若しくはオア集合を作成する、請求項７に記載の装置。
  10. 　前記補完ブロック形成部は、前記第１補完ブロック及び前記第２補完ブロックを回転させる、請求項７～９のいずれかに記載の装置。
  11. 　処理対象ブロックがｍ×ｎの領域からなるとき、前記前記補完ブロック形成部は、ｍ側へ１つの領域分偏移させた前記第１補完ブロック９０度回転させ、ｎ側へ１つの領域分偏移させた第２補完ブロックを２７０度回転させ、ｍ側とｎ側へそれぞれ１つの領域分偏移させた第３補完ブロックを１８０度回転させ、
    　前記欠陥特定部は、得られた回転補完ブロックに対してそれぞれ欠陥の材料とその確率を特定する、請求項１０に記載の装置。
  12. 　背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
    　該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
    　前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
    　特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
    　欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
    　該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置であって、
    　前記処理対象ブロック特定部は、
    　　前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定部と、
    　　前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成部と、を備え、
    　　前記欠陥特定部は、
    　　前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
    　　前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を実行し、
    　前記座標変換部は、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
    　検査対象品の欠陥検出装置。
  13. 　背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
    　該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
    　前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
    　特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
    　欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
    　該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置に用いられるコンピュータ用のプログラムであって、
    　前記処理対象ブロック特定部は主処理対象ブロック特定部及び補完ブロック形成部を備え、
    　　前記主処理対象ブロック特定部に、前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定させ、
    　　前記補完ブロック形成部に、前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成させ、記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成させ、
    　前記欠陥特定部に
    　　前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
    　　前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
    　　前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を実行させ、
    　前記座標変換部に、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換させる、コンピュータプログラム。
  14. 　前記検査結果作成部に、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥において、確率の最も高いものを選択させる、請求項１３に記載のプログラム。
  15. 　前記検査結果作成部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥において、欠陥座標のアンド集合若しくはオア集合を作成させる、請求項１３に記載のプログラム。
  16. 　前記補完ブロック形成部に、前記第１補完ブロック及び前記第２補完ブロックを回転させる、請求項１３～１５に記載のプログラム。
  17. 　処理対象ブロックがｍ×ｎの領域からなるとき、前記前記補完ブロック形成部に、ｍ側へ１つの領域分偏移させた前記第１補完ブロック９０度回転させ、ｎ側へ１つの領域分偏移させた第２補完ブロックを２７０度回転させ、ｍ側とｎ側へそれぞれ１つの領域分偏移させた第３補完ブロックを１８０度回転させ、
    　前記欠陥特定部に、得られた回転補完ブロックに対してそれぞれ欠陥の材料とその確率を特定させる、
    　請求項１６に記載のプログラム。
  18. 　背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
    　該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
    　前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
    　特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
    　欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
    　該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置に用いられるコンピュータ用のプログラムであって、
    　前記処理対象ブロック特定部は主処理対象ブロック特定部及び補完ブロック形成部を備え、
    　　前記主処理対象ブロック特定部に前記処理対象ブロックを特定させ、
    　　前記補完ブロック形成部に、前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成させ
    　前記欠陥特定部に
    　　前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
    　　前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を実行させ、
    　前記座標変換部に、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換させる、
    　コンピュータ用のプログラム。
PCT/JP2020/027584 2019-07-16 2020-07-16 検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラム WO2021010430A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-131324 2019-07-16
JP2019131324A JP6703672B1 (ja) 2019-07-16 2019-07-16 検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2021010430A1 true WO2021010430A1 (ja) 2021-01-21

Family

ID=70858131

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027584 WO2021010430A1 (ja) 2019-07-16 2020-07-16 検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP6703672B1 (ja)
WO (1) WO2021010430A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631197B (zh) * 2022-12-21 2023-03-17 中科慧远视觉技术(北京)有限公司 一种图像处理方法、装置、介质、设备及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08152309A (ja) * 1994-11-30 1996-06-11 Dainippon Screen Mfg Co Ltd パターン欠陥検査装置
JP2005339180A (ja) * 2004-05-26 2005-12-08 Matsushita Electric Works Ltd 画像処理方法
JP2010139317A (ja) * 2008-12-10 2010-06-24 Mitsubishi Materials Corp 軸物工具表面の欠陥検査方法および装置
JP4657869B2 (ja) * 2005-09-27 2011-03-23 シャープ株式会社 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体
JP2017166929A (ja) * 2016-03-15 2017-09-21 株式会社リコー シート状の被検査体の欠陥検査装置、欠陥検査方法及び欠陥検査システム
WO2018235266A1 (ja) * 2017-06-23 2018-12-27 株式会社Ｒｉｓｔ 検査装置、検査方法及び検査プログラム
JP2019028504A (ja) * 2017-07-25 2019-02-21 住友電気工業株式会社 判定装置、判定方法および判定プログラム
JP2019114927A (ja) * 2017-12-22 2019-07-11 ブラザー工業株式会社 画像処理装置、コンピュータプログラム、および、画像処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013118305A1 (ja) * 2012-02-10 2013-08-15 シャープ株式会社 画像生成装置、画像生成方法、および画像生成プログラムを記録したコンピュータ読取り可能な記録媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08152309A (ja) * 1994-11-30 1996-06-11 Dainippon Screen Mfg Co Ltd パターン欠陥検査装置
JP2005339180A (ja) * 2004-05-26 2005-12-08 Matsushita Electric Works Ltd 画像処理方法
JP4657869B2 (ja) * 2005-09-27 2011-03-23 シャープ株式会社 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体
JP2010139317A (ja) * 2008-12-10 2010-06-24 Mitsubishi Materials Corp 軸物工具表面の欠陥検査方法および装置
JP2017166929A (ja) * 2016-03-15 2017-09-21 株式会社リコー シート状の被検査体の欠陥検査装置、欠陥検査方法及び欠陥検査システム
WO2018235266A1 (ja) * 2017-06-23 2018-12-27 株式会社Ｒｉｓｔ 検査装置、検査方法及び検査プログラム
JP2019028504A (ja) * 2017-07-25 2019-02-21 住友電気工業株式会社 判定装置、判定方法および判定プログラム
JP2019114927A (ja) * 2017-12-22 2019-07-11 ブラザー工業株式会社 画像処理装置、コンピュータプログラム、および、画像処理方法

Also Published As

Publication number Publication date
JP6703672B1 (ja) 2020-06-03
JP2021015099A (ja) 2021-02-12

Similar Documents

Publication Publication Date Title
WO2019117065A1 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
EP3742113B1 (en) System and method for marking images for three-dimensional image generation
JP2008175549A (ja) 欠陥検出装置および欠陥検出方法
JP6476802B2 (ja) 情報処理装置及び情報処理方法
CN208887565U (zh) 一种非接触式高精度的三维测量系统
WO2016018422A1 (en) Virtual changes to a real object
JP7372536B2 (ja) 演算プログラム、演算装置及び演算方法
CN107534756A (zh) 用于缺陷检查应用的快速密度估计方法
CN111951376A (zh) 融合结构光和光度学的三维对象重建方法及终端设备
CN113469971B (zh) 一种图像匹配方法及检测装置、存储介质
WO2021010430A1 (ja) 検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラム
CN113192013A (zh) 一种反光表面缺陷检测方法、系统及电子设备
TW201911230A (zh) 監控方法、計算裝置及電腦可讀存儲介質
CN117372424B (zh) 一种缺陷检测方法、装置、设备及存储介质
JP2002140694A (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
Akhyar et al. A beneficial dual transformation approach for deep learning networks used in steel surface defect detection
CN107480710B (zh) 特征点匹配结果处理方法和装置
WO2022254854A1 (ja) ３次元計測装置
US11360744B2 (en) Two-dimensional data matching method, device and logic circuit
CN103562970A (zh) 自动确定部件与参考制图的符合
Song et al. Automatic calibration method based on improved camera calibration template
CN115222017A (zh) 对确定图像中的预定点的机器学习方法进行训练的方法和系统
WO2020111139A1 (ja) 座標算出装置、座標算出方法、及びコンピュータ読み取り可能な記録媒体
CN112894154A (zh) 激光打标方法及装置
CN115690090B (zh) 缺陷样本图像生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20840888

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20840888

Country of ref document: EP

Kind code of ref document: A1