JP6703672B1 - Defect detection method for inspection target product, apparatus therefor, and computer program therefor - Google Patents
Defect detection method for inspection target product, apparatus therefor, and computer program therefor Download PDFInfo
- Publication number
- JP6703672B1 JP6703672B1 JP2019131324A JP2019131324A JP6703672B1 JP 6703672 B1 JP6703672 B1 JP 6703672B1 JP 2019131324 A JP2019131324 A JP 2019131324A JP 2019131324 A JP2019131324 A JP 2019131324A JP 6703672 B1 JP6703672 B1 JP 6703672B1
- Authority
- JP
- Japan
- Prior art keywords
- defect
- block
- complementary
- coordinates
- specifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000007547 defect Effects 0.000 title claims abstract description 391
- 238000007689 inspection Methods 0.000 title claims abstract description 119
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000004590 computer program Methods 0.000 title claims description 3
- 230000000295 complement effect Effects 0.000 claims abstract description 209
- 238000006243 chemical reaction Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 12
- 239000000463 material Substances 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000013500 data storage Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 11
- 230000002950 deficient Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
【課題】ＡＩ技術を用いた高精度の欠陥検出方法を提供する。【解決手段】分割するステップと、検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、少なくとも一つの有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、ＡＩ処理を実施して欠陥の有無を検出し、欠陥の座標とその確率を特定する欠陥特定ステップと、座標変換ステップと、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる処理対象ブロックを特定するステップと、第１補完ブロック形成ステップと、第２補完ブロック形成ステップと、を備え、欠陥特定ステップは、主欠陥特定ステップと、第１の補完的な欠陥特定ステップと、第２の補完的な欠陥特定ステップと、を含み、座標変換ステップは、特定された欠陥の座標を原画像の原座標に変換する。【選択図】図１PROBLEM TO BE SOLVED: To provide a highly accurate defect detection method using AI technology. SOLUTION: A dividing step, an effective area specifying step in which an area in which an inspection target is reflected is an effective area, a processing target block specifying step in which a processing target block including at least one effective area is specified, and an AI processing. The defect of the inspection object including the defect identification step of detecting the presence or absence of the defect by performing the step of identifying the coordinates and the probability of the defect, the coordinate conversion step, and the inspection result creation step of creating the inspection result of the defect. A case detection method, which comprises a step of specifying a processing target block including an area of m×n (m and n are natural numbers of 2 or more) in an original image, a first complementary block forming step, and a second complementary block forming step And the defect identification step includes a main defect identification step, a first complementary defect identification step, and a second complementary defect identification step, and the coordinate conversion step includes the identified defect. Convert the coordinates of to the original coordinates of the original image. [Selection diagram] Figure 1
Description
本発明は検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラムに関する。 The present invention relates to a defect detection method for an inspection target product, an apparatus therefor, and a computer program therefor.
工業製品、例えばオーリングではその表面に小さな傷、凹凸その他の変形（以下、欠陥と総称する）があるとその性能が著しく低下する。
そこで従来では、オーリングを出荷する前に、画像処理技術を利用してその欠陥を検出していた。
画像処理の一例として、ディープラーニングによりニューラルネットワークに学習させる機能を適用した所謂ＡＩ処理装置を用いるものがある。
欠陥の検査の精度を上げるため、検査対象を撮影した画像は複数のブロックに分割されて、ブロックごとに欠陥の有無が検査される。
本願発明に関連する技術を示す先行文献として特許文献１及び特許文献２を参照されたい。
In the case of industrial products such as O-rings, if there are small scratches, irregularities or other deformations (hereinafter collectively referred to as defects) on the surface, the performance of the products is significantly reduced.
Therefore, conventionally, the defect is detected by using image processing technology before shipping the O-ring.
As one example of image processing, there is one using a so-called AI processing device to which a function of making a neural network learn by deep learning is applied.
In order to improve the accuracy of defect inspection, the image of the inspection target is divided into a plurality of blocks, and the presence or absence of defects is inspected for each block.
Please refer to Patent Document 1 and Patent Document 2 as prior documents showing techniques related to the present invention.
検査対象の撮影画像を複数のブロックに分割し、分割されたブロックごとにＡＩ処理することで、欠陥の検査に高い精度が確保される。
しかし、自動車に使用されるオーリングなどの精密部品は人命に関わるため、高精度な欠陥検出手法が求められている。
By dividing the photographed image of the inspection object into a plurality of blocks and performing the AI process for each of the divided blocks, high accuracy can be ensured in the defect inspection.
However, since precision parts such as O-rings used in automobiles are related to human life, a highly accurate defect detection method is required.
この発明は、かかる課題に対応するものであり、その第１の局面は次のように規定される。即ち。
背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
前記処理対象ブロック特定ステップは、
前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成する第１補完ブロック形成ステップと、
記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成する第２補完ブロック形成ステップと、を備え、
前記欠陥特定ステップは、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を含み、
前記座標変換ステップは、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出方法。
The present invention addresses such a problem, and a first aspect thereof is defined as follows. That is,
A step of dividing an original image obtained by photographing an inspection target together with a background into a plurality of areas,
An effective area specifying step of determining whether or not the inspection object is reflected in the divided areas, and setting the area in which the inspection object is reflected as an effective area;
A processing target block specifying step of specifying a processing target block including at least one of the effective areas, the step including a plurality of areas selected from the original image,
A defect specifying step of performing AI processing on the specified block to be processed, detecting the presence or absence of a defect, and specifying the coordinates of the defect in the block to be processed and its probability when the defect exists;
A coordinate conversion step of converting the coordinates of the defect obtained in the defect identification step into the original coordinates of the original image,
A defect detection method for an inspection target product, comprising: an inspection result creating step of creating an inspection result of the defect based on the coordinates of the defect in the original coordinates and the probability thereof;
The processing target block specifying step,
A main processing target block specifying step of specifying the processing target block including an area of m×n (m and n are natural numbers of 2 or more) in the original image;
A first complementary block forming step of forming a first complementary block by shifting the block to be processed in the arrangement direction of m in the original image on a region-by-region basis;
A second complementary block forming step of forming a second complementary block by shifting the block to be processed in the arrangement direction of n in the original image on a region-by-region basis,
The defect identification step is
A main defect identification step of identifying the coordinates of the defect in the block to be processed and its probability,
A first complementary defect identification step of identifying a defect coordinate and its probability in the first complementary block;
A second complementary defect identification step of identifying the coordinates of the defect in the second complementary block and the probability thereof,
In the coordinate conversion step, the coordinates of the defects respectively specified in the main defect specifying step, the first complementary defect specifying step and the second complementary defect specifying step are converted into original coordinates of the original image. ,
Defect detection method for inspected products.
このように規定される第１の局面の欠陥検索方法によれば、欠陥特定ステップにおいて、処理対象ブロックに対する主欠陥特定ステップに加えて、補完ブロックを利用して補完的な欠陥特定ステップが実行される。その結果、有効領域に対する欠陥検査が、補完的な欠陥特定ステップを実行した数だけ、多く実行されたこととなる。処理対象ブロックに含まれる有効領域は、第１補完ブロックや第２補完ブロックでは、ブロック全体において相対的に異なる位置に存在するので、ＡＩ処理においては、異なる対象となるからである。 According to the defect search method of the first aspect thus defined, in the defect specifying step, in addition to the main defect specifying step for the processing target block, the complementary defect specifying step is executed by using the complementary block. It As a result, the defect inspection for the effective area is executed as many times as the number of the complementary defect identification steps executed. This is because the effective areas included in the block to be processed are present at different positions in the entire block in the first complementary block and the second complementary block, and are therefore different targets in the AI process.
有効領域に映り込んでいる検査対象品の部分に欠陥があったとき、ＡＩ処理装置への入力態様が異なる（ブロックにおける相対的な位置が異なる）と、その確率に変化が生じる。この場合、最も高い確率の欠陥を採用することができる（第２の局面）。
なお、各ブロックにおいて特定された欠陥の座標は、原画像における原座標（絶対座標）に変換され、その座標が重複するものは同じ欠陥を指すものと考えられる。第２の局面では、各ブロックで検出された欠陥の座標が原座標において重複したとき、最も確率が高いものを採用することとした。
If there is a defect in the portion of the inspection target product that is reflected in the effective area, if the input mode to the AI processing device is different (the relative position in the block is different), the probability changes. In this case, the defect with the highest probability can be adopted (second aspect).
It should be noted that the coordinates of the defect specified in each block are converted into the original coordinates (absolute coordinates) in the original image, and those having overlapping coordinates are considered to indicate the same defect. In the second aspect, when the coordinates of the defect detected in each block overlap in the original coordinates, the one having the highest probability is adopted.
他方、各ブロックで検出された欠陥の座標が原座標において重複したとき、重複したもののアンド集合又はオア集合を作成して、それを欠陥の座標とすることができる（第３の局面）。なお、アンド集合は、各ブロックにおいて特定された欠陥の座標の集合体に対応する原座標の座標の集合体の重複部分を指す。アンド集合では、各ブロックにおいて欠陥として特定されたもののなかで最も高い確率のもの（欠陥）を採用することができる。
オア集合は、各ブロックにおいて特定された欠陥の座標の集合体に対応する原座標の集合体の外郭で規定される。その確率は、各ブロックにおける欠陥の確率の平均を採用することができる。
On the other hand, when the coordinates of the defect detected in each block overlap in the original coordinates, it is possible to create an AND set or OR set of the duplicates and use it as the defect coordinates (third aspect). It should be noted that the AND set refers to an overlapping portion of an aggregate of coordinates of original coordinates corresponding to an aggregate of coordinates of defects specified in each block. In the AND set, the one having the highest probability (defect) among those identified as defects in each block can be adopted.
The OR set is defined by the outline of the set of original coordinates corresponding to the set of defect coordinates specified in each block. As the probability, the average of the probabilities of defects in each block can be adopted.
この発明の第４の局面は次の様に規定される。
第１〜第３のいずれかに規定の方法において、前記第１補完ブロック形成ステップでは前記第１補完ブロックを回転させる、前記第２補完ブロック形成ステップでは前記第２補完ブロックを回転させる。
このように規定される第４の局面の欠陥検査方法によれば、各補完ブロックに含まれる有効領域は、処理対象ブロックとの比較において、ブロックにおける相対的な位置に変化がつけられたことに加えて、補完ブロックを回転することにより、ＡＩ処理装置への入力態様に更に変化を与えられる。
The fourth aspect of the present invention is defined as follows.
In any one of the first to third methods, in the first complementary block forming step, the first complementary block is rotated, and in the second complementary block forming step, the second complementary block is rotated.
According to the defect inspection method of the fourth aspect defined as described above, the effective area included in each complementary block is changed in the relative position in the block in comparison with the block to be processed. In addition, by rotating the complementary block, the input mode to the AI processing device can be further changed.
なお、処理対象ブロックが２×２の領域からなるときは、例えば横方向（ｍ側）へ１つの領域分偏移させた第１補完ブロックを時計方向へ９０度回転させ、縦方向（ｎ側）へ１つの領域分偏移させた第２補完ブロックを同じく２７０度回転させ、横縦側へそれぞれ１つの領域分偏移させた第３補完ブロックは同じく１８０度回転させ、それぞれのブロックに対して欠陥特定処理を実行する（第５の局面）。これにより、ブロックに含まれる有効領域をＡＩ処理装置へ入力する際の態様に均一かつ規則的な変化を与えることができる。
各補完ブロックを回転するときの回転中心は特に限定されるものではないが、ブロックの中心とすることが好ましい。
When the block to be processed is composed of a 2×2 area, for example, the first complementary block, which is deviated by one area in the horizontal direction (m side), is rotated clockwise by 90 degrees, and the first complementary block is rotated in the vertical direction (n side). ), the second complementary block shifted by one area is also rotated by 270 degrees, and the third complementary block shifted by one area in each of the horizontal and vertical directions is also rotated by 180 degrees. Defect identification processing is executed (fifth aspect). As a result, it is possible to give a uniform and regular change to the mode when the effective area included in the block is input to the AI processing device.
The center of rotation when rotating each complementary block is not particularly limited, but is preferably the center of the block.
以上を敷衍して、第６の局面は次のように規定される。即ち、
背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
前記処理対象ブロック特定ステップは、
前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成ステップと、を備え、
前記欠陥特定ステップは、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を含み、
前記座標変換ステップは、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出方法。
Based on the above, the sixth aspect is defined as follows. That is,
A step of dividing an original image obtained by photographing an inspection target together with a background into a plurality of areas,
An effective area specifying step of determining whether or not the inspection object is reflected in the divided areas, and setting the area in which the inspection object is reflected as an effective area;
A processing target block specifying step of specifying a processing target block including at least one of the effective areas, the step including a plurality of areas selected from the original image,
A defect specifying step of performing AI processing on the specified block to be processed, detecting the presence or absence of a defect, and specifying the coordinates of the defect in the block to be processed and its probability when the defect exists;
A coordinate conversion step of converting the coordinates of the defect obtained in the defect identification step into the original coordinates of the original image,
A defect detection method for an inspection target product, comprising: an inspection result creating step of creating an inspection result of the defect based on the coordinates of the defect in the original coordinates and the probability thereof;
The processing target block specifying step,
A main processing target block specifying step of specifying the processing target block in the original image,
A complementary block forming step of forming a complementary block that shares at least one region of the processing target block with reference to the processing target block,
The defect identification step is
A main defect identification step of identifying the coordinates of the defect in the block to be processed and its probability,
Complementary defect identification step for identifying the coordinates of the defect in the complementary block and its probability,
The coordinate transformation step transforms the coordinates of the defects respectively identified in the main defect identification step and the complementary defect identification step into original coordinates of the original image,
Defect detection method for inspected products.
この発明は装置の発明として次のように規定することもできる。
背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置であって、
前記処理対象ブロック特定部は、
前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定する主処理対象ブロック特定部と、
前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成し、記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成する補完ブロック形成部と、を備え、
前記欠陥特定部は、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を実行し、
前記座標変換部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出装置。
このように規定される第７の局面の発明によれば、第１の局面に規定の発明と同じ効果が得られる。
The present invention can be defined as the invention of a device as follows.
A desired image dividing unit that divides the original image obtained by photographing the inspection target together with the background into a plurality of regions,
An effective area specifying unit that determines whether or not the inspection target is reflected in the divided areas, and sets an area in which the inspection object is reflected as an effective area;
A processing target block specifying unit configured to specify a processing target block including a plurality of areas selected from the original image and including at least one of the effective areas,
A defect specifying unit that performs AI processing on the specified block to be processed to detect the presence or absence of a defect and, when a defect exists, specifies the coordinates of the defect in the block to be processed and its probability.
A coordinate conversion unit for converting the coordinates of the defect obtained in the defect identification step to the original coordinates of the original image,
A defect detection device for an inspection target product, which includes an inspection result creation unit that creates an inspection result of the defect based on the coordinates of the defect in the original coordinates and the probability thereof,
The processing target block specifying unit,
A main processing target block specifying unit that specifies the processing target block including an area of m×n (m and n are natural numbers of 2 or more) in the original image;
In the original image, the block to be processed is shifted in the unit direction of the m in the region unit to form a first complementary block, and in the original image, the block to be processed is shifted in the unit direction of the unit n in the unit direction. And a complementary block forming section for forming a second complementary block.
The defect identification section,
A main defect identification step of identifying the coordinates of the defect in the block to be processed and its probability,
A first complementary defect identification step of identifying a defect coordinate and its probability in the first complementary block;
A second complementary defect identification step of identifying the coordinates of the defect and its probability in the second complementary block,
The coordinate conversion unit converts the coordinates of the defects respectively specified in the main defect specifying step, the first complementary defect specifying step and the second complementary defect specifying step into the original coordinates of the original image. ,
Defect detection device for inspected products.
According to the invention of the seventh aspect defined in this way, the same effect as that of the invention defined in the first aspect can be obtained.
この発明の第８の局面は次のように規定される。即ち、
第７の局面に規定の装置において、前記検査結果作成部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥において、確率の最も高いものを選択する。
このように規定される第８の局面の発明によれば、第２の局面の発明と同じ効果が得られる。
The eighth aspect of the present invention is defined as follows. That is,
In the apparatus defined in the seventh aspect, the inspection result creation unit is specified in the main defect identification step, the first complementary defect identification step, and the second complementary defect identification step, respectively, and the original defect is identified. Of the defects converted into coordinates, the defect with the highest probability is selected.
According to the invention of the eighth aspect defined as above, the same effect as that of the invention of the second aspect can be obtained.
この発明の第９の局面は次のように規定される。即ち、
第７の局面に規定の装置において、前記検査結果作成部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定され、前記原座標に変換された欠陥の座標より、前記原座標において欠陥座標のアンド集合若しくはオア集合を作成する。
このように規定される第９の局面の発明によれば、第３の局面の発明と同じ効果が得られる。
The ninth aspect of the present invention is defined as follows. That is,
In the apparatus defined in the seventh aspect, the inspection result creation unit is specified in the main defect identification step, the first complementary defect identification step, and the second complementary defect identification step, respectively, and the original defect is identified. An AND set or an OR set of defect coordinates is created in the original coordinates from the coordinates of the defect converted into coordinates.
According to the invention of the ninth aspect defined as above, the same effect as that of the invention of the third aspect can be obtained.
この発明の第１０の局面は次のように規定される。即ち、
第７〜９のいずれかの局面に規定の装置において、前記補完ブロック形成部は、前記第１補完ブロック及び前記第２補完ブロックを回転させる。
このように規定される第１０の局面の発明によれば、第４の局面の発明と同じ効果が得られる。
The tenth aspect of the present invention is defined as follows. That is,
In the apparatus defined in any one of the seventh to ninth aspects, the complementary block forming unit rotates the first complementary block and the second complementary block.
According to the invention of the tenth aspect defined in this way, the same effect as that of the invention of the fourth aspect can be obtained.
この発明の第１１の局面は次のように規定される。即ち、
第１０の局面に規定の装置において、処理対象ブロックがｍ×ｎの領域からなるとき、前記前記補完ブロック形成部は、ｍ側へ１つの領域分偏移させた前記第１補完ブロック９０度回転させ、ｎ側へ１つの領域分偏移させた第２補完ブロックを２７０度回転させ、ｍ側とｎ側へそれぞれ１つの領域分偏移させた第３補完ブロックを１８０度回転させ、
前記欠陥特定部は、得られた回転補完ブロックに対してそれぞれ欠陥の材料とその確率を特定する。
このように規定される第１１の局面の発明によれば、第５の局面の発明と同じ効果が得られる。
The eleventh aspect of the present invention is defined as follows. That is,
In the apparatus defined in the tenth aspect, when the block to be processed is composed of an area of m×n, the complementary block forming section rotates the first complementary block by 90 degrees, which is shifted by one area toward the m side. Then, the second complementary block shifted by one area to the n side is rotated by 270 degrees, and the third complementary block shifted by one area to the m side and the n side is rotated by 180 degrees,
The defect specifying unit specifies the defect material and the probability thereof for each of the obtained rotation complementary blocks.
According to the invention of the eleventh aspect defined in this way, the same effect as that of the invention of the fifth aspect can be obtained.
この発明の第１２の局面は次のように規定される。即ち、
背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置であって、
前記処理対象ブロック特定部は、
前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定部と、
前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成部と、を備え、
前記欠陥特定部は、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を実行し、
前記座標変換部は、前記主欠陥特定ステップ、及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出装置。
The twelfth aspect of the present invention is defined as follows. That is,
A desired image dividing unit that divides the original image obtained by photographing the inspection target together with the background into a plurality of regions,
An effective area specifying unit that determines whether or not the inspection target is reflected in the divided areas, and sets an area in which the inspection object is reflected as an effective area;
A processing target block specifying unit configured to specify a processing target block including a plurality of areas selected from the original image and including at least one of the effective areas,
A defect specifying unit that performs AI processing on the specified block to be processed to detect the presence or absence of a defect and, when a defect exists, specifies the coordinates of the defect in the block to be processed and its probability.
A coordinate conversion unit for converting the coordinates of the defect obtained in the defect identification step to the original coordinates of the original image,
A defect detection device for an inspection target product, which includes an inspection result creation unit that creates an inspection result of the defect based on the coordinates of the defect in the original coordinates and the probability thereof,
The processing target block specifying unit,
A main processing target block specifying unit that specifies the processing target block in the original image,
A complementary block forming unit that forms a complementary block that shares at least one region of the processing target block with reference to the processing target block,
The defect identification section,
A main defect identification step of identifying the coordinates of the defect in the block to be processed and its probability,
Performing a complementary defect identification step of identifying the coordinates of the defect in the complementary block and its probability,
The coordinate conversion unit converts the coordinates of the defects respectively specified in the main defect specifying step and the complementary defect specifying step into original coordinates of the original image,
Defect detection device for inspected products.
この発明はプログラムの発明として次のように規定することもできる。
背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置に用いられるコンピュータ用のプログラムであって、
前記処理対象ブロック特定部は主処理対象ブロック特定部及び補完ブロック形成部を備え、
前記主処理対象ブロック特定部に、前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定させ、
前記補完ブロック形成部に、前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成させ、記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成させ、
前記欠陥特定部に
前記処理対象ブロックにおける欠陥の座標とその確率を特定させ、
前記第１補完ブロックにおける欠陥の座標とその確率を特定させ、
前記第２補完ブロックにおける欠陥の座標とその確率を特定させ、
前記座標変換部に、前記主欠陥特定ブロック、前記第１補完ブロック及び第２補完ブロックについてそれぞれ特定された欠陥の座標を前記原画像の原座標に変換させる。
コンピュータ用のプログラム。 このように規定される第１３の局面の発明によれば、第１の局面に規定の発明と同じ効果が得られる。
The present invention can be defined as the invention of a program as follows.
A desired image dividing unit that divides the original image obtained by photographing the inspection target together with the background into a plurality of regions,
An effective area specifying unit that determines whether or not the inspection target is reflected in the divided areas, and sets an area in which the inspection object is reflected as an effective area;
A processing target block specifying unit configured to specify a processing target block including a plurality of areas selected from the original image and including at least one of the effective areas,
A defect specifying unit that performs AI processing on the specified block to be processed to detect the presence or absence of a defect and, when a defect exists, specifies the coordinates of the defect in the block to be processed and its probability.
A coordinate conversion unit for converting the coordinates of the defect obtained in the defect identification step to the original coordinates of the original image,
A program for a computer used in a defect case detection device for an inspection target product, including an inspection result creation unit that creates an inspection result of the defect based on the coordinates of the defect in the original coordinates and the probability thereof,
The processing target block specifying unit includes a main processing target block specifying unit and a complementary block forming unit,
Causing the main processing target block specifying unit to specify the processing target block including an area of m×n (m, n is a natural number of 2 or more) in the original image,
The complementary block forming unit causes the processing target block in the original image to be shifted in the arrangement direction of the m in units of regions to form a first complementary block, and the processing target block in the original image is arranged in the n arrangement. The second complementary block by shifting in the direction in units of regions,
Cause the defect identification unit to identify the coordinates of the defect in the block to be processed and its probability,
The coordinates of the defect in the first complementary block and the probability thereof are specified,
The coordinates of the defect in the second complementary block and the probability thereof are specified,
The coordinate conversion unit converts the coordinates of the defects respectively specified for the main defect specifying block, the first complementary block and the second complementary block into the original coordinates of the original image.
A program for a computer. According to the invention of the thirteenth aspect defined in this way, the same effects as those of the invention defined in the first aspect can be obtained.
この発明の第１４の局面は次のように規定される。即ち、
第１３の局面に規定のプログラムにおいて、前記主欠陥特定ブロック、前記第１補完ブロック及び第２補完ブロックについてそれぞれ特定され、前記原座標に変換された欠陥において、確率の最も高いものを選択させる。
このように規定される第１４の局面の発明によれば、第２の局面の発明と同じ効果が得られる。
The 14th aspect of the present invention is defined as follows. That is,
In the program defined in the thirteenth aspect, the defect having the highest probability is selected from the defects which are specified for the main defect specifying block, the first complementary block, and the second complementary block and are converted into the original coordinates.
According to the invention of the fourteenth aspect defined in this way, the same effect as the invention of the second aspect can be obtained.
この発明の第１５の局面は次のように規定される。即ち、
第７の局面に規定のプログラムおいて、前記主欠陥特定ブロック、前記第１補完ブロック及び第２補完ブロックについてそれぞれ特定され、前記原座標に変換された欠陥の座標より、前記原座標において欠陥座標のアンド集合若しくはオア集合を作成させる。
このように規定される第１５の局面の発明によれば、第３の局面の発明と同じ効果が得られる。
The fifteenth aspect of the present invention is defined as follows. That is,
In the program defined in the seventh aspect, the defect coordinates in the original coordinates are specified based on the coordinates of the defects specified in the main defect specifying block, the first complementary block, and the second complementary block and converted into the original coordinates. Create an AND set or an OR set of.
According to the invention of the fifteenth aspect thus defined, the same effect as that of the invention of the third aspect can be obtained.
この発明の第１６の局面は次のように規定される。即ち、
第１３〜１５のいずれかの局面に規定のプログラムにおいて、前記補完ブロック形成部に、前記第１補完ブロック及び前記第２補完ブロックを回転させる。
このように規定される第１６の局面の発明によれば、第４の局面の発明と同じ効果が得られる。
The 16th aspect of the present invention is defined as follows. That is,
In the program defined in any one of the thirteenth to fifteenth aspects, the complementary block forming unit is caused to rotate the first complementary block and the second complementary block.
According to the invention of the sixteenth aspect defined in this way, the same effect as that of the invention of the fourth aspect can be obtained.
この発明の第１７の局面は次のように規定される。即ち、
第１６の局面に規定のプログラムにおいて、処理対象ブロックがｍ×ｎの領域からなるとき、前記前記補完ブロック形成部に、ｍ側へ１つの領域分偏移させた前記第１補完ブロック９０度回転させ、ｎ側へ１つの領域分偏移させた第２補完ブロックを２７０度回転させ、ｍ側とｎ側へそれぞれ１つの領域分偏移させた第３補完ブロックを１８０度回転させ、
前記欠陥特定部に、得られた回転補完ブロックに対してそれぞれ欠陥の材料とその確率を特定させる。
このように規定される第１７の局面の発明によれば、第５の局面の発明と同じ効果が得られる。
The 17th aspect of the present invention is defined as follows. That is,
In the program defined in the sixteenth aspect, when the block to be processed is composed of an area of m×n, the complementary block forming section rotates the first complementary block 90 degrees shifted by one area toward the m side. Then, the second complementary block shifted by one area to the n side is rotated by 270 degrees, and the third complementary block shifted by one area to the m side and the n side is rotated by 180 degrees,
The defect identifying unit identifies the defect material and the probability thereof for each of the obtained rotation complementary blocks.
According to the invention of the seventeenth aspect defined in this way, the same effect as that of the invention of the fifth aspect can be obtained.
この発明の第１８の局面は次のように規定される。即ち、
背景と供に検査対象を撮影した原画像を複数の領域に分割する願画像分割部と、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置に用いられるコンピュータ用のプログラムであって、
前記処理対象ブロック特定部は主処理対象ブロック特定部及び補完ブロック形成部を備え、
前記主処理対象ブロック特定部に前記処理対象ブロックを特定させ、
前記補完ブロック形成部に、前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成させ
前記欠陥特定部に
前記処理対象ブロックにおける欠陥の座標とその確率を特定させ、
前記補完ブロックにおける欠陥の座標とその確率を特定させ、
前記座標変換部に、前記主欠陥特定ブロック及び前記補完ブロックについてそれぞれ特定された欠陥の座標を前記原画像の原座標に変換させる、
コンピュータ用のプログラム。
The eighteenth aspect of the present invention is defined as follows. That is,
A desired image dividing unit that divides the original image obtained by photographing the inspection target together with the background into a plurality of regions,
An effective area specifying unit that determines whether or not the inspection target is reflected in the divided areas, and sets an area in which the inspection object is reflected as an effective area;
A processing target block specifying unit configured to specify a processing target block including a plurality of areas selected from the original image and including at least one of the effective areas,
A defect specifying unit that performs AI processing on the specified block to be processed to detect the presence or absence of a defect and, when a defect exists, specifies the coordinates of the defect in the block to be processed and its probability.
A coordinate conversion unit for converting the coordinates of the defect obtained in the defect identification step to the original coordinates of the original image,
A program for a computer used in a defect case detection device for an inspection target product, including an inspection result creation unit that creates an inspection result of the defect based on the coordinates of the defect in the original coordinates and the probability thereof,
The processing target block specifying unit includes a main processing target block specifying unit and a complementary block forming unit,
Causing the main processing target block specifying unit to specify the processing target block,
The complementary block forming unit forms a complementary block that shares at least one region of the processing target block with the processing target block as a reference, and causes the defect specifying unit to specify the coordinates of the defect in the processing target block and the probability thereof. ,
Specify the coordinates of the defect and its probability in the complementary block,
Causing the coordinate conversion unit to convert the coordinates of the defects respectively specified for the main defect specifying block and the complementary block into the original coordinates of the original image,
A program for a computer.
以下、本発明を実施形態に基づき更に詳細に説明する。
図１は実施の形態の欠陥検出装置１の機能を示すブロック図である。
この欠陥検出装置１のカメラ３は例えばＣＣＤデバイスを備え、検査対象をその背景とともに撮影する。
撮影された画像（原画像）は原画像保存部４に保存され、原画像分割部５により原画像は複数の領域に分割される。領域の大きさや形状は任意に選択できるが、グリッド（格子）状にすることが好ましい。
有効領域特定部７では、検査対象が映り込んでいる領域にフラグをたててこれを有効領域とする。換言すれば、背景のみの領域を不活性化して後の画像処理の対象としないようにする。
Hereinafter, the present invention will be described in more detail based on the embodiments.
FIG. 1 is a block diagram showing the function of the defect detection apparatus 1 of the embodiment.
The camera 3 of this defect detection device 1 is equipped with, for example, a CCD device, and photographs an inspection target together with its background.
The captured image (original image) is stored in the original image storage unit 4, and the original image dividing unit 5 divides the original image into a plurality of areas. The size and shape of the region can be arbitrarily selected, but it is preferable to form a grid.
In the effective area specifying unit 7, a flag is set on the area in which the inspection target is reflected, and this is set as the effective area. In other words, the background only area is inactivated so that it will not be the target of the subsequent image processing.
処理対象ブロック特定部８の主処理対象ブロック特定部９は、例えば縦（２）×横（２）の４つの領域の塊のように、原画像から複数の領域（相互に連続したもの）を選択し、少なくとも１つの有効領域が含まれるものを処理対象ブロックとする。なお、処理対象ブロック特定部９で特定された処理対象ブロックに基づき、補完ブロック形成部１０は、所定のルールに基づき補完ブロックを形成する。処理対象ブロックと補完ブロックとは領域の数およびその並び方において同一とすることが好ましいが、領域の数や並び方に変化をつけることもできる。
欠陥特定部１３はＡＩ処理部１３１を含む。処理対象ブロック特定部９で特定された処理対象ブロック及び補完ブロック形成部１０で形成された各ブロックが欠陥特定部１３のＡＩ処理部１３１へ入力される。ＡＩ処理部１３１は汎用的なニューラルネットワーク用いており、欠陥の有無の判断のため、十分な教師データが読み込まれているものとする。
この例では、ＡＩ処理部としてドスパラ社製のＢＴＯ Ｃｏｒｅ−ｉ９−９９４０Ｘ、メモリ６４ＧＢを用い、ＡＩ用のソフトウエアとしてテクムズ社のＤＥＥＰＳ ＡＩ Ｉｎｓｐｅｃｔｉｏｎを用いた。ブロック単位で欠陥の無い教師データが５０００枚、欠陥のある１０００枚の教師データが読み込まれるものとする。その他、ＧＰＵとして Nvidia社製 ＧｅＦｏｒｃｅ ＲＴＸ ２０８０ Ｔｉ を用いている。
The main processing target block specifying unit 9 of the processing target block specifying unit 8 extracts a plurality of areas (continuous ones) from the original image, such as a block of four areas of vertical (2)×horizontal (2). A block that is selected and includes at least one effective area is set as a processing target block. The complementary block forming unit 10 forms a complementary block based on the processing target block specified by the processing target block specifying unit 9 based on a predetermined rule. It is preferable that the processing target block and the complementary block are the same in the number of areas and their arrangement, but the number of areas and the arrangement may be changed.
The defect identifying unit 13 includes an AI processing unit 131. The processing target block specified by the processing target block specifying unit 9 and each block formed by the complementary block forming unit 10 are input to the AI processing unit 131 of the defect specifying unit 13. The AI processing unit 131 uses a general-purpose neural network, and it is assumed that sufficient teacher data has been read in order to determine whether there is a defect.
In this example, BTO Core-i9-9940X manufactured by Dospara and memory 64GB are used as the AI processing unit, and DEEPS AI Inspection manufactured by Texem's is used as the software for AI. It is assumed that 5000 pieces of teacher data having no defect and 1000 pieces of teacher data having a defect are read in block units. In addition, GeForce RTX 2080 Ti manufactured by Nvidia is used as the GPU.
欠陥特定部１３１へ入力されたブロックの画像、即ち処理対象ブロックの画像及びその補完ブロックの画像がＡＩ処理部１３１で処理されて、欠陥が検出されたとき（所定の確率より高いもの）は、その欠陥の座標とその確率がブロックデータ保存部１５の欠陥座標保存部１５１と欠陥の確率保存部１５３にそれぞれ保存される。 When the image of the block input to the defect identifying unit 131, that is, the image of the block to be processed and the image of its complementary block are processed by the AI processing unit 131 and a defect is detected (higher than a predetermined probability), The defect coordinates and the probability thereof are stored in the defect coordinate storage unit 151 and the defect probability storage unit 153 of the block data storage unit 15, respectively.
ブロックデータ保存部１５に保存される欠陥の座標は、ブロック毎に定められた座標である。そこで、座標変換部１７は、原画像の原座標保存部１１に保存されている原座標と処理対象ブロック特定部９によるブロック特定のルール及び補完ブロック形成のルールを参照して、ブロックデータ保存部１５の欠陥座標保存部１５１に保存されている欠陥の座標を原画像の原座標に対応つける。このようにして原座標に変換された欠陥の座標は原画像データ保存部２１の欠陥座標保存部２１１に保存される。それとともに、欠陥の確率がブロックデータ保存部１５の欠陥の確率保存部１５３から原画像データ保存部２１の欠陥の確率保存部２１３にコピーされる。 The defect coordinates stored in the block data storage unit 15 are coordinates determined for each block. Therefore, the coordinate conversion unit 17 refers to the original coordinates stored in the original coordinate storage unit 11 of the original image, the block identification rule by the processing target block identification unit 9 and the complementary block formation rule to refer to the block data storage unit. The defect coordinates stored in the defect coordinate storage unit 151 of 15 are associated with the original coordinates of the original image. The defect coordinates thus converted into original coordinates are stored in the defect coordinate storage unit 211 of the original image data storage unit 21. At the same time, the defect probability is copied from the defect probability storage unit 153 of the block data storage unit 15 to the defect probability storage unit 213 of the original image data storage unit 21.
原画像の全域をカバーするように主処理対象ブロックを特定して、さらにそれらの補完ブロックを形成して、各ブロックにつきＡＩ処理を実行し、原画像の全域において欠陥の座標とその確率を特定し、原画像データ保存部２１に保存する。
原画像データ保存部２１においては、各ブロックにおいて特定された欠陥の座標が重複して保存される。換言すれば、各ブロックのデータが原座標に変換されて、それぞれ保存されている。
The main processing target blocks are specified so as to cover the entire area of the original image, the complementary blocks are further formed, and the AI processing is executed for each block, and the coordinates of the defect and its probability are specified in the entire area of the original image. Then, it is stored in the original image data storage unit 21.
In the original image data storage unit 21, the coordinates of the defect specified in each block are redundantly stored. In other words, the data of each block is converted into the original coordinates and stored.
検査結果作成部２３は、原画像データ保存部２１に蓄積されたデータを参照して検査対象品の検査結果を作成する。
検査結果として、例えば所定の確率以上の欠陥が存在したときは、検査対象品はＮＧとして、例えば製造ラインから除去する。
The inspection result creation unit 23 creates an inspection result of the inspection target product with reference to the data accumulated in the original image data storage unit 21.
As a result of the inspection, for example, when there is a defect of a predetermined probability or more, the inspection target product is NG and is removed from the manufacturing line, for example.
次に、図２を参照して、製造ラインを流れるオーリングを検査対象の例として、欠陥検出装置１の動作を説明する。
ステップ１では、カメラ３により、オーリング１００を撮影する。このとき、背景は白色など明るい色として、黒色のオーリング１００とのコントラストを大きくしておくことが好ましい。
この撮影によりオーリング１００とその背景の原画像が得られ、原画像保存部４に保存される。
撮影された画像（原画像）の例を図３に示す。
Next, the operation of the defect detection apparatus 1 will be described with reference to FIG.
In step 1, the camera 3 photographs the O-ring 100. At this time, it is preferable that the background has a bright color such as white and has a large contrast with the black O-ring 100.
By this photographing, the original image of the O-ring 100 and its background is obtained and stored in the original image storage unit 4.
An example of the captured image (original image) is shown in FIG.
ステップ３では、原画像保存部４に保存された原画像が原画像分解部５により、図３に示すように点線で示すグリッドより１００個の領域（ｍ０，ｎ０）〜（ｍ９，ｎ９）に分割される。ここで、分割とは、画像処理対象を構成する領域を指定することをいう。
なお、原画像の座標（原座標）は、例えば領域（ｍ０、ｎ０）の左上端を原点として、画素に応じて付されて、原画像の原座標保存部１１に保存される。
In step 3, the original image stored in the original image storage unit 4 is converted by the original image decomposition unit 5 into 100 areas (m0, n0) to (m9, n9) from the grid indicated by the dotted line as shown in FIG. Will be divided. Here, the term “division” means designating an area that constitutes an image processing target.
The coordinates of the original image (original coordinates) are attached to the original image in the original coordinate storage unit 11 with the upper left end of the region (m0, n0) as the origin, depending on the pixel.
ステップ５では、有効領域特定部７が、領域ごとにオーリング１００が映り込んでいるか否かを判断する。オーリング１００が映り込んでいる領域が有効領域となる。
図４の例では有効領域にマークした。例えば、領域（ｍ４，ｎ１）、領域（ｍ２，ｎ２）……が有効領域である。
ステップ７では、処理対象ブロック特定部８の主処理対象ブロック特定部９が処理対象ブロックを特定する。この例では、図５に示すように、原画像の左端上から、順次、図示右方向に４つの領域からなるブロックを特定する。図面上、各ブロックに数１，２，３…を付してある。
In step 5, the effective area specifying unit 7 determines whether or not the O-ring 100 is reflected in each area. The area in which the O-ring 100 is reflected is the effective area.
In the example of FIG. 4, the effective area is marked. For example, the area (m4, n1), the area (m2, n2)... Are the effective areas.
In step 7, the main processing target block specifying unit 9 of the processing target block specifying unit 8 specifies the processing target block. In this example, as shown in FIG. 5, blocks consisting of four regions are sequentially specified from the left end of the original image in the right direction in the figure. In the drawing, each block is numbered 1, 2, 3...
ここで処理対象となるブロックは、有効領域を少なくとも１つ含むブロックである。
したがって、ステップ７において、主処理対象ブロック特定部９により有効領域を少なくとも１つ含むブロックが処理対象ブロックとして特定される。図５の例において数値をふったブロックでは、ブロック３、６が該当する。
これにより、処理対象の数を削減できる。
更にステップ８では、補完ブロック形成部１０により補完ブロックが形成れる。図６に補完ブロックの例を示す。図６において、第１補完ブロックは、処理対象ブロック３をｍ方向（図示右方向）へ１領域分偏移させたものである。同じく第２補完ブロック２は、処理対象ブロック３をｎ方向（図示下方向）へ１領域分偏移させたものである。第３補完ブロック３は、処理対象ブロック３をｍ、ｎ方向へそれぞれ１領域分偏移させたものである。
The block to be processed here is a block including at least one effective area.
Therefore, in step 7, the main processing target block specifying unit 9 specifies a block including at least one effective area as a processing target block. In the example of FIG. 5, the blocks with numerical values correspond to blocks 3 and 6.
As a result, the number of processing targets can be reduced.
Further, in step 8, the complementary block forming unit 10 forms a complementary block. FIG. 6 shows an example of the complementary block. In FIG. 6, the first complementary block is a block in which the processing target block 3 is shifted by one region in the m direction (right direction in the drawing). Similarly, the second complementary block 2 is obtained by shifting the processing target block 3 in the n direction (downward direction in the drawing) by one area. The third complementary block 3 is obtained by shifting the processing target block 3 by one area in the m and n directions, respectively.
ステップ９では、ステップ７で特定された処理対象ブロック３と補完ブロック形成部１０により形成された第１〜３補完ブロックとが、欠陥特定部１３のＡＩ処理部１３１においてＡＩ処理される。
なお、この例では、第１補完ブロックには、有効領域が含まれていないので、ＡＩ処理を省略可能である。
換言すれば、このステップ９では、オーリング１００が映り込んだ有効領域を含む処理対象ブロックが特定されたことをトリガとして、当該処理対象ブロックを基準にしてＡＩ処理が計４回実行される。そして、ＡＩ処理されるブロックは、当初処理対象として特定された処理対象ブロックに加え、これを基準にして加工形成したものである。図６の例では、基準となるブロック（処理対象ブロック）から、ｍ方向、ｎ方向へそれぞれ１単位の領域偏移するようにこれを加工形成して補完ブロックとしている。
ステップ７で特定された処理対象ブロックがＰ領域（ｍ方向、３≦Ｐ）×Ｑ領域（ｎ方向、３≦Ｑ）から構成されるときは、ｍ方向、ｎ方向へそれぞれ２単位以上の領域分を偏移させて補完ブロックを形成することもできる。
In step 9, the processing target block 3 specified in step 7 and the first to third complementary blocks formed by the complementary block forming unit 10 are AI-processed by the AI processing unit 131 of the defect specifying unit 13.
In this example, since the first complementary block does not include the effective area, the AI process can be omitted.
In other words, in this step 9, the AI process is executed four times with reference to the processing target block as a trigger, when the processing target block including the effective area in which the O-ring 100 is reflected is specified. The block subjected to AI processing is the processing target block initially specified as the processing target, and is processed and formed based on this. In the example of FIG. 6, this is processed and formed as a complementary block so as to deviate from the reference block (block to be processed) by one unit in each of the m direction and the n direction.
When the block to be processed specified in step 7 is composed of P region (m direction, 3≦P)×Q region (n direction, 3≦Q), two or more units in the m direction and the n direction, respectively. It is also possible to shift the minutes to form a complementary block.
加工形成された補完ブロックに更に加工を加えることもできる。例えば、補完ブロックを所定のピッチで回転させる。回転の角度（ピッチ）は、３６０度を補完ブロック数+１で除した角度であり、回転中心は補完ブロックの中心点とすることが好ましいが、特にこれに限定されるわけでない。
図７の例では、補完ブロックを各補完ブロックの中心点を中心にして回転させて回転補完ブロックを形成している。回転角度のピッチは時計周り方向で９０度である。
なお、第１補完ブロック１は、これに有効領域が含まれていないので、回転対象から外すことができる。
このようにして得られた回転補完ブロックはステップ９においてＡＩ処理される。
Further processing can be applied to the processed complementary block. For example, the complementary block is rotated at a predetermined pitch. The rotation angle (pitch) is an angle obtained by dividing 360 degrees by the number of complementary blocks+1, and the center of rotation is preferably the center point of the complementary blocks, but is not particularly limited to this.
In the example of FIG. 7, the complementary block is rotated around the center point of each complementary block to form a rotated complementary block. The pitch of the rotation angle is 90 degrees in the clockwise direction.
Since the first complementary block 1 does not include the effective area, it can be removed from the rotation target.
The rotation complement block thus obtained is subjected to AI processing in step 9.
ＡＩ処理の結果はブロックごとにブロックデータ保存部１５に保存される（ステップ１１）。より具体的には、欠陥の確率が所定値（例えば８０％）以上のものを欠陥と判定して、処理対象となったブロックの座標を欠陥座標保存部１５１に保存し、それにリンクして、欠陥の確率が欠陥の確率保存部１５３に保存される。 The result of the AI processing is stored in the block data storage unit 15 for each block (step 11). More specifically, a defect having a probability of a predetermined value (for example, 80%) or more is determined to be a defect, and the coordinates of the block to be processed are stored in the defect coordinate storage unit 151 and linked to it. The defect probability is stored in the defect probability storage unit 153.
ブロックデータ保存部１５の欠陥座標保存部１５１に保存されている欠陥の座標は、各ブロックの独自の座標である。例えば、処理対象ブロックであれば領域（ｍ４，ｎ０）の左上端部を原点として処理対象ブロックの座標は規定され、第２補完ブロックであれば領域（ｍ４，ｎ１）の左上端部を原点として補完ブロックの座標が規定される。
そこで、ステップ１３において、各ブロックで特定された欠陥の座標を統合するため、各ブロックの座標を原画像の原座標（（ｍ０，ｎ０）の左上端を原点とする））に変換する。
これにより、各ブロックにおいて欠陥があると特定された座標は、ブロック毎に原座標に変換されて、原画像データ保存部２１の欠陥座標保存部２１１に保存される。
なお、欠陥の確率保存部１５３に保存されていた各欠陥の確率は、これがリンクされた欠陥座標が原座標に変換されたとき、当該リンクを維持して原画像データ保存部２１１の欠陥の確率保存部２１３に保存される。
The defect coordinates stored in the defect coordinate storage unit 151 of the block data storage unit 15 are unique coordinates of each block. For example, in the case of the processing target block, the coordinates of the processing target block are defined with the upper left end of the region (m4, n0) as the origin, and in the case of the second complementary block, the upper left end of the region (m4, n1) is used as the origin. The coordinates of the complementary block are specified.
Therefore, in step 13, in order to integrate the coordinates of the defects specified in each block, the coordinates of each block are converted into the original coordinates of the original image (the upper left end of (m0, n0) is the origin)).
As a result, the coordinates identified as defective in each block are converted into original coordinates for each block and stored in the defect coordinate storage unit 211 of the original image data storage unit 21.
The probability of each defect stored in the defect probability storage unit 153 is the probability of the defect in the original image data storage unit 211 when the defect coordinates linked to the defect coordinates are converted into the original coordinates. It is stored in the storage unit 213.
なお、上記のようにブロックの座標を原画像の座標に変換する際、座標変換部１７は原画像の原座標保存部１７の座標に関するデータと、処理対象ブロック特定部８によるブロックの特定ルールとを参照する。なお、補完ブロックについては、補完ブロック形成部１０による補完ブロック形成のルールが参照される。 When converting the coordinates of the block to the coordinates of the original image as described above, the coordinate conversion unit 17 determines the data regarding the coordinates of the original coordinate storage unit 17 of the original image and the block identification rule by the processing target block identification unit 8. Refer to. Regarding the complementary block, the rule for forming the complementary block by the complementary block forming unit 10 is referred to.
検査結果作成部２３は原画像データ保存部２１１の欠陥座標保存部２１１に保存されている欠陥座標と、同じく欠陥の確率保存部２１３に保存されている欠陥座標の確率とに基づき、欠陥有無及びその確率や欠陥の位置を特定し、検査結果として出力する。
ここに、原画像データ保存部２１には各ブロックからのデータが独立して保存されているので、原座標データからみたとき、一つのブロックからのデータでは欠陥有りと判定された座標が他のブロックからのデータでは欠陥無し、と判定されることがある。
このような場合、安全率を高める見地から、当該座標には欠陥ありと判定することができる。換言すれば、原座標の各座標に対応する各ブロックからのデータにおいて、欠陥として最も高い確率を採用する。
勿論、各ブロックからのデータにリンクされた確率の平均を演算して、欠陥の有無を判定することもできる。
更には、各ブロックからのデータにおいてすべて欠陥有りと判定された座標のみ欠陥ありとすることもできるし（アンド集合）、各ブロックからのデータのひとつでも欠陥ありと判定された座標を欠陥あり（オア集合）とすることもできる。
このように、検査結果作成部２３は、検査対象や検査目的に応じて、任意のルールに従って、検査の結果を作成することができる。
Based on the defect coordinates stored in the defect coordinate storage unit 211 of the original image data storage unit 211 and the defect coordinate probability stored in the defect probability storage unit 213, the inspection result creation unit 23 determines whether there is a defect or not. The probability and the position of the defect are specified and output as an inspection result.
Here, since the data from each block is independently stored in the original image data storage unit 21, when viewed from the original coordinate data, the coordinates determined as defective in the data from one block are It may be determined that there is no defect in the data from the block.
In such a case, it can be determined that the coordinates are defective from the viewpoint of increasing the safety factor. In other words, the highest probability of a defect is adopted in the data from each block corresponding to each coordinate of the original coordinates.
Of course, it is also possible to calculate the average of the probabilities linked to the data from each block to determine the presence or absence of defects.
Further, it is possible to set only the coordinates determined to be defective in the data from each block to be defective (AND set), and the coordinates determined to be defective even in one of the data from each block are defective ( Or set).
In this way, the inspection result creation unit 23 can create the inspection result according to an arbitrary rule according to the inspection target or the inspection purpose.
この欠陥検査装置１のハード構成を図８に示す。
演算部３００はＣＰＵ３０１、ＲＯＭ３０３及びＲＡＭ３０５を備え、システム全体の制御をつかさどる。それとともに、原画像分割部５、有効領域特定部７、処理対象ブロック特定部８、欠陥特定部１３、座標変換部１７及び検査結果作成部２３として機能する。ＲＯＭ３０３は、演算部３００を制御する制御プログラム等が格納された図示しない不揮発性メモリを含む。ＲＡＭ３０５は、キーボード等の入力装置３３０を介して利用者により予め設定された各種設定値を読み出し可能に格納したり、ＣＰＵ３０１に対してワーキングエリアを提供したりする。演算部３００を制御する制御プログラムはＲＯＭ３０３に限らずＲＡＭ３０５や第１記憶装置３１１及び第２記憶装置３１３に格納されていてもよい。
ＣＰＵ３０１はニュートラルネットワーク処理に適したものが好ましく、ＲＯＭ３０３若しくは第１及び第２記憶装置３１１，３１３はディープラーニング時に用いる大量のデータを保存できる容量を持つものとする。
The hardware configuration of this defect inspection apparatus 1 is shown in FIG.
The arithmetic unit 300 includes a CPU 301, a ROM 303, and a RAM 305, and controls the entire system. At the same time, it functions as the original image dividing unit 5, the effective area specifying unit 7, the processing target block specifying unit 8, the defect specifying unit 13, the coordinate converting unit 17, and the inspection result creating unit 23. The ROM 303 includes a non-volatile memory (not shown) in which a control program for controlling the arithmetic unit 300 is stored. The RAM 305 stores various setting values preset by the user via the input device 330 such as a keyboard so as to be readable and provides a working area to the CPU 301. The control program for controlling the arithmetic unit 300 is not limited to the ROM 303 and may be stored in the RAM 305, the first storage device 311 and the second storage device 313.
It is preferable that the CPU 301 is suitable for neutral network processing, and the ROM 303 or the first and second storage devices 311 and 313 has a capacity capable of storing a large amount of data used during deep learning.
第１記憶装置３１１は原画像保存４、原画像の原座標保存部１１として機能する。第２記憶装置３１３はブロックデータ保存部１５及び原画像データ保存部２１として機能する。
これら第１及び第２の記憶装置３１１，３１３はハードメモリやフラッシュメモリなど、サーバシステムのメモリ装置の一部の領域を利用することが好ましい。
なお、データを一時的に保存する、いわゆるバッファメモリには、演算部のＲＡＭの一部領域を利用できる。
出力装置３２０はディスプレイや音声出力装置であり、入力装置３３０は音声入力部や、ディスプレイに重ねて配置されるタッチパネル式のキーボートやマウスなどが該当する。また、入力装置３３０はＡＩ処理のための教師データ（画像データ）を入力できるものとする。
カメラ３には汎用的はＣＣＤカメラを用いることができる。その解像度や焦点深度などのカメラのスペックは任意に設定可能である。
コンピュータを構成する各装置はシステムバス３４０で連結されている。
The first storage device 311 functions as the original image storage 4 and the original coordinate storage unit 11 of the original image. The second storage device 313 functions as the block data storage unit 15 and the original image data storage unit 21.
It is preferable that these first and second storage devices 311 and 313 use a partial area of a memory device of the server system, such as a hard memory or a flash memory.
Note that a partial area of the RAM of the arithmetic unit can be used as a so-called buffer memory for temporarily storing data.
The output device 320 is a display or a voice output device, and the input device 330 corresponds to a voice input unit, a touch panel keyboard or a mouse arranged to be superimposed on the display, or the like. Further, the input device 330 is assumed to be capable of inputting teacher data (image data) for AI processing.
A general CCD camera can be used as the camera 3. The camera specifications such as the resolution and the depth of focus can be set arbitrarily.
The respective devices constituting the computer are connected by the system bus 340.
本発明の効果を確認するため、下記の実験を行った。
検査対象：ゴム製品（長径約４cm）
カメラの解像度：２０４８ｘ１５３６
グリッドの数（ｍ＝１３、ｎ＝１０）
処理対象ブロック：（ｍ＝２、ｎ＝２）
補完ブロック：図６のように３つを形成
教師データの数 （正＝５，０００、誤＝１，０００）
ＡＩソフト：テクムズ社 ＤＥＥＰＳ ＡＩ Ｉｎｓｐｅｃｔｉｏｎ
ＰＣ：ドスパラ社製ＢＴＯパソコン（Ｃｏｒｅ−ｉ９−９９４０Ｘ，メモリ６４ＧＢ，ＧＰＵ：Ｎｖｉｄｉａ社製 ＧｅＦｏｒｃｅ ＲＴＸ ２０８０Ｔｉ）
検査対象： 正常品２２枚、異常品７４枚
欠陥の見落としや誤って欠陥と判断した、いわゆる精度は９７．９２％であった。
他方、上記実験において、補完ブロックを形成しないときの精度は９４．７９％であった。
The following experiment was conducted to confirm the effect of the present invention.
Inspection target: Rubber products (major axis: approx. 4 cm)
Camera resolution: 2048x1536
Number of grids (m=13, n=10)
Block to be processed: (m=2, n=2)
Complementary block: 3 as shown in FIG. 6 Number of teacher data (positive=5,000, false=1,000)
AI software: TEMS, DEEPS AI Inspection
PC: BTO personal computer manufactured by Dospara (Core-i9-9940X, memory 64GB, GPU: GeForce RTX 2080Ti manufactured by Nvidia)
Inspection target: 22 normal products, 74 abnormal products The defect was overlooked or mistakenly judged as a defect, the so-called accuracy was 97.92%.
On the other hand, in the above experiment, the accuracy when the complementary block was not formed was 94.79%.
以上の結果を踏まえ、本発明は次のように敷衍することができる。
背景と供に検査対象を撮影した原画像を複数の領域に分割するステップと、
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
前記処理対象ブロック特定ステップは、
前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成ステップと、を備え、
前記欠陥特定ステップは、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を含み、
前記座標変換ステップは、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する。
検査対象品の欠陥検出方法。
Based on the above results, the present invention can be extended as follows.
A step of dividing an original image obtained by photographing an inspection target together with a background into a plurality of areas,
An effective area specifying step of determining whether or not the inspection object is reflected in the divided areas, and setting the area in which the inspection object is reflected as an effective area;
A processing target block specifying step of specifying a processing target block including at least one of the effective areas, the step including a plurality of areas selected from the original image,
A defect specifying step of performing AI processing on the specified block to be processed, detecting the presence or absence of a defect, and specifying the coordinates of the defect in the block to be processed and its probability when the defect exists;
A coordinate conversion step of converting the coordinates of the defect obtained in the defect identification step into the original coordinates of the original image,
A defect detection method for an inspection target product, comprising: an inspection result creating step of creating an inspection result of the defect based on the coordinates of the defect in the original coordinates and the probability thereof;
The processing target block specifying step,
A main processing target block specifying step of specifying the processing target block in the original image,
A complementary block forming step of forming a complementary block that shares at least one region of the processing target block with reference to the processing target block,
The defect identification step is
A main defect identification step of identifying the coordinates of the defect in the block to be processed and its probability,
Complementary defect identification step for identifying the coordinates of the defect in the complementary block and its probability,
In the coordinate conversion step, the coordinates of the defects respectively specified in the main defect specifying step and the complementary defect specifying step are converted into original coordinates of the original image.
Defect detection method for inspected products.
この発明は、上記発明の実施形態の説明に何ら限定されるものではない。特許請求の範囲の記載を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。 The invention is not limited to the description of the embodiments of the invention. Various modifications are also included in the present invention within the scope that can be easily conceived by those skilled in the art without departing from the scope of the claims.
１…欠陥検出装置
３…カメラ
５…原画像分割部
７…有効領域特定部
８…処理対象ブロック特定部
９…主処理対象ブロック特定部
１０…ブロック加工形成部
１３…欠陥特定部
１５…ブロックデータ保存部
２１…原画像データ保存部
２３…検査結果作成
１３１…ＡＩ処理部
1 Defect Detection Device 3 Camera 5 Original Image Dividing Unit 7 Effective Area Identifying Unit 8 Processing Target Block Identifying Unit 9 Main Processing Target Block Identifying Unit 10 Block Processing Forming Unit 13 Defect Identifying Unit 15 Block Data Storage unit 21... Original image data storage unit 23... Inspection result creation 131... AI processing unit
Claims (18)
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
前記処理対象ブロック特定ステップは、
前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成する第１補完ブロック形成ステップと、
記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成する第２補完ブロック形成ステップと、を備え、
前記欠陥特定ステップは、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を含み、
前記座標変換ステップは、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出方法。 A step of dividing an original image obtained by photographing an inspection target together with a background into a plurality of areas,
An effective area specifying step of determining whether or not the inspection object is reflected in the divided areas, and setting the area in which the inspection object is reflected as an effective area;
A processing target block specifying step of specifying a processing target block including at least one of the effective areas, the step including a plurality of areas selected from the original image,
A defect specifying step of performing AI processing on the specified block to be processed, detecting the presence or absence of a defect, and specifying the coordinates of the defect in the block to be processed and its probability when the defect exists;
A coordinate conversion step of converting the coordinates of the defect obtained in the defect identification step into the original coordinates of the original image,
A defect detection method for an inspection target product, comprising: an inspection result creating step of creating an inspection result of the defect based on the coordinates of the defect in the original coordinates and the probability thereof;
The processing target block specifying step,
A main processing target block specifying step of specifying the processing target block including an area of m×n (m and n are natural numbers of 2 or more) in the original image;
A first complementary block forming step of forming a first complementary block by shifting the block to be processed in the arrangement direction of m in the original image on a region-by-region basis;
A second complementary block forming step of forming a second complementary block by shifting the block to be processed in the arrangement direction of n in the original image on a region-by-region basis,
The defect identification step is
A main defect identification step of identifying the coordinates of the defect in the block to be processed and its probability,
A first complementary defect identification step of identifying a defect coordinate and its probability in the first complementary block;
A second complementary defect identification step of identifying the coordinates of the defect in the second complementary block and the probability thereof,
In the coordinate conversion step, the coordinates of the defects respectively specified in the main defect specifying step, the first complementary defect specifying step and the second complementary defect specifying step are converted into original coordinates of the original image. ,
Defect detection method for inspected products.
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定ステップと、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定ステップと、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定ステップと、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換ステップと、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成ステップ、とを含む検査対象品の欠陥件検出方法であって、
前記処理対象ブロック特定ステップは、
前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定ステップと、
前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成ステップと、を備え、
前記欠陥特定ステップは、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を含み、
前記座標変換ステップは、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出方法。 A step of dividing an original image obtained by photographing an inspection target together with a background into a plurality of areas,
An effective area specifying step of determining whether or not the inspection object is reflected in the divided areas, and setting the area in which the inspection object is reflected as an effective area;
A processing target block specifying step of specifying a processing target block including at least one of the effective areas, the step including a plurality of areas selected from the original image,
A defect specifying step of performing AI processing on the specified block to be processed, detecting the presence or absence of a defect, and specifying the coordinates of the defect in the block to be processed and its probability when the defect exists;
A coordinate conversion step of converting the coordinates of the defect obtained in the defect identification step into the original coordinates of the original image,
A defect detection method for an inspection target product, comprising: an inspection result creating step of creating an inspection result of the defect based on the coordinates of the defect in the original coordinates and the probability thereof;
The processing target block specifying step,
A main processing target block specifying step of specifying the processing target block in the original image,
A complementary block forming step of forming a complementary block that shares at least one region of the processing target block with reference to the processing target block,
The defect identification step is
A main defect identification step of identifying the coordinates of the defect in the block to be processed and its probability,
Complementary defect identification step for identifying the coordinates of the defect in the complementary block and its probability,
The coordinate transformation step transforms the coordinates of the defects respectively identified in the main defect identification step and the complementary defect identification step into original coordinates of the original image,
Defect detection method for inspected products.
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置であって、
前記処理対象ブロック特定部は、
前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定する主処理対象ブロック特定部と、
前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成し、記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成する補完ブロック形成部と、を備え、
前記欠陥特定部は、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を実行し、
前記座標変換部は、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出装置。 A desired image dividing unit that divides the original image obtained by photographing the inspection target together with the background into a plurality of regions,
An effective area specifying unit that determines whether or not the inspection target is reflected in the divided areas, and sets an area in which the inspection object is reflected as an effective area;
A processing target block specifying unit configured to specify a processing target block including a plurality of areas selected from the original image and including at least one of the effective areas,
A defect specifying unit that performs AI processing on the specified block to be processed to detect the presence or absence of a defect and, when a defect exists, specifies the coordinates of the defect in the block to be processed and its probability.
A coordinate conversion unit for converting the coordinates of the defect obtained in the defect identification step to the original coordinates of the original image,
A defect detection device for an inspection target product, which includes an inspection result creation unit that creates an inspection result of the defect based on the coordinates of the defect in the original coordinates and the probability thereof,
The processing target block specifying unit,
A main processing target block specifying unit that specifies the processing target block including an area of m×n (m and n are natural numbers of 2 or more) in the original image;
In the original image, the block to be processed is shifted in the unit direction of the m in the region unit to form a first complementary block, and in the original image, the block to be processed is shifted in the unit direction of the unit n in the unit direction. And a complementary block forming section for forming a second complementary block.
The defect identification section,
A main defect identification step of identifying the coordinates of the defect in the block to be processed and its probability,
A first complementary defect identification step of identifying a defect coordinate and its probability in the first complementary block;
A second complementary defect identification step of identifying the coordinates of the defect and its probability in the second complementary block,
The coordinate conversion unit converts the coordinates of the defects respectively specified in the main defect specifying step, the first complementary defect specifying step and the second complementary defect specifying step into original coordinates of the original image. To do
Defect detection device for inspected products.
前記欠陥特定部は、得られた回転補完ブロックに対してそれぞれ欠陥の材料とその確率を特定する、請求項１０に記載の装置。 When the block to be processed is composed of an area of m×n, the complementary block forming section rotates the first complementary block 90 degrees shifted by one area toward the m side and biased by one area toward the n side. The moved second complementary block is rotated by 270 degrees, and the third complementary block shifted by one area to the m side and the n side is rotated by 180 degrees,
The apparatus according to claim 10, wherein the defect identification unit identifies a defect material and a probability thereof for each of the obtained rotation complementary blocks.
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置であって、
前記処理対象ブロック特定部は、
前記原画像において前記処理対象ブロックを特定する主処理対象ブロック特定部と、
前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成する補完ブロック形成部と、を備え、
前記欠陥特定部は、
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を実行し、
前記座標変換部は、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換する、
検査対象品の欠陥検出装置。 A desired image dividing unit that divides the original image obtained by photographing the inspection target together with the background into a plurality of regions,
An effective area specifying unit that determines whether or not the inspection target is reflected in the divided areas, and sets an area in which the inspection object is reflected as an effective area;
A processing target block specifying unit configured to specify a processing target block including a plurality of areas selected from the original image and including at least one of the effective areas,
A defect specifying unit that performs AI processing on the specified block to be processed to detect the presence or absence of a defect and, when a defect exists, specifies the coordinates of the defect in the block to be processed and its probability.
A coordinate conversion unit for converting the coordinates of the defect obtained in the defect identification step to the original coordinates of the original image,
A defect detection device for an inspection target product, which includes an inspection result creation unit that creates an inspection result of the defect based on the coordinates of the defect in the original coordinates and the probability thereof,
The processing target block specifying unit,
A main processing target block specifying unit that specifies the processing target block in the original image,
A complementary block forming unit that forms a complementary block that shares at least one region of the processing target block with reference to the processing target block,
The defect identification section,
A main defect identification step of identifying the coordinates of the defect in the block to be processed and its probability,
Performing a complementary defect identification step of identifying the coordinates of the defect in the complementary block and its probability,
The coordinate conversion unit converts the coordinates of the defects respectively specified in the main defect specifying step and the complementary defect specifying step into original coordinates of the original image,
Defect detection device for inspected products.
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置に用いられるコンピュータ用のプログラムであって、
前記処理対象ブロック特定部は主処理対象ブロック特定部及び補完ブロック形成部を備え、
前記主処理対象ブロック特定部に、前記原画像においてｍ×ｎ（ｍ、ｎは２以上の自然数）の領域からなる前記処理対象ブロックを特定させ、
前記補完ブロック形成部に、前記原画像において前記処理対象ブロックを前記ｍの並び方向に領域単位で偏移させて第１補完ブロックを形成させ、記原画像において前記処理対象ブロックを前記ｎの並び方向に領域単位で偏移させて第２補完ブロックを形成させ、
前記欠陥特定部に
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記第１補完ブロックにおける欠陥の座標とその確率を特定する第１の補完的な欠陥特定ステップと、
前記第２補完ブロックにおける欠陥の座標とその確率を特定する第２の補完的な欠陥特定ステップと、を実行させ、
前記座標変換部に、前記主欠陥特定ステップ、前記第１の補完的な欠陥特定ステップ及び前記第２の補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換させる、コンピュータプログラム。 A desired image dividing unit that divides the original image obtained by photographing the inspection target together with the background into a plurality of regions,
An effective area specifying unit that determines whether or not the inspection target is reflected in the divided areas, and sets an area in which the inspection object is reflected as an effective area;
A processing target block specifying unit configured to specify a processing target block including a plurality of areas selected from the original image and including at least one of the effective areas,
A defect specifying unit that performs AI processing on the specified block to be processed to detect the presence or absence of a defect and, when a defect exists, specifies the coordinates of the defect in the block to be processed and its probability.
A coordinate conversion unit for converting the coordinates of the defect obtained in the defect identification step to the original coordinates of the original image,
A program for a computer used in a defect case detection device for an inspection target product, including an inspection result creation unit that creates an inspection result of the defect based on the coordinates of the defect in the original coordinates and the probability thereof,
The processing target block specifying unit includes a main processing target block specifying unit and a complementary block forming unit,
Causing the main processing target block specifying unit to specify the processing target block including an area of m×n (m, n is a natural number of 2 or more) in the original image,
The complementary block forming unit causes the processing target block in the original image to be shifted in the arrangement direction of the m in units of regions to form a first complementary block, and the processing target block in the original image is arranged in the n arrangement. The second complementary block by shifting in the direction in units of regions,
A main defect identification step of identifying the coordinates of the defect in the processing target block and its probability in the defect identification unit;
A first complementary defect identification step of identifying a defect coordinate and its probability in the first complementary block;
A second complementary defect identification step of identifying the coordinates of the defect in the second complementary block and the probability thereof,
The coordinate conversion unit converts the coordinates of the defects respectively specified in the main defect specifying step, the first complementary defect specifying step and the second complementary defect specifying step into the original coordinates of the original image. Let a computer program.
前記欠陥特定部に、得られた回転補完ブロックに対してそれぞれ欠陥の材料とその確率を特定させる、
請求項１６に記載のプログラム。 When the block to be processed is composed of an area of m×n, the complementary block forming unit rotates the first complementary block 90 degrees shifted by one area toward the m side and deviates by one area toward the n side. The moved second complementary block is rotated by 270 degrees, and the third complementary block shifted by one area to the m side and the n side is rotated by 180 degrees,
The defect identification unit is configured to identify the defect material and the probability thereof for each of the obtained rotation complementary blocks,
The program according to claim 16.
該分割された領域において前記検査対象が映り込んでいるか否かを判断し、該検査対象が映り込んでいる領域を有効領域とする有効領域特定部と、
前記原画像より選択された複数の領域からなり、少なくとも一つの前記有効領域を含む処理対象ブロックを特定する処理対象ブロック特定部と、
特定された処理対象ブロックに対しＡＩ処理を実施して欠陥の有無を検出し、欠陥が存在したとき処理対象ブロックにおける該欠陥の座標とその確率を特定する欠陥特定部と、
欠陥特定ステップで得られた欠陥の座標を前記原画像の原座標に変換する座標変換部と、
該原座標における欠陥の座標とその確率に基づき、欠陥の検査結果を作成する検査結果作成部、とを含む検査対象品の欠陥件検出装置に用いられるコンピュータ用のプログラムであって、
前記処理対象ブロック特定部は主処理対象ブロック特定部及び補完ブロック形成部を備え、
前記主処理対象ブロック特定部に前記処理対象ブロックを特定させ、
前記補完ブロック形成部に、前記処理対象ブロックを基準に該処理対象ブロックの少なくとも一つの領域を共有する補完ブロックを形成させ
前記欠陥特定部に
前記処理対象ブロックにおける欠陥の座標とその確率を特定する主欠陥特定ステップと、
前記補完ブロックにおける欠陥の座標とその確率を特定する補完的な欠陥特定ステップと、を実行させ、
前記座標変換部に、前記主欠陥特定ステップ及び前記補完的な欠陥特定ステップでそれぞれ特定された欠陥の座標を前記原画像の原座標に変換させる、
コンピュータ用のプログラム。 A desired image dividing unit that divides the original image obtained by photographing the inspection target together with the background into a plurality of regions,
An effective area specifying unit that determines whether or not the inspection target is reflected in the divided areas, and sets an area in which the inspection object is reflected as an effective area;
A processing target block specifying unit configured to specify a processing target block including a plurality of areas selected from the original image and including at least one of the effective areas,
A defect specifying unit that performs AI processing on the specified block to be processed to detect the presence or absence of a defect and, when a defect exists, specifies the coordinates of the defect in the block to be processed and its probability.
A coordinate conversion unit for converting the coordinates of the defect obtained in the defect identification step to the original coordinates of the original image,
A program for a computer used in a defect case detection device for an inspection target product, including an inspection result creation unit that creates an inspection result of the defect based on the coordinates of the defect in the original coordinates and the probability thereof,
The processing target block specifying unit includes a main processing target block specifying unit and a complementary block forming unit,
Causing the main processing target block specifying unit to specify the processing target block,
The complementary block formation unit forms a complementary block that shares at least one region of the processing target block with the processing target block as a reference, and the defect specifying unit specifies the coordinates of the defect in the processing target block and its probability. Main defect identification step,
By executing a complementary defect specifying step for specifying the coordinates of the defect in the complementary block and its probability,
Causing the coordinate conversion unit to convert the coordinates of the defects respectively specified in the main defect specifying step and the complementary defect specifying step into the original coordinates of the original image,
A program for a computer.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019131324A JP6703672B1 (en) | 2019-07-16 | 2019-07-16 | Defect detection method for inspection target product, apparatus therefor, and computer program therefor |
| PCT/JP2020/027584 WO2021010430A1 (en) | 2019-07-16 | 2020-07-16 | Method for detecting defect of item to be inspected, device therefor, and computer program therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019131324A JP6703672B1 (en) | 2019-07-16 | 2019-07-16 | Defect detection method for inspection target product, apparatus therefor, and computer program therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6703672B1 true JP6703672B1 (en) | 2020-06-03 |
| JP2021015099A JP2021015099A (en) | 2021-02-12 |
Family
ID=70858131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019131324A Expired - Fee Related JP6703672B1 (en) | 2019-07-16 | 2019-07-16 | Defect detection method for inspection target product, apparatus therefor, and computer program therefor |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6703672B1 (en) |
| WO (1) | WO2021010430A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631197A (en) * | 2022-12-21 | 2023-01-20 | 中科慧远视觉技术(北京)有限公司 | Image processing method, device, medium, equipment and system |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3148539B2 (en) * | 1994-11-30 | 2001-03-19 | 大日本スクリーン製造株式会社 | Pattern defect inspection equipment |
| JP4534599B2 (en) * | 2004-05-26 | 2010-09-01 | パナソニック電工株式会社 | Image processing method |
| JP4657869B2 (en) * | 2005-09-27 | 2011-03-23 | シャープ株式会社 | Defect detection apparatus, image sensor device, image sensor module, image processing apparatus, digital image quality tester, defect detection method, defect detection program, and computer-readable recording medium |
| JP2010139317A (en) * | 2008-12-10 | 2010-06-24 | Mitsubishi Materials Corp | Method and device for inspecting defect on surface of shaft-like tool |
| WO2013118305A1 (en) * | 2012-02-10 | 2013-08-15 | シャープ株式会社 | Image generation device, image generation method, and computer-readable recording medium having image generation program recorded therein |
| JP2017166929A (en) * | 2016-03-15 | 2017-09-21 | 株式会社リコー | Defect inspection device, defect inspection method and defect inspection system for sheet-like object |
| WO2018235266A1 (en) * | 2017-06-23 | 2018-12-27 | 株式会社Ｒｉｓｔ | Inspection device, inspection method, and inspection program |
| JP6939186B2 (en) * | 2017-07-25 | 2021-09-22 | 住友電気工業株式会社 | Judgment device, judgment method and judgment program |
| JP6944127B2 (en) * | 2017-12-22 | 2021-10-06 | ブラザー工業株式会社 | Image processing equipment, computer programs, and image processing methods |
-
2019
- 2019-07-16 JP JP2019131324A patent/JP6703672B1/en not_active Expired - Fee Related
-
2020
- 2020-07-16 WO PCT/JP2020/027584 patent/WO2021010430A1/en active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631197A (en) * | 2022-12-21 | 2023-01-20 | 中科慧远视觉技术(北京)有限公司 | Image processing method, device, medium, equipment and system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021010430A1 (en) | 2021-01-21 |
| JP2021015099A (en) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230419472A1 (en) | Defect detection method, device and system | |
| WO2019117065A1 (en) | Data generation device, data generation method and data generation program | |
| CN108961144B (en) | Image processing system | |
| WO2005111540A1 (en) | Tire projection-and-recess figure examining method and tire projection-and-recess figure examining device | |
| JP7372536B2 (en) | Arithmetic program, arithmetic device and arithmetic method | |
| JP6576664B2 (en) | Edge detection bias correction value calculation method, edge detection bias correction method, and program | |
| WO2014156429A1 (en) | Visual collation assistance device and method for controlling same | |
| CN113469971B (en) | Image matching method, detection device and storage medium | |
| JP2006275952A (en) | Pattern evaluation method, pattern alignment method, and program | |
| JP6703672B1 (en) | Defect detection method for inspection target product, apparatus therefor, and computer program therefor | |
| US20160307322A1 (en) | Image recording simulation in a coordinate measuring machine | |
| JP2002140694A (en) | Image processor, its method and recording medium with recorded image processing program | |
| JP6425406B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| EP2691939B1 (en) | Automatic determination of compliance of a part with a reference drawing | |
| WO2022254854A1 (en) | Three-dimensional measurement device | |
| WO2020012707A1 (en) | Three-dimensional measurement device and method | |
| JP6597469B2 (en) | Defect inspection equipment | |
| CN112894154B (en) | Laser marking method and device | |
| WO2020111139A1 (en) | Coordinate calculation device, coordinate calculation method, and computer-readable recording medium | |
| JP2017016169A (en) | Inspection method, inspection apparatus, image processing apparatus, program, and recording medium | |
| WO2013136603A1 (en) | Image matching method and image matching device and program using such method | |
| JP2008204307A (en) | Image-collating device | |
| JP2020159969A (en) | Auxiliary facility state evaluation device, auxiliary facility state evaluation method, and auxiliary facility state evaluation program | |
| EP3869542B1 (en) | Device and method for inspection | |
| CN117788438A (en) | Industrial image detection method, device and visual detection system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191225 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200109 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200303 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6703672 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |