WO2022185864A1 - 外観検査装置、外観検査方法、画像生成装置および画像生成方法 - Google Patents

外観検査装置、外観検査方法、画像生成装置および画像生成方法 Download PDF

Info

Publication number
WO2022185864A1
WO2022185864A1 PCT/JP2022/005038 JP2022005038W WO2022185864A1 WO 2022185864 A1 WO2022185864 A1 WO 2022185864A1 JP 2022005038 W JP2022005038 W JP 2022005038W WO 2022185864 A1 WO2022185864 A1 WO 2022185864A1
Authority
WO
WIPO (PCT)
Prior art keywords
defect
image
inspected
appearance inspection
visual inspection
Prior art date
Application number
PCT/JP2022/005038
Other languages
English (en)
French (fr)
Inventor
英明 小野塚
貴輝 関
貴正 今泉
裕之 林
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to US18/280,079 priority Critical patent/US20240153066A1/en
Priority to CN202280018983.4A priority patent/CN116917718A/zh
Publication of WO2022185864A1 publication Critical patent/WO2022185864A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to a visual inspection apparatus, a visual inspection method, an image generating apparatus, and an image generating method.
  • Japanese Patent Laid-Open No. 2004-100003 includes a storage unit that stores an original image of the surface of an inspection object, a defect image that is an image showing the shape of a flaw or defect, and an image generation unit that generates a simulated inspection image.
  • An image generating device is disclosed.
  • the image generation unit generates a base image having texture features similar to those of the original image from an original image of the surface of the inspection object, and combines the base image with the defect image to generate a simulated inspection image.
  • One of the objects of the present invention is to provide a visual inspection apparatus, a visual inspection method, an image generating apparatus, and an image generating method capable of improving the inspection accuracy of the surface of an object to be inspected.
  • a visual inspection apparatus synthesizes a captured image and a two-dimensional image of a defect image created based on a three-dimensional defect model formed in advance with a surface image of an object to be inspected. The surface of the object to be inspected is inspected based on the result of machine learning using the multiple defective product sample images generated in .
  • FIG. 1 is a schematic diagram of an appearance inspection apparatus 1 of Embodiment 1.
  • FIG. 4 is a flow chart showing the flow of a method for generating a two-dimensional image of a defect shape and a defective product sample image in Embodiment 1.
  • FIG. It is a figure which shows the list of defect models.
  • FIG. 10 is a diagram showing a state in which the surface of the defect model is converted into point group coordinates;
  • FIG. 10 is a diagram showing a normal angle ⁇ from a horizontal plane of a flaw and an angle ⁇ of specularly reflected light from an imaging direction;
  • FIG. 10 is a diagram showing the luminance distribution of a flaw in the x-axis direction; It is a figure which shows the list of defective sample images.
  • FIG. 1 is a schematic diagram of a visual inspection apparatus 1 of Embodiment 1.
  • FIG. A visual inspection apparatus 1 of Embodiment 1 includes a camera (imaging unit) 2 , a lighting device 3 and a computer 4 .
  • the camera 2 takes an image of the surface of the piston 5, which is the object to be inspected (imaging step).
  • the lighting device 3 irradiates the surface of the piston 5 with light.
  • the computer 4 is, for example, a personal computer, and includes a memory (storage section) 6 and a CPU (inspection section) 7 .
  • the memory 6 stores learning results of machine learning using a plurality of defective product sample images.
  • Machine learning is learning using a neural network, and in the first embodiment, learning by deep learning is adopted.
  • a plurality of defective product sample images are created by synthesizing a two-dimensional image of the defect shape, which is created by converting a three-dimensional defect model formed in advance into a point group, with the surface image of the piston 5.
  • a defect is created as a geometric envelope, and a two-dimensional image of the defect shape is generated by adding the brightness to the defect model.
  • the brightness for the defect model is a brightness distribution in a predetermined range including the defect and a predetermined portion around the defect in the defect model.
  • Defects specifically include porosity (first shape), scratches (second shape) and blisters (circular blisters, foreign object blisters, strip blisters, etc.). Each defect (nest, scratch and blister) includes a plurality of different sizes.
  • the luminance distribution is a predetermined range of surface point group coordinates converted from the defect model, and a predetermined illumination direction angle (physical quantity). , and the angle of the normal direction to the defect in the plane containing the illumination direction and the imaging direction.
  • the CPU 7 determines whether the surface of the piston 5 has scratches or defects based on the image captured by the camera 2 and the learning result stored in the memory 6. Inspect (inspection step).
  • the CPU 7 has a first image generator 7a and a second image generator 7b.
  • the first image generator 7a generates a two-dimensional image of the defect shape based on the defect model.
  • the second image generator 7b generates a defective product sample image by synthesizing the surface image of the piston 5 with a two-dimensional image.
  • the CPU 7 performs machine learning by deep learning using a plurality of defective product sample images based on the program stored in the memory 6, and stores the learning result in the memory 6.
  • FIG. 2 is a flow chart showing the flow of a method for generating a two-dimensional image of a defect shape and a defective product sample image according to the first embodiment.
  • the first image generator 7a sets a plurality of sizes according to the type of defect.
  • Nests are spherical depressions, scratches are grooves with an apex angle of 60°
  • circular blister is a circular protrusion with a height of 0.2mm
  • foreign blister is a protrusion with an apex angle of 60°
  • band-like blister is a band-like protrusion with a height of 0.4mm.
  • Three sizes are set for each type. For example, circular blisters have diameters of 1.0 mm, 2.0 mm, and 4.0 mm, and scratches have radii of 2.0 mm, 4.0 mm, and 6.0 mm.
  • step S2 the lighting direction of the lighting device 3 and the imaging direction of the camera 2 are determined based on the lighting direction of the lighting device 3 and the imaging direction of the camera 2 with respect to the actual piston 5 in the first image generation unit 7a.
  • step S3 the first image generator 7a creates a three-dimensional model (defect model) of the defect shape (defect and peripheral portion) using three-dimensional CAD.
  • FIG. 3 shows a list of defect models.
  • step S4 in the first image generator 7a the surface of the defect and the peripheral portion is transformed into a point group with a pitch of 0.05 mm as shown in FIG. 4, and the coordinates of the point group are obtained.
  • the coordinates of the point group are represented by a three-dimensional coordinate system in which the z-axis is set in the imaging direction of the camera 2, and the mutually orthogonal x-axis and y-axis are set on a plane orthogonal to the z-axis.
  • step S5 the first image generator 7a calculates the normal direction in the plane including the illumination direction and imaging direction at each point of the defect. For example, in the case of a scratch, as shown in FIG. 5, the angle ⁇ of the normal direction from the horizontal plane at each point of the defect can be obtained from the following equation (1).
  • step S6 the brightness of each point of the point group is calculated in the first image generator 7a.
  • the angle ⁇ of specularly reflected light from the imaging direction can be obtained from the following formula (2), where ⁇ is the illumination direction.
  • the brightness L of each point of the defect when viewed from the imaging direction can be calculated using the following formula (3).
  • Expression (3) is an expression representing a luminance model for calculating the luminance L from the tilt angle (differential coefficient) of the surface.
  • ⁇ s is the specular reflection coefficient
  • ⁇ d is the uniform diffuse reflection coefficient
  • n is a constant.
  • FIG. 6 shows the luminance distribution in the x-axis direction in the case of scratches.
  • step S7 the difference between the brightness of each point of the defect and the brightness average value of the normal portion is calculated in the first image generation section 7a.
  • step S8 the brightness of the normal portion is set to 0 in the first image generation unit 7a, and a two-dimensional image of the defect shape is created by adding the brightness distribution (first image generation step).
  • step S9 the defect creation position on the surface of the piston 5 is determined in the second image generation section 7b.
  • step S10 the second image generation unit 7b adjusts the contrast of the two-dimensional image and adds it to the brightness of the specified position of the image of the non-defective product to generate a sample image of the defective product (second image generation step).
  • FIG. 7 shows a list of defective product sample images.
  • Embodiment 1 the effect of Embodiment 1 is demonstrated.
  • a defect image to be combined with the substrate image is generated based on the image showing the typical two-dimensional shape of the defect (porosity, bulge, scratch, etc.), so there is a sense of incongruity with the actual defect.
  • a defect image is generated using a two-dimensional image created from a stereoscopically (three-dimensionally) designed defect model.
  • it is possible to generate a defective product sample image that naturally matches (a captured image of) an actual defect so that the inspection accuracy of the surface of the piston 5 can be improved.
  • the neural network is made to learn defect images from the collected defective product sample images, and the presence or absence of defects in the image to be inspected is determined.
  • (1) In a production line with a low defect rate, it takes man-hours and time to collect sufficient samples of defective products for learning.
  • (2) To build a learning model for products with different product types, it is necessary to collect samples of defective products.
  • (3) If the imaging device is changed, it is necessary to collect defective product samples for all product types, take images, and build a learning model. Since the visual inspection method of the first embodiment uses the pseudo defective sample images, it is not necessary to collect and store the defective sample. Since the time required to generate the defective product sample image is shorter than the time required to collect the defective product sample, the actual work time can be reduced.
  • a two-dimensional image is generated by adding luminance to the defect model. Since the image captured by camera 2 shows a difference in brightness due to the illumination device 3, by adding shadows due to the influence of camera 2 to the two-dimensional image, the sample image of the defective product that matches the image captured by camera 2 more closely. can generate As a result, the inspection accuracy of the surface of the piston 5 can be improved.
  • the brightness distribution of the two-dimensional image is the brightness distribution of a predetermined range including the defect and a predetermined portion around the defect model. That is, by applying shadows only to the minimum area required for defect inspection, the computation load on the CPU 7 can be reduced, and the time required to generate defective product samples can be shortened.
  • the two-dimensional image is obtained by converting the defect model into a point cloud. Converting the defect model, which is a three-dimensional image, into a point group facilitates the two-dimensionalization of the defect model.
  • the luminance distribution is the angle ⁇ of specularly reflected light from the imaging direction, the illumination direction ⁇ , and the angle ⁇ , is calculated on the basis of
  • the brightness distribution of the defect is obtained using the simple calculation formulas (1) to (3) described above.
  • a defect model includes a defect and a predetermined portion around it, and defects include nests, scratches, and blisters (circular blisters, foreign matter blisters, strip-shaped blisters, etc.). As a result, it is possible to generate defect models corresponding to a plurality of types of assumed defects. In addition, nests, scratches, and blisters are each set to have three different sizes. As a result, defect models corresponding to defects having different sizes can be generated.
  • a defect model includes a defect and a predetermined portion around it, and the defect is created as a geometric envelope surface. That is, defect models corresponding to a plurality of types of defects can be easily generated by expressing defects by an envelope surface formed by translating and rotating a sphere, cone, slot, or triangle.
  • Machine learning in the first embodiment is learning using a neural network.
  • the use of the neutral network eliminates the need for designing feature quantities, and thus enhances the judgment accuracy of visual inspection.
  • deep learning with an intermediate layer is performed, so the judgment accuracy of appearance inspection can be improved compared to the case of using a neutral network having only one intermediate layer.
  • a neural network is used, a sufficient number of defective samples are required. However, since the first embodiment uses pseudo defective samples, The judgment accuracy of visual inspection can be improved.
  • the embodiment for carrying out the present invention has been described above, the specific configuration of the present invention is not limited to the configuration of the embodiment, and design changes, etc. within the scope of the invention may be made. is also included in the present invention.
  • the object to be inspected (object to be inspected) is not limited to the piston.
  • the learning result is not limited to neural network or deep learning, but may be machine learning. Defects are not limited to those of the embodiment, and may be any geometrical enveloping surface.
  • a visual inspection apparatus is a visual inspection apparatus that inspects the surface of an object to be inspected, and includes an imaging unit that images the surface of the object to be inspected, and machine learning using a plurality of defective product sample images.
  • the plurality of defective product sample images are two-dimensional images of defect shapes created based on defect models formed three-dimensionally in advance, an inspection unit that inspects the surface of the object to be inspected based on a storage unit generated by synthesizing the surface image of the Prepare.
  • the two-dimensional image is generated considering the luminance for the defect model.
  • the brightness for the defect model is a brightness distribution in a predetermined range including the defect and a predetermined portion around the defect in the defect model.
  • the luminance distribution is a physical quantity related to a preset lighting direction in coordinates of a point group on the surface of the predetermined range converted from the defect model; In the coordinates of the point group, it is obtained based on a physical quantity related to the preset imaging direction and a physical quantity related to the normal direction to the defect in a plane including the illumination direction and the imaging direction.
  • the two-dimensional image is obtained based on a point cloud transformed from the defect model.
  • the defect model includes a defect and a predetermined portion around the defect, and the defect has a first shape and the first shape. a different second shape; and
  • the defect includes a plurality of the first shapes with different sizes and a plurality of the second shapes with different sizes.
  • the defect model includes a defect and a predetermined portion around the defect, and the defect is created as a geometrical enveloping surface.
  • the machine learning is learning using a neural network.
  • the machine learning is learning by deep learning.
  • a visual inspection method is a visual inspection method for inspecting the surface of an object to be inspected by a computer, comprising: an imaging step of imaging the surface of the object to be inspected; A plurality of defective product sample images generated by synthesizing a captured image and a two-dimensional image of the defect shape created based on a three-dimensional defect model formed in advance with the surface image of the object to be inspected. and an inspection step of inspecting the surface of the object to be inspected based on a learning result obtained by machine learning using the method.
  • the image generation device is an image generation device that generates a defective product sample image used for inspecting the surface of an object to be inspected, based on a three-dimensionally formed defect model in advance. , a first image generating unit for generating a two-dimensional image of a defect shape; and a second image generating unit for generating the defective product sample image by synthesizing the two-dimensional image with the surface image of the object to be inspected.
  • the image generation method is an image generation method for generating a defective product sample image used for inspecting the surface of an object to be inspected by a computer, and is a defect model formed in advance in three dimensions. a first image generating step of creating a two-dimensional image of the defect shape, and a second image generating step of synthesizing the two-dimensional image with the surface image of the inspected object to generate the defective sample image Prepare.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described.
  • part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

外観検査装置は、カメラの撮像画像と、予め三次元的に形成された欠陥モデルに基づいて作られた欠陥画像の二次元画像を、ピストンの表面画像に合成することで生成された複数の不良品サンプル画像を用いて機械学習させた学習結果と、に基づいて、ピストンの表面を検査する。

Description

外観検査装置、外観検査方法、画像生成装置および画像生成方法
　本発明は、外観検査装置、外観検査方法、画像生成装置および画像生成方法に関する。
　特許文献１には、検査対象物表面を撮像した原画像と、キズまたは欠陥の形状を示す画像である欠陥画像とを記憶する記憶部と、模擬検査画像を生成する画像生成部と、を備えた画像生成装置が開示されている。画像生成部は、検査対象物表面を撮影した原画像から原画像と類似のテクスチャ特徴を有する素地画像を生成し、素地画像に欠陥画像を合成して模擬検査画像を生成する。
特開2018-205123号公報
　しかしながら、上記従来技術にあっては、キズや欠陥の代表的なシルエット形状（二次元形状）を示す画像に基づいて素地画像に合成する欠陥画像を生成しているため、検査対象物表面の凹凸や照明の方向を反映してキズや欠陥の画像を生成しようとすると、シルエット形状のデータを多数準備しておく、必要があった。
　本発明の目的の一つは、検査対象物表面の検査精度を向上できる外観検査装置、外観検査方法、画像生成装置および画像生成方法を提供することにある。
　本発明の一実施形態における外観検査装置は、撮像画像と、予め三次元的に形成された欠陥モデルに基づいて作られた欠陥画像の二次元画像を、被検査物の表面画像に合成することで生成された複数の不良品サンプル画像を用いて機械学習させた学習結果と、に基づいて、被検査物の表面を検査する。
　本発明の一実施形態によれば、検査対象物表面の検査精度を向上できる。
実施形態１の外観検査装置1の概略図である。 実施形態１における欠陥形状の二次元画像および不良品サンプル画像の生成方法の流れを示すフローチャートである。 欠陥モデルの一覧を示す図である。 欠陥モデルの表面を点群の座標に変換した状態を示す図である。 キズの水平面からの法線角度βおよび撮像方向からの正反射光の角度θを示す図である。 キズのx軸方向における輝度分布を示す図である。 不良品サンプル画像の一覧を示す図である。
　〔実施形態１〕
　図１は、実施形態１の外観検査装置1の概略図である。
　実施形態１の外観検査装置1は、カメラ（撮像部）2、照明装置3およびコンピュータ4を備える。カメラ2は、被検査物であるピストン5の表面を撮像する（撮像ステップ）。照明装置3は、ピストン5の表面に光を照射する。コンピュータ4は、例えばパーソナルコンピュータであり、メモリ（記憶部）6およびCPU（検査部）7を備える。メモリ6は、複数の不良品サンプル画像を用いて機械学習させた学習結果が記憶されている。機械学習は、ニュートラルネットワークを用いた学習であって、実施形態１では、ディープラーニングによる学習を採用している。複数の不良品サンプル画像は、予め三次元的、すなわち立体的に形成された欠陥モデルを点群に変換して作られた、欠陥形状の二次元画像を、ピストン5の表面画像に合成することにより生成される。
　欠陥は、幾何学的な包絡面として作られ、欠陥形状の二次元画像は、欠陥モデルに対する輝度を加えて生成される。このとき、欠陥モデルに対する輝度は、欠陥モデルのうち、欠陥と、欠陥の周囲の所定部位と、を含む所定範囲の輝度分布である。欠陥は、具体的に、巣（第１の形状）、キズ（第２の形状）およびフクレ（円形フクレ、異物フクレ、帯状フクレ等）を含む。そして、各欠陥（巣、キズおよびフクレ）は、異なる大きさのものを複数含む。輝度分布は、欠陥モデルから変換された、所定範囲の表面の点群の座標において、予め設定された照明方向の角度（物理量）と、点群の座標において、予め設定された撮像方向の角度と、照明方向と撮像方向を含む面における欠陥に対する法線方向の角度と、に基づいて求められる。
　CPU7は、メモリ6に記憶されたプログラムに基づき、カメラ2により撮像された撮像画像と、メモリ6に記憶された学習結果と、に基づいてピストン5の表面にキズや欠陥があるか否かを検査する（検査ステップ）。CPU7は、第１画像生成部7aおよび第２画像生成部7bを有する。第１画像生成部7aは、欠陥モデルに基づいて、欠陥形状の二次元画像を生成する。第２画像生成部7bは、ピストン5の表面画像に二次元画像を合成して不良品サンプル画像を生成する。また、CPU7は、メモリ6に記憶されたプログラムに基づき、複数の不良品サンプル画像を用いてディープラーニングによる機械学習を行い、学習結果をメモリ6に記憶させる。
　図２は、実施形態１における欠陥形状の二次元画像および不良品サンプル画像の生成方法の流れを示すフローチャートである。
　ステップS1では、第１画像生成部7aにおいて、欠陥の種類に応じて複数の大きさを設定する。巣は球形の凹み、キズは頂角60°の溝、円形フクレは高さ0.2mmの円形の突起、異物フクレは頂角60°の突起、帯状フクレは高さ0.4mmの帯状の突起とする。大きさは、種類毎に３つ設定する。例えば、円形ふくれの場合は、直径1.0mm、2.0mm、4.0mmとし、キズの場合は、半径2.0mm、4.0mm、6.0mmとする。
　ステップS2では、第１画像生成部7aにおいて、実際のピストン5に対する照明装置3の照明方向およびカメラ2の撮像方向に基づき、照明装置3の照明方向およびカメラ2の撮像方向を決定する。
　ステップS3では、第１画像生成部7aにおいて、三次元CADを用いて欠陥形状（欠陥および周辺部）の三次元モデル（欠陥モデル）を作成する。図３に欠陥モデルの一覧を示す。
　ステップS4では、第１画像生成部7aにおいて、欠陥および周辺部の表面を、図４に示すような0.05mmピッチの点群に変換し、点群の座標を取得する。点群の座標は、カメラ2の撮像方向にz軸、z軸と直交する平面上に、互いに直交するx軸およびy軸を設定した、三次元座標系で表される。
　ステップS5では、第１画像生成部7aにおいて、欠陥の各点における照明方向および撮像方向を含む面内での法線方向を計算する。例えば、キズの場合、図５に示すように、欠陥の各点の水平面からの法線方向の角度βは、下記の式(1)から求められる。
Figure JPOXMLDOC01-appb-M000001
　ステップS6では、第１画像生成部7aにおいて、点群の各点の輝度を計算する。撮像方向からの正反射光の角度θは、照明方向をφとしたとき、下記の式(2)から求められる。
Figure JPOXMLDOC01-appb-M000002
　撮像方向から見たときの欠陥の各点の輝度Lは、下記の式(3)を用いて計算できる。式(3)は、面の傾斜角度（微分係数）から輝度Lを算出する輝度モデルを表す式である。
Figure JPOXMLDOC01-appb-M000003
　ただし、ρsは正反射係数、ρdは均等拡散反射係数、nは定数である。
　キズの場合のx軸方向における輝度分布を図６に示す。
　ステップS7では、第１画像生成部7aにおいて、欠陥の各点の輝度と正常部の輝度平均値との差分を計算する。
　ステップS8では、第１画像生成部7aにおいて、正常部の輝度を0とし、輝度分布を加えた欠陥形状の二次元画像を作成する（第１画像生成ステップ）。
　ステップS9では、第２画像生成部7bにおいて、ピストン5の表面における欠陥作成位置を決定する。
　ステップS10では、第２画像生成部7bにおいて、二次元画像のコントラストを調整し、良品の画像の指定位置の輝度へ加算して不良品サンプル画像を生成する（第２画像生成ステップ）。図７に不良品サンプル画像の一覧を示す。
　次に、実施形態１の作用効果を説明する。
　従来の外観検査方法では、欠陥（鋳巣、膨れ、キズ等）の代表的な二次元形状を示す画像に基づいて素地画像に合成する欠陥画像を生成しているため、実際の欠陥に対する違和感が生じ、検査対象物であるピストンの表面のキズや欠陥の検査が精度よくできなくなるおそれがあった。
　これに対し、実施形態１の外観検査方法では、立体的（三次元的）に設計した欠陥モデルから作成した二次元画像を用いて不良品サンプル画像を生成する。これにより、実際の欠陥（の撮像画像）に対して違和感なくマッチした不良品サンプル画像を生成できるため、ピストン5の表面の検査精度を向上できる。
　また、従来の外観検査方法では、収集した不良品サンプル画像から欠陥の画像をニュートラルネットワークに学習させ、検査対象の画像における欠陥の有無を判定しているため、以下のような課題があった。
　(1)　不良率が低い製造ラインでは、学習に十分な不良品サンプルの収集に工数および時間を要する。
　(2)　品種の違いの製品の学習モデル構築には、不良品サンプルの収集が必要である。
　(3)　撮像装置を変更すると、全品種に対して不良品サンプルの収集、撮像、学習モデルの構築が必要である。
　実施形態１の外観検査方法では、擬似的な不良品サンプル画像を用いているため、不良品サンプルの収集および保存が不要である。不良品サンプル画像を生成するために要する時間は、不良品サンプルの収集に要する時間と比べて短いため、実作業時間を削減できる。また、製品モデル変更、撮像装置の交換や設備増強時にも再度学習を行う必要がない。よって、検査効率（検査精度）を大幅に向上できる。この効果は、特に不良率が低い製造ラインや、多品種を製造する製造ライン等、欠陥サンプル数の収集に時間を要する製造ラインにおいて顕著である。
　実施形態１では、二次元画像を、欠陥モデルに対する輝度を加えて生成する。カメラ2で撮影された撮像画像には、照明装置3による輝度差が現れるため、二次元画像にカメラ2の影響による陰影を付加することにより、よりカメラ2の撮像画像にマッチした不良品サンプル画像を生成できる。この結果、ピストン5の表面の検査精度を向上できる。
　このとき、二次元画像の輝度分布は、欠陥モデルのうち、欠陥とその周囲の所定部分とを含む所定範囲の輝度分布である。すなわち、欠陥の検査に必要な最低限の領域にのみ陰影を付与することにより、CPU7の演算負荷を軽減できると共に、不良品サンプルの生成時間を短縮できる。
　実施形態１では、二次元画像は、欠陥モデルから点群に変化されて求められる。三次元画像である欠陥モデルを点群に変換することにより、欠陥モデルの二次元化が容易となる。
　また、輝度分布は、欠陥モデルから変換された、所定範囲の表面の点群の座標において撮像方向からの正反射光の角度θと、照明方向φと、水平面からの法線方向の角度βと、に基づいて求められる。これにより、上述した簡易な計算式(1)～(3)を用いて、欠陥の輝度分布が求められる。
　欠陥モデルは、欠陥とその周囲の所定部位とを含み、欠陥は、巣、キズおよびフクレ（円形フクレ、異物フクレ、帯状フクレ等）を含む。これにより、想定される複数種類の欠陥に対応した欠陥モデルを生成できる。
　また、巣、キズおよびフクレは、それぞれ３種類の大きさを設定している。これにより、大きさ違いの欠陥に対応した欠陥モデルを生成できる。
　欠陥モデルは、欠陥とその周囲の所定部位とを含み、欠陥は、幾何学的な包絡面として作られる。すなわち、欠陥を球、円錐、長穴や三角形を平行移動および回転させてできる包絡面で表現することにより、複数種類の欠陥に対応した欠陥モデルを容易に生成できる。
　実施形態１の機械学習は、ニューラルネットワークを用いた学習である。ニュートラルネットワークを用いることにより、特徴量設計が不要となるため、外観検査の判定精度を高められる。さらに、機械学習として、中間層を持つディープラーニングによる学習を行うため、中間層を１つしか持たないニュートラルネットワークを用いた場合と比較して、外観検査の判定精度を向上できる。
　上述したように、ニューラルネットワークを用いる場合、十分な不良品サンプルが必要となるが、実施形態１では、擬似的な不良品サンプルを用いているため、実在する不良品サンプルを収集することなく、外観検査の判定精度を向上できる。
　〔他の実施形態〕
　以上、本発明を実施するための実施形態を説明したが、本発明の具体的な構成は実施形態の構成に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
　被検査物（検査対象物）は、ピストンに限らない。
　学習結果は、ニューラルネットワークやディープラーニングに限らず、機械学習であればよい。
　欠陥は、実施形態のものに限らず、幾何学的な包絡面であればよい。
　以上説明した実施形態から把握し得る技術的思想について、以下に記載する。
　外観検査装置は、その一つの態様において、被検査物の表面を検査する外観検査装置であって、前記被検査物の表面を撮像する撮像部と、複数の不良品サンプル画像を用いて機械学習させた学習結果が記憶された記憶部であって、前記複数の不良品サンプル画像は、予め三次元的に形成された欠陥モデルに基づいて作られた欠陥形状の二次元画像を、被検査物の表面画像に合成することで生成される、記憶部と、前記撮像部で撮像された撮像画像と、前記学習結果と、に基づいて、前記被検査物の表面を検査する検査部と、を備える。
　好ましくは、上記態様において、前記二次元画像は、前記欠陥モデルに対する輝度を考慮して生成される。
　より好ましい態様では、上記態様のいずれかにおいて、前記欠陥モデルに対する輝度は、前記欠陥モデルにおける、欠陥と、前記欠陥の周りの所定部位と、を含む所定範囲の輝度分布である。
　さらに別の好ましい態様では、上記態様のいずれかにおいて、前記輝度分布は、前記欠陥モデルから変換された、前記所定範囲の表面の点群の座標において、予め設定された照明方向に関する物理量と、前記点群の座標において、予め設定された撮像方向に関する物理量と、前記照明方向と前記撮像方向とを含む面における、前記欠陥に対する法線方向に関する物理量と、に基づいて求められる。
　さらに別の好ましい態様では、上記態様のいずれかにおいて、前記二次元画像は、前記欠陥モデルから変換された点群に基づいて求められる。
　さらに別の好ましい態様では、上記態様のいずれかにおいて、前記欠陥モデルは、欠陥と、前記欠陥の周りの所定部位と、を含み、前記欠陥は、第１の形状と、前記第１の形状とは異なる第２の形状と、を含む。
　さらに別の好ましい態様では、上記態様のいずれかにおいて、前記欠陥は、前記第１の形状を大きさ違いで複数含み、前記第２の形状を大きさ違いで複数含む。
　さらに別の好ましい態様では、上記態様のいずれかにおいて、前記欠陥モデルは、欠陥と、前記欠陥の周りの所定部位と、を含み、前記欠陥は、幾何学的な包絡面として作られる。
　さらに別の好ましい態様では、上記態様のいずれかにおいて、前記機械学習は、ニューラルネットワークを用いた学習である。
　さらに別の好ましい態様では、上記態様のいずれかにおいて、前記機械学習は、ディープラーニングによる学習である。
　また、別の観点から、外観検査方法は、コンピュータによって、被検査物の表面を検査する外観検査方法であって、前記被検査物の表面を撮像する撮像ステップと、前記撮像部で撮像された撮像画像と、予め三次元的に形成された欠陥モデルに基づいて作られた、欠陥形状の二次元画像を、被検査物の表面画像に合成することで生成される複数の不良品サンプル画像を用いて機械学習させた学習結果と、に基づいて、前記被検査物の表面を検査する検査ステップと、を備える。
　さらに、別の観点から、画像生成装置は、被検査物の表面を検査するために用いる不良品サンプル画像を生成する画像生成装置であって、予め三次元的に形成された欠陥モデルに基づいて、欠陥形状の二次元画像を作る第１画像生成部と、被検査物の表面画像に前記二次元画像を合成して前記不良品サンプル画像を生成する第２画像生成部と、を備える。
　さらに、別の観点から、画像生成方法は、コンピュータによって、被検査物の表面を検査するために用いる不良品サンプル画像を生成する画像生成方法であって、予め三次元的に形成された欠陥モデルに基づいて、欠陥形状の二次元画像を作る第１画像生成ステップと、被検査物の表面画像に前記二次元画像を合成して前記不良品サンプル画像を生成する第２画像生成ステップと、を備える。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　本願は、２０２１年３月５日付出願の日本国特許出願第２０２１－０３４９３２号に基づく優先権を主張する。２０２１年３月５日付出願の日本国特許出願第２０２１－０３４９３２号の明細書、特許請求の範囲、図面、および要約書を含む全開示内容は、参照により本願に全体として組み込まれる。
1　外観検査装置
2　カメラ（撮像部）
3　照明装置
4　コンピュータ
5　ピストン
6　メモリ（記憶部）
7　CPU（検査部）
7a　第１画像生成部
7b　第2画像生成部

Claims (13)

  1. 　被検査物の表面を検査する外観検査装置であって、
    　前記被検査物の表面を撮像する撮像部と、
    　複数の不良品サンプル画像を用いて機械学習させた学習結果が記憶された記憶部であって、前記複数の不良品サンプル画像は、予め三次元的に形成された欠陥モデルに基づいて作られた欠陥形状の二次元画像を、被検査物の表面画像に合成することで生成される、記憶部と、
    　前記撮像部で撮像された撮像画像と、前記学習結果と、に基づいて、前記被検査物の表面を検査する検査部と、
    　を備える外観検査装置。
  2. 　請求項１に記載の外観検査装置であって、
    　前記二次元画像は、前記欠陥モデルに対する輝度を考慮して生成される、
    　外観検査装置。
  3. 　請求項２に記載の外観検査装置であって、
    　前記欠陥モデルに対する輝度は、前記欠陥モデルにおける、欠陥と、前記欠陥の周りの所定部位と、を含む所定範囲の輝度分布である、
    　外観検査装置。
  4. 　請求項３に記載の外観検査装置であって、
    　前記輝度分布は、
    　前記欠陥モデルから変換された、前記所定範囲の表面の点群の座標において、予め設定された照明方向に関する物理量と、
    　前記点群の座標において、予め設定された撮像方向に関する物理量と、
    　前記照明方向と前記撮像方向とを含む面における、前記欠陥に対する法線方向に関する物理量と、
    　に基づいて求められる、
    　外観検査装置。
  5. 　請求項１に記載の外観検査装置であって、
    　前記二次元画像は、前記欠陥モデルから変換された点群に基づいて求められる、
    　外観検査装置。
  6. 　請求項１に記載の外観検査装置であって、
    　前記欠陥モデルは、欠陥と、前記欠陥の周りの所定部位と、を含み、
    　前記欠陥は、第１の形状と、前記第１の形状とは異なる第２の形状と、を含む、
    　外観検査装置。
  7. 　請求項６に記載の外観検査装置であって、
    　前記欠陥は、前記第１の形状を大きさ違いで複数含み、前記第２の形状を大きさ違いで複数含む、
    　外観検査装置。
  8. 　請求項１に記載の外観検査装置であって、
    　前記欠陥モデルは、欠陥と、前記欠陥の周りの所定部位と、を含み、
    　前記欠陥は、幾何学的な包絡面として作られる、
    　外観検査装置。
  9. 　請求項１に記載の外観検査装置であって、
    　前記機械学習は、ニューラルネットワークを用いた学習である、
    　外観検査装置。
  10. 　請求項１に記載の外観検査装置であって、
    　前記機械学習は、ディープラーニングによる学習である、
    　外観検査装置。
  11. 　コンピュータによって、被検査物の表面を検査する外観検査方法であって、
    　前記被検査物の表面を撮像する撮像ステップと、
    　前記撮像部で撮像された撮像画像と、予め三次元的に形成された欠陥モデルに基づいて作られた欠陥形状の二次元画像を、被検査物の表面画像に合成することで生成される複数の不良品サンプル画像を用いて機械学習させた学習結果と、に基づいて、前記被検査物の表面を検査する検査ステップと、
    　を備える外観検査方法。
  12. 　被検査物の表面を検査するために用いる不良品サンプル画像を生成する画像生成装置であって、
    　予め三次元的に形成された欠陥モデルに基づいて、欠陥形状の二次元画像を作る第１画像生成部と、
    　被検査物の表面画像に前記二次元画像を合成して前記不良品サンプル画像を生成する第２画像生成部と、
    　を備える画像生成装置。
  13. 　コンピュータによって、被検査物の表面を検査するために用いる不良品サンプル画像を生成する画像生成方法であって、
    　予め三次元的に形成された欠陥モデルに基づいて、欠陥形状の二次元画像を作る第１画像生成ステップと、
    　被検査物の表面画像に前記二次元画像を合成して前記不良品サンプル画像を生成する第２画像生成ステップと、
    　を備える画像生成方法。
PCT/JP2022/005038 2021-03-05 2022-02-09 外観検査装置、外観検査方法、画像生成装置および画像生成方法 WO2022185864A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/280,079 US20240153066A1 (en) 2021-03-05 2022-02-09 Visual inspection apparatus, visual inspection method, image generation apparatus, and image generation method
CN202280018983.4A CN116917718A (zh) 2021-03-05 2022-02-09 外观检查装置、外观检查方法、图像生成装置以及图像生成方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021034932A JP2022135248A (ja) 2021-03-05 2021-03-05 外観検査装置、外観検査方法、画像生成装置および画像生成方法
JP2021-034932 2021-03-05

Publications (1)

Publication Number Publication Date
WO2022185864A1 true WO2022185864A1 (ja) 2022-09-09

Family

ID=83155036

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005038 WO2022185864A1 (ja) 2021-03-05 2022-02-09 外観検査装置、外観検査方法、画像生成装置および画像生成方法

Country Status (4)

Country Link
US (1) US20240153066A1 (ja)
JP (1) JP2022135248A (ja)
CN (1) CN116917718A (ja)
WO (1) WO2022185864A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107671A (ja) * 2001-09-27 2003-04-09 Sony Corp 位相シフトマスクにおける欠陥仕様の決定方法
JP2010281786A (ja) * 2009-06-08 2010-12-16 Denso Wave Inc 視覚検査装置の評価システム
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
CN107358636A (zh) * 2017-06-16 2017-11-17 华南理工大学 一种基于纹理合成的疏松缺陷图像生成方法
JP2018205123A (ja) * 2017-06-05 2018-12-27 学校法人梅村学園 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法
CN111652864A (zh) * 2020-05-29 2020-09-11 沈阳铸造研究所有限公司 一种基于条件式生成对抗网络的铸件缺陷图像生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107671A (ja) * 2001-09-27 2003-04-09 Sony Corp 位相シフトマスクにおける欠陥仕様の決定方法
JP2010281786A (ja) * 2009-06-08 2010-12-16 Denso Wave Inc 視覚検査装置の評価システム
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP2018205123A (ja) * 2017-06-05 2018-12-27 学校法人梅村学園 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法
CN107358636A (zh) * 2017-06-16 2017-11-17 华南理工大学 一种基于纹理合成的疏松缺陷图像生成方法
CN111652864A (zh) * 2020-05-29 2020-09-11 沈阳铸造研究所有限公司 一种基于条件式生成对抗网络的铸件缺陷图像生成方法

Also Published As

Publication number Publication date
CN116917718A (zh) 2023-10-20
US20240153066A1 (en) 2024-05-09
JP2022135248A (ja) 2022-09-15

Similar Documents

Publication Publication Date Title
Jun A piecewise hole filling algorithm in reverse engineering
CN104346830B (zh) 在三维场景中设计连接第一点到第二点的路径
Barequet et al. Repairing CAD models
JP5364188B2 (ja) 構造およびシステムの変更のための非ラインオブサイトリバースエンジニアリング
US9838583B2 (en) Method and apparatus for verifying lighting setup used for visual inspection
US20180033193A1 (en) Generating portable three-dimensional print-preview renderings of three-dimensional models
JP2020173809A (ja) 実際のシーンの構造の３ｄ再構成
Li et al. Section curve reconstruction and mean-camber curve extraction of a point-sampled blade surface
Jin et al. A new multi-vision-based reconstruction algorithm for tube inspection
TWI514318B (zh) 三維編程產品模擬系統及方法
US20120173206A1 (en) Method of simulating illuminated environment for off-line programming
Jin et al. Automatic multi-stereo-vision reconstruction method of complicated tubes for industrial assembly
WO2022185864A1 (ja) 外観検査装置、外観検査方法、画像生成装置および画像生成方法
Castro et al. Calibration of spatial distribution of light sources in reflectance transformation imaging based on adaptive local density estimation
CN116091684B (zh) 基于WebGL的图像渲染方法、装置、设备及存储介质
Catalucci et al. Smart optical coordinate and surface metrology
CN102445147A (zh) 影像量测机台测头模拟系统及方法
CN114590366B (zh) 一种船舶结构有限元分析结果虚拟可视化系统
Irgenfried et al. Image formation simulation for computer-aided inspection planning of machine vision systems
Castro et al. Light spatial distribution calibration based on local density estimation for reflectance transformation imaging
JP4806767B2 (ja) 歪み測定方法及び装置
Sussner et al. Interactive examination of surface quality on car bodies
Niu et al. Mesh generation of porous metals from X-ray computed tomography volume data
JP2007256240A (ja) 表面歪み欠陥検査装置、検査方法及びコンピュータプログラム
Bosnar et al. Texture synthesis for surface inspection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22762921

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18280079

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280018983.4

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22762921

Country of ref document: EP

Kind code of ref document: A1