WO2023026699A1 - 外観検査装置および外観検査方法 - Google Patents

外観検査装置および外観検査方法 Download PDF

Info

Publication number
WO2023026699A1
WO2023026699A1 PCT/JP2022/026939 JP2022026939W WO2023026699A1 WO 2023026699 A1 WO2023026699 A1 WO 2023026699A1 JP 2022026939 W JP2022026939 W JP 2022026939W WO 2023026699 A1 WO2023026699 A1 WO 2023026699A1
Authority
WO
WIPO (PCT)
Prior art keywords
defect candidate
dimensional position
captured
attitude angles
inspected
Prior art date
Application number
PCT/JP2022/026939
Other languages
English (en)
French (fr)
Inventor
真一 井上
高輝 関
貴正 今泉
裕之 林
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to CN202280058188.8A priority Critical patent/CN117881959A/zh
Publication of WO2023026699A1 publication Critical patent/WO2023026699A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination

Definitions

  • the present invention relates to a visual inspection device and a visual inspection method.
  • Patent Literature 1 discloses an appearance inspection apparatus that inspects scratches, etc. on the surface of an inspection object using the photometric stereo method.
  • This visual inspection apparatus captures a plurality of partial illumination images with mutually different illumination directions, and calculates the normal vector of each pixel with respect to the surface of the inspection object using the pixel value of each pixel having a correspondence relationship between the images. . Then, the normal vector of each pixel is differentiated in the X and Y directions to generate a contour image showing the contour of the inclination of the surface of the inspection object, and the inspection within the inspection area set on the contour image is performed. conduct.
  • the inspection object may be imaged at a plurality of posture angles for inspection, but the above-described conventional image inspection apparatus does not take this point into consideration.
  • the inspection accuracy will be lowered.
  • One of the objects of the present invention is to provide a visual inspection apparatus and a visual inspection method capable of improving the inspection accuracy when imaging and inspecting an inspection object at a plurality of attitude angles.
  • a visual inspection method detects a defect candidate for each captured image of the surface of an object to be inspected captured at a plurality of attitude angles different from each other, and extracts the captured images captured at a plurality of attitude angles. Based on the two-dimensional position of the defect candidate detected from at least one captured image, the three-dimensional position of the defect candidate is obtained, and the three-dimensional position of the defect candidate is perspectively projected and imaged at a plurality of attitude angles.
  • Obtaining the two-dimensional position of the defect candidate for each captured image, obtaining a feature value for the defect candidate based on the two-dimensional position of the defect candidate for each captured image taken at a plurality of attitude angles, and calculating the feature value for the defect candidate is used to inspect the surface of the object to be inspected.
  • FIG. 1 is a schematic diagram of an appearance inspection apparatus 1 of Embodiment 1.
  • FIG. 3 is a flow chart showing the flow of the appearance inspection method of Embodiment 1.
  • FIG. 10 is a diagram showing detection of defect candidates for each view by the first AI;
  • FIG. 10 is a diagram showing grouping of identical defect candidates for each view;
  • FIG. 10 illustrates a method of estimating 3D points of defect candidates using triangulation;
  • FIG. 7 is a diagram showing a method of estimating 3D points of defect candidates using facet information of a piston 7; It is an image around the same defect candidate in each view.
  • FIG. 10 is a diagram showing time-series data of feature amounts of each view; It is a figure which shows the angle divergence degree between defect candidates when two captured images are superimposed.
  • FIG. 10 is a diagram showing errors between true values of defect candidates and reprojection points in one captured image; It is a graph which shows the relationship between an angle divergence and the average value of distance. It is a graph which shows the relationship between angle divergence and the standard deviation of distance.
  • FIG. 10 is a diagram showing time-series data of the feature amount of each view including zero feature amount; 10 is a flow chart showing the flow of the appearance inspection method of Embodiment 2.
  • FIG. 11 is a flow chart showing the flow of an appearance inspection method according to Embodiment 3.
  • FIG. 1 is a schematic diagram of a visual inspection apparatus 1 of Embodiment 1.
  • a visual inspection apparatus 1 (hereinafter referred to as an inspection apparatus 1) includes a robot 2, a camera (imaging unit) 3, an illumination device 4, an image processing device (inspection unit) 5, and a control device (attitude control unit) 6.
  • the robot 2 is an articulated robot and has a hand 8 that holds an engine piston material or a machined finished product of an engine piston (hereinafter simply referred to as a piston) 7 to be inspected.
  • the camera 3 is supported with the lens directed downward in the vertical direction.
  • the illumination device 4 irradiates the crown surface 7a of the piston 7 with light, and has a dome 9 and a ring illumination 10.
  • Dome 9 houses piston 7 and ring light 10 .
  • the dome 9 reflects and diffuses the emitted light of the ring illumination 10.
  • FIG. The dome 9 is positioned below the camera 3 in the vertical direction and fixed integrally with the camera 3 .
  • the camera 3 takes an image of the crown surface 7a of the piston 7 from an opening provided at the upper end of the dome 9.
  • a ring light 10 is an annular LED light arranged to surround the piston 7 .
  • the ring light 10 is rotatably supported around the central axis of the camera 3 with respect to the camera 3 and the dome 9 by a support device (not shown).
  • the image processing device 5 extracts a defect candidate portion from the surface image of the crown surface 7a captured by the camera 3, and performs image processing to generate, for example, an 8-bit (256-gradation) grayscale image from the defect candidate portion. conduct.
  • the control device 6 outputs a command to the robot 2 to change the relative viewing angle (posture angle) of the crown surface 7a of the piston 7 with respect to the camera 3 . Further, the control device 6 outputs a command to the camera 3 to image the crown plane 7a.
  • the control device 6 determines the presence or absence of defects (blowholes, scratches or dents) on the crown surface 7a based on changes in brightness distribution in a plurality of grayscale images captured with different viewing angles.
  • FIG. 2 is a flow chart showing the flow of the visual inspection method of the first embodiment.
  • the internal parameter K is a transformation parameter from the camera coordinate system to the image coordinate system, and depends on the camera and lens.
  • the rotation element R N and the translation element T N are transformation parameters from the world coordinate system to the camera coordinate system and depend on the viewing angle.
  • T N ) for transforming the position in the world coordinate system to the position in the image coordinate system is obtained. Note that this step is performed only the first time, and is not performed after the perspective projection conversion formula is obtained.
  • step S2 the crown plane 7a is imaged at 25 angles while changing the viewing angle to acquire 25 captured images (view 1 to 25).
  • step S3 first step
  • the first AI is used to detect defect candidates for each view (view1 to view25).
  • step S4 as shown in FIG. 4, the same defect candidates of each view are grouped. Identical defect candidates are defect candidates that are gathered at a close distance to each other (the positions are close on the image coordinates).
  • step S5 0 is substituted for the first variable n.
  • step S6 it is determined whether or not the first variable n is smaller than the number of groups of the same defect candidate. If YES, the process proceeds to step S7, and if NO, this control ends. For example, in the case of FIG. 4, since the number of groups of the same defect candidate is two, it is determined whether or not the first variable n is smaller than two.
  • step S7 it is determined whether there is any view in which no defect candidate is detected in views 1-25. If YES, go to step S8; if NO, go to step S12. In step S8, it is determined whether defect candidates are detected in two or more views. If YES, go to step S9; if NO, go to step S10.
  • step S9 second step
  • triangulation is used to calculate the 3D point (x, y, z) of the defect candidate on the world coordinate system. Specifically, as shown in Fig. 5, a triangulation method is used to determine the 2D point (x, y) on the image coordinate system of the same defect appearing in arbitrary two views A and B where the defect candidate is detected. to estimate the 3D point of the defect.
  • step S10 3D points of defect candidates are calculated using facet information in the 3DCAD STL data used to design the piston 7.
  • the 3D CAD of the piston 7 is rotated in advance and a 2D mesh of 25 viewpoints is created by perspective projection transformation, and as shown in FIG.
  • the 3D point of the defect can be calculated based on the distance from the three points A_3d, B_3d, C_3d.
  • step S11 the 3D point on the world coordinate system calculated in step S9 or step S10 is calculated using the perspective projection transformation formula PN ⁇ K(RN
  • step S12 as shown in FIG. 7, an image around the same defect candidate in each view is cut out, and as shown in FIG. Create time series data of quantity (contrast).
  • step S13 the second AI is used to determine whether the defect is good or bad.
  • the first variable n is incremented. Note that when the first variable n is incremented, the defect candidates for quality determination are switched.
  • the mean value (Mean) [pixel] of the distance between the position of the same defect candidate shown in 25view (true value Pi) and the position of the defect candidate estimated by triangulation (reprojection point Qi) and the standard deviation (Std) [pixel] are calculated, and the relationship between the positional relationship between the two lines of sight (view) and the position estimation accuracy is verified.
  • the average (bias index) is calculated using the following formula.
  • the standard deviation (variance index) is calculated using the following formula.
  • FIG. 11 is a graph showing the relationship between the angle deviation and the average distance
  • FIG. 12 is a graph showing the relationship between the angle deviation and the standard deviation of the distance.
  • the difference in appearance of the defect candidate in the two selected views (angular divergence) and the average value and standard deviation of the distance between the true value of the defect position and the reprojection point are , no clear correlation was observed.
  • the selection of the view image does not affect the estimation accuracy of the defect position. That is, in step S6, in estimating the 3D point of the defect candidate using triangulation, any view may be selected from the views in which the defect candidate is detected.
  • Embodiment 1 When the surface of the object to be inspected is imaged at a plurality of attitude angles, the same defect candidates are grouped from each imaged image, and the object to be inspected is inspected from the feature amount, if there is an imaged image in which no defect candidate is detected, as shown in FIG. As shown, the features are replaced with zeros. As the number of data points with zero feature values increases, it becomes difficult to separate defects from false reports, and there is a risk that inspection accuracy will decrease.
  • the 3D point of the defect candidate obtained based on the 2D point of the defect candidate detected from at least one captured image is subjected to perspective projection transformation, so that the defect candidate is identified by the first AI.
  • TN) is used.
  • 2D points of defect candidates can be calculated quickly and easily.
  • the perspective projection transformation formula is set based on the internal parameters and external parameters of the camera 3, the 2D points of the defect candidates can be estimated with high accuracy.
  • the 3D point of the defect candidate is obtained by a method based on triangulation using the 2D point of the defect candidate detected from any two captured images among the captured images captured at a plurality of different attitude angles. If the 2D point of the defect candidate can be detected in the captured images taken at two different posture angles, the distance to the defect candidate can be known by the principle of triangulation, so the 3D point of the defect candidate can be estimated with high accuracy.
  • the 3D point of the defect candidate is the facet number of the 3D data corresponding to the piston 7 using the 2D point of the defect candidate detected from any one of the captured images captured at a plurality of different attitude angles. It is obtained by a method based on The 2D points of the defect candidates in the captured image are within or between the facets, and the 3D position of each facet can be accurately detected from the 3D CAD STL data. Therefore, if the 2D points of the defect candidate appearing in one captured image are known, the 3D point of the defect candidate can be estimated from the facet information.
  • the feature amount related to the defect candidate is time-series data ordered corresponding to a plurality of different attitude angles.
  • FIG. 14 is a flow chart showing the flow of the appearance inspection method of the second embodiment.
  • the visual inspection method of the second embodiment differs from the first embodiment in that 3D points of defect candidates are estimated using only facet information in the STL data of the piston 7 without using triangulation.
  • FIG. 15 is a flow chart showing the flow of the appearance inspection method of the third embodiment.
  • the appearance inspection method of the third embodiment differs from the first embodiment in that the same defect candidates in each view are grouped after perspective projection transformation.
  • step S21 0 is substituted for the second variable k.
  • step S22 it is determined whether or not the second variable k is smaller than the angle number (view number) 25. If YES, the process proceeds to step S23, and if NO, this control ends.
  • step S23 0 is substituted for the third variable i.
  • step S24 it is determined whether the third variable i is smaller than the number of defect candidates for each view. If YES, go to step S26; if NO, go to step S25.
  • step S25 the second variable k is incremented. Note that when the second variable k is incremented, the view for interpolating the undetected defect candidate is switched. Switch the angle (view).
  • step S26 it is determined whether or not it has been detected in the previous 2D point interpolation estimation. If YES, go to step S27; if NO, go to step S10.
  • step S27 if the measured point of the defect position is close to the interpolated value (2D estimated point), the measured point is replaced with the estimated point (the measured point is adopted).
  • step S28 the third variable i is incremented. It should be noted that when the third variable i is incremented, the defect candidate for quality determination is switched.
  • the third embodiment since the same defect candidates are grouped after perspective projection transformation, the actual measurement points of the defect candidates for each view are compared with previously estimated points, and the positions of the actual measurement points are calculated. is close to the estimated point, the measured point is taken as the 2D point of the defect candidate.
  • the same defect candidates are grouped before perspective projection transformation, if the imaging trajectory of the camera is a conical motion, the same defect candidates gather on the image at a close distance to form a group, so grouping is easy. However, for other imaging trajectories, grouping may be complicated.
  • the third embodiment has the advantage of being able to handle various imaging trajectories by performing grouping after perspective projection transformation.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described.
  • part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

互いに異なる複数の姿勢角で撮像されたピストンの冠面の撮像画像ごとに欠陥候補を検出し、複数の姿勢角で撮像された撮像画像のうち、少なくとも一つの撮像画像から検出された欠陥候補の二次元位置に基づいて、欠陥候補の三次元位置を求め、欠陥候補の三次元位置を透視投影変換して、複数の姿勢角で撮像された撮像画像ごとの欠陥候補の二次元位置を取得し、複数の姿勢角で撮像された撮像画像ごとの欠陥候補の二次元位置に基づいて、欠陥候補に関する特徴量を求め、欠陥候補に関する特徴量を用いてピストンの冠面を検査する。

Description

外観検査装置および外観検査方法
　本発明は、外観検査装置および外観検査方法に関する。
　特許文献１には、フォトメトリックステレオ法を利用して、検査対象物の表面の傷等を検査する外観検査装置が開示されている。この外観検査装置は、照明方向が互いに異なる複数の部分照明画像を撮像し、画像同士で対応関係にある画素毎の画素値を用いて、各画素の検査対象物表面に対する法線ベクトルを算出する。そして、各画素の法線ベクトルに対してX方向およびY方向に微分処理を施し、検査対象物表面の傾きの輪郭を示す輪郭画像を生成し、輪郭画像上に設定した検査領域内の検査を行う。
特開2019-15741号公報
　検査対象物の検査精度を向上させるために、検査対象物を複数の姿勢角で撮像して検査することがあるが、上記従来の画像検査装置では、その点が考慮されていない。
　ところで、検査対象物を複数の姿勢角で撮像して検査する場合、欠陥候補が検出されない角度の画像があると、検査精度が低下してしまうおそれがあった。
　本発明の目的の一つは、検査対象物を複数の姿勢角で撮像して検査する場合の検査精度を向上できる外観検査装置及び外観検査方法を提供することにある。
　本発明の一実施形態に係る外観検査方法は、互いに異なる複数の姿勢角で撮像された被検査物の表面の撮像画像ごとに欠陥候補を検出し、複数の姿勢角で撮像された撮像画像のうち、少なくとも一つの撮像画像から検出された欠陥候補の二次元位置に基づいて、欠陥候補の三次元位置を求め、欠陥候補の三次元位置を透視投影変換して、複数の姿勢角で撮像された撮像画像ごとの欠陥候補の二次元位置を取得し、複数の姿勢角で撮像された撮像画像ごとの欠陥候補の二次元位置に基づいて、欠陥候補に関する特徴量を求め、欠陥候補に関する特徴量を用いて被検査物の表面を検査する。
　本発明の一実施形態によれば、検査対象物を複数の姿勢角で撮像して検査する場合の検査精度を向上できる。
実施形態１の外観検査装置1の概略図である。 実施形態１の外観検査方法の流れを示すフローチャートである。 第１のAIによるview毎の欠陥候補の検出を示す図である。 各viewの同一欠陥候補のグルーピングを示す図である。 三角測量を用いた欠陥候補の3D点の推定方法を図である。 ピストン7のファセット情報を用いた欠陥候補の3D点の推定方法を示す図である。 各viewの同一欠陥候補周辺の画像である。 各viewの特徴量の時系列データを示す図である。 ２つの撮像画像を重ね合わせたときの欠陥候補間のアングル乖離度を示す図である。 １つの撮像画像における欠陥候補の真値と再投影点との誤差を示す図である。 アングル乖離度と距離の平均値との関係を示すグラフである。 アングル乖離度と距離の標準偏差との関係を示すグラフである。 特徴量ゼロを含む各viewの特徴量の時系列データを示す図である。 実施形態２の外観検査方法の流れを示すフローチャートである。 実施形態３の外観検査方法の流れを示すフローチャートである。
　〔実施形態１〕
　図１は、実施形態１の外観検査装置1の概略図である。
　外観検査装置1（以下、検査装置1と称す。）は、ロボット2、カメラ（撮像部）3、照明装置4、画像処理装置（検査部）5および制御装置（姿勢制御部）6を備える。ロボット2は、多関節ロボットであって、被検査物であるエンジンピストン素材またはエンジンピストンの加工完成品（以下、単にピストンと称す。）7を保持するハンド8を有する。カメラ3は、レンズを鉛直方向下側へ向けた状態で支持されている。照明装置4は、ピストン7の冠面7aに光を照射するものであって、ドーム9およびリング照明10を有する。ドーム9は、ピストン7およびリング照明10を収容する。ドーム9は、リング照明10の出射光を反射、拡散する。ドーム9はカメラ3の鉛直方向下側に位置し、カメラ3と一体に固定されている。カメラ3は、ドーム9の上端に設けられた開口部からピストン7の冠面7aを撮像する。リング照明10は、ピストン7を包囲するように配置された環状のLED照明である。リング照明10は、図外の支持装置により、カメラ3およびドーム9に対してカメラ3の中心軸周りに回転可能に支持されている。
　画像処理装置5は、カメラ3により撮像された冠面7aの表面画像から、欠陥候補部分を抽出し、欠陥候補部分から、例えば8ビット（256階調）のグレースケール画像を生成する画像処理を行う。制御装置6は、ロボット2に対し、カメラ3に対するピストン7の冠面7aの相対的な視野角（姿勢角）を変化させるための指令を出力する。また、制御装置6は、カメラ3に対し、冠面7aを撮像するための指令を出力する。制御装置6は、視野角を互いに異ならせて撮像した複数のグレースケール画像における輝度分布変化に基づいて、冠面7aの欠陥（鋳巣、傷や打痕）の有無を判定する。
　図２は、実施形態１の外観検査方法の流れを示すフローチャートである。
　ステップS1では、チェッカーボードのようなキャリブレーション・パターンを使用してカメラキャリブレーションを実施し、カメラ3の内部パラメータK、外部パラメータ（回転要素RN、並進要素TN、N=1～25）および歪み係数を推定する。内部パラメータKは、カメラ座標系から画像座標系への変換パラメータであり、カメラ、レンズに依存する。回転要素RNおよび並進要素TNは、ワールド座標系からカメラ座標系への変換パラメータあり、視野角に依存する。各パラメータの推定により、ワールド座標系の位置を画像座標系の位置に変換するための透視投影変換式PN≡K(RN|TN)が求まる。
　なお、このステップは、初回のみ実施し、透視投影変換式が得られた後は実施しない。
　ステップS2では、視野角を変えながら25アングルで冠面7aを撮像し、25枚の撮像画像(view1～25)を取得する。
　ステップS3（第１ステップ）では、図３に示すように、第１のAIを用いて、view毎(view1～view25)の欠陥候補を検出する。
　ステップS4では、図４に示すように、各viewの同一欠陥候補同士をグルーピングする。同一欠陥候補は、互いに近い距離に集まっている（画像座標上で位置が近い）欠陥候補同士とする。
　ステップS5では、第１変数nに0を代入する。
　ステップS6では、第１変数nが同一欠陥候補のグループ数よりも小さいかを判定する。YESの場合はステップS7へ進み、NOの場合は本制御を終了する。例えば、図４のケースでは、同一欠陥候補のグループ数が2であるため、第１変数nが2よりも小さいか否かを判定する。
　ステップS7では、view1～25において、欠陥候補が検出されなかったviewが有るかを判定する。YESの場合はステップS8へ進み、NOの場合はステップS12へ進む。
　ステップS8では、２つ以上のviewで欠陥候補が検出されているかを判定する。YESの場合はステップS9へ進み、NOの場合はステップS10へ進む。
　ステップS9（第２ステップ）では、三角測量を用いて、欠陥候補のワールド座標系上の3D点(x,y,z)を計算する。具体的には、図５に示すように、欠陥候補が検出された任意の２つのviewAおよびviewBに映る同一欠陥の画像座標系上の2D点(x,y)から、三角測量の手法を用いて、当該欠陥の3D点を推定する。
　ステップS10（第２ステップ）では、ピストン7の設計に用いた3DCADのSTLデータにおけるファセット情報を用いて、欠陥候補の3D点を計算する。具体的には、予めピストン7の3DCADを回転させて透視投影変換により25視点の2Dメッシュを作成しておき、図６に示すように、欠陥候補が検出された任意のviewAに対応する視点の2Dメッシュを重ね合わせ、viewAに映る欠陥を含むファセット番号A_3d(xA,yA,zA),B_3d(xB,yB,zB),C_3d(xC,yC,zC)からワールド座標系上の3D点を推定する。当該欠陥の3D点は、３点A_3d,B_3d,C_3dからの距離に基づいて算出できる。
　ステップS11（第３ステップ）では、ステップS1のカメラキャリブレーションによって求められた透視投影変換式PN≡K(RN|TN)を用いて、ステップS9またはステップS10で計算したワールド座標系上の3D点を、欠陥候補が検出されなかったviewの画像座標系上の2D点(x,y)に変換する透視投影変換を行う。
　ステップS12では、図７のように各viewの同一欠陥候補周辺の画像を切り出すと共に、図８のように各同一欠陥候補周辺の画像から、複数の異なる姿勢角に対応して順序付けられた、特徴量（コントラスト）の時系列データを作成する。
　ステップS13（第４ステップ）では、第２のAIを用いて、欠陥の良否を判定する。例えば、φ0.3mm以上の欠陥（鋳巣、傷、打痕）がある場合、不良と判定して当該ピストン7をラインアウトする。
　ステップS14では、第１変数nをインクリメントする。なお、第１変数nがインクリメントされると、良否判定を行う欠陥候補を切り替える。
　次に、三角測量を用いて欠陥候補のワールド座標系上の3D点を計算するにあたり、欠陥候補が検出された任意の２つのviewを選択する際、欠陥位置の推定精度にview画像の選び方が影響するか否かについて検証する。
　ピストン7の冠面7aを25アングルで撮像し、25枚の撮像画像(view1～25)を取得する。各viewのうちの任意の２つの撮像画像を重ね合わせると、図９に示すように、同一欠陥候補は撮像時のアングルによって画像内の異なる位置に現れる。この両欠陥候補間の距離[pixel]を、アングル乖離度と定義し、あるviewと残りの24viewとでそれぞれアングル乖離度を計測する。また、図１０に示すように、25viewに映る同一欠陥候補の位置（真値Pi）と三角測量により推定した欠陥候補の位置（再投影点Qi）との距離の平均値(Mean)[pixel]および標準偏差（Std）[pixel]とを算出し、２つの視線(view)の位置関係と位置推定精度との関連を検証する。平均（バイアス指標）は下式を用いて算出する。
Figure JPOXMLDOC01-appb-M000001
 　また、標準偏差（バリアンス指標）は、下式を用いて算出する。
Figure JPOXMLDOC01-appb-M000002
　図１１および図１２に検証結果を示す。図１１はアングル乖離度と距離の平均値との関係を示すグラフであり、図１２はアングル乖離度と距離の標準偏差との関係を示すグラフである。図１１および図１２から明らかなように、選択した２つのViewにおける欠陥候補の見え方の差異（アングル乖離度）と欠陥位置の真値と再投影点との距離の平均値および標準偏差には、明確な相関が認められなかった。この結果、view画像の選び方は欠陥位置の推定精度に影響を与えないことがわかった。つまり、ステップS6において、三角測量を用いて欠陥候補の3D点を推定するにあたり、欠陥候補が検出されたviewのうち、どのviewを選んでも良い。
　次に、実施形態１の作用効果を説明する。
　検査対象物の表面を複数の姿勢角で撮像し、各撮像画像から同一欠陥候補をグルーピングし、特徴量から検査対象物を検査する場合、欠陥候補が検出されない撮像画像があると、図１３に示すように、特徴量がゼロと置き換えられる。特徴量ゼロのデータ点が増加すると、欠陥と虚報との分離が難しくなり、検査精度が低下するおそれがあった。
　これに対し、本願発明では、少なくとも一つの撮像画像から検出した欠陥候補の2D点に基づいて求められた、欠陥候補の3D点を、透視投影変換することにより、第１のAIで欠陥候補が検出されなかった撮像画像における欠陥候補の2D点を求める。これにより、同一欠陥候補を確実に25アングルでグルーピングできるため、特徴量の欠けを補完でき、欠陥と虚報との分離が容易となる。この結果、検査対象物であるピストン7を複数の姿勢角で撮像して冠面7aの欠陥を検査する場合の検査精度を向上できる。
　3D点を透視投影変換して2D点を求める際、予め用意された透視投影変換式PN≡K(RN|TN)を用いる。演算式を用いることにより、欠陥候補の2D点を迅速かつ簡易に演算できる。また、透視投影変換式は、カメラ3の内部パラメータおよび外部パラメータに基づいて設定されるため、欠陥候補の2D点を精度良く推定できる。
　欠陥候補の3D点は、複数の異なる姿勢角で撮像された撮像画像のうち、任意の２つの撮像画像から検出した欠陥候補の2D点を用いた、三角測量に基づく手法で求められる。２つの異なる姿勢角で撮像された撮像画像で欠陥候補の2D点が検出できれば、三角測量の原理で欠陥候補までの距離がわかるため、欠陥候補の3D点を精度良く推定できる。
　欠陥候補の3D点は、複数の異なる姿勢角で撮像された撮像画像のうち、任意の一つの撮像画像から検出した欠陥候補の2D点を用いた、ピストン7に相当する三次元データのファセット番号に基づく手法で求められる。撮像画像に映る欠陥候補の2D点は、ファセット内またはファセット間にあり、各ファセットの三次元位置は、3DCADのSTLデータから正確に検出できる。よって、一つの撮像画像に映る欠陥候補の2D点がわかれば、ファセット情報から欠陥候補の3D点を推定できる。
　欠陥候補に関する特徴量は、複数の異なる姿勢角に対応して順序づけられた時系列データである。
　〔実施形態２〕
　実施形態２の基本的な構成は実施形態１と同じであるため、実施形態１と相違する部分のみ説明する。
　図１４は、実施形態２の外観検査方法の流れを示すフローチャートである。実施形態２の外観検査方法では、三角測量を用いず、ピストン7のSTLデータにおけるファセット情報のみを用いて欠陥候補の3D点を推定する点で実施形態１と異なる。
　〔実施形態３〕
　実施形態３の基本的な構成は実施形態１と同じであるため、実施形態１と相違する部分のみ説明する。
　図１５は、実施形態３の外観検査方法の流れを示すフローチャートである。実施形態３の外観検査方法では、透視投影変換後に各viewの同一欠陥候補同士をグルーピングする点で実施形態１と異なる。
　ステップS21では、第２変数kに0を代入する。
　ステップS22では、第２変数kがアングル数（view数）25よりも小さいかを判定する。YESの場合はステップS23へ進み、NOの場合は本制御を終了する。
　ステップS23では、第３変数iに0を代入する。
　ステップS24では、第３変数iがview毎の欠陥候補数よりも小さいかを判定する。YESの場合はステップS26へ進み、NOの場合はステップS25へ進む。
　ステップS25では、第２変数kをインクリメントする。なお、第２変数kがインクリメントされると、検出されなかった欠陥候補の補間を行うviewを切り替える。
アングル(view)を切り替える。
　ステップS26では、前回の2D点補間推定で検出されているかを判定する。YESの場合はステップS27へ進み、NOの場合はステップS10へ進む。
　ステップS27では、欠陥位置の実測点が補間値（2D推定点）と近ければ、実測点を推定点と交換する（実測点を採用する）。
　ステップS28では、第３変数iをインクリメントする。なお、第３変数iがインクリメントされると、良否判定を行う欠陥候補を切り替える。
　実施形態３の外観検査方法では、同一欠陥候補のグルーピングを透視投影変換後に行うため、view毎の欠陥候補の実測点に対して、過去に推定した推定点との比較を行い、実測点の位置が推定点と近ければ実測点を欠陥候補の2D点とする。同一欠陥候補のグルーピングを透視投影変換前に行う場合、カメラの撮像軌跡が円錐動作であるならば、画像上に同一欠陥候補が互いに近い距離に集まって集団を形成するため、グルーピングが容易であるが、その他の撮像軌跡の場合はグルーピングが複雑化するおそれがある。これに対し、実施形態３では、透視投影変換後にグルーピングを行うことにより、様々な撮像軌跡に対応できるというメリットが有る。
　〔他の実施形態〕
　以上、本発明を実施するための実施形態を説明したが、本発明の具体的な構成は実施形態の構成に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
　例えば、被検査物は、ピストンに限らない。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　本願は、２０２１年８月２７日付出願の日本国特許出願第２０２１－１３８４６９号に基づく優先権を主張する。２０２１年８月２７日付出願の日本国特許出願第２０２１－１３８４６９号の明細書、特許請求の範囲、図面、および要約書を含む全開示内容は、参照により本願に全体として組み込まれる。
1　外観検査装置、　3　カメラ（撮像部）、　5　画像処理装置（検査部）、　6　制御装置（姿勢制御部）、　7　ピストン（被検査物）

Claims (7)

  1. 　外観検査装置であって、
    　被検査物の表面を撮像する撮像部と、
    　前記撮像部に対する前記被検査物の相対的な姿勢を変化させる姿勢制御部と、
    　前記被検査物の表面を検査する検査部と、を備え、
    　前記検査部は、
    　互いに異なる複数の姿勢角で撮像された前記被検査物の表面の撮像画像ごとに欠陥候補を検出し、
    　前記複数の姿勢角で撮像された前記撮像画像のうち、少なくとも一つの撮像画像から検出された前記欠陥候補の二次元位置に基づいて、前記欠陥候補の三次元位置を求め、
    　前記欠陥候補の三次元位置を透視投影変換して、前記複数の姿勢角で撮像された前記撮像画像ごとの前記欠陥候補の二次元位置を取得し、
    　前記複数の姿勢角で撮像された前記撮像画像ごとの前記欠陥候補の二次元位置に基づいて、前記欠陥候補に関する特徴量を求め、
    　前記欠陥候補に関する特徴量を用いて前記被検査物の表面を検査する、
    　外観検査装置。
  2. 　請求項１に記載の外観検査装置であって、
    　前記透視投影変換は、予め用意された透視投影変換式を用いて実行される、
    　外観検査装置。
  3. 　請求項２に記載の外観検査装置であって、
    　前記欠陥候補の三次元位置は、前記複数の姿勢角で撮像された前記撮像画像のうち、任意の２つの撮像画像から検出された前記欠陥候補の二次元位置に対して、三角測量を用いることで求められる、
    　外観検査装置。
  4. 　請求項２に記載の外観検査装置であって、
    　前記欠陥候補の三次元位置は、前記複数の姿勢角で撮像された前記撮像画像のうち、任意の一つの撮像画像から検出された前記欠陥候補の二次元位置に対して、前記被検査物に相当する三次元データのファセット情報を適用することで求められる、
    　外観検査装置。
  5. 　請求項１に記載の外観検査装置であって、
    　前記欠陥候補に関する特徴量は、前記複数の姿勢角に対応して順序づけられた時系列データである、
    　外観検査装置。
  6. 　被検査物の表面を撮像する撮像部と、前記撮像部に対する前記被検査物の相対的な姿勢を変化させる姿勢制御部と、コンピュータとによって、前記被検査物の表面を検査する外観検査方法であって、
    　互いに異なる複数の姿勢角で撮像された前記被検査物の表面の撮像画像ごとに欠陥候補を検出する第１ステップと、
    　前記複数の姿勢角で撮像された前記撮像画像のうち、少なくとも一つの撮像画像から検出された前記欠陥候補の二次元位置に基づいて、前記欠陥候補の三次元位置を求める第２ステップと、
    　前記欠陥候補の三次元位置を透視投影変換して、前記複数の姿勢角で撮像された前記撮像画像ごとの前記欠陥候補の二次元位置を取得する第３ステップと、
    　前記複数の姿勢角で撮像された前記撮像画像ごとの前記欠陥候補の二次元位置に基づいて求められた前記欠陥候補に関する特徴量を用いて前記被検査物の表面を検査する第４ステップと、
    　を備える外観検査方法。
  7. 　請求項６に記載の外観検査方法であって、
    　前記透視投影変換は、予め用意された透視投影変換式を用いて実行される、
    　外観検査方法。
PCT/JP2022/026939 2021-08-27 2022-07-07 外観検査装置および外観検査方法 WO2023026699A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280058188.8A CN117881959A (zh) 2021-08-27 2022-07-07 外观检查装置以及外观检查方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-138469 2021-08-27
JP2021138469A JP2023032374A (ja) 2021-08-27 2021-08-27 外観検査装置および外観検査方法

Publications (1)

Publication Number Publication Date
WO2023026699A1 true WO2023026699A1 (ja) 2023-03-02

Family

ID=85322700

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026939 WO2023026699A1 (ja) 2021-08-27 2022-07-07 外観検査装置および外観検査方法

Country Status (3)

Country Link
JP (1) JP2023032374A (ja)
CN (1) CN117881959A (ja)
WO (1) WO2023026699A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06160066A (ja) * 1992-11-24 1994-06-07 Sekisui Chem Co Ltd 外観検査装置
JP2015232476A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 検査装置、検査方法およびプログラム
JP2017040600A (ja) * 2015-08-21 2017-02-23 キヤノン株式会社 検査方法、検査装置、画像処理装置、プログラム及び記録媒体
WO2022030325A1 (ja) * 2020-08-03 2022-02-10 日立Astemo株式会社 検査装置、検査方法およびピストンの製造方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06160066A (ja) * 1992-11-24 1994-06-07 Sekisui Chem Co Ltd 外観検査装置
JP2015232476A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 検査装置、検査方法およびプログラム
JP2017040600A (ja) * 2015-08-21 2017-02-23 キヤノン株式会社 検査方法、検査装置、画像処理装置、プログラム及び記録媒体
WO2022030325A1 (ja) * 2020-08-03 2022-02-10 日立Astemo株式会社 検査装置、検査方法およびピストンの製造方法

Also Published As

Publication number Publication date
CN117881959A (zh) 2024-04-12
JP2023032374A (ja) 2023-03-09

Similar Documents

Publication Publication Date Title
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
JP5911934B2 (ja) 輪郭線計測装置およびロボットシステム
KR101604037B1 (ko) 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
JP7082715B2 (ja) 深層畳み込みニューラルネットワークを用いたレーザ加工システムの加工誤差の検出
CN112161619B (zh) 位姿检测方法、三维扫描路径规划方法和检测系统
US11504853B2 (en) Robotic system architecture and control processes
CN106796721B (zh) 三维轮廓测量中根据多个相机和源的点云合并
JP5230131B2 (ja) 反射性物体の表面の形状を検知する方法及びシステム
JP5491493B2 (ja) 部品の姿勢を表す点データに３次元モデルを位置合わせするシステム、プログラム、および関連する方法
US20170277979A1 (en) Identifying defect on specular surfaces
JP2018055675A (ja) ３ｄ画像データにおける３ｄポーズの改良されたスコアリング及び偽ポイント除去のためのシステム及び方法
WO2014136490A1 (ja) 形状検査方法およびその装置
US10579890B2 (en) Automatic alignment of a 3D model to a test object
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
JP2021193400A (ja) アーチファクトを測定するための方法
CN111971525A (zh) 用立体镜测量物体的方法和系统
JP2014126494A (ja) 検査支援装置、検査支援方法、ロボットシステム、制御装置、ロボット、及び、プログラム
JP2012071394A (ja) シミュレーションシステムおよびそのためのシミュレーションプログラム
JP4379626B2 (ja) ３次元形状計測方法及びその装置
WO2023026699A1 (ja) 外観検査装置および外観検査方法
CN114332231B (zh) 视觉检测设备中机械手与相机的定位方法、装置及介质
JP2017116404A (ja) 形状認識装置、及び形状認識方法
CN114359266B (zh) 通过视觉检测设备检测被测零件的方法和视觉检测设备
WO2022260028A1 (ja) 外観検査装置、外観検査方法、画像生成装置および画像生成方法
JP7331618B2 (ja) ガラスの検査装置、ガラスの検査方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22860990

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18685721

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280058188.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22860990

Country of ref document: EP

Kind code of ref document: A1