JP2024000090A - 欠陥検査装置および欠陥検査方法 - Google Patents

欠陥検査装置および欠陥検査方法 Download PDF

Info

Publication number
JP2024000090A
JP2024000090A JP2022098638A JP2022098638A JP2024000090A JP 2024000090 A JP2024000090 A JP 2024000090A JP 2022098638 A JP2022098638 A JP 2022098638A JP 2022098638 A JP2022098638 A JP 2022098638A JP 2024000090 A JP2024000090 A JP 2024000090A
Authority
JP
Japan
Prior art keywords
defect
defect inspection
waveform data
feature amount
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022098638A
Other languages
English (en)
Inventor
康彦 小林
Yasuhiko Kobayashi
高輝 関
Takateru Seki
恭弘 藤岡
Takahiro Fujioka
貴正 今泉
Takamasa Imaizumi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to JP2022098638A priority Critical patent/JP2024000090A/ja
Priority to PCT/JP2023/021136 priority patent/WO2023248795A1/ja
Publication of JP2024000090A publication Critical patent/JP2024000090A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Abstract

【課題】 検査の判定精度を向上した欠陥検査装置および欠陥検査方法を提供することにある。【解決手段】 欠陥検査方法は、欠陥検査装置が、被検査物と撮像部の相対姿勢を変化させて、相対姿勢毎に撮像を行い、複数の画像を取得する画像取得ステップと、複数の画像をそれぞれ走査して得られる特定の特徴を第1特徴量として取得する特徴量取得ステップと、第1特徴量を相対姿勢の変化の順に並べた第1波形データを取得する波形データ取得ステップと、第1波形データに応じて欠陥の判定を行う欠陥判定ステップを有する。【選択図】 図1

Description

本発明は、欠陥検査装置および欠陥検査方法に関する。
特許文献1には、表面欠陥の検出対象であるワークに対し照明装置による明暗パターンを相対的に移動させた状態で、ワークの被測定部位についての複数の画像を取得し、各画像に対する二値化処理と閾値の適用により、画像の特徴点を抽出し、各特徴点に対し多次元の特徴量を求め、仮欠陥候補を抽出する。仮欠陥候補が抽出された複数の画像のうち、仮欠陥候補が対応する画像が予め設定された閾値以上存在すれば、仮欠陥候補を欠陥候補として決定し、決定された欠陥候補が含まれている複数の画像を合成して合成画像を作成し、作成された合成画像に基づいて欠陥検出を行うワークの表面欠陥検出装置が開示されている。
特開2021-56183号公報
しかしながら、特許文献1の表面欠陥検査装置では、決定された欠陥候補が含まれている複数の画像を合成して合成画像を作成し、作成された1つの合成画像に基づいて欠陥検出を行うため、欠陥を誤検出してしまうおそれがあった。
本発明の目的の一つは、検査の判定精度を向上した欠陥検査装置および欠陥検査方法を提供することにある。
本発明の一実施形態における欠陥検査方法は、欠陥検査装置が、被検査物と撮像部の相対姿勢を変化させて、相対姿勢毎に撮像を行い、複数の画像を取得する画像取得ステップと、複数の画像をそれぞれ走査して得られる特定の特徴を第1特徴量として取得する特徴量取得ステップと、第1特徴量を相対姿勢の変化の順に並べた第1波形データを取得する波形データ取得ステップと、第1波形データに応じて欠陥の判定を行う欠陥判定ステップと、を有する。
よって、本発明にあっては、第1特徴量を相対姿勢の変化の順に並べた第1波形データに応じて汚れ、欠陥の判定を行うことで、検査の判定精度を向上することができる。
実施形態1の欠陥検査装置の全体図である。 実施形態1における欠陥検査方法の流れを示すフローチャートである。 実施形態1における輝度差(第1特徴量)の特性を示す図である。 実施形態1における欠陥検査方法の動作を説明する第1タイムチャートである。 実施形態1における欠陥検査方法の動作を説明する第2タイムチャートである。 実施形態2における輝度勾配(第1特徴量)の特性を示す図である。 実施形態2における欠陥検査方法の動作を説明する第1タイムチャートである。 実施形態2における欠陥検査方法の動作を説明する第2タイムチャートである。 実施形態3における輝度のばらつき(第1特徴量)の特性を示す図である。 実施形態3における欠陥検査方法の動作を説明するタイムチャートである。 実施形態4における幾何的特性(第1特徴量)と欠陥検査方法の動作を説明するタイムチャートである。 実施形態5における色強度(第1特徴量)の特性を示す図である。 実施形態5における欠陥検査方法の動作を説明するタイムチャートである。 実施形態6における欠陥検査方法の流れを示すフローチャートである。 実施形態6における欠陥検査方法の動作を説明する第1タイムチャートである。 実施形態6における欠陥検査方法の動作を説明する第2タイムチャートである。 実施形態7における欠陥検査方法の流れを示すフローチャートである。 実施形態7における欠陥検査方法の動作を説明するタイムチャートである。 実施形態8における欠陥検査方法の流れを示すフローチャートである。
〔実施形態1〕
図1は、実施形態1の欠陥検査装置の全体図である。
実施形態1の検査装置1は、カメラ(撮像部)2、ロボット3およびコンピュータ4を備える。
カメラ2は、ピストン(被検査物)5の冠面5aの画像を撮像する。
なお、ピストン5の冠面5aは、表面性状が大きく異なる加工面と鋳肌面を有している。
ロボット3は、カメラ2に対するピストン5の相対姿勢(アングル)を変化させる。
コンピュータ4は、例えばパーソナルコンピュータであり、CPU6を備える。
CPU6は、画像取得部7、領域抽出部8aを有する特徴量取得部8、波形データ取得部9、欠陥判定部10を備える。
画像取得部7は、カメラ2により撮像されたピストン5の冠面5aの画像を、複数取得する(画像取得ステップ)。
領域抽出部8aは、機械学習や画像処理にて欠陥候補領域を抽出・特定する(欠陥候補領域特定ステップ)。
機械学習は、例えば、ニューラルネットを用いた学習であって、実施形態1では、CNN(Convolutinal Neural Netwark)を採用している。
特徴量取得部8は、領域抽出部8aが機械学習や画像処理により抽出・特定した複数の欠陥候補領域の画像を取得し、それぞれの画素領域全体を走査して、輝度差(第1特徴量)を取得する(特徴量取得ステップ)。
輝度差とは、得られた輝度の最大値と最小値の差である。
波形データ取得部9は、取得した第1特徴量を相対姿勢(アングル)の変化の順に並べた第1波形データを取得する(波形データ取得ステップ)。
なお、欠陥候補領域として抽出・特定されていないアングル番号では、輝度差は0としている。
欠陥判定部10は、機械学習にて第1波形データの形状から欠陥を判定する(欠陥判定ステップ)。
この機械学習は、例えば、ニューラルネットを用いた学習であって、実施形態1では、RNN(Recurrent Neural Netwark)を採用している。
図2は、実施形態1における欠陥検査方法の流れを示すフローチャートである。
ステップS1では、ロボット3によりピストン5の相対姿勢(アングル)を変化させ、カメラ2により撮像されたピストン5の冠面5aの画像を、画像取得部7が複数取得する(画像取得ステップ)。
具体的には、相対姿勢(アングル)の総数は、25アングルである。
ステップS2では、領域抽出部8aが、機械学習や画像処理により欠陥候補領域を抽出・特定する(欠陥候補領域特定ステップ)。
ステップS3では、特徴量取得部8が、領域抽出部8aが機械学習や画像処理により抽出・特定した複数の欠陥候補領域の画像を取得し、それぞれの画素領域全体を走査して、輝度差を取得する(特徴量取得ステップ)。
ステップS4では、波形データ取得部9が、取得した輝度差を相対姿勢(アングル)の変化の順に並べた第1波形データを取得する(波形データ取得ステップ)。
なお、欠陥候補領域として抽出・特定されていないアングル番号では、輝度差は0としている。
ステップS5では、欠陥判定部10が、機械学習にて第1の波形データの形状から欠陥を判定する(欠陥判定ステップ)。
図3は、実施形態1における輝度差(第1特徴量)の特性を示す図である。
すなわち、輝度差の特性は、図3(a)に示すように、汚れは黒色が薄いので輝度差が小さく、欠陥は黒色が濃いので輝度差が大きい特性を有している。
また、輝度差の特性は、図3(b)に示すように、輝度差は同じでも、汚れはランダムに発生し、欠陥は明視野で連続して発生する特性を有している。
図4は、実施形態1における欠陥検査方法の動作を説明する第1タイムチャートである。
すなわち、ピストン5の加工面同士の欠陥検査方法の動作を示している。
欠陥候補領域特定ステップでは、領域抽出部8aにより、加工面1は、アングル番号14、18-20の画像が欠陥候補領域として抽出・特定され、加工面2は、アングル番号14-17の画像が欠陥候補領域として抽出・特定されている。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した加工面1のアングル番号14、18-20の画像と加工面2のアングル番号14-17の画像を取得し、それぞれの画素領域全体を走査して、輝度差を取得し、波形データ取得部9が、相対姿勢(アングル)の変化の順に並べた第1波形データを取得する。
欠陥判定ステップでは、欠陥判定部10が、取得した輝度差の第1波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、加工面1のアングル番号14、18-20の画像の輝度差a1は小さいので、OK(汚れ)と判定し、加工面2のアングル番号14-17の画像の輝度差a2は大きいので、NG(欠陥)と判定する。
図5は、実施形態1における欠陥検査方法の動作を説明する第2タイムチャートである。
すなわち、ピストン5の鋳肌面と加工面の欠陥検査方法の動作を示している。
欠陥候補領域特定ステップでは、領域抽出部8aにより、鋳肌面は、アングル番号10、12、15の画像が欠陥候補領域として抽出・特定され、加工面は、アングル番号14-17の画像が欠陥候補領域として抽出・特定されている。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが、欠陥候補領域として抽出・特定した鋳肌面のアングル番号10、12、15の画像と加工面のアングル番号14-17の画像を取得し、それぞれの画素領域全体を走査して、輝度差を取得し、波形データ取得部9が、相対姿勢(アングル)の変化の順に並べた第1波形データを取得する。
欠陥判定ステップでは、欠陥判定部10が、取得した輝度の第1波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、鋳肌面のアングル番号10、12、15の画像の輝度差a3と加工面のアングル番号14-17の画像の輝度差a3に差はないが、鋳肌面の輝度差はランダムに発生し、加工面の輝度は連続して発生している。
このため、鋳肌面のアングル番号10、12、15の画像は、OK(汚れ)と判定し、加工面のアングル番号14-17の画像は、NG(欠陥)と判定する。
次に、実施形態1の作用効果を説明する。
実施形態1では、以下のような作用効果を奏する。
(1)欠陥検査装置1は、ピストン5とカメラ2の相対姿勢を変化させて、相対姿勢毎に撮像を行い、複数の画像を取得する画像取得部7と、複数の画像のそれぞれの画素領域全体を走査して得られる第1特徴量としての輝度差を取得する特徴量取得部8と輝度差を相対姿勢の変化の順に並べた第1波形データを取得する波形データ取得部9と、第1波形データによる輝度差の大きさに応じて、欠陥の判定を行う欠陥判定部10とを備えるようにした。
よって、NG(欠陥)、OK(汚れ)の検査の判定精度を向上することができる。
(2)輝度差は、複数の画像のそれぞれ画素領域全体を走査して得られる輝度の最大値と最小値の差であるようにした。
よって、輝度の最大値と最小値の差が大きいほど急激な輝度変化があるということで、検査の判定精度をより向上することができる。
(3)特徴量取得部8の領域抽出部8aは、機械学習であるCNN(Convolutinal Neural Netwark)を用いて、欠陥候補領域の抽出・特定を行うようにした。
よって、欠陥の判定が容易となる。
(4)輝度差の大きさと輝度差の発生状況(ランダムまたは連続)に応じて、欠陥の判定を行うようにした。
よって、NG(欠陥)、OK(汚れ)の検査の判定精度をより向上することができる。
〔実施形態2〕
図6は、実施形態2における輝度勾配(第1特徴量)の特性を示す図である。
すなわち、輝度勾配の特性は、図6(a)に示すように、汚れは輝度勾配の最大値が小さく、欠陥は輝度勾配の最大値が大きい特性を有している。
また、輝度勾配の特性は、輝度差の特性と同様に、図6(b)に示すように、汚れはランダムに発生し、欠陥は明視野で連続して発生する特性を有している。
図7は、実施形態2における欠陥検査方法の動作を説明する第1タイムチャートである。
すなわち、ピストン5の加工面同士の欠陥検査方法の動作を示している。
欠陥候補領域特定ステップでは、領域抽出部8aにより、加工面1は、アングル番号14、18-20の画像が欠陥候補領域として抽出・特定され、加工面2は、アングル番号21-24の画像が欠陥候補領域として抽出・特定されている。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した加工面1のアングル番号14、18-20の画像と加工面2のアングル番号21-24の画像を取得し、それぞれの画素領域全体を走査して、輝度勾配を取得し、波形データ取得部9が、相対姿勢(アングル)の変化の順に並べた第1波形データを取得する。
なお、欠陥候補領域として抽出・特定されていないアングル番号では、輝度勾配は0としている。
欠陥判定ステップでは、欠陥判定部10が、取得した輝度勾配の第1波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、加工面1のアングル番号14、18-20の画像の輝度勾配は小さいので、OK(汚れ)と判定し、加工面2のアングル番号21-24の画像の輝度勾配は大きいので、NG(欠陥)と判定する。
図8は、実施形態2における欠陥検査方法の動作を説明する第2タイムチャートである。
すなわち、ピストン5の鋳肌面と加工面の欠陥検査方法の動作を示している。
欠陥候補領域特定ステップでは、領域抽出部8aにより、鋳肌面は、アングル番号14、16、18の画像が欠陥候補領域として抽出・特定され、加工面は、アングル番号21-24の画像が欠陥候補領域として抽出・特定されている。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した鋳肌面のアングル番号14、16、18の画像と加工面のアングル番号21-24の画像を取得し、それぞれの画素領域全体を走査して、輝度勾配を取得し、波形データ取得部9が、相対姿勢(アングル)の変化の順に並べた第1波形データを取得する。
なお、欠陥候補領域として抽出・特定されていないアングル番号では、輝度勾配は0としている。
欠陥判定ステップでは、欠陥判定部10が、取得した輝度の第1波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、鋳肌面のアングル番号14、16、18の画像の輝度勾配は小さく、ランダムに発生しているので、OK(汚れ)と判定し、加工面のアングル番号21-24の画像の輝度勾配は大きく、連続して発生しているので、NG(欠陥)と判定する。
このように、実施形態1では、第1特徴量として輝度差を用いていたが、実施形態2では、第1特徴量として輝度勾配を用いるようにした。
その他の構成は、実施形態1と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
次に、実施形態2の作用効果を説明する。
実施形態2では、実施形態1と同様に以下のような作用効果を奏する。
(1)欠陥検査装置1は、ピストン5とカメラ2の相対姿勢を変化させて、相対姿勢毎に撮像を行い、複数の画像を取得する画像取得部7と、複数の画像のそれぞれの画素領域全体を走査して得られる第1特徴量としての輝度勾配を取得する特徴量取得部8と輝度勾配を相対姿勢の変化の順に並べた第1波形データを取得する波形データ取得部9と、第1波形データによる輝度勾配の大きさに応じて、欠陥の判定を行う欠陥判定部10とを備えるようにした。
よって、NG(欠陥)、OK(汚れ)の検査の判定精度を向上することができる。
(2)輝度勾配は、複数の画像をそれぞれ走査して得られる輝度勾配の最大値を用いるようにした。
よって、輝度勾配は複数取得することができるが、最大値を用いることで、NG(欠陥)、OK(汚れ)の検査の判定精度をより向上することができる。
(3)特徴量取得部8の領域抽出部8aは、機械学習であるCNN(Convolutinal Neural Netwark)を用いて、欠陥候補領域の抽出・特定を行うようにした。
よって、欠陥の判定が容易となる。
(4)輝度勾配の大きさと輝度勾配の発生状況(ランダムまたは連続)に応じて、欠陥の判定を行うようにした。
よって、NG(欠陥)、OK(汚れ)の検査の判定精度をより向上することができる。
〔実施形態3〕
図9は、実施形態3における輝度のばらつき(第1特徴量)の特性を示す図である。
すなわち、輝度のばらつき(輝度分布標準偏差)σの特性は、図9(a)に示すように、汚れは輝度のばらつき(輝度分布標準偏差)σが大きく、欠陥は輝度のばらつき(輝度分布標準偏差)σが小さい特性を有している。
図10は、実施形態3における欠陥検査方法の動作を説明するタイムチャートである。
すなわち、ピストン5の鋳肌面と加工面の欠陥検査方法の動作を示している。
欠陥候補領域特定ステップでは、領域抽出部8aにより、鋳肌面は、アングル番号14、16、18の画像が欠陥候補領域として抽出・特定され、加工面は、アングル番号22-24の画像が欠陥候補領域として抽出・特定されている。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した鋳肌面のアングル番号14、16、18の画像と加工面のアングル番号22-24の画像を取得し、それぞれの画素領域全体を走査して、輝度のばらつき(輝度分布標準偏差)σを取得し、波形データ取得部9が、相対姿勢(アングル)の変化の順に並べた第1波形データを取得する。
なお、欠陥候補領域として抽出・特定されていないアングル番号では、輝度のばらつき(輝度分布標準偏差)は0としている。
欠陥判定ステップでは、欠陥判定部10が、取得した輝度の波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、鋳肌面のアングル番号14、16、18の画像の輝度のばらつき(輝度分布標準偏差)σは大きいので、OK(汚れ)と判定し、加工面のアングル番号22-24の画像の輝度のばらつき(輝度分布標準偏差)σは小さいので、NG(欠陥)と判定する。
このように、実施形態1では、第1特徴量として輝度差を用いていたが、実施形態3では、第1特徴量として輝度のばらつき(輝度分布標準偏差)σを用いるようにした。
その他の構成は、実施形態1と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
よって、実施形態3では、実施形態1と同様の作用効果を奏する。
〔実施形態4〕
図11は、実施形態4における幾何的特性(第1特徴量)と欠陥検査方法の動作を説明するタイムチャートである。
すなわち、ピストン5の加工面同士の欠陥検査方法の動作を示している。
幾何的特性としては、汚れは幅、面積などが小さく、欠陥は幅、面積が大きい特性を有している。
欠陥候補領域特定ステップで、領域抽出部8aにより、所定輝度以下の加工面1の欠陥候補領域として抽出・特定された画像と所定輝度以下の加工面2の欠陥候補領域として抽出・特定された画像(図面では、特定のアングル番号のもののみ表示)を、特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した複数の画像を取得し、それぞれの画素領域全体を走査して、それぞれの幾何的特性を取得し、波形データ取得部9が、相対姿勢(アングル)の変化の順に並べた第1波形データを取得する。
なお、欠陥候補領域として抽出・特定されていないアングル番号では、幾何的特性は0としている。
欠陥判定ステップでは、欠陥判定部10が、取得した幾何的特性の波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、加工面1の画像の幾何的特性の幅、面積が大きいので、NG(欠陥)と判定し、加工面2の画像の幾何的特性の幅、面積が小さいので、OK(汚れ)と判定する。
このように、実施形態1では、第1特徴量として輝度差を用いていたが、実施形態4では、第1特徴量として幾何的特性を用いるようにした。
その他の構成は、実施形態1と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
よって、実施形態4では、実施形態1と同様の作用効果を奏する。
〔実施形態5〕
図12は、実施形態5における色強度(第1特徴量)の特性を示す図である。
例えば、色強度が、欠陥はG(緑)とB(青)の輝度差が大きく、汚れはG(緑)とR(赤)の輝度差が大きい特性を有している場合、B(青)とR(赤)の輝度差の大きさから欠陥か汚れかを判定可能となる。
図13は、実施形態5における欠陥検査方法の動作を説明するタイムチャートである。
すなわち、ピストン5の加工面と鋳肌面の欠陥検査方法の動作を示している。
欠陥候補領域特定ステップで、領域抽出部8aにより、加工面の欠陥候補領域として抽出・特定された画像と鋳肌面の欠陥候補領域として抽出・特定された画像が抽出・特定されている(図面では、特定のアングル番号のもののみ表示)。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した複数の画像を取得し、それぞれの画素領域全体を走査して、それぞれの色強度(輝度差)を取得し、波形データ取得部9が、相対姿勢(アングル)の変化の順に並べた第1波形データを取得する。
なお、欠陥候補領域として抽出・特定されていないアングル番号では、色強度(輝度差)は0としている。
欠陥判定ステップでは、欠陥判定部10が、取得した色(RGB)ごとの強度(輝度差)の波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、加工面の画像の色強度(輝度差)がB(青)の輝度差が大きく、R(赤)の輝度差が小さいので、NG(欠陥)と判定し、鋳肌面の画像の色強度(輝度差)がB(青)の輝度差が小さく、R(赤)の輝度差が大きいのでOK(汚れ)と判定する。
このように、実施形態1では、第1特徴量として輝度差を用いていたが、実施形態5では、第1特徴量として色強度(輝度差)を用いるようにした。
その他の構成は、実施形態1と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
よって、実施形態5では、実施形態1と同様の作用効果を奏する。
〔実施形態6〕
図14は、実施形態6における欠陥検査方法の流れを示すフローチャートである。
実施形態1では、第1特徴量のみを用いていたが、実施形態6では、第1特徴量に加え、第2特徴量を用いるようにしている。
すなわち、ステップS3aでは、特徴量取得部8が、領域抽出部8aが抽出・特定した複数の欠陥候補領域の画像を取得し、それぞれの画素領域全体を走査して、輝度差(第1特徴量)、輝度勾配(第2特徴量)を取得し、ステップS4aでは、波形データ取得部9が、輝度差(第1特徴量)、輝度勾配(第2特徴量)をそれぞれ相対姿勢(アングル)の変化の順に並べた第1波形データ、第2波形データを取得し、ステップS5aでは、欠陥判定部10が、機械学習にて、第1波形データ、第2波形データの形状から欠陥を判定するようにしている。
その他の構成は、実施形態1と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
図15は、実施形態6における欠陥検査方法の動作を説明する第1タイムチャートである。
すなわち、ピストン5の鋳肌面と加工面の欠陥検査方法の動作を示している。
欠陥候補領域特定ステップでは、領域抽出部8aにより、鋳肌面は、アングル番号18、20、23の画像が欠陥候補領域として抽出・特定され、加工面は、アングル番号22-25の画像が欠陥候補領域として抽出・特定されている。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した鋳肌面のアングル番号18、20、23の画像と加工面のアングル番号22-25の画像を取得し、それぞれの画素領域全体を走査して、輝度差と輝度勾配を取得し、波形データ取得部9が、輝度差と輝度勾配のそれぞれを相対姿勢(アングル)の変化の順に並べた第1、第2波形データを取得する。
なお、図面では、代表例として、鋳肌面のアングル番号18と加工面のアングル番号22の第1、第2波形データを示している。
また、欠陥候補領域として抽出・特定されていないアングル番号では、輝度差、輝度勾配は0としている。
欠陥判定ステップでは、欠陥判定部10が、取得した輝度の第1波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、鋳肌面のアングル番号18の画像の輝度勾配b1と加工面のアングル番号22の画像の輝度勾配b1は大きいが、鋳肌面の輝度差a1は小さく、加工面の輝度差a2は大きい。
このため、鋳肌面のアングル番号18の画像は、OK(汚れ)と判定し、加工面のアングル番号22の画像は、NG(欠陥)と判定する。
他の抽出・取得したアングル番号の画像も同様に判定する。
図16は、実施形態6における欠陥検査方法の動作を説明する第2タイムチャートである。
すなわち、ピストン5の鋳肌面と加工面の欠陥検査方法の動作を示している。
欠陥候補領域特定ステップでは、領域抽出部8aにより、鋳肌面は、アングル番号18、20、23の画像が欠陥候補領域として抽出・特定され、加工面は、アングル番号22-25の画像が欠陥候補領域として抽出・特定されている。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した鋳肌面のアングル番号18、20、23の画像と加工面のアングル番号22-25の画像を取得し、それぞれの画素領域全体を走査して、走査して、輝度差と輝度勾配を取得し、波形データ取得部9が、輝度差と輝度勾配のそれぞれを相対姿勢(アングル)の変化の順に並べた第1波形データ、第2波形データを取得する。
なお、図面では、代表例として、鋳肌面のアングル番号18と加工面のアングル番号22の第1、第2波形データを示している。
また、欠陥候補領域として抽出・特定されていないアングル番号では、輝度差、輝度勾配は0としている。
欠陥判定ステップでは、欠陥判定部10が、取得した輝度の第1波形データ、第2波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、鋳肌面のアングル番号18の画像の輝度勾配b1は小さく、加工面のアングル番号22の画像の輝度勾配b2は大きく、鋳肌面の輝度差a1と加工面の輝度差a1は大きい。
このため、鋳肌面のアングル番号18の画像は、輝度差a1は大きいが、輝度勾配b1が小さいので、OK(汚れ)と判定し、加工面のアングル番号22の画像は、輝度差a1および輝度勾配b2がともに大きいので、NG(欠陥)と判定する。
他の抽出・取得したアングル番号の画像も同様に判定する。
次に、実施形態6の作用効果を説明する。
実施形態1の作用効果に加え、以下の作用効果を奏する。
(1)特徴量として、輝度差(第1特徴量)と輝度勾配(第2特徴量)を併用するようにした。
よって、情報量が増えることにより、判定精度がさらに向上する。
〔実施形態7〕
図17は、実施形態7における欠陥検査方法の流れを示すフローチャートである。
実施形態6では、第1特徴量と第2特徴量を用いていたが、実施形態7では、第1特徴量と第2特徴量に加え、第3特徴量を用いるようにしている。
すなわち、ステップS3bでは、特徴量取得部8が、領域抽出部8aが抽出・特定した複数の欠陥候補領域の画像を取得し、それぞれの画素領域全体を走査して、輝度差(第1特徴量)、輝度勾配(第2特徴量)、輝度のばらつき(第3特徴量)を取得し、ステップS4bでは、波形データ取得部9が、輝度差(第1特徴量)、輝度勾配(第2特徴量)、輝度のばらつき(第3特徴量)をそれぞれ相対姿勢(アングル)の変化の順に並べた第1波形データ、第2波形データ、第3波形データを取得し、ステップS5bでは、欠陥判定部10が、機械学習にて、第1波形データ、第2波形データ、第3波形データの形状から欠陥を判定するようにしている。
その他の構成は、実施形態6と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
図18は、実施形態7における欠陥検査方法の動作を説明するタイムチャートである。
すなわち、ピストン5の鋳肌面と加工面の欠陥検査方法の動作を示している。
欠陥候補領域特定ステップでは、領域抽出部8aにより、鋳肌面は、アングル番号14、17、18、20の画像が欠陥候補領域として抽出・特定され、加工面は、アングル番号19、22、23、25の画像が欠陥候補領域として抽出・特定されている。
特徴量取得ステップおよび波形データ取得ステップでは、特徴量取得部8が、領域抽出部8aが欠陥候補領域として抽出・特定した鋳肌面のアングル番号14、17、18、20の画像と加工面のアングル番号19、22、23、25の画像を取得し、それぞれの画素領域全体を走査して、輝度差と輝度勾配と輝度のばらつきを取得し、波形データ取得部9が、輝度差と輝度勾配と輝度のばらつきをそれぞれ相対姿勢(アングル)の変化の順に並べた第1波形データ、第2波形データ、第3波形データを取得する。
なお、欠陥候補領域として抽出・特定されていないアングル番号では、輝度差、輝度勾配、輝度のばらつきは0としている。
欠陥判定ステップでは、欠陥判定部10が、取得した輝度の第1波形データ、第2波形データ、第3波形データをRNN(Recurrent Neural Netwark)により、欠陥判定を行う。
すなわち、鋳肌面は、輝度勾配、輝度差は大きいが、輝度のばらつきが大きいので、OK(汚れ)と判定し、加工面は、輝度勾配、輝度差は大きいが、輝度のばらつきが小さいので、NG(欠陥)と判定する。
次に、実施形態7の作用効果を説明する。
実施形態6の作用効果に加え、以下の作用効果を奏する。
(1)特徴量として、輝度差(第1特徴量)と輝度勾配(第2特徴量)と輝度のばらつき(第3特徴量)を併用するようにした。
よって、情報量が増えることにより、より判定精度がさらに向上する。
〔実施形態8〕
図19は、実施形態8における欠陥検査方法の流れを示すフローチャートである。
実施形態1では、領域抽出部8aが、CNN(Convolutinal Neural Netwark)を用いて欠陥候補領域を抽出・特定し、輝度差(第1特徴量)を取得していたが、実施形態8では、複数のアングルの画像のそれぞれの画素領域全体を走査して、輝度差(第1特徴量)を取得するようにした。
その他の構成は、実施形態1と同じ構成であるため、同じ構成には同一符号を付して、説明は省略する。
次に、実施形態8の作用効果を説明する。
実施形態1の作用効果に加え、以下の作用効果を奏する。
(1)コンピュータ4の欠陥候補領域を抽出・特定する領域抽出部8aのCNN(Convolutinal Neural Netwark)を用いないようにした。
よって、コンピュータ4の費用を抑制することができる。
〔他の実施形態〕
以上、本発明を実施するための実施形態を説明したが、本発明の具体的な構成は実施形態の構成に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
例えば、被検査物は、ピストンに限らないし、機械学習は、CNN(Convolutinal Neural Netwark)やRNN(Recurrent Neural Netwark)に限らない。
また、姿勢制御部は、ロボットによりピストンの姿勢変化を行っているが、カメラの位置を変更することにより行ってもよい。
1 欠陥検査装置、2 カメラ(撮像部)、3 ロボット、4 コンピュータ、5 ピストン(被検査物)、6 CPU、7 画像取得部、8 特徴量取得部、8a 領域抽出部、9 波形データ取得部、10 欠陥判定部

Claims (12)

  1. 被検査物の欠陥判定を行う欠陥検査装置であって、
    前記被検査物と撮像部の相対姿勢を変化させて、前記相対姿勢毎に撮像を行い、複数の画像を取得する画像取得部と、
    前記複数の画像をそれぞれ走査して得られる特定の特徴を第1特徴量として取得する特徴量取得部と、
    前記第1特徴量を前記相対姿勢の変化の順に並べた第1波形データを取得する波形データ取得部と、
    前記第1波形データに応じて欠陥の判定を行う欠陥判定部と、
    を備えることを特徴とした欠陥検査装置。
  2. 請求項1に記載の欠陥検査装置において、
    前記第1特徴量は、前記複数の画像を走査して得られる輝度、輝度勾配、幾何的特性、輝度のばらつき、色強度のうちの1つである、
    ことを特徴とする欠陥検査装置。
  3. 請求項2に記載の欠陥検査装置において、
    前記特徴量取得部は、前記輝度、輝度勾配、幾何的特性、輝度のばらつき、色強度のうちの前記第1特徴量以外の1つを第2特徴量として取得し、
    前記波形データ取得部は、前記第2特徴量を前記相対姿勢の変化の順に並べた第2波形データを取得し、
    前記欠陥判定部は、前記第1波形データと前記第2波形データの両方の波形データを用いて欠陥の判定を行う、
    ことを特徴とする欠陥検査装置。
  4. 請求項3に記載の欠陥検査装置において、
    前記特徴量取得部は、前記輝度、輝度勾配、幾何的特性、輝度のばらつき、色強度のうちの前記第1特徴量及び前記第2特徴量以外の1つを第3特徴量として取得し、
    前記波形データ取得部は、前記第3特徴量を前記相対姿勢の変化の順に並べた第3波形データを取得し、
    前記欠陥判定部は、前記第1波形データと前記第2波形データと前記第3波形データの3つの波形データを用いて欠陥の判定を行う、
    ことを特徴とする欠陥検査装置。
  5. 請求項2に記載の欠陥検査装置において、
    前記第1特徴量は輝度差であって、前記画像を走査して得られる輝度の最大値と最小値の差を用いる、
    ことを特徴とする欠陥検査装置。
  6. 請求項2に記載の欠陥検査装置において、
    前記第1特徴量は輝度勾配であって、前記画像を走査して得られる輝度勾配の最大値を用いる、
    ことを特徴とする欠陥検査装置。
  7. 請求項3に記載の欠陥検査装置において、
    前記第1特徴量は輝度差であり、前記第2特徴量は輝度勾配である、
    ことを特徴とする欠陥検査装置。
  8. 請求項4に記載の欠陥検査装置において、
    前記第1特徴量は輝度差であり、前記第2特徴量は輝度勾配であり、前記第3特徴量は輝度のばらつきである、
    ことを特徴とする欠陥検査装置。
  9. 請求項1に記載の欠陥検査装置において、
    前記特徴量取得部は、機械学習を用いて前記複数の画像のそれぞれから欠陥の可能性がある欠陥候補領域を抽出する領域抽出部を有し、
    前記第1特徴量は、前記欠陥候補領域を走査して得られる特定の特徴である、
    ことを特徴とする欠陥検査装置。
  10. 請求項1に記載の欠陥検査装置において、
    前記第1特徴量は、前記複数の画像のそれぞれの画素領域の全体を走査して得られる特定の特徴である、
    ことを特徴とする欠陥検査装置。
  11. 請求項2に記載の欠陥検査装置において、
    前記第1特徴量は、前記画像を走査して得られる、輝度が所定以下の画素領域の幾何的特性である、
    ことを特徴とする欠陥検査装置。
  12. 欠陥検査装置が被検査物の欠陥判定を行う欠陥検査方法であって、
    前記欠陥検査装置が、
    前記被検査物と撮像部の相対姿勢を変化させて、前記相対姿勢毎に撮像を行い、複数の画像を取得する画像取得ステップと、
    前記複数の画像をそれぞれ走査して得られる特定の特徴を第1特徴量として取得する特徴量取得ステップと、
    前記第1特徴量を前記相対姿勢の変化の順に並べた第1波形データを取得する波形データ取得ステップと、
    前記第1波形データに応じて欠陥の判定を行う欠陥判定ステップと、
    を備えることを特徴とした欠陥検査方法。
JP2022098638A 2022-06-20 2022-06-20 欠陥検査装置および欠陥検査方法 Pending JP2024000090A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022098638A JP2024000090A (ja) 2022-06-20 2022-06-20 欠陥検査装置および欠陥検査方法
PCT/JP2023/021136 WO2023248795A1 (ja) 2022-06-20 2023-06-07 欠陥検査装置および欠陥検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022098638A JP2024000090A (ja) 2022-06-20 2022-06-20 欠陥検査装置および欠陥検査方法

Publications (1)

Publication Number Publication Date
JP2024000090A true JP2024000090A (ja) 2024-01-05

Family

ID=89379892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022098638A Pending JP2024000090A (ja) 2022-06-20 2022-06-20 欠陥検査装置および欠陥検査方法

Country Status (2)

Country Link
JP (1) JP2024000090A (ja)
WO (1) WO2023248795A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007285754A (ja) * 2006-04-13 2007-11-01 Seiko Epson Corp 欠陥検出方法および欠陥検出装置
JP6486050B2 (ja) * 2014-09-29 2019-03-20 株式会社Screenホールディングス 検査装置および検査方法
JP6357617B2 (ja) * 2016-10-18 2018-07-18 株式会社高瀬文夫商店 蒲鉾板の欠陥検査装置
JP7098111B2 (ja) * 2018-06-12 2022-07-11 国立大学法人東海国立大学機構 表面検査装置および表面検査方法
JP2022028337A (ja) * 2020-08-03 2022-02-16 日立Astemo株式会社 検査装置、検査方法およびピストンの製造方法

Also Published As

Publication number Publication date
WO2023248795A1 (ja) 2023-12-28

Similar Documents

Publication Publication Date Title
JP6701118B2 (ja) 画像処理装置および画像処理方法
KR101338576B1 (ko) 화상 해석에 의해서 결함 검사를 실시하는 결함검사장치
US10713780B2 (en) Color quality assessment based on multispectral imaging
CN109472271B (zh) 印刷电路板图像轮廓提取方法及装置
JP4150390B2 (ja) 外観検査方法及び外観検査装置
KR20130142118A (ko) 타이어의 트레드 디자인을 형성하는 기본 패턴을 식별하여 규정하기 위한 방법
US8610770B2 (en) Image sensing apparatus and method for sensing target that has defective portion region
JP2005265661A (ja) 画像処理方法およびその装置
JP4230880B2 (ja) 欠陥検査方法
JP4241361B2 (ja) キャップ天面の検査方法
Feng et al. Image processing of the grinding wheel surface
JP4244046B2 (ja) 画像処理方法および画像処理装置
WO2023248795A1 (ja) 欠陥検査装置および欠陥検査方法
JP4315243B2 (ja) 色の均一性の評価方法
JP4978215B2 (ja) 加工面欠陥判定方法
JP2009080004A (ja) 検査装置
US11080860B2 (en) Image inspection method
Mishra et al. Surface defects detection for ceramic tiles using image processing and morphological techniques
JP2011179987A (ja) 残留物測定方法及び残留物測定装置
JP2004257826A (ja) カラー画像を用いた外観検査方法及び外観検査装置
JP2005031952A (ja) 画像処理検査方法および画像処理検査装置
JP2004170109A (ja) 色むら検査装置および検査方法
JP3867615B2 (ja) ワークの外観検査装置及び外観検査方法
JPH1019801A (ja) 表面欠陥探傷装置
Radovan et al. Vision system for finished fabric inspection