JP7439157B2 - 検査装置 - Google Patents

検査装置 Download PDF

Info

Publication number
JP7439157B2
JP7439157B2 JP2022056429A JP2022056429A JP7439157B2 JP 7439157 B2 JP7439157 B2 JP 7439157B2 JP 2022056429 A JP2022056429 A JP 2022056429A JP 2022056429 A JP2022056429 A JP 2022056429A JP 7439157 B2 JP7439157 B2 JP 7439157B2
Authority
JP
Japan
Prior art keywords
image data
error
abnormal
input
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022056429A
Other languages
English (en)
Other versions
JP2023148422A (ja
Inventor
俊和 軽部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2022056429A priority Critical patent/JP7439157B2/ja
Priority to CN202310312348.3A priority patent/CN116894967A/zh
Priority to US18/191,409 priority patent/US20230316484A1/en
Publication of JP2023148422A publication Critical patent/JP2023148422A/ja
Application granted granted Critical
Publication of JP7439157B2 publication Critical patent/JP7439157B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Description

本発明は、機械学習を用いて、検査対象画像が正常画像と異常画像とのいずれに属するかを識別する検査を行う検査装置に関する。
ニューラルネットワークに基づく機械学習を用いて画像を正常画像か異常画像かを分類する画像分類では、分類ラベルが既知の画像を使って識別器を学習させる。識別器には、例えば、変分オートエンコーダ(VAE)識別器がある。学習済みのVAE識別器は、検査対象画像が入力画像として入力されると、前記入力画像と同様の出力画像を生成しようとする。ここで、VAE識別器は、入力画像と出力画像とを比較して再構成誤差を算出し、所定パラメータにおける再構成誤差が閾値より小さければ検査対象画像を正常画像に分類し、再構成誤差が閾値より大きければ検査対象画像を異常画像に分類する。
このように、VAE識別器については、入力画像と出力画像の再構成誤差の値に基づいてラベル推定を行う。ここで、画像全体に対して異常領域が小さい場合には、VAE識別器を学習させる際に、正常画像の再構成誤差と異常画像の再構成誤差との間でほとんど差が出なくなってしまう。このように、所定パラメータにおける、正常画像の再構成誤差と異常画像の再構成誤差とが混在すると、所定パラメータにおける閾値が曖昧となる。この場合、2値分類が困難となり、識別(ラベル推定)の精度が低下するという問題が生じる。
そこで、特許文献1では、複数の対象物画像を学習用データとし、入力と出力の誤差が小さくなるように、かつ、単位画素ごとに、特定の分布で近似された分布の平均、分散、および高次統計量を出力するように、変分オートエンコーダを学習する。そして、対象物画像の単位画素ごとに再構成誤差を判断して、検査対象画像における異常を検出する。これにより、異常領域が微小な場合に、2値分類の可能性を高めることができる。
特開2021-144314号公報
しかしながら、異常領域は、単位画素と同等であるほど微小であるとは限らない。例えば、正常な部分と異常な部分とで単位画素あたりの色合いの差異は小さいものの、画像全体的に見たときに異常領域が見て取れることもある。この場合、単位画素ごとに全ての画素についての再構成誤差を調べる方法では、目視で把握することができるほどの異常領域を見落とし、異常画像と判断しないおそれがあるという課題がある。
本発明は、機械学習を用いて、検査対象画像が正常画像と異常画像とのいずれに属するかをより精度よく識別する検査を行う検査装置を提供することを目的とする。
この目的を達成するために、請求項1に係る発明は、検査対象の画像データが正常画像データ(本実施形態における(以下同様)「D1」)と異常画像データ(D2)のいずれに属するかの検査を行う検査装置(1)であって、前記正常画像データの再構成が可能となるまで複数の正常画像データを用いて学習する学習部(20A)と、複数の正常画像データ及び複数の異常画像データを含む画像データを入力画像データとして前記学習部に入力し、それぞれの出力画像データを得るとともに、所定パラメータにおける前記入力画像データと前記出力画像データとの誤差(再構成誤差)を算定する誤差算定部(23)と、前記正常画像データを入力画像データとした場合の前記誤差と前記異常画像データを入力画像データとした場合の前記誤差に基づいて閾値を算定する閾値算定部(24)と、前記閾値に基づいて、前記検査対象の画像を正常画像データと異常画像データのいずれに属するかを識別する識別部(25)と、を有し、前記誤差算定部は、それぞれのエリアが前記入力画像データと前記出力画像データとで対応且つ複数の画素から構成される複数の検知エリア(E)を設定するとともに、画像データ上において前記複数の検知エリアを順次走査しながら、前記検知エリアごとに前記入力画像データと前記出力画像データとを較することで、前記誤差を算定することを特徴とする。
このように、それぞれのエリアが複数の画素から構成される複数の検知エリアを画像データ上に設定するとともに、画像データ上において複数の検知エリアを順次走査しながら、検知エリアごとに入力画像データと出力画像データとを較して再構成誤差を算定する。検知エリアを異常領域の大きさに応じて設定し、且つ検知エリアを走査しつつ比較することにより、異常領域の再構成誤差を、単位画素単位で比較するよりも精密に算定することができる。特に、異常領域が単位画素と比べて大きく且つ異常領域が単位画素あたりの色合い等の差異が小さい場合であっても、再構成誤差を精密に算定することができる。よって、機械学習を用いて、検査対象画像が正常画像と異常画像とのいずれに属するかをより精度よく識別する検査を行う検査装置を提供することができる。
請求項2に係る発明は、請求項1に記載の検査装置であって、前記誤差算定部は、それぞれの前記検知エリアが互いに重複するように前記検知エリアを走査することを特徴とする。
このように、誤差算定部が検知エリアを走査する際に、それぞれの検知エリアが互いに重複するようにすると、異常領域の大きさが1つの検知エリアの大きさを超える場合であっても、異常領域における再構成誤差を適切に判断することができる。このため、検査装置の検査精度を高く維持することができる。
請求項3に記載の発明は、請求項1または2に記載の検査装置であって、前記誤差算定部は、前記所定パラメータにおける前記入力画像データと前記出力画像データとの差の二乗の平均値を用いて前記誤差を算定することを特徴とする。
このように、再構成誤差の算定の際に、入力画像データと出力画像データとの差の二乗の平均値を用いて再構成誤差を算定することで、入力画像データに対して出力画像データの所定パラメータにおける差を適切に評価することができる。
請求項4に記載の発明は、請求項1乃至3のいずれか1項に記載の検査装置であって、ユーザが前記検知エリアの大きさを入力する入力部をさらに備えることを特徴とする。
このように、ユーザが検知エリアの大きさを入力する入力部をさらに備えることとすると、例えば、検査の熟練度が高いユーザが、異常領域の付近で再構成誤差が明確になるように、検知エリアの大きさや縦横比等の形状を入力することができる。これにより、検査装置の検査精度を高めることができる。
請求項5の発明は、請求項1乃至4のいずれか1項に記載の検査装置であって、前記誤差算定部は、前記画像データ上において前記検知エリアを均一に走査することを特徴とする。
このように、再構成誤差の算定の際に、画像データ上において検知エリアを均一に走査することとすると、画像データのどこに異常領域があっても、再構成誤差の算定の精度が偏ることがない。
請求項6の発明は、請求項1乃至5のいずれか1項に記載の検査装置であって、前記所定パラメータは、画像データにおける、色相、明度、輝度のいずれかであることを特徴とする。
このように、再構成誤差の算定の際の基準となる所定パラメータを、画像データにおける、色相、明度、輝度のいずれかであることとすると、画像データの差異を適切に評価できる。
請求項7に記載の発明は、請求項1乃至6のいずれか1項に記載の検査装置であって、前記学習部は、オートエンコーダであることを特徴とする。
このように、学習部をオートエンコーダであることとすると、オートエンコーダに再構成をさせることで、再構成誤差を効率的に求めることができる。
検査装置のハードウェア構成を示す概略図。 検査装置のソフトウェア構成を示すブロック図。 検査装置の動作の概略手順を説明するフローチャート。 異常領域を有する画像データの例を示す図。 再構成部が入力画像データを出力画像データに再構成した例を示す図。 再構成誤差の算出過程における検知エリアの走査方法の説明図。 閾値算定時に用いる所定パラメータの再構成誤差の例を示すグラフ。
以下、図面を参照しながら、本実施形態において、機械学習により得られた学習モデルを用いた検査装置1を詳細に説明する。本実施形態における検査装置1は、2つのクラスを識別する検査を行うものとして、製品の正常品と異常品とを識別する検査を行う装置を例示する。具体的には、検査装置1は、検査対象の画像データが正常画像データと異常画像データのいずれに属するかの検査を行う。以下では、第一クラスを正常画像クラスC1、第二クラスを異常画像クラスC2とし、第一クラスデータを正常画像データD1、第二クラスデータを異常画像データD2として説明する。正常画像データD1は正常画像クラスC1に分類され、異常画像データD2は異常画像クラスC2に分類される。なお、下記の説明において、「画像」として説明したものであっても、制御部が制御しうる「画像データ」を示す場合がある。また、必要に応じて、VAEを、Variational Autoencoderの略として使用する。
図1は、検査装置1のハードウェア構成を示す概略図である。図1に示すように、本実施形態の検査装置1は、搬送部5上を搬送される検査対象となる検査品Gを検査する。検査装置1は、検査品Gを検査し、所定の品質を満たす正常品(良品)であるか、所定の品質を満たさない異常品(不良品)であるかの検査を行う。検査装置1は、制御部11、撮像部12、記憶部13、通信部14、入力部15、出力部16等を有する。これらの各部は、コンピュータ等の情報処理装置10に配置されてもよいし、通信可能に構成されてもよく、互いに情報を交換するように、通信線又は無線により接続されている。
制御部11は、CPU(Central Processing Unit)を有し、検査装置1の各部の動作を制御する。制御部11による制御は、記憶部13または制御部11内の不図示の主記憶部に格納されたプログラムを実行することで行われる。
撮像部12は、カメラ等で構成される。本実施形態では、搬送部5により搬送された検査品Gを撮像し、得られた画像データを情報処理装置10へと伝達する。なお、図1では1つのカメラを配置した例を挙げたが、これに限るものではなく、複数のカメラを配置して、複数の角度から検査品Gを撮像する構成であってもよい。
記憶部13は、RAM(Random Access Memory)やROM(Read Only Memory)を含む、記憶を行う機器全般である。記憶部13には、制御部11が実行するプログラムや撮像部12が取得した画像データのほか、ニューラルネットワークにて学習したデータ等、検査装置1での検査に必要なデータが格納される。なお、図1では、記憶部13が情報処理装置10内に配置される例を挙げている。しかしながら、これに限るものではなく、記憶部13の一部または全部が、情報処理装置10外に配置されていてもよく、インターネットを介して情報処理装置10と通信可能であることとしてもよい。
通信部14は、情報処理装置10と外部機器との通信をする手段である。通信部14は、撮像部12、記憶部13、入力部15、出力部16等が情報処理装置10外にある場合に、無線の通信回線等の周知技術を用いて、情報処理装置10内の制御部11との通信を行う。
入力部15は、検査装置1のユーザ等が、情報処理装置10にデータを入力する手段であり、キーボードやマウス等がある。ユーザは、入力部15から、学習に関するデータや、制御部11への指示等を入力することができる。検査装置1に入力部15が備えられていることで、ユーザは、入力部15を用いて後述する検知エリアEの大きさ(幅や高さ)や形状を入力することができる。ユーザが検査の熟練者であった場合、異常領域の大きさや形状について適切な検査エリアの設定が可能である。
出力部16は、検査に関する情報を出力する手段であり、ディスプレイ等の画像表示手段、スピーカ等の音声出力手段、またはデータを出力する出力端子など、情報処理装置10内の情報を出力する手段全般である。出力部16は、検査装置1おける判別結果を出力するのみならず、検査に関する情報を表示することで、ユーザに検査状況を示すことができる。
図2は、検査装置1のソフトウェア構成を示すブロック図である。検査装置1のソフトウェアは、機械学習を行う学習部20Aと、誤差算定部23と、閾値算定部24と、識別部25とを有する。
学習部20Aは、オートエンコーダを有し、当該オートエンコーダによる学習が行われる。本実施形態では、学習部20Aとして、変分オートエンコーダ(VAE)を用いた例を説明する。学習部20Aは、特徴量学習部21と、再構成部22とを有する。
特徴量学習部21は、VAEにおいて、入力画像データと同様の出力画像データを生成する過程において、特徴量を学習する。本実施形態において、特徴量学習部21は、正常画像データD1を入力画像データとしてVAEに入力し、正常画像データD1と同様の出力画像データを生成する。この過程において、VAEは、特徴量を学習する。
再構成部22は、特徴量学習部21が学習した特徴量を用いて、入力画像データの再構成を行う。具体的には、再構成部22は、入力画像データをエンコーダで圧縮して、潜在変数とした後、デコーダで復元することで出力画像データを生成する。本実施形態においては、再構成部22には、正常画像データD1と異常画像データD2とがそれぞれ入力画像データとして入力され、出力画像データが生成される。異常画像データD2は、一部に、欠陥部分を含む領域である異常領域Bを含んでいる。
誤差算定部23は、再構成部22における入力画像データと出力画像データとを、所定パラメータを基準として比較し、入力画像データから出力画像データを再構成した場合における誤差(以下、この誤差を「再構成誤差」という)を算定する。所定パラメータは、例えば、画像データにおける、色相、明度、輝度であるが、これに限るものではない。また、再構成誤差の算定方法は、例えば、所定パラメータにおける入力画像データと出力画像データとの差の二乗の平均値を用いて再構成誤差を算定する。しかし、再構成誤差の算定方法はこれに限るものではない。
識別部25は、制御部11による制御により、閾値算定部24の結果を用いて、検査対象に関する画像が、2つのクラスである正常画像クラスC1または異常画像クラスC2のうち、いずれのクラスに属するかを識別する。
なお、特徴量学習部21乃至識別部25の機能は、VAE識別器を用いて実現することもできる。本実施形態のVAE識別器は、VAEを用い、入力画像データから出力画像データを再構成し、再構成誤差を算定する。再構成誤差は、入力と出力との差の二乗の平均値で算出される。VAEは、再構成誤差が小さくなるように、正常画像データのみが学習される。このように学習されたVAE識別器では、検査対象に関する画像データが入力されると、再構成誤差を算定し、再構成誤差が閾値よりも小さい場合に、検査対象が正常品であると識別する。
図3は、検査装置1の動作の概略手順を説明するフローチャートである。図3のフローチャートに示す処理は、例えば、記憶部13のROMに格納されたプログラムを、RAM等に展開しつつ制御部11のCPUが実行する。
ステップS11において、正常画像データD1の再構成が可能となるまで複数の正常画像データD1を学習部20Aのうちの特徴量学習部21に入力し、VAEに特徴量を学習させる。ここで、正常画像データD1の再構成が可能となるまで学習させるとは、再構成誤差が最小になるまで学習させることである。この学習により、VAEは、正常画像データが入力された場合、入力画像データと同様の画像データを生成することが可能になる。
ステップS12において、複数の正常画像データD1及び複数の異常画像データD2をラベル付けして入力画像データとして学習部20Aのうちの再構成部22に入力し、それぞれのデータに対する出力画像データを得る。出力画像データは、ステップS11における学習の結果を用いた再構成画像データである。
ステップS13において、所定パラメータにおける入力画像データと出力画像データとの再構成誤差を算定する。本実施形態における所定パラメータは、各画像データの輝度の値であるが、色相の値や明度の値等であってもよい。ステップS12及びステップS13を誤差取得工程とする。誤差取得工程を経ることで、正常画像データD1を入力とした再構成誤差の値と、異常画像データD2を入力とした再構成誤差の値とが得られる。その後、所定パラメータにおける再構成誤差を比較する。再構成誤差の算定や所定パラメータにおける再構成誤差の比較方法については、後にグラフ(図4乃至図7参照)を用いて詳述する。
ステップS14において、正常画像データD1を入力画像データとした場合の再構成誤差と異常画像データD2を入力画像データとした場合の再構成誤差に基づいて閾値を算定する。この閾値算定工程を経ることで、識別に用いる閾値が得られる。
ステップS15において、ステップS14で得られた閾値に基づいて、検査対象の画像を正常画像データD1が属する正常画像クラスC1と異常画像データD2が属する異常画像クラスC2のいずれに属するかを識別する。なお、ステップS15は、ステップS14の直後に行う必要はなく、ステップS14の閾値算定の後に、ユーザ等の他の機器からの指示に従って行うこととしてもよい。
次に、再構成誤差の算定や所定パラメータにおけるデータの比較方法を、図4乃至図6の例を用いて説明する。まずは、図4を用いて、撮像部12や外部装置から取得した画像データDの例を説明する。図4は、異常領域Bを有する画像データD(異常画像データD2)の例を示す図である。図4において、画像データDは、金属の基体40の上に配置される金属板41の一部と基体40に開けられた孔部42とが撮像された画像データである。金属板41には、その一部に傷や変形のような欠陥部分を含む異常領域Bがある。この画像データDを用いて、次の説明をする。なお、説明のために、以下の説明では、異常領域Bを含み異常領域Bの周辺の領域Aを拡大して説明する。
図5は、再構成部22が入力画像データDIを出力画像データDOに再構成した例を示す図である。図5の上図は、図4の領域の拡大図である。図5の例では、入力画像データDIとして異常画像データD2を用いている。図5に示すように、入力画像データDIとして異常画像データD2を用いて再構成を行うと、異常領域Bが消失した出力画像データDOが得られる。これは、異常画像データD2の再構成を再構成部22が行う前の段階で、特徴量学習部21が、正常画像データD1のみを用いて、再構成のための学習を行っているからである。このため、図5の例のように、異常画像データD2を用いて再構成をすると、正常画像データD1の再構成をした場合よりも、再構成誤差が大きくなる傾向がある。
図6は、再構成誤差の算出過程における検知エリアEの走査方法の説明図である。図6の処理は、誤差算定部23が行う処理である。図6(A)は、検知エリアEの大きさを示す図であり、図6(B)は、検知エリアEの走査方法を説明する図である。
図6(A)を用いて、検知エリアEについて説明する。検知エリアEは、再構成誤差を算定するための基準となるエリアであり、入力画像データDIと出力画像データDOとで対応するエリアである。検知エリアEを画像データD上を走査して、検知エリアEごとの入力画像データDIと出力画像データDOとを順次比較する。比較の際は、所定パラメータの値を比較する。
検知エリアEの大きさは、ユーザが任意に設定することができる。設定の際には、ユーザが入力部15を用いて入力することで、制御部11に検知エリアEの大きさを伝達する。検知エリアEの大きさは、ユーザ等の設定によるものであるので任意ではあるが、少なくとも複数の画素から構成される。また、検知エリアEの大きさは、異常領域Bの大きさと同等であることが好ましい。検知エリアEの大きさは、検査の熟練者等のユーザによって設定してもよいし、過去の異常領域Bのデータを解析してコンピュータが設定してもよい。本実施形態では、図6(A)に示すように、異常領域Bの周囲を囲む大きさの検知エリアEを例示して説明する。
図6(B)を用いて、検知エリアEの走査方法について説明する。説明のため、図6(B)に示す領域をX軸方向(図面の横方向)とY軸方向(図面の縦方向)に分けると、当該領域は、9×9のブロックに分けられる。本実施形態の検知エリアEは、X軸方向に3ブロック分の大きさであり、Y軸方向に3ブロック分の大きさであるとする。なお、本実施形態におけるブロックは、所定のピクセル数で構成される単位であるが、これに限るものではなく、1ブロックを1ピクセルとしても構わない。
再構成誤差の算定のために画像(入力画像及び出力画像)上において検知エリアEを走査させる方法を、図6(B)に示す領域内を例にして示す。まず、基準の位置にある検知エリアEを検知エリアE0とし、検知エリアE0での再構成誤差を算定する。その後、検知エリアE0の位置から所定のブロック(本実施形態においては2ブロック分)だけX軸方向に走査し、検知エリアE1での再構成誤差を算定する。その後、検知エリアEを順次、X軸方向に走査する。検知エリアEが画像の右端に到達すると、検知エリアE0の位置から所定のブロック(本実施形態においては2ブロック分)だけY軸方向に走査し、検知エリアE2での再構成誤差を算定する。その後、検知エリアEを順次、X軸方向に走査し、検知エリアEが画像の右端に到達すると、検知エリアE2の位置から所定のブロックだけY軸方向に走査する。これを繰り返し、検知エリアEが画像の下端且つ右端に到達するまで、再構成誤差の算定を続ける。
図6(B)に示す例では、検知エリアEの走査の際には、X軸方向やY軸方向に対して同じ移動距離となるように走査を行っている。このように、画像データ上において検知エリアEを均一に走査することが、偏りのない誤差算定を行う上で好ましい。
また、図6(B)に示す例では、検知エリアEの走査の際に、検知エリアE0と検知エリアE1が一部重複する領域(重複領域F)が存在する。また、検知エリアE0と検知エリアE2との間にも重複領域Fが存在する。このように、検知エリアEの走査の際に、それぞれの検知エリアEが互いに重複するようにする。これにより、異常領域Bやその周辺における再構成誤差を精密に判断することができる。
図7は、閾値算定時に用いる所定パラメータの再構成誤差の例を示すグラフである。図7における処理は、閾値算定部24が行う。図7において、正常画像データD1の再構成誤差の最大値(D1max)が、異常画像データD2の再構成誤差の最小値(D2min)以下になっている。この場合、正常画像データD1の群と異常画像データD2の群との間に境界が観念され、境界が示す再構成誤差の値を閾値とする。なお、閾値を設定するにあたり、必ずしも境界が観念される必要はない。例えば、正常画像データD1の群と異常画像データD2の群との一部が重複したとしても、重複する部分において、正常画像データD1の群と異常画像データD2の群とが性質上分けられる値があれば、その値が閾値となる。
以上のように、本実施形態によれば、複数の画素から構成される検知エリアEを画像データ上に設定するとともに、画像データD上において検知エリアEを走査しながら入力画像データDIと出力画像データDOとを順次比較して再構成誤差を算定する。検知エリアEを異常領域Bの大きさに応じて設定し、且つ検知エリアEを走査しつつ比較することにより、異常領域Bの再構成誤差を、単位画素単位で比較するよりも精密に算定することができる。特に、異常領域Bが単位画素と比べて大きく且つ異常領域Bが単位画素あたりの色合い等の差異が小さい場合であっても、再構成誤差を精密に算定することができる。よって、機械学習を用いて、検査対象画像が正常画像と異常画像とのいずれに属するかをより精度よく識別する検査を行う検査装置を提供することができる。
また、本実施形態によれば、誤差算定部23が検知エリアEを走査する際に、それぞれの検知エリアEが互いに重複する。これにより、異常領域Bの大きさが1つの検知エリアEの大きさを超える場合であっても、異常領域Bにおける再構成誤差を適切に判断することができる。このため、検査装置1の検査精度を高く維持することができる。
また、本実施形態によれば、再構成誤差の算定の際に、入力画像データDIと出力画像データDOとの差の二乗の平均値を用いて再構成誤差を算定する。これにより、入力画像データDIに対して出力画像データDOの所定パラメータにおける差を適切に評価することができる。
また、本実施形態によれば、ユーザが検知エリアEの大きさを入力する入力部15をさらに備える。これにより、検査の熟練度が高いユーザが、異常領域Bの付近で再構成誤差が明確になるように、検知エリアEの大きさや縦横比等の形状を入力することができる。これにより、検査装置1の検査精度を高めることができる。
また、本実施形態によれば、再構成誤差の算定の際に、画像データD上において検知エリアEを均一に走査することとする。これにより、画像データDのどこに異常領域Bがあっても、再構成誤差の算定の精度が偏ることがない。
また、本実施形態によれば、再構成誤差の算定の際の基準となる所定パラメータを、画像データDにおける、色相、明度、輝度のいずれかであることとする。これにより、入力画像データDIと出力画像データDOの差異を適切に評価できる。
また、本実施形態によれば、学習部20Aをオートエンコーダであることとする。これにより、オートエンコーダに再構成をさせることで、再構成誤差を効率的に求めることができる。
なお、本発明は、説明した実施形態に限定されることなく、種々の態様で実施することができる。また、前述の実施形態の各部を実現するプログラムにより、制御部のプロセッサーがプログラムを読出し、実行する処理でも実現可能である。
1…検査装置
11…制御部
15…入力部
20A…学習部
23…誤差算定部
24…閾値算定部
25…識別部
D1…正常画像データ
D2…異常画像データ
E…検知エリア

Claims (7)

  1. 検査対象の画像データが正常画像データと異常画像データのいずれに属するかの検査を行う検査装置であって、
    前記正常画像データの再構成が可能となるまで複数の正常画像データを用いて学習する学習部と、
    複数の正常画像データ及び複数の異常画像データを含む画像データを入力画像データとして前記学習部に入力し、それぞれの出力画像データを得るとともに、所定パラメータにおける前記入力画像データと前記出力画像データとの誤差を算定する誤差算定部と、
    前記正常画像データを入力画像データとした場合の前記誤差と前記異常画像データを入力画像データとした場合の前記誤差に基づいて閾値を算定する閾値算定部と、
    前記閾値に基づいて、前記検査対象の画像を正常画像データと異常画像データのいずれに属するかを識別する識別部と、を有し、
    前記誤差算定部は、それぞれのエリアが前記入力画像データと前記出力画像データとで対応且つ複数の画素から構成される複数の検知エリアを設定するとともに、画像データ上において前記複数の検知エリアを順次走査しながら、前記検知エリアごとに前記入力画像データと前記出力画像データとを較することで、前記誤差を算定することを特徴とする検査装置。
  2. 前記誤差算定部は、それぞれの前記検知エリアが互いに重複するように前記検知エリアを走査することを特徴とする請求項1に記載の検査装置。
  3. 前記誤差算定部は、前記所定パラメータにおける前記入力画像データと前記出力画像データとの差の二乗の平均値を用いて前記誤差を算定することを特徴とする請求項1または2に記載の検査装置。
  4. ユーザが前記検知エリアの大きさを入力する入力部をさらに備えることを特徴とする請求項1乃至3のいずれか1項に記載の検査装置。
  5. 前記誤差算定部は、前記画像データ上において前記検知エリアを均一に走査することを特徴とする請求項1乃至4のいずれか1項に記載の検査装置。
  6. 前記所定パラメータは、画像データにおける、色相、明度、輝度のいずれかであることを特徴とする請求項1乃至5のいずれか1項に記載の検査装置。
  7. 前記学習部は、オートエンコーダであることを特徴とする請求項1乃至6のいずれか1項に記載の検査装置。

JP2022056429A 2022-03-30 2022-03-30 検査装置 Active JP7439157B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022056429A JP7439157B2 (ja) 2022-03-30 2022-03-30 検査装置
CN202310312348.3A CN116894967A (zh) 2022-03-30 2023-03-28 检查装置
US18/191,409 US20230316484A1 (en) 2022-03-30 2023-03-28 Inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022056429A JP7439157B2 (ja) 2022-03-30 2022-03-30 検査装置

Publications (2)

Publication Number Publication Date
JP2023148422A JP2023148422A (ja) 2023-10-13
JP7439157B2 true JP7439157B2 (ja) 2024-02-27

Family

ID=88193130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022056429A Active JP7439157B2 (ja) 2022-03-30 2022-03-30 検査装置

Country Status (3)

Country Link
US (1) US20230316484A1 (ja)
JP (1) JP7439157B2 (ja)
CN (1) CN116894967A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020031984A1 (ja) 2018-08-08 2020-02-13 Blue Tag株式会社 部品の検査方法及び検査システム
WO2020070777A1 (ja) 2018-10-01 2020-04-09 オリンパス株式会社 観察装置および観察方法
JP2021047090A (ja) 2019-09-18 2021-03-25 株式会社島津製作所 欠陥検査装置
JP2021144314A (ja) 2020-03-10 2021-09-24 株式会社Screenホールディングス 学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法
JP2021174456A (ja) 2020-04-30 2021-11-01 ボッシュ株式会社 異常判定方法及び異常判定装置
JP2021189039A (ja) 2020-05-29 2021-12-13 株式会社ジェイテクト 産業用検査システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020031984A1 (ja) 2018-08-08 2020-02-13 Blue Tag株式会社 部品の検査方法及び検査システム
WO2020070777A1 (ja) 2018-10-01 2020-04-09 オリンパス株式会社 観察装置および観察方法
JP2021047090A (ja) 2019-09-18 2021-03-25 株式会社島津製作所 欠陥検査装置
JP2021144314A (ja) 2020-03-10 2021-09-24 株式会社Screenホールディングス 学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法
JP2021174456A (ja) 2020-04-30 2021-11-01 ボッシュ株式会社 異常判定方法及び異常判定装置
JP2021189039A (ja) 2020-05-29 2021-12-13 株式会社ジェイテクト 産業用検査システム

Also Published As

Publication number Publication date
JP2023148422A (ja) 2023-10-13
US20230316484A1 (en) 2023-10-05
CN116894967A (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
US10878283B2 (en) Data generation apparatus, data generation method, and data generation program
CN108765423B (zh) 一种卷积神经网络训练方法及装置
US11132786B2 (en) Board defect filtering method based on defect list and circuit layout image and device thereof and computer-readable recording medium
JP4603512B2 (ja) 異常領域検出装置および異常領域検出方法
KR100598381B1 (ko) 인-라인 타입의 자동 웨이퍼결함 분류장치 및 그 제어방법
US11315229B2 (en) Method for training defect detector
JP6818961B1 (ja) 学習装置、学習方法、および推論装置
JP4728444B2 (ja) 異常領域検出装置および異常領域検出方法
JP6347589B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20240095983A1 (en) Image augmentation techniques for automated visual inspection
JPWO2020071234A1 (ja) 画像処理装置、画像処理方法、外観検査システムおよびコンピュータプログラム
US20240168465A1 (en) Rapid automation system and method for line clearance
KR20210086303A (ko) 딥러닝 기반 패턴 검사 장치 및 그 장치를 이용한 검사 방법
JP7439157B2 (ja) 検査装置
CN113016023B (zh) 信息处理方法以及计算机可读的非暂时性记录介质
CN115546141A (zh) 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统
CN117011216A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
JP2021042955A (ja) 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法
Ibrahim et al. An improved defect classification algorithm for six printing defects and its implementation on real printed circuit board images
CN117474904B (zh) 工业缺陷检测方法、装置、设备及存储介质
JP7345006B1 (ja) 学習モデル生成方法及び検査装置
WO2024062854A1 (ja) 画像処理装置および画像処理方法
JP6961319B2 (ja) 評価方法及び評価装置
WO2022172470A1 (ja) 画像検査装置、画像検査方法及び学習済みモデル生成装置
WO2022181304A1 (ja) 検査システムおよび検査プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240214

R150 Certificate of patent or registration of utility model

Ref document number: 7439157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150