JP6960620B2 - 検知システム - Google Patents

Description

本発明は対象物を撮影して得られる画像に基づき、ＡＩを用いて対象物の良不良を検知する検知システムに関し、更に詳しくは、不良品のサンプルの画像の有無に関わらず、また、画像の解像度の高低に関わらず、判定基準を生成し、不良を検知することが可能な検知システムに関する。

画像処理を用いた不良品の検知は、対象物を破壊することなく検査できる点で優れており、各製造分野において用いられている。画像処理を用いた検知には、良品と不良品とを区別するための基準を生成する必要があるところ、この基準を、良品と不良品とのそれぞれのサンプルを用いた機械学習によって生成するシステムが開発されている。

例えば、特許文献１の検査装置は、サンプル画像が少ない場合でも判定制度を向上させることを目的としたものである。これは、検査対象の撮像画像を複数の撮像分割画像に分割する分割処理部と、 学習用画像を複数に分割し、該学習用分割画像を機械学習することによって抽出した特徴量に基づいて、複数の撮像分割画像の各々を分類する分類部と、分類部によって分類された複数の撮像分割画像の各々に基づいて、検査対象の良否を判定する判定部とを備える検査装置である。

また、特許文献２の撮影装置は、撮像装置を用いて検査対象物に不良があるか否かを判定するためのものである。具体的には、搬送路で搬送される検査対象物に不良があるか否かを判定する検査システムの前記搬送路に設けられて前記検査対象物を撮像する撮像装置において、検知センサと、第１撮像部及び第２撮像部と、第１撮像部で生成された画像と第２撮像部で生成された画像とを関連づけて検査対象物の全方位の画像を生成する第３画像生成部とを備えており、機械学習により判定基準を形成するものである。

特開２０１７−２１１２５９号公報 特開２０１９−１８４３８０号公報

特許文献１の検査装置は、品質のランクごとにサンプル画像を要するものであり、また、特徴量もあらかじめ抽出されたものである。したがって、少なくとも品質の分類ごとの不良品のサンプルの画像を用意する必要がある。
特許文献２の撮像装置においても、同様に不良が存在する対象物を予め撮像した複数の画像によって、検査対象物モデル画像が構成されている。すなわち、事前に複数の不良品のサンプルの画像を用意しておく必要がある。

これらを含む従来の機械学習による基準の生成においては、あえて不良品のサンプルを作成し、これについての多量の不良品のサンプルの画像を用意する必要があるため、手間が掛かるという欠点がある。なお、一般的に不良品のサンプルの画像は多量であるほど判定精度が向上する。

また、検知対象の不良部位が微細であり対象となる画像が高解像度（例えば、１３０万画素から２０００万画素）でないと、検査装置が検知できない場合がある。
しかしながら、機械学習による画像処理はコンピュータの記憶容量制限により、高解像度の画像に対しては解像度を下げて劣化させる必要があるため、微細な不良部位は検知精度が極端に低下するという欠点がある。

本発明は、上述の課題を受けて開発されたものである。すなわち、本発明は不良品のサンプルの有無に関わらず、また、解像度の高低に関わらず、判定基準を生成し、微細な不良を検知することが可能な検知システムを提供することを目的とする。

本発明者は鋭意検討の結果、予め対象物の良品を撮影して基準セル画像とし、当該基準セル画像のデータ上の要素を敢えて一定の範囲で変更した複数の学習データから判定基準を生成し、これに基づいて対象物の良不良を検知することにより、上記課題を解決可能であることを見出した。本発明はこの知見に基づく。

本発明は（１）、対象物を撮影して得られる画像に基づき、ＡＩを用いて対象物の良不良を検知する検知システムであって、予め不良のない対象物の良品を撮影し、基準セル画像とする画像撮影部と、基準セル画像を構成する要素を良品と認められる範囲内で変更した画像である学習データを、複数生成するデータ生成部と、複数の学習データを数値化し、その数値を利用して、ＡＩが判定基準を生成する判定部と、判定基準を記録する記録部と、を備え、画像撮影部が、検知の対象となる対象物を、基準セル画像に対応するように撮影し、セル画像とするものであり、判定部がセル画像を数値化し、判定基準に基づいて判定セル画像とし、判定基準が、各基準セル画像の特徴量から元となる基準セル画像を復元するための復元プロトコルであり、判定部が、各セル画像を数値化して特徴量を算出し、特徴量及び復元プロトコルから判定セル画像を生成するものであり、判定部が判定セル画像とセル画像とを比較して、１つ以上のセルにおいて予め設定した閾値を超えた場合に、対象物を不良品と検知するものであり、判定部が、復元プロトコルにおける復元誤差を算出するものであり、判定部が、復元誤差から誤差基準値を生成し、判定セル画像から誤差基準値を減じてセル画像と比較するものである検知システムに存する。

本発明は（２）、基準セル画像が、画像撮影部が撮影した画像を任意の数のセルに分割したものの中の一つであり、セル画像が、画像撮影部が撮影した画像を任意の数のセルに分割したものの中の一つであり、判定基準が、分割したセル毎に生成される上記（１）記載の検知システムに存する。

本発明は（３）、要素が、基準セル画像の任意の数のピクセルにおける、明度、彩度及び色相からなる群より選ばれる少なくとも１つである上記（１）又は（２）記載の検知システムに存する。

本発明は（４）、要素の変更が、基準セル画像全体を既定の位置からずらすことにより行われるものである上記（１）〜（３）いずれか１つに記載の検知システムに存する。

本発明は（５）、基準セル画像が矩形であり、８×８ピクセル以上の大きさであり、 基準セル画像の辺を構成するピクセルがいずれも２ ^ｎ の整数倍であり、ｎが判定部による特徴量の注出回数である上記（１）〜（４）いずれか１つに記載の検知システムに存する。

本発明は（６）、要素の変更が、基準セル画像のＲＧＢ値のデータをＨＳＶデータへ変換して行われるものである上記（１）〜（５）いずれか１つに記載の検知システムに存する。

本発明の検知システムは、データ生成部が基準セル画像を構成する要素を、良品と認められる範囲内で変更した画像である学習データを複数生成し、これを利用するため、多数の良品のサンプル画像を要しない。学習データを数値化した数値を利用して判定基準を生成するため、判定基準を多数の良品のサンプル画像を用意した場合と同様に良好な判定精度を有するものとすることができる。また、本発明の検知システムは、当該判定基準に基づいて対象物の良不良を検知するため、不良品のサンプル画像を要しない。
また、判定部が判定セル画像とセル画像とを比較して、対象物の良不良を検知することにより、高解像度の画像についても、画素数を維持したまま処理することが可能となる。これにより、対象物の微細な不良を検知することが可能となる。

また、判定部が判定セル画像とセル画像とを比較することにより、対象物と基準セル画像の撮影条件が異なる場合であっても、撮影条件の影響を捨象することができるため、より正確に不良を検知することが可能となる。

本発明の検知システムは、基準セル画像及びセル画像が、それぞれ任意の数のセルに分割したものの中の一つとすることで、セル一つあたりのデータ量を抑制し、高解像度の画像を、画素数を維持したまま処理することができる。そのため、微細な不良を検知することが可能となる。また、判定基準が、分割したセル毎に生成されるものとすることで、より高解像度の画像についても、画素数を下げることなく扱うことが可能となる。これにより、対象物の微細な不良を検知することが可能となる。
また、対応するセル単位で不良を検知できるので、判定精度を向上させることが可能となる。また、コンピュータの負荷を軽減することができる。さらに、セルの数を増やすことにより、細部であっても不良の検知が容易となる。

本発明の検知システムにおいては、要素を明度、彩度及び色相からなる群より選ばれる少なくとも１つとすることにより、例えばキズ又は塗装不良等、通常生じ得る不良の種類に応じて、適切な学習データを生成することが可能となる。より詳しくは、傷や塗装不良の他、照明や時間帯による光の変化にも対応した学習データを作成することが可能となる。

本発明の検知システムにおいては、要素の変更が、基準セル画像全体を既定の位置からずらすことにより行われる場合、セル画像が基準セル画像に対してずれていたとしても、これに対応して適切な学習データを生成することが可能となる。

本発明の検知システムは、判定セル画像と、セル画像とを比較し、１つ以上のセルにおいて予め設定した閾値を超えた場合に、対象物を不良品と検知するものであることにより、 対象物の撮影環境の影響を捨象することが可能となり、判定精度が向上する。

判定基準が、各基準セル画像の特徴量から元となる基準セル画像を復元するための復元プロトコルであり、判定部が、特徴量及び復元プロトコルから判定セル画像を生成するものであることで、撮影環境の影響を捨象することが可能となり、より判定精度が向上する。また、判定部が、各セル画像の特徴量を算出することにより、コンピュータの負荷をより軽減することが可能となる。

本発明の検知システムは、判定部が、復元プロトコルにおける復元誤差を算出するものであることにより、判定の誤り、又はその誤りの確率が数値化される。これにより、判定の精度を明確にすることができる。

本発明の検知システムは、判定部が、復元誤差から誤差基準値を生成し、判定セル画像から誤差基準値を減じてセル画像と比較するものであることにより、対象物の不良によらない誤差を捨象することが可能となり、判定の精度を向上させることができる。

図１は、本発明の検知システムの一実施形態を示す説明図である。 図２は、基準セル画像を示す説明図である。 図３は、学習データの一例を示す説明図である。 図４は、セル画像を示す説明図である。 図５は、判定セル画像を示す説明図である。 図６は、復元誤差を示す説明図である。 図７は、差分画像を示す説明図である。 図８は、結合画像を示す説明図である。 図９は、検知システムが用いられる製造ラインの模式図である。 図１０は、検知システムを用いた不良の検知を示すフローチャートである。

以下、必要に応じて図面を参照しつつ、本発明の好適な実施形態について詳細に説明する。
なお、図面中、同一要素には同一符号を付すこととし、重複する説明は省略する。
また、上下左右等の位置関係は、特に断らない限り、図面に示す位置関係に基づくものとする。更に、図面の寸法比率は図示の比率に限られるものではない。

本発明の検知システムＡは、検知の対象である対象物を撮影するカメラに接続されたコンピュータにより実行される。
図１は、本発明の検知システムＡの一実施形態を示す説明図である。
検知システムＡは、対象物を撮影して得られる画像に基づき、ＡＩを用いて対象物の良不良を検知するものであって、対象物の画像を撮影するための画像撮影部１と、基準セル画像から複数の学習データを生成するデータ生成部２と、複数の学習データを数値化し、その数値を利用して、ＡＩが判定基準を生成する判定部３と、判定基準を記録する記録部４と、を備える。
検知システムＡは、対象物Ｗの不良をカメラＣで撮影した画像により検知するものである。不良が検知されない対象物Ｗは良品であり、すなわち、検知システムＡは対象物Ｗの良不良を検知するものである。

ここで、画像撮影部１はカメラ及びコンピュータの演算部からなり、データ生成部２及び判定部３はコンピュータの演算部に相当し、記録部４は、記憶部からなる。また、コンピュータとカメラとの接続は、有線であっても無線であってもよい。

画像撮影部１においては、カメラＣは対象物Ｗ（例えば、工業的に製造されるワーク）を撮影する機能と、当該撮影した画像をデータとして記録する機能とを有する。画像の撮影を行う部位と、当該画像の記録媒体とは、同体であっても別体であってもよい。対象物Ｗの例として、食品、機械、プラスチック製品等の工業製品が挙げられ、特に限定されない。対象物Ｗを撮影するカメラＣには、公知のデジタルカメラを好適に用いることができる。
カメラＣが対象物Ｗを撮影する撮影条件は任意であるが、対象物Ｗの全体が画像に収まる撮影角度、及び距離であることが好ましい。また、対象物Ｗの背景が単色のシンプルなものであることが望ましい。また、検知しようとする部位が５×５ピクセル以上の大きさで映りこむ解像度であることが好ましい。ここで、ピクセルとは画像を構成する最小単位である正方形のマスである。
なお、カメラで対象物Ｗを撮影した画像は二次元であるため、対象物Ｗの一面の不良を検知することとなる。立体の対象物Ｗについて撮影できない部分の不良を検知したい場合、撮影角度の異なるカメラＣを複数用意してそれぞれで不良の検知を行う、対象物Ｗの向きを変えて撮影する等により対応することができる。

図２は、基準セル画像Ｐ１を示す説明図である。対象物Ｗとして、株式会社タカラトミー製のミニカーを用いた。
画像撮影部１は予め不良がないことが確認された対象物Ｗの良品を撮影した画像を、コンピュータの演算部で任意の数のセルに分割し（図２では１０）、基準セル画像Ｐ１とする機能を有する。
このとき、基準セル画像Ｐ１は矩形であり、そのサイズが８×８ピクセル以上、かつ辺を構成するピクセルがいずれも２^ｎの整数倍であることが好ましい。ここで、ｎは後述する判定部３における特徴量の注出回数である。画像撮影部１が撮影した画像は、当該条件を満たすようにリサイズされた後に分割され、分割されたセルそれぞれが基準セル画像Ｐ１となる。当該分割された基準セル画像Ｐ１の形状及びサイズについても同様の条件を満たすことが好ましい。

一方、実際の対象物Ｗの良不良を検知する場合、画像撮影部１が撮影した画像は格子状に分割され、任意の数に分割されたセル画像Ｐ３とする。そして、それぞれのセル画像Ｐ３に対して判定を行う。画像を分割することで、セル一つあたりのデータ量を抑制し、例えば１３０万画素から２０００万画素の高解像度の画像についても、画素数を維持したまま処理することができる。これにより、対象物の微細な不良を検知することが可能となる。また、１つの画像における不良部分の割合が大きくなるため、判定精度を向上させることができる。
この場合、セルの分割数は基準セル画像Ｐ１の分割数と同一、かつそれぞれのセル画像は基準セル画像Ｐ１と上述の条件を満たす同サイズとする。相当するセル単位で不良を検知することにより、細部であっても不良の検知が容易となり、判定精度を向上させることが可能となる。ちなみに、対象物Ｗが複雑な形状を有する場合等、画像を分割せずに判定を行うほうが判定精度が良好な場合、基準セル画像Ｐ１及びセル画像を分割せず、撮影した画像をそのまま用いてもよい。

データ生成部２は、画像撮影部１が撮影した画像を構成する要素を変更し、複数の学習データＤを作成する機能を有する。作成された学習データＤは、記録部４に記録される。学習データＤは、後述する判定部３が判定基準を生成するための元となるものである。データ生成部２が、学習データＤを作成することにより、不良品のサンプル画像の有無に関わらず、多数の良品のサンプル画像がある場合と同様の適切な判定基準を生成し、対象物Ｗの良不良を検知することが可能となる。
学習データＤは、データ生成部２が基準セル画像Ｐ１について要素を良品と認められる範囲内で変更することにより生成された画像である。すなわち、学習データＤは疑似的に生成された良品のサンプル画像となる。
ここで、要素の変更とは、データ上の要素を一定の範囲で変更することである。

要素としては、画像を構成する各ピクセルの明度、彩度及び色相よりなる群の少なくとも１つである。具体的には、要素の変更は、基準セル画像Ｐ１のうち任意の数のピクセルについて、明度、彩度及び色相よりなる群の少なくとも１つを変更する、及び／又は、画像全体を既定の位置からずらすことにより行われる。これにより、対象物Ｗの不良品のサンプルの有無に関わらず、容易に複数の学習データＤを生成することができる。

要素の変更を行う任意の数のピクセルは、画像全体のピクセル数と一致してもよい。すなわち、画像全体のピクセルについて要素の変更を行うことにより、画像全体の明度、彩度、及び色相が変更される。一方、任意の数を画像のピクセル数よりも小さくしてもよい。画像の一部のピクセルについて要素変更を行うことにより、一部にノイズが加わった画像となる。

図３は、学習データＤの一例を示す説明図である。セルが結合された状態の明度が変更された例を示す。
ここで、デジタルデータにおける画像は、ピクセルごとのＲＧＢ値又は明度（画像が単色画像である場合）として記録される。なお、ＲＧＢ値とは、光の三原色それぞれの強度を示す３列の文字列である。なお、検知システムＡにおいて画像が単色画像である場合、明度をＲＧＢそれぞれの値として扱うことにより、学習データＤのフォーマットを統一することができ、カラー画像と単色画像とを同一の検知システムＡにおいて利用することが可能となる。

学習データＤの生成は、基準セル画像Ｐ１のＲＧＢ値のデータを色相、彩度、明度それぞれの強度を示すＨＳＶデータへ変換して行われる。ＨＳＶデータにおいては、色相、彩度、明度がそれぞれ独立した値として記録されている。このうちの少なくとも１つ、例えば明度を変更した上で、再度ＲＧＢ値のデータに戻す変換を行い、学習データＤとする。これにより、ＲＧＢ値を直接変更した場合に起きる、明度、彩度及び色相が連動して変更され、学習データＤとして不自然な画像となることを防止でき、学習データＤとして自然な画像を得られる。また、傷や塗装不良の他、照明や時間帯による光の変化にも対応した学習データＤを生成するため、より適切な学習データＤを得ることが可能となる。ここで、データ生成部２が学習データＤを生成する場合、明度の変更幅を、対象物Ｗの良不良を区別するための境界となる限度に閾値を設定することが好ましい。この閾値を超えない範囲とすることで、対象物Ｗに対応する学習データＤを生成することができる。

要素の変更を、画像を既定の位置からずらすことにより行う場合、画像全体を任意のピクセル数だけ移動させる。すなわち、画像の横方向をＸ軸、縦方向をＹ軸、任意の点を原点としてピクセルの座標を表した場合、各ピクセルの座標を同一の値だけ変更する。このとき、空白となる領域が生じるため、当該空白の領域には背景を生成する。具体的には、空白部分のピクセルに最も近いピクセルと同じＲＧＢ値を持つピクセルとする。なお、空白の領域以外の部分のＲＧＢ値についていうと、座標変更前のＲＧＢ値が座標変更後のＲＧＢ値へと変更されることとなる。
このため、画像撮影部１が撮影する画像において、対象物Ｗは検査対象とする部位全体が収まり、画像の端部は背景であることが好ましい。また、背景が単色かつシンプルなものであることが好ましい。

学習データＤを生成するとき、要素の変更について、上述した閾値を設定し、これを超えない範囲で元となる基準セル画像Ｐ１を変更する。これにより、キズ、塗装不良、又は位置ずれ等、検知しようとする不良の種類に応じて、適切な学習データＤを生成することが可能となる。
例えば、１０ピクセルを超える位置ずれを不良として検知したい場合、学習データＤとして画像を複製する際の画像全体を既定の位置からずらす移動の上限を１０ピクセルとする。なお、位置ずれを許容せずにすべて不良として検知したい場合、移動の上限を０ピクセルとすることで、適切な判定基準を生成することができる。

学習データＤの元となる基準セル画像Ｐ１は１枚あれば足りるが、同一の対象物Ｗを異なるタイミングで撮影した複数の画像をそれぞれ基準セル画像Ｐ１とすることがより好ましい。元となる基準セル画像Ｐ１の数が多いほど、検知システムＡによる不良の検知精度が向上する。この場合、全ての基準セル画像Ｐ１からそれぞれ学習データＤが生成される。

判定部３は、データ生成部２により作成された学習データＤから、ＡＩにより判定基準を生成する機能を有する。判定基準とは、例えば画像の有する特徴量から元となる画像を復元するための復元プロトコルである。生成された判定基準は、記録部４に記録される。判定基準は、基準セル画像Ｐ１及びこれに対応するセル画像毎に生成される。
ＡＩが学習データＤを解析することにより、画像の特徴量と元となる画像の関係を定式化する。より詳しくは、複数の画像データである学習データＤを数値化し、その数値を利用して、数値からそれぞれの元の画像へと復元する復元プロトコルを定式化することで、判定基準を生成する。当該定式化により、行列の形式で表される特徴量のみの情報から、元となる画像を復元することが可能となる。

判定基準の生成にあたっては、まず判定部３が、学習データＤにおける各セルの特徴量を抽出することで数値化する。ここで、特徴量とは、当該セル画像Ｐ３の特徴を示すパラメータである。具体的には、対象物Ｗの輪郭部分等にみられる、隣接するピクセルと大きくＲＧＢ値が変換する部分の座標及びＲＧＢ値を一元的に数値化したものである。この処理により、格子状に分割された画像の一つの格子に含まれるピクセルの情報が一つの特徴量に集約され、画像のデータが数値の行列として表される。この特徴量の抽出は複数回行われることで、同一の画像データが、行及び列の数がより小さい行列として表される。すなわち、画像についてのデータ量を小さくすることができ、特徴量の注出回数が多いほど小さいデータ量で元となる画像データを表現することができる。適切な注出回数を設定して信頼度の高い特徴量を注出することで、検知システムＡによる不良の検知精度が向上する。
一方で、特徴量の抽出の処理はコンピュータの負担が大きい。画像撮影部１が撮影した画像を分割し基準セル画像Ｐ１又はセル画像Ｐ３とすることで、特徴量を抽出する画像データのデータ量を小さくすることができ、コンピュータの負担を軽減することができる。

判定部３は、学習データＤ全体について各セルの特徴量を抽出するとともに、セル毎にこれらの特徴量から元となる画像を復元する復元プロトコル（すなわち判定基準）を生成する。この復元プロトコルは、数値の行列である特徴量と、元となる基準セル画像Ｐ１との関連性を解析した結果から生成されるものであり、特徴量の情報のみから元の画像を復元するものである。

図４は、セル画像Ｐ３を示す説明図である。
上述した判定基準を生成した検知システムＡにより、実際の対象物Ｗの良不良を検知する場合、まず画像撮影部１により対象物Ｗの向き、位置、画面に占める大きさ等、基準セル画像Ｐ１に対応するように対象物Ｗの画像を撮影し、任意の数に分割したそれぞれのセルをセル画像Ｐ３とする。

図５は、判定セル画像Ｐ２を示す説明図である。
それぞれのセル画像Ｐ３から判定部３が特徴量を抽出し、当該特徴量からセル毎の判定基準によって元となるセル画像Ｐ３を復元した判定セル画像Ｐ２を生成する。当該判定セル画像Ｐ２と、セル画像Ｐ３とを比較する。この比較は、例えば判定セル画像Ｐ２のピクセルごとのＲＧＢ値から、セル画像Ｐ３の判定セル画像Ｐ２に対応するピクセルごとのＲＧＢ値を減じることにより行われる。両者のＲＧＢ値が一致すれば、ＲＧＢ値は（０，０，０）、画像としては黒色となり、復元が正確に行われたことを示す。
セル画像Ｐ２とセル画像Ｐ３との比較において、予め設定した閾値を超える差異を１つ以上のセルで検知した場合、対象物Ｗに不良があるものと判定される。閾値は、差異の大きさと、差異が生じた領域の広さ（ピクセル数）、又は、これらの関数として設定される。

セル画像Ｐ３と復元された判定セル画像Ｐ２とは、同一の撮影条件で撮影された２つの画像と同様の状態となる。判定部３がこれらを比較することにより良不良を検知するため、基準セル画像Ｐ１の撮影条件と検査対象物Ｗの撮影条件が異なる場合であっても、撮影条件の影響を捨象して良不良を検知することが可能となる。例えば、基準セル画像Ｐ１が明るい環境で撮影されたものであり、セル画像Ｐ３が暗い環境で撮影された場合でも、良不良を検知することが可能となる。
また、判定部が判定セル画像Ｐ２とセル画像Ｐ３とを比較して、対象物Ｗの良不良を検知することにより、例えば１３０万画素から２０００万画素の高解像度の画像についても、検知システムＡにおいて画素数を下げることなく扱うことが可能となる。これにより、検知システムＡにおいて、対象物Ｗの微細な不良を検知することが可能となる。

上述の判定において、予期せぬエラーにより元となったセル画像Ｐ３の復元が正確に行われない場合がある。画像全体に対して、不良の面積が５０％を占めるほど大きい場合、セル画像Ｐ３の再現が正確には行われない。この場合、不良と判定される。
また、対象物Ｗの輪郭部分においても、正確な復元がなされないことがある。この場合、セル画像Ｐ３と復元された画像を比較すると、正確に復元されなかった部分には差異が生じるため、不良と判定されてしまう。

この場合、学習データＤの作成、及び判定基準の生成時において、正確に復元がなされなかった箇所を、復元誤差ＲとしてＡＩに学習させることで、判定基準に反映する。復元誤差Ｒを用いることで、対象物Ｗの不良によらない判定の誤り、又はその誤りの確率が数値化され、判定精度が明確となる。また、判定基準に判定誤差Ｒを反映することで、判定の精度をより向上することができる。
さらに、当該復元誤差Ｒをもとに、ピクセルの座標ごとに誤差基準値を設定する。
セル画像Ｐ３との比較に際して、判定セル画像Ｐ２から誤差基準値を減じて比較する。具体的には、判定セル画像Ｐ２のピクセルごとのＲＧＢ値から、ピクセルの座標ごとに設定された誤差基準値を減じ、更にセル画像Ｐ３の対応するピクセルのＲＧＢ値を減じる。これにより、対象物Ｗの不良によらない誤差を捨象することが可能となる。これにより不正確な復元の影響を軽減でき、不良品の判定の精度を向上させることができる。

図６は、復元誤差Ｒを示す説明図であり、セルが結合された状態を示す。
対象物Ｗの判定を行う場合、近傍するピクセルの不良確率を反映することで、さらに判定精度を向上させることが可能となる。例えば、前述した復元誤差Ｒが高い対象物Ｗの輪郭付近では、近傍のピクセルにも同様に復元誤差Ｒが生じている。すなわち、あるピクセルにおいて不良が検知されている場合、これがエラーによるものであれば近傍するピクセルにおいても不良が検知されていることが多い。逆に、真に対象物Ｗに不良が生じており、これを検知しているのであれば近傍するピクセルにおいては不良が検知されていないことが多い。
したがって、近傍するピクセルの不良確率を誤差基準値に反映し、近傍するピクセルで不良が生じていない場合、当該ピクセルの誤差基準値を減じることで、対象物Ｗの不良によらない不一致点を捨象し、判定精度を向上させることが可能となる。例えば、対象物Ｗの輪郭付近では、一つのピクセルに近傍するピクセルの不良確率が高いため、当該一つのピクセルの誤差基準値は大きくなる。

図７は、差分画像Ｐ４を示す説明図であり、セルが結合された状態を示す。
差分画像Ｐ４は、セル画像Ｐ３と判定部３により復元された判定セル画像Ｐ２との差分を取ることで作成される画像である。差がない、又は小さい、すなわち不良がなく画像が完全に復元されたピクセルにおいては、両者の差分はゼロとなり、黒く表示される。一方で、差が大きいピクセルにおいては、差分画像Ｐ４の輝度が高くなる。すなわち、不良が存在する場合の差分画像Ｐ４は、不良部分だけが明るく表示されたものとなる。

図８は、結合画像Ｐ５を示す説明図であり、セルが結合された状態を示す。
結合画像Ｐ５は、差分画像Ｐ４を、元のセル画像Ｐ３と結合することにより作成される。結合画像Ｐ５においては、不良の発生個所のみが明るく表示される。これにより、不良の発生を視覚的に確認することが可能となる。

検知システムＡにおいては、表示部５を更に備え、上述した差分画像Ｐ４や結合画像Ｐ５を表示させることにより、不良の発生を判定と同時的に、目視で確認することが可能となる。

図９は、検知システムＡが用いられる製造ラインの模式図である。
検知システムＡは、各種の搬送装置に沿って加工機械又は加工のための人員が配設された製造部６を備える製造ラインに設置して用いられる。ここで、検知システムＡが不良を検知する対象物Ｗは、当該製造ライン上で製造される物品である。
このとき、検知システムＡの判定部３と、製造部６とを連動させることにより、歩留まりを向上させることが可能となる。
具体的には、検知システムＡが不良を検知した場合、製造部６を停止させることで、不良の発生原因を特定し、補修することが容易となり、歩留まりを向上させることができる。

図１０は検知システムＡを用いた不良の検知を示すフローチャートである。
ここで、検知システムＡを用いた不良の検知方法について述べる。これは、検知システムＡを用いて対象物Ｗの不良を検知する不良の検知方法であって、画像撮影部１が対象物Ｗを撮影し、基準セル画像Ｐ１とする基準セル画像撮影ステップＳ１と、データ生成部２が基準セル画像Ｐ１を基に学習データＤを生成する学習データ生成ステップＳ２と、判定部３が学習データＤを基に判定基準を生成し、記録部４が当該判定基準を記録する判定基準生成ステップＳ３と、画像撮影部１により、検査対象である対象物Ｗの画像を撮影し、セル画像Ｐ３とするセル画像撮影ステップＳ４と、判定部３が判定基準により、セル画像Ｐ３を基に判定セル画像Ｐ２を作成する判定セル画像作成ステップＳ５と、判定部３がセル画像Ｐ３と判定セル画像Ｐ２とを比較することで、対象物Ｗの不良を検知する検知ステップＳ６と、を有する。
上述したように学習データＤの生成、及び学習データＤを基にした判定基準の生成は、コンピュータにより行われる。学習データＤの生成とこれを基にした判定基準の生成を繰り返すことにより、判定基準とこれに基づく不良の検知の精度が向上する。すなわち、ＡＩが自己学習を行うことで学習データＤ及び判定基準の生成が行われる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。

本実施形態において、セル画像Ｐ３と判定セル画像Ｐ２との比較は、セルに分割された状態で行っているが、セル画像Ｐ３と判定セル画像Ｐ２との比較、差分画像Ｐ４の生成、及び、セル画像Ｐ３と差分画像Ｐ４との結合は、画像がセルに分割された状態であっても、分割されたセルを再結合し１枚の画像とした状態であっても、行うことが可能である。

本実施形態において基準セル画像Ｐ１及び判定セル画像Ｐ２は矩形であるが、両者が同一の形状であれば、これらの形状は任意である。

本実施形態において、結合画像Ｐ４は不良部分が明るく表示されるものであるが、不良部分を視認しやすいものであれば、着色等の視覚効果を任意に付与してもよい。

本実施形態において学習データＤは予め撮影された基準セル画像Ｐ１を基に生成されたもののみを用いているが、判定に用いたセル画像Ｐ３及び判定結果を学習データＤとして判定部３にフィードバックし、判定基準を更新することが可能である。これにより、学習データＤを増やすことができ、判定精度が向上する。

検知システムＡは、カメラＣの設置が可能な製造ラインにおいて、幅広く用いることが可能である。

Ａ・・・検知システム
１・・・画像撮影部
２・・・データ生成部
３・・・判定部
４・・・記録部
５・・・表示部
６・・・製造部
Ｗ・・・対象物
Ｃ・・・カメラ
Ｐ１・・・基準セル画像
Ｐ２・・・判定セル画像
Ｐ３・・・セル画像
Ｐ４・・・差分画像
Ｐ５・・・結合画像
Ｄ・・・学習データ
Ｒ・・・復元誤差
Ｓ１・・・基準セル画像撮影ステップ
Ｓ２・・・学習データ生成ステップ
Ｓ３・・・判定基準生成ステップ
Ｓ４・・・セル画像撮影ステップ
Ｓ５・・・判定セル画像作成ステップ
Ｓ６・・・検知ステップ

Claims (6)

1. 対象物を撮影して得られる画像に基づき、ＡＩを用いて該対象物の良不良を検知する検知システムであって、
   予め不良のない前記対象物の良品を撮影し、基準セル画像とする画像撮影部と、
   前記基準セル画像を構成する要素を良品と認められる範囲内で変更した画像である学習データを、複数生成するデータ生成部と、
   複数の前記学習データを数値化し、その数値を利用して、ＡＩが判定基準を生成する判定部と、
   前記判定基準を記録する記録部と、
   を備え、
   前記画像撮影部が、検知の対象となる前記対象物を、前記基準セル画像に対応するように撮影し、セル画像とするものであり、
   前記判定基準が、各前記基準セル画像の特徴量から元となる前記基準セル画像を復元するための復元プロトコルであり、
   前記判定部が、各前記セル画像を数値化して特徴量を算出し、該特徴量及び前記復元プロトコルから判定セル画像を生成するものであり、
   前記判定部が前記判定セル画像と前記セル画像とを比較して、１つ以上の前記セルにおいて予め設定した閾値を超えた場合に、前記対象物を不良品と検知するものであり、
   前記判定部が、前記復元プロトコルにおける復元誤差を算出するものであり、
   前記判定部が、前記復元誤差から誤差基準値を生成し、
   前記判定セル画像から該誤差基準値を減じて前記セル画像と比較するものである検知システム。
2. 前記基準セル画像が、前記画像撮影部が撮影した画像を任意の数のセルに分割したものの中の１つであり、
   前記セル画像が、前記画像撮影部が撮影した画像を任意の数のセルに分割したものの中の１つであり、
   前記判定基準が、分割したセル毎に生成される請求項１記載の検知システム。
3. 前記要素が、前記基準セル画像の任意の数のピクセルにおける、明度、彩度及び色相からなる群より選ばれる少なくとも１つである請求項１又は２記載の検知システム。
4. 前記要素の変更が、前記基準セル画像全体を既定の位置からずらすことにより行われるものである請求項１〜３いずれか１項に記載の検知システム。
5. 前記基準セル画像が矩形であり、８×８ピクセル以上の大きさであり、
   前記基準セル画像の辺を構成するピクセルがいずれも２^ｎの整数倍であり、該ｎが前記判定部による前記特徴量の注出回数である請求項１〜４いずれか１項に記載の不良検知システム。
6. 前記要素の変更が、前記基準セル画像のＲＧＢ値のデータをＨＳＶデータへ変換して行われるものである請求項１〜５いずれか１項に記載の不良検知システム。
   

Images