JP7345764B2 - 検査システムおよび検査プログラム - Google Patents

Description

本発明は、検査対象を撮像した撮像画像に基づいて、検査対象の良否を判定する検査システムおよび検査プログラムに係り、特に、工場のラインで製造された既知の検査対象に外観上の不良がないか否かの検査に関する。

従来、検査対象を撮像した撮像画像に基づいて、検査対象の良否を判定する検査システムが知られている。例えば、特許文献１には、検査対象の不良品がない場合や少ない場合であっても、検査対象の画像の特徴量を自動で学習する画像検査装置が開示されている。この検査装置は、特徴量学習部と、識別器学習部と、特徴量算出部と、識別部とを有する。特徴量学習部は、検査対象を含む学習用画像に基づいて、ニューラルネットワークの学習を行い、学習用画像を復元できる特徴量を出力する学習済みのニューラルネットワークを構築する。識別器学習部は、特徴量学習部の学習完了後、学習済みのニューラルネットワークが出力した学習用画像の特徴量に基づいて、検査対象の良否を判定する識別器を学習により生成する。特徴量算出部は、検査対象を含む判定用画像を学習済みのニューラルネットワークに入力し、判定用画像の特徴量を出力する。識別部は、特徴量算出部より出力された判定用画像の特徴量の入力に基づいて、検査対象の良否判定を行う。

また、特許文献２には、サンプル画像が少ない場合でも、検査対象の良否判定の精度を向上させる検査装置が開示されている。この検査装置は、分割処理部と、分類部と、判定部とを有する。分割処理部は、検査対象の撮像画像を複数の撮像分割画像に分割する。分類部は、学習用画像を複数に分割することによって得られる学習用分割画像のそれぞれについて、学習用分割画像を機械学習することによって抽出した特徴量に基づいて、複数の撮像分割画像のそれぞれを分類する。そして、判定部は、分類部によって分類された撮像分割画像のそれぞれに基づいて、検査対象の良否判定を行う。なお、特許文献２は、学習サンプル数の水増しを目的とするため、判定モデルが複数存在する点については記載されていない。

特開２０１９－８７１８１号公報 特開２０１７－２１１２５９号公報

Ogata, J. and Murakawa, M.: Vibration-Based Anomaly Detection Using FLAC Features for Wind Turbine Condition Monitoring (2016)

しかしながら、上述した特許文献１では、上述した従来技術は、検査対象全体としての良否を判定するものであって、これよりも高い空間分解能、すなわち、検査対象を細分化した部分単位での良否判定はできない。また、特許文献２では、発明の副産物として部分単位での良否判定が可能なものの、各部分に対して最適なモデルを学習することは考慮されていない。例えば、半導体のピン部分と、モールド部分との正常な状態の違いを考慮した学習は行っていない。

また、正常な状態の違いを考慮した学習方法として、混合ガウシアンモデルを活用した学習手法なども提案されているが（例えば、非特許文献１）、学習に要する時間の増大や、クラスタ数などのパラメータをタスクに対して最適に設定する必要があるなど、運用面での課題が残っている。

そこで、本発明の目的は、工場のラインで製造された既知の検査対象に外観上の不良がないか否かの検査において、短時間かつタスクに依存しない方法で各部位に対して最適なモデルを学習し、検査対象を細分化した部分単位で検査結果を得ることである。

かかる課題を解決すべく、第１の発明は、位置補正部と、部分画像生成部と、判定部とを有し、工場のラインで製造された既知の検査対象に外観上の不良がないか否かを検査する検査システムを提供する。位置補正部は、既知の検査対象を撮像した撮像画像において、検査対象が表されている対象領域が所定の基準位置に合うように補正する。部分画像生成部は、補正された撮像画像を細分化して、複数の部分画像を生成する。判定部は、部分画像毎に割り当てられ、かつ、教師なし学習ベースの機械学習手法を用いて検査対象の検査に先立ち構築された複数の機械学習モデルを有し、特定の部分画像に関して高次局所自己相関によって抽出された特徴量を、特定の部分画像に対応するいずれかの機械学習モデルに入力することによって、検査対象に外観上の不良がないか否かの検査結果を部分画像毎に出力する。

ここで、第１の発明において、部分画像毎に出力された検査結果に基づいて、撮像画像の座標系において、部分画像のサイズ相当の分解能で検査の良否を示す検査結果画面を生成する画面生成部を設けることが好ましい。また、上記部分画像生成部は、撮像画像における対象領域のみを判定対象として、補正された撮像画像を細分化してもよい。また、上記部分画像生成部は、互いに隣り合った部分画像が部分的にオーバーラップするように、補正された撮像画像を細分化してもよい。さらに、部分画像のサイズ相当の画像サイズを有する学習データを用いて、複数の機械学習モデルのそれぞれの学習を個別に行う学習処理部を設けてもよい。

第２の発明は、以下のステップを有し、工場のラインで製造された既知の検査対象に外観上の不良がないか否かを検査する処理をコンピュータに実行させる検査プログラムを提供する。第１のステップでは、既知の検査対象が被写体として撮像され、かつ、前記検査対象が表されている対象領域が所定の基準位置に合うことが保証された撮像画像を細分化して、複数の部分画像を生成する。第２のステップでは、複数の部分画像のいずれかを処理対象とし、この部分画像に関して高次局所自己相関によって抽出された特徴量を、この部分画像に割り当てられ、かつ、教師なし学習ベースの機械学習手法を用いて検査対象の検査に先立ち構築された機械学習モデルに入力することによって、この部分画像について、検査対象に外観上の不良がないか否かの検査結果を出力する。第３のステップでは、処理対象の移行に応じて、適用する機械学習モデルを変えながら、複数の部分画像の全ての処理が終了するまで、上記第２のステップを繰り返す。

ここで、第２の発明において、部分画像毎に出力された検査結果に基づいて、撮像画像の座標系において、部分画像のサイズ相当の分解能で検査の良否を示す検査結果画面を生成する第４のステップを有する処理をコンピュータに実行させることが好ましい。また、上記第１のステップは、撮像画像における対象領域のみを判定対象として、撮像画像を細分化してもよい。また、上記第１のステップは、互いに隣り合った部分画像が部分的にオーバーラップするように、撮像画像を細分化してもよい。さらに、部分画像のサイズ相当の画像サイズを有する学習データを用いて、複数の機械学習モデルのそれぞれの学習を個別に行う第５のステップを有する処理をコンピュータに実行させてもよい。

本発明によれば、検査対象が表されている対象領域の位置合わせを行った上で、撮像画像を複数の部分画像に細分化する。これにより、それぞれの部分画像に検査対象のどの部分が表されているかが定まる。それぞれの部分画像に対して、その特徴に特化し、かつ、教師なし学習ベースの機械学習手法を用いて検査対象の検査に先立ち構築された機械学習モデルを個別に割り当てる。そして、特定の部分画像に関して高次局所自己相関によって抽出された特徴量を、この部分画像に対応するいずれかの機械学習モデルに入力することによって、部分画像毎の検査結果を得る。高次局所自己相関は、汎用かつ高速な特徴抽出法であり、工場のラインで製造された既知の検査対象の外観不良を検査する用途に適している。その結果、このような外観不良の検査において、短時間かつタスクに依存しない方法で、部分画像毎の検査を学習的に適応化／最適化することができる。

検査システムのブロック図 検査対象の検査手順を示すフローチャート 撮像画像の一例を示す図 位置補正の説明図 画像細分化の一例の説明図 マスク画像の説明図 画像細分化の別の例の説明図 検査結果画面の表示例を示す図

図１は、本実施形態に係る検査システムのブロック図である。この検査システム１は、既知の検査対象を撮像した撮像画像に基づいて、検査対象の良否を判定する。検査システム１は、カメラ２と、位置補正部３と、部分画像生成部４と、特徴量抽出部５と、判定部６と、学習処理部７と、記憶部８と、画面生成部９とを主体に構成されている。

カメラ２は、検査対象を撮像して、所定サイズの撮像画像を出力する。位置補正部３は、カメラ２より出力された撮像画像の平面上において、検査対象が表されている領域（以下、「対象領域Ａ」と称する。）が所定の基準位置に合うように補正、すなわち位置決めを行う。この位置決め手法としては、既知の手法を任意に採用することができるが、本実施形態では、検査対象となる撮像画像と、予め用意された基準画像とのズレをテンプレートマッチングなどで計測し、このズレが解消するように、アフィン変換を用いて撮像画像を補正する。なお、位置補正部３としては、上記のような画像処理に限らず、被写体である検査対象を所定の基準位置に揃えるための治具といった機械的な仕組みであってもよい。このような位置補正部３を設けることによって、撮像画像上において、対象領域Ａが所定の基準位置に合うことが保証される。

なお、次の部分画像生成部４の処理に先立ち、必要に応じて、撮像画像に対して輝度補正や各種フィルタリング処理といった所定の前処理を行ってもよい。この前処理は、位置補正部３の後段の処理として行ってもよいし、位置補正部３の前段の処理として行ってもよい。

部分画像生成部４は、位置補正部３によって補正された撮像画像、換言すれば、画像平面上において対象領域Ａが所定の基準位置に合うことが保証された撮像画像を細分化して、複数の部分画像ＰＢを生成する。例えば、撮像画像を横方向にｉ個、縦方向にｊ個のに分割した場合、矩形状の部分画像ＰＢがｉ×ｊ個生成される。

特徴量抽出部５は、画像データの冗長性を低減すべく、撮像画像を細分化することによって得られた部分画像ＰＢのそれぞれについて、その特徴量を個別に抽出する。特徴量の抽出手法としては、既知の手法を任意に採用することができるが、本実施形態では、高次局所自己相関（ＨＬＡＣ：Higher-order Local Auto Correlation）を用いている。ＨＬＡＣとは、画像の解析や認識等に用いられる認識精度に優れた汎用かつ高速な特徴抽出法である。このメリットとしては、積和演算のみで算出可能なので、検査対象の形状や大きさを瞬時に計算できること、位置不変性（認識対象の位置に依存しない）という特性から、対象の切り出しを必要としないこと（セグメンテーションフリー）、および、加法性（対象が２つあればそれぞれの特徴ベクトルの和となる）といった、画像認識にとって好ましい性質を備えていることが挙げられる。なお、ＨＬＡＣの詳細については、例えば、特開２００８－４６９０３号公報や特開２００８－１８５８４５号公報などに記載されているので、必要ならば参照されたい。

判定部６は、個々の部分画像ＰＢに対応して割り当てられた複数の機械学習モデル６ａを備えており、検査結果を部分画像ＰＢ単位で出力する。特定の部分画像、例えば、部分画像ＰＢ（１，１）に関するデータは、同図における最上段の機械学習モデル６ａに入力され、この部分画像ＰＢ（１，１）に関する検査結果が出力される。同様に、部分画像ＰＢ（１，２）に関するデータは、同図における上から２段目の機械学習モデル６ａに入力され、この部分画像ＰＢ（１，２）に関する検査結果が出力される。これにより、判定部６全体では、ｉ×ｊ個の機械学習モデル６ａの出力として、ｉ×ｊ個の検査結果が得られることになる。検査結果は、ＯＫ／ＮＧを示す二値データであってもよいし、検査結果の指標としてのスコア値であってもよい。機械学習モデル６ａとしては、例えば、部分空間法、マハラノビス距離、オートエンコーダー、１classサポートベクターマシン（1ｃlassＳＶＭ）などの教師なし学習ベースの機械学習手法を用いることができる。判定部６を構成する個々の機械学習モデル６ａより出力された検査結果は、部分画像ＰＢの座標値と対応付けて、記憶部８に記憶される。

学習処理部７は、部分画像ＰＢのサイズ相当の学習データを用いて、判定部６を構成する複数の機械学習モデル６ａの学習を個別に行う。これにより、それぞれの機械学習モデル６ａについて、これが対応する部分画像ＰＢにおける撮像状態の特徴（テクスチャ）を反映した形でモデルが構築される。なお、検査対象の検査は、学習処理部７によって機械学習モデル６ａの学習が完了していることを前提として行われる。

画面生成部９は、記憶部８より部分画像ＰＢ毎の検査結果を読み込み、検査結果画面を生成する。画面生成部９によって生成された検査結果画面は、図示しない表示装置を介してユーザに提示される。

図２は、検査対象の検査手順を示すフローチャートである。まず、ステップ１において、既知の検査対象がカメラ２によって撮像され、撮像画像が取得される。図３に示すように、撮像画像には、検査対象の一例として、工場のラインで製造されたプリント基板が写し出されており、このプリント基板に外観上の不良がないかが検査される。

ステップ２において、位置補正部３は、ステップ１で取得された撮像画像の位置補正を行う。具体的には、図４に示すように、まず、位置補正に先立ち、位置的な基準を与える基準画像が予め用意されている。つぎに、基準画像において検査対象が表されている対象領域Ａと、撮像画像において検査対象が表されている対象領域Ａとを比較して、前者に対して後者がどの程度ズレているかが計測される。この計測は、テンプレートマッチングなどを用いて行うことができる。そして、計測されたズレ量が解消するように、アフィン変換を用いて撮像画像が補正される。これにより、撮像画像上の対象領域Ａは、基準画像の指定どおりに位置決めされる。

ステップ３において、部分画像生成部４は、ステップ２で補正された撮像画像を細分化して、複数の部分画像ＰＢを生成する。図５に示すように、撮像画像の全体が例えば１１×８個に分割される。ただし、本実施形態では、不要な演算をなくすために、撮像画像全体ではなくその一部、すなわち対象領域Ａのみを判定対象としている。そのために、図６に示すようなマスク画像を適用して、対象領域Ａに相当する領域（白色で図示した領域）のみが抽出される。なお、撮像画像の細分化は、図５に示した手法以外に図７に示すような手法で行ってもよい。図７の例では、互いに隣り合った部分画像（例えば、ＰＢ（１，１）およびＰＢ（２，１））が部分的にオーバーラップするように、撮像画像の細分化が行われる。

ステップ４において、特徴量抽出部５は、ある部分画像（例えばＰＢ（１，１））の特徴量を抽出する。つぎに、判定部６は、この部分画像に対応する機械学習モデル６ａを指定した上で（ステップ５）、この機械学習モデル６ａに部分画像に関するデータ（特徴量）を入力する。これによって、この部分画像に関する検査結果が機械学習モデル６ａより出力される（ステップ６）。出力された検査結果は、撮像画像上の座標付きで記憶部８に格納される（ステップ７）。

ステップ８において、全ての部分画像の処理が終了したかが判定される。未処理の部分画像が残っている場合には、次の部分画像の処理に移行して、ステップ４～７の処理が実行され、全ての部分画像の処理が終了するまで繰り返される。

そして、全ての部分画像の処理が終了すると、ステップ１０に進み、画面生成部９は、記憶部８から全ての部分画像の判定結果を読み出し、これに基づいて検査結果画面を生成する。図８は、検査結果画面の表示例を示す図である。この検査結果画面は、撮像画像の座標系において、部分画像のサイズ相当の分解能で検査の良否を示しており、斜線で覆われた領域がＮＧである。生成された検査結果画面は、検査者が閲覧する表示装置上に表示される。これにより、検査者は、検査対象のどの領域がＮＧであるかを容易に理解できる。

このように、本実施形態によれば、検査対象が表されている対象領域Ａの位置合わせを行った上で、撮像画像を複数の部分画像ＰＢに細分化する。これにより、それぞれの部分画像ＰＢに検査対象のどの部分が表されているかが定まる。そして、それぞれの部分画像ＰＢに対して、その特徴（テクスチャ）に特化して構築された機械学習モデル６ａを個別に割り当てる。その結果、短時間かつタスクに依存しない方法で、部分画像ＰＢのサイズに相当する空間分解能で検査結果を得ることができ、部分画像毎の検査を学習的に適応化／最適化することができる。

なお、本発明は、図２のフローチャートに示した手順をコンピュータに実行させる検査プログラムとして捉えることもできる。

１ 検査システム
２ カメラ
３ 位置補正部
４ 部分画像生成部
５ 特徴量抽出部
６ 判定部
６ａ 機械学習モデル
７ 学習処理部
８ 記憶部
９ 画面生成部

Claims (10)

1. 工場のラインで製造された既知の検査対象に外観上の不良がないか否かを検査する検査システムにおいて、
   既知の検査対象を撮像した撮像画像において、前記検査対象が表されている対象領域が所定の基準位置に合うように補正する位置補正部と、
   前記補正された撮像画像を細分化して、複数の部分画像を生成する部分画像生成部と、
   部分画像毎に割り当てられ、かつ、教師なし学習ベースの機械学習手法を用いて前記検査対象の検査に先立ち構築された複数の機械学習モデルを有し、特定の部分画像に関して高次局所自己相関によって抽出された特徴量を、当該特定の部分画像に対応するいずれかの機械学習モデルに入力することによって、前記検査対象に外観上の不良がないか否かの検査結果を部分画像毎に出力する判定部と
   を有することを特徴とする検査システム。
2. 前記部分画像毎に出力された前記検査結果に基づいて、前記撮像画像の座標系において、前記部分画像のサイズ相当の分解能で検査の良否を示す検査結果画面を生成する画面生成部をさらに有することを特徴とする請求項１に記載された検査システム。
3. 前記部分画像生成部は、前記撮像画像における前記対象領域のみを判定対象として、前記補正された撮像画像を細分化することを特徴とする請求項１に記載された検査システム。
4. 前記部分画像生成部は、互いに隣り合った部分画像が部分的にオーバーラップするように、前記補正された撮像画像を細分化することを特徴とする請求項１に記載された検査システム。
5. 前記部分画像のサイズ相当の画像サイズを有する学習データを用いて、前記複数の機械学習モデルのそれぞれの学習を個別に行う学習処理部をさらに有することを特徴とする請求項１から４のいずれかに記載された検査システム。
6. 工場のラインで製造された既知の検査対象に外観上の不良がないか否かを検査する検査プログラムにおいて、
   既知の検査対象が被写体として撮像され、かつ、前記検査対象が表されている対象領域が所定の基準位置に合うことが保証された撮像画像を細分化して、複数の部分画像を生成する第１のステップと、
   前記複数の部分画像のいずれかを処理対象とし、当該部分画像に関して高次局所自己相関によって抽出された特徴量を、当該部分画像に割り当てられ、かつ、教師なし学習ベースの機械学習手法を用いて前記検査対象の検査に先立ち構築された機械学習モデルに入力することによって、当該部分画像について、前記検査対象に外観上の不良がないか否かの検査結果を出力する第２のステップと、
   前記処理対象の移行に応じて、適用する機械学習モデルを変えながら、前記複数の部分画像の全ての処理が終了するまで、上記第２のステップを繰り返す第３のステップと
   を有する処理をコンピュータに実行させることを特徴とする検査プログラム。
7. 前記部分画像毎に出力された前記検査結果に基づいて、前記撮像画像の座標系において、前記部分画像のサイズ相当の分解能で検査の良否を示す検査結果画面を生成する第４のステップをさらに有する処理をコンピュータに実行させることを特徴とする請求項６に記載された検査プログラム。
8. 前記第１のステップは、前記撮像画像における前記対象領域のみを判定対象として、前記撮像画像を細分化することを特徴とする請求項６に記載された検査プログラム。
9. 前記第１のステップは、互いに隣り合った部分画像が部分的にオーバーラップするように、前記撮像画像を細分化することを特徴とする請求項６に記載された検査プログラム。
10. 前記部分画像のサイズ相当の画像サイズを有する学習データを用いて、前記複数の機械学習モデルのそれぞれの学習を個別に行う第５のステップをさらに有する処理をコンピュータに実行させることを特徴とする請求項６から９のいずれかに記載された検査プログラム。

Images