JP7386287B1 - 検査方法及び検査装置 - Google Patents

Abstract

【課題】対象物の異常判定に関する精度を向上させることが可能な検査方法を提供する。【解決手段】検査方法は、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得するステップと、ｍ個の画素を含む対象物Ｍの対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得するステップと、ｍ個の要素を含むｎ個の正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ｍ個の要素を含む対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出するステップと、回帰モデルの係数及びｎ個の正常画像ベクトルに基づいて対象物画像ベクトルを近似する対象物画像の再構成ベクトルを算出するステップと、対象物画像ベクトルと再構成ベクトルとの差分を再構成誤差ベクトルとして算出するステップと、再構成誤差ベクトルの要素の値に基づいて対象物の異常の有無を判定するステップと、を含む。【選択図】図３

Description

本開示は、検査方法及び検査装置に関する。

従来、対象物をカメラで撮像して得られた画像に基づいて、対象物の異常を検出する技術が知られている。例えば特許文献１には、対象物の欠損、誤配置、欠陥などを含む異常の有無を検査する検査装置が開示されている。このような検査装置は、対象物及びカメラの確実な固定並びに対象物を撮像して取得した画像データの画素ごとの高精度な位置合わせを行うといった制約を緩和する。

特許第６２４１５７６号公報

しかしながら、従来技術では、異常を含まない対象物の画像データに対してデータの次元を減らす次元圧縮が行われているため、異常判定に関して十分な精度が得られていなかった。

本開示は、対象物の異常判定に関する精度を向上させることが可能な検査方法及び検査装置を提供することを目的とする。

本開示の一実施形態に係る検査方法は、
対象物を撮像して得られた画像に基づき前記対象物を検査する検査方法であって、
ｍ個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、ｎ枚の前記正常画像を用いて、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得するステップと、
ｍ個の画素を含む前記対象物の対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得するステップと、
ｍ個の要素を含むｎ個の前記正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ｍ個の要素を含む前記対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出するステップと、
前記回帰モデルの係数及びｎ個の前記正常画像ベクトルに基づいて前記対象物画像ベクトルを近似する前記対象物画像の再構成ベクトルを算出するステップと、
前記対象物画像ベクトルと前記再構成ベクトルとの差分を再構成誤差ベクトルとして算出するステップと、
前記再構成誤差ベクトルの要素の値に基づいて前記対象物の異常の有無を判定するステップと、
を含む。

本開示の一実施形態に係る検査装置は、
対象物を撮像して得られた画像に基づき前記対象物を検査する検査装置であって、
制御部を備え、
前記制御部は、
ｍ個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、ｎ枚の前記正常画像を用いて、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得し、
ｍ個の画素を含む前記対象物の対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得し、
ｍ個の要素を含むｎ個の前記正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ｍ個の要素を含む前記対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出し、
前記回帰モデルの係数及びｎ個の前記正常画像ベクトルに基づいて前記対象物画像ベクトルを近似する前記対象物画像の再構成ベクトルを算出し、
前記対象物画像ベクトルと前記再構成ベクトルとの差分を再構成誤差ベクトルとして算出し、
前記再構成誤差ベクトルの要素の値に基づいて前記対象物の異常の有無を判定する。

本開示の一実施形態に係る検査方法及び検査装置によれば、対象物の異常判定に関する精度を向上させることが可能である。

本開示の一実施形態に係る検査装置の構成を示す概略構成図である。 図１の検査装置の動作の一例を説明するための模式図である。 図１の検査装置によって実行される検査方法の一例を示すフローチャートである。 対象物の正常画像の第１例を示す模式図である。 対象物の正常画像の第２例を示す模式図である。 対象物の正常画像の第３例を示す模式図である。 対象物の正常画像の第４例を示す模式図である。 対象物の正常画像の第５例を示す模式図である。 対象物の正常画像の第６例を示す模式図である。 対象物の正常画像の第７例を示す模式図である。 対象物の正常画像の第８例を示す模式図である。 検査対象となる対象物の対象物画像の一例を示す模式図である。 図５の対象物画像に対する再構成画像の一例を示す模式図である。 図５の対象物画像に対する再構成誤差画像の一例を示す模式図である。 図７の再構成誤差画像を二値化した画像の一例を示す模式図である。

従来技術の背景及び問題点についてより詳細に説明する。

検査対象となる対象物を可視光、紫外線、赤外線、Ｘ線などを含む電磁波を用いて撮像を行うカメラから得られた画像に基づいて対象物の異常を検出する技術が知られている。このような技術は、最終製品又は中間製品の品質を管理する上で重要である。

従来、画像中の異常を検出するために、異常部の輝度、色調、テキスチャーなどが、異常部以外の部分、すなわち正常部と異なる特徴を示すことが利用されている。従来、異常部と正常部との間の画素値の差異に基づいて、異常部の有無の判定及び異常部の位置の同定を行う方法が知られている。例えば、異常部の輝度が正常部よりも低い場合、画素値があらかじめ定められた閾値よりも小さい部分を異常部として検出することが可能である。

しかしながら、このような方法では、例えば、対象物の温度の変動などにより当該画像の画素値の平均的なレベルが変動した場合に異常部を検出できなかったり（未検出）、あるいは正常部を異常部と判断したりする（過検出）といった問題が生じていた。

別の方法として、異常を含まない対象物の画像を基準画像とし、当該基準画像と検査対象となる対象物の画像との差分を含む画像を算出してその画素値があらかじめ定められた閾値を超える部分を異常部として検出する方法も知られている。しかしながら、このような方法では、例えば、対象物の温度の変動などにより当該画像の画素値の平均的なレベルが変動した場合に基準画像とのレベルの差が大きくなり、過検出が生じるという問題が生じていた。また、基準画像内の対象物と、検査対象となる画像内の対象物との間の位置を正確に合わせる必要があるという問題も生じていた。

これに対し、特許文献１に記載の検査装置は、異常を含まない対象物の画像データに対してデータの次元を低減させる次元圧縮を実行する。当該検査装置は、異常を含まない対象物の画像データの性質を表すパラメータを算出する。当該検査装置は、検査する対象物の画像データを、当該パラメータを用いて次元圧縮する。当該検査装置は、次元圧縮された検査する対象物の画像データを復元した復元データを生成する。当該検査装置は、検査する対象物の画像データと復元データとの差分の大小に基づいて、検査する対象物が異常であるか否かを判定する。

しかしながら、特許文献１に記載の検査装置は、異常を含まない対象物の画像データに対してデータの次元を低減させる次元圧縮を実行するため、以下のような問題を有する。

次元圧縮の方法として、特許文献１に記載の主成分分析について説明する。次元圧縮の対象となる正常画像のデータ数をＮとし、画像データ１枚ごとの画素の総数をＫとする。例えば、Ｎの値は１００、１０００などであり、Ｋの値は画像が６４０×４８０画素であれば３０７２００である。特許文献１に記載の検査装置は、主成分分析によってｄ次元の主成分を算出すると、ｄ≦Ｋであり、ｄ＋１次元以上を捨てることでＮ次元の画像データをｄ次元に圧縮する。

特許文献１に記載の検査装置は、画像データ中の各画素の値を変数とし、各画像データを観測値としている。しかしながら、上記のように、一般的に画像データの画素数Ｋは、画像データ数Ｎよりもはるかに大きい。この場合、主成分分析における変数の数Ｋが観測値Ｎよりもはるかに大きくなり、主成分分析における分散共分散行列のランク落ちが生じる。すなわち、用いることができる主成分の数は、ｄ≦Ｎ＜Ｋを満たすｄ以下となる。

さらに、画像において対象物以外を示す部分、すなわち背景部分は、どの画像でも０などの一定値を示すことが多い。このような場合、当該画素値に対する変数はすべての観測値に対して同一の値となる。このような画素が複数存在すると、多重共線性によってさらなるランク落ちが生じる。結果として、主成分分析が正しく行われず、対象物の異常判定に関する精度が十分に得られていなかった。

特許文献１に記載の検査装置は画像を圧縮しているので、元の画像に含まれていた詳細なデータを削減して情報を失うことになる。したがって、特許文献１に記載の検査装置は、対象物の微細な傷などの小さな異常を検出することが困難である。したがって、対象物の異常判定に関する精度が十分に得られていなかった。

本開示は、以上のような問題点を解決するために、対象物の異常判定に関する精度を向上させることが可能な検査方法及び検査装置を提供することを目的とする。本開示は、検査対象となる対象物の画像から、対象物の異常を検出する検査方法及び検査装置に関する。以下では、添付図面を参照しながら本開示の一実施形態について主に説明する。

（構成）
図１は、本開示の一実施形態に係る検査装置１０の構成を示す概略構成図である。図１を参照しながら、本開示の一実施形態に係る検査装置１０の構成について主に説明する。

検査装置１０は、生産管理システム１に接続されている。検査装置１０は、カメラ２によって撮像された対象物Ｍの画像を取得する。対象物Ｍは、生産管理システム１により生産されている。検査装置１０は、当該画像に基づき、検査対象となる対象物Ｍを検査する。より具体的には、検査装置１０は、当該画像に基づき対象物Ｍの異常を検出する。本明細書において、「対象物Ｍの異常」は、例えば対象物Ｍの疵、割れ、汚れ、変形、欠損、欠陥などを含む。

本明細書において、「対象物Ｍ」は、例えば工業的に大量生産される最終製品及び中間製品を含む製品であって、製造された製品のばらつきが小さく、形状、色、温度などがほぼ同一であること、並びに撮像するときの位置及び角度のずれが小さいことを満たす製品を含む。より具体的には、対象物Ｍは、印刷物、プリント基板、金属製品、樹脂製品などを含む。

検査装置１０は、例えば印刷物における印刷不良部、プリント基板上の部品及び回路の欠損、金属製品の表面の疵及び汚れ、樹脂製品の表面の疵及び汚れ、樹脂製品の成形時のバリ及び欠損などを含む異常を検出するための、画像処理による外観検査に応用可能である。

検査装置１０は、画像入力部１１と、記憶部１２と、入力部１３と、出力部１４と、制御部１５と、を有する。

画像入力部１１は、カメラ２から出力される対象物Ｍの画像を取得可能な任意のモジュールを含む。例えば、画像入力部１１は、カメラ２の通信規格に対応する通信モジュールを含む。検査装置１０は、画像入力部１１を介してカメラ２に接続されている。画像入力部１１は、カメラ２によって撮像された画像であって、生産管理システム１により生産されている対象物Ｍの画像を取得する。画像入力部１１は、取得された画像を制御部１５に出力する。

記憶部１２は、例えば半導体メモリ、磁気メモリ、又は光メモリであるが、これらに限定されない。記憶部１２は、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部１２は、検査装置１０の動作に用いられる任意の情報を記憶する。記憶部１２は、システムプログラム、アプリケーションプログラム、画像入力部１１により取得された画像などを記憶する。記憶部１２は、制御部１５により実行された演算の結果及び判定の結果を情報として記憶する。記憶部１２は、その機能の一部を示す機能ブロックとして、説明変数保存部１２１と、結果保存部１２２と、を有する。

入力部１３は、ユーザ入力を検出して、ユーザの操作に基づく入力情報を取得する１つ以上の入力モジュールを含む。例えば、入力部１３は、物理キー、静電容量キー、出力部１４のディスプレイと一体的に設けられたタッチスクリーン、音声入力を受け付けるマイクロフォンなどを含む。

出力部１４は、情報を出力してユーザに通知する１つ以上の出力モジュールを含む。例えば、出力部１４は、情報を映像で出力するディスプレイ、情報を音声で出力するスピーカ、対象物Ｍに異常が検出されたことを視覚的な情報として出力する回転灯などを含む。

制御部１５は、１つ以上のプロセッサを含む。一実施形態において「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであるが、これらに限定されない。制御部１５は、検査装置１０を構成する各構成部と通信可能に接続され、検査装置１０全体の動作を制御する。制御部１５は、検査装置１０を構成する各構成部の処理のタイミング、設定などを適正に制御する。制御部１５は、その機能の一部を示す機能ブロックとして、説明変数生成部１５１と、画像解析部１５２と、結果判定部１５３と、入出力インタフェース１５４と、を有する。

（動作・機能）
以下では、検査装置１０の動作及び機能について主に説明する。

図１に示すように、検査対象となる対象物Ｍは、例えば円盤状の製品である。カメラ２は、対象物Ｍを撮像して、得られた対象物Ｍの画像を検査装置１０に出力する。検査装置１０の制御部１５は、画像入力部１１を介して、対象物Ｍの画像をカメラ２から取得する。

制御部１５は、検査装置１０の動作として、学習モード及び検査モードに対応する２つの動作を実現する。学習モードは、後述する回帰モデルの説明変数を得るモードである。制御部１５は、検査モードを実行する前に少なくとも１回、学習モードを実行する必要がある。その後、制御部１５は、後述する説明変数データを追加したり、更新したりする必要があるときに学習モードを実行すればよい。制御部１５は、通常の動作では、検査モードを主に実行すればよい。

検査モードは、検査対象となる対象物Ｍがカメラ２の撮像範囲に到着するごとに対象物Ｍの検査を行うモードである。制御部１５は、入力部１３からの入力情報を、入出力インタフェース１５４を介して取得し、当該入力情報に応じて検査装置１０を操作する。制御部１５は、当該入力情報に応じて、学習モードと検査モードとの切り替え処理を実行する。このような入力情報は、例えばキーボードなどを含む入力部１３を用いた、検査装置１０の操作者としてのユーザの入力操作に基づいて入力部１３により取得される。

制御部１５は、学習モードによる検査装置１０の動作において、検査対象となる対象物Ｍがいくつかのグループに分けられる場合、グループごとに説明変数データを生成する。制御部１５は、検査装置１０に接続されている生産管理システム１から、現在生産されている対象物Ｍの情報を取得する。対象物Ｍの情報は、例えば対象物Ｍが属するグループのグループ名を含む。制御部１５は、グループごとに学習を適切に行う。

制御部１５は、対象物Ｍがカメラ２の撮像範囲に到着すると、画像入力部１１を介してカメラ２に信号を出力する。カメラ２は、そのタイミングで対象物Ｍを撮像し、得られた画像を検査装置１０に出力する。制御部１５の説明変数生成部１５１は、得られた画像を、画像入力部１１を介してカメラ２から取得する。説明変数生成部１５１は、同一グループに属する複数枚の正常画像から説明変数データを生成する。説明変数生成部１５１は、生成された説明変数データを、記憶部１２の説明変数保存部１２１に格納する。説明変数保存部１２１は、このような説明変数データをグループごとに記憶する。

説明変数生成部１５１が説明変数データを生成するときに、同一グループに属する複数枚の正常画像を用いる理由は以下のとおりである。検査対象となる対象物Ｍは、不定形のもの、粒状のものなど、正常な場合でも画像が大きく変動するものではなく、同一グループであれば形状、色、温度などが略同一である。しかしながら、外光の影響、わずかな位置ずれなどにより、得られる正常画像には変動する部分が含まれる。したがって、その変動の影響を抑制するために、複数枚の正常画像が用いられる。必要となる正常画像の枚数は、変動の大きさを考慮して調整される。必要となる正常画像の枚数は、変動が大きいほど多くなる。

説明変数生成部１５１は、複数枚の正常画像をベクトルに変換した正常画像ベクトルから説明変数データを生成する。図２は、図１の検査装置１０の動作の一例を説明するための模式図である。図２に示すように、説明変数生成部１５１は、画像に含まれる画素値を定められたルールで並べてベクトルの要素とすることで、正常画像をベクトルに変換する。

例えば、説明変数生成部１５１は、横方向にａ個、縦方向にｂ個の画素が並べられた画像を左上の画素を最初の要素、右下の画素を最後の要素としてベクトルに変換する。説明変数生成部１５１は、このようなルールを任意に設定可能であるが、すべての正常画像及び検査対象となる対象物Ｍの画像に対して同一のルールを適用する。ｍ＝ａ×ｂとし、正常画像の数をｎとすれば、ｍ個の要素を含むｎ個の正常画像ベクトルが得られる。説明変数生成部１５１は、それらを説明変数データとして取得する。

図１を再度参照すると、制御部１５は、検査モードによる検査装置１０の動作において、検査装置１０に接続されている生産管理システム１から、現在生産されている検査対象となる対象物Ｍの情報を取得する。検査対象となる対象物Ｍの情報は、例えば検査対象となる対象物Ｍが属するグループのグループ名を含む。制御部１５の画像解析部１５２は、説明変数保存部１２１に格納されている説明変数データのうち、現在検査対象となっている対象物Ｍに対応する説明変数データを読み出す。

制御部１５は、検査対象となる対象物Ｍがカメラ２の撮像範囲に到着すると、画像入力部１１を介してカメラ２に信号を出力する。カメラ２は、そのタイミングで対象物Ｍを撮像し、得られた画像を検査装置１０に出力する。制御部１５の画像解析部１５２は、得られた画像を、画像入力部１１を介してカメラ２から取得する。

画像解析部１５２は、検査対象となる対象物Ｍの画像をベクトルに変換して対象物画像ベクトルを生成する。画像解析部１５２は、生成された対象物画像ベクトルを目的変数とし、説明変数保存部１２１から取得した説明変数データを用いて回帰モデルを算出する。回帰モデルは、例えば線形回帰モデルを含む。

画像解析部１５２は、このような線形回帰分析により、対象物画像ベクトルを近似する再構成ベクトルを算出し、さらに対象物画像ベクトルと再構成ベクトルとの差分を再構成誤差ベクトルとして算出する。画像解析部１５２は、算出された再構成誤差ベクトルを結果判定部１５３に出力する。

結果判定部１５３は、画像解析部１５２において算出された再構成誤差ベクトルに基づいて、検査対象となる対象物Ｍの異常の有無を判定する。結果判定部１５３は、例えば再構成誤差ベクトルの要素の値と、あらかじめ設定された第１閾値とを比較する。結果判定部１５３は、第１閾値以上の要素の数があらかじめ設定された第２閾値以上であるか否かを判定する。結果判定部１５３は、第１閾値以上の要素の数が第２閾値以上であると判定すると、対象物Ｍに異常有りと識別する。

結果判定部１５３は、判定結果を、記憶部１２の結果保存部１２２に格納する。結果判定部１５３は、入出力インタフェース１５４を介して、出力部１４のディスプレイに判定結果を表示させる。加えて、結果判定部１５３は、対象物Ｍに異常有りと判定したときに、出力部１４のスピーカを用いてアラームを鳴らしてもよいし、出力部１４の回転灯を点灯させてもよい。これにより、結果判定部１５３は、検査対象となる対象物Ｍに異常が検出されたことを、検査装置１０の操作者としてのユーザに通知する。

図３は、図１の検査装置１０によって実行される検査方法の一例を示すフローチャートである。図３を参照しながら、検査装置１０を用いた検査方法の主なフローについて説明する。このような検査方法では、対象物Ｍを撮像して得られた画像に基づいて対象物Ｍが検査される。

ステップＳ１００では、検査装置１０の制御部１５は、対象物Ｍを撮像して得られた複数枚の正常画像を、画像入力部１１を介してカメラ２から取得する。

ステップＳ１０１では、制御部１５は、ｍ個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、ステップＳ１００において取得されたｎ枚の正常画像を用いて、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得する。

ステップＳ１０２では、制御部１５は、検査対象となる対象物Ｍを撮像して得られた対象物画像を、画像入力部１１を介してカメラ２から取得する。

ステップＳ１０３では、制御部１５は、ｍ個の画素を含む対象物Ｍの対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得する。

ステップＳ１０４では、制御部１５は、ステップＳ１０１において取得されたｍ個の要素を含むｎ個の正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ステップＳ１０３において取得されたｍ個の要素を含む対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出する。

ステップＳ１０５では、制御部１５は、ステップＳ１０４において算出された回帰モデルの係数及びステップＳ１０１において取得されたｎ個の正常画像ベクトルに基づいて対象物画像ベクトルを近似する対象物画像の再構成ベクトルを算出する。

ステップＳ１０６では、制御部１５は、ステップＳ１０３において取得された対象物画像ベクトルとステップＳ１０５において算出された再構成ベクトルとの差分を再構成誤差ベクトルとして算出する。

ステップＳ１０７では、制御部１５は、ステップＳ１０６において算出された再構成誤差ベクトルの要素の値に基づいて検査対象となる対象物Ｍの異常の有無を判定する。制御部１５は、異常無しと判定すると、ステップＳ１０８の処理を実行する。制御部１５は、異常有りと判定すると、ステップＳ１０９の処理を実行する。

ステップＳ１０８では、制御部１５は、ステップＳ１０７において異常無しと判定すると、ステップＳ１０７における判定結果を出力部１４に出力させる。例えば、制御部１５は、出力部１４のディスプレイに判定結果を表示させる。

ステップＳ１０９では、制御部１５は、ステップＳ１０７において異常有りと判定すると、検査対象となる対象物Ｍに異常が検出されたことを、出力部１４を用いてユーザに通知する。

ステップＳ１１０では、制御部１５は、対象物Ｍの製造が終了したか否かを、生産管理システム１から出力される情報に基づいて判定する。制御部１５は、製造が終了したと判定すると、処理を終了する。制御部１５は、製造が終了していないと判定すると、ステップＳ１０２の処理を再度実行する。

（第１実施形態）
本開示の第１実施形態に係る検査方法について、図３を参照しながらより詳細に説明する。

第１実施形態に係る検査方法では、制御部１５は、例えば図３のステップＳ１０１とステップＳ１０２との間で、中間変数ベクトルを算出するステップをさらに含む。制御部１５の説明変数生成部１５１は、ステップＳ１０１において取得されたｎ個の正常画像ベクトルに掛け合わせる重みを、例えば主成分分析、独立成分分析、及び部分最小二乗法のいずれかを用いて算出する。説明変数生成部１５１は、算出された重みを用いて、ステップＳ１０１において取得されたｎ個の正常画像ベクトルを重み付けして加算することで、ｄ個（ｄ＜ｎ）の中間変数ベクトルを算出する。

図３のステップＳ１０４の回帰モデルを算出するステップにおいて、制御部１５の画像解析部１５２は、ステップＳ１０１とステップＳ１０２との間で得られたｄ個の中間変数ベクトルをｄ個の説明変数のｍ個の観測値とみなす。同様に、画像解析部１５２は、ステップＳ１０３において取得されたｍ個の要素を含む対象物画像ベクトルを目的変数のｍ個の観測値とみなす。

図３のステップＳ１０５の再構成ベクトルを算出するステップにおいて、画像解析部１５２は、ステップＳ１０４において算出された回帰モデルの係数でｄ個の中間変数ベクトルを重み付けして加算することで再構成ベクトルを算出する。

図４Ａは、対象物Ｍの正常画像の第１例を示す模式図である。図４Ｂは、対象物Ｍの正常画像の第２例を示す模式図である。図４Ｃは、対象物Ｍの正常画像の第３例を示す模式図である。図４Ｄは、対象物Ｍの正常画像の第４例を示す模式図である。図４Ｅは、対象物Ｍの正常画像の第５例を示す模式図である。図４Ｆは、対象物Ｍの正常画像の第６例を示す模式図である。図４Ｇは、対象物Ｍの正常画像の第７例を示す模式図である。図４Ｈは、対象物Ｍの正常画像の第８例を示す模式図である。対象物Ｍによっては、正常画像の変動が大きい場合がある。例えば、図４Ａ乃至図４Ｈはそのような例を示す。

例えば、図４Ａ乃至図４Ｄに示されるように、正常画像中の対象物Ｍの灰色の濃度が異なる場合がある。例えば、図４Ｅに示されるように、対象物Ｍが左方にずれている場合がある。例えば、図４Ｆに示されるように、対象物Ｍが下方にずれている場合がある。図４Ｅ及び図４Ｆに記載の破線は、図４Ａ乃至図４Ｄにおける対象物Ｍの位置を示す。図４Ｇ及び図４Ｈに示されるように、対象物Ｍの色の濃度が位置によって変動する場合もある。

以上のように、正常画像中で対象物Ｍの色の濃度及び色むらの変動並びに位置の変動がある場合には、それらの変動がある正常画像のサンプルを収集し、それらから得た正常画像ベクトルを説明変数に加える。これにより、検査モードにおいて検査対象となる対象物Ｍの対象物画像中で対象物Ｍの色及び位置が変動した場合であっても、高精度の再構成ベクトルが得られる。ただし、説明変数には、正常画像の変動の影響を抑制できるだけの枚数の正常画像から得た正常画像ベクトルを用いる必要がある。したがって、変動が大きい場合には正常画像ベクトルの数が増え、検査モードにおける回帰モデルの算出時に制御部１５による演算処理の負荷が大きくなり、対象物Ｍの異常判定にかかる処理時間が長くなる可能性がある。

そこで、制御部１５は、あらかじめ算出された重みを用いてｎ個の正常画像ベクトルを重み付けして加算し、ｄ個（ｄ＜ｎ）の中間変数ベクトルを算出する。制御部１５は、ｄ個の中間変数ベクトルをｄ個の説明変数のデータとする。以下では、一例として中間変数ベクトルの算出にあたり主成分分析が用いられる場合の制御部１５による演算の内容について詳細に説明する。

式１は、ｍ個の画素を含む正常画像をベクトル化した正常画像ベクトルを表す。

式１における各ｘ_ｉを横に並べて以下の式２のようにすべてのデータを含む行列Ｘを構成すると、行列Ｘの共分散行列Ｖは式３で与えられる。

ここで、共分散行列Ｖのｉ番目に大きな固有値をλ_ｉ、それに対応する規格化された固有ベクトルをｗ_ｉとすると、以下の関係が成り立つ。

ｗ_ｉは、第ｉ主成分の結合係数となる。すなわち、主成分は、共分散行列Ｖの固有値問題を解くことにより求められる。

行列Ｘのｐ番目の値を抜き出したベクトルを式６のように表す。

ｚ_ｐに対する第ｉ主成分の値ｔ_ｐｉ（主成分得点）は、式７のように表される。

式７を式１のｍ個の観測値について式８のように一つのベクトルにまとめると、式９が成り立つ。

式９から、ｔ_ｉは、行列Ｘに含まれる正常画像ベクトルに結合係数を乗じて加算した線形和であることがわかる。本開示では、制御部１５は、中間変数ベクトルとしてｔ_ｉ（ｉ＝１，２，．．．，ｄ）、すなわち第１乃至第ｄ主成分の大きさ（主成分得点）を検査モードにおける回帰モデルの説明変数に用いる。ｄは、ｎよりも小さい数である。したがって、データ容量がｄ／ｎに圧縮されている。一般的に、正常画像ベクトルには互いに類似するデータが数多く含まれており冗長性が生じている。制御部１５は、上記のような主成分分析によって主要な成分を抽出し、情報圧縮を行うことで、回帰モデルを効率的に算出する。

検査モードにおける画像解析部１５２による回帰モデルの算出について主に説明する。線形回帰の目的変数となる対象物画像ベクトルを式１０で表す。

画像解析部１５２は、線形回帰の説明変数データとして、式１１で表される正常画像ベクトルを重み付け加算して得た式１２の中間変数ベクトルを用いる。

主成分分析で得た式１２の中間変数ベクトルから説明変数Ｔが式１３により表される。

画像解析部１５２は、式１３の説明変数Ｔに式１４の係数ｂを乗じて加算した式１５の線形回帰式を式１０のｙの予測値として求める。

式１６は、対象物画像ベクトルを近似する再構成ベクトルを表す。式１０と式１６との差分が式１７により求まる。

式１７は、再構成誤差ベクトルを表す。画像解析部１５２は、式１７の再構成誤差ベクトルを情報として結果判定部１５３に出力する。

図５は、検査対象となる対象物Ｍの対象物画像の一例を示す模式図である。図５の例では、対象物Ｍの左側に割れが認められる。図６は、図５の対象物画像に対する再構成画像の一例を示す模式図である。図６は、図５の対象物画像に対する再構成ベクトルを再度画像に変換した再構成画像を示す。複数枚の正常画像には図５に示すような対象物Ｍの割れを含むものは存在しない。したがって、図６に示す再構成画像は、割れの部分が再現されず、完全な円形となる。

図７は、図５の対象物画像に対する再構成誤差画像の一例を示す模式図である。図７は、図５の対象物画像に対する再構成誤差ベクトルを画像に変換した再構成誤差画像を示す。図７の再構成誤差画像は、図５の対象物画像と図６の再構成画像との差分を示す。対象物画像の割れの部分は背景の薄い灰色が透けて見えており、それ以外の部分は消去されて黒色になっている。

図８は、図７の再構成誤差画像を二値化した画像の一例を示す模式図である。図８は、図７の再構成誤差画像を、第１閾値を用いて二値化した画像である。割れの部分は白画素となり、それ以外の部分は黒画素となっている。当該白画素の数が第２閾値以上となると、結果判定部１５３は、対象物Ｍに異常、例えば割れを含む画像であると判定する。

（効果）
以上のような第１実施形態によれば、対象物Ｍの異常判定に関する精度を向上させることが可能である。検査装置１０は、ｍ個の画素を含む正常画像の画素値を並べたｎ個の正常画像ベクトルを、ｎ個以下の説明変数のｍ個の観測値とみなし、ｍ個の要素を含む対象物画像ベクトルを目的変数のｍ個の観測値とみなして回帰モデルを算出する。このような検査に用いられる画像には数十万個以上の画素値が含まれているのが一般的である。したがって、説明変数の数ｎよりも観測値の数ｍの方がはるかに大きい。したがって、従来技術のような分散共分散行列のランク落ちの問題が抑制される。加えて、検査装置１０では、各画素の値は観測値であるため、画像データによらず一定値を取る画素が複数存在する場合であっても、それらが当該説明変数のベクトルの同一の位置に現れるだけであり、多重共線性の問題が抑制される。

正常画像のデータでは、画像中の対象物Ｍの位置ずれ、照明むら、温度変動などにより、データによって画素値が変動することが一般的である。このような場合、第１実施形態に係る検査装置１０は、正常画像ベクトルの数ｎを十分大きくとり、データによる画素値の変動の影響を抑制することで対象物画像ベクトルを高精度に近似することができる。加えて、検査装置１０は、正常画像ベクトルを重み付け加算して中間変数ベクトルを予め算出し、中間変数ベクトルを説明変数、対象物画像ベクトルを目的変数として回帰モデルを算出することで、説明変数の数を削減することができる。したがって、検査装置１０は、対象物画像ベクトルを効率的に近似する再構成ベクトルを算出可能である。結果として、検査装置１０における演算処理の負荷が低減され、異常判定にかかる処理時間が短縮される。

検査装置１０は、正常画像ベクトルから中間変数ベクトルを生成して回帰モデルの説明変数として用いることで、説明変数の数を削減することができ、正常画像のサンプルの変動の影響を少ない数の説明変数で抑制することができる。検査装置１０は、正常画像ベクトルを説明変数に直接用いるときよりも回帰モデル算出時の演算負荷を低減させることができる。したがって、検査装置１０は、検査対象となる対象物Ｍの製造ピッチが短く、短時間で回帰モデルを算出する必要がある場合にも応用可能である。

検査装置１０は、主成分分析を適用して正常画像ベクトルに掛ける重みを算出することで、失う情報量を最小化して大量の正常画像ベクトルを少数の中間変数ベクトルに情報圧縮することが可能である。特許文献１に記載の方法でも主成分分析が用いられているが、第１実施形態に係る検査装置１０による検査方法と比較すると適用方法が相違する。特許文献１に記載の方法では、画像データ中の各画素の値を変数とし、各画像データを観測値としている。一般的に画素数ｍの方が画像データ数ｎよりもはるかに大きいため、分散共分散行列のランク落ち及び多重共線性の問題が生じていた。本開示では、各画像データを一つの変数とし、画像データ中の各画素の値を観測値としているため、そのような問題が抑制される。

加えて、特許文献１に記載の方法では、各画素の値が変数であるため、主成分分析は、画素数ｍに対応したｍ次元空間を用いる主成分の数ｄに対応したｄ次元空間に射影することで情報圧縮を行う。主成分は、ｍ個の画素値に係数（結合係数）を掛けて加算した線形和となる。したがって、第１乃至第ｄ主成分の計ｍ×ｄ個の結合係数が情報圧縮の結果となる。

一方で、第１実施形態に係る検査装置１０では、各画像データを一つの変数としているため、主成分分析は、画像データ数ｎに対応したｎ次元空間を用いる主成分の数ｄに対応したｄ次元空間に射影することで情報圧縮を行う。主成分は、ｎ個の画素値に係数（結合係数）を掛けて加算した線形和となる。したがって、第１乃至第ｄ主成分の計ｎ×ｄ個の結合係数が情報圧縮の結果となる。これにより、検査装置１０は、特許文献１に記載の方法と比べて、圧倒的に少数の係数に圧縮できる。

検査装置１０は、画像ではなく画像データ数を圧縮しているので、元の画像に含まれていた詳細なデータが削減されて情報が失われるといった従来技術の問題点を抑制可能である。特許文献１に記載の方法では、主成分分析によって画像情報を圧縮して画素数を減らしているので元の画像に含まれる情報の一部が失われてしまう。一方で、第１実施形態に係る検査装置１０により圧縮されるのは画像データ数、すなわち正常画像の数であり、画素数は減らない。したがって、画像に含まれる情報が失われることはない。本開示で主成分分析を用いる理由は、正常画像に含まれる冗長性の除去のためであって、画像自体を圧縮するためではない。結果として、画像の解像度が低下することはないので、検査装置１０は、対象物Ｍの微細な傷などの小さな異常も見落とすことなく精度良く検出することができる。すなわち、検査装置１０は、対象物Ｍの異常判定に関する精度を向上させることができる。

以上のことは、特許文献１に記載の方法では各正常画像のデータが観測値であるのに対し、本開示では画像データ中の各画素の値を観測値としていることに起因する。このような相違点により、第１実施形態に係る検査装置１０は、以下のような利点を有する。

主成分分析で求めた結合係数で各正常画像ベクトルを重み付けして加算したベクトルは、各観測値の主成分の値（主成分得点）になる。したがって、第１主成分は、正常画像ベクトルの最も代表的な値の系列であり、第２主成分以降は、正常画像ベクトルの変動を表し、第１主成分を補うものである、という物理的な解釈が可能である。

加えて、対象物画像内で対象物Ｍの外側に背景部分が存在する場合、検査を行う領域を限定する必要がある。この場合、特許文献１に記載の方法では、画像のすべての画素に結合係数を掛けて加算する必要があるため、主成分を求めた後で検査領域を設定することは困難である。各画素の値が変数であり、主成分を求めた後で変数の一部を削除することは困難であるからである。一方で、本開示では、検査装置１０は、各画素の値が観測値であるから、その一部を削除しても主成分を算出することができる。したがって、検査装置１０は、後から検査領域を設定することができる。

検査装置１０は、正常画像ベクトルに独立成分分析を適用して中間変数ベクトルを算出し、中間変数ベクトルを説明変数、対象物画像ベクトルを目的変数として回帰モデルを算出することもできる。

検査装置１０は、正常画像ベクトルに部分最小二乗法を適用して中間変数ベクトルを算出し、中間変数ベクトルを説明変数、対象物画像ベクトルを目的変数として回帰モデルを算出することもできる。

以上のような回帰モデルは、線形回帰モデルを含む。線形回帰モデルは、深層学習のようなニューラルネットワークと異なり、繰り返し学習を行う必要がない。したがって、検査装置１０は、非常に短時間で回帰モデルを算出可能である。結果として、検査装置１０は、新たに追加された対象物画像に対して、後続の新たな対象物画像が追加されるまでの短時間のうちに、その都度新たな回帰モデルを算出可能である。

中間変数ベクトルは、正常画像ベクトルの線形和である。これにより、検査装置１０は、異常を含まない対象物画像に対して異常の有無の判定を行った結果、異常があると誤った判定（過検出）を行った場合、当該対象物画像を正常画像のデータに加えて中間変数ベクトルを算出し、算出された中間変数ベクトルを用いて以降の異常判定を実行する。中間変数ベクトルは正常画像ベクトルの線形和であるので、過検出された正常画像ベクトルの成分も含まれる。したがって、検査装置１０は、以降で同様の対象物画像が検査対象となった場合であっても、過検出することなく正しい判定を実行することができる。

（第２実施形態）
本開示の第２実施形態に係る検査方法について、図３を参照しながらより詳細に説明する。第２実施形態に係る検査方法は、中間変数ベクトルを用いない点で第１実施形態と相違する。その他の構成、機能、効果、変形例などについては、第１実施形態と同様であり、対応する説明が第２実施形態に係る検査装置１０にも当てはまる。以下では、第１実施形態と同様の構成部については同一の符号を付し、その説明を省略する。第１実施形態と異なる点について主に説明する。

図３のステップＳ１０４の回帰モデルを算出するステップにおいて、制御部１５の画像解析部１５２は、ステップＳ１０１において取得されたｍ個の要素を含むｎ個の正常画像ベクトルをｎ個の説明変数のｍ個の観測値とみなす。同様に、画像解析部１５２は、ステップＳ１０３において取得されたｍ個の要素を含む対象物画像ベクトルを目的変数のｍ個の観測値とみなす。

図３のステップＳ１０５の再構成ベクトルを算出するステップにおいて、画像解析部１５２は、ステップＳ１０４において算出された回帰モデルの係数でｎ個の正常画像ベクトルを重み付けして加算することで再構成ベクトルを算出する。

第２実施形態に係る検査装置１０は、第１実施形態と異なり、正常画像のサンプルの変動が小さく、比較的少数の正常画像のサンプルで変動の影響を抑制できる場合、及び検査対象となる対象物Ｍの製造ピッチが比較的長く、回帰モデルの演算負荷がさほど問題にならない場合に、正常画像ベクトルをそのまま説明変数データとして用いる。この場合、式２の行列Ｘから得られる式１８の行列Ｚを説明変数とする。

画像解析部１５２は、式１８の説明変数Ｚに式１９の係ｂを乗じて加算した式２０の線形回帰式を式１０のｙの予測値として求める。

以降の処理は、中間変数ベクトルを用いた第１実施形態と同様であり、式１０及び式２１から得られる式２２が再構成誤差ベクトルとなる。

（効果）
以上のような第２実施形態によれば、対象物Ｍの異常判定に関する精度を向上させることが可能である。検査装置１０は、得られた回帰モデルの係数でｎ個の正常画像ベクトルを重み付けして加算することで、対象物画像ベクトルを高精度に近似する対象物画像の再構成ベクトルを算出可能である。検査装置１０は、対象物画像に異常が含まれていると、その部分を正常画像ベクトルの線形和で再構成することができない。したがって、対象物画像ベクトルと再構成ベクトルとの差分が大きくなる。検査装置１０は、対象物画像ベクトルと対象物画像の再構成ベクトルとの差分、すなわち回帰モデルの残差を再構成誤差ベクトルとし、当該再構成誤差ベクトルの要素の値の大小により対象物Ｍの異常の有無を判定する。

第２実施形態に係る検査装置１０は、正常画像のサンプルのばらつきが小さいことを前提とし、それを高精度に近似して再構成する回帰モデルを検査対象となる画像ごとに同定可能である。これにより、検査装置１０は、微細な異常であっても精度良く検出可能である。

（変形例）
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行うことが可能であることに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各構成又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、スマートフォン又はコンピュータなどの汎用の電子機器を、上述した各実施形態に係る検査装置１０として機能させる構成も可能である。具体的には、各実施形態に係る検査装置１０などの各機能を実現する処理内容を記述したプログラムを、電子機器のメモリに格納し、電子機器のプロセッサにより当該プログラムを読み出して実行させる。したがって、一実施形態に係る開示は、プロセッサが実行可能なプログラムとしても実現可能である。

又は、一実施形態に係る開示は、各実施形態に係る検査装置１０などに各機能を実行させるために１つ又は複数のプロセッサにより実行可能なプログラムを記憶した非一時的なコンピュータ読取可能な媒体としても実現し得る。本開示の範囲には、これらも包含されると理解されたい。

上記各実施形態において、回帰モデルは線形回帰モデルを含むと説明したが、これに限定されない。回帰モデルは、深層学習のようなニューラルネットワークなどの任意の他のモデルを含んでもよい。

上記各実施形態において、カメラ２は、検査装置１０に含まれずに検査装置１０とは別体であるが、これに限定されない。カメラ２は、検査装置１０に含まれており、検査装置１０と一体的に構成されてもよい。すなわち、検査装置１０自体が、カメラ２に基づく撮像機能を有してもよい。

１ 生産管理システム
２ カメラ
１０ 検査装置
１１ 画像入力部
１２ 記憶部
１２１ 説明変数保存部
１２２ 結果保存部
１３ 入力部
１４ 出力部
１５ 制御部
１５１ 説明変数生成部
１５２ 画像解析部
１５３ 結果判定部
１５４ 入出力インタフェース
Ｍ 対象物

Claims (10)

1. 対象物を撮像して得られた画像に基づき前記対象物を検査する検査方法であって、
   ｍ個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、ｎ枚の前記正常画像を用いて、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得するステップと、
   ｍ個の画素を含む前記対象物の対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得するステップと、
   ｍ個の要素を含むｎ個の前記正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ｍ個の要素を含む前記対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出するステップと、
   前記回帰モデルの係数及びｎ個の前記正常画像ベクトルに基づいて前記対象物画像ベクトルを近似する前記対象物画像の再構成ベクトルを算出するステップと、
   前記対象物画像ベクトルと前記再構成ベクトルとの差分を再構成誤差ベクトルとして算出するステップと、
   前記再構成誤差ベクトルの要素の値に基づいて前記対象物の異常の有無を判定するステップと、
   を含む、
   検査方法。
2. 請求項１に記載の検査方法であって、
   前記回帰モデルを算出するステップにおいて、ｍ個の要素を含むｎ個の前記正常画像ベクトルをｎ個の前記説明変数のｍ個の前記観測値とみなし、ｍ個の要素を含む前記対象物画像ベクトルを前記目的変数のｍ個の前記観測値とみなし、
   前記再構成ベクトルを算出するステップにおいて、前記回帰モデルの係数でｎ個の前記正常画像ベクトルを重み付けして加算することで前記再構成ベクトルを算出する、
   検査方法。
3. 請求項１に記載の検査方法であって、
   前記回帰モデルを算出するステップにおいて、あらかじめ算出された重みを用いてｎ個の前記正常画像ベクトルを重み付けして加算することで得られたｄ個（ｄ＜ｎ）の中間変数ベクトルをｄ個の前記説明変数のｍ個の前記観測値とみなし、ｍ個の要素を含む前記対象物画像ベクトルを前記目的変数のｍ個の前記観測値とみなし、
   前記再構成ベクトルを算出するステップにおいて、前記回帰モデルの係数でｄ個の前記中間変数ベクトルを重み付けして加算することで前記再構成ベクトルを算出する、
   検査方法。
4. 請求項３に記載の検査方法であって、
   ｎ個の前記正常画像ベクトルに掛け合わせる重みを、主成分分析、独立成分分析、及び部分最小二乗法のいずれかを用いてあらかじめ算出し、前記中間変数ベクトルを算出するステップをさらに含む、
   検査方法。
5. 請求項１乃至４のいずれか１項に記載の検査方法であって、
   前記回帰モデルは、線形回帰モデルを含む、
   検査方法。
6. 対象物を撮像して得られた画像に基づき前記対象物を検査する検査装置であって、
   制御部を備え、
   前記制御部は、
   ｍ個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、ｎ枚の前記正常画像を用いて、各々がｍ個の要素を含むｎ個の正常画像ベクトルを取得し、
   ｍ個の画素を含む前記対象物の対象物画像の画素値を並べて、ｍ個の要素を含む対象物画像ベクトルを取得し、
   ｍ個の要素を含むｎ個の前記正常画像ベクトルに基づくｎ個以下の説明変数のｍ個の観測値と、ｍ個の要素を含む前記対象物画像ベクトルに基づく目的変数のｍ個の観測値と、を用いて回帰モデルを算出し、
   前記回帰モデルの係数及びｎ個の前記正常画像ベクトルに基づいて前記対象物画像ベクトルを近似する前記対象物画像の再構成ベクトルを算出し、
   前記対象物画像ベクトルと前記再構成ベクトルとの差分を再構成誤差ベクトルとして算出し、
   前記再構成誤差ベクトルの要素の値に基づいて前記対象物の異常の有無を判定する、
   検査装置。
7. 請求項６に記載の検査装置であって、
   前記制御部は、
   前記回帰モデルの算出において、ｍ個の要素を含むｎ個の前記正常画像ベクトルをｎ個の前記説明変数のｍ個の前記観測値とみなし、ｍ個の要素を含む前記対象物画像ベクトルを前記目的変数のｍ個の前記観測値とみなし、
   前記再構成ベクトルの算出において、前記回帰モデルの係数でｎ個の前記正常画像ベクトルを重み付けして加算することで前記再構成ベクトルを算出する、
   検査装置。
8. 請求項６に記載の検査装置であって、
   前記制御部は、
   前記回帰モデルの算出において、あらかじめ算出された重みを用いてｎ個の前記正常画像ベクトルを重み付けして加算することで得られたｄ個（ｄ＜ｎ）の中間変数ベクトルをｄ個の前記説明変数のｍ個の前記観測値とみなし、ｍ個の要素を含む前記対象物画像ベクトルを前記目的変数のｍ個の前記観測値とみなし、
   前記再構成ベクトルの算出において、前記回帰モデルの係数でｄ個の前記中間変数ベクトルを重み付けして加算することで前記再構成ベクトルを算出する、
   検査装置。
9. 請求項８に記載の検査装置であって、
   前記制御部は、ｎ個の前記正常画像ベクトルに掛け合わせる重みを、主成分分析、独立成分分析、及び部分最小二乗法のいずれかを用いてあらかじめ算出し、前記中間変数ベクトルを算出する、
   検査装置。
10. 請求項６乃至９のいずれか１項に記載の検査装置であって、
    前記回帰モデルは、線形回帰モデルを含む、
    検査装置。
    

Images