JP2023538384A

JP2023538384A - 表面欠陥検出システム

Info

Publication number: JP2023538384A
Application number: JP2023512203A
Authority: JP
Inventors: セン、ネブロズ
Original assignee: ABB Schweiz AG
Current assignee: ABB Schweiz AG
Priority date: 2020-08-21
Filing date: 2021-08-20
Publication date: 2023-09-07
Also published as: US20220058793A1; WO2022038575A1; EP4200797A1; CN115917595A; US11494892B2

Abstract

表面上の欠陥を検出するための検査システムが提供される。システムは、この表面に面する異なる色又は暗さを有するパターンを使用する。光がパターンを表面上に照明し、これにより、パターン及び表面上の任意の欠陥が反射され、画像分析のために捕捉される。次いで、プロセッサは、表面上の任意の欠陥の位置を識別するために、画像からパターンを分離する。【選択図】図１

Description

関連出願の相互参照

[0001]本特許出願は、参照により本明細書に完全に組み込まれる、２０２０年８月２１日に出願された米国特許出願第１６／９９９，３６１号の利益を主張するものである。

[0002]本発明は、一般に検査システムに関し、より具体的には、表面上の欠陥を識別することに関する。

[0003]表面上の欠陥を検出することは、困難であり、時間がかかり得る。欠陥検出が重要且つ困難である一例は、塗装された表面に関する。塗装された表面を有する製品を製造するとき、塗装された表面が塗料で均一に覆われ、塗装被覆（paint coverage）に異常がないことを確実にすることが重要である。しかしながら、手動検査を使用することは、信頼性がなく、コストがかかり得る。従って、改善された表面検査システムが望まれる。

[0004]塗装被覆における異常など、表面上の欠陥を検出するための検査システムが説明される。このシステムは、表面からパターンを反射させ、反射画像からパターンを分離して、任意の欠陥を明らかにする。低ランク行列及び疎行列が、パターンを欠陥から分離するために使用され得る。次いで、オペレータが表面を更に評価するために、表面上の欠陥の位置が表示され得る。本発明はまた、明細書又は添付の図面において以下で説明されるその他任意の態様、及びそれらの任意の組合せを含み得る。

[0005]本発明は、図面と併せて以下の説明を読むことによって、より完全に理解され得る。

図１は、表面欠陥検出システムの概略図である。図２は、表面欠陥検出システムからの反射画像である。図３は、画像にノイズフィルタを適用した後の図２の画像である。図４は、図３の画像の低ランク行列である。図５は、図３の画像の疎行列である。図６は、画像における欠陥の位置を示す、図５の画像の統計分析である。図７は、反射画像における欠陥の位置を示す、反射画像のディスプレイ出力である。

[0013]本明細書の改善されたシステムによって解決される１つの問題は、車体の塗装された表面１０から反射２４される表面１０上の欠陥１２を識別し、及び位置を特定することである。従って、不均一な塗装被覆又は他の塗装被覆の異常が、自動的に識別し、位置が特定され得る。本欠陥検出システムは、検査速度を改善し、検査コストを低下させ得る。より低いコストは、画像を分析するために必要とされる低減されたデータ量と、低減された画像取得要件とにより、可能になり得る。また、このようなシステムでは、誤検出を最小限に抑え、実際の欠陥を識別する際に許容可能な精度を提供することが望ましい。

[0014]典型的な製造施設では、製造された製品の表面、例えば、自動車塗装の品質などが、専門家によって評価される。しかしながら、これは、大量生産を満たすために複数の検査ラインを必要とし得る、コストのかかる労働集約的なプロセスであり得る。また、表面の品質に関して専門家が行う判断は、主観的であり、従って、分類結果は、一貫性がなくなり得る。視覚ベースのシステムのための機械学習アルゴリズムの分野における発展により、自動車塗装の品質検査又は他の表面品質検査のための自動化欠陥検出解決策を開発することが可能であり得る。このようなシステムの課題には、適正な品質の画像を取得することが困難であることが含まれ、これは、典型的に、標準的なカメラによって達成され得ない。例えば、一貫した許容可能な照明条件を提供することは、塗装された表面の高い反射係数のために困難である。従って、画像の取得は、典型的に、現在の解決策では異なる原理に基づく。このような技術の１つは、鏡面のトポグラフィ情報が、構造化された光源の反射を分析することによって取得される、位相測定デフレクトメトリ（ＰＭＤ：Phase Measuring Deflectometry）である。これは、最初に、試験表面から一定の距離を置いて位置するＬＣＤ画面上に縞パターンを表示し、次いで、カメラを用いて反射パターンを捕捉することによって行われる。欠陥を検出するために、既存のアルゴリズムは、ある特定の位相シフトパターンを用いて生成された複数の画像（例えば、最大２０個の画像）を必要とし、これは、このようなシステムを、コストがかかり且つ使用に時間がかかるものにする。

[0015]ＰＭＤのような自動化欠陥検出システムとは対照的に、本明細書の改善された自動化システムは、表面上の欠陥を識別するために、わずか１つの画像を利用し得る。本明細書の改善されたシステムはまた、各サンプルが独立して分析され得るので、システムを明示的に訓練する必要なく使用され得る。表面欠陥を検出するための自動化システムの基本構造を図１に示す。示されるように、異なる色又は暗さの領域１６Ａ、Ｂを有するパターン１４が、欠陥１２をその上に有する表面１０に面している。光源１８が、表面１０を照明し、これにより、パターン１４は、表面１０によって反射２４される。パターン１４及び光源１８は、互いに別個であることが可能であるが（例えば、静的プラカード及びランプ）、パターン１４及び光源１８は、ディスプレイ画面２０（例えば、ＬＣＤ）のような単一の装置から一緒に放射されることが好ましくあり得る。次いで、パターン１４の反射２４は、カメラなどの撮像装置２２によって受け取られる。次いで、受け取られた反射２４は、以下で更に説明されるように、プロセッサ２６によって自動的に分析されて、反射２４から異なる色又は暗さの領域１６Ａ、Ｂを分離した後、反射２４における欠陥１２を識別し得る。任意の欠陥１２の位置を識別した後、システムは、別のディスプレイ画面などの出力装置２８上に欠陥位置を表示し得る。

[0016]好ましくは、パターン１４は、互いに交互してパターン１４にわたって延在する異なる色又は暗さの垂直又は水平のいずれかの線状ストリップ１６Ａ、Ｂを有する。従って、反射画像２４は、パターン１４と、表面１０における任意の欠陥１２との両方を含み、任意の欠陥１２は、通常はサイズが小さい。改善された本欠陥検出システムは、低ランクの疎行列デコンポジションを使用し得、ここで、低ランク成分は、正弦波縞パターン１４を表し、疎行列は、欠陥１２、及び周囲のノイズを含む。次いで、統計的異常検出方法が、走査された表面１０上の欠陥１２の位置を識別するために使用され得る。

[0017]パターン１４及び複数の欠陥１２（これらは、例示を目的としてボックス３０でマークされている）を有する反射画像２４の例を図２に示す。この場合、パターン１４は、交互の明るい領域１６Ａと暗い領域１６Ｂとの水平領域１６Ａ、Ｂを含む。画像２４は、各画素がその色又は暗さによって定義される値を有する、画素の行列として分析されることが好ましい。図２の場合、Ｍ∈Ｒ^ｎ _１ ^×ｎ _２の関係は、画像２４の画素値を表し得る。画像２４は、グレースケールであるので、この例では、１つのチャネルしかない。行列Ｍ、又は縞パターンを用いて生成されたその他任意の反射画像の特定の特徴は、行列が、低ランク成分、即ち、パターン１４と、異常１２を表す疎成分と、を有することである。従って、元の反射画像２４は、Ｍ＝Ｌ_０＋Ｓ_０の関係によって表され得、ここで、Ｌ_０及びＳ_０は、それぞれ、低ランク行列及び疎行列を表す。換言すれば、低ランク行列の値と疎行列の値とを合算して、元の反射画像２４の行列に到達し得る。好ましくは、行列の値は、画素値（即ち、各画素の暗さの値又は色の値）であり、これにより、２つの行列における対応する画素値が合算されると、その結果は、元の反射画像２４における対応する画素の画素値となる。

[0018]行列の関係は、以下の最適化問題を解く行列Ｌ及びＳを求めることに還元し得る：

[0019]関係（１）において、

は、行列の特異値の和として定義される核型ノルム（nuclear norm）を表す。非正方行列Ａの場合、Ａ^Ｔは、転置を表し得、その結果、正方行列Ｋ：＝Ａ^ＴＡとなる。この場合、Ａの特異値は、行列Ｋの固有値の平方根として定義され得る。核型ノルムは、ランク関数の良好な凸下位近似（good convex lower approximation）であるので、それは、低ランク行列を探索する最適化問題において使用され得る。本明細書のシステムでは、核型ノルムは、画像２４における水平（又は垂直）パターン１６Ａ、Ｂを見つけるのに役立つ。一方、

の場合、

は、

におけるベクトルとして見られる行列の

を表し、これは、順に、疎成分、従って、反射画像２４における異常１２を識別するのに役立つ。従って、低ランク行列及び疎行列を最適化するとき、プロセッサ２６は、低ランク行列の核型ノルムを最小化し得、疎行列の

を最小化し得る。特に、行列を最適化するとき、第１及び第２の行列の異なる特性

を最小化することが望ましいであろう。

[0020]上記の定式化は、ロバスト主成分分析（ＲＰＣＡ：Robust Principal Component Analysis）と呼ばれ、これは、扱いやすい凸最適化問題を介して解かれ得る。ある特定の条件下では、行列Ｌ_０及びＳ_０は、正確に復元され得る。これらの条件は、大まかに言えば、低ランク行列Ｌ_０は、疎であってはならず、疎行列Ｓ_０は、低ランクであってはならないということである。これらの条件は、以下でより詳細に説明される。

[0021]ＲＰＣＡを使用して疎行列及び低ランク行列を効果的に計算するためのいくつかの一般化（generalizations）及びアルゴリズムが使用され得る。１つの可能なアプローチが、交互方向による主成分追跡（Principal Component Pursuit by Alternating Directions）であり、ここで、以下の拡張ラグランジュが定義され得る：

[0022]ここで、

は、フロベニウスノルムを表す。低ランク及び疎分解問題の場合、交互のステップは、

を解くことを伴い得、これらは、閉形式解（closed form solutions）を有する。より明示的には、

は、Ｓ_τ（ｘ）＝ｓｉｇｎ（ｘ）ｍａｘ（｜ｘ｜－τ，０）として定義され得、これは、それを各要素に適用することによって、行列に拡張され得る。この場合、次のようになる：

ここで、Ｄ_μ（Ｘ）は、Ｄ_τ（Ｘ）＝ＵＳ_τ（Σ）Ｖ^＊によって与えられる特異値閾値化演算子を表し、ここで、Ｘ＝ＵΣＶ^＊は、任意の特異値分解である。従って、アルゴリズムは、最初に、Ｌに対してｌを最小化し（Ｓを固定）、次いで、Ｓに対してｌを最小化し（Ｌを固定）、そして、最終的に、残差Ｍ－Ｌ－Ｓに基づいて、ラグランジュ乗数行列Ｙを更新し得る。この戦略は、以下のようにまとめられ得る：

ここで、収束基準は、δ＝１０^－７で

によって設定され得る。

[0023]反射パターンを用いて取得された画像は、典型的に、不完全であり、電光、ノイズ、及び同様のものなどの、周囲からの望ましくない影響を含む可能性がある。従って、低ランク行列及び疎行列を使用して、反射画像２４からパターン１４を分離する前に、反射画像２４にノイズ除去フィルタを適用することが好ましくあり得る。単純なノイズ除去方法は、画素の値が類似の画素の平均と置き換えられ得る単純な平均化に基づいて使用され得、ここで、類似の画素は、必ずしも特定の画素に近い画素とは限らない。非局所平均ノイズ除去（non-local means denoising）と呼ばれるこの方法は、欠陥情報をより視認し易く保ちながら、ノイズを抑制するのに役立ち得る。このようなフィルタを図２に適用すると、図３の画像が得られ得る。従って、プロセッサ２６によって実行される方法の最初の２つのステップは、非局所平均ノイズ除去フィルタを適用することと、フィルタリングされた画像に低ランク疎分解を適用することと、を含み得る。図４は、パターン１４有り、欠陥１２無しの低ランク行列を例示し、図５は、欠陥１２有り、パターン１４無しの疎行列を示す。

[0024]低ランク疎分解が完全に成立するためには、疎成分は、低ランク成分を含むべきではない。しかしながら、欠陥１２を有する表面１０では、この条件が常に成立するとは限らず、従って、ある特定のノイズ成分及び背景、即ち、パターン１２からの何らかの情報が、疎行列にリーク(leak）する可能性がある。従って、欠陥を識別するために単純な閾値化決定規則（simple thresholding decision rule）を適用することは望ましくない。代わりに、疎行列の統計的特性が、欠陥１２の位置を識別するために、プロセッサ２６によって使用され得る。この点に関して、疎行列の各列は、サンプルとして扱われ得、従って、考慮中のサンプルについては、列は、ｎ_２＝９７６として定義され得る。サンプル平均は、

として定義され得る。次に、各サンプルの距離は、ｉ＝１、．．．、ｎ_２である間、

として定義され得る。即ち、各列の部分の値（例えば、画素値）は、その列における他の部分と明確に異なる値を有する列における部分を識別するために、互いに比較される。好ましい実施形態では、欠陥分析のために使用される領域は、反射画像２４にわたって延在し、各ラインにおける画素がそのラインにおける他の画素と比較される、画素のラインであり得る。好ましくは、欠陥分析のために使用される領域は、パターンの交互の領域に対して横断方向に配向される。例えば、この例では、パターン領域１６Ａ、Ｂは、水平方向に配向され、一方、欠陥分析領域は、垂直方向に配向される（即ち、柱状である）。このようにして、パターンの一部分（fraction）が疎行列にリークした場合、パターン１４の残りの部分は、欠陥分析領域の横断方向の配向により、欠陥分析中にスクリーニングされて除かれ（screened out）得る。図６は、各列ベクトルの距離を示し、示されるように、誤差は、欠陥１２の位置において顕著である。３ａ（３標準偏差）についてのチェビシェフの不等式が適用され、残りのサンプルからの偏差（deviations）が存在する誤差が識別された場合、図７に例示される列３２が、欠陥１２の位置を表示するために、出力ディスプレイ画面２８上に表示され得る。欠陥１２を検出するために、各サンプルのその近傍に対する偏差を比較する局所外れ値因子法（ＬＯＦ：Local Outlier Factor）などの他の異常検出技法を使用することも可能である。列３２のディスプレイ出力は、欠陥分析領域（この場合、列）に対応する軸に沿った欠陥１２の位置のみを示すことに留意されたい。ｘ軸及びｙ軸の両方に沿って欠陥１２の位置を識別することが所望される場合、更なる分析が必要とされるが、これは、全ての場合において必要又は望ましいわけではない。しかしながら、所望される場合、更なる位置識別が、パターン１４及びデータ解析を回転させること及び上記プロセスを繰り返すことによって達成され得る。

[0025]本発明の好ましい実施形態を説明してきたが、本発明はそのように限定されるものではなく、本明細書の発明から逸脱することなく修正を行い得ることを理解されたい。本明細書に説明される各実施形態は、ある特定の特徴のみを参照し得、他の実施形態に関して説明された全ての特徴を具体的に参照しない場合があるが、本明細書で説明された特徴は、特定の特徴への言及が行われていない場合でも、別様に説明されていない限り、交換可能であることを認識されたい。上記で説明された利点は必ずしも本発明の唯一の利点ではなく、説明された利点の全てが本発明の全ての実施形態で達成されることが必ずしも期待されるわけではないことも理解されたい。本発明の範囲は、添付の特許請求の範囲によって定義され、文字通りに又は均等論によってのいずれかで、特許請求の範囲の意味内に入る全ての装置及び方法は、その中に包含されることを意図される。

Claims

表面欠陥を検出するためのシステムであって、
欠陥をその上に有する表面と、
異なる色又は暗さの領域を有する、前記表面に面するパターンと、
前記表面を照明する光源と、
前記表面からの前記パターンの反射を受け取る撮像装置と、
前記パターンの反射から前記異なる色又は暗さの領域を分離した後に、前記パターンの反射における前記欠陥を識別するプロセッサと、
前記表面上の前記欠陥の位置を表示する出力装置と、
を備えるシステム。
前記パターンは、前記パターンにわたって延在する前記異なる色又は暗さの交互の領域を備える、請求項１に記載のシステム。
前記プロセッサは、前記パターンの反射を複数の領域に分割し、各領域が、前記パターンの反射にわたって延在し、前記プロセッサは、前記パターンの反射から前記異なる色又は暗さの交互の領域を分離した後に、前記複数の領域のうちの１つにおける欠陥を識別するために、各領域内の部分を互いに比較する、請求項２に記載のシステム。
前記複数の領域は、前記交互の領域に対して横断方向に配向され、それによって、前記複数の領域は、前記パターンの反射から前記交互の領域の分離を通して前記交互の領域の任意の残りの部分をスクリーニングして除く、請求項３に記載のシステム。
前記プロセッサは、前記パターンの反射を複数の領域に分割し、各領域が、前記パターンの反射にわたって延在し、前記プロセッサは、前記パターンの反射から前記異なる色又は暗さの領域を分離した後に、前記複数の領域のうちの１つにおける欠陥を識別するために、各領域内の部分を互いに比較する、請求項１に記載のシステム。
前記欠陥の位置は、前記複数の領域に対応する軸に沿って、前記出力装置によって表示される、請求項５に記載のシステム。
前記領域の各々が画素のラインを備え、前記部分が各ライン内の画素を備える、請求項５に記載のシステム。
前記プロセッサは、前記パターンの反射を、前記異なる色又は暗さの領域を含む第１の行列と、前記欠陥を含む第２の行列とに分離する、請求項１に記載のシステム。
前記第１の行列及び前記第２の行列は、合算されると前記パターンの反射の表現を備える値をそれぞれ定義する、請求項８に記載のシステム。
前記第１の行列及び前記第２の行列の前記値は、前記第１の行列及び前記第２の行列における対応する画素の値である、請求項９に記載のシステム。
前記プロセッサは、前記第１の行列及び前記第２の行列を最適化する、請求項８に記載のシステム。
前記第１の行列は、低ランク行列を備え、前記第２の行列は、疎行列を備える、請求項１１に記載のシステム。
前記プロセッサは、前記低ランク行列の核型ノルムを最小化する、請求項１２に記載のシステム。
前記プロセッサは、前記疎行列の

を最小化する、請求項１２に記載のシステム。
前記プロセッサは、前記低ランク行列の第１の特性及び前記疎行列の第２の特性を最小化し、前記第１の特性及び前記第２の特性は、互いに異なっている、請求項１２に記載のシステム。
前記第１の特性は、核型ノルムを備え、前記第２の特性は、

を備える、請求項１５に記載のシステム。
前記プロセッサは、前記第１の行列の第１の特性及び前記第２の行列の第２の特性を最小化し、前記第１の特性及び前記第２の特性は、互いに異なっている、請求項１１に記載のシステム。
前記プロセッサは、前記パターンの反射から前記異なる色又は暗さの領域を分離する前に、前記パターンの反射からノイズをフィルタリングする、請求項１に記載のシステム。
前記パターン及び前記光源は、ディスプレイ画面から放射される、請求項１に記載のシステム。
前記表面は塗装されており、前記欠陥は前記塗装の被覆における異常である、請求項４に記載のシステム。