JP4894628B2

JP4894628B2 - 外観検査方法および外観検査装置

Info

Publication number: JP4894628B2
Application number: JP2007141075A
Authority: JP
Inventors: 智治中原
Original assignee: Panasonic Corp; Matsushita Electric Works Ltd
Current assignee: Panasonic Corp; Panasonic Electric Works Co Ltd
Priority date: 2007-05-28
Filing date: 2007-05-28
Publication date: 2012-03-14
Anticipated expiration: 2027-05-28
Also published as: JP2008292430A

Description

本発明は、主として生産ラインにおいてワークの外観を検査する方法と、その方法を実施する外観検査装置に関する。

従来から、樹脂成形品などの生産ラインにおいて、目視による外観検査に変えて、画像処理による自動検査が行われている。外観検査では、製品表面の異物、変色、傷などの検出が行われ、これにより製品の修復や不良製品の流出防止がなされる。表面にごみが載った成形品は、後工程でごみを拭き取る修復により良品とされ、異物が樹脂の中に埋まっている成形品や樹脂が変色している成形品は修復できないので不良品とされる。

従って、外観検査の自動化において、製品表面に載ったごみ、製品表面に埋め込まれた異物、製品表面の変色などを精度良く識別することが必要である。識別の精度が悪い場合、修復可能な製品を不良と見做して破棄することにより良品歩留まりが低下したり、作業者が目視により再検査することにより作業工数が増加したりする。これらは、いずれも無駄なコストであり、製品コストのアップにつながる。

ところで、従来簡便に行われている２次元画像を用いる外観検査では、例えば、表面が無地の製品の場合、輝度情報を用いて比較的精度良く検査できる。しかしながら、上述のように、検査精度をより高めて、無駄なコストを削減しようとする場合、２次元画像の処理には限界がある。そこで、例えば、表面に付着したごみの検出のため、製品の３次元表面形状の計測が有効と考えられる。

３次元計測データを用いて外観検査を行う例として、表面実装部品をプリント回路基板に半田実装する工程における半田付け状態の外観検査がある。例えば、半田実装する部品の３次元形状データに基づくマスタパターンと、部品実装後に３次元画像センサによって計測した３次元計測データとの照合を行う外観検査方法や（例えば、特許文献１参照）、クリーム半田を印刷するためのパッドを囲う検査枠を予め設定して記憶させ、部品実装後に３次元計測によって計測した半田の延出部が前記検査枠と交差するか否かによって半田ブリッジを検出する外観検査装置が知られている（例えば、特許文献２参照）。
特開平７−９１９３２号公報特開２００４−３１７２９１号公報

しかしながら、上述した特許文献１に示されるような検査方法は、特定の場所に実装される単純な形状の部品に関する外観検査に適用できるとしても、成形品の外観検査における異物付着のように任意の場所に発生する欠陥の検査に適用しようとすると問題がある。すなわち、このような検査方法は、被検査対象部品全体の３次元形状について記憶させた形状データと計測データとを、３次元空間中で位置合わせをして照合する必要があるので、成形品の３次元形状が複雑になると、３次元形状を表すデータ量が増大する。３次元空間中での照合は、２次元の場合に比べて多大の処理時間がかかるので、データ量の増大は大きな負担となる。また、成形品の大きさに比べ、欠陥の大きさが通常小さいので、製品全体について照合すると、バックグラウンド量（バイアス成分）が大きくなり、照合の度合いを示すマッチング率に差が出にくく、欠陥検出が難しい。

また、特許文献２に示されるような検査装置においては、半田パッドから発生する半田ブリッジの欠陥の発生場所が特定できるので、検査位置を特定の検査枠周辺に予め設定することができる。しかしながら、異物付着のように任意の場所に発生する欠陥の検査の場合、欠陥が発生する可能性がある場所全てに検査枠を設定せねばならず、検査枠設定に手間がかかり、また、欠陥の発生していない部分も可能性として検査する必要があるので検査に時間がかかるという問題がある。

本発明は、上記課題を解消するものであって、簡単な構成により、比較用データの入力作業を不要とし、計算処理量の削減、処理時間の短縮、高速処理、複雑な外観形状への対応などが可能で、高精度の外観検査を実現できる外観検査方法および外観検査装置を提供することを目的とする。

上記課題を達成するために、請求項１の発明は、被検査物体の外観における欠陥の有無を検査する外観検査方法であって、被検査物体を撮像して２次元画像を生成するステップと、前記２次元画像において所定の輝度値と異なる領域を欠陥候補部として検出するステップと、前記２次元画像を撮像した視点と同じ視点から見た前記被検査物体の３次元形状データであって前記２次元画像の各画素に対応するデータから成る第１の３次元データを取得するステップと、前記２次元画像において前記欠陥候補部とその周辺を通る計測ラインを設定するステップと、前記第１の３次元データから、前記欠陥候補部を除いた領域における前記計測ラインに対応するデータを抽出して第２の３次元データを生成するステップと、前記第２の３次元データにおける前記欠陥候補部に対応する領域の３次元データを補間した３次元データから成る第３の３次元データを求めるステップと、前記第１の３次元データと前記第３の３次元データとの差分値を前記計測ラインに対応するデータについて求め、前記差分値の大小に基づいて前記欠陥候補部における欠陥の有無を判定するステップと、を含むものである。

請求項２の発明は、請求項１に記載の外観検査方法において、前記第２の３次元データは、前記第１の３次元データのうち前記欠陥候補部の端部から予め定めた一定範囲であって、被検査物体表面の曲率が不連続となる点を含まない範囲に対応するデータから抽出して生成するものである。

請求項３の発明は、請求項１または請求項２に記載の外観検査方法において、前記欠陥の有無を判定するステップは、前記計測ラインの各点に対応するデータについて求めた各差分値を加算して総差分和を求めるステップと、前記総差分和と予め設定された閾値とを比較するステップと、を含むものである。

請求項４の発明は、請求項１または請求項２に記載の外観検査方法において、前記欠陥の有無を判定するステップは、前記計測ラインの各点に対応するデータについて求めた各差分値を加算して総差分和を求めるステップと、前記総差分和を求める対象とした前記欠陥候補部の画素数を求めて前記総差分和を前記画素数で割って平均差分値を求めるステップと、前記平均差分値と予め設定された閾値とを比較するステップとを含むものである。

請求項５の発明は、請求項１乃至請求項４のいずれか一項に記載の外観検査方法を用いる外観検査装置である。

請求項１の発明によれば、２次元画像の画像処理により検出した欠陥候補部分に限定して３次元データの比較を行って欠陥の有無の判定を行うので、少ない計算処理量で高速に検査ができる。また、３次元データに基づいて検査を行うので、表面に付着した異物と表面に埋め込まれた異物や表面の変色部との識別を、凹凸の検出に基づいて、高い精度のもとで実現できる。これらは従来の２次元画像処理では識別できなかったものである。第１および第３の３次元データの差の大小に基づく欠陥の有無の判定は、欠陥候補部における差の最大値と所定の閾値との比較や、欠陥候補部における差の総和値と所定の閾値との比較により、容易に行うことができる。

また、３次元形状の比較対象データすなわち良品形状の３次元データとして、周辺部位のデータから欠陥候補部のデータを補間して得たデータ（第３の３次元データ）を用いるので、予め良品形状の３次元データを比較用データとして入力する作業や、その記憶のためのメモリ容量の確保が不要となる。さらに、第３の３次元データを補間により求める際に、予め設定した計測ラインに沿って処理を行うので、短い処理時間で容易にデータを求められる。このように、少ないデータと処理時間で容易に外観検査ができるので、より多くのデータと処理時間の必要な複雑な外観形状の被検査物体に対しても、高精度の外観検査が容易に行える。計測ラインは、欠陥候補部とその周辺を通る線を複数設定することができる。

請求項２の発明によれば、欠陥候補部の端部から一定範囲であって表面形状の曲率が不連続となる点を含まない領域に限定して第２の３次元データを求めるので、扱うデータが少く処理が容易である。また、第２の３次元データが曲率の不連続点を含まず、第３の３次元データとして得られる曲面が滑らかな曲面となるので、良品形状の３次元データ（第３の３次元データ）が補間により容易に精度よく求められる。従って、精度の高い外観検査を実現できる。

請求項３の発明によれば、欠陥候補部の検査を総差分和を用いて行うので、欠陥部の大きさや形状の変化に影響されることなく安定に検査を行うことができる。

請求項４の発明によれば、欠陥候補部の検査を平均差分値を使って行うので、欠陥形状のばらつきに影響されず安定した検査を行うことができる。

請求項５の発明によれば、簡単な構成により、比較用データの入力作業を行うことなく、計算処理量の削減、処理時間の短縮、高速処理、複雑な外観形状への対応を実現した高精度の外観検査を行える。

以下、本発明の一実施形態に係る外観検査装置および外観検査方法について、図面を参照して説明する。図１は外観検査装置のブロック構成を示し、図２（ａ）〜（ｃ）は同外観検査装置を用いて行う外観検査方法における２次元画像および３次元データ例を示す。

外観検査装置１は、被検査物体１０の外観における欠陥の有無を２次元画像Ｇおよび３種類の３次元データＰ１，Ｐ２，Ｐ３を用いて効率的に行う装置であり、被検査物体１０の表面に付着した異物と、表面の傷や変色などの欠陥とを区別して検出する。

外観検査装置１は、２次元画像Ｇを撮像するカメラ３と、強度が正弦縞パターンとされた照明光を照射するプロジェクタ４と、計算処理と制御を行う外観検査装置本体２とを備えている。

外観検査装置本体２は、データ処理を行って欠陥の有無を判定する計算処理部２０と、カメラ３からの画像データを処理して所定の画像とする画像生成部２１と、プロジェクタ４を動作させるための正弦縞パターンを生成する正弦縞パターン生成部２２と、ユーザからの指示やデータ入力を受けると共に外部機器へのデータ出力を行う入出力部２３と、外部のディスプレイ２４ａに欠陥部の画像や検査結果などを表示するデータを生成する表示作成部２４と、画像データ、検査条件、検査結果、などを記憶する記憶部２５と、を備えている。

計算処理部２０は、欠陥候補部検出手段１１と、第１、第２、第３の３次元データ生成手段１２，１３，１４と、欠陥判定手段１５と、を備えており、データ処理を行って欠陥有無の判定結果を入出力部２３やディスプレイ２４ａに出力する。以下、計算処理部２０の各手段について、処理に注目して説明する。

欠陥候補部検出手段１１は、２次元画像Ｇから欠陥候補部を抽出する。２次元画像Ｇは、カメラ３によって撮像され、図２（ａ）に示すように、ｘｙ座標面における画素の輝度分布のデータからなる。欠陥候補部検出手段１１は、２次元画像Ｇにおいて所定の輝度値と異なる領域を欠陥候補部として検出する。

第１の３次元データ生成手段１２は、正弦縞パターン生成部２２、プロジェクタ４、カメラ３、および画像生成部２１によって取得された３次元データを処理して、第１の３次元データＰ１（以下、単に３次元データＰ１ともいう、他も同様）を生成する。３次元データＰ１生成の詳細については、後述する（図１０、図１１、図１２参照）。

上述のようにして生成された３次元データＰ１は、図２（ｂ）に示すように、２次元画像Ｇを撮像した視点と同じ視点から見た被検査物体１０の３次元形状データであり、２次元画像Ｇの各画素に対応するデータから成る。すなわち、３次元データＰ１は、２次元画像Ｇにおける輝度の分布に変えて、Ｚ座標値の分布を示すデータである。

第２の３次元データ生成手段１３は、３次元データＰ１から、図２（ｃ）に示す３次元データＰ２を生成する。３次元データＰ２は、３次元データＰ１から、上述の欠陥候補部を除いた領域における対応するデータを抽出して生成されたデータである。すなわち、３次元データＰ２における上述の欠陥候補部に対応する領域ｍのデータは、所定の値、例えばゼロ値とされる。

第３の３次元データ生成手段１４は、上述の３次元データＰ２における領域ｍの値を、領域ｍの周辺の値に基づいて内挿することにより補間して、図２（ｄ）に示すような、３次元データＰ３を生成する。

欠陥判定手段１５は、上述の２つの３次元データＰ１，Ｐ３のＺ値に関する差分値δＺを求め、その差分値δＺと所定の閾値との大小比較に基づいて、欠陥候補部における欠陥の有無を判定する。すなわち、差分値δＺが閾値よりも大きい場合、欠陥候補部には異物が付着していると判断され、欠陥は存在しないと結論される。これは、被検査物体１０の表面に付着している異物は、拭き取りや吹き飛ばしなどの処理によって除去できるので、変色や傷などの修復不能な欠陥とは異なることによる。

このような外観装置１は、３次元形状の比較対象データすなわち良品形状の３次元データとして、周辺部位のデータから欠陥候補部のデータを補間して得たデータ、すなわち第３の３次元データＰ３を用いるので、予め良品形状の３次元データを比較用データとして入力する作業や、その記憶のためのメモリ容量の確保が不要である。

また、３次元データＰ２，Ｐ３として、欠陥候補部とその周辺領域に限定して、データ生成やデータ比較を行うこともできる。この場合、限定した領域での３次元データの処理を行えばよく、短い処理時間で容易にデータ処理ができる。従って、少ないデータと処理時間で容易に外観検査ができるので、より多くのデータと処理時間の必要な複雑な外観形状の被検査物体に対しても、高精度の外観検査が容易に行える。

また、図２（ｃ）に示した領域ｍにおける３次元データの補間は、近似平面や２次曲面による近似面を用いることができる。この場合、最小二乗法による推定の手法を用いることができる。

なお、図２（ａ）〜（ｄ）では、３次元データＰ２，Ｐ３として面的な処理を行ったが、欠陥候補部を通る１本または複数本の計測ラインを定義し、その計測ラインに関して３次元データＰ２，Ｐ３を生成し、計測ラインに関して３次元データＰ１，Ｐ３を比較して欠陥の有無を判別するようにしてもよい。

上述のように、計測ラインを用いる場合、補間により３次元データＰ３を求める際に、予め設定した計測ラインに沿って処理を行えばよく、欠陥判定も計測ラインに沿って行えばよいので、より短い処理時間でより容易にデータを求められ、少ないデータと処理時間で容易に外観検査ができる。従って、より多くのデータと処理時間の必要な複雑な外観形状の被検査物体に対しても、より高精度の外観検査が容易に行える。

次に、上述の計測ラインを用いる外観検査方法について、図１と共に図３乃至図６を参照して大略工程順に説明する。図３（ａ）（ｂ）（ｃ）は２次元画像の処理の概要を示し、図４（ａ）（ｂ）はより具体的な第１の３次元データと２次元画像とを示し、図５は計測ラインを含む断面における第１の３次元データを示し、図６（ａ１）〜（ａ４）、（ｂ１）〜（ｂ４）は計測ラインを含む断面における第１、第２、第３の３次元データおよび差分値データを示す。

（２次元画像Ｇ）
図３（ａ）に示す２次元画像Ｇは、図１に示した外観検査装置１のカメラ３を用いて撮像した画像である。カメラ３は、被検査物体１０を上方から撮像し、撮像データは、画像生成部２１によって２次元画像Ｇとされて、ｘｙ座標に基づく画素値として各画素の輝度値（濃淡値）が記憶部２５に記憶される。ここで、２次元画像Ｇにおける各領域の輝度値Ｉが、領域Ｍ１においてＩ１＝１００、領域Ｍ２においてＩ２＝１７０、領域Ｍ１，Ｍ２以外の背景領域においてＩｂ＝１８０、のようになっているとする。

（欠陥候補部の検出）
上述の２次元画像Ｇにおいて所定の輝度値と異なる領域が欠陥候補部として検出される。ここで、所定の輝度値の範囲は、１６０＜所定の輝度値＜２００とする。

欠陥候補部検出手段１１は、２次元画像Ｇの各画素における輝度値と上述の所定の輝度値の範囲とを比較し、上述の範囲外の輝度値を持つ画素を欠陥候補部として検出する。すると、領域Ｍ１における輝度値Ｉ１＝１００が、所定の範囲外とされるので、図３（ｂ）に示すように、領域Ａ１が欠陥候補部（以下、欠陥候補部Ａ１）として検出される。欠陥候補部が検出されない場合は、被検査物体１０は良品と判定され、以下の外観検査工程の処理は終了する。欠陥候補部が検出された場合には、第１の３次元データＰ１の取得が行われる。

（第１の３次元データＰ１）
上述の２次元画像Ｇを撮像した視点と同じ視点から見た被検査物体１０の３次元形状データであって２次元画像Ｇの各画素に対応するデータから成る第１の３次元データＰ１が取得される。この３次元データＰ１の取得には、後述する位相シフト法を用いることにより、２次元画像Ｇを撮像した同じカメラ３を用いることができる。同一カメラ３を用いる結果、２次元画像Ｇの画素と、３次元データＰ１の画素と、被検査物体１０上の点とが互いに１対１対応することになる。後述する手順によって、被検査物体１０の表面形状の３次元データが求められる。

これらの２次元画像Ｇおよび３次元データＰ１を液晶ディスプレイに表示する場合、液晶画面上の座標（ｕ，ｖ）、画像上の座標（ｘ，ｙ）、３次元空間中の座標（Ｘ，Ｙ，Ｚ）の三つの座標の関係には本来制約が無いが、説明を簡単にするために、液晶画面上の座標と画像上の座標の関係は、液晶画面上のｕ軸と画像上のｘ軸が平行であるとする。また、画像上のｘ軸、ｙ軸が、３次元空間中のＸ軸、Ｙ軸と夫々平行とし、Ｚ軸はカメラの光軸方向にあるとする。

（計測ラインの設定）
上述の欠陥候補部Ａ１が検出された場合に、図３（ｃ）に示すように、２次元画像Ｇにおいて、欠陥候補部Ａ１とその周辺を通る複数（本例の場合６本）の並行する計測ラインＬ１〜Ｌ６を設定する。この計測ラインの設定は、図１に示した計算処理部２０で行われる。これらの計測ラインは、上述の座標系の仮定のもとで、処理の簡単のためｘ軸方向に平行に設定されているが、これに限定されず、他の方向や任意曲線とすることができる。

ところで、図１および図３（ａ）〜（ｃ）に示した被検査物体１０は、略平面の表面を有し、その表面上の欠陥や異物を対象とするものとなっている。以下では、より一般的に、図４（ａ）に示す被検査物体の例によって外観検査方法を説明する。図４（ａ）に示す３次元データＰ１は、滑らかな曲面を有する凹部斜面１０ａ、上部の平坦面１０ｂ、および両面の交線から成る稜線１０ｃを含み、凹部斜面１０ａの上に異物Ｍが付着している。図４（ｂ）に示す２次元画像Ｇには、上述同様に、異物Ｍに対応する欠陥候補部Ａとその周辺を通る６本の計測ラインＬ１〜Ｌ６が設定されている。また、図４（ａ）に示す３次元データＰ１にも、２次元画像に対応する６本の計測ラインＬ１〜Ｌ６が示されている。

（第２の３次元データＰ２）
上述の図４（ａ）（ｂ）に示すように、計測ラインが設定され、３次元データＰ１が取得されると、３次元データＰ１から、欠陥候補部Ａを除いた領域における計測ラインＬ１などに対応するデータを抽出して第２の３次元データＰ２が生成される。３次元データＰ２の生成は、第２の３次元データ生成手段１３が行う。

上述の３次元データＰ２の生成、および以降の処理を効率的に行うために、３次元データＰ２は、データ量を極力抑えて生成される。これを、図５を参照して説明する。図５は、図４（ａ）における計測ラインＬ３を含む断面における、Ｘ軸に対するＺ軸方向の高さの変化を示している。この図において、凹部斜面１０ａに対応する滑らかな曲線の曲率が、稜線１０ｃに対応する位置で不連続に変化していることが分かる。また、異物Ｍに対応する凸部が、凹部斜面１０ａに対応する滑らかな曲線の上に示されている。

そもそも、第２の３次元データＰ２は、欠陥候補部Ａが被検査物体の表面に異物Ｍが付着している結果であると仮定した場合の、異物Ｍが付着していないもと被検査物体の表面を推定するための基礎データを与えるものである。従って、３次元データＰ２は、欠陥候補部Ａの周辺領域までの範囲で生成すればよい。さらに、図５に示した稜線１０ｃのような、曲率が不連続に変化する領域のデータは含まないほうが好ましい。

従って、図４（ａ）（ｂ）の状況において、図５に示すように、異物Ｍの領域ｗにその両側の領域ｄｘ１，ｄｘ２を含めた領域Ｗにおける３次元データＰ２を、計測ラインに沿って生成するのが好ましい。この場合、領域Ｗは、稜線１０ｃの領域を含まない領域である。すなわち、３次元データＰ２は、３次元データＰ１のうち欠陥候補部Ａの端部から予め定めた一定範囲であって、被検査物体表面の曲率が不連続となる点を含まない範囲に対応するデータから抽出して生成される。

上述の図４（ａ）における計測ラインＬ１に沿って抽出された３次元データＰ１，Ｐ２は、図６（ａ１）（ａ２）に示すように、計測ラインＬ１上に欠陥候補部がないので、被検査物体の表面形状（凹部斜面１０ａ）を示す緩やかな曲線となっている。

また、計測ラインＬ３に沿って抽出された３次元データＰ１は、計測ラインＬ３上に欠陥候補部Ａがあるので、図６（ｂ１）に示すように、被検査物体の表面形状の緩やかな曲線の途中に幅ｗの欠陥形状を反映する凸部分を有する曲線となっている。また、計測ラインＬ３に沿って抽出された３次元データＰ２は、図６（ｂ２）に示すように、計測ラインＬ３上の欠陥候補部に対応する幅ｗのデータが被検査物体の表面形状の緩やかな曲線の途中抜け落ちた曲線となっている。

ここで、再び図５を参照して、第２の３次元データＰ２の生成手順を説明する。第２の３次元データ生成手段１３が３次元データＰ１から３次元データＰ２を読み込む（すなわち抽出する）際に、欠陥候補部Ａの２次元画像Ｇにおける重心（ｘｇ，ｙｇ）に対応する３次元空間中のＸ座標値Ｘｇから始めて、まず、Ｘ軸の正方向にデータを読み込む。第２の３次元データ生成手段１３はデータを読み込む都度、その点の曲率、例えば前後のＺ値の差分を計算し、読込が所定の読み込み範囲（領域Ｗの右端）に達するか、曲率が予め決めた閾値より大きく変化して不連続になるかした場合に、データの読込を終了する。次に、座標値Ｘｇから、同様にＸ軸の負方向にデータ読込と曲率計算が行われ、読込が所定の読み込範囲（領域Ｗの左端）に達するか、曲率が予め決めた閾値より大きく変化して不連続になるかした場合に、データの読込を終了する。このような読込が各計測ラインについて行われる。

上述のような読込方法を使うことにより、読み込むデータ量がより少なく、かつ、高さデータ（Ｚ値）が滑らかに変化する部分のデータを第２の３次元データＰ２として読み込むことができる。

（第３の３次元データＰ３）
第２の３次元データＰ２が生成されると、第３の３次元データ生成手段１４が、３次元データＰ２における欠陥候補部Ａに対応する領域の３次元データを補間した３次元データから成る第３の３次元データＰ３を生成する。３次元データＰ３は、欠陥候補部Ａが存在しない状態における被検査物体の３次元形状を表す。つまり、３次元データＰ３は、各計測ライン毎に、各計測ラインを含む平面内において生成された、３次元データＰ２を近似する曲線や直線の集まりから成る。３次元データＰ３の例が、図６（ａ３）（ｂ３）に示されている。

（欠陥の判定）
第１の３次元データＰ１と第３の３次元データＰ３とが生成されると、欠陥判定手段１５が、図６（ａ４）（ｂ４）に示すように、両３次元データＰ１，Ｐ３のＺ値について計測ライン毎に差分値δＺを算出する。欠陥判定手段１５は、得られた差分値δＺの大小に基づいて欠陥候補部がどのような欠陥であるかを判定する。

最も簡単な判定方法は、所定の閾値と差分値δＺとを比較して、その閾値よりも大きな差分値δＺが存在する場合、その欠陥候補部Ａは被検査物体の表面に異物が付着したものである、と判定する方法である。その他に、欠陥候補部Ａにおける差分値δＺの最大値を求めて閾値と比較したり、差分値δＺの和や平均値を閾値と比較することによって、判定することができる。これらの詳細に付いては、後述する（図７、図８、図９参照）。

上述のような計測ラインを設定して２次元画像Ｇと３次元データＰ１，Ｐ２，Ｐ３を用いる外観検査方法によれば、予め設定した計測ラインに沿って処理を行うので、少ないデータと処理時間で容易に外観検査が可能となる。計測ラインは、欠陥候補部とその周辺を通る線として必要最小領域に限定して複数設定することができる。従って、２次元画像Ｇに基づく欠陥候補部Ａとその周辺領域に処理対象領域を限定した上でさらに計測ライン上に対象を限定して、３次元データＰ１，Ｐ３の比較を行って欠陥の有無の判定を行うので、少ない計算処理量で高速に検査ができる。また、２次元画像処理だけでは識別できなかった、表面に付着した異物と表面に埋め込まれた異物や表面の変色部との識別を、凹凸の検出に基づいて、高い精度のもとで実現できる。

また、３次元形状の比較対象データすなわち良品形状の３次元データＰ３として、欠陥候補部Ａの周辺部位のデータＰ２から欠陥候補部Ａのデータを補間して得たデータ、すなわち第３の３次元データＰ３を用いるので、予め良品形状の３次元データを比較用データとして入力する作業や、その記憶のためのメモリ容量の確保が不要となる。

また、欠陥候補部Ａの端部から一定範囲であって表面形状の曲率が不連続となる点を含まない領域に限定して第２の３次元データＰ２を求めるので、第３の３次元データＰ３として得られる曲面の形状が滑らかな曲面となることが予想され、その形状が補間により容易に精度よく求められる。従って、精度の高い外観検査を実現できる。

本発明では、最初に２次元画像Ｇを使って「異物付着」または「異物混入」の可能性がある欠陥候補部Ａを検出し、次に、欠陥候補部Ａ周辺の３次元データＰ１を使って、欠陥候補部Ａに欠陥がない場合、つまり、良品の場合の３次元形状を示す３次元データＰ３を推定し、次に、この欠陥候補部Ａにおいて推定された良品の３次元データＰ３と計測された３次元データＰ１との差から、良品の３次元形状の上に何かが載っているようであれば「異物付着」と判定し、良品の３次元形状と同じであれば、「異物混入」と判定する。このように、２次元画像Ｇ上の輝度値だけでなく、３次元データも使って異物の状態を識別するため信頼性の高い識別を行うことができる。

ところで、従来の樹脂成形品の生産工程における外観検査を例にとると、以下のようである。射出成形機で成形された各製品は、外観に「欠け」、「傷」、「クラック」、「異物混入」、「異物付着」がないかを検査された後出荷される。この外観検査において、輝度値に基づく２次元画像処理装置で欠陥有無の検査を行う場合、欠陥検出のための検出閾値は、不良品を市場に出さない安全側の判定を行うように過検出気味に設定される。そこで、良品であるのに不良品として過検出された商品を作業者が再検査しなければならないので、再検査対象となる製品を減らすことが課題となる。通常の生産工程はクリーンルームではなく、工程ラインを製品が通過する際に、ごみ付着が発生する。作業者の目視による検査では、拭けば取れるごみか、樹脂の中に混入した異物かの識別は簡単に行うことができるが、従来の輝度値の違いを利用して欠陥の検出をする２次元画像処理装置では、これらの区別ができず、両方とも同じ異物欠陥として判定される。

そこで、本実施形態の外観検査方法を用いることにより、「異物付着」と「異物混入」の区別が容易に実現でき、「異物付着」と判定されたものだけを作業者が確認して異物を拭き取って良品とし、「異物混入」の異物は取り去ることができないため、作業者の手を煩わせず不良として廃棄することが可能となり、作業工数とコストの両方を削減可能となる。

次に、外観検査方法の処理の例を、図７のフローチャートを参照して説明する。上述したように、２次元画像Ｇの取得（Ｓ１）、２次元画像Ｇから欠陥候補部の検出（Ｓ２）、が行われた後、欠陥候補部の存在有無が判断され（Ｓ３）、欠陥候補部がない場合（Ｓ３でＮｏ）、良品と判定され（Ｓ４）、外観検査が終了する。

欠陥候補部が検出された場合（Ｓ３でＹｅｓ）、第１の３次元データＰ１が取得され（Ｓ５）、２次元画像Ｇ上に、欠陥候補部とその周辺を通る複数の計測ラインが設定される（Ｓ６）。

次に、各計測ラインに関し、第１の３次元データＰ１から、欠陥候補部に対応するデータを含まないデータが抽出されて、第２の３次元データＰ２が生成される（Ｓ７）。

次に、各計測ラインに関し、第２の３次元データＰ２における欠陥候補部のデータを補間したデータである第３の３次元データＰ３が生成される（Ｓ８）。

次に、各計測ラインに関し、第１の３次元データＰ１と、第３の３次元データＰ３との差分値δＺが計算され、各差分値δＺが各計測ライン上で加算され、さらに各計測ラインについて加算され、その結果、総差分和Ｖが算出される（Ｓ９）。

ここで、総差分和Ｖの計算について説明する。計測ラインをｋで識別し、全部でｍ本（ｋ＝１〜ｍ）とし、各計測ラインｋに含まれるデータ数をｎ（ｋ）、各計測ライン上のデータ識別変数をｊ＝１〜ｎ（ｋ）とし、第１の３次元データＰ１のＺ値をＺ_Ｐ１（ｋ、ｊ）とし、第３の３次元データＰ３のＺ値をＺ_Ｐ３（ｋ、ｊ）、とすると、総差分和Ｖは式（１）のように表される。なお、δＺ＝Ｚ_Ｐ１（ｋ，ｊ）−Ｚ_Ｐ２（ｋ，ｊ）である。

上述の式（１）で求めた総差分和Ｖが、予め決めた閾値αと比較され（Ｓ１０）、総差分和Ｖが閾値αより大きければ（α＜Ｖ、Ｓ１０でＹｅｓ）、異物付着と判定される（Ｓ１１）。この異物付着の判定は、被検査物体を良品とする判定、すなわち欠陥候補部に欠陥がないとの判定である。

また、総差分和Ｖが閾値α以下であれば（Ｖ≦α、Ｓ１０でＮｏ）、異物付着ではないと判定され、従って不良、例えば異物混入と判定される（Ｓ１２）。この判定は、欠陥候補部に欠陥があるとの判定である。

次に、外観検査方法の処理の他の例を、図８のフローチャートを参照して説明する。本例の工程Ｓ１〜Ｓ９までの処理は、図７のフローチャートに示した工程Ｓ１〜Ｓ９の処理と同じである。本例は、上述の総差分和Ｖを、対象とする欠陥候補部の全画素数Ｓで割って求めた平均差分値Ｈを用いて欠陥判定を行うものである。そこで、計測ラインに関して、欠陥候補部の画素数Ｓが算出され（Ｓ２１）、総差分和Ｖを全画素数Ｓで割って平均差分値Ｈが算出される（Ｓ２２）。平均差分値Ｈは、いわば、擬似的な高さである。

次に、平均差分値Ｈと所定の閾値βとが比較され（Ｓ２３）、平均差分値Ｈが閾値βより大きければ（β＜Ｈ、Ｓ２３でＹｅｓ）、異物付着と判定される（Ｓ２４）。この異物付着の判定は、被検査物体を良品とする判定、すなわち欠陥候補部に欠陥がないとの判定である。

また、平均差分値Ｈが閾値β以下であれば（Ｈ≦β、Ｓ２３でＮｏ）、異物付着ではないと判定され、従って不良、例えば異物混入と判定される（Ｓ２５）。この判定は、欠陥候補部に欠陥があるとの判定である。

次に、外観検査方法の処理におけるさらに他の例を、図９のフローチャートを参照して説明する。本例の工程Ｓ１〜Ｓ２２までの処理は、図８のフローチャートに示した工程Ｓ１〜Ｓ２２の処理と同じであり、擬似的な高さを使う他の例となっている。

この例では、平均差分値Ｈに対し２つの閾値β０，β１を用いて２段階の判定を行う。すなわち、第１段階の判定において、平均差分値Ｈが予め決めた閾値β１より大きければ（β１＜Ｈ、Ｓ３０でＹｅｓ）、異物付着と判定される（Ｓ３１）。この異物付着の判定は、被検査物体を良品とする判定、すなわち欠陥候補部に欠陥がないとの判定である。

平均差分値Ｈが予め決めた閾値β１より大きくなければ（Ｓ３０でＮｏ）、第２段階の判定が行われる。すなわち、平均差分値Ｈが予め決めた閾値β０とβ１（但しβ０＜β１）の間の範囲に入つていれば（β０＜Ｈ≦β１、Ｓ３２でＹｅｓ）、異物混入と判定する（Ｓ３３）。この異物混入の判定は、被検査物体を不良とする判定、すなわち欠陥候補部に欠陥があるとの判定である。

また、平均差分値Ｈが予め決めた閾値β０とβ１の間の範囲に入つていなければ（Ｓ３２でＮｏ）、欠陥候補部は傷または欠けである、判定する（Ｓ３４）。これは言い換えると、平均差分値Ｈが予め決めた閾値β０より小さいか等しい場合に（Ｈ≦β０）、傷または欠けと判定することになる。この傷または欠けの判定は、被検査物体を不良とする判定、すなわち欠陥候補部に欠陥があるとの判定である。

（位相シフト法）
次に、図１０、図１１を参照して、上述の３次元データＰ１を求める方法である位相シフト法を説明する。図１０（ａ）〜（ｄ）は３次元データを取得する際に用いる正弦縞パターンを投影して撮像した画像の強度変化を示し、図１１（ａ）（ｂ）は正弦縞パターン照明光による照明の様子を示す。図１を再度参照する。

位相シフト法は、正弦縞パターンを有する照明光を被検査物体に照射して行う撮像を、正弦縞パターンの位相をずらして複数回行い、得られた複数の画像における縞パターンの輝度値の変化に基づいて被検査物体の３次元形状を求める３次元計測方法である。この位相シフト法によって、２次元画像Ｇの各画素毎に第１の３次元データＰ１のデータ（Ｚ座標値）が得られる。

以下では正弦縞パターンの位相を１／４周期ずつ変化させる４相の位相シフト法を説明する。なお、位相シフト法には、位相を１／３周期ずつ変化させる３相を使う方法や、５相以上を使う方法もあるが、これらのいずれも３次元データＰ１の取得に用いることができる。

上述の正弦縞パターンデータは、図１に示した外観検査装置１における正弦縞パターン生成部２２において生成され、その正弦縞パターンデータがプロジェクタ４に転送され、その正弦縞パターンデータに基づく正弦縞パターンを有する照明光がプロジェクタ４から被検査物体１０に投影される。その照明光は、正弦波状に明度が変化する縞パターンを有している。正弦縞パターン生成部２２で作られる正弦縞パターンデータＬ_ｉ（ｕ，ｖ）は、式（２）ように表される。

ここで、座標（ｕ，ｖ）はプロジェクタ４が有する液晶面上の座標である。正弦縞パターンデータＬ_ｉ（ｕ，ｖ）は、バイアスｂ（ｕ）、振幅ａ（ｕ）、位相φ（ｕ）、位相シフト量ｉπ／２，（Ｉ＝０，１，２，３）で表されている。正弦縞パターンを有する照明光の明度の変化は、ｕ方向に対してのみ変化させれば十分である。従って、Ｌ_ｉ（ｕ，ｖ）は、バイアス、振幅などにｖ成分を含ず、ｖ方向について同じ値となる。

３次元データＰ１の取得において、まず、ある１つの位相状態にある正弦縞パターンの照明光で照射した被検査物体１０、つまり正弦縞パターンを投影した被検査物体１０を、カメラ３で撮像する。撮像データは、画像生成部２１で２次元面像とされ、各画素の輝度値Ｉ_ｉ（ｘ，ｙ）が記憶部２５に記録される。次に、正弦波の位相状態をπ／２だけ変化させて、前記同様に正弦縞パターンの投影と撮像、および輝度値の記録を行う。最終的に、上述の式（２）におけるｉの値を０〜３と変化させた合計４枚の２次元画像の輝度値Ｉ_ｉ（ｘ，ｙ），（ｉ＝０，１，２，３）が記憶部２５に取り込まれる。

上述の記憶部２５に取り込まれた４枚の２次元画像における、ｘ軸方向の輝度値Ｉの変化の様子を、図１０（ａ）〜（ｄ）に示す。また、平面に正弦縞パターンを投影して撮像した２次元画像の例を、図１１（ａ）に示し、円形凸部が表面にある平面に正弦縞パターンを投影して撮像した２次元画像の例を、図１１（ａ）に示す。

次に、各画素における縞パターンの位相φ（ｘ，ｙ）が、上述の４枚の２次元画像の各画素の輝度値Ｉ_ｉ（ｘ，ｙ）、（ｉ＝０，１，２，３）を用いて、計算処理部２０によって次式（３）のように算出される。座標（ｘ、ｙ）は、画像上の座標である。

ここでＩ_ｉ（ｘ，ｙ），（ｉ＝０，１，２，３）は、式（２）と同様に、バイアスＢ（ｘ）、振幅Ａ（ｘ）、位相φ（ｘ）、位相シフト量ｉπ／２，（ｉ＝０，１，２，３）を用いて次式（４）で記述される。

被検査物体に投影された正弦縞パターンは、被検査物体の３次元表面形状に従って、例えば図１１（ｂ）に示すように、変調される（歪められる）。ところが、投影時の位相φ（ｕ）と、撮像した画像から求めた位相φ（ｘ，ｙ）との間には対応関係が有る。そこで、画像上の座標（ｘ、ｙ）と液晶上の座標（ｕ，ｖ）の対応が得られ、三角測量の原理によって被検査物体表面の第１の３次元データＰ１、すなわち（Ｘ，Ｙ，Ｚ）値が、次式（５）から求められる。

ここで、（Ｘ，Ｙ，Ｚ）は３次元データＰ１である３次元空間中の座標、ｕ（φ）は位相と液晶面上の画素へ対応付ける関数、Ｐ^ｃはカメラのキャリブレーションで求められる光学情報、３次元空間中での姿勢情報をもつパラメータであり、Ｐ^Ｐはプロジェクタのキャリブレーションで求められる光学情報、３次元空間中での姿勢情報をもつパラメータであり、これらは次の式（６）、式（７）を満足する。

本手法を実際に適用した例を図１２（ａ）（ｂ）（ｃ）に示す。これは被検査物体の曲面上に異物が付着している例である。図１２（ａ）は第１の３次元データＰ１の例を示し、図１２（ｂ）は第３の３次元データＰ３の例を示し、図１２（ｃ）は第１の３次元データＰ１と第３の３次元データＰ３の差分値δＺを示す。このように曲面上に欠陥（付着異物）があっても、異物部分だけを検出して欠陥の識別をすることができる。

なお、本発明は、上記構成に限られることなく種々の変形が可能である。例えば、第１の３次元データＰ１を取得する方法として、上記では位相シフト法を説明したが、２次元画像Ｇと同じ画素に対応させて３次元データＰ１を取得できる３次元形状計測方法であれば、上記の位相シフト法に代えて用いることができる。例えば、レーザ光によるスキャンデータにより第１の３次元データＰ１を生成してもよい。また、差分値δＺ、従って総差分和Ｖや平均差分値Ｈは、例えば、傷による凹部が欠陥候補部に存在すると負数となることもある。

また、２次元画像を生成するステップや欠陥候補部を検出するステップと、第１の３次元データを取得するステップとは、処理の順番を入れ替えることができる。また、計測ラインの設定は、処理データを必要最小限とするものであるので、計測ラインはこの趣旨に沿ったものであればよい。すなわち、画素を間引いた計測ラインとしたり、数画素離れた位置に計測ラインを並行に設定したりすることができる。また、欠陥候補部の検出方法は、輝度の違いに基づく方法の他に、彩度や色度などの色情報に基づく方法を用いることができる。

本発明の一実施形態に係る外観検査装置のブロック構成図。（ａ）は同上外観検査装置を用いる本発明の一実施形態に係る外観検査方法における２次元画像例を示す図、（ｂ）は同第１の３次元データ例を示す図、（ｃ）は同第２の３次元データ例を示す図、（ｄ）は同第３の３次元データ例を示す図。（ａ）は同上２次元画像の他の例を示す図、（ｂ）は同２次元画像から欠陥候補部を抽出する例を示す図、（ｃ）は２次元画像に計測ラインを設定する様子を示す図。（ａ）は第１の３次元データの他の例を示す図、（ｂ）は同３次元データに対応する２次元画像の図。図４（ａ）の計測ラインＬ３を含む断面における第１の３次元データを示すグラフ。（ａ１）は図４（ａ）の計測ラインＬ１を含む断面における第１の３次元データを示すグラフ、（ａ２）は同第２の３次元データを示すグラフ、（ａ３）は同第３の３次元データを示すグラフ、（ａ４）は同第１と第２の３次元データの差分値を示すグラフ、（ｂ１）は図４（ａ）の計測ラインＬ３を含む断面における第１の３次元データを示すグラフ、（ｂ２）は同第２の３次元データを示すグラフ、（ｂ３）は同第３の３次元データを示すグラフ、（ｂ４）は同第１と第２の３次元データの差分値を示すグラフ。同上外観検査方法における処理のフローチャート。同上外観検査方法における処理の他の例を示すフローチャート。同上外観検査方法における処理のさらに他の例を示すフローチャート。（ａ）〜（ｄ）は同上外観検査方法における第１の３次元データを取得する際に正弦縞パターンを投影して撮像した画像の強度変化を示す図。（ａ）は同上正弦縞パターン照明光による平らな表面の照明の様子を示す図、（ｂ）は同正弦縞照明光による部分的に凸部のある平らな表面の照明の様子を示す図。（ａ）は第１の３次元データの例を示す３次元図、（ｂ）は第３の３次元データの例を示す３次元図、（ｃ）は第１と第３の３次元データの差分値を示す３次元図。

符号の説明

１外観検査装置
１０被検査物体
Ａ，Ａ１欠陥候補部
Ｇ２次元画像
Ｈ平均差分値
Ｌ，Ｌ１〜Ｌ６計測ライン
Ｍ欠陥
Ｐ１第１の３次元データ
Ｐ２第２の３次元データ
Ｐ３第３の３次元データ
Ｓ画素数
Ｖ総差分和
α，β，β１，β２閾値
δＺ差分値

Claims

被検査物体の外観における欠陥の有無を検査する外観検査方法であって、
被検査物体を撮像して２次元画像を生成するステップと、
前記２次元画像において所定の輝度値と異なる領域を欠陥候補部として検出するステップと、
前記２次元画像を撮像した視点と同じ視点から見た前記被検査物体の３次元形状データであって前記２次元画像の各画素に対応するデータから成る第１の３次元データを取得するステップと、
前記２次元画像において前記欠陥候補部とその周辺を通る計測ラインを設定するステップと、
前記第１の３次元データから、前記欠陥候補部を除いた領域における前記計測ラインに対応するデータを抽出して第２の３次元データを生成するステップと、
前記第２の３次元データにおける前記欠陥候補部に対応する領域の３次元データを補間した３次元データから成る第３の３次元データを求めるステップと、
前記第１の３次元データと前記第３の３次元データとの差分値を前記計測ラインに対応するデータについて求め、前記差分値の大小に基づいて前記欠陥候補部における欠陥の有無を判定するステップと、を含むことを特徴とする外観検査方法。
前記第２の３次元データは、前記第１の３次元データのうち前記欠陥候補部の端部から予め定めた一定範囲であって、被検査物体表面の曲率が不連続となる点を含まない範囲に対応するデータから抽出して生成することを特徴とする請求項１に記載の外観検査方法。
前記欠陥の有無を判定するステップは、前記計測ラインの各点に対応するデータについて求めた各差分値を加算して総差分和を求めるステップと、
前記総差分和と予め設定された閾値とを比較するステップと、を含むことを特徴とする請求項１または請求項２に記載の外観検査方法。
前記欠陥の有無を判定するステップは、前記計測ラインの各点に対応するデータについて求めた各差分値を加算して総差分和を求めるステップと、
前記総差分和を求める対象とした前記欠陥候補部の画素数を求めて前記総差分和を前記画素数で割って平均差分値を求めるステップと、
前記平均差分値と予め設定された閾値とを比較するステップと、を含むことを特徴とする請求項１または請求項２に記載の外観検査方法。
請求項１乃至請求項４のいずれか一項に記載の外観検査方法を用いる外観検査装置。