JP6040215B2 - 検査方法 - Google Patents

検査方法 Download PDF

Info

Publication number
JP6040215B2
JP6040215B2 JP2014262005A JP2014262005A JP6040215B2 JP 6040215 B2 JP6040215 B2 JP 6040215B2 JP 2014262005 A JP2014262005 A JP 2014262005A JP 2014262005 A JP2014262005 A JP 2014262005A JP 6040215 B2 JP6040215 B2 JP 6040215B2
Authority
JP
Japan
Prior art keywords
image
dimensional
inspection
defect
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014262005A
Other languages
English (en)
Other versions
JP2015129751A (ja
Inventor
薫 酒井
薫 酒井
前田 俊二
俊二 前田
丸山 重信
重信 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2014262005A priority Critical patent/JP6040215B2/ja
Publication of JP2015129751A publication Critical patent/JP2015129751A/ja
Application granted granted Critical
Publication of JP6040215B2 publication Critical patent/JP6040215B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、被検査対象物の表面テクスチャ(画像)及び表面変位(形状)から被検査対
象物の不良を検出する外観検査に係り、ドリルやカッターなど切削加工の工具、タービン
ホイールなどの複雑形状をした物体の不良を検査するのに好適な検査方法に関する。
金属加工部品の生産現場において、加工に用いるドリルやカッターなどの工具はその刃
型の形状によって加工品の品質が大きく変わるため、刃型の管理が重要となる。刃型の管
理は、刃先の角度を定量化し、欠けの有無や磨耗度合いを把握する必要がある。しかし、
ドリルやカッターなどの複雑形状をした物体の外観検査は、遮蔽領域もあり、人が対象物
体を動かしながら様々な方向から眺め、不良を検出する目視検査・管理が主流となってい
る。このため、刃先の微妙な角度の違いや表面凹凸を目視で定量的に計測するには限界が
あり、定期的に刃を交換することで不良品の作り込みを事前に防止する、もしくは、不良
が大量発生したことをきっかけに刃のチェックや交換を行っている。それゆえ、加工品の
品質が安定しない、工具の交換コストが不必要に増大するなどの問題があり、目視では検
出困難な、微妙な形状や表面凹凸を高精度、かつ定量的に検出できる装置の必要性が生じ
ている。
3次元形状測定は従来から行われている。特開2002−92632号公報(特許文献
1)に記載の方法は、測定対象物にレーザ光を照射するとともに、走査してレーザ光の照
射スポットの形成位置を変化させ、形成位置が変化されたそれぞれの照射スポットにおけ
る反射光を受光し、三角測量の原理により照射スポットの位置の距離を検出する。そして
、得られた3次元形状データに、反射光の受光幅を利用して陰影をつけて表示する。また
、別の技術として、特開2009−204425号公報(特許文献2)に記載の方法は、
対象物に照射するレーザ光の出射強度を制御して、制御された出射レーザ強度に応じて受
光する反射強度が一定となるようにする。これにより、反射率の高低により3次元データ
の計算が不可能となる部分を少なくし、精度の良い3次元形状計測を可能とするものであ
る。
特開2002−92632号公報 特開2009−204425号公報
3次元形状の出来栄え検査は、上述の通り、検査員による目視検査であることが多い。
このため、検査員によって表面凹凸の良否判定や表面の微小キズ有無の判定結果に違いが
生じ、品質のばらつき、不良の流出の要因となっている。これらを解決するためには、形
状と表面の状態を計測し、これらを統合して、総合的かつ定量的な判定基準に従って、検
査対象物の品質を押さえる必要がある。
特許文献1および2には、レーザを測定対象物に照射してその反射光を検出し測定対象
物の3次元形状データを得ることが記載されているが、計測して得られた3次元形状デー
タからその形状を定量的に良否判定を行うことについては記載されていない。
本発明の目的は、ドリルやカッターなど切削加工の工具、タービンホイールなどの複雑
形状をした物体の外観検査において、被検査対象物の表面テクスチャ(画像)及び表面変
位(形状)から被検査対象物の不良を定量的に検出し、かつ、可視化する検査方法を提供することにある。
記課題を解決するために、本発明では、検査方法において、少なくとも一方向
に連続的に移動可能なテーブル手段に載置された検査対象物体を画像取得手段で撮像して
その表面テクスチャを取得し、テーブル手段に載置された検査対象物体の表面凹凸情報を
表面変位情報取得手段で取得し、取得した検査対象物体の表面凹凸情報に基づき陰影像推
定手段で陰影像を推定し、陰影像推定手段で推定した陰影像を画面上に表示し、画像取得
手段で取得した表面テクスチャと陰影像推定手段で推定した陰影像とを比較手段で比較し
て検査対象物体の欠陥を検出するようにした。
本発明によれば、検査対象物体の外観の良否判定に用いる良品基準を、設計データから
事前に生成又は検査対象物を撮像して得た画像から作成して保持する良品基準設定手段を
備え、良品基準と計測値を照合することにより、人間による定量化が困難な、形状不良や
微小表面キズの定量評価値を行えるようになった。また、計測した表面変位と検出光学系
の関係から3次元形状の陰影を推定し、表面凹凸に陰影を付与して表示する手段により、
目視による最終確認を容易に行えるようになった。
本発明の実施例における外観検査装置の概略の構成を示すブロック図である。 本発明における外観検査装置のシステム構成の概念を示すブロック図である。 本発明の実施例における信号処理部の処理の流れを示すフロー図である。 本発明の実施例における連結処理部で行われる連結処理の流れを示すフロー図である。 本発明の実施例における欠陥判定部で行われる照合処理の流れを示すフロー図である。 本発明の実施例における部位毎に異なるしきい値を適用した欠陥判定処理の概念を説明する検査対象物と良品基準の輪郭線図である。 本発明の実施例における部位毎に異なるしきい値を適用した表面欠陥判定処理の概念を説明する検査対象物と良品基準の輪郭線図。 本発明の実施例において表面に凹凸のある検査対象物に対して欠陥判定部で行われる照合処理の別の例の処理の流れを示すフロー図である。 本発明の実施例において欠陥判定部で行われる位置照合の概念を示すブロック図である。 本発明の実施例の外観検査装置における信号処理部の処理の流れの別の例を示すフロー図である。 本発明の実施例における検査対象物の斜視図である。 発明の実施例における検査対象物の凹凸情報から推定した陰影像推定図である。 発明の実施例において光学的に撮像して得た検査対象物の光学像である。 発明の実施例において試料をドリルで加工中の有効電力センサ信号を示すグラフである。 発明の実施例において試料をドリルで加工している状態を示すドリルの正面図である。 発明の実施例における試料をドリルで加工するときの処理の流れを示すフロー図である。 自由曲面をもつ検査対象の例で、切りくずが薄くなるような条件で切削している状態を示すカッターの側面図である。 自由曲面をもつ検査対象の例で、切りくずが厚くなるような条件で切削している状態を示すカッターの側面図である。 発明の実施例における外観検査装置の用途の一例を示す外観検査装置と検査対象の斜視図である。 発明の実施例における外観検査装置の用途の一例における外観検査の処理の流れを示すフロー図である。
本発明に係る物体の外観検査方法及びその装置の実施の形態について図を用いて説明す
る。まず、検査対象物として、複数の羽から成るタービンホイールなど回転対称形の物体
を対象とした外観検査装置の実施の形態について説明する。
図2は本発明の実施例に係る回転対称形物体の外観検査装置の実施の形態を示す概念図
である。本実施例における外観検査装置は、計測部1、A/D変換部2、信号処理部3、
及び全体制御部9を備えている。
計測部1は、1つ又は複数の照明部4a、4b及び1つ又は複数の検出部7a、7b、
7cを備えている。照明部4aと4bとは互いに異なる照明条件(例えば照射角度、照明
方位、照明波長、偏光状態の何れか一つ又は複数が異なる)の光を検査対象物5に照射す
ることができる。照明部4a、4bの各々から出射される照明光により検査対象物5から
夫々反射光6a、6bが発生し、該発生した反射光6a、6bの夫々を複数の検出部7a
、7b、7cのうちの画像検出部7a、7bの夫々で光の強度分布として検出する。この
検出された光の強度分布の夫々はA/D変換部2で増幅されてA/D変換され、信号処理
部3に画像信号として入力される。
検出部7cは被検査対象物5にレーザを照射し、検査対象物5上の照射位置と検出部7
cまでの光路距離を三角測量の原理で計測し、出力する3次元変位検出部(レーザ変位計
など)である。3次元変位検出部7cで検出して得られる光路距離データも画像検出部7
a、7bで得られる光の強度信号とともにA/D変換部2でA/D変換され、信号処理部
3に入力される。
信号処理部3は、3次元モデル生成部8−1、欠陥判定部8−2を備えている。まず、3
次元モデル生成部8−1において、入力されるデジタル信号から被検査対象物5の3次元
形状データ、及び2次元表面テクスチャデータを被検査対象物5の対応する位置で重ね合
わせて3次元モデルを生成する。そして、欠陥判定部8−2により、生成された3次元モ
デルをあらかじめ保持されている3次元の良品基準と比較し、形状不良や、表面の微小凹
凸、表面のテクスチャ不良などの欠陥部分を検出し、全体制御部9に出力する。
図2に示した構成では、反射光6a、6bは別々の検出部7a、7bで検出する実施の形
態を示しているが、1つの検出部で共通に検出しても構わない。また、照明部4a、4b
及び検出部7a、7bはそれぞれ2つに限定されるものではなく、1又は3つ以上であっ
ても構わない。また、照明部4a、4bの数と検出部7a、7bの数は必ずしも同数であ
る必要はない。
反射光6a及び反射光6bの夫々は、各々照明部4a及び4bに対応して発生する反射
光分布を指す。照明部4aによる照明光の光学条件と照明部4bによる照明光の光学条件
が異なれば、各々によって発生する反射光6aと反射光6bは互いに異なる。本実施例に
おいて、ある照明光によって発生した反射光の光学的性質およびその特徴を、その反射光
の反射光分布と呼ぶ。反射光分布とは、より具体的には、反射光の出射位置・出射方位・
出射角度に対する、強度・振幅・位相・偏光・波長・コヒーレンシ等の光学パラメータ値
の分布を指す。
次に、図2に示す構成を実現する具体的な外観検査装置の一実施の形態としてのブロッ
ク図を図1に示す。即ち、本実施例に係る外観検査装置は、検査対象物5(例えば、ドリ
ルの刃などの試料)に対して照明光を照射する複数の照明部4a、4bと、検査対象物5
からの反射光を結像させる画像検出部7a、この画像検出部7aとは異なる角度で検査対
象物5からの反射光を結像させる画像検出部7bと、検査対象物5までの距離を計測する
レーザ変位計を備えた3次元変位検出部7c、それぞれの検出部より得られた光学像を増
幅してA/D変換するA/D変換部2と、信号処理部3と、全体制御部9とを備えて構成
される。
検査対象物5はXY平面内の移動及び回転とXY平面に垂直なZ方向への移動、及びX
Z平面内の回転が可能なステージ(X−Y−Z−θ−Rステージ)101に搭載され、X
−Y−Z−θ−Rステージ101はメカニカルコントローラ10により駆動される。この
とき、検査対象物5をX−Y−Z−θ−Rステージ101にワークチャック103で固定
して搭載し、X、Y、Z方向のいずれかに並行に移動させつつ、θ回転、もしくはR回転
させて検査対象物5からの反射光を検出することで、検査対象物5の表面全体の反射光強
度分布を二次元画像(テクスチャ情報)として得ると同時に、表面変位を三次元の表面凹
凸情報として得る。検査対象物5全体を網羅して、表面テクスチャ及び、凹凸情報を得る
ためのステージ制御はメカニカルコントローラ10によって行う。
照明部4a、4bの各照明光源は、レーザを用いても、ランプを用いてもよい。また、
各照明光源の光の波長は短波長であってもよく、また、広帯域の波長の光(白色光)であ
ってもよい。照明条件(例えば照射角度、照明方位、照明波長、偏光状態等)はユーザに
より選択、もしくは自動選択される。
画像検出部7a、7bも同様に、検出条件(例えば検出方位角、検出仰角など)をユーザ
が設定できる。
画像検出部7a、7bは、1次元イメージセンサ(CCDリニアセンサ)、もしくは、複
数の1次元イメージセンサを2次元に配列して構成したCCDエリアセンサなどを採用し
、X−Y−Z−θ−Rステージ101の移動・回転と同期してイメージセンサでR回転し
ながらY軸方向に一致の速度で移動している対象物5からの反射光分布を検出し、2次元
画像を得る。画像検出部7a、7bは光学フィルタ71a、71b、すなわちNDフィル
タやアッテネータ等の光強度を調整が可能な光学素子、あるいは偏光板や偏光ビームスプ
リッタや波長板等の偏光光学素子、あるいはバンドパスフィルタやダイクロイックミラー
等の波長フィルタの何れか又はそれらを組み合わせたものを含み、検出光の光強度、偏光
特性、波長特性の何れか又はそれらを組み合わせて制御する。
信号処理部3は検査対象物5の不良を検出するものであって、画像検出部7a、7b、
3次元変位検出部7cから入力された信号から検査対象物5の3次元モデルを生成する3
次元モデル生成部8−1と、生成した3次元モデルをあらかじめ入力してある良品基準と
照合することにより、形状不良や表面微小凹凸、表面テクスチャ不良などを検出して全体
制御部9に出力する欠陥判定部8−2で構成される。そして、信号処理部3において例え
ば欠陥判定部8−2はデータベースを接続して構成される。
更に詳しくは、3次元モデル生成部8−1は、画像検出部7aと7bとから入力した画
像信号を統合する画像統合処理部301と、3次元変位検出部7cから入力された3次元
形状計測データから3次元形状(立体形状)を復元する3次元形状復元処理部302と、画
像統合処理部301で統合した画像と3次元形状復元処理部302で復元された3次元形
状とを連結させて重ね合わせて3次元形状データを作成する連結処理部303とを備えて
いる。また、欠陥判定部8−2は連結処理部303で連結処理された3次元形状データと
記憶装置12に記憶されている良品基準データとを照合して不良を抽出する照合処理部3
04を備えている。
全体制御部9は、各種制御を行うCPU(全体制御部9に内蔵)を備え、ユーザからの
パラメータなどを受け付け、生成された被検査対象物の3次元モデルや検出された不良部
分等を表示する表示手段と入力手段を持つユーザインターフェース部(GUI部)11及
び信号処理部3で処理されたモデル、良品基準モデル等を記憶する記憶装置12を適宜接
続している。また、信号処理部3、照明部4a、4b、画像検出部7a、7b、3次元変
位検出部7c、メカニカルコントローラ10等も全体制御部9からの指令により駆動され
る。
検査対象物5は、ここでは、回転対称形(ある軸対称で、同じ形状の部品から構成され
る、図1に示した構成では、Y軸に対して回転対象)をしている。全体制御部9は検査対
象物5をX−Y−Z−θ−Rステージ101のR軸回転駆動部102でワークチャック1
03をY軸周りに回転(R回転)させながらX−Y−Z−θ−Rステージ101によりY
軸方向に連続的に移動させ、これに同期して、表面テクスチャを画像検出部7a、7bよ
り、また、表面変位を3次元変位検出部7cより取り込み、得られた2種の反射光(6a
、6b)の画像、及び、3次元形状計測データから外観不良を検出する。
次に、信号処理部3における処理の流れの一例を説明する。図3は、検査対象物5に対
し、X−Y−Z−θ−Rステージ101で検査対象物5をR回転させながらY軸方向に走
査することにより画像検出部7a、7b、及び3次元変位検出部7cから得られるデジタ
ル信号(画像31、画像32、表面変位33)を入力とし、不良部分を検出する信号処理
部3の基本的な処理を示す。入力される画像31、32、表面変位33のうち、画像31
と画像32は、1つ又は2つ以上の異なる照明条件と、1つ又は2つ以上の異なる方位角
・仰角の組み合わせで撮像された画像である。このため、検査対象物5の表面の微小なキ
ズ(凹凸)、しみや汚れ(テクスチャ)の強調度合い、すなわち見え方は画像31と画像
32では異なる。このため、まず、 3次元モデル生成部8−1において、得られた2枚
の画像31と32を画像統合処理部301で統合する。
統合方法は各種あるが、その一例を挙げると、(1)平均、(2)論理積、(3)論理
和、(4)近傍領域内の標準偏差の大きい方の画素の明るさ、などがある。画像31、3
2の対応する各画素(x、y)の明るさをそれぞれ、f(x、y)、g(x、y)とすると、統合画像h(
x、y)はそれぞれ以下の式で算出される。
平均 :h(x、y)={f(x、y)+g(x、y)}/2 ・・・(数1)
論理積:h(x、y)=minimun{f(x、y)、g(x、y)} ・・・(数2)
論理和:h(x、y)=maximun{f(x、y)、g(x、y)} ・・・(数3)
標準偏差:if(σf>σg) h(x、y)=f(x、y) ・・・(数4)
else h(x、y)=g(x、y)
ただし、 σf =[Σ{f(x+i、y+j)}−{Σf(x+i、y+j)}/(N×N)]/(N×N−1)
i、j=0、1、・・N−1(σgも同様)
統合方法は上記以外にも、ノイズの出方などに応じて様々な演算をすることができる。当
然、統合処理を行わず、画像31、32のいずれかの画像のみをこの後の処理に使用して
もよいし、3枚以上の画像を統合してもよい。
一方、信号処理部3の3次元形状復元処理部302は、3次元変位検出部7cから得ら
れる3次元形状計測データ(表面変位33)と、全体制御部9を介して入力したステージ
コントローラ10によりR軸回転駆動部102を駆動して検査対象物5をY軸周りに回転
(R回転)させた回転情報を用いて検査対象物5の検査領域の3次元形状(立体形状)35
を復元する
次に、画像統合処理部301で生成した統合画像34と3次元形状復元処理部302で
復元した検査対象物5の検査領域の3次元形状35を連結処理部303において連結する
。これにより、検査対象物5のデジタル信号から3次元モデル36を生成する。
次に、欠陥判定部8−2において、生成された3次元モデル36とあらかじめ記憶装置
12に保持してある良品基準37を読み出して照合部304において照合し、良品基準3
7と差異が大きい部分を不良部分として抽出する。
図4は、連結処理部303で行われる処理の流れの一例である。2つの細い溝がある対
象に対し、40は3次元形状復元処理部302で復元した検査対象物5の検査領域の3次
元形状(図3の3次元形状35に相当)のデータである。41は画像統合処理部301で
生成した表面テクスチャの統合画像(図3の統合画像34に相当)である。連結処理の対象
となるデータ間の対応位置は、図1の検出部71a、71b、71cの位置関係と解像度
などから既知であるが、実際には検査対象物5の回転偏心が生じる可能性がある。また、
X−Y−Z−θ−Rステージ101のゆらぎなど(ヨーイング及び/又はピッチング)も
生じる可能性があり、データを取得した段階で、既知の対応位置に対して、ずれが生じて
いる可能性がある。このため、画像統合処理部301においては、3次元形状データ40
と統合画像41の間で位置の照合を行い、精密な位置合せを行う。
図4に示した処理の流れに沿って説明する。まず、3次元形状データ40、統合画像4
1から位置の照合のための1つ以上の特徴量を算出する(S401、S402)。特徴量
の算出方法はS401とS402で同じであっても、異なっていてもよい。その一例とし
て、S401においては、各(x、y)座標位置でのz値の近傍(x、y)位置に対する変化量
を特徴とし、S402においては、xy座標内での近傍位置での明るさの微分値を特徴と
するなどである。
次に、算出されたxy座標位置での特徴量について、3次元形状データ40と統合画像
41の間の一致度を、一方のデータをx方向、y方向それぞれにシフトしながら評価し、
一致度が最も高くなったときのそれぞれのシフト量を3次元形状データ40と統合画像4
1の間のずれ量とする(S403)。一致度の評価値の代表的なものとしては、正規化相
関がある。そして、算出されたx、y座標のずれを補正し、データの重ね合せを行う(S
404)。42は、3次元形状データ40と統合画像41を重ね合わせて生成した3次元
モデル(図3の3次元モデル35に相当)の例である。この3次元モデル42は、表面テク
スチャ情報をもつ統合画像41に、3次元形状データ40の高さ情報を付加して生成した
ものである。
図5は、欠陥判定部8−2の内部の照合処理部304で行われる、照合処理の流れの一
例である。3次元モデル42は図4で説明した3次元モデル生成部8−1で生成した検査
対象物5の3次元モデル(図3の3次元モデル35に相当)、50は事前に記憶装置12か
ら入力済みの良品基準(図3の良品基準36に相当)である。ここでは、良品基準50は、
設計データである。
まず、検査対象物5の3次元モデル42、良品基準50の各3次元座標位置での特徴量
を算出する(S501、S502)。特徴量の一例としては、表面変位の近傍位置に対す
る勾配や表面の曲率などがある。そして、S501、S502より算出された、3次元モ
デル42と良品基準50との特徴量の一致度を、一方のデータをx、y、z方向それぞれ
にシフトしながら評価し、特徴量の一致度が最も高くなったときのx、y、z方向各々の
シフト量を3次元モデル42と良品基準50の間のx、y、z方向のずれ量とする(S5
03)。一致度の評価値の代表的なものとしては、正規化相関がある。そして、算出され
たx、y、z座標のずれを補正して、3次元モデル42と良品基準50の対応する座標点
におけるデータの重ね合せを行う(S504)。
次に、重ね合わせた3次元モデル42と良品基準50との輪郭座標の差と、対応する輪
郭位置の明るさの差を演算する(S505)。そして、算出された差の値と予め設定され
たしきい値とを比較し、輪郭の座標位置の差がしきい値より大きい箇所を形状欠陥、明る
さの差がしきい値より大きい箇所をしみ、汚れ、微小キズなどの表面欠陥と判定する欠陥
判定を行う(S506)。この欠陥判定(S506)の結果は、全体制御部9へ送られる
ここで、正常として許容する範囲、もしくは欠陥として検出する基準は、検査対象物体
の部位により異なることがある。このため、しきい値は場所により異なる値を設定可能と
する。図6は部位毎に異なるしきい値を適用した欠陥判定処理の概念図の一例である。簡
単のため、2次元のモデルから形状欠陥を検出する例を示す。
図6において、61は検査対象物の輪郭を示す図、60はその設計データなどの良品基
準の輪郭を示す図である。62は検査対象物の輪郭線図61と良品基準の輪郭線図60の
位置の照合を行い、2次元座標上で検査対象物61と良品基準60を重ね合わせた結果で
ある。破線621が良品基準60の外観形状の輪郭、実線622が検査対象物61の外観
形状の輪郭である。63、64、65が輪郭の座標位置のずれが大きかった箇所である。
66は良品基準60に対するしきい値幅を示したしきい値線図であり、破線67が良品基
準60の外観形状の輪郭、その外側の実線68及び内側の実線69がしきい値で、検査対
象物の輪郭61が実線68よりも外側、もしくは実線69よりも内側になった箇所を形状
不良、実線68と69の間にあれば正常と判定する。しきい値線図66の例では、鋭角に
なっている部分(例えば661、662、663など)では正常範囲が狭くなっており、
わずかな輪郭のずれであっても形状不良として検出することになる。輪郭のずれが大きか
った箇所63、64、65をしきい値線図66と比較した場合、正常としての許容範囲が
狭い鋭角部にある63、65は欠陥として検出され、64は欠陥にはならない。
表面欠陥を検出する際のしきい値も同様に、部位毎の設定が可能である。図7は部位毎
に異なるしきい値を適用した欠陥判定処理の概念図の一例である。簡単のため、2次元の
モデルから表面欠陥を検出する例を示す。71は検査対象物の表面状態を表す図、70は
その良品基準の表面状態を表す図である。検査対象物の表面状態を表す71は統合画像3
4から得られた表面テクスチャ情報、良品基準の表面状態を表す70は欠陥のない表面テ
クスチャ情報である。72は検査対象物の表面状態を表す71と良品基準の表面状態を表
す70の位置の照合を行って2次元座標上で検査対象物の表面状態を表す71と良品基準
の表面状態を表す70のテクスチャ情報(例えば、各画素の明るさ)の差を演算した結果
を示す図である。このテクスチャ情報の差を演算した結果を表す72において、73、7
4はテクスチャ情報の差が大きかった箇所で、74は73よりも差が大きい。75は良品
基準の表面状態を表す70に対するしきい値幅を示したしきい値線図であり、縞ハッチで
示した鋭角になっている領域76、77、78、79のしきい値は中央付近750のしき
い値に比べて低い状態を示している。
そして、検査対象物の表面状態を表す71と良品基準の表面状態を表す70のテクスチ
ャ情報の差を示す図72において、しきい値線図75に示したしきい値以上の箇所を汚れ
、しみ、微小なキズなどの表面不良、しきい値よりも小さい箇所を正常と判定する(数5)

if f(x、y)≧th(x、y) then 欠陥 ・・・(数5)
if f(x、y)<th(x、y) then 正常
f(x、y)は各座標のテクスチャ情報の差
th(x、y)は各座標のしきい値
つまり、しきい値線図75の例では、テクスチャ情報の差がわずかであっても表面不良と
して検出することになる。テクスチャ情報の差を示す72において差の大きかった領域7
3、74をしきい値線図75と比較した場合、正常としての許容範囲が低い鋭角部にある
領域73は欠陥として検出され、中央部付近の領域74は欠陥にはならない。
しきい値線図66、しきい値線図75といった領域毎に異なるしきい値は、ユーザが事
前に手入力して設定することも可能であるが、良品基準からの許容誤差として設計データ
から生成して設定することも可能である。また、過去の外観検査データに基づき、統計的
に設定することもできる。例えば、重要な欠陥が過去に多発している領域や検出不要なノ
イズが発生しやすい領域などは、過去のデータを集計すれば既知である。そこで、重要な
欠陥やノイズの発生確率を算出し、それに応じて、例えば、しきい値線図66又はしきい
値線図75上で、重要欠陥の発生確率が高い領域はしきい値を低く、ノイズの発生確率が
高い領域はしきい値を高く自動設可能である。なお、個々に設定可能なしきい値領域の最
小単位は画素である。
以上の説明では、図5に示した欠陥判定処理S506は、外観形状の輪郭(すなわち3
次元変位)から形状欠陥を、画像(すなわち2次元テクスチャ)から表面欠陥をそれぞれ
独立で抽出することを示したが、同時に算出することも可能である。図8にその処理の流
れの一例を示す。
図8において、80は表面に凹凸のある回転対称系の検査対象物の表面テクスチャ画像
(図3の統合画像処理部301で生成された統合画像34に相当)であり、ステージ走査
により検査対象物の表面を小領域毎に画像検出部7a又は7bで撮像し、それらをつなぎ
合せて生成した展開画像である。
本実施の形態では、表面テクスチャ画像80のような、検査対象物5の展開図を生成し
て保持することもできる。81は3次元変位検出部7cで検出した検査対象物5の表面の
凹凸情報から3次元形状復元処理部302で復元した検査対象物5の3次元形状を示す図
である。82は図1に示した連結処理部303にて表面テクスチャ画像80と3次元形状
を示す図81との位置を照合して表面テクスチャ画像80の統合画像の展開図(x、y)
座標に被検査対象物5の3次元形状を示す図81の高さ情報z座標を付加した3次元展開
モデルである。これは図3の3次元モデル35に相当する。
一方、3次元展開モデル82に対応する良品の3次元展開モデルである良品基準83を
予め作成しておいて、記憶装置12に記憶しておく。これらに対し、図5で示した例と同
様に、照合処理部304において、3次元モデル82と良品基準83のそれぞれについて
特徴量を抽出し(S801、S802)、この抽出したそれぞれの特徴量の一致度を評価
し(S803)、3次元モデル82と良品基準83の位置の照合を行う(S804)。
次に、図8の処理例では、各点について、多次元ベクトル化を行う(S805)。これ
は、各(x、y)座標の画素において、テクスチャの特徴量を1つ又は複数個算出する。
テクスチャの特徴量はその画素の特徴を表すものであればよい。その例としては、統合画
像の明るさそのもの(f(x、y))、コントラスト(数6)、近傍画素の明るさ分散値(数7
)、近傍画素との明るさの増減(数8)、2次微分値等がある。
コントラスト;max{f(x、y)、f(x+1、y)、f(x、y+1)、f(x+1、y+1)}
−min{f(x、y)、f(x+1、y)、f(x、y+1)、f(x+1、y+1)・・・(数6)
分散;[Σ{f(x+i、y+j)}−{Σf(x+i、y+j)}/M]/(M−1)
i、j=−1、0、1 M=9 ・・・(数7)
輝度増減分布(x方向);
If(f(x+i、y+j)−f(x+i+1、y+j)>0) then g(x+i、y+j)=1
else g(x+i、y+j)=0 ・・・(数8)
そして、算出した1つ又は複数の特徴、f1(x、y)、f2(x、y)、f3(x、y)・・とz座標値
(変位情報)、更にその箇所でのしきい値Th(x、y)をその(x、y)座標位置の画素の特徴
として、ベクトル化する(数9)。
座標(x、y)の特徴ベクトル V; V=(x、y、z、f1、f2、・・、Th) ・・・(数9)
そして、特徴ベクトルの各要素を特徴軸とする多次元特徴空間に各(x、y)座標の値を
プロットする。良品基準83についても同様にプロットする。そして、多次元特徴空間に
プロットされた良品基準83の特徴ベクトルの分布を正常部の分布とし、正常部の分布か
らの距離がしきい値Th(84)よりも大きい点を欠陥として検出する(S806)。多次
元特徴量に基づく分類(欠陥/正常の2クラス分類)には各種識別器が用意されている。
その代表として、SVM(サポートベクタマシン)、k最近傍識別器、Bayes識別器など
がある。
これまで説明した、良品基準との照合による微小、かつ微弱信号の欠陥を検出するため
には、良品基準と検査対象物の位置の照合が正確に行われる必要がある。位置の照合の一
例を図9により説明する。
図9の90は検査対象物の表面の一部のプロファイル、91は対応する良品基準の表面
の一部のプロファイルである。検査対象物表面プロファイル90と良品基準表面プロファ
イル91の位置の照合について、本例では、検査対象物表面プロファイル90の各X座標
において、Y方向のZ値断面プロファイル(図中のA−B間のZ値)を、良品基準表面プ
ロファイル91のY方向のZ値断面プロファイル(図中のA’−B’間のZ値)をX軸方
向に走査しながら比較し、照合する。これを検査対象物表面プロファイル90の各X座標
で行う(Y方向のZ値断面プロファイル92のA1−B1、A2−B2、A3−B3、・
・など)。そして、各X座標での両プロファイルの照合結果を集計(多数決をとるなど)
し、検査対象物表面プロファイル90の良品基準表面プロファイル91に対するX方向の
位置のずれ量を算出する。Y方向のずれ、Z方向のずれも同様にして算出し、x、y、z
方向のずれ量を決定する。
比較に使う良品基準は設計データであり、事前に設定されていることをこれまでの例で
示したが、実際の対象物から生成することも可能である。図10は、図3で説明した良品
基準として設計データを用いる信号処理部3に変えて、良品基準を実際の対象物から生成
する機能を備えた信号処理部310の構成を示す。信号処理部310は、検査対象物5に
対し、X−Y−Z−θ−Rステージ101の走査により画像検出部7a、7b、及び3次
元変位検出部7cから得られるデジタル信号(画像31、画像32、変位33)を入力と
し、不良部分を検出する。
信号処理部310は、画像検出部7a、7b、3次元変位検出部7cから入力された信
号から検査対象物5の3次元モデルを生成すると共に良品基準100を生成する3次元モ
デル生成部80−1と、生成した3次元モデルと良品基準と照合することにより、形状不
良や表面微小凹凸、表面テクスチャ不良などを検出して全体制御部9に出力する欠陥判定
部80−2を備えて構成される。
更に詳しくは、3次元モデル生成部80−1は、画像検出部7aと7bとから入力した
画像31と32とを統合して統合画像34を作成する画像統合処理部311と、3次元変
位検出部7cから入力された3次元形状計測データから3次元形状(立体形状)を復元する
3次元形状復元処理部312と、画像統合処理部311で統合した画像と3次元形状復元
処理部312で復元された3次元形状とを連結させて重ね合わせて3次元モデル36を作
成する連結処理部313と、統合画像34と復元された3次元形状データ35とを用いて
良品基準100を生成する良品生成処理部1001とを備えている。また、欠陥判定部8
0−2は連結処理部313で連結処理された3次元モデル36と良品生成処理部1001
で生成された良品基準100とを照合して不良を抽出する照合処理部314を備えている
信号処理部310において、良品基準を検査対象から生成する信号処理部の処理の流れ
を図10を用いて説明する。
信号処理部310に入力される画像31、32、表面変位33のうち、画像31と画像
32は、1つ又は2つ以上の異なる照明条件と、1つ又は2つ以上の異なる方位角・仰角
の組み合わせで撮像された画像である。図3で示した例と同様に、まず、 3次元モデル
生成部80−1において、得られた2枚の画像31と32を画像統合処理部311で統合
する。統合方法は各種あるが、その一例を挙げると、(1)平均、(2)論理積、(3)
論理和、(4)近傍領域内の標準偏差の大きい方の画素の明るさ、などがある。統合方法
は、(数1)〜(数4)に示した通りである。
一方、3次元形状復元処理部312では、3次元変位検出部7cから入力された3次元
形状計測データから3次元形状(立体形状)35を復元する。
次に、画像統合処理部311で生成した統合画像34と3次元形状復元処理部312で
復元した3次元形状(立体形状)35とを連結処理部313において連結する。これにより
、検査対象物5のデジタル信号から3次元モデル36を生成する。
本実施例では、3次元モデル36の生成と同時に、統合画像34と3次元形状復元処理
部312で復元した3次元形状(立体形状)35とから良品生成部1001において良品基
準100を生成する。そして、欠陥判定部80−2において、生成された3次元モデル3
6と良品基準100を照合部314において照合し、良品基準100と差異が大きい部分
を不良部分として抽出する。
良品基準100は、検査対象物が複数の同形状の部品から成る回転対称の物体であれば
、対称部品の周期分だけ対象物体を回転させながら、同形状になるように作られた部品を
同一の視野、同一の照明角度、同一の検出角度で撮像して複数の部品の画像を得て、得ら
れた複数の画像間で、対応する位置の明るさの平均、もしくは明るさの中央値をとること
で生成する。
以上に説明したように、図2に示した構成を実現する具体的な外観検査装置の形態の例
を説明したが、本発明による外観検査装置による外観の計測結果、検査結果は図1に示し
た表示手段と入力手段を持つユーザインターフェース部(GUI部)11に表示される。
例えば、3次元変位検出部7cで得られた表面凹凸情報(表面変位33)は計測点群にす
ぎない。このため、本発明による外観検査装置は、計測点群をより視覚的にユーザに提示
する。その例を図11A乃至図11Cに示す。
図11Aにおいて、110は検査対象物である。検査対象物110の表面凹凸に対し、
表面テクスチャを取得する際の照明光111の照明角度(図中112)、反射光113を
検出する検出部の角度(図中114)などが既知であれば、その凹凸情報(表面変位33
)から、陰影の付き方が推定できる。本実施例では、凹凸情報(表面変位33)から陰影
を推定し、2次元画像としてGUI部11に表示する。
図11Bの115は、検査対象物110の凹凸情報(表面変位33)から推定した陰影
像の例である。また、表示にとどまらず、凹凸情報(表面変位33)からの陰影像推定機
能により、より高感度な検査を可能とする。例えば、画像検出部で検出した実際の表面テ
クスチャ情報と、凹凸情報から推定した陰影像とを比較することで、実際の表面テクスチ
ャ情報から、ノイズとなる正反射成分や部品の遮蔽による影を除外することが可能となる
。これにより、ノイズと微弱な表面欠陥の弁別が容易となる。
図11Cの116は画像検出部7a又は7bで検出された光学像である。図11A又は
図11Bの陰影像では、検査対象物110の表面の形状欠陥を表示することはできるが、
検査対象物110の表面の変色やしみなどの非形状的な欠陥を表示することが難しい。こ
れに対して、図11Cのように光学像を表示することにより、検査対象物110の表面の
変色やしみなどの非形状的な欠陥117を表示することができる。従って、図11Cのよ
うな光学像を図11A又は図11Bのような陰影像と並べて表示することにより、検査対
象物110の表面の形状欠陥と表面の変色やしみなどの非形状的な欠陥を同時に表示する
ことが可能になる。
以上に説明した外観検査装置は、検出部より得られる表面テクスチャ情報、表面変位情
報を計測する。特にドリルやカッターなどの切削加工の工具の割れや磨耗、欠けなどを定
量的に計測することで、工具の管理や加工対象の出来栄えの推定が可能となる。対象が加
工用の工具である場合、加工時のセンサ時系列データと連携して検査を効率的に行うこと
も可能である。その例を図12A乃至図12Cに示す。
図12Aにおいて、120のグラフは、図12Bに示した122のドリルにより被加工
対象物123を加工中に図示していないセンサで検出した有効電力センサ信号である。図
12Aのグラフ120には、時系列に3回分(t1、t2、t3)のセンサ信号がプロッ
トされている。横軸は加工中の時間である。楕円121で囲ってあるt3の信号部分が加
工不良が発生したときの有効電力センサ信号を示す。これは、t3のときに加工不良が発
生したことを示す。
本実施例による外観検査装置では、このような加工状況などのセンサデータの監視によ
る異常予兆と連動した検査を行う。この検査の流れを、図12Cに示す。
図12Cに示した処理フローにおいて、ドリルといった検査対象となる工具が稼動中、
有効電力値などのセンサ信号の監視を行っている(S1201)。この監視して得たデー
タから異常の予兆を診断し(S1202)、異常がない場合、加工終了とともに、検査対象
物は待機状態になる(S1203)。センサ信号に異常の予兆があった場合は、それをト
リガーとして、図1乃至図10を用いて説明した実施例による外観検査を実行する(S1
204)。これにより、検査の頻度を少なくすることが可能となる。
更に、本外観検査装置の対象は、回転対称系の形状をしたものに限らず、自由曲面をもつ
ものを含む。その例を図13A及び図13Bに示す。図13Aの130、及び図13Bの
131は切削用カッターであり、それぞれ形状が異なる。図13Aの132、及び図13
Bの133は切削後に発生する切りくずであり、カッターの形状の違いに応じて図13A
の切りくず132と図13Bの切りくず133のように、形状も異なる。本外観検査では
カッター130、131の形状の計測、及び加工対象となる切りくず132、133の形
状を計測し、両者を照らし合わせて、より理想的な出来栄えを実現するためのカッター形
状の最適化を可能とする。
図14A及び図14Bは本外観検査装置の用途の別の例である。図14Aの140が図1
及び図2で説明した外観検査装置であり、ロール状の薄板141が検査対象となる。ここ
では、図1及び図2で説明した画像検出部により順次、薄板全面の表面テクスチャ(画像
142)が検出され、信号処理部3に入力される。
図14Bに、信号処理部3における処理の手順を説明する。信号処理部3では、画像1
42から欠陥検出を行う(S1401)。これにより、薄板上に欠陥があった場合、その
欠陥の位置座標143が検出される。欠陥検出は単純な明るさの2値化処理や、周辺の明
るさとの比較など、一般的な欠陥検査方式でよい。次に、欠陥の位置座標近辺の凹凸を3
次元変位検出部で検出する(S1402)。そして、検出された欠陥部の変位144から
、その欠陥が致命性のあるものか、否かの判定を行い(S1403)、更に欠陥種を特定
する(S1404)。以上のように、本外観検査装置においては、薄板上の欠陥が、表面
のシミや汚れのような後の洗浄工程で排除できるものか、穴のような排除できないものか
、表面テクスチャのみでは判定できない欠陥を、3次元変位情報も使って判定することを
可能とする。
以上に示した通り、本発明により、検査員といった人間による直接の目視検査では定量化
ができなかった、形状不良や微細なキズのレベルが定量的に評価可能となる。これにより
、加工品の出来栄え評価や、加工工具の品質管理、欠陥の致命性判定などを実現する。こ
れにより、製品の安定化を実現する。また、シミュレーション結果などと連動させること
で、品質不良の未然防止が実現できる。
以上、本発明の一実施例を、加工用の工具など複雑な形状をした物体の外観検査を例に
とって説明したが、自由曲面を持つ物体の類似度判定などにも適用可能である。その1つ
には、拳銃から発射される弾丸の異同識別がある。
1…計測部 2…A/D変換部 3,310…信号処理部 4a,4b…照明部
5…被検査対象物 7a,7b…画像検出部 7c…3次元変位検出部
8−1,80−1…3次元モデル生成部 8−2、80−2…欠陥判定部
9…全体制御部 10…メカニカルコントローラ 11…ユーザインターフェース部
12…記憶装置 101…X−Y−Z−θ−Rステージ 301…画像統合処理部
302…3次元形状復元処理部 303…連結処理部 304…照合処理部

Claims (1)

  1. 少なくとも一方向に連続的に移動可能なテーブル手段に載置された検査対象物体を画像
    取得手段で撮像してその表面テクスチャを取得し、
    前記テーブル手段に載置された前記検査対象物体の表面凹凸情報を表面変位情報取得手
    段で取得し、
    前記取得した検査対象物体の表面凹凸情報に基づき陰影像推定手段で陰影像を推定し、
    前記陰影像推定手段で推定した陰影像を画面上に表示し、
    前記画像取得手段で取得した表面テクスチャと前記陰影像推定手段で推定した陰影像と
    を比較手段で比較して前記検査対象物体の欠陥を検出する
    ことを特徴とする検査方法。
JP2014262005A 2014-12-25 2014-12-25 検査方法 Expired - Fee Related JP6040215B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014262005A JP6040215B2 (ja) 2014-12-25 2014-12-25 検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014262005A JP6040215B2 (ja) 2014-12-25 2014-12-25 検査方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011164102A Division JP5676387B2 (ja) 2011-07-27 2011-07-27 外観検査方法及びその装置

Publications (2)

Publication Number Publication Date
JP2015129751A JP2015129751A (ja) 2015-07-16
JP6040215B2 true JP6040215B2 (ja) 2016-12-07

Family

ID=53760557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014262005A Expired - Fee Related JP6040215B2 (ja) 2014-12-25 2014-12-25 検査方法

Country Status (1)

Country Link
JP (1) JP6040215B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019152379A1 (en) * 2018-01-31 2019-08-08 Zygo Corporation Surface topography apparatus and method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112461841A (zh) * 2020-11-03 2021-03-09 东莞市鼎力自动化科技有限公司 一种智能优化外观检测的方法及装置
CN113941517B (zh) * 2021-10-14 2024-03-05 武汉瑞杰行智能科技有限公司 一种产品视觉分拣设备及其分拣方法
WO2024116634A1 (ja) * 2022-11-28 2024-06-06 パナソニックIpマネジメント株式会社 検査システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4341135B2 (ja) * 2000-03-10 2009-10-07 コニカミノルタホールディングス株式会社 物体認識装置
JP3932180B2 (ja) * 2002-07-03 2007-06-20 松下電器産業株式会社 ティーチング方法、電子基板検査方法、および電子基板検査装置
JP5006520B2 (ja) * 2005-03-22 2012-08-22 株式会社日立ハイテクノロジーズ 欠陥観察装置及び欠陥観察装置を用いた欠陥観察方法
WO2011064969A1 (ja) * 2009-11-30 2011-06-03 株式会社ニコン 検査装置、三次元形状測定装置、構造物の製造方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019152379A1 (en) * 2018-01-31 2019-08-08 Zygo Corporation Surface topography apparatus and method
US10451413B2 (en) 2018-01-31 2019-10-22 Zygo Corporation Surface topography apparatus and method
TWI757580B (zh) * 2018-01-31 2022-03-11 美商賽格股份有限公司 表面形貌裝置以及方法

Also Published As

Publication number Publication date
JP2015129751A (ja) 2015-07-16

Similar Documents

Publication Publication Date Title
JP5676387B2 (ja) 外観検査方法及びその装置
CN107735674B (zh) 表面缺陷检测装置、表面缺陷检测方法及钢材的制造方法
EP2907157B1 (en) Detecting defects on a wafer using defect-specific information
Wang et al. Effects of scanning orientation on outlier formation in 3D laser scanning of reflective surfaces
JP6394514B2 (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
US11536669B2 (en) Detecting machining errors of a laser machining system using deep convolutional neural networks
WO2013061976A1 (ja) 形状検査方法およびその装置
US9486840B2 (en) High-speed, triangulation-based, 3-D method and system for inspecting manufactured parts and sorting the inspected parts
JP6040215B2 (ja) 検査方法
JP5913903B2 (ja) 形状検査方法およびその装置
Wang et al. Modeling outlier formation in scanning reflective surfaces using a laser stripe scanner
CN111220581A (zh) 荧光渗透检查系统和方法
JP2010071722A (ja) 凹凸疵検査方法及び装置
JPWO2016208626A1 (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
Cuesta et al. Influence of roughness on surface scanning by means of a laser stripe system
US20140347438A1 (en) Triangulation-based, 3-d method and system for imaging the outer peripheral surface of a part
JP5992315B2 (ja) 表面欠陥検出装置および表面欠陥検出方法
JP6387909B2 (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
Sansoni et al. Design and development of a 3D system for the measurement of tube eccentricity
BR112021001219A2 (pt) sistema de inspeção óptica e método para usar um sistema de inspeção óptica
Brambilla et al. Automated Vision Inspection of Critical Steel Components based on Signal Analysis Extracted form Images
KR101284852B1 (ko) 용접 토우 그라인딩부 검사 장치 및 방법
JP2012002605A (ja) 溶接表面の欠陥検査方法
JP2006226834A (ja) 表面検査装置、表面検査の方法
Frommknecht et al. 3D Milling Edge Inspection of CFRP Parts by Optical Methods

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160809

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161107

R150 Certificate of patent or registration of utility model

Ref document number: 6040215

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees
S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371