JPH09218935A - 画像による外観検査方法 - Google Patents
画像による外観検査方法Info
- Publication number
- JPH09218935A JPH09218935A JP8022244A JP2224496A JPH09218935A JP H09218935 A JPH09218935 A JP H09218935A JP 8022244 A JP8022244 A JP 8022244A JP 2224496 A JP2224496 A JP 2224496A JP H09218935 A JPH09218935 A JP H09218935A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- parameter
- inspection
- defective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 照明環境の変動や、検査物体表面の汚れ、ゴ
ミ等の付着により発生する良品サンプル画像の濃度変動
に対しても、良品／不良品を高い検出信頼度で判別でき
る外観検査方法を提供する。 【解決手段】 まず、第１の処理１０１にて、照明系と
撮像系、姿勢制御可能な試料台で構成される画像入力系
で、撮像条件をかえて検査サンプルの多重画像を取得す
る。次に、第２の処理１０２にて、表面反射特性が既知
の物体を用い、照明系パラメータや撮像系パラメータを
推定し、画像入力系のキャリブレーションを行う。次
に、第３の処理１０３にて、第１の処理１０１で得られ
た多重画像を用い、第２の処理１０２で求めたパラメー
タ群を元に、反射の光学モデルのパラメータを推定す
る。次に第４の処理１０４にて、第３の処理１０３で求
めた光学モデルのパラメータの推定値を元に検査サンプ
ルの良／不良を判定する。
ミ等の付着により発生する良品サンプル画像の濃度変動
に対しても、良品／不良品を高い検出信頼度で判別でき
る外観検査方法を提供する。 【解決手段】 まず、第１の処理１０１にて、照明系と
撮像系、姿勢制御可能な試料台で構成される画像入力系
で、撮像条件をかえて検査サンプルの多重画像を取得す
る。次に、第２の処理１０２にて、表面反射特性が既知
の物体を用い、照明系パラメータや撮像系パラメータを
推定し、画像入力系のキャリブレーションを行う。次
に、第３の処理１０３にて、第１の処理１０１で得られ
た多重画像を用い、第２の処理１０２で求めたパラメー
タ群を元に、反射の光学モデルのパラメータを推定す
る。次に第４の処理１０４にて、第３の処理１０３で求
めた光学モデルのパラメータの推定値を元に検査サンプ
ルの良／不良を判定する。
Description
【０００１】
【発明の属する技術分野】本発明は異なる撮像条件で撮
像した複数枚の画像（多重画像）を用いて、照明条件の
変動や検査対象表面の汚れやゴミに対して、安定に欠陥
部あるいは良品と不良品を判別する検査方法に関するも
のである。
像した複数枚の画像（多重画像）を用いて、照明条件の
変動や検査対象表面の汚れやゴミに対して、安定に欠陥
部あるいは良品と不良品を判別する検査方法に関するも
のである。
【０００２】
【従来の技術】以下に、画像を用いた従来の代表的な外
観検査方式を説明する。
観検査方式を説明する。
【０００３】まず、２値化処理による検査方式を図６に
示す。ここでは、例えば図６（ａ）の画像中央部の矩形
領域の欠けや膨らみ具合を判定する問題を考える。矩形
領域の内部と外部は、それぞれ材質的に一様で、点線部
の濃度断面は理想的な条件下では図６（ｃ）の左上側図
形に示すような、ステップ状のパターンとなっていると
仮定する。２値化処理を行うためのしきい値を、図６
（ｂ）に示すような濃度ヒストグラムにおいて最も２つ
の山が分かれる濃度値を選ぶ方式がある。しかし通常
は、入力としてそのような理想的なステップ状のパター
ンは得られない。すなわち、照明条件の変動や汚れに起
因する濃度変動が重畳するためである。したがって、実
際には、濃度変動（図６（ｃ）の左下側図形）が重畳し
たパターンに対して、図６（ｃ）の右側図形に直線で示
すように、しきい値を設定して２値化を行うことにな
る。しかし、多くの場合、上記のような変動要因を考慮
・予測してしきい値を設定するのは困難であるから、そ
の設定を誤ると図６（ｄ）のように、上記の濃度変動の
影響を直接受けてしまい、斜線部のような変動成分によ
って安定した形状検出ができなくなる。よって、欠陥な
どの不良品の検出信頼度が低下する。
示す。ここでは、例えば図６（ａ）の画像中央部の矩形
領域の欠けや膨らみ具合を判定する問題を考える。矩形
領域の内部と外部は、それぞれ材質的に一様で、点線部
の濃度断面は理想的な条件下では図６（ｃ）の左上側図
形に示すような、ステップ状のパターンとなっていると
仮定する。２値化処理を行うためのしきい値を、図６
（ｂ）に示すような濃度ヒストグラムにおいて最も２つ
の山が分かれる濃度値を選ぶ方式がある。しかし通常
は、入力としてそのような理想的なステップ状のパター
ンは得られない。すなわち、照明条件の変動や汚れに起
因する濃度変動が重畳するためである。したがって、実
際には、濃度変動（図６（ｃ）の左下側図形）が重畳し
たパターンに対して、図６（ｃ）の右側図形に直線で示
すように、しきい値を設定して２値化を行うことにな
る。しかし、多くの場合、上記のような変動要因を考慮
・予測してしきい値を設定するのは困難であるから、そ
の設定を誤ると図６（ｄ）のように、上記の濃度変動の
影響を直接受けてしまい、斜線部のような変動成分によ
って安定した形状検出ができなくなる。よって、欠陥な
どの不良品の検出信頼度が低下する。
【０００４】次に、濃度正規化相関による検査方式を図
７に示す。図７（ａ）左側の規準画像（大きさ：Ｉ×Ｊ
画素）に対して、図７（ａ）右側に示すような、検査対
象となる規準ウィンドウ（大きさ：Ｋ×Ｌ画素）の濃度
配列Ｓkl（ｋ＝１，…，Ｋ；ｌ＝１，…，Ｌ）の濃度パ
ターンを（良品のテンプレートとして）登録する。続い
て図７（ｂ）に示すように、検査すべき画像パターンに
対して、規準ウィンドウを左上隅から右下隅まで走査
し、各走査ポイント（ｉ，ｊ）に対してすべて、以下の
演算式（１）で相関係数ｒij（ｉ＝１，…，Ｉ；ｊ＝
１，…，Ｊ；−１≦ｒi，j≦１）を演算する。
７に示す。図７（ａ）左側の規準画像（大きさ：Ｉ×Ｊ
画素）に対して、図７（ａ）右側に示すような、検査対
象となる規準ウィンドウ（大きさ：Ｋ×Ｌ画素）の濃度
配列Ｓkl（ｋ＝１，…，Ｋ；ｌ＝１，…，Ｌ）の濃度パ
ターンを（良品のテンプレートとして）登録する。続い
て図７（ｂ）に示すように、検査すべき画像パターンに
対して、規準ウィンドウを左上隅から右下隅まで走査
し、各走査ポイント（ｉ，ｊ）に対してすべて、以下の
演算式（１）で相関係数ｒij（ｉ＝１，…，Ｉ；ｊ＝
１，…，Ｊ；−１≦ｒi，j≦１）を演算する。
【０００５】 ｒij＝｛Σk=1 KΣl=1 L（Ｓi+k，j+l−Ｓ-）（Ｔkl−Ｔ-）｝／√｛Σk=1 KΣl= 1 L （Ｓi+k，j+l−Ｓ-）2・Σk=1 KΣl=1 L（Ｔkl−Ｔ-）2｝ …（１） ただし、Ｔijは検査画像パターンの濃度配列、Ｓ-は規
準ウィンドウ内の濃度平均、Ｔ-は検査画像パターン中
の規準ウィンドウ内の濃度平均値である。
準ウィンドウ内の濃度平均、Ｔ-は検査画像パターン中
の規準ウィンドウ内の濃度平均値である。
【０００６】こうして得られた各走査ポイント（ｉ，
ｊ）の相関係数ｒijのうち、最大値を検索し、それが１
に近いほど良品であると判定する。この相関係数は、濃
度のオフセット変動に対しては不変な値となるが、照明
条件の変動など不均一な濃度変動に対しては、図７
（ｃ）の規準濃度パターン（太線）と検査画像濃度パタ
ーン（細線）で囲まれた変動成分（斜線部）のために、
良品に対しても相関係数にバラツキが生じてしまい、誤
判定の原因となる。
ｊ）の相関係数ｒijのうち、最大値を検索し、それが１
に近いほど良品であると判定する。この相関係数は、濃
度のオフセット変動に対しては不変な値となるが、照明
条件の変動など不均一な濃度変動に対しては、図７
（ｃ）の規準濃度パターン（太線）と検査画像濃度パタ
ーン（細線）で囲まれた変動成分（斜線部）のために、
良品に対しても相関係数にバラツキが生じてしまい、誤
判定の原因となる。
【０００７】
【発明が解決しようとする課題】図８に検査対象の画像
パターンの一例を示す。図８（ａ）は理想的なパターン
例であるが、実際に得られる良品の画像は、図８（ｂ）
〜（ｄ）のように、表面の汚れや異物付着によりノイズ
成分が重畳していたり、良品自体のバラツキに起因した
濃度変動の影響を受けたものとなり、図８（ｅ）に例示
したような不良品の画像に類似してくる。このような状
況下で良品と不良品を間違いなく判別する必要がある
が、上記したように従来の技術では、欠陥部と正常部の
判別が困難であるため、そうした濃度変動に対して欠陥
部の検出、あるいは良品／不良品の判別の信頼度が低下
するという問題点があった。
パターンの一例を示す。図８（ａ）は理想的なパターン
例であるが、実際に得られる良品の画像は、図８（ｂ）
〜（ｄ）のように、表面の汚れや異物付着によりノイズ
成分が重畳していたり、良品自体のバラツキに起因した
濃度変動の影響を受けたものとなり、図８（ｅ）に例示
したような不良品の画像に類似してくる。このような状
況下で良品と不良品を間違いなく判別する必要がある
が、上記したように従来の技術では、欠陥部と正常部の
判別が困難であるため、そうした濃度変動に対して欠陥
部の検出、あるいは良品／不良品の判別の信頼度が低下
するという問題点があった。
【０００８】本発明は上記の問題点の解決を図り、図８
に示すような状況において、照明環境の変動や、検査対
象物体表面の汚れ、ゴミ等の付着により発生する良品サ
ンプル画像の濃度変動に対しても、欠陥部あるいは良品
／不良品を高い検出信頼度で判別できる外観検査方法を
提供することを目的としている。
に示すような状況において、照明環境の変動や、検査対
象物体表面の汚れ、ゴミ等の付着により発生する良品サ
ンプル画像の濃度変動に対しても、欠陥部あるいは良品
／不良品を高い検出信頼度で判別できる外観検査方法を
提供することを目的としている。
【０００９】
【課題を解決するための手段】上記目的を達成するため
に、第１の発明では、照明系と撮像系、姿勢制御可能な
試料台で構成される画像入力系において、撮像条件を変
えて検査対象物体の多重画像を取得する第１の処理段階
と、前記画像入力系において、表面反射特性が既知の物
体を用いて、照明系と撮像系の幾何学的配置の情報に基
づき照明系パラメータ（Ｉｋ）および撮像系パラメータ
（ａ，δ）の一方または双方を推定する第２の処理（入
力系のキャリブレーション）段階と、前記第１の処理段
階で得られた多重画像を用いて、前記第２の処理段階で
求めた前記パラメータと前記幾何学的配置の情報をもと
に、反射の光学モデルのパラメータ（ｒ，ｓ，λ）を推
定する第３の処理段階と、を有することを特徴とする画
像による外観検査方法を手段とする。
に、第１の発明では、照明系と撮像系、姿勢制御可能な
試料台で構成される画像入力系において、撮像条件を変
えて検査対象物体の多重画像を取得する第１の処理段階
と、前記画像入力系において、表面反射特性が既知の物
体を用いて、照明系と撮像系の幾何学的配置の情報に基
づき照明系パラメータ（Ｉｋ）および撮像系パラメータ
（ａ，δ）の一方または双方を推定する第２の処理（入
力系のキャリブレーション）段階と、前記第１の処理段
階で得られた多重画像を用いて、前記第２の処理段階で
求めた前記パラメータと前記幾何学的配置の情報をもと
に、反射の光学モデルのパラメータ（ｒ，ｓ，λ）を推
定する第３の処理段階と、を有することを特徴とする画
像による外観検査方法を手段とする。
【００１０】また第２の発明では、前記第１の発明にお
いて、第３の処理段階で求めた光学モデルのパラメータ
の推定値をもとに、検査対象物体の良／不良を判定する
第４の処理段階を有することを特徴とする画像による外
観検査方法を手段とする。
いて、第３の処理段階で求めた光学モデルのパラメータ
の推定値をもとに、検査対象物体の良／不良を判定する
第４の処理段階を有することを特徴とする画像による外
観検査方法を手段とする。
【００１１】本発明では、検査対象物体の多重画像を入
力として、該物体表面の欠陥のない部分（以下、「正常
部」と表記する）と欠陥のある部分（以下、「欠陥部」
と表記する）の差異（例えば、反射率係数などの反射特
性や局所的な表面の法線の向き）に着目し、それを光学
モデルに基づく処理によって定量化（照明条件の変動や
汚れの影響を受けにくいと考えられる対象固有の物理量
を推定）することにより、欠陥部あるいは良品／不良品
の判別の高信頼化を図る。
力として、該物体表面の欠陥のない部分（以下、「正常
部」と表記する）と欠陥のある部分（以下、「欠陥部」
と表記する）の差異（例えば、反射率係数などの反射特
性や局所的な表面の法線の向き）に着目し、それを光学
モデルに基づく処理によって定量化（照明条件の変動や
汚れの影響を受けにくいと考えられる対象固有の物理量
を推定）することにより、欠陥部あるいは良品／不良品
の判別の高信頼化を図る。
【００１２】
【発明の実施の形態】本発明の実施形態例について、図
面に基づいて詳細に説明する。
面に基づいて詳細に説明する。
【００１３】図１に、本発明の一実施形態例における一
連の基本的な処理手順の一例を示す。本実施形態例は、
第１から第４までの処理段階を有する。
連の基本的な処理手順の一例を示す。本実施形態例は、
第１から第４までの処理段階を有する。
【００１４】第１の処理１０１では、例えば試料台と撮
像装置の位置関係を保持しつつ、照明光源の方向を変え
ながら検査サンプルを撮影して多重画像を取得する。該
多重画像は、以下の第３の処理における光学モデルのパ
ラメータ推定の入力画像となる。
像装置の位置関係を保持しつつ、照明光源の方向を変え
ながら検査サンプルを撮影して多重画像を取得する。該
多重画像は、以下の第３の処理における光学モデルのパ
ラメータ推定の入力画像となる。
【００１５】第２の処理１０２では、照明系と撮像系の
幾何学的配置の情報に基づき、表面反射特性が既知の標
準白色拡散版などを用いることで、未知の照明光源の強
度パラメータ（Ｉk）や撮像装置の内部パラメータ
（ａ，δ）を推定する。
幾何学的配置の情報に基づき、表面反射特性が既知の標
準白色拡散版などを用いることで、未知の照明光源の強
度パラメータ（Ｉk）や撮像装置の内部パラメータ
（ａ，δ）を推定する。
【００１６】第３の処理１０３では、表面反射特性が分
からない検査対象物体の光学モデルのパラメータ（未
知）を、既知の該幾何学的配置の情報及び前記第２の処
理で求められたパラメータの推定値を用いて、該多重画
像から推定して求める。
からない検査対象物体の光学モデルのパラメータ（未
知）を、既知の該幾何学的配置の情報及び前記第２の処
理で求められたパラメータの推定値を用いて、該多重画
像から推定して求める。
【００１７】第４の処理１０４では、前記光学モデルの
パラメータの推定値をもとに所定の良否判定しきい値１
０５を設定し、該検査対象物体の良／不良を判定する。
パラメータの推定値をもとに所定の良否判定しきい値１
０５を設定し、該検査対象物体の良／不良を判定する。
【００１８】以下では、本実施形態例による上記の各処
理段階での処理例を具体的に説明する。
理段階での処理例を具体的に説明する。
【００１９】図２は、本実施形態例で用いる画像入力装
置の概略図である。図中のＡはファイバーガイド照明、
ＢはＣＣＤカメラ（白黒カメラが好適である）、Ｃは試
料台、Ｄは検査サンプルである。ファイバーガイド照明
Ａは、調整つまみによりその光源強度が調節可能であ
る。ここでは検査サンプルＤとして、平面的な形状をし
たゴム製の黒い電子部品を選び、そのはがれやつぶれな
どのある程度面的な広がりを有する表面欠陥を検出する
場合を例にとり説明する。
置の概略図である。図中のＡはファイバーガイド照明、
ＢはＣＣＤカメラ（白黒カメラが好適である）、Ｃは試
料台、Ｄは検査サンプルである。ファイバーガイド照明
Ａは、調整つまみによりその光源強度が調節可能であ
る。ここでは検査サンプルＤとして、平面的な形状をし
たゴム製の黒い電子部品を選び、そのはがれやつぶれな
どのある程度面的な広がりを有する表面欠陥を検出する
場合を例にとり説明する。
【００２０】（第１の処理）まず、図２に示すような画
像入力系で、ＣＣＤカメラＢと試料台Ｃの位置関係を保
持しつつ、ファイバー照明光源の方向、つまり図中の入
射角ｉ（サンプル表面法線と照明方向のなす角）を０°
から４０°まで５°刻みでふりながら、上記ゴム製部品
Ｄを撮影し、多重画像を得る。なお、ｅは反射角であ
る。
像入力系で、ＣＣＤカメラＢと試料台Ｃの位置関係を保
持しつつ、ファイバー照明光源の方向、つまり図中の入
射角ｉ（サンプル表面法線と照明方向のなす角）を０°
から４０°まで５°刻みでふりながら、上記ゴム製部品
Ｄを撮影し、多重画像を得る。なお、ｅは反射角であ
る。
【００２１】（第２の処理）次に、標準白色拡散版を撮
影した画像により、未知の照明光源の強度パラメータや
撮像装置の内部パラメータを推定する。以下、前記画像
入力系のキャリブレーションについて説明する。
影した画像により、未知の照明光源の強度パラメータや
撮像装置の内部パラメータを推定する。以下、前記画像
入力系のキャリブレーションについて説明する。
【００２２】画像上のある観測点（ＣＣＤエリアセンサ
面上の一点）における反射光強度は次式で表現される。
面上の一点）における反射光強度は次式で表現される。
【００２３】 Ｌk（ｘ）＝Ｉk（ｐ（ｘ），ｌk（ｐ（ｘ））・ｆ（ｎ，ｌk，ｖ）…（２） ただし、 ｘ：画像上の観測点を表す２次元座標、 ｐ（ｘ）：ｘに対応する物体表面上の点の３次元座標、 ｋ：異なる照明条件を表す添字 ｋ＝１，…，Ｋ（Ｋ：
あるサンプルについて撮影する画像の枚数）、 Ｌk（ｘ）：ｘにおいて観測される反射光の強度、 Ｉk（ｐ（ｘ），ｌk（ｐ（ｘ）））：ｐ（ｘ）における
照明光の強度、 ｆ（ｎ，ｌk，ｖ）：ｐ（ｘ）における反射率関数 ｎ（ｐ（ｘ））：ｐ（ｘ）における物体表面の法線方向
単位ベクトル、 ｌk（ｐ（ｘ））：ｐ（ｘ）における光源ｋ方向の単位
ベクトル、 ｖ（ｐ（ｘ））：ｐ（ｘ）におけるセンサ方向の単位ベ
クトル、 である。なお、検査部品の表面法線ｎ（ｐ（ｘ））、光
源方向ｌk（ｐ（ｘ））、カメラ方向ｖ（ｐ（ｘ））を
既知と仮定している。
あるサンプルについて撮影する画像の枚数）、 Ｌk（ｘ）：ｘにおいて観測される反射光の強度、 Ｉk（ｐ（ｘ），ｌk（ｐ（ｘ）））：ｐ（ｘ）における
照明光の強度、 ｆ（ｎ，ｌk，ｖ）：ｐ（ｘ）における反射率関数 ｎ（ｐ（ｘ））：ｐ（ｘ）における物体表面の法線方向
単位ベクトル、 ｌk（ｐ（ｘ））：ｐ（ｘ）における光源ｋ方向の単位
ベクトル、 ｖ（ｐ（ｘ））：ｐ（ｘ）におけるセンサ方向の単位ベ
クトル、 である。なお、検査部品の表面法線ｎ（ｐ（ｘ））、光
源方向ｌk（ｐ（ｘ））、カメラ方向ｖ（ｐ（ｘ））を
既知と仮定している。
【００２４】本手法では、物体表面の反射特性を表現す
る光学モデルとして、完全拡散反射成分と正反射成分を
同時に表現可能なＰｈｏｎｇのモデルを採用する。この
場合、検査対象表面上の点ｐ（ｘ）における反射率関数
ｆは次のようにかける。
る光学モデルとして、完全拡散反射成分と正反射成分を
同時に表現可能なＰｈｏｎｇのモデルを採用する。この
場合、検査対象表面上の点ｐ（ｘ）における反射率関数
ｆは次のようにかける。
【００２５】 ｆ（ｎ，ｌk，ｖ）＝ｒ（ｐ（ｘ））｛（１−ｓ（ｐ（ｘ）））ｃｏｓψ（ｌk ，ｎ）＋ｓ（ｐ（ｘ））ｃｏｓλ(p(x))φ（ｌ′k，ｖ）｝ …（３） ただし、 ｒ（ｐ（ｘ））：ｐ（ｘ）における反射率係数、 ｌ′k（ｎ，ｌk，ｖ）：表面法線ｎに対するｌkの正反
射方向の単位ベクトル、 ψ（ｌk，ｎ）：ｌkとｎのなす角、 φ（ｌ′k，ｎ）：ｌ′kとｖのなす角、 ｓ（ｐ（ｘ））：完全拡散反射成分の正反射成分の比
（０≦ｓ≦１）、 λ（ｐ（ｘ））：正反射成分の鋭さを示すパラメータ、 である。
射方向の単位ベクトル、 ψ（ｌk，ｎ）：ｌkとｎのなす角、 φ（ｌ′k，ｎ）：ｌ′kとｖのなす角、 ｓ（ｐ（ｘ））：完全拡散反射成分の正反射成分の比
（０≦ｓ≦１）、 λ（ｐ（ｘ））：正反射成分の鋭さを示すパラメータ、 である。
【００２６】ここで、前記ゴム製部品の検査面形状はほ
ぼ平面で近似できて、しかもその検査領域（直径３〜４
ｍｍの円）は比較的小さいので、表面上の位置ｐ（ｘ）
によらずｎ（ｐ（ｘ））及びｖ（ｐ（ｘ））は一定とみ
なせる。従って、ｎとｌk、ｖによって決まるｌ′kも一
定となり、ｃｏｓψ（ｌk，ｎ）＝Ａk、ｃｏｓφ（ｌ′
k，ｖ）＝Ｂk（ｃｏｎｓｔ．）とおける。また該検査領
域が小さいので、表面位置ｘの違いによる照明光強度の
バラツキは無視できてＩk（ｐ（ｘ），ｌk（ｐ
（ｘ）））≒Ｉk（ｃｏｎｓｔ．）となる。以上まとめ
ると、式（２）は、 Ｌk（ｘ）＝Ｉk・ｒ（ｐ（ｘ））｛（１−ｓ（ｐ（ｘ））Ａk＋ｓ（ｐ（ｘ） ）Ｂk λ(p(x))｝…（４） となり、問題は与えられた（既知の）Ｌk（ｘ），Ａk，
Ｂkからの未知パラメータＩk，ｒ，ｓ，λの推定に帰着
される。
ぼ平面で近似できて、しかもその検査領域（直径３〜４
ｍｍの円）は比較的小さいので、表面上の位置ｐ（ｘ）
によらずｎ（ｐ（ｘ））及びｖ（ｐ（ｘ））は一定とみ
なせる。従って、ｎとｌk、ｖによって決まるｌ′kも一
定となり、ｃｏｓψ（ｌk，ｎ）＝Ａk、ｃｏｓφ（ｌ′
k，ｖ）＝Ｂk（ｃｏｎｓｔ．）とおける。また該検査領
域が小さいので、表面位置ｘの違いによる照明光強度の
バラツキは無視できてＩk（ｐ（ｘ），ｌk（ｐ
（ｘ）））≒Ｉk（ｃｏｎｓｔ．）となる。以上まとめ
ると、式（２）は、 Ｌk（ｘ）＝Ｉk・ｒ（ｐ（ｘ））｛（１−ｓ（ｐ（ｘ））Ａk＋ｓ（ｐ（ｘ） ）Ｂk λ(p(x))｝…（４） となり、問題は与えられた（既知の）Ｌk（ｘ），Ａk，
Ｂkからの未知パラメータＩk，ｒ，ｓ，λの推定に帰着
される。
【００２７】ところで、ｘにおいて実際に観測されるの
は、ＣＣＤに入射する反射光強度そのものではなく光電
変換・ディジタル化された２５６階調の濃度値である。
そこで、該濃度値が観測光強度の線形変換によって、次
式 Ｐk（ｘ）＝ａＬk（ｘ）＋δ …（５） で表されるものと考える。ここで、Ｐk（ｘ）は点ｘに
おける濃度値、ａ，δは光電変換のパラメータである。
よって、式（４），（５）より、 Ｐk（ｘ）＝ａＩk・ｒ（ｐ（ｘ））｛（１−ｓ（ｐ（ｘ）））Ａk＋ｓ（ｐ（ ｘ））Ｂk λ(p(x))｝＋δ …（６） を得る。このカメラパラメータａ，δと光源の強度パラ
メータＩk（ｋ＝１，…，Ｋ）の推定を、多重画像取得
時の入力系で標準白色拡散板を撮影した画像データをも
とに行う。標準拡散板の表面は完全拡散反射とみなせる
ので、式（４）における反射率関数ｆはカメラ方向には
無関係となり、式（６）は Ｐk（ｘ）＝ａＩk・ｒ・ｃｏｓｉ＋δ …（７） となる。既知の濃度値Ｐk及び入射角ｉから上式を用い
て、ｒ＝１（標準拡散版を基準とする）とおき、上記画
像データから線形最小２乗法を適用して未知パラメータ
ａＩk，δ（ｋ＝１，…，Ｋ）を推定する。
は、ＣＣＤに入射する反射光強度そのものではなく光電
変換・ディジタル化された２５６階調の濃度値である。
そこで、該濃度値が観測光強度の線形変換によって、次
式 Ｐk（ｘ）＝ａＬk（ｘ）＋δ …（５） で表されるものと考える。ここで、Ｐk（ｘ）は点ｘに
おける濃度値、ａ，δは光電変換のパラメータである。
よって、式（４），（５）より、 Ｐk（ｘ）＝ａＩk・ｒ（ｐ（ｘ））｛（１−ｓ（ｐ（ｘ）））Ａk＋ｓ（ｐ（ ｘ））Ｂk λ(p(x))｝＋δ …（６） を得る。このカメラパラメータａ，δと光源の強度パラ
メータＩk（ｋ＝１，…，Ｋ）の推定を、多重画像取得
時の入力系で標準白色拡散板を撮影した画像データをも
とに行う。標準拡散板の表面は完全拡散反射とみなせる
ので、式（４）における反射率関数ｆはカメラ方向には
無関係となり、式（６）は Ｐk（ｘ）＝ａＩk・ｒ・ｃｏｓｉ＋δ …（７） となる。既知の濃度値Ｐk及び入射角ｉから上式を用い
て、ｒ＝１（標準拡散版を基準とする）とおき、上記画
像データから線形最小２乗法を適用して未知パラメータ
ａＩk，δ（ｋ＝１，…，Ｋ）を推定する。
【００２８】（第３の処理）次に、前述の第２の処理に
よるａＩk，δの推定値を用いて前記多重画像から、未
知の前記ゴム製部品の光学モデルのパラメータｒ，ｓ，
λを推定して求める。以下、その処理について説明す
る。
よるａＩk，δの推定値を用いて前記多重画像から、未
知の前記ゴム製部品の光学モデルのパラメータｒ，ｓ，
λを推定して求める。以下、その処理について説明す
る。
【００２９】正反射方向とカメラ方向のなす角の余弦Ｂ
kは、図２の光源をふる角度ｉが小さい範囲内ではＢk≒
１．Δk≡１−Ｂkとおくと、Δk≪１なので Ｂk λ＝（１−Δk）λ≒１−λΔk＋〔｛λ（λ−１）｝／２〕Δk 2 …（８ ） なる近似式を用いれば、式（６）は ｛（Ｐk（ｘ）−δ）／ａＩk｝・（１／ｒ）＋（Δk＋Δk 2／２）ｓ・λ−（ Δk 2／２）ｓ・λ2＝Ａk＋（１−Ａk）ｓ （ｋ＝１，…Ｋ） …（９） となる。さらに、Δk≒１の条件下で、前出の近似式の
Δkの２乗項を無視すれば、最終的に ｛（Ｐk（ｘ）−δ）／ａＩk｝・（１／ｒ）＋Δkｓ・λ＝Ａk＋（１−Ａk） ｓ （ｋ＝１，…Ｋ） …（１０） が得られる。この式（１０）で、いまｓをある値ｓ＾に
固定した場合、１／ｒの係数は光源方向によって決まる
定数であり、λの係数と右辺は光源方向とｓ＾によって
決まる定数だから、次の２乗誤差関数 Ｅ（ｒ，ｓ＾，λ）＝Σk｛式（１０）の左辺−式（１０）の右辺｝2 ＝〔｛（Ｐk（ｘ）−δ）／ａＩk｝・（１／ｒ）＋Δkｓ＾・λ−Ａk−（１−Ａ k ）ｓ＾〕2 …（１１） を最小にするパラメータの組み（ｒ＾，λ＾）は理論的
に計算できる。よって、式（１０）を用いてパラメータ
ｓをそのとり得る値の範囲全体（０≦ｓ≦１）でふって
やり、最小２乗法によりパラメータの組（ｒ，ｓ，λ）
を数値計算で求める。
kは、図２の光源をふる角度ｉが小さい範囲内ではＢk≒
１．Δk≡１−Ｂkとおくと、Δk≪１なので Ｂk λ＝（１−Δk）λ≒１−λΔk＋〔｛λ（λ−１）｝／２〕Δk 2 …（８ ） なる近似式を用いれば、式（６）は ｛（Ｐk（ｘ）−δ）／ａＩk｝・（１／ｒ）＋（Δk＋Δk 2／２）ｓ・λ−（ Δk 2／２）ｓ・λ2＝Ａk＋（１−Ａk）ｓ （ｋ＝１，…Ｋ） …（９） となる。さらに、Δk≒１の条件下で、前出の近似式の
Δkの２乗項を無視すれば、最終的に ｛（Ｐk（ｘ）−δ）／ａＩk｝・（１／ｒ）＋Δkｓ・λ＝Ａk＋（１−Ａk） ｓ （ｋ＝１，…Ｋ） …（１０） が得られる。この式（１０）で、いまｓをある値ｓ＾に
固定した場合、１／ｒの係数は光源方向によって決まる
定数であり、λの係数と右辺は光源方向とｓ＾によって
決まる定数だから、次の２乗誤差関数 Ｅ（ｒ，ｓ＾，λ）＝Σk｛式（１０）の左辺−式（１０）の右辺｝2 ＝〔｛（Ｐk（ｘ）−δ）／ａＩk｝・（１／ｒ）＋Δkｓ＾・λ−Ａk−（１−Ａ k ）ｓ＾〕2 …（１１） を最小にするパラメータの組み（ｒ＾，λ＾）は理論的
に計算できる。よって、式（１０）を用いてパラメータ
ｓをそのとり得る値の範囲全体（０≦ｓ≦１）でふって
やり、最小２乗法によりパラメータの組（ｒ，ｓ，λ）
を数値計算で求める。
【００３０】なお、各画素単位でこれまで説明した処理
を行うことは、画像上の各点で生じるノイズの影響を受
けやすく結果にもかなりのバラツキが出てしまう。そこ
で、対象画像をいくつかの矩形領域に分割し、該矩形領
域での光学モデルのパラメータは一定とし、該矩形領域
における観測値（濃度値）として該矩形領域に属する濃
度値の平均を用いて各領域毎に上述の処理を行う（モザ
イク化）。
を行うことは、画像上の各点で生じるノイズの影響を受
けやすく結果にもかなりのバラツキが出てしまう。そこ
で、対象画像をいくつかの矩形領域に分割し、該矩形領
域での光学モデルのパラメータは一定とし、該矩形領域
における観測値（濃度値）として該矩形領域に属する濃
度値の平均を用いて各領域毎に上述の処理を行う（モザ
イク化）。
【００３１】（第４の処理）次に、推定したモデルパラ
メータのうち、例えば反射率係数ｒが正常部と欠陥部で
異なることを用いて、部品の良否検査を行う。
メータのうち、例えば反射率係数ｒが正常部と欠陥部で
異なることを用いて、部品の良否検査を行う。
【００３２】以下、入射角ｉが０°、１０°、２０°、
３０°、４０°の５枚の多重画像を用いて行った処理例
について述べる。不良サンプルの一つについて、光源強
度を２通りにかえた場合の濃度分布と推定で得られた反
射率分布を３次元的に表示した結果がそれぞれ図４，５
である。ただし、上記濃度分布はそれぞれ入射角が４０
°の場合であり、試料台表面の法線照明を照度計で直接
測定した結果、図４の場合は１２９００〔ｌｘ〕、図５
の場合は２２０００〔ｌｘ〕であった。上記不良サンプ
ルは図３に示すように、円形状の中央やや左に一部表面
のはがれ欠陥が存在するが、図４，５より、濃度分布だ
けでは困難なこのような例の場合でも、欠陥部は正常部
に比べて反射率係数が高くなっており、適切な判定しき
い値を設定して検査可能である。また、両者の正常部の
反射率係の平均値は０．１０９１９６と０．１３４２１
４でほぼ等しくなっており、照明光の強度変動に追従で
きている。
３０°、４０°の５枚の多重画像を用いて行った処理例
について述べる。不良サンプルの一つについて、光源強
度を２通りにかえた場合の濃度分布と推定で得られた反
射率分布を３次元的に表示した結果がそれぞれ図４，５
である。ただし、上記濃度分布はそれぞれ入射角が４０
°の場合であり、試料台表面の法線照明を照度計で直接
測定した結果、図４の場合は１２９００〔ｌｘ〕、図５
の場合は２２０００〔ｌｘ〕であった。上記不良サンプ
ルは図３に示すように、円形状の中央やや左に一部表面
のはがれ欠陥が存在するが、図４，５より、濃度分布だ
けでは困難なこのような例の場合でも、欠陥部は正常部
に比べて反射率係数が高くなっており、適切な判定しき
い値を設定して検査可能である。また、両者の正常部の
反射率係の平均値は０．１０９１９６と０．１３４２１
４でほぼ等しくなっており、照明光の強度変動に追従で
きている。
【００３３】以上の実施形態例によれば、試料台と撮影
装置の位置関係を保持しつつ、照明光源の方向を変えな
がら検査サンプルを撮影して得られた多重画像を入力
し、検査サンプル表面の正常部と欠陥部の差異として反
射率係数などの反射特性や局所的な表面の法線の向きに
着目し、それを光学モデルに基づく処理、すなわち上記
の多重画像を用いて画像入力系のキャリブレーションに
より求めたパラメータ群をもとに、検査対象固有の光学
モデルのパラメータ推定を行って定量化することで、照
明条件の変動や汚れの影響を受けにくいと考えられる検
査対象固有の物理量を推定しているため、照明光の強度
変動や検査サンプル表面の汚れ、ゴミ等の付着により発
生する良品サンプル画像の濃度変動が存在する環境にお
いても、良品／不良品の判別の誤り率が小さくなり、信
頼度の高い外観検査方式が実現できる。
装置の位置関係を保持しつつ、照明光源の方向を変えな
がら検査サンプルを撮影して得られた多重画像を入力
し、検査サンプル表面の正常部と欠陥部の差異として反
射率係数などの反射特性や局所的な表面の法線の向きに
着目し、それを光学モデルに基づく処理、すなわち上記
の多重画像を用いて画像入力系のキャリブレーションに
より求めたパラメータ群をもとに、検査対象固有の光学
モデルのパラメータ推定を行って定量化することで、照
明条件の変動や汚れの影響を受けにくいと考えられる検
査対象固有の物理量を推定しているため、照明光の強度
変動や検査サンプル表面の汚れ、ゴミ等の付着により発
生する良品サンプル画像の濃度変動が存在する環境にお
いても、良品／不良品の判別の誤り率が小さくなり、信
頼度の高い外観検査方式が実現できる。
【００３４】
【発明の効果】以上説明したように、本発明によれば、
照明光強度が変動したり、また検査対象物体表面の汚れ
や付着したゴミにより発生する良品サンプル画像の濃度
変動に対しても、欠陥部／正常部、あるいは良品／不良
品の判別の誤り率が小さくなり、信頼度が高い外観検査
を実現することが可能となる。
照明光強度が変動したり、また検査対象物体表面の汚れ
や付着したゴミにより発生する良品サンプル画像の濃度
変動に対しても、欠陥部／正常部、あるいは良品／不良
品の判別の誤り率が小さくなり、信頼度が高い外観検査
を実現することが可能となる。
【図１】本発明の一実施形態例における処理手順の一例
を示すフローチャートである。
を示すフローチャートである。
【図２】上記実施形態例で用いる画像入力系の概略図で
ある。
ある。
【図３】上記実施形態例で用いる不良サンプルの一つ
（表面に一部はがれ）の例を図示した図である。
（表面に一部はがれ）の例を図示した図である。
【図４】（ａ）、（ｂ）は、上記実施形態例における検
査サンプルの濃度分布と反射率係数分布を３次元的に表
示した図である（表面照度１２９００〔ｌｘ〕の場合の
例）。
査サンプルの濃度分布と反射率係数分布を３次元的に表
示した図である（表面照度１２９００〔ｌｘ〕の場合の
例）。
【図５】（ａ）、（ｂ）は、上記実施形態例における検
査サンプルの濃度分布と反射率係数分布を３次元的に表
示した図である（表面照度２２６００〔ｌｘ〕の場合の
例）。
査サンプルの濃度分布と反射率係数分布を３次元的に表
示した図である（表面照度２２６００〔ｌｘ〕の場合の
例）。
【図６】（ａ），（ｂ），（ｃ），（ｄ）は、従来の外
観検査手法の一つである２値化処理方式の一例を示す図
である。
観検査手法の一つである２値化処理方式の一例を示す図
である。
【図７】（ａ），（ｂ），（ｃ）は、従来の外観検査手
法の一つである濃度正規化相関方式の一例を示す図であ
る。
法の一つである濃度正規化相関方式の一例を示す図であ
る。
【図８】（ａ），（ｂ），（ｃ），（ｄ），（ｅ）は、
良品／不良品の検査パターンの画像例を示す図である。
良品／不良品の検査パターンの画像例を示す図である。
Ａ…ファイバーガイド照明 Ｂ…ＣＣＤカメラ Ｃ…試料台 Ｄ…検査サンプル Ｅ…ゴム製部品の一部（検査領域） Ｆ…欠陥（表面はがれ） ｉ…入射角 ｅ…反射角 ｎ…表面法線
───────────────────────────────────────────────────── フロントページの続き (72)発明者 奥平 雅士 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内
Claims (2)
- 【請求項１】 異なる撮像条件で撮影した複数枚の画像
である多重画像を用いて、検査対象物体の欠陥部、ある
いは良／不良を判別する検査方法であって、 照明系と撮像系、姿勢制御可能な試料台で構成される画
像入力系において、撮像条件を変えて検査対象物体の多
重画像を取得する第１の処理段階と、 前記画像入力系において、表面反射特性が既知の物体を
用いて、照明系と撮像系の幾何学的配置の情報に基づき
照明系パラメータおよび撮像系パラメータの一方または
双方を推定する第２の処理段階と、 前記第１の処理段階で得られた多重画像を用いて、前記
第２の処理段階で求めた前記パラメータと前記幾何学的
配置の情報をもとに、反射の光学モデルのパラメータを
推定する第３の処理段階と、 を有することを特徴とする画像による外観検査方法。 - 【請求項２】 前記第３の処理段階で求めた光学モデル
のパラメータの推定値をもとに、検査対象物体の良／不
良を判定する第４の処理段階を有することを特徴とする
請求項１記載の画像による外観検査方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02224496A JP3310524B2 (ja) | 1996-02-08 | 1996-02-08 | 外観検査方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02224496A JP3310524B2 (ja) | 1996-02-08 | 1996-02-08 | 外観検査方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09218935A true JPH09218935A (ja) | 1997-08-19 |
| JP3310524B2 JP3310524B2 (ja) | 2002-08-05 |
Family
ID=12077391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02224496A Expired - Fee Related JP3310524B2 (ja) | 1996-02-08 | 1996-02-08 | 外観検査方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3310524B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100710703B1 (ko) * | 2006-05-02 | 2007-04-24 | 동명대학교산학협력단 | 반도체 리드프레임 도금 선폭 측정 검사장치 및 그 방법 |
| JPWO2006082639A1 (ja) * | 2005-02-03 | 2008-06-26 | 富士通株式会社 | マーク画像処理方法、プログラム及び装置 |
| JP2010256275A (ja) * | 2009-04-28 | 2010-11-11 | Visco Technologies Corp | 形状検査装置および形状検査プログラム |
| JP2010537188A (ja) * | 2007-08-22 | 2010-12-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 表面の光学的特徴付けに対する方法及び装置 |
| CN112567428A (zh) * | 2018-11-09 | 2021-03-26 | 欧姆龙株式会社 | 摄影方法及摄影装置 |
-
1996
- 1996-02-08 JP JP02224496A patent/JP3310524B2/ja not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2006082639A1 (ja) * | 2005-02-03 | 2008-06-26 | 富士通株式会社 | マーク画像処理方法、プログラム及び装置 |
| JP4618691B2 (ja) * | 2005-02-03 | 2011-01-26 | 富士通株式会社 | マーク画像処理方法、プログラム及び装置 |
| KR100710703B1 (ko) * | 2006-05-02 | 2007-04-24 | 동명대학교산학협력단 | 반도체 리드프레임 도금 선폭 측정 검사장치 및 그 방법 |
| JP2010537188A (ja) * | 2007-08-22 | 2010-12-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 表面の光学的特徴付けに対する方法及び装置 |
| JP2010256275A (ja) * | 2009-04-28 | 2010-11-11 | Visco Technologies Corp | 形状検査装置および形状検査プログラム |
| CN112567428A (zh) * | 2018-11-09 | 2021-03-26 | 欧姆龙株式会社 | 摄影方法及摄影装置 |
| CN112567428B (zh) * | 2018-11-09 | 2024-01-19 | 欧姆龙株式会社 | 摄影方法及摄影装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3310524B2 (ja) | 2002-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20060222232A1 (en) | Appearance inspection apparatus and appearance inspection method | |
| US7417719B2 (en) | Method, device and software for the optical inspection of a semi-conductor substrate | |
| KR101146081B1 (ko) | 마이크로-검사 입력을 이용한 매크로 결함 검출 방법 및시스템 | |
| KR20090008185A (ko) | 표면 검사 장치 | |
| JP3021266B2 (ja) | 光学式鋼板表面検査装置 | |
| JP3310524B2 (ja) | 外観検査方法 | |
| US6757065B1 (en) | Method of determining an illuminated surface | |
| JP3688520B2 (ja) | 表面検査装置及び表面検査方法 | |
| JP4108829B2 (ja) | 厚み欠陥検査装置及びその検査方法 | |
| JP2001056297A (ja) | 表面検査方法及び装置 | |
| JP2000055640A (ja) | Ｐｔｐシール検査装置 | |
| JP3089079B2 (ja) | 回路パターンの欠陥検査方法 | |
| JP7411155B2 (ja) | 色ムラ検査装置および色ムラ検査方法 | |
| JP7357203B2 (ja) | 表面性状検出方法及び表面性状検出装置 | |
| KR100484812B1 (ko) | 이미지 센서를 이용한 표면 검사방법 및 검사장치 | |
| JP3454162B2 (ja) | 穴のある平面プレートの傷検査装置 | |
| JPH08233747A (ja) | 欠陥検査装置及び欠陥検査方法 | |
| JPH10115514A (ja) | 表面平滑性の検査方法及びその装置 | |
| JPH08145904A (ja) | 明欠陥／暗欠陥検査装置 | |
| JP3609136B2 (ja) | 半導体装置の検査方法及び装置 | |
| JP2596158B2 (ja) | 部品認識装置 | |
| JP3498120B2 (ja) | 光沢むらの高精度測定方法および装置 | |
| JPH10214327A (ja) | 画像を用いた表面欠陥検出方法 | |
| JPH10206344A (ja) | 光学的むら検査装置および光学的むら検査方法 | |
| JP2000241146A (ja) | シートの製造方法およびその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |