JPH07306023A - 形状計測装置、検査装置及び製品製造方法 - Google Patents

形状計測装置、検査装置及び製品製造方法

Info

Publication number
JPH07306023A
JPH07306023A JP6096368A JP9636894A JPH07306023A JP H07306023 A JPH07306023 A JP H07306023A JP 6096368 A JP6096368 A JP 6096368A JP 9636894 A JP9636894 A JP 9636894A JP H07306023 A JPH07306023 A JP H07306023A
Authority
JP
Japan
Prior art keywords
inspection
light
display
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6096368A
Other languages
English (en)
Inventor
Shigeki Kobayashi
茂樹 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP6096368A priority Critical patent/JPH07306023A/ja
Publication of JPH07306023A publication Critical patent/JPH07306023A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 物体の表面形状を迅速、低コストで計測す
る。 【構成】 予めメモリ9に鏡面反射性の程度に対応する
表面反射指標に応じた受光出力対表面角度関数群を記憶
しておき、投光素子1から投光され、計測対象物5で反
射された光を複数の受光素子3a、3b、3cで受け、
その実測出力関数から計測対象の表面反射指標をCPU
7及び計測演算ユニットで算出し、この算出値から前記
関数群の1つを選択し、実測関数を選択された関数に照
合して、計測対象の表面角度を算出し、計測対象の三次
元表面形状を計測する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、製品製造ラインにおい
て立体の形状や立体構造を計測する形状計測装置、及び
これを使用し、半完成品を検査し、不良品を修理修正す
る場合に利用される検査装置及び製造方法に関するもの
であり、特に自動化検査技術、目視検査のための二次元
画像化技術、及びこれらの技術を利用した製造方法に関
する。
【0002】
【従来の技術】従来、製造工程において立体の形状や立
体構造を対象とする計測作業や検査作業を自動化したり
省力化する必要性に対しては、三次元形状計測技術の利
用による対処がその主体であった。しかし、三次元形状
計測には多くの方法があるが、如何なる対象、如何なる
環境においても常に十分な満足度をもって適用できる三
次元形状計測法はなかった。適用が難しい条件はケース
によって異なるが、その中で特に大きな要素の一つは、
対象表面の光反射特性である。その中画像計測に大きな
影響のある特性は、正反射性の程度である。多くの物体
表面は、完全な正反射面(鏡面、図37のa)でも完全
な拡散反射面(図37のb)でもなく、その中間の反射
特性をもっている。即ち、正反射性と拡散反射性が種々
の比率をもって混在する特性(図37のc)である。そ
の混在比率は対象物によって異なる。この表面反射特性
が不明である対象に対して光学的に固定的な条件で計測
を行っても計測不能であったり、不正確であったりする
結果に終わることが非常に多く、製造現場での常時使用
に耐えない。したがって、物体の形状計測のための画像
計測にあたっては、その表面の反射特性を把握すること
が必須条件であるのに、従来の画像計測法はこの問題解
決法を有しなかったのである。
【0003】
【発明が解決しようとする課題】本発明は物体の形状を
正しく計測し、必要に応じてその計測値を自動検査に活
用することを目的としている。その実現のためには、し
かし前述したように計測対象である物体の表面反射の性
質によって正しい計測値が得られない場合がある、とい
う課題を解決しなければならない。そのために考えられ
る解決のための要素は次の通りである。 (1)多くの物体表面は多少なりと鏡面反射性を有す
る。そこで、三次元形状計測のために採用する方法は、
それに含まれる三次元形状情報検出方法が鏡面反射性表
面に適用できる方法でなければならない。最も一般的な
三次元計測法は三角測量法であるが、この方法は計測対
象となる表面に鏡面反射によるハイライト部分が存在す
ると、その部分は計測不能となることが従来三次元画像
計測技術の常識になっている。本発明はハイライト部分
のある表面、即ち鏡面反射性を有する表面に三次元計測
を適用できるものでなければならない。 (2)次に上述の鏡面反射性表面はその必然的要素とし
て、鏡面反射の程度が対象毎に様々であるという問題が
ある。同一の表面角度の表面でも、その鏡面反射性が異
なると、同一の光があたっても異なる質と量の反射光を
反射する、即ち一定の方向に反射する反射光の強度が異
なるので、その反射光量を用いて同一の計測演算を施す
と異なった表面角度を算出してしまうし、極端な場合に
は形状計測演算ができない。そこで、形状を正確に計測
するためには、まず計測対象の鏡面反射性の程度、即ち
表面反射指標を自動的に知ることが課題となる。 (3)次のステップは前項で把握した表面反射指標か
ら、計測対象の表面面素の立体角、即ち表面法線ベクト
ルを算出することが課題である。
【0004】
【課題を解決するための手段】上述の課題(1)〜
(3)を解決するために、本発明は以下の手段(1')〜
(3')を講じている。 (1')三次元情報検出法として表面角度検出法を採用する
ことにより、鏡面反射特性を有する対象の形状計測を可
能とした。この方法は、逆にハイライト反射を活用し
て、照明光の入射立体角を既知とするか、あるいは反射
立体角を検出することにより、対象表面面素の立体角を
逆算する計測法である。 (2')この表面角度検出法は対象の鏡面反射性の程度に左
右されるので、対象毎に表面反射指標を実際の計測値か
ら算出する方法を提案している。この表面反射指標は、
対象からの反射光強度の立体角分布関数のパターンから
算出する。 (3')表面角度検出法により、予め種々の表面反射指標を
持つ球状モデルについて計測した表面角度対反射光強度
関数をルックアップテーブルとしてメモリ手段にメモリ
しておき、前項で得られた対象の表面反射指標からその
値に最も近い指標のルックアップテーブル関数を選択し
て、実測された反射光強度から各面素の表面角度を逆算
する方法を提案している。
【0005】ここで、表面角度検出法について説明す
る。この方法は、既知の構造を持った光(Structured L
ight)を対象に投光する方法であるアクティブセンシン
グ法において、この投光構造を照明光の投光角度、即ち
対象への入射立体角とすることによって、もしくは対象
からの反射光受光立体角とすることによって、図37の
cの正反射・拡散反射混在光の中の主成分光の反射方向
ベクトルを検出し、対象表面の立体角を逆算する方法で
ある。本発明ではさらに、正反射と拡散反射を異なる比
率で混有している反射光を反射する表面に対して、それ
ぞれのルックアップテーブルを予め用意しておき、対象
毎に正反射と拡散反射の混在比率に対応する表面反射指
標を計測して照合すべきルックアップテーブルを選択し
た後、法線ベクトルとの照合を行い、精密な計測を実現
した。この方法によってリアルタイムの直接的表面形状
計測が可能になった。本発明の説明における“表面立体
角情報弁別計測法”の表現は、この表面立体角情報付ア
クティブセンシング法を意味している。
【0006】次に、受光装置の出力から表面法線ベクト
ルを算出するルックアップテーブルの作成について説明
する。まず表面形状の完全モデルとして球体を使用す
る。その理由は、球体が全ての方位角及び傾斜角の法線
ベクトルを持っているからであり「拡張ガウス球」と呼
ばれている。したがって、球体モデルの全表面面素を光
学的に計測できる入射立体角−受光立体角の幾何光学的
構想(ジオメトリー)が計測系としての必要十分条件に
なる。その幾何光学的ジオメトリーには大別して2種類
がある。その第1は、照明光をビーム光とし、たとえば
真上から物体に光ビームを投光するジオメトリーである
(図38のb)。この場合、球形ドーム状にセンサを配
置したセンシング装置で、物体からの反射光をセンシン
グすれば、各センサ出力は対象物から見た立体角ベクト
ルでラベル付けされているので、全センサの出力を総合
して見れば、反射光強度の立体角分布データが得られ
る。
【0007】また、その第2は第1の方法における照明
とセンシングの相対的位置関係を逆にしたものである
(図38のa)。即ち、立体角ベクトルでラベル付けさ
れた照明光で物体を多方向から照明し、反射光を1方向
においてセンシングする、照明装置とセンシング装置の
ジオメトリーである。この方法では、多方向から同時に
物体を照明すると、物体の全表面明度が高レベルとな
り、との反射光がどの照明光によるものであるかを弁別
的にセンシングすることが困難になるので、種々の技術
的工夫により照明ラベル付けの問題を解決している。
【0008】いずれにしても、三次元物体の表面形状を
二次元画像化したとき、その画像における座標(Xi、
Yi)の画素Eiの反射光がどのセンサ(上述の第1の
ジオメトリーの場合)に向かって主反射光を反射してい
るか、またはどの光源の光を主反射光として反射してい
るか(上述の第2のジオメトリーの場合)を検出するこ
とによって、その画素に対応する対象物体表面面素の表
面立体角(法線ベクトル)が大方判明する。
【0009】以上述べたように、種々の鏡面反射性を有
する球体モデルの測定に基づくルックアップテーブルを
照合する方法を提案したので、反射光の強度分布に対し
て法線ベクトル値を連続的に対応させることができ、対
象の精密な形状計測が可能になったのである。また、こ
のような精密な計測を必要としない場合には、一定のし
きい値(後述するように図5におけるしきい値Th1ま
たはTh2)を用いて対象の凡その形状の把握をするこ
とも可能である。ただし、この場合においても、使用不
可能なしきい値を避けるために、表面反射指標を算出す
ることによってルックアップテーブルを参照し、有効な
しきい値を設定する必要があることは勿論である。
【0010】
【作用】以下本発明の作用を各請求項に従って説明す
る。請求項1は鏡面反射性を持つ計測対象に対して適用
できる三次元形状計測のための表面角度検出法を採用し
た上、種々の程度の鏡面反射性に対する表面角度と受光
手段出力との関数群を予め記憶しておき、未知の鏡面反
射性を持つ計測対象に対して実測値から照合すべき1関
数を選択して、正しい形状を算出する方法を規定してい
る。請求項2は三次元形状計測のための表面角度検出手
段を構成する投光手段と受光手段の組合せにより得られ
る計測対象の表面反射指標値から、予めメモリされてい
るモデル計測由来のルックアップテーブル関数を選択し
て、計測値から対象の表面角度を逆算する方法を記載し
ている。請求項3は採用した三次元形状計測のための表
面角度検出手段が反射光を識別して検出しうる手段であ
ることを記載している。請求項4は採用した次元形状計
測のための表面角度検出手段が入射角を識別して照明光
を投光しうる手段であることを記載している。請求項5
は請求項4の光源が入射角により異なるカラーの光束を
投光し、受光手段がカラー撮像装置であることを記載し
ている。請求項6は請求項4の光源が入射角により異な
る偏光角を持つ光束を投光し、受光手段が偏光画像検出
可能な撮像装置であることを記載している。請求項7は
請求項4の光源が円環状の複数の光束を時分割的に投光
し、受光手段が投光タイミングに同期して撮像しうる撮
像装置であることを記載している。請求項8は本発明に
なる形状計測装置が対象を複数の計測位置に位置決めし
て、計測可能である形状計測装置であることを記載して
いる。請求項9は請求項8の形状計測装置が判定手段を
備え、対象の品質良否を判定して結果を出力する検査装
置であることを記載している。請求項10は請求項8の
形状計測装置が表面法線ベクトル値に表示コードをペイ
ントして対象の二次元画像を表示する検査装置であるこ
とを記載している。請求項11は請求項10の検査装置
が一旦表面法線ベクトル値と表示コードの対応付けが確
定したら、計測毎に一々表示化の演算を実行することを
スキップして、受光手段の出力に直接的に表示コードを
対応させて二次元画像を表示する検査装置であることを
記載している。請求項12は請求項10または請求項1
1の検査装置が対象の品質の良否判定を行い、結果を出
力する検査装置であることを記載している。請求項13
は請求項10または請求項11の表示コード化手段がカ
ラーコードをペイントする検査装置であることを記載し
ている。請求項14は請求項10または請求項11の表
示コード化手段がグレーコードをペイントする検査装置
であることを記載している。請求項15は請求項10ま
たは請求項11の表示コード化手段が立体的可視化の方
式に従って対象の二次元画像をレンダリングする検査装
置であることを記載している。請求項16は請求項10
の検査装置が本来の表面法線ベクトル値に表示コードを
対応付ける対応関係とは別に、スイッチング操作により
オペレータに好ましいカラーにペイントして画像表示で
きる検査装置であることを記載している。請求項17は
請求項9または請求項12の検査装置が、まず自動検査
を行い、その後自動検査で不良と判定された箇所を選択
的に二次元化画像表示して、目視再検査する検査装置を
記載している。請求項18は請求項13の検査装置が表
面法線ベクトル値と表示コードの対応関係をカラースケ
ールとして画面に表示する検査装置であることを記載し
ている。請求項19は請求項16の検査装置がオペレー
タの選択したペイントカラーのカラースケールを画面に
表示することを記載している。請求項20は請求項10
または請求項11の検査装置が、他の検査装置で検査さ
れた検体の不良判定箇所の二次元化画像を表示して、目
視検査できる検査装置であることを記載している。請求
項21は請求項19の検査装置を製造ラインに設置し
て、再検査で真の不良と判明した箇所を修理・修正して
完成品とする製造方法を記載している。請求項22は請
求項10または請求項11の検査装置を製造ラインに設
置して、目視検査で真の不良と判明した箇所を修理・修
正して完成品とする製造方法を記載している。請求項2
3は請求項17の検査装置を製造ラインに設置して、再
検査で真の不良と判明した箇所を修理・修正して完成品
とする製造方法を記載している。
【0011】
【実施例】以下、実施例によりこの発明をさらに詳細に
説明する。図1は、本発明の一実施例を示し、本発明の
形状計測装置を製品の検査装置に適用した場合の装置構
成図である。この実施例形状計測装置は、製品の検査装
置として使用される。図1に示された受光ユニット2の
受光センサ3が計測対象から見て傾斜角方向に3角度即
ち10度、25度、40度に取り付けられ、それらが方
位角では45度間隔に8角度の方向に配置されている。
実施例装置の投受光部は図2の通りであり、上方より見
た受光センサの配置を図3に示している。図39は、こ
の実施例において合計24個のセンサが用いられ、それ
ぞれ個々のセンサの出力にa、b、…、xなるIDフラ
グが付されている場合である。今方位角0度−180度
の軸に沿ったセンサ配置は図4のような配置となり(こ
こでは方位角180度方向の傾斜角には負の符号を付け
ている)。投光ユニット1から発せられたレーザビーム
が対象にあたって反射した反射光が方位角0度−180
度軸上に反射して来た場合には、この軸上に並べられた
センサ3a、3b、3c、3o、3m、3nのいずれか
のセンサが強く受光する。即ち対象に球体モデルを用い
てレーザビームを照射し、方位角0度−180度軸に沿
って走査するとビームがあたった表面画素から入射角に
等しい反射角で反射光が反射され、3aセンサから順に
反射傾斜角が移動し、3aから3nまでの各センサに入
射し、それらの出力が図5の太線カーブのように得られ
る。この表面面素に対応する画素が座標(Xi、Yi)
の画素Eiである。これらのセンサを取り付けた位置は
対象に対する立体角方向ベクトルが決まっているので、
どのセンサの出力が大であるかを見れば、逆にレーザビ
ームがあたった画素Eiに対応する表面面素の法線ベク
トルが逆算により判ることになる。例えば、センサ3a
の出力が最大であれば、その時の法線ベクトルは、方位
角=0度、傾斜角=20度であることが判ることになる
(入射角=反射角)。ここにおいて、どのセンサの方向
に反射光が反射しているかを判定するのに最も簡単な方
法は、例えば図5のTh1を出力レベルのしきい値とし
て用いることである。この方法では、しかし、以下に述
べる不都合が生じる。その不都合には、二種類がある。
即ち (1)検出できる反射傾斜角数が限定されているので、
本発明の主目的である対象表面形状の連続的な計測には
不十分であること。図5の実施例では、方位角0度−1
80度軸上で検出される法線ベクトルは傾斜角で20
度、12.5度、5度、−5度、−12.5度、−20
度の6角度に過ぎない。 (2)図5の太線カーブで描かれる出力関係が必ず得ら
れるとは限らないこと。この関係は、対象表面の反射特
性に依存しており、表面の正反射性が低い対象の場合に
は、図5の細線カーブのようなパターンのセンサ出力が
得られる。このような場合に、しきい値Th1を用いて
いると、隣のセンサ出力との区別ができない。また、も
し鏡面反射性の高い表面にとって弁別性の良いTh2の
しきい値を用いていると、正反射性の低い表面では、全
く検出不能に陥ってしまうのである。
【0012】このような不都合を排除するために、本実
施例は次に述べる方法を採用している。その骨子には2
項目がある。即ち (I)対象表面の正反射性の度合に応じたルックアップ
テーブルを用意し、対象の正反射指標を計測毎に算出し
て適用すべきルックアップテーブルを選択する。 (II)センサ出力をしきい値によっ量子化することをせ
ず、隣合うセンサの出力比率と反射角との間でルックア
ップテーブルを作成する。
【0013】以下、上述の2項目(I)及び(II)につ
いて、詳細に説明する。物体の表面に光ビームがあたっ
た場合の反射光強度分布を測定した実験結果を図6に示
す。この現象は前述のように正反射成分と拡散反射成分
の混在によって発生したものである。即ちピークの中心
近辺は、正反射光成分からなり、中心から周辺部へ向か
う部分が拡散反射光成分からなる。この反射光強度の角
度分布パターンは表面の反射特性によって変化する。正
反射性の高い表面からの反射光分布は中心軸を0度とす
るパターン(i)のようになる。表面の粗面性が増大す
るにつれて反射のパターンは(ii)から(iii) のように変
化していく。つまり、ピーク高さが低下する一方で、裾
野のレベルが上昇してくる。このパターン特徴を表す指
標としては図7に示すようにピーク高さpやピーク高さ
pの1/2レベルにおける波幅wやそれらの比率Rs=
p/wを使用することができる。光ビームを真上から投
光し、反射角をセンシングする図2の方式においては使
用できる指標はpであるから、正反射性の異なる数種
類、一例として5種類の球体モデルの測定により図5と
同様な反射角対センサ出力の対応グラフを作成してお
き、これをルックアップテーブルとして使用すれば、大
方の対象表面に対応できる。更に細かい対応関係が必要
である場合には、使用する表面球体モデルの種類数を増
してモデル計測を行い、ルックアップテーブルを増やせ
ば良い。センサ出力から表面の反射立体角(=法線ベク
トルx2)を照合するステップを図8のフローチャート
に示す。図5のグラフは方位角0度−180度のもので
あるが、その他の方位角についても全く同様の関係であ
ること勿論である。
【0014】なお、受光センサのラベル付けを図40の
ように傾斜角のみの弁別式にすれば、対象表面の傾斜角
計測専用システムとして機能させることができる。ま
た、逆に図41のように方位角のみの弁別式にすれば、
対象表面の方位角計測専用システムとして機能させるこ
とができる。これらの場合には、図8のフローチャート
の立体角が傾斜角あるいは方位角のいずれかのみ有意と
なり有意でない分のプロセスが不要になることは勿論で
ある。
【0015】次に、本実施例検査装置の動作順序を図1
4のフローチャート示す。まず、オペレータが図1の検
査対象5をX−Yステージ4にセットする(ST1)と
検査シーケンスに従って制御ユニット8が制御信号によ
りX−Yステージ4を移動して、検査対象5の検査領域
を検査位置にもたらす(ST2)。そこで、投光ユニッ
ト1が検査対象5に対して真上よりレーザビームを投光
する(ST3)。レーザビームは検査領域表面をスポッ
ト状に照射する。2は受光ユニットであり、複数個の受
光センサ3からなる(図1では受光ユニット2の横断面
には3個のセンサ、3a、3b、3cが見えている)。
検査領域にあたったレーザビームは、その箇所の表面立
体角(即ち表面法線ベクトル)に応じて正反射成分を反
射し、受光ユニット2のいずれかの受光センサ3(単数
または複数)が受光する(ST3)。受光センサ3はこ
れを電気信号に変換して、計測演算ユニット6へ出力す
る(ST3)。計測演算ユニット6は「作用」の項で述
べたように、予めメモリ9にメモリしているルックアッ
プテーブルを参照して、表面面素の法線ベクトルを計測
演算する(ST4)。投光ユニット1はレーザビームス
キャナ(図示せず)により、レーザビームを検査領域に
二次元走査投光し、計測演算ユニット6は検査領域の全
表面面素について同様に法線ベクトルを算出する。計測
演算ユニット6は、予めメモリ9にメモリしている表面
法線ベクトル対表示コード対応関係(後述する)に従っ
て画素毎の表示コード信号に変換して(ST5)、表示
ユニット12に入力する。表示ユニット12は表示コー
ド信号を用いて検査領域の表示コード化画像をスクリー
ン上に表示する(ST6)。オペレータはこの表示コー
ド化画像を観測することによって画像検査を行い、良否
判定を下し(ST7)、判定結果を入力ユニット10に
入力する(ST8)。結果の入力が終わるとST9がN
Oとなり、検査シーケンスに従って制御ユニット8が制
御信号により再びX−Yステージ4を移動して、検査対
象5を次の検査位置にもたらし、以上述べた動作が反復
される。このようにして全ての検査位置の検査を完了し
たらST9がYESとなり、検査対象5がX−Yステー
ジ4から排出される(ST10)。ここで図1の7はC
PU、13はバスであり、計測演算ユニット6と共に、
演算制御システム14を構成している。
【0016】以上の動作は図14のフローチャートのル
ート(A)に示されたフローである。本システムはこの
他にルート(B)を用意しており、受光ユニット2の出
力電気信号を直接表示ユニット12に入力し、各画素が
表示コードによってペイントされた画像を表示ユニット
12のスクリーン上に表示する(ST6)こともできる
ようになっている。ルート(B)の選択は、演算処理時
間の節約が本来の目的であるが、この場合、表示される
コードはオペレータのニーズによって表示ユニット12
が内蔵するカラー調節機能あるいは輝度調節機能(図示
せず)の調整による擬似カラーまたは明度もしくは立体
可視画像として受光ユニット2の出力信号に対応して表
示される。即ち、オペレータはルート(A)によって定
められた表示コードをそのまま用いることもできるし、
また自分がより見易いと感じるカラーや明度に設定する
こともできる。ルート(A)とルート(B)の選択はオ
ペレータのスイッチング操作によって可能である。この
ようにルート(B)は計測演算ユニット6を介する演算
処理時間を省略し、オペレータにとって好適な条件にお
ける作業をならしめている。しかし、ここで重要なこと
はルート(B)を機能させている場合でも、ルート
(A)による表面法線ベクトルの計測演算は常に継続し
て行われていることであって、ルート(A)によって計
測された三次元形状情報は、メモリ9に貯蔵され、必要
により表示ユニット12に表示することも、また出力ユ
ニット11から通信手段あるいはフロッピデイスクによ
って、吸い上げることもできるので形状品質データとし
て利用することができるのである。
【0017】以上述べた各ステップについて詳細に説明
する。投光ユニット1はレーザ光源とレーザビームスキ
ャナからなり、レーザビームの偏向により検査領域の光
走査を行う。レーザビームスキャナはガルバノメータ方
式またはポリゴンミラー方式等のいずれの方式でも利用
可能である。受光ユニット2は複数個の受光センサ3が
検査領域から見て異なる立体角ベクトル方向に半球状に
配置されている。検査領域に入射したレーザビームは、
その箇所の表面立体角に応じた正反射角を主体とする強
度分布をもった反射光となって反射し、受光ユニット2
のいずれかの受光センサ3(単数または複数)が受光す
る。レーザビームが対象表面から正反射光と拡散反射光
となって反射する様子は図5において説明した通りであ
る。即ち強い正反射光と比較的弱い拡散反射光の一部が
受光センサ3に入射する。この時、レーザビームの対象
への入射角はビームスキャンの角度が非常に小さいため
に一定の角度であるとして差支えが無く、正反射の方向
は一義的に対象の表面面素立体角に対応する。従って、
正反射光はレーザビームが当たった部分の対象表面の立
体角に応じた方向へ反射し、その方向に配置されている
受光センサ3の中のいずれかセンサが受光する。この
時、反射光を受光するセンサの個数はレーザビームのス
ポット径や対象表面の反射特性に依存して複数個であっ
たり単数であったりするが、受光センサ3の検出感度を
適切な水準に設定することによって、どのセンサが正反
射光を検出したかが判る。計測演算ユニット6は受光セ
ンサ3の出力を受けると受光ユニット2のどの受光セン
サ3から電気信号が出力されたかが判るので、つまり受
光センサ3には全てIDが付けられているので、「作
用」の項で述べたように正反射指標を計測することによ
って、最適のルックアップテーブルを選択し、これに従
って表面面素の法線ベクトルを算出することができる。
【0018】次に、検査対象の良否判定を自動的に行う
ステップを含む第2実施例について説明する。実施例の
動作は図15のフローチャートに示した通りである。第
2実施例の製品の検査装置のハード構成は図1と同様で
あるので、以下図1を参照しつつ、図15のフローチャ
ートに沿って動作を詳述する。まず、搬入装置(図示せ
ず)により、検査対象5がX−Yステージ4に搬入され
ると(ST1)、検査シーケンスに従って制御ユニット
8が制御信号によりX−Yステージ4を移動して検査対
象5の検査領域を検査位置にもたらす(ST2)。そこ
で、投光ユニット1が検査対象5に対して真上よりレー
ザビームを投光する(ST3)。レーザビームは検査領
域表面をスポット状に照射する。2は受光ユニットであ
り、複数個の受光センサ3からなる。検査領域に入射し
たレーザビームは、その箇所の表面立体角(即ち表面法
線ベクトル)に応じて反射し、受光ユニット2のいずれ
かの受光センサ3(単数または複数)が受光する(ST
3)。受光センサ3は入射光を電気信号に変換して計測
演算ユニット6へ出力する(ST3)。計測演算ユニッ
ト6はこの電気信号をルート(A)を介して表面法線ベ
クトル値とし(ST4)、ルート(C)を経由して予め
プログラム化して保有している良否判定アルゴリズムに
供給し、検査領域の自動良否判定を行う(ST11)。
その判定結果が不良または保留でない時はST12がN
Oとなり、ST9がNOであれば次の検査位置に対象を
移動する。
【0019】しかし、判定結果が不良である時はST1
2がYESとなり、表示ユニット12のスクリーン上に
表示コード化画像を表示する(ST6)。即ち、不良判
定の時は不良であることを知らせる信号がルート(E)
を経由して、法線ベクトルを表示コード化する主フロー
に到達し、第1実施例において説明したフローと同様の
ルート(A)またはルート(B)が機能することによっ
て、コード化画像表示が実現される。そこで、オペレー
タはこの表示コード化画像を観測することによって画像
検査を行い、良否判定を下し(ST7)、判定結果を入
力ユニット10に入力する(ST8)。結果入力が終わ
ると、ST9がNOであれば検査シーケンスに従って、
制御ユニット8が制御信号により再びX−Yステージ4
を移動して検査対象5を次の検査位置にもたらし、以上
述べた動作が反復される。このようにして、全ての検査
位置の検査が完了したらST9がYESとなり、検査対
象5がX−Yステージ4から排出される(ST10)。
【0020】以上述べたように第2実施例は良否判定を
自動的に行い、不良判定領域だけを二次元化画像として
表示するので、オペレータは極く少数の目視検査を行え
ばよいことになり、大幅な省力化が実現される。このよ
うに画像検査の完全自動化を必ずしも狙わない考え方は
実際的な画像認識技術の有用性から発想せられたコンセ
プトであって、良否判定の自動検査基準を少々緩和する
ことによって、不良箇所の不検出をゼロ化し、そのため
に必然的に発生する良箇所の過検出、または判定保留を
許容し、その自動検出分のみの目視再検査(レビュウ)
を二次元化画像によって行うのである。
【0021】なお、この第2実施例において、計測演算
ユニット6は受光ユニット2の出力から直接判定アルゴ
リズムにより良否判定するルート(D)を経由しても良
い。但し、ルート(D)を経由する場合においても、ル
ート(A)による表面法線ベクトルの算出は内部動作と
して常時行っており、計測データによる画像化表示を行
うことは当然である。
【0022】次に、第3実施例について詳述する。この
例は立体角でラベル付けされた照明光で物体を多方向か
ら照明し、反射光を1方向において集中的にセンシング
する方式である。この例においても、基本原理は第1、
第2実施例と全く同様であり、単に受光センサと光源の
上述の位置関係を逆にしただけである。この例では、照
明光が例えばそれぞれ異なる色彩光であることなどによ
って、照明方向の立体角別にラベル付けされているの
で、そのラベルである色彩を検出すれば、今計測してい
る表面面素に対応する座標(Xi、Yi)の画素Ei
が、どの照明光を反射したものであるかが判る。この例
の照明、撮像ジオメトリーを図9に示す。この図におい
て15はカラーカメラ、16は照明ユニットである。図
10は照明ユニットを真上から見た各光源の配置図であ
る。図11は図9の照明、撮像ジオメトリーの断面図で
ある。これらの光源が色彩違いで表1に示すように色付
けされていると、方位角0度−180度軸における反射
傾斜角とカラーカメラ1がセンシングする各色彩の反射
光出力の関係は図12のようになる。ここで、17a、
17b、17c、17o、17m、17nは、この方位
角上に配置されたカラー光源を示している。カラー照明
を用いた場合でも、表面の正反射性と反射光強度の関係
は波長に関係なく、図6に示す通りであるので、この場
合カメラが二次元撮像装置であることを利用して、対象
表面の正反射性の指標として図7に示すようにピーク高
さpやピーク高さpの1/2レベルにおける波幅wや比
率Rs=p/wを使用することができる。この例におい
ても、数種類の正反射率を持った球体モデルの測定実験
データからルックアップテーブルを作成し、これをメモ
リしておけば図13のフローチャートに示した通りの手
順で法線ベクトルを決定することができる。
【0023】なお、光源のラベル付けを図40のように
傾斜角のみの弁別式にすれば、対象表面の傾斜角計測専
用システムとして機能させることができる。また、逆に
図41のように方位角のみの弁別式にすれば、対象表面
の方位角計測専用システムとして機能させることができ
る。これらの場合には、図13のフローチャートの立体
角が傾斜角あるいは方位角のいずれかのみ有意となり、
有意でない分のプロセスが不要になることは勿論であ
る。
【0024】図16は第3実施例である製品の検査装置
の構成を示し、その動作順序を図17のフローチャート
に示す。まず、オペレータが検査対象19をX−Yステ
ージ18にセットする(ST1)と、検査シーケンスに
従って制御ユニット22が制御信号によりX−Yステー
ジ18を移動して検査対象19の検査領域を検査位置に
もたらす(ST2)。そこで、照明装置16の光源17
が検査対象19に対して、それぞれの入射立体角をもつ
光束を投光する(ST3)。16は照明装置であり、複
数個の光源17からなる(図16では照明装置16の横
断面に3個の光源、17a、17b、17cが見えてい
る)。検査領域にあたった光束は、その箇所の表面立体
角(即ち表面法線ベクトル)に応じて正反射成分を反射
し、撮像装置15が撮像する(ST3)。光源17のそ
れぞれは異なる色彩の光束を投光するので、カラーカメ
ラである撮像装置15はカラー画像を撮像することによ
って、画素の色彩を判別すれば画像のどの画素がどの光
源の光束を反射しているかが判る。そこで、撮像装置1
5はこれを画像信号に変換して画像入力ユニット20及
び画像処理演算ユニット21へ出力する(ST3)。画
像処理演算ユニット21は「作用」の項で述べたよう
に、正反射指標を計測することによって、予めメモリ2
4にメモリしている最適のルックアップテーブルを選択
し、表面画素の法線ベクトルを画像処理演算する(ST
4)。画像処理演算ユニット21は検査領域の全表面面
素について法線ベクトルを算出する。画像処理演算ユニ
ット21は予めメモリ24にメモリしている表面法線ベ
クトル対表示コード対応関係(後述する)に従って、画
素毎の表示コード信号に変換して(ST5)表示ユニッ
ト27に入力すると、表示ユニット27は表示コード信
号を用いて検査領域の表示コード化画像をスクリーン上
に表示する(ST6)。オペレータは、この表示コード
化画像を観測することによって画像検査を行い、良否判
定を下し(ST7)、判定結果を入力ユニット25に入
力する(ST8)。結果の入力が終わると、ST9がN
Oとなり、検査シーケンスに従って制御ユニット22が
制御信号により再びX−Yステージ18を移動して、検
査対象19を次の検査位置にもたらし、以上述べた動作
が反復される。このようにして、全ての検査位置の検査
が完了したらST9がYESとなり、検査対象19がX
−Yステージ18から排出される(ST10)。ここ
で、図16の23はCPU、28はバスであり、画像処
理演算ユニット21と共に演算制御システム29を構成
している。
【0025】以上の動作は、図17のフローチャートの
ルート(A)に示されたフローである。本実施例装置は
この他にルート(B)を用意しており、撮像装置15の
出力画像信号を直接表示ユニット27に入力し、各画素
が表示コードによってペイントされた画像を表示ユニッ
ト27のスクリーン上に表示する(ST6)こともでき
るようになっている。ルート(B)の選択は、演算処理
時間の節約が本来の効果であるが、この場合表示される
コードはオペレータのニーズによって表示ユニット27
が内蔵するカラー調節機能あるいは輝度調節機能(図示
せず)の調整による擬似カラーまたは明度として撮像装
置15の出力画像信号に対応して表示される。即ちオペ
レータはルート(A)によって定められた表示コードを
そのまま用いることもできるし、また自分がより見易い
と感じるカラーや明度に設定することもできる。ルート
(A)とルート(B)の選択はオペレータのスイッチン
グ操作によって可能である。このようにルート(B)は
画像処理演算ユニット21を介する画像処理時間を省略
し、オペレータにとって好適な条件における作業を可能
ならしめている。しかし、ここで重要なことはルート
(B)を機能させている場合でも、ルート(A)による
表面法線ベクトルの画像処理演算は常に継続して行われ
ていることであって、ルート(A)によって計測された
三次元形状情報はメモリ24に貯蔵され、必要により表
示ユニット27に表示することも、また出力ユニット2
6から通信手段あるいはフロッピディスクによって吸い
上げることもできるので、形状品質データとして利用す
ることができるのである。
【0026】次に、検査対象の良否判定を自動的に行う
ステップを含む第4実施例について説明する。実施例の
動作は図18のフローチャートに示した通りである。第
4実施例の検査装置のハード構成は図16に示すものと
同様であるので、以下図16を参照しつつ、図18のフ
ローチャートに沿って動作を詳述する。まず、搬入装置
(図示せず)により、検査対象19がX−Yステージ1
8に搬入されると(ST1)、検査シーケンスに従って
制御ユニット22が制御信号により、X−Yステージ1
8を移動して、検査対象19の検査領域を検査位置にも
たらす(ST2)。そこで、照明装置16の光源17が
検査対象19に対して、それぞれの入射立体角をもつ光
束を投光する(ST3)。16は照明装置であり、複数
個の光源17からなる(図16では照明装置16の横断
面に3個の光源17a、17b、17cが見えてい
る)。検査領域に当たった光束は、その箇所の表面立体
角(即ち表面法線ベクトル)に応じて、正反射成分を反
射し、撮像装置15が撮像する(ST3)。光源17の
それぞれは異なる色彩の光束を投光するので、カラーカ
メラである撮像装置15はカラー画像を撮像することに
よって、画素の色彩を判別すれば画像のどの画素がどの
光源の光束を反射しているかがわかる。そこで、撮像装
置15はこれを画像信号に変換して、画像入力ユニット
20及び画像処理演算ユニット21へ出力する(ST
3)。画像処理演算ユニット21は、この画像信号をル
ート(A)を介して表面法線ベクトル値とし(ST
4)、ルート(C)を経由して予めプログラム化て保有
している良否判定アルゴリズムに供給し、検査領域の自
動良否判定を行う(ST11)。その判定結果が不良ま
たは保留でない時は、ST12がNOとなりST9がN
Oであれば、次の検査位置に対象を移動する。しかし、
判定結果が不良である時はST12がYESとなり、表
示ユニット27のスクリーン上に表示コード化画像を表
示する(ST6)。即ち、不良判定の時は不良であるこ
とを知らせる信号がルート(E)を経由して、法線ベク
トルを表示コード化する主フローに到達し、第3実施例
において説明したフローと同様のルート(A)またはル
ート(B)が機能することによってコード化画像表示が
実現される。そこで、オペレータはこの表示コード化画
像を観測することによって画像検査を行い、良否判定を
下し(ST7)、判定結果を入力ユニット25に入力す
る(ST8)。結果入力が終わると、ST9がNOであ
れば検査シーケンスに従って制御ユニット22が制御信
号により再びX−Yステージ18を移動して、検査対象
19を次の検査位置にもたらし、以上述べた動作が反復
される。
【0027】このようにして、全ての検査位置の検査が
完了したら、ST9がYESとなり、検査対象19がX
−Yステージ18から排出される(ST10)。以上述
べたように、第4実施例は良否判定を自動的に行い、不
良判定領域だけを二次元化画像として表示するので、オ
ペレータは極く少数の目視検査を行えばよいことにな
り、大幅な省力化が実現される。このように、画像検査
の完全自動化を必ずしも狙わない考え方は、実際的な画
像認識技術の有用性から発想されたコンセプトであっ
て、良否判定の自動検査基準を少々緩和することによっ
て、不良箇所の不検出をゼロ化し、そのために必然的に
発生する良箇所の過検出または判定保留を許容し、その
自動検出分のみの目視再検査(レビュウ)を二次元化画
像によって行うのである。
【0028】なお、この第4実施例において、画像処理
演算ユニット21は撮像装置15の出力から直接判定ア
ルゴリズムにより良否判定するルート(D)を経由して
も良い。但し、ルート(D)を経由する場合において
も、ルート(A)による表面法線ベクトルの算出は内部
動作として常時行っており、計測データによる画像化表
示を行うことは当然である。
【0029】次に、対象への入射立体角別に異なる性質
の光束を照射する、第3実施例及び第4実施例の具体例
について説明する。その第1のグループは、入射傾斜角
別に異なる性質の光束を発する方式であって、方位角に
は区別を付けないものである。この方式では対象の傾斜
角のみがセンシングされ、その表面がどの方角を向いて
いるかには無関係である。照明・撮像系の例は、図1
9、図20、図21に示す通りである。即ち、図19に
おいては、点光源の円環状配列31a、31b、31c
が対象(図示せず)に対して、異なる傾斜角を持つ光束
を投光し、対象からの反射光を撮像装置30が受光す
る。同じ原理は、図20の異なる高さに配置された円環
状光源33a、33b、33cによっても、また図21
の同心円状光源34a、34b、34cの発する光束に
よっても達成される。さて、これらの光束の区別付けに
ついては、一例として第3実施例及び第4実施例におい
て述べた色彩付けがある。即ち、図19の31a、31
b、31cの各点光源グループをそれぞれまとめて、例
えば31aが赤色、31bが黄色、31cが青色のグル
ープとすれば、撮像装置30をカラーカメラとすること
によって、対象からの反射光を識別できる。原理は、図
20及び図21においても全く同様である。なお図2
0、図21における32、34は撮像装置である。
【0030】入射傾斜角別に異なる光束は、異なる偏光
角によっても得られる。即ち、図19の31aのグルー
プに偏光角0度、31bグループに偏光角45度、31
cグループに偏光角90度の偏光フィルタを装備すれ
ば、照明は偏光光束となるので、撮像装置30を3台の
モノクロームカメラとし、それぞれ0度、45度、90
度の偏光フィルタを装備することによって、対象からの
反射光がどの偏光光源からの光束であるかが識別できる
ので、これらの画像を同一画面に合成すれば入射角識別
画像が得られる。偏光利用の原理は、図20や図21に
おいても勿論同様である。
【0031】入射傾斜角別に異なる光束は、異なるタイ
ミングにおける照明によっても得られる。即ち、図19
を例にとれば、タイミングT1において31aグループ
を短時間点灯した後、消灯し、タイミングT2において
31bグループを短時間点灯した後、消灯し、タイミン
グT3において31cグループを短時間点灯した後、消
灯し、それぞれの点灯タイミングにおいて撮像装置30
が撮像し、T1画像、T2画像、T3画像をメモリ合成
することによってタイミングで識別された画像が、異な
る入射角照明画像として得られることになる。タイミン
グ利用の原理は、図20や図21においても勿論同様で
ある。
【0032】対象への入射立体角別に異なる性質の光束
を照射する第3実施例及び第4実施例の具体例としての
第2のグループは、入射方位角別に異なる性質の光束を
発する方式であり、この場合は傾斜角に区別を付けない
ものである。この方式では、対象表面の方位角のみがセ
ンシングされ、その表面がどのような傾斜を持っている
かには無関係である。照明・撮像系の例は図22、図2
3、図24に示す通りである。即ち、図22においては
点光源の放射状配列37a、37b、37c、…、が対
象(図示せず)に対して、異なる方位角をもつ光束を投
光し、対象からの反射光を撮像装置36が受光する。同
じ原理は図23の異なる方位角に配置された直線状光源
39a、39b、39cによっても、また図24の同一
平面放射状直線光源41a、41b、41cの発する光
束によっても達成される。さて、これらの光束の区別付
けについては、一例として第3実施例及び第4実施例に
おいて述べた色彩付けがある。即ち、図22の37a、
37b、37c、…、の各点光源グループをそれぞれま
とめて、例えば37aが赤色、37bが黄色、37cが
青色、等々のグループとすれば、撮像装置36をカラー
カメラとすることによって、対象からの反射光を識別で
きる。原理は、図23及び図24においても全く同様で
ある。なお、図23、図24の38、40と撮像装置で
ある。
【0033】入射方位角別に異なる光束は、異なるタイ
ミングにおける照明によっても得られる。即ち、図22
を例にとれば、タイミングT1において37aグループ
を短時間点灯した後、消灯し、タイミングT2において
37bグループを短時間点灯した後、消灯し、タイミン
グT3において37cグループを短時間点灯した後、消
灯し、それぞれの点灯タイミングにおいて撮像装置36
が撮像し、T1画像、T2画像、T3画像を合成メモリ
することによってタイミングで識別された画像が、異な
る入射角照明画像として得られることになる。タイミン
グ利用の原理は、図23や図24においても勿論同様で
ある。
【0034】以上述べて来た図16の構成を基本とする
実施例の撮像装置15は、通常二次元撮像装置が用いら
れることが多く、その場合には対象を位置決めする装置
がX−Yテーブル18が利用される。しかし、本発明を
実施するための画像センシング装置は一次元撮像方式の
ものでも良く、例えば図16の撮像装置15を一次元C
CDとし、Y方向走査をすれば位置決め装置18はX方
向のみの移動をすることによって、メモリ24上に二次
元画像を形成することができる。このような一次元撮像
方式においても、本発明に係る二次元画像形成後の画像
処理演算等は第3実施例及び第4実施例において述べた
通りである。
【0035】次に、図1及び図16の構成により表され
る全ての実施例における表面法線ベクトルを、表示化コ
ードに対応付けする表示コード化手段について説明す
る。まず、表面法線ベクトルにカラーコードを対応させ
る方式であるが、立体角に対してそれぞれの色彩を対応
させる実施例を図42及び図43に示す。これらの例
は、方位角または傾斜角の一定の区間に対して色彩を対
応させているが、区間ではなく角度に色彩を対応させて
も良い。その場合には、当然対応のない角度が存在する
ことになる。計測や検査の目的によって区間、角度のい
ずれかを対応させても良い。この他に、立体角に対して
色彩を連続的に対応させても良い。この方法の中、可視
光領域の波長を関数λ=f(θ)によって対応させる方
法を図25に示す(λ:波長、θ:方位角)。また、図
26は関数λ=f(φ)によって、傾斜角φと波長とを
対応させる方式である。法線ベクトルと色彩を連続的に
対応させる方法には、他に彩度や色度を用いる方法もあ
る。また、色彩の要素の一つである明度だけを用いれ
ば、表示化コードは必然的にグレーコードとなり、表示
はモノクロームとなる。表面法線ベクトルとカラーコー
ドの対応関係はカラースケールとして表示画面に併せて
表示すれば、オペレータが表示コード化画像を観測する
際に有用である。
【0036】次に、図1及び図16の構成により表され
る全ての実施例における表示手段への表示コード化信号
の伝送について説明する。両図の表示ユニット11また
は27は、前述の表示コード化手段により対応付けられ
た表示化コードで対象の二次元化画像の画素をペイント
する機能を有するものであるが、本発明が提案する計測
法により計測された表面法線ベクトル値に、上記した対
応方法によって対応された表示化コードでペイントされ
た二次元化多値画像を表示するばかりでなく、オペレー
タがスイッチング操作をすることによって、表示ユニッ
ト11または27の表示機能が独立となり、オペレータ
は計測値とは独立的に自分が観測し易いと感じる表示化
コード、例えば擬似カラーに恣意的に着色して表示する
こともできる。この場合、本来の計測値はメモリに保存
され、オペレータは表示ユニット11または27のカラ
ー調節機能または輝度調節機能を利用して目的を達成す
る。この切り換え機能は、本発明による画像検査をオペ
レータが効率良く、または疲労が蓄積することなく実行
するために重要な要素である。しかし、元来の表示化コ
ードがオペレータにとって好感されるものであれば、こ
の恣意的表示機能を利用する必要がないこと勿論であ
る。表面法線ベクトルとカラーコードの、このような恣
意的対応関係はカラースケールとして表示画面に併せて
表示すれば、オペレータが表示コード化画像を観測する
際に有用である。
【0037】この恣意的着色表示は、三次元物体画像の
立体可視化レンダリング技術であって、本発明において
得られた三次元画像データを用いれば、表示コード化手
段に種々の立体可視化レンダリングプログラムを搭載す
ることによって、オペレータが検査し易い画像として欲
する二次元画像表示を実現することができる。例えば、
物体表面のハイライト部分や陰影の部分を表現するプロ
グラムや明暗による遠近感の創出プログラムを、前記表
示コード化手段に搭載すれば両眼視を必要としないで立
体感のある画像を表示することができ、画像による目視
検査に好適である。また、この立体可視化レンダリング
プログラムが画面に表示される画像が対象に固定された
座標軸において算出された画像であるようなプログラム
であることも可能であるし、また視点固定の座標軸にお
いて算出された画像であるようなプログラムであること
も可能である。後者の場合、例えば視点を移動すること
によって、当初の視点からは見えなかった対象の背面を
画像として見ることができる。
【0038】次に、図1及び図16の構成により表され
る全ての実施例において、対象を検査位置に位置決めす
るデータの教示方法について説明する。検査対象は、観
測視野の中に対象全体の画像が入ってしまう場合には、
対象を検査位置に位置決めするだけでよいが、通常、全
体の検査に幾つかの視野を必要とする対象のケースが多
い。その場合には、対象の種類毎に検査が必要とされ
る。検査位置及び/または検査ウインドゥを予め検査装
置に教示しておくことが必要になる。この教示データ
は、オペレータが図1の入力ユニット10または図16
の入力ユニット25によって、検査位置及び/または検
査ウインドゥのX、Yデータを入力して、図1のメモリ
9もしくは図16のメモリ24にメモリさせることによ
って達成される。また、検査対象の標本を用いて、X−
Yステージの操作により検査位置にもたらし、次々とそ
の位置及び/または検査ウインドゥのX、Yデータをメ
モリし行く方法もある。更に、検査対象のコンピュータ
設計データ(CADデータ)が内包している位置データ
を入力ユニットから入力することによって、検査データ
の教示をすることも可能である。教示されたデータは、
その検査対象種が検査装置にくると、メモリからその種
の検査データを呼び出し、それに従って制御ユニット
(図1の8または図16の22)がX−Yステージ(図
1の4または図16の18)へ位置決め信号を出して検
査位置に位置決めする。
【0039】次に、他の検査装置により検査された検査
対象の中、他の検査装置が不良判定もしくは判定保留し
た箇所のみを本発明に係る検査装置により、再検査する
方法について説明する。他の検査装置は自動検査装置で
あって、本発明に係る検査装置でも、または全く別途の
自動検査装置でも構わない。再検査の機能を図27のフ
ローチャートに示す。図27は、図1の光ビーム投光方
式を例示しているが、図16の撮像方式においても再検
査の流れは全く同様である。まず、他の検査装置の検査
により得られた検査結果データ入力を、図1の入力ユニ
ット10または図16の入力ユニット25においてデー
タ受信もしくはフロッピディスクのセットによって行
う。この検査結果データには、他の検査装置が不良判定
または判定保留した箇所のデータが含まれており、次の
ステップで再検対象をX−YステージにセットするとX
−Yステージは制御ユニット(図1の8または図16の
22)の指示信号により、前記の判定不良・判定保留箇
所の検査位置に位置決めする。この検査位置の表示化画
像は、ルート(A)またはルート(B)を経由して表示
されるので、オペレータがその表示画像を目視して判定
結果を入力する。この作業を再検査対象の全再検位置に
ついて行い、完了するとその対象の検査結果データが完
成する。
【0040】また、上述の製品の検査装置による画像目
視再検査を行いながら、最終的に不良と判定された箇所
を修理修正することによって半製品を完成する製造工程
について説明する。図28は、対象がプリント配線板に
電子部品をはんだ付けする製造ラインを示している。左
端のはんだ印刷機にプリント配線板が搬入されると、そ
こでスクリーン印刷によりクリームはんだが塗布され、
ベルトコンベアによりチップ装着機に搬入されチップ部
品が装着されて、次に異形部品装着機に運ばれて異形部
品が装着される。予定された全ての部品の装着が終わる
とリフロー炉に搬入され、クリームはんだが熔融されて
はんだ付けが完了する。はんだ付けプリント配線板は、
次に自動検査装置に送りこまれて電子部品の有無やはん
だ付けの良否の検査がなされる。自動検査装置は自動検
査が終わったプリント配線板をベルトコンベアにより、
本発明に係る検査装置(表面形状画像化検査装置)に送
り込むと同時に、自動検査結果データも通信線を通じて
形状画像化検査装置に送信する。そこで、オペレータは
表面形状画像化検査装置を利用して、画像目視再検査を
行うことは上述の通りであるが、この半製品プリント配
線板の不良箇所の修理修正をその場で即実行することが
できる。図31は検査装置(表面形状画像化検査装置)
が修理台15を備え、画像目視再検査がなされて不良と
判定された場合、検査対象5は修理台15へ引き出さ
れ、そこで修理対象16として修理または修正が施され
る。その場合のステップは図32のフローチャートの通
りであり、オペレータが画像目視により不良判定する度
に(ST8)、その箇所の修理修正を実施し(ST
9)、再び対象をX−Yテーブル4に戻すと、再検査対
象5は上述の通りに再検査位置に位置決めされ、次の再
検箇所が画像化表示される。このようにして、再検査と
修理修正が施されて全箇所の部品実装状態が完璧となっ
た実装プリント配線板は、製品として仕上げられたもの
であり、完成品として出荷される。検査と修理修正はこ
のように不即不離の関係にあり、不可欠のステップとし
て製造工程に組み込まれているのである。説明では、自
動検査装置と表面形状画像化検査装置とがベルトコンベ
アで連結されている例をあげたが、現場の必要性から両
検査装置が切り離された状態にあってプリント配線板が
ストッカによって、一括して後者に運ばれ、一方自動検
査結果データが通信方式またはフロッピディスクによっ
て入力ユニット10に伝達されても一向に構わない。ま
た、図31の修理台15はX−Yテーブル4が兼用され
て、その機能を果たす構成であっても良い。
【0041】次に、表面形状を計測して製品検査を行う
検査装置における目視検査を稼働しつつ、修理修正を実
施する工程について説明する。上述と同様に、電子部品
実装ラインを例にとると、図29に示すライン構成とな
る。このケースの装置構成を図31に、また操作ステッ
プを図33のフローチャートにそれぞれ示す。この場
合、オペレータは検査装置の前に座り、画像化目視検査
を行いながら不良箇所を発見する度に(ST7)、直ち
にこれを修理修正していく(ST8)。この際の修理台
の機能は前節で述べた通りである。この修理修正工程も
図32のケースと全く同様に半製品を完成する製造工程
である。
【0042】更に、検査装置(表面形状検査装置)を用
いる修理修正工程を説明する。この場合のプリント配線
板実装製造ラインを図30に示す。このケースの装置構
成も同じく図31に示す。表面形状を計測する自動検査
装置の機能については前述の通りであるが、自動判定不
良または判定保留が発生する度に画像目視検査を行うの
ではなく、図34のフローチャートに示す如く、検査対
象ロットに含まれる全検査対象の自動検査不良判定箇所
または判定保留箇所の判定データをメモリしておき、対
象ロットの自動検査終了後にこのデータに従って判定不
良・保留箇所を有する検査対象のみを、再びX−Yステ
ージにセットし、図35のフローチャートに示すステッ
プST12〜ST18に従って、再検査領域の表示コー
ド化画像をスクリーン上に表示すれば、オペレータが画
像目視判定を行って、対象ロットの全再検査を完結する
ことができる。図36のフローチャートに示す如く自動
検査終了後、再度対象プリント板を検査装置にかける
と、装置は自動的に該当プリント板の検査結果データを
再生して、不良または保留と自動判定された位置にプリ
ント板を順次位置決めしていく。位置決めされ、表示化
コードにより画像化された箇所(ST18)をオペレー
タが目視検査し、真の不良と判定した場合には(ST1
9)、修理台15において即修理修正を行い(ST2
0)、対象を再びX−Yテーブル4に戻すと、装置は次
の再検査位置に位置決めし、全再検箇所について同様の
ステップを繰り返す。この機能は、プリント板一枚毎に
行うことも、また自動検査終了後ロット単位でまとめ行
うこともできる。
【0043】
【発明の効果】以下、本発明の効果を各請求項に従って
具体的に説明する。請求項1において、三次元形状計測
のための三次元情報検出法を表面角度検出法としたこ
と、及びメモリした鏡面反射性に対応する受光手段出力
対表面角度の照合関数に対象の実測値を照合することに
より、対象が鏡面反射性を持ち、しかもその鏡面反射特
性が未知であっても、三次元形状計測が可能になった。
請求項2により、前項がモデル計測で作成されたルック
アップテーブル関数の選択利用で可能になった。請求項
3より、三次元形状計測のための表面角度検出法は、対
象からの反射光の角度を識別すれば可能となった。請求
項4により、三次元形状計測のための表面角度検出法
は、対象への照明光の入射角を識別して投光すれば可能
となった。請求項5により、請求項4の光源は入射角に
より異なるカラーの光束を投光し、受光手段はカラー撮
像装置であれば、単時的検出が可能となった。請求項6
により、請求項4の光源は入射角により異なる偏光角を
持つ光束を投光し、受光手段は偏光画像検出可能な撮像
装置であれば、単時的検出が可能となった。請求項7に
より、請求項4の光源は円環状の複数の光束を時分割的
に投光し、受光手段は投光タイミングに同期して撮像す
る撮像装置であれば、低コストのモノクロームカメラの
利用が可能となった。請求項8により、形状計測表示は
対象の複数の計測位置に対して可能になった。請求項9
により、請求項8の形状計測装置は対象の品質良否の判
定と結果の出力が可能となった。請求項10により、請
求項8の形状計測装置は表面法線ベクトル値に表示コー
ドをペイントして、対象の二次元化画像を表示すること
が可能になった。請求項11により、請求項10の検査
装置は計測毎に一々実行する表示化演算をスキップし
て、受光手段の出力に直接的に表示コードを対応させて
二次元画像を表示することが可能になった。請求項12
により、請求項10または請求項11の検査装置は対象
の品質の良否判定と結果の出力が可能になった。請求項
13により、請求項10または請求項11の表示コード
化手段は、カラーコードをペイントすることにより可能
になった。請求項14により、請求項10または請求項
11の表示コード化手段は、グレーコードをペイントす
ることにより可能となった。請求項15により、請求項
10または請求項11の表示化手段は立体的可視化の方
式に従って、対象の二次元画像をレンダリングすること
により可能となった。請求項16により、請求項10の
検査装置は、本来の表面法線ベクトル値に表示コードを
対応付けする対応関係とは別に、スイッチング操作によ
りオペレータに好ましい任意のカラーにペイントして画
像表示することが可能になった。請求項17により、請
求項9または請求項12の検査装置は、まず自動検査を
行い、その後自動検査で不良と判定された箇所を選択的
に二次元画像表示して、目視再検査することが可能にな
った。請求項18により、請求項10または請求項11
の検査装置は、表面法線ベクトル値と表示コードの対応
関係をカラースケールとして画面に表示することが可能
になった。請求項19により、請求項16の検査装置は
オペレータの選択した任意のペイントカラーのカラース
ケールを画面に表示することが可能になった。請求項2
0により、請求項10または請求項11の検査装置は他
の検査装置で検査された検体の不良判定箇所の二次元化
画像を表示して、目視検査をすることが可能になった。
請求項21により、請求項19の検査装置を製造ライン
に設置して、再検査で真の不良と判明した箇所を修理・
修正して完成品とする製造方法が可能になった。請求項
22により、請求項10または請求項11の検査装置を
製造ラインに設置して、目視検査で真の不良と判明した
箇所を修理・修正して完成品とする製造方法が可能にな
った。請求項23により、請求項17の検査装置を製造
ラインに設置して、再検査で真の不良と判明した箇所を
修理・修正して完成品とする製造方法が可能になった。
【0044】以上述べた様に、本発明によれば、予めモ
デル計測された入射立体角あるいは反射立体角対反射光
強度分布関数群の中から、計測対象表面の鏡面反射特性
に応じて最適な関数を選択して、これに照合することに
より、物体の表面形状を迅速、且つ低コストで三次元計
測することが可能になり、三次元形状の高速自動検査や
画像表示検査が実現できる。これにより、更に半製品の
検査を行いながら、即不良箇所の修理修正を行うことが
できるようになったので、検査・修理修正工程を製造工
程の中に組込んで完成品を仕上げる一貫製造方法のシス
テム化による高信頼性化、省人化、低コスト化の効果が
ある。
【図面の簡単な説明】
【図1】この発明の一実施例製品の検査装置を示す図で
ある。
【図2】同実施例検査装置の投光ユニット及び受光ユニ
ットの斜視図である。
【図3】同受光ユニットの平面図である。
【図4】同投光ユニット及び受光ユニットの断面図であ
る。
【図5】受光角度(傾斜角)とセンサ出力との関係を示
す図である。
【図6】正反射性、拡散反射性の度合による検出特性の
相違を説明する図である。
【図7】反射光の検出特性におけるピークと半値幅を説
明する図である。
【図8】実施例におけるセンサ出力から表面の反射立体
角を照合する動作を説明するフローチャートである。
【図9】図16の実施例検査装置の特性ユニット、受光
ユニットの斜視図である。
【図10】同受光ユニットの平面図である。
【図11】同投光ユニット、受光ユニットの断面図であ
る。
【図12】同実施例検査装置の入射角度(傾斜角)と反
射光強度の関係を示す図である。
【図13】法線ベクトル決定の動作を説明するためのフ
ローチャートである。
【図14】図1の示す実施例検査装置の動作を説明する
ためのフローチャートである。
【図15】この発明の他の実施例装置の動作を説明する
ためのフローチャートである。
【図16】この発明のさらに他の実施例検査装置を示す
図である。
【図17】同実施例検査装置の動作を説明するためのフ
ローチャートである。
【図18】この発明のさらに他の実施例検査装置の動作
を説明するためのフローチャートである。
【図19】図16の実施例検査装置に使用される投受光
ユニットの一例を示す斜視図である。
【図20】図16の実施例検査装置に使用される投受光
ユニットの他の例を示す斜視図である。
【図21】図16の実施例検査装置の投受光ユニットの
さらに他の例を示す斜視図である。
【図22】図16の実施例検査装置の投受光ユニットの
さらに他の例を示す斜視図である。
【図23】図16の実施例検査装置の投受光ユニットの
さらに他の例を示す斜視図である。
【図24】図16の実施例検査装置の投受光ユニットの
さらに他の例を示す斜視図である。
【図25】図1、図16の実施例検査装置における表示
コード化の他の例を説明するための方位角−波長関係図
である。
【図26】図1、図16の実施例検査装置における表示
コード化の他の例を説明するための傾斜角−波長関係図
である。
【図27】この発明の他の実施例の動作を説明するため
のフローチャートである。
【図28】プリント配線板に電子部品をはんだ付けする
工程での処理方法を説明する図である。
【図29】プリント配線板に電子部品をはんだ付けする
工程での他の処理方法を説明する図である。
【図30】プリント配線板に電子部品をはんだ付けする
工程での他の処理方法を説明する図である。
【図31】この発明の他の実施例検査装置を示す図であ
る。
【図32】同実施例検査装置の動作を説明するためのフ
ローチャートである。
【図33】この発明のさらに他の実施例検査装置の動作
を説明するためのフローチャートである。
【図34】この発明のさらに他の実施例検査装置の動作
を説明するためのフローチャートである。
【図35】図34とともに、同実施例検査装置の動作を
説明するためのフローチャートである。
【図36】図34とともに、さらに他の実施例検査装置
の動作を説明するためのフローチャートである。
【図37】計測対象に光を投射したときの反射特性を説
明する図である。
【図38】表面角度の検出方法を説明するための図であ
る。
【図39】方位角と傾斜角で特定される受光センサまた
は光源の位置を示す例図である。
【図40】傾斜角で特定される受光センサまたは光源の
位置を示す他の例図である。
【図41】方位角で特定される受光センサまたは光源の
位置を示す他の例図である。
【図42】図1、図16に示す実施例検査装置における
表示コード化の一例を示す図である。
【図43】図1、図16に示す実施例検査装置における
表示コード化の他の例を示す図である。
【符号の説明】
1 投光素子 3a、3b、3c 受光素子 5 計測対象物 6 計測演算ユニット 7 CPU 9 メモリ
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成7年5月9日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0011
【補正方法】変更
【補正内容】
【0011】
【実施例】以下、実施例によりこの発明をさらに詳細に
説明する。図1は、本発明の一実施例を示し、本発明の
形状計測装置を製品の検査装置に適用した場合の装置構
成図である。この実施例形状計測装置は、製品の検査装
置として使用される。図1に示された受光ユニット2の
受光センサ3が計測対象から見て傾斜角方向に3角度即
ち10度、25度、40度に取り付けられ、それらが方
位角では45度間隔に8角度の方向に配置されている。
実施例装置の投受光部は図2の通りであり、上方より見
た受光センサの配置を図3に示している。図39は、こ
の実施例において合計24個のセンサが用いられ、それ
ぞれ個々のセンサの出力にa、b、…、xなるIDフラ
グが付されている場合である。今方位角0度−180度
の軸に沿ったセンサ配置は図4のような配置となり(こ
こでは方位角180度方向の傾斜角には負の符号を付け
ている)投光ユニット1から発せられたレーザビーム
が対象にあたって反射した反射光が方位角0度−180
度軸上に反射して来た場合には、この軸上に並べられた
センサ3a、3b、3c、3o、3m、3nのいずれか
のセンサが強く受光する。即ち対象に球体モデルを用い
てレーザビームを照射し、方位角0度−180度軸に沿
って走査するとビームがあたった表面画素から入射角に
等しい反射角で反射光が反射され、3aセンサから順に
反射傾斜角が移動し、3aから3nまでの各センサに入
射し、それらの出力が図5の太線カーブのように得られ
る。この表面面素に対応する画素が座標(Xi、Yi)
の画素Eiである。これらのセンサを取り付けた位置は
対象に対する立体角方向ベクトルが決まっているので、
どのセンサの出力が大であるかを見れば、逆にレーザビ
ームがあたった画素Eiに対応する表面面素の法線ベク
トルが逆算により判ることになる。例えば、センサ3a
の出力が最大であれば、その時の法線ベクトルは、方位
角=0度、傾斜角=20度であることが判ることになる
(入射角=反射角)。ここにおいて、どのセンサの方向
に反射光が反射しているかを判定するのに最も簡単な方
法は、例えば図5のTh1を出力レベルのしきい値とし
て用いることである。この方法では、しかし、以下に述
べる不都合が生じる。その不都合には、二種類がある。
即ち (1)検出できる反射傾斜角数が限定されているので、
本発明の主目的である対象表面形状の連続的な計測には
不十分であること。図5の実施例では、方位角0度−1
80度軸上で検出される法線ベクトルは傾斜角で20
度、12.5度、5度、−5度、−12.5度、−20
度の6角度に過ぎない。 (2)図5の太線カーブで描かれる出力関係が必ず得ら
れるとは限らないこと。この関係は、対象表面の反射特
性に依存しており、表面の正反射性が低い対象の場合に
は、図5の細線カーブのようなパターンのセンサ出力が
得られる。このような場合に、しきい値Th1を用いて
いると、隣のセンサ出力との区別ができない。また、も
し鏡面反射性の高い表面にとって弁別性の良いTh2の
しきい値を用いていると、正反射性の低い表面では、全
く検出不能に陥ってしまうのである。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0013
【補正方法】変更
【補正内容】
【0013】以下、上述の2項目(I)及び(II)につ
いて、詳細に説明する。物体の表面に光ビームがあたっ
た場合の反射光強度分布を測定した実験結果を図6に示
す。この現象は前述のように正反射成分と拡散反射成分
の混在によって発生したものである。即ちピークの中心
近辺は、正反射光成分からなり、中心から周辺部へ向か
う部分が拡散反射光成分からなる。この反射光強度の角
度分布パターンは表面の反射特性によって変化する。正
反射性の高い表面からの反射光分布は中心軸を0度とす
と、パターン(i)のようになる。表面の粗面性が増
大するにつれて反射のパターンは(ii)から(iii) のよう
に変化していく。つまり、ピーク高さが低下する一方
で、裾野のレベルが上昇してくる。このパターン特徴を
表す指標としては図7に示すようにピーク高さpやピー
ク高さpの1/2レベルにおける波幅wやそれらの比率
Rs=p/wを使用することができる。光ビームを真上
から投光し、反射角をセンシングする図2の方式におい
ては使用できる指標はpであるから、正反射性の異なる
数種類、一例として5種類の球体モデルの測定により図
5と同様な反射角対センサ出力の対応グラフを作成して
おき、これをルックアップテーブルとして使用すれば、
大方の対象表面に対応できる。更に細かい対応関係が必
要である場合には、使用する表面球体モデルの種類数を
増してモデル計測を行い、ルックアップテーブルを増や
せば良い。センサ出力から表面の反射立体角(=法線ベ
クトルx2)を照合するステップを図8のフローチャー
トに示す。図5のグラフは方位角0度−180度のもの
であるが、その他の方位角についても全く同様の関係で
あること勿論である。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0022
【補正方法】変更
【補正内容】
【0022】次に、第3実施例について詳述する。この
例は立体角でラベル付けされた照明光で物体を多方向か
ら照明し、反射光を1方向において集中的にセンシング
する方式である。この例においても、基本原理は第1、
第2実施例と全く同様であり、単に受光センサと光源の
上述の位置関係を逆にしただけである。この例では、照
明光が例えばそれぞれ異なる色彩光であることなどによ
って、照明方向の立体角別にラベル付けされているの
で、そのラベルである色彩を検出すれば、今計測してい
る表面面素に対応する座標(Xi、Yi)の画素Ei
が、どの照明光を反射したものであるかが判る。この例
の照明、撮像ジオメトリーを図9に示す。この図におい
て15はカラーカメラ、16は照明ユニットである。図
10は照明ユニットを真上から見た各光源の配置図であ
る。図11は図9の照明、撮像ジオメトリーの断面図で
ある。これらの光源が色彩違いで図39に示すように色
付けされていると、方位角0度−180度軸における反
射傾斜角とカラーカメラ1がセンシングする各色彩の
反射光出力の関係は図12のようになる。ここで、17
a、17b、17c、17o、17m、17nは、この
方位角上に配置されたカラー光源を示している。カラー
照明を用いた場合でも、表面の正反射性と反射光強度の
関係は波長に関係なく、図6に示す通りであるので、こ
の場合カメラが二次元撮像装置であることを利用して、
対象表面の正反射性の指標として図7に示すようにピー
ク高さpやピーク高さpの1/2レベルにおける波幅w
や比率Rs=p/wを使用することができる。この例に
おいても、数種類の正反射率を持った球体モデルの測定
実験データからルックアップテーブルを作成し、これを
メモリしておけば図13のフローチャートに示した通り
の手順で法線ベクトルを決定することができる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0032
【補正方法】変更
【補正内容】
【0032】対象への入射立体角別に異なる性質の光束
を照射する第3実施例及び第4実施例の具体例としての
第2のグループは、入射方位角別に異なる性質の光束を
発する方式であり、この場合は傾斜角に区別を付けない
ものである。この方式では、対象表面の方位角のみがセ
ンシングされ、その表面がどのような傾斜を持っている
かには無関係である。照明・撮像系の例は図22、図2
3、図24に示す通りである。即ち、図22においては
点光源の放射状配列37a、37b、37c、…、が対
象(図示せず)に対して、異なる方位角をもつ光束を投
光し、対象からの反射光を撮像装置36が受光する。同
じ原理は図23の異なる方位角に配置された直線状光源
39a、39b、39cによっても、また図24の同一
平面放射状直線光源41a、41b、41cの発する光
束によっても達成される。さて、これらの光束の区別付
けについては、一例として第3実施例及び第4実施例に
おいて述べた色彩付けがある。即ち、図22の37a、
37b、37c、…、の各点光源グループをそれぞれま
とめて、例えば37aが赤色、37bが黄色、37cが
青色、等々のグループとすれば、撮像装置36をカラー
カメラとすることによって、対象からの反射光を識別で
きる。原理は、図23及び図24においても全く同様で
ある。なお、図23、図24の38、40撮像装置で
ある。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0033
【補正方法】変更
【補正内容】
【0033】入射方位角別に異なる光束は、異なるタイ
ミングにおける照明によっても得られる。即ち、図22
を例にとれば、タイミングT1において37aグループ
を短時間点灯した後、消灯し、タイミングT2において
37bグループを短時間点灯した後、消灯し、タイミン
グT3において37cグループを短時間点灯した後、消
灯し、それぞれの点灯タイミングにおいて撮像装置36
が撮像し、T1画像、T2画像、T3画像をメモリ合成
することによってタイミングで識別された画像が、異な
る入射角照明画像として得られることになる。タイミン
グ利用の原理は、図23や図24においても勿論同様で
ある。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0034
【補正方法】変更
【補正内容】
【0034】以上述べて来た図16の構成を基本とする
実施例の撮像装置15は、通常二次元撮像装置が用いら
れることが多く、その場合には対象を位置決めする装
−Yテーブル18が利用される。しかし、本発明を実
施するための画像センシング装置は一次元撮像方式のも
のでも良く、例えば図16の撮像装置15を一次元CC
Dとし、Y方向走査をすれば位置決め装置18はX方向
のみの移動をすることによって、メモリ24上に二次元
画像を形成することができる。このような一次元撮像方
式においても、本発明に係る二次元画像形成後の画像処
理演算等は第3実施例及び第4実施例において述べた通
りである。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0036
【補正方法】変更
【補正内容】
【0036】次に、図1及び図16の構成により表され
る全ての実施例における表示手段への表示コード化信号
の伝送について説明する。両図の表示ユニット11また
は27は、前述の表示コード化手段により対応付けられ
た表示化コードで対象の二次元化画像の画素をペイント
する機能を有するものであるが、本発明が提案する計測
法により計測された表面法線ベクトル値に、上記した対
応方法によって対応付けされた表示化コードでペイント
された二次元化多値画像を表示するばかりでなく、オペ
レータがスイッチング操作をすることによって、表示ユ
ニット11または27の表示機能が独立となり、オペレ
ータは計測値とは独立的に自分が観測し易いと感じる表
示化コード、例えば擬似カラーに恣意的に着色して表示
することもできる。この場合、本来の計測値はメモリに
保存され、オペレータは表示ユニット11または27の
カラー調節機能または輝度調節機能を利用して目的を達
成する。この切り換え機能は、本発明による画像検査を
オペレータが効率良く、または疲労が蓄積することなく
実行するために重要な要素である。しかし、元来の表示
化コードがオペレータにとって好感されるものであれ
ば、この恣意的表示機能を利用する必要がないこと勿論
である。表面法線ベクトルとカラーコードの、このよう
な恣意的対応関係はカラースケールとして表示画面に併
せて表示すれば、オペレータが表示コード化画像を観測
する際に有用である。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0037
【補正方法】変更
【補正内容】
【0037】この恣意的着色表示は、三次元物体画像の
立体可視化レンダリング技術であって、本発明において
得られた三次元画像データを用いれば、表示コード化手
段に種々の立体可視化レンダリングプログラムを搭載す
ることによって、オペレータが検査し易い画像として欲
する二次元画像表示を実現することができる。例えば、
物体表面のハイライト部分や陰影の部分を表現するプロ
グラムや明暗による遠近感の創出プログラムを、前記表
示コード化手段に搭載すれば両眼視を必要としないで立
体感のある画像を表示することができ、画像による目視
検査に好適である。また、この立体可視化レンダリング
プログラムは、画面に表示される画像が対象に固定され
た座標軸において算出された画像であるようなプログラ
ムであることも可能であるし、また視点固定の座標軸に
おいて算出された画像であるようなプログラムであるこ
とも可能である。後者の場合、例えば視点を移動するこ
とによって、当初の視点からは見えなかった対象の背面
を画像として見ることができる。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0038
【補正方法】変更
【補正内容】
【0038】次に、図1及び図16の構成により表され
る全ての実施例において、対象を検査位置に位置決めす
るデータの教示方法について説明する。検査対象は、観
測視野の中に対象全体の画像が入ってしまう場合には、
対象を検査位置に位置決めするだけでよいが、通常、全
体の検査に幾つかの視野を必要とするケースが多い。そ
の場合には、対象毎に、検査を必要とする検査位置及び
/または検査ウインドゥを予め検査装置に教示しておく
ことが必要になる。この教示データは、オペレータが図
1の入力ユニット10または図16の入力ユニット25
によって、検査位置及び/または検査ウインドゥのX、
Yデータを入力して、図1のメモリ9もしくは図16の
メモリ24にメモリさせることによって達成される。ま
た、検査対象の標本を用いて、X−Yステージの操作に
より検査位置にもたらし、次々とその位置及び/または
検査ウインドゥのX、Yデータをメモリし行く方法もあ
る。更に、検査対象のコンピュータ設計データ(CAD
データ)が内包している位置データを入力ユニットから
入力することによって、検査データの教示をすることも
可能である。教示されたデータは、その検査対象種が検
査装置にくると、メモリからその種の検査データを呼び
出し、それに従って制御ユニット(図1の8または図1
6の22)がX−Yステージ(図1の4または図16の
18)へ位置決め信号を出して検査位置に位置決めす
る。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】図面の簡単な説明
【補正方法】変更
【補正内容】
【図面の簡単な説明】
【図1】この発明の一実施例製品の検査装置を示す図で
ある。
【図2】同実施例検査装置の投光ユニット及び受光ユニ
ットの斜視図である。
【図3】同受光ユニットの平面図である。
【図4】同投光ユニット及び受光ユニットの断面図であ
る。
【図5】受光角度(傾斜角)とセンサ出力との関係を示
す図である。
【図6】正反射性、拡散反射性の度合による検出特性の
相違を説明する図である。
【図7】反射光の検出特性におけるピークと半値幅を説
明する図である。
【図8】実施例におけるセンサ出力から表面の反射立体
角を照合する動作を説明するフローチャートである。
【図9】図16の実施例検査装置の投光ユニット、受光
ユニットの斜視図である。
【図10】同受光ユニットの平面図である。
【図11】同投光ユニット、受光ユニットの断面図であ
る。
【図12】同実施例検査装置の入射角度(傾斜角)と反
射光強度の関係を示す図である。
【図13】法線ベクトル決定の動作を説明するためのフ
ローチャートである。
【図14】図1の示す実施例検査装置の動作を説明する
ためのフローチャートである。
【図15】この発明の他の実施例装置の動作を説明する
ためのフローチャートである。
【図16】この発明のさらに他の実施例検査装置を示す
図である。
【図17】同実施例検査装置の動作を説明するためのフ
ローチャートである。
【図18】この発明のさらに他の実施例検査装置の動作
を説明するためのフローチャートである。
【図19】図16の実施例検査装置に使用される投受光
ユニットの一例を示す斜視図である。
【図20】図16の実施例検査装置に使用される投受光
ユニットの他の例を示す斜視図である。
【図21】図16の実施例検査装置の投受光ユニットの
さらに他の例を示す斜視図である。
【図22】図16の実施例検査装置の投受光ユニットの
さらに他の例を示す斜視図である。
【図23】図16の実施例検査装置の投受光ユニットの
さらに他の例を示す斜視図である。
【図24】図16の実施例検査装置の投受光ユニットの
さらに他の例を示す斜視図である。
【図25】図1、図16の実施例検査装置における表示
コード化の一例を説明するための方位角−波長関係図で
ある。
【図26】図1、図16の実施例検査装置における表示
コード化の他の例を説明するための傾斜角−波長関係図
である。
【図27】この発明の他の実施例の動作を説明するため
のフローチャートである。
【図28】プリント配線板に電子部品をはんだ付けする
工程での処理方法を説明する図である。
【図29】プリント配線板に電子部品をはんだ付けする
工程での他の処理方法を説明する図である。
【図30】プリント配線板に電子部品をはんだ付けする
工程での他の処理方法を説明する図である。
【図31】この発明の他の実施例検査装置を示す図であ
る。
【図32】同実施例検査装置の動作を説明するためのフ
ローチャートである。
【図33】この発明のさらに他の実施例検査装置の動作
を説明するためのフローチャートである。
【図34】この発明のさらに他の実施例検査装置の動作
を説明するためのフローチャートである。
【図35】図34とともに、同実施例検査装置の動作を
説明するためのフローチャートである。
【図36】図34とともに、さらに他の実施例検査装置
の動作を説明するためのフローチャートである。
【図37】計測対象に光を投射したときの反射特性を説
明する図である。
【図38】表面角度の検出方法を説明するための図であ
る。
【図39】方位角と傾斜角で特定される受光センサまた
は光源の位置を示す例図である。
【図40】傾斜角で特定される受光センサまたは光源の
位置を示す他の例図である。
【図41】方位角で特定される受光センサまたは光源の
位置を示す他の例図である。
【図42】図1、図16に示す実施例検査装置における
表示コード化の他の例を示す図である。
【図43】図1、図16に示す実施例検査装置における
表示コード化の他の例を示す図である。
【符号の説明】 1 投光素子 3a、3b、3c 受光素子 5 計測対象物 6 計測演算ユニット 7 CPU 9 メモリ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G06F 15/64 M

Claims (23)

    【特許請求の範囲】
  1. 【請求項1】計測対象に投光する投光手段と、計測対象
    からの反射光を検出し、前記投光手段とともに三次元形
    状計測のための表面角度検出手段を形成する受光手段
    と、鏡面反射性の程度に対応する表面反射指標に応じた
    前記受光手段出力値対表面角度関数群を予め記憶するメ
    モリ手段と、前記受光手段の実測出力「曲線」または
    「波形」から計測対象の表面反射指標を算出する演算手
    段と、その算出値から前記関数群の中の1関数を選択す
    る選択手段と、選択された前記関数に照合して計測対象
    の表面角度を算出する演算手段とを備え、計測対象の表
    面形状を計測する形状計測装置。
  2. 【請求項2】前記関数群はモデル計測により得られた種
    々の表面反射指標の各々に対応する表面角度対前記受光
    手段出力値関数群であって、前記選択手段が前記算出値
    に最も近い表面反射指標のモデル関数を選択し、前記演
    算手段が前記選択関数をルックアップテーブルとして照
    合することにより、計測対象の表面角度を算出すること
    を特徴とする請求項1記載の形状計測装置。
  3. 【請求項3】前記投光手段及び前記受光手段が、計測対
    象からの反射光の受光立体角を識別して検出しうる幾何
    光学的構成に配置されたことを特徴とする請求項1又は
    請求項2記載の形状計測装置。
  4. 【請求項4】前記投光手段及び前記受光手段が、計測対
    象への照明光の入射立体角を識別して投光しうる幾何光
    学的構成に配置されたことを特徴とする請求項1又は請
    求項2記載の形状計測装置。
  5. 【請求項5】前記投光手段及び前記受光手段が、光源か
    ら発せられる光束は複数であって、それらの光束が対象
    に対して異なる入射立体角をもって対象を照明すること
    ができ、かつそれらの光束が異なる色彩をもつ光である
    光源と、カラー撮像装置とが三次元形状計測的に配置さ
    れていることを特徴とする請求項1、請求項2又は請求
    項4記載の形状計測装置。
  6. 【請求項6】前記投光手段及び前記受光手段が、複数の
    異なる偏光角をもつ偏光光束が、それぞれ固有の入射立
    体角をもって対象を照明する光源と、偏光画像検出可能
    撮像装置とが三次元形状計測的に配置されていることを
    特徴とする請求項1、請求項2又は請求項4記載の形状
    計測装置。
  7. 【請求項7】前記投光手段及び前記受光手段が、複数の
    円環状光束が同心円形状をなし、それぞれ固有の入射傾
    斜角をもって相互に異なるタイミングで一過性に対象を
    照明したのち消灯する光源と、それぞれの点灯タイミン
    グにおける同期的撮像が可能な撮像装置とが三次元形状
    計測的に配置されていることを特徴とする請求項1、請
    求項2又は請求項4記載の形状計測装置。
  8. 【請求項8】計測対象に投光する投光手段と、計測対象
    からの反射光を検出して電気信号に変換して出力し、前
    記投光手段とともに三次元形状計測手段を形成する受光
    手段と、表面反射特性を予め記憶するメモリ手段と、前
    記受光手段の出力から、前記メモリ手段に記憶する表面
    反射特性に従って成立する受光手段の出力信号と表面法
    線ベクトルの間の対応関係に基づいた演算処理によって
    対象の表面法線ベクトルを演算する演算手段と、計測対
    象を位置決めする位置決め手段と、前記位置決め手段を
    制御する位置決め制御手段とを備え、対象の複数の計測
    位置に対する計測を可能にしたことを特徴とする形状計
    測装置。
  9. 【請求項9】計測対象に投光する投光手段と、計測対象
    からの反射光を検出して電気信号に変換して出力し、前
    記投光手段とともに三次元形状計測手段を形成する受光
    手段と、表面反射特性を予め記憶するメモリ手段と、前
    記受光手段の出力から、前記メモリ手段に記憶する表面
    反射特性に従って成立する受光手段の出力信号と表面法
    線ベクトルの間の対応関係に基づいた演算処理によって
    対象の表面法線ベクトルを演算する演算手段と、計測対
    象を位置決めする位置決め手段と、前記位置決め手段を
    制御する位置決め制御手段と、前記演算手段が演算した
    対象表面計測データを用いて対象の品質良否を判定する
    判定手段と、この判定結果を出力する出力手段とを備え
    たことを特徴とする検査装置。
  10. 【請求項10】計測対象に投光する投光手段と、計測対
    象からの反射光を検出して電気信号に変換して出力し、
    前記投光手段とともに三次元形状計測手段を形成する受
    光手段と、表面反射特性を予め記憶するメモリ手段と、
    前記受光手段の出力から、前記メモリ手段に記憶する表
    面反射特性に従って成立する受光手段の出力信号と表面
    法線ベクトルの間の対応関係に基づいた演算処理によっ
    て対象の表面法線ベクトルを演算する演算手段と、計測
    対象を位置決めする位置決め手段と、前記位置決め手段
    を制御する位置決め制御手段と、前記演算手段により計
    測演算された表面法線ベクトル値を表示コードに変換す
    る表示コード化手段と、各画素が前記表示コードにペイ
    ントされた対象の二次元化ペイント画像を画面上に表示
    する表示手段と、表示内容に基づいてなされた検査結果
    を入力する入力手段とを備えたことを特徴とする検査装
    置。
  11. 【請求項11】前記表示コード化手段を第1表示コード
    化手段とし、その他に第2表示コード化手段を備え、第
    1表示コード化手段によって表示コードにペイントされ
    た対象の二次元化ペイント画像を表示手段の画面上に表
    示する機能を有する一方、第2表示コード化手段は受光
    手段の出力信号を画素ごとに表示コードに直接的に対応
    づけ、スイッチングにより前記表示手段が演算手段と前
    記第1表示コード化手段による演算処理をスキップして
    対象の二次元コード化ペイント画像を画面上に表示する
    ことも可能であることを特徴とする請求項10記載の検
    査装置。
  12. 【請求項12】演算手段が演算した計測データを用いて
    対象の品質良否を判定する判定手段と、この判定結果を
    出力する出力手段とを備えたことを特徴とする請求項1
    0又は請求項11記載の検査装置。
  13. 【請求項13】表示コード化手段が表示手段に対して、
    各画素がカラーコードに従って着色された対象の二次元
    化ペイント画像を前記表示手段の画面上に表示するため
    の信号を出力する表面法線ベクトル値に前記カラーコー
    ドを対応させる表面法線ベクトル対カラー対応化手段で
    ある請求項10あるいは請求項11記載の検査装置。
  14. 【請求項14】表示コード化手段が表示手段に対して、
    各画素がグレーコードに従って明度づけされた対象の二
    次元化ペイント画像を前記表示手段の画面上に表示する
    ための信号を出力する表面法線ベクトル値に前記グレー
    コードを対応させる表面法線ベクトル対明度対応化手段
    である請求項10あるいは請求項11記載の検査装置。
  15. 【請求項15】表示コード化手段が表示手段に対して、
    採用された立体的可視化方式に従って画像化された対象
    の画像を前記表示手段の画面上に表示するための信号を
    出力する立体的可視化手段である請求項10あるいは請
    求項11記載の検査装置。
  16. 【請求項16】前記演算手段で計測演算された受光手段
    の出力信号対表面法線ベクトル値とは独立的に、スイッ
    チング操作により表示手段の画面上に表示される対象画
    像の表示色を作業上望ましい色彩に恣意的に着色表示す
    ることもできる手段を有することを特徴とする請求項1
    0記載の検査装置。
  17. 【請求項17】対象ロットの自動検査を行い良否判定デ
    ータをメモリし、自動検査終了後、前記良否判定データ
    を再生し、前記対象ロットの中の不良判定箇所または判
    定保留箇所を有する再検査対象を再び前記装置にセット
    し、前記不良判定箇所または判定保留箇所をその位置デ
    ータによる位置決めを行って、表面立体角別表示コード
    付き二次元化ペイント画像表示を行い、前記画像の目視
    再検査(レビュウ)を可能にした機能を有することを特
    徴とする、請求項9あるいは請求項12記載の検査装
    置。
  18. 【請求項18】三次元形状を表面立体角別にカラーコー
    ド付けした画像表示を行う表示手段の画面上に、その表
    示に使用された表面法線ベクトル値対カラーコードの対
    照関係を表すカラースケール画像を併せ表示する手段を
    備えたことを特徴とする請求項13記載の検査装置。
  19. 【請求項19】対象を表面立体角別にカラーコード付け
    した画像表示を行う表示手段の画面上に、そのカラー表
    示に使用された恣意的着色表示に基づくカラースケール
    画像を併せ表示する手段を備えたことを特徴とする請求
    項16記載の検査装置。
  20. 【請求項20】別途検査装置により検査が行われた検査
    対象の良否判定データを受信あるいは再生する手段と、
    前記別途検査装置による前記対象の不良判定箇所または
    判定保留箇所をその位置データにより位置決めを行っ
    て、表面立体角別表示コード付き二次元化ペイント画像
    表示を行う手段とを備え、前記画像の目視再検査(レビ
    ュウ)を可能にしたことを特徴とする請求項10あるい
    は請求項11記載の検査装置。
  21. 【請求項21】別途検査装置により検査対象の自動検査
    を行い、製品の製造工程ラインに設置された別途検査装
    置により、検査が行われた検査対象の良否判定データを
    受信あるいは再生する手段と、前記別途検査装置による
    前記対象の不良判定箇所または判定保留箇所をその位置
    データにより位置決めを行って、表面立体角別表示コー
    ド付き二次元化ペイント画像表示を行う手段とを備え、
    前記画像の目視再検査(レビュウ)を可能にした検査装
    置に前記対象をセットし、前記別途検査装置の出力手段
    により出力された良否判定データを受信あるいは再生
    し、前記別途検査装置による前記対象の不良判定箇所ま
    たは判定保留箇所をその位置データにより位置決めを行
    って、表面立体角別表示コード付き二次元化ペイント画
    像を表示し、前記画像の目視再検査(レビュウ)を行う
    ことによって判定された不良箇所の修理修正を行い、半
    製品を完成する製品製造方法。
  22. 【請求項22】製品の製造工程ラインに設置された請求
    項10あるいは請求項11記載の検査装置を用い、表示
    される検査対象の表面立体角別表示コード付き二次元化
    ペイント画像の目視検査を行うことによって判定された
    不良箇所の修理修正を行い、半製品を完成する製品製造
    方法。
  23. 【請求項23】製品の製造工程ラインに設置された請求
    項9あるいは請求項12記載の検査装置を用い、対象ロ
    ットの自動検査を行い、良否判定データをメモリし、自
    動検査終了後前記良否判定データを再生し、前記対象ロ
    ットの中の不良判定箇所または判定保留箇所を有する再
    検査対象を再び前記装置にセットし、前記不良判定箇所
    または判定保留箇所をその位置データにより位置決めを
    行って、表面立体角別表示コード付き二次元化ペイント
    画像表示を行い、前記画像の目視再検査(レビュウ)を
    行うことによって判定された不良箇所の修理修正を行
    い、半製品を完成する製品製造方法。
JP6096368A 1994-05-10 1994-05-10 形状計測装置、検査装置及び製品製造方法 Pending JPH07306023A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6096368A JPH07306023A (ja) 1994-05-10 1994-05-10 形状計測装置、検査装置及び製品製造方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6096368A JPH07306023A (ja) 1994-05-10 1994-05-10 形状計測装置、検査装置及び製品製造方法

Publications (1)

Publication Number Publication Date
JPH07306023A true JPH07306023A (ja) 1995-11-21

Family

ID=14163037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6096368A Pending JPH07306023A (ja) 1994-05-10 1994-05-10 形状計測装置、検査装置及び製品製造方法

Country Status (1)

Country Link
JP (1) JPH07306023A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133446A (ja) * 2000-08-30 2002-05-10 Microsoft Corp 顔画像処理方法およびシステム
JP2008529189A (ja) * 2005-02-02 2008-07-31 インターグラフ ソフトウェアー テクノロジーズ カンパニー 偏光データを用いるリアルタイム画像検出
JP2010256275A (ja) * 2009-04-28 2010-11-11 Visco Technologies Corp 形状検査装置および形状検査プログラム
WO2011055791A1 (ja) 2009-11-05 2011-05-12 株式会社日立ハイテクノロジーズ 細菌コロニー釣菌装置及びその方法
JP2012154684A (ja) * 2011-01-24 2012-08-16 Kobe Steel Ltd 三次元形状計測装置及び三次元形状計測方法
JP2012522997A (ja) * 2009-04-10 2012-09-27 オムロン株式会社 表面形状計測装置、計測装置、及び観察装置
JP2013543591A (ja) * 2010-10-08 2013-12-05 オムロン株式会社 形状計測装置および形状計測方法
JP6451821B1 (ja) * 2017-12-05 2019-01-16 マシンビジョンライティング株式会社 検査システム及び検査方法
WO2021107027A1 (ja) * 2019-11-29 2021-06-03 マシンビジョンライティング株式会社 形状復元方法及び画像測定装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133446A (ja) * 2000-08-30 2002-05-10 Microsoft Corp 顔画像処理方法およびシステム
JP2011170891A (ja) * 2000-08-30 2011-09-01 Microsoft Corp 顔画像処理方法およびシステム
JP2008529189A (ja) * 2005-02-02 2008-07-31 インターグラフ ソフトウェアー テクノロジーズ カンパニー 偏光データを用いるリアルタイム画像検出
JP4714749B2 (ja) * 2005-02-02 2011-06-29 インターグラフ ソフトウェアー テクノロジーズ カンパニー 偏光データを用いるリアルタイム画像検出
JP2012522997A (ja) * 2009-04-10 2012-09-27 オムロン株式会社 表面形状計測装置、計測装置、及び観察装置
JP2010256275A (ja) * 2009-04-28 2010-11-11 Visco Technologies Corp 形状検査装置および形状検査プログラム
US9109194B2 (en) 2009-11-05 2015-08-18 Hitachi High-Technologies Corporation Device for harvesting bacterial colony and method therefor
WO2011055791A1 (ja) 2009-11-05 2011-05-12 株式会社日立ハイテクノロジーズ 細菌コロニー釣菌装置及びその方法
JP2013543591A (ja) * 2010-10-08 2013-12-05 オムロン株式会社 形状計測装置および形状計測方法
JP2012154684A (ja) * 2011-01-24 2012-08-16 Kobe Steel Ltd 三次元形状計測装置及び三次元形状計測方法
JP6451821B1 (ja) * 2017-12-05 2019-01-16 マシンビジョンライティング株式会社 検査システム及び検査方法
WO2019111426A1 (ja) * 2017-12-05 2019-06-13 マシンビジョンライティング株式会社 検査システム及び検査方式
JP2019100930A (ja) * 2017-12-05 2019-06-24 マシンビジョンライティング株式会社 検査システム及び検査方法
US10883944B2 (en) 2017-12-05 2021-01-05 Machine Vision Lighting Inc. Inspection system and method of inspection
WO2021107027A1 (ja) * 2019-11-29 2021-06-03 マシンビジョンライティング株式会社 形状復元方法及び画像測定装置

Similar Documents

Publication Publication Date Title
KR100777547B1 (ko) 결함 검사 방법 및 그 방법을 이용한 결함 검사 장치
US5032735A (en) Method of and apparatus for inspecting printed circuit boards
KR920006031B1 (ko) 기판등의 검사장치 및 그 동작방법
US7505149B2 (en) Apparatus for surface inspection and method and apparatus for inspecting substrate
US5039868A (en) Method of and apparatus for inspecting printed circuit boards and the like
JP6507653B2 (ja) 検査装置及び検査装置の制御方法
US20060147092A1 (en) Intelligent digital graphics inspection system and method
JP2015135331A (ja) 実用型3dビジョンシステム装置およびその方法
CA2340420A1 (en) System and method for arithmetic operations for electronic package inspection
WO2012096003A1 (ja) はんだ付け検査方法、および基板検査システムならびにはんだ付け検査機
KR20130084617A (ko) 솔더 검사를 위한 검사 기준 등록 방법 및 그 방법을 이용한 기판 검사 장치
KR20170009524A (ko) 검사 시스템 및 검사 방법
JPH07306023A (ja) 形状計測装置、検査装置及び製品製造方法
JP2006208084A (ja) 周期性パターンのムラ検査装置
JP4910897B2 (ja) はんだフィレットの検査方法および基板外観検査装置
JPH061173B2 (ja) 曲面性状検査装置
JP2009523244A (ja) 微細な特徴を有するワークを検査する為のシステムおよび方法
US20050084148A1 (en) Inspection systems and methods
JP2002508067A (ja) テストパターンの生成のための方法及び装置
JP2018205004A (ja) 画像検査装置
JPH07107514B2 (ja) 基板検査装置における表示方法および表示装置
JP3553652B2 (ja) 形状計測装置、検査装置、及び製品の製造方法
JPH06167460A (ja) 検査装置
CN116087209A (zh) 一种金丝键合工艺的外观检测方法及系统
JP5172211B2 (ja) 被検査体の検査システム