JP3855244B2

JP3855244B2 - 顕微鏡を用いた３次元画像認識装置

Info

Publication number: JP3855244B2
Application number: JP21165296A
Authority: JP
Inventors: 正治中村; 秀夫高橋; 知行田中; 穂高池田
Original assignee: TECHNO-HOLON CORPORATION
Current assignee: TECHNO-HOLON CORPORATION
Priority date: 1996-08-09
Filing date: 1996-08-09
Publication date: 2006-12-06
Anticipated expiration: 2016-08-09
Also published as: JPH1054709A

Description

【０００１】
【発明の属する技術分野】
本発明は顕微鏡を用いた３次元画像認識装置に係り、特に左右２つの顕微鏡を介して撮像された画像データに基づいて３次元測定を行う顕微鏡を用いた３次元画像認識装置に関する。
【０００２】
【従来の技術】
従来、画像処理を応用した半導体の製造プロセスにおける検査装置は、単一の方向から顕微鏡を通して撮像された画像データに対して各種の画像処理を行って良否判定を行う方法か、或いは、リファレンスとして良好な画像データを登録して、そのリファレンスを検査する対象物の画像データと比較処理することにより良否判定を行う方法のどちらかの方法を採用している。
【０００３】
【発明が解決しようとする課題】
しかしながら、リードフレームの曲がりと欠陥やボンディングワイヤー等の３次元的な対象については満足な検査結果を得ることが出来なかった。現在、半導体製造アセンプリプロセスにおいては対象物の３次元的特性を画像処理で検査する装置はなく、実際のラインでは人間のオペレータにより実体顕微鏡を用いたマニュアル判定を行っており、自動化が大変に遅れている。
【０００４】
また、ウェハ等の半導体製品には表面に何らかのパターンが存在し、そのパターン自身も同一の製造プロセスで処理されても同一のパターンとして形成されるとはかぎらず、シミや汚れ、欠陥が発生する。そのため、単一方向から撮像した画像データを用いた検査装置においては検査すべき対象の特徴を画像データの中から抽出することが大変困難である。
【０００５】
本発明はこのような事情に鑑みてなされたもので、検査対象物の３次元的な特徴を定量認識することができる顕微鏡を用いた３次元画像認識装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は上記目的を達成するために、請求項１に記載の顕微鏡を用いた３次元画像認識装置は、第１の光軸方向から対象物の検査領域を拡大して撮像し、第１の画像データを得る第１の顕微鏡と、前記第１の光軸方向と異なる第２の光軸方向から前記対象物の検査領域と同一の検査領域を拡大して撮像し、第２の画像データを得る第２の顕微鏡と、前記第１及び第２の各画像データ上において、前記対象物上での同一部位に対応する線状の領域を検出する検出手段と、前記第１及び第２の各画像データ上において、前記対象物の空間内での同一座標点に対応する点を通過するエピポーラ線と、前記検出手段により検出された線状の領域とが交わる点を検出し、該検出した各画像データ上での点の位置に基づいて該点に対応する前記対象物上の位置の３次元座標を算出する３次元座標算出手段と、を備え、前記第１及び第２の各画像データ上において、前記対象物の空間上での同一座標点に対応する前記点は、前記第１及び第２の各画像データ上において前記検出手段により検出された線状の領域の両端を結ぶ直線を同一の比で分割した点であり、前記３次元座標算出手段は、該分割する点の位置を変更することにより、前記検出手段より検出された線状の領域の各点に対応する前記対象物上の各位置の３次元座標を算出することを特徴としている。
【０００７】
本発明によれば、第１及び第２の各画像データ上において対応する点の位置が不明な場合であっても、第１及び第２の各画像データ上において線状となり得る部位内の点であれば、エピポーラ線を利用することにより、第１及び第２の画像データ上で対応する点を特定することができ、その点に対応する対象物上の位置の３次元座標を求めることができる。
【０００８】
【発明の実施の形態】
以下添付図面に従って本発明に係る顕微鏡を用いた３次元画像認識装置について詳説する。
図１は本発明の３次元画像認識装置の一実施の形態を示したシステム構成図である。
【０００９】
同図に示すように３次元画像認識装置は、ＸＹステージ１０と、画像処理装置を搭載したパソコン１２（パーソナルコンピュータ）と、検査対象物を照明する照明用ランプ１４と、格子縞を投影する格子縞投影用ランプ１６と、前記ランプのオン・オフ及び明るさを制御する照明コントローラ１８と、前記ＸＹステージ１０の上方の左右２方向の位置に固定された顕微鏡２０Ａ、２０Ｂと、前記左右の顕微鏡２０Ａ、２０Ｂのそれぞれの接眼部に設置されたＣＣＤカメラ２２Ａ、２２Ｂと、から構成される。
【００１０】
上記ＸＹステージ１０は、検査対象物（以下、単に対象物という）をステージ上に固定し、互いに直交するＸ軸及びＹ軸の方向に対象物を移動させて、上記顕微鏡２０Ａ、２０Ｂによって対象物の検査対象領域を観察できる位置に調整する。
上記顕微鏡２０Ａ、２０Ｂは、ＸＹステージ１０上に固定された対象物の検査対象領域を左右２方向から拡大する。
【００１１】
そして、上記ＣＣＤカメラ２２Ａ、２２Ｂは、左右の顕微鏡２０Ａ、２０Ｂによって拡大された検査対象領域の像を撮像する。
図２は上記３次元画像認識装置のハードウェア構成図である。同図に示すように、上記３次元画像認識装置は、装置制御部３０（パソコン１２を含む）、画像処理部３２、上記各種装置から構成される。
【００１２】
上記装置制御部３０は、ＭＰＵ３０Ａ、照明コントローラ１８のＤ／Ａコンバータ３０Ｂ、ＸＹステージ１０のＸモータ１０Ａ、Ｙモータ１０Ｂを駆動制御するモータコントローラ３０Ｃ、各種センサの入出力信号を制御するＩ／Ｏコントローラ３０Ｄから構成さる。ＭＰＵ３０Ａはプログラム動作し、バス３４で接続された各装置にコントロール信号を出力し、装置全体を総括的に制御する。
【００１３】
Ｄ／Ａコンバータ３０Ｂは、ＭＰＵ３０Ａから入力したコントロール信号をアナログ信号に変換するとともに、アナログ信号を照明用ランプ１４の電源３６及び格子縞投影用ランプ１６の電源３８を制御し、照明用ランプ１４及び格子縞投影用ランプ１６のオン・オフ及び明るさの制御を行う。
モータコントローラ３０Ｃは、ＭＰＵ３０Ａから入力したコントロール信号に従って、ＸＹステージ１０のＸ方向及びＹ方向の移動を行うＸモータ１０Ａ、Ｙモータ１０Ｂの駆動制御を行うとともに、Ｘモータ１０Ａ、Ｙモータ１０Ｂの駆動量からＸＹステージ１０の位置を示す位置信号をＭＰＵ３０Ａに出力する。
【００１４】
上記画像処理部３４は、画像メモリ３４Ａ、画像演算処理部３４Ｂ、カメラＩ／Ｆ３４Ｃとから構成され、上記装置制御部３０とバス３４によって接続される。上記カメラＩ／Ｆ３４Ｃは、左右の顕微鏡２０Ａ、２０Ｂに設置されたＣＣＤカメラ２２Ａ、２２Ｂの画像取り込みタイミングを同期させてＣＣＤカメラ２２Ａ、２２Ｂから画像信号を取り込むとともに、ＭＰＵ３０Ａから入力したコントロール信号に従って入力した画像信号を画像データとして画像メモリ３４Ａに出力する。
【００１５】
画像メモリ３４Ａは、カメラＩ／Ｆ３４Ｃを介してＣＣＤカメラ２２Ａ、２２Ｂから取り込んだ画像データを記録するとともに、画像演算処理部３４Ｂによって処理された画像データを記録する。
画像演算処理部３４Ｂは、ＭＰＵ３０Ａから入力したコントロール信号に従って、上記画像メモリ３４Ａに記録された画像データを読み出し、この画像データに基づいて各種画像演算処理を行う。尚、この画像演算処理部は、通常の画像処理関数以外に、左右の画像データの対応位置を抽出するための手法である正規化相関法の演算機能を有している。
【００１６】
図３は、上記３次元画像認識装置のソフトウェア構成図である。上記ＭＰＵ３０Ａは、同図に示す複数のシステムから成るソフトウェア構成によってプログラム動作する。同図に示すように上記３次元画像認識装置のソフトウェアのシステムは、上記左右の顕微鏡２０Ａ、２０Ｂを介してＣＣＤカメラ２２Ａ、２２Ｂから画像データの取り込み処理（画像データ取り込み処理）を行う画像データ取込処理システム４０、以下に詳説するキャリブレーションシステム４２、標定システム４４、３次元特性領域の抽出システム４６、リードフレーム曲がり、欠陥検査システム４８、ボンディングワイヤの形状測定システム５０とから構成される。
【００１７】
上記画像取込処理システム４０、キャリブレーションシステム４２、標定システム４４、３次元特性領域の抽出システム４６は、３次元画像処理を行う上で共通に必要とする基本システムであり、上記リードフレーム曲がり、欠陥検査システム４８、ボンディングワイヤの形状測定システム５０は、検査対象物により異なる応用システムである。尚、応用システムは、検査対象物及び検査内容に応じて適宜プログラムされるもので、ここでは応用システムの一例としてボンディングワイヤの形状測定システム５０を説明する。
【００１８】
以上の基本システム及び応用システムは装置全体を総括的に制御するシステム制御部５２によって実行され、これらのシステムを実行する際に演算処理関数、画像処理関数、画像メモリが使用される。
次に上述の如く構成される上記３次元画像認識装置の作用について説明する。まず、上記システム制御部５２は、キャリブレーションシステム４２によって顕微鏡２０Ａ、２０Ｂの光学系をキャリブレーションする。上記左右２つの顕微鏡２０Ａ、２０Ｂは、これらの顕微鏡２０Ａ、２０Ｂを介して対象物を撮像した場合に、左右の映像は現在市販されている実体顕微鏡を使用すればほぼ同等の映像が得られると期待できる。しかし、左右の画像データを計測に使用する場合にはこれらの顕微鏡２０Ａ、２０Ｂの光学系を正確にキャリブレーションする必要がある。そこで、キャリブレーション用の格子パターンを用いて左画像データ及び右画像データの画素の大きさを精度良くキャリブレーションする。
【００１９】
図４はキャリブレーションの方法を示した説明図である。図４（Ａ）に示すリファレンスパターンから構成される間隔の精度が十分によい格子縞をリファレンスワーク（理想平面から成る対象物）に垂直上方から投影用ランプ１６によって投影し、左右の顕微鏡２０Ａ、２０Ｂに設置されたＣＣＤカメラ２２Ａ、２２Ｂでこのリファレンスワークを撮像する。例えば、図４（Ｂ）に示すようにリファレンスワークの平面に投影された格子縞を垂直上方に対して斜方θ方向から撮像するとすると、図４（Ｃ）に示すような画像データが得られる。顕微鏡の光学系の一番最初の標定をかける時には、スイングするステージで、図４（Ｅ）に示すようにキャリブレーション用のリファレンスワークを顕微鏡の光軸と垂直になるように傾けて図４（Ｄ）のような画像データを得る。このようにして得られた画像データ上の格子の交点（以下、格子点と称す。）の位置（例えば、図４（Ｄ）の１、２、３、２５で示したような格子点の位置）を正規化相関法を使用して１／１０画素の精度で計測する。このようにして計測した複数の格子点の位置と、撮像方向の角度θをパラメータとして算出される画像上の格子点の位置とから最小２乗法によって画面の各格子が正しく正方格子になるようにアフィン変換する真の角度θと歪みの補正値を算出する。これにより、この角度θから格子縞を撮像した場合の画像上の各格子点の位置が精度良く算出され、この格子点の位置から内部評定要素である撮像面における光学系の歪みの補正値と１画素の大きさを求めることができる。
【００２０】
また、顕微鏡光学系をフィールドでキャリブレーションする場合は、顕微鏡設計時の角度θ（図４（Ｂ）参照）を基に図５に示すように図４（Ａ）のリファレンスパターン（図５（Ａ））を、例えば、図４（Ｃ）に示した格子点１、２、３、２１、２５における格子縞のパターン図５（Ａ１）、（Ａ２）、（Ａ３）、（Ａ２１）、（Ａ２５）のように変換してから、図４（Ｃ）（図５（Ｃ）参照）に対して正規化相関法を使用して各格子点を測定する。尚、同一のライン上の図５（Ａ１）、（Ａ２）、（Ａ３）は、相似関係を保ったまま、大きさが変化し、同様に中心線より上と下では収束点からの角度により横線の傾きが逆になった上、図５（Ａ２１）と（Ａ２５）とは（Ａ１）、（Ａ２）、（Ａ３）と同様に相似関係になる。この関係を考慮して、例えば、格子点１付近のサーチは（Ａ１）を、格子点２付近のサーチは（Ａ２）を使用することにより、ずれの少ない相関ができる。そして、測定した各格子点の値を基にアフィン変換することによっても、内部評定要素である撮像面における光学系の歪みの補正値と１画素の大きさを求めることができる。
【００２１】
また、ＣＣＤカメラ２２Ａ、２２Ｂから入力した画像データから左右の画像データの明るさをキャリブレーションする。左右の画像データの明るさは上記キャリブレーションワークを使用して入力した画像データから左画像データ及び右画像データの明るさのヒストグラムを作成し、これらのヒストグラムを比較してＣＣＤカメラ２２Ａ、２２Ｂのゲインとオフセットの２つの明るさコントローラパラメータを調整する。
【００２２】
以上のキャリブレーションシステムによって顕微鏡の光学系をキャリブレーションした後、次に上記システム制御部５２は標定システム４４によって左右の顕微鏡光学系の撮像位置等の光学系の幾何学的な配置を標定する。ステレオ実体視により対象物の３次元的な位置決めを行うには、計測に先立って左右の顕微鏡光学系の撮像位置等を含め、顕微鏡光学系の焦点距離、光軸と撮像面の交点における３次元座標の各軸Ｘ、Ｙ、Ｚに対する回転、撮像倍率等の光学系の幾何学的な配置を決定する標定要素を求めることが必要になる。
【００２３】
評定要素が決定されると、対象物の３次元座標は、その対象物の左右の画像データ上の座標より計算により求めることができる。
標定には図４に示したリファレンスパターンと同一の格子縞を使用し、一辺を３、４、〜１０とした時の正方格子の合計点９点、１６点、２５点、〜１００点の格子点を利用して評定を実施する。標定要素は、格子縞上の格子点位置の３次元座標を既知として、左右のＣＣＤカメラ２２Ａ、２２Ｂによって撮像された画像データ上の格子点の座標値を求めることにより算出される。この標定要素の算出には最小４点の対応点が必要である。多数の格子点を用いることは、撮像系の光学的歪みを正しくキャリブレーションするためである。
【００２４】
以上の標定システムによって左右の顕微鏡光学系の撮像位置等の光学系の幾何学的な配置を標定した後、次に上記システム制御部５２は抽出システム４４によって３次元的な特徴を持つ部分を抽出する。
図６に示すように、対象物の平面上にバンプ６０が存在する対象物を左右のＣＣＤカメラ２２Ａ、２２Ｂで撮像する場合を例に示す。分かりやすくするために対象物に上述の格子縞が投影されているとする。平面上に正方形の格子縞を投影して斜方からＣＣＤカメラ２２Ａ、２２Ｂによってこの格子縞を撮像すると、顕微鏡２０Ａ、２０Ｂの光学系の光軸が対象物平面に垂直でないために画像データ上では台形の格子縞として記録されるが、この画像データ上の格子縞はアフィン変換により正方形に変換することができる。ところが、平面でない部分に投影された正方形の格子縞は、アフィン変換しても正方形には変換されず、左画像データ上と右の画像データ上で異なった形状を示す。図６に示したようなバンプ６０が存在する対象物を左右のＣＣＤカメラ２２Ａ、２２Ｂで撮像すると、図７（Ａ）、（Ｂ）に示すような左右の画像データが得られる。この左右の画像データをそれぞれアフィン変換して平面上の格子縞を正方形に変換すると、図８（Ａ）、（Ｂ）に示すような左右の画像データが得られる。同図からわかるようにバンプ６０の部分に投影された格子縞は左右の画像データで異なることがわかる。この特性を利用して画像データの中から所定平面とは高さの異なる部分のみの左右の画像データを図９（Ａ）、（Ｂ）に示すように抽出することができる。
【００２５】
この状況を対象物の断面方向から見ると分かりやすくなるので模式的に対象物の断面図を図１０に示す。図１０に示すようにバンプ６０が存在する対象物を左右のＣＣＤカメラ２２Ａ、２２Ｂによって撮像し、上記アフィン変換すると、バンプ６０と平面との境界上の点Ｂ、Ｃと、点Ｂ、Ｃの中点Ａに対して垂直方向のあるバンプ６０上の点Ａ’は、それぞれ図１１（Ａ）、（Ｂ）の点Ｂ、Ｃ、Ａ’の位置に投影される。同図から分かるようにバンプ６０上にある点Ａ’は、点Ｂ、Ｃの中点Ａの位置とは異なる位置に投影され、バンプ６０が存在しない場合（点Ａ’が平面上の点Ａと一致する場合）に点Ａ’が投影されるべき位置とは左右の画像データで異なる。
【００２６】
このように、対象物の所定の平面上にある点が左右の画像データ上の投影されるべき点の位置とは異なる位置に投影された対象物上の点を抽出することにより、３次元的な特徴を持つ部分を抽出することができる。そして、この３次元的な特徴を持つ部分の左右の画像データ上での位置から３次元的な定量測定を行うことができる。
【００２７】
以上説明した基本システムは、以下に一例として示すような応用システムにおいて共通に使用されるシステムであり、この基本システムによって対象物の３次元測定が可能になる点を利用して応用システムがプログラムされる。
次に応用システム一例としてボンディングワイヤの形状測定システム５０（図３参照）について説明する。
【００２８】
図１２は、形状測定するボンディングワイヤの形状の一例を示した構成図である。同図に示すボンディングワイヤ７０Ｂはチップ７０Ｃ上のパッド７０Ｄとリードフレーム７０Ａ間に接着されて、このパッド７０Ｄとリードフレーム７０Ａ間に規定の空間形状で配置される。もし、このボンディングワイヤ７０Ｂの形状が規定の形状と大きく異なる場合には不良品と判定される。
【００２９】
図１３は、このボンディングワイヤの形状測定システムの処理手順を示したフローチャートである。ボンディングワイヤについては３次元的な形状を測定する。上記ボンディングワイヤの３次元形状測定の準備工程として、予め、チップ上のパッド７０Ｄの位置と、これに対応するリードフレーム７０Ａの位置を登録しておく。そして、このチップ７０ＣをＸＹステージ１０上に固定して、チップ７０Ｃ上に記されたアライメント用マーク又はリファレンス７０Ｅ、７０Ｅを所定の位置に合わせる。そして、左右の顕微鏡２０Ａ、２０Ｂを介してＣＣＤカメラ２２Ａ、２２Ｂで撮像し、パッド７０Ｄの位置とリードフレーム７０Ａの位置が上記登録した位置と一致するか確認する（ステップＳ２０）。このようにしてチップ７０Ｃの固定位置を調節した後、ＣＣＤカメラ２２Ａ、２２Ｂによってチップ７０Ｃを撮像し、図１４に示すように撮像した左右の画像データ上でパッド７０Ｄ位置付近に小画像領域８０Ａを設定する（ステップＳ２２）。つぎにこの左右の画像データ上の小画像領域８０Ａにおいてそれぞれ、ボンディングワイヤ７０Ｂの輪郭を抽出し、ソーベルオペレータ等の画像処理でボンディングワイヤ７０Ｂの中心線の線分（曲線）を検出する（ステップＳ２４）。そして、抽出したボンディングワイヤ７０Ｂの中心線の画像データ上での座標値及び方向を算出する（ステップＳ２６）。この後、さらに、ボンディングワイヤ７０Ｂの中心線の延長上に小画像領域８０Ｂ（図１４参照）を設定し、この設定した小画像領域８０Ｂにリードフレーム７０Ａが含まれるか否かを判定する（ステップＳ３０）。もし、小画像領域にリードフレーム７０Ａが含まれない場合、小画像領域にリードフレーム７０Ａが含まれるまで上記ステップＳ２４からステップＳ３０までの処理を繰り返し実行する（図１４では小画像領域８０Ｅまで上記処理を繰り返す）。即ち、上記ステップＳ２４からステップＳ３０までの処理を繰り返し実行してパッド７０Ｄの位置からリードフレーム７０Ａの位置までのボンディングワイヤ７０Ｂの中心線の座標値を左右の画像データ上でそれぞれ検出する。
【００３０】
このようにして検出した左右の画像データ上でのボンディングワイヤ７０Ｂの中心線の座標値を求めた後、この座標値からボンディングワイヤ７０Ｂの３次元座標値の点列を算出する（ステップＳ３２）。
尚、ボンディングワイヤ７０Ｂの３次元座標値を算出際に、ボンディングワイヤ７０Ｂの同一点を左右の画像データ上で対応させる必要があるが、これにはエピポーラ線を使用する。エピポーラ線は左右の顕微鏡光学系の焦点を結ぶ直線と対象物の任意の点で決定される平面（エピポーラ面）を左右の画像データ上に投影した際の直線を示す。図１５に示すように所定平面上の２点Ａ、Ｂ間（パッド７０Ｄとリードフレーム７０Ａ間）に３次元的に設置されたボンディングワイヤ７０Ｂを左右のＣＣＤカメラ２２Ａ、２２Ｂで撮像すると、左右の画像データ上には上記２点Ａ、Ｂの投影点Ａ’、Ｂ’を結ぶ曲線として投影される。このとき、左右の画像データ上に投影された２点Ａ’、Ｂ’間を結ぶ線分を所定の比率で２分する分割点Ｃ’、Ｃ’は対象物上で同一の点Ｃとなり、左右の画像データ上でこの分割点を通るエピポーラ線ｅ、ｅがボンディングワイヤ７０Ｂと交わる点Ｐ’、Ｐ’は、対象物上でボンディングワイヤ７０Ｂの同一の点Ｐとなる（同図斜線で示した平面はエピポーラ面を示す）。
【００３１】
即ち、図１６（Ａ）、（Ｂ）に示すように左右の画像データ上で、ボンディングワイヤ７０Ｂの中心線データの始点Ａ’と終点Ｂ’を結ぶ線分を作り、この線分をｎ等分する。そして、このｎ等分した内のｌ番目の点を通るエピポーラ線ｅ、ｅと中心線データの交点Ｐ’、Ｐ’を求め、この左右の画像データ上での交点Ｐ’、Ｐ’の座標値よりボンディングワイヤ７０Ｂの３次元座標値を求める。
【００３２】
そして、以上のようにして求めたボンディングワイヤの３次元座標値の点列と予め登録してある理想的な形状のボンディングワイヤの３次元座標値との偏差を算出してこの偏差が許容範囲内か否かで良否判定を行う（ステップＳ３４）。
尚、応用システムの他の例として図３に示したリードフレームの曲がり、欠陥検査システム４８は、３次元測定からリードフレームの曲がり（図１７（Ａ）、（Ｂ）のＩＣチップ７０の上面図、断面図に示したリードフレーム７０Ａの曲がり７０Ｂ）を検出するとともに、リードフレームのプレス打痕、プレス磨耗等（図１８参照）の欠陥を検出する。
【００３３】
以上、上記実施の形態では、顕微鏡光学系の標定要素を決定する際にリファレンスワークに投影した格子縞の格子点位置の３次元座標を既知としてこの標定要素を決定していたが、これに限らず、観測可能で３次元座標が既知の任意の複数点によっても同様に標定要素を決定することができる。
また、上記実施の形態では、２つの顕微鏡を左右斜め方向に設置していたが、この２つの顕微鏡の設置位置は対象物の同一領域を観測できる位置でどこでもよい。
【００３４】
【発明の効果】
以上説明したように本発明の顕微鏡を用いた３次元画像認識装置によれば、対象物を左右２方向から拡大して撮像する第１、第２の顕微鏡を設置し、まず、初期設定として予め複数点の３次元座標が決定されている基準対象物を前記第１、第２の顕微鏡によって撮像し、これによって得られた第１、第２の画像データから前記複数点に対応する前記第１、第２の画像データ上の位置を測定する。そして、この測定によって得られた複数点に対応する前記第１、第２の画像データ上の位置と前記複数点の３次元座標とから前記第１、第２の顕微鏡の標定要素を決定する。そして、第１、第２の顕微鏡によって対象物を拡大して撮像し、第１、第２の画像データを得る。そして、この第１、第２の画像データ上の対応する位置を検出してこの対応する位置と、標定要素から前記対象物の所定位置の３次元座標を算出する。
【００３５】
これにより、対象物の３次元的な特徴を顕微鏡を用いて精度良く定量認識することができる。
また、請求項２の発明によれば、第１、第２の画像データ上で対応する位置が不明な対象物の位置を、第１、第２の画像データ上で対応する位置が分かっている点を通るエピポーラ線によって検出することによって立体形状の対象物の定量認識が可能となる。
【００３６】
更に、請求項３の発明によれば、第１、第２の画像データ上で平面領域以外の領域を抽出することによって、シミや汚れの付着のような単一方向からの画像だけでは３次元的な画像の影部分と区別できない検査対象の特徴を抽出することができるので、画像計測処理を早く確実に行うことができる。
【図面の簡単な説明】
【図１】図１は、本発明に係る顕微鏡を用いた３次元画像認識装置の一実施の形態を示したシステム構成図である。
【図２】図２は、本発明に係る顕微鏡を用いた３次元画像認識装置の一実施の形態を示したハードウェア構成図である。
【図３】図３は、本発明に係る顕微鏡を用いた３次元画像認識装置のソフトウェア構成図である。
【図４】図４は、キャリブレーションの方法を示した説明図である。
【図５】図５は、キャリブレーションの方法を示した説明図である。
【図６】図６は、平面上にバンプが存在する対象物を左右のＣＣＤカメラで撮像する場合を示した説明図である。
【図７】図７は、図６の対象物を左右のＣＣＤカメラで撮像した場合に得られる画像を示した説明図である。
【図８】図８は、図７の画像をアフィン変換した場合に得られる画像を示した説明図である。
【図９】図９は、図６の対象物から３次元的に特徴がある部分を抽出して得られる画像を示した説明図である。
【図１０】図１０は、平面上にバンプが存在する対象物を左右のＣＣＤカメラで撮像する場合を示した説明図である。
【図１１】図１１は、図１０の対象物を左右のＣＣＤカメラで撮像した場合に、バンプ上の点が撮像される画像データ上の位置を示した説明図である。
【図１２】図１２は、ボンディングワイヤの形状を示した構成図である。
【図１３】図１３は、このボンディングワイヤの形状測定システムの処理手順を示したフローチャートである。
【図１４】図１４は、ボンディングワイヤの形状測定の手順を説明する際に用いた説明図である。
【図１５】図１５は、エピポーラ線による左右画像データの対応点を求める手順を示した説明図である。
【図１６】図１６は、エピポーラ線による左右画像データの対応点を求める手順を示した説明図である。
【図１７】図１７は、ＩＣチップのリードフレームの曲がりによる不良品例を示した図である。
【図１８】図１８は、ＩＣチップのリードフレームのプレス打痕やプレス磨耗による不良品例を示した図である。
【符号の説明】
１０…ＸＹステージ
１２…パソコン１２
１６…格子縞投影用ランプ
２０Ａ、２０Ｂ…顕微鏡
２２Ａ、２２Ｂ…ＣＣＤカメラ

Claims

第１の光軸方向から対象物の検査領域を拡大して撮像し、第１の画像データを得る第１の顕微鏡と、
前記第１の光軸方向と異なる第２の光軸方向から前記対象物の検査領域と同一の検査領域を拡大して撮像し、第２の画像データを得る第２の顕微鏡と、
前記第１及び第２の各画像データ上において、前記対象物上での同一部位に対応する線状の領域を検出する検出手段と、
前記第１及び第２の各画像データ上において、前記対象物の空間内での同一座標点に対応する点を通過するエピポーラ線と、前記検出手段により検出された線状の領域とが交わる点を検出し、該検出した各画像データ上での点の位置に基づいて該点に対応する前記対象物上の位置の３次元座標を算出する３次元座標算出手段と、を備え、
前記第１及び第２の各画像データ上において、前記対象物の空間上での同一座標点に対応する前記点は、前記第１及び第２の各画像データ上において前記検出手段により検出された線状の領域の両端を結ぶ直線を同一の比で分割した点であり、前記３次元座標算出手段は、該分割する点の位置を変更することにより、前記検出手段より検出された線状の領域の各点に対応する前記対象物上の各位置の３次元座標を算出することを特徴とする顕微鏡を用いた３次元画像認識装置。