JP7442752B1 - 被検査体の形状検査方法 - Google Patents

Abstract

被検査体の形状検査装置（１）は、移動可能に設けられ被検査体を撮像するカメラ（２）と、カメラ（２）と被検査体の距離を調節するための調節機構（４）と、被検査体に光を照射する光源（７）を有し、この光源（７）の位置を変更可能な照明装置（５）と、調節機構の動作、照明装置の光源の位置変更動作、点灯動作、およびスペクトル分布の変更動作、並びにカメラが被検査体を撮像する動作、をそれぞれ制御するコントローラ（２０）、前記各動作をそれぞれ指令する動作指令を出力するコンピュータ（２１）、を備え、カメラ（２）の位置を移動させ、かつ被検査体に対する光源（７）からの光の照射位置を変えて被検査体を撮像し、撮像した画像を基にコンピュータ（２１）により被検査体の形状を推定して予め計測した基準となる被検査体の形状と比較することにより被検査体の３次元形状を判別するようにした。

Description

本願は、被検査体の形状検査装置および形状検査方法に関するものである。

従来の被検査体であるボンディングワイヤの形状検査装置では、２Ｄカメラでワイヤを上方から撮像し良品データと比較することでワイヤ形状の検査を行っていた。しかし、この方法では、ワイヤの奥行方向の形状の情報は得られず、ループ形状、交差するワイヤ同士の接触、またはワイヤと構造物の接触は判定することができない。

これに対して、３次元形状を測定できる機器、センサも存在する。３次元形状の測定方法には、ステレオカメラ、あるいはレーザー光を利用したものなどがあるが、いずれも機器が高価であり、計測に時間がかかるといった問題がある。

下記の特許文献１では、波長の異なるレーザスリット光をボンディングワイヤに照射し、各反射光の２値化パターンを良品データと比較することでボンディングワイヤの３次元形状の良否判定を行っている。

特開平７－０３７９５５号公報 特開平４－２５０３４７号公報

ボンディングワイヤは３次元的な構造をしているため、２Ｄ（平面）カメラで一方向から撮像しただけでは、上記平面に垂直な奥行方向の情報が得られない。上記２Ｄカメラで複数方向からワイヤを撮像すれば３次元形状の計測が可能だが、ボンディングワイヤは一つの製品に対して大量に載置されている場合がほとんどで、全てのワイヤについて複数方向から撮像すれば膨大な時間がかかる。また、他のワイヤ、または構造物に遮られて対象のワイヤを撮像できない場合もある。

特許文献１では、レーザスリット光をボンディングワイヤに照射し、各反射光の２値化パターンを良品データと比較することでボンディングワイヤの３次元形状の良品判定を行っているが、ワイヤ位置の絶対値は計測していない。そのため、交差するワイヤ同士の接触、またはワイヤと構造物の接触は判定できない。

本願は、上記のような課題を解決するための技術を開示するものであり、被検査体であるボンディングワイヤの３次元形状を、２次元形状を認識できるカメラにより計測し、ワイヤの折れ曲がり、交差するワイヤ同士の接触、またはワイヤと構造物の接触といった、製品に用いられる多数のワイヤの不良を、製品の出荷前に、高速かつ、安価な装置構成で検査できるワイヤ形状検査装置を提供することを目的とする。

本願に開示される被検査体の形状検査方法は、
被検査体に対して移動可能に設けられ、前記被検査体を撮像するカメラ、
前記カメラと前記被検査体の距離を調節するための調節機構、
前記被検査体に光を照射する光源を有するとともに、この光源の位置が変更可能な照明装置、
前記調節機構の動作を制御するとともに、前記照明装置の光源の位置変更動作、点灯動作、スペクトル分布の変更動作、および前記カメラが前記被検査体を撮像する動作、をそれぞれ制御するコントローラ、
前記被検査体に対し、前記カメラと前記光源の位置を変更する動作、前記光源の点灯動作、前記光源のスペクトル分布を変更する動作、および前記カメラに前記被検査体を撮像する動作をそれぞれ指令する、動作指令を出力するコンピュータ、
を備え、
前記カメラの位置を移動させるとともに、前記被検査体に対する前記光源からの光の照射位置を変えて、前記被検査体を撮像し、撮像した画像を基に前記コンピュータにより前記被検査体の形状を推定して予め計測した基準となる被検査体の形状と比較することにより、前記被検査体の３次元形状を判別する、被検査体の形状検査装置、
を用いた前記被検査体の形状検査方法であって、
前記被検査体に対して、前記照明装置の位置を変更しつつ当該変更した位置ごとに、前記カメラの光軸に直交する平面へ前記被検査体を投影した場合の前記被検査体の平面位置と、前記カメラに前記被検査体からの正反射光が入射した場合の前記照明装置の角度位置から求まる前記被検査体の角度形状と、前記被検査体に対して前記カメラの光軸方向にカメラを移動させた場合にピントが合った位置で撮像した画像から求めた前記被検査体の頂点高さとから、前記被検査体の３次元形状を求め、前記被検査体の形状を判別する、
ことを特徴とするものである。

本願に開示されるボンディングワイヤ形状検査方法によれば、被検査体であるボンディングワイヤの３次元形状を、２次元形状を認識できるカメラにより計測し、ワイヤの折れ曲がり、交差するワイヤ同士の接触、またはワイヤと構造物の接触といった、製品に用いられる多数のワイヤの不良を、製品の出荷前に、高速かつ、安価な装置構成で検査できるボンディングワイヤ形状検査装置を用いたボンディングワイヤ形状検査方法を提供することができる。

実施の形態１に係る被検査体の形状検査装置の構成の一例を示す図である。 被検査体から反射される反射光の様子を示した図である。 正常な形状の被検査体に照明光を照射した場合の正反射光の光路を説明するための図である。 形状が不良な被検査体に照明光を照射した場合の正反射光の光路を説明するための図である。 被検査体の形状の良否判定の概要を説明するためのフローチャート図である。 被検査体の形状の良否判定を具体例により説明するための図である。 被検査体の平面形状計測方法を説明するためのフローチャート図である。 被検査体の平面形状計測方法の詳細を説明するための図である。 被検査体の角度形状計測方法を説明するためのフローチャート図である。 被検査体の角度形状計測によって計測される被検査体の角度形状を説明するための図である。 被検査体の形状計測における平面形状と角度形状とを計測点により説明するための図である。 被検査体の頂点の高さの計測方法を説明するためのフローチャート図である。 計測された被検査体の頂点の高さを説明するための図である。 実施の形態２に係る被検査体の形状検査方法を説明するための図である。 実施の形態３に係る被検査体の形状検査装置の構成の一例を示す図である。 実施の形態１に係る被検査体の形状検査装置で高低差のある被検査体を検査する場合の、被検査体と形状検査装置の配置を示した図である。 実施の形態４に係る被検査体の形状検査装置で高低差のある被検査体を検査する場合の、被検査体と形状検査装置の配置を示した図である。 実施の形態１～４に係る被検査体の形状検査装置に使用されるコントローラ、コンピュータに使用されるハードウェアを説明するための図である。

実施の形態１．
図１は、実施の形態１における被検査体の形状検査装置１の構成を示す図である。ここで、被検査体の典型例としては、ボンディングワイヤが該当する。この被検査体の形状を３次元的に検査可能な装置である被検査体の形状検査装置１は、カメラ２と、カメラ２に装着されたレンズ３と、カメラ２とボンディングワイヤ１０の距離を調節するための高さ調節機構４（以降、単に調節機構とも呼ぶ）と、照明光の照射角度を制御可能な照明装置５（この図１では、形状がドーム型である）と、被検査体を載置して、上記レンズの光軸に対して垂直な方向（図１において、点線の矢印で示した左右の方向）に移動するためのステージ６と、上記調節機構４の動作を制御するとともに、照明装置５の位置変更動作（以下で詳しく説明する角度位置の変更動作を含む）、点灯動作を含む照明装置５が有する光源の強度変更動作、スペクトル分布の変更動作、およびカメラ２に被検査体を撮像させる動作を、それぞれ制御するコントローラ２０と、このコントローラ２０を制御するための指令信号を出力するとともに、カメラ２からコントローラ２０を介して、カメラが取得した画像から被検査体のボンディングワイヤ１０の形状を演算して把握し、良品か不良品かを判定するためのコンピュータ２１と、を備える。

ここで、本実施の形態１におけるボンディングワイヤ形状検査装置１は、ワイヤの３次元計測を行うに当たり、ステレオカメラなど高コストのカメラを用いることなく、より低コストで２次元画像を認識できるカメラを用いて、高速に、ワイヤの形状を３次元で計測できることに特徴がある。

ここで、上記カメラ２には市販の産業用カメラが用いられ、ボンディングワイヤ１０の線径、必要な画素分解能、およびフレームレートといった諸条件に応じて、選定されたものが使用される。

また、上記レンズ３は、ボンディングワイヤ１０の線径、必要な画素分解能、または視野範囲といった諸条件に応じて選定される。例えば、被検査体のボンディングワイヤ１０が、同一視野に複数本存在する場合、通常のレンズを使用すると、画角の影響により、特に視野の端で計測誤差が発生する。そのため、被検査体のボンディングワイヤ１０が同一視野に複数本存在する場合には、テレセントリックレンズを使用する。

高さ調節機構４はカメラ２とボンディングワイヤ１０の距離を調節し、ピントの合った画像を撮像するために使用する。高さ調節機構４はカメラ側ではなく、ステージ６側に設けても構わない。高さ調節機構４はワイヤの高さがカメラ２、レンズ３の被写界深度に収まらない場合に必要になる。

照明装置５は任意の角度から照明光を照射できるものとする。例えば、ドーム型の形状をしており、複数の発光素子を備え、それぞれの発光素子の点灯、消灯を個別に制御できるものが採用可能である。これに限らず、可動機構を備え、照明装置の位置、角度を制御可能なものでもよい。

上記可動機構が存在しない構成においては、同一平面にあるボンディングワイヤについて、照明装置の照射角度を変えながら複数枚の画像を撮ることでボンディングワイヤの３次元形状を計測することができるため、高速な検査が可能である。また、この構成は安価で実現することができる。

次に、図１のボンディングワイヤ形状検査装置１によって、ボンディングワイヤの形状の良否を判断する方法について以下順に説明する。ここでは、まず、図２を用いて、この検査装置の基本的な構成である照明装置とカメラについて、その機能を中心に説明する。

図２は、上記照明装置５の一例である光源７から、ボンディングワイヤ１０に対して照明光を照射した場合において、ボンディングワイヤ１０から反射される反射光の様子を示した図である。

この図２において、ボンディングワイヤ１０から反射される反射光には、カメラ２で明るく見える領域Ａからの反射光である正反射光と、カメラ２からは見え難い、領域Ａ以外の領域からの反射光である拡散反射光の、２種類の反射光が存在する。
すなわち、一般に、物体は、光源により照明光を当てられると、正反射光と拡散反射光を生ずる。この場合において、物体が金属である場合には、正反射光が強く、拡散反射光が弱くなる特性がある。ボンディングワイヤは金属であるため、ボンディングワイヤに照明光が当てられた場合には、正反射光が拡散反射光より強くなる。

本実施の形態１においては、ボンディングワイヤ１０に照明光を照射した場合、拡散反射光により、ボンディングワイヤ全体が均一に光ることとなる（図２の破線の矢印を参照）。
一方、このボンディングワイヤのうち、照明光に対して特定の角度を成している領域Ｒ（図２の点線で示した部分を参照）からは、カメラ２に対して正反射光が返ってくるため（図２の太い実線の矢印を参照）、ボンディングワイヤの領域Ｒ以外の領域に比べて明るく見える。

次に、上記の照明装置（光源）とカメラの構成を適用して、ボンディングワイヤの典型的な形状を例に、ボンディングワイヤの３次元形状の良否を判断する方法の概要について、図３Ａ、図３Ｂを用いて説明する。

ここで、図３Ａは、正常な形状のボンディングワイヤ１０ｎに照明光を照射した場合の正反射光の光路を概念的に示した図であり、図３Ｂは、形状が不良なボンディングワイヤ１０ａに照明光を照射した場合の正反射光の光路を概念的に示した図である。これらの図において、照明装置の角度位置は両方の図とも同じであり、角度位置Ｌである。

図３Ａより、正常な形状のボンディングワイヤ１０ｎに照明光を照射した場合には、明るく見える領域Ｒからの正反射光が、カメラ２の方向に到達することがわかる。一方、図３Ｂより、形状が不良なボンディングワイヤ１０ａに照明光を照射した場合には、正反射光がカメラ２の方向には到達しないことがわかる。
すなわち、図１に示すボンディングワイヤ形状検査装置１によって、ボンディングワイヤ形状の良否について判定可能なことがわかる。

そこで、以下では、さらに詳細に、ボンディングワイヤの３次元形状の良否を判断するための具体的方法について説明する。特に、画像による計測などを適用した計測手法について、フローチャートを用いて説明する。
なお、詳細な説明は省略するが、以下に詳しく説明する計測手法は、ボンディングワイヤの折れ曲がり、交差するボンディングワイヤ同士の接触、またはワイヤと構造物の接触を検出する場合にも適用可能である。

図４は、ボンディングワイヤ形状の良否に関し、３次元で判定するための計測手法の手順について、その概要をフローチャートとして示した図である。

最初に、ステップＳ１０において、ボンディングワイヤの平面形状計測を行う。この計測は、ボンディングワイヤの形状について、カメラ２の光軸に直交する平面をＰとすると、この平面Ｐ上の座標である（ｘ、ｙ）座標に投影した場合において、ボンディングワイヤ上の複数の点を平面Ｐ上に投影して、その複数の各点に対応した複数の（ｘ、ｙ）座標を計測することを意味する。なお、さらに詳しい計測方法については後述する。

次に、ステップＳ１１において、ボンディングワイヤの角度形状計測を行う。ここで、この角度θ（以下、角度形状θとも呼ぶ）は、上記平面Ｐに対して、被測定体であるボンディングワイヤが載置された角として定義される角である。この角度形状計測についてのさらに詳しい説明は後述する。

次に、ステップＳ１２において、ボンディングワイヤの頂点高さ計測を行う。ここで、頂点高さｚｔは、ボンディングワイヤ１０の頂点、すなわちz方向の高さが最大になる点である。この頂点高さ計測についてのさらに詳しい説明は後述する。

上記ボンディングワイヤの頂点高さ計測では、ボンディングワイヤ１０の頂点、すなわちz方向の高さが最大になる点をボンディングワイヤのフォーカス情報（ここでは、例えば、隣接画素との差分から、最も焦点の合っている画像を決定して、これをz方向の高さの最大点とした情報のこと）を基に計測する。これによってボンディングワイヤ１０の３次元形状をより正確に計測できる。

以上に述べた３項目の計測、すなわち、平面形状計測、角度形状計測、頂点高さ計測を、ボンディングワイヤ１０の複数の点で行い、各点において、上記計測した３種類のデータを基に、ステップＳ１３において、ボンディングワイヤの３次元形状を推定する。この推定した形状を予め計測して求めたボンディングワイヤのマスターデータ（基準となる３次元形状データ）の複数の点の値と比較することにより、ボンディングワイヤの３次元形状の良否を判定する（ステップＳ１４）。

次に、上記マスターデータと比較する方法の具体例について図５を用いて説明する。
図５において、点線は、基準となるボンディングワイヤ１０ｓの形状を２次元的に示したものである。一方、実線は、計測されたボンディングワイヤ１０ｍの形状を２次元的に示したものである。

この実線で示したボンディングワイヤ１０ｍ上の５個の点について、計測で得られたそれぞれのデータを、左から順に、ｐ１＝ｐ（（ｘ１、ｙ１）、ｚ１、θ１）、ｐ２＝ｐ（（ｘ２、ｙ２）、ｚ２、θ２）、ｐ３＝ｐ（（ｘ３、ｙ３）、ｚ３、θ３）、ｐ４＝ｐ（（ｘ４、ｙ４）、ｚ４、θ４）、ｐ５＝ｐ（（ｘ５、ｙ５）、ｚ５、θ５）、とした。
ここで、（ｘｍ、ｙｍ）（ここに、ｍは１から５の整数）は、平面形状計測で得たデータ、θｍ（ここに、ｍは１から５の整数）は、角度形状計測で得たデータ、ｚｍ（ここに、ｍは１から５の整数）は、頂点高さ計測で得たデータである。

上記ボンディングワイヤ１０ｍ上の５個の点のデータと、これらの各点に計測位置上で対応する、基準となるボンディングワイヤ１０ｓ上の５個の点（これらの点をｐ₀１、ｐ₀２、・・・、ｐ₀５と表記する）、との差（この差を図５に示すように、それぞれ、Δｐ１、Δｐ２、Δｐ３、Δｐ４、Δｐ５とする）を求め（例えば、Δｐ１＝｜ｐ１－ｐ₀１｜である）、（Δｐｍ）²（ここに、ｍは１から５の整数）のｍ＝１からｍ＝５までの各値を求めて加算し、この加算した値の平方根を求める。そして、次に、この平方根と、予め設定された閾値εとの大小関係を比較する。
この場合において、前記平方根が閾値ε以下であれば、ボンディングワイヤの３次元形状は良いと判定し、前記平方根が閾値εより大きい場合には、ボンディングワイヤの３次元形状は不良と判定する。以上がステップＳ１４の具体例である。

そこで、次に、図６、図７を用いて、ステップＳ１０のワイヤ平面形状計測の詳細について説明する。ここで、図６は、ステップＳ１０のワイヤ平面形状計測の詳細を説明するためのフローチャートであり、図７は、カメラ２で撮像されたボンディングワイヤ１０の画像の、（ｘ、ｙ）面上での座標点の集まりを示している。

図６のフローチャートにおいて、ステップＳ１００の照明点灯では、コンピュータ２１から、コントローラ２０を介して照明装置５を点灯させる。次のステップＳ１０１の撮像では、コンピュータ２１からカメラ２に撮像指令を出し、ボンディングワイヤ１０を撮像させる。そして、撮像した画像から、ボンディングワイヤ１０の画像を識別し、その複数の点における（ｘ、ｙ）平面上での位置座標を計測する。

次のステップＳ１０２の平面上での基準点計測では、被検査体のボンディングワイヤ１０の付近にある構造物、例えば図の左側に位置するボンディングパッド１１、の角部を基準点（ｘo，ｙo）として、この基準点の（ｘ、ｙ）平面上での位置座標を計測する。
ここで、ボンディングワイヤ１０の付近にボンディングパッド１１がある状態とは、ボンディングワイヤ１０の端点がボンディングパッド１１に接続されている場合における、ボンディングワイヤ１０の端点とボンディングパッド１１との位置関係を言う。

次のステップＳ１０３の平面上での始点計測では、上記基準点からの相対座標で、正常な位置に被検査体のボンディングワイヤ１０の始点(ｘｓ、ｙｓ)があるか否かを探索する。ボンディングワイヤ１０の始点(ｘｓ、ｙｓ)が正常な位置にあるかどうかは閾値ｔｈ₁と次の式（１）で判定する。

なお、上記説明では、ボンディングワイヤ１０の端の位置(ｘｓ、ｙｓ)を始点としたが、ワイヤの端の位置以外の点、例えば点(ｘ１、ｙ１)、を始点としても構わない。
また、正常な位置とは、例えば、図７に矩形状の枠で示したボンディングパッド１１内にボンディングワイヤ１０の端点(ｘｓ、ｙｓ)があることである。なお、このステップＳ１０３は、画像中の物体が被検査体のボンディングワイヤか否かを識別するために必要なステップである。

ステップＳ１０４の平面形状計測では、被検査体のボンディングワイヤ１０の始点(ｘｓ、ｙｓ)からワイヤの軌跡を辿り、ボンディングワイヤ１０の別の端点(ｘｅ、ｙｅ)に至るまでの複数の点で、ワイヤ形状（ワイヤの平面座標（ｘ、ｙ）の群）を順次、計測していく。例えば、図７では、点(ｘ１、ｙ１)、点(ｘ２、ｙ２)、・・・、点(ｘ５、ｙ５)を計測する。そして、図７に示すように、ボンディングワイヤの形状を、始点(ｘｓ、ｙｓ)と、中間点(ｘ１、ｙ１)、(ｘ２、ｙ２)…、（ｘｎ、ｙｎ）と、終点（ｘｅ、ｙｅ）の組として記録してもよいし、ワイヤの輪郭情報をそのまま記録してもよい。ここで、中間点の点数、間隔は、ボンディングワイヤ１０の長さ、カメラ２の画素分解能等を考慮して決定する。
なお、点(ｘｅ、ｙｅ)は、ボンディングパッド１１の始点(ｘｓ、ｙｓ)とは異なる、ボンディングパッド１２内の点であって、ボンディングワイヤ１０の別の端点が接続されている点である。また、左下の矢印ｘ、ｙは図７における平面座標（ｘ、ｙ）の方向を示す。

ところで、画像中に複数本のワイヤが存在し、被検査体のボンディングワイヤ１０の始点(ｘｓ、ｙｓ)が正常な位置に無かった場合、どのワイヤが被検査体のボンディングワイヤ１０かを識別することができない。

このような被検査体のボンディングワイヤ１０の識別ができなかった場合、そのワイヤについては、ステップＳ１０３以降のステップ（ステップＳ１０４）は行わなくてもよいし、被検査体のボンディングワイヤ１０の可能性が高いと思われるワイヤについて、以降のステップを継続してもよい。

例えば、被検査体のボンディングワイヤ１０の可能性が高いと思われるワイヤについては、閾値ｔｈ₂を用いて、次式（２）で判定する。被検査体のボンディングワイヤ１０の可能性が高いと思われるワイヤの中で式（２）を満たし、かつ式（２）の左辺が最も小さい値になったワイヤについて以降のステップを継続する。

次に、ワイヤ角度計測方法（図４のステップＳ１１）の詳細について、図８、図９、図１０を用いて以下で説明する。ここでは、ボンディングワイヤ１０の所定の平面（ここではレンズ３の光軸に直交する平面）に対する角度について、カメラ２から見た場合の、ボンディングワイヤ１０の奥行方向の角度として計測する。

まず、図８について説明する。上述のワイヤ角度計測方法を原理的に説明するための図が図８である。
この図８においては、光源７からの照明光をボンディングワイヤ１０が正反射し、それをカメラ２で撮像することで、カメラ２に対するボンディングワイヤ１０の奥行方向の角度を計測することができる。

図８に示したように、カメラ２に取り付けたレンズ３の光軸（この軸は、同時にカメラ２の光軸とも言える。よって、以降、この軸をカメラ２の光軸とも呼ぶ）に直交する面Ｐに対して、ボンディングワイヤが角度θで載置されているとする。この場合の、ボンディングワイヤに対する照明光の入射角、反射角をφとし、この入射角と反射角とで形成される角度をαとする。この角度αは、図に示したように、カメラ２の光軸に対する光源の設定位置を角度で表したものともなっていることから、以降、このαを照明装置の角度位置とも呼ぶ。

図８に示したような場合、すなわち、光源からの照射光によってボンディングワイヤ直上に配置されたカメラに正反射光が入射する場合には、ボンディングワイヤの角度形状θと照明光の入射角、反射角であるφとの間にθ＋φ＝９０°の関係が成り立つ。よって、このような場合には、結果としてα＝２θの関係が成り立つことがわかる。

以上により、照明光を正反射することでボンディングワイヤのある箇所が強く光った場合、このボンディングワイヤの当該箇所の形状を表す角度θが照明装置（光源）のレンズ光軸に対する角度位置αから計測できることがわかる。

次に、上記ボンディングワイヤ１０について説明した原理的なワイヤ角度計測方法を用いて、ボンディングワイヤ１０上の複数の点について、ワイヤ角度形状計測を行う方法について説明する。すなわち、ステップＳ１１で説明したワイヤ角度形状計測方法（図８中の角度θの計測）を用いて、照明装置のボンディングワイヤ１０に対する照射角度を変化させながら、ボンディングワイヤ１０の各計測点における角度θを計測する。以下では、この方法についてフローチャートを用いた図９により、ボンディングワイヤ１０の各計測点におけるワイヤ角度形状計測の詳細について説明する。

図９は、ステップＳ１１（図４参照）のワイヤ角度形状計測の詳細を示すフローチャートである。ステップＳ１１０の照明点灯では、コンピュータ２１から、コントローラ２０を介して照明装置５を点灯させる。次のステップＳ１１１の照明角度変更では、照明光のカメラの光軸に対する角度αをαｓ≦α≦αｅの範囲で変更する。ここで、αｓ、αｅは、ボンディングワイヤ１０の取りうる角度（θの変化の範囲）に応じて決定すればよい。なお、αｓからαｅまで、角度を変化させる際の変化量は必要な計測精度に応じて決定する。

ただし、上述の平面Ｐに対して垂直なボンディングワイヤ（この場合にはφ＝０°であり、θ＝９０°）の正反射光をカメラで撮像するためには、α＝１８０°、すなわちカメラ２の真下から照明光を照射することになるため、物理的な制約からこの構成においては、ボンディングワイヤの角度を計測することはできない。

次のステップＳ１１２のカメラ高さ変更では、照明装置の角度に合わせてカメラの高さをボンディングワイヤに対してピントが合うように調節する。この場合、ボンディングワイヤ１０の形状は良品であれば同じであるため、ある角度θで照明光をボンディングワイヤ１０に照射したとき、ワイヤのどの箇所が正反射光を返すかは既知である。このことから、ボンディングワイヤ１０の、カメラに正反射光が入射して明るく見える箇所にピントが合う位置にカメラの高さを調節する。
次のステップＳ１１３の撮像では、コンピュータ２１からカメラ２に撮像指令を出し、ワイヤを含む画像を撮像させる。
次のステップＳ１１４では、撮像した画像からボンディングワイヤの複数の各点での角度形状θを順次、計測する。

そこで、図１０により、照明光を角度αでボンディングワイヤ１０に照射したときについて、以下説明する。ステップＳ１０のワイヤ平面形状計測で計測した計測点（ｘｍ、ｙｍ）（ここで、ｍは１から５の整数）におけるワイヤ角度計測で計測した値をθｍ（ｍは１から５の整数）とすると、図１０に示した各計測点ｐ₂ｍ（ここで、ｍは１から５の整数）は、ｐ₂ｍ＝ｐ₂（（ｘｍ、ｙｍ）、θｍ）（ｍは１から５の整数）と表記できる。そして、計測点ｐ₂ｍの平面座標（ｘｍ、ｙｍ）に対応する箇所からの正反射光がカメラ２に入射し、明るく見える画像が撮像できたとする。

このとき、計測点ｐ₂３におけるボンディングワイヤ１０の角度θ３は、照明光の光軸に対する角度αから、θ３＝０．５αとして求めることができる。なお、図１０の左下に示す矢印（の組）は、この図における座標系（ｘ、ｚ）の方向を示す。ここで、ｘは上記平面座標系のｘ方向であり、ｚはボンディングワイヤ１０の高さ方向（カメラ２から見た場合の奥行方向。光軸方向でもある）である（以下の図においても同様）。
このようにして、ステップＳ１１１からステップＳ１１４を、上記αｓ≦α≦αｅの範囲で照明光の照射角度を変化させながらワイヤを撮像し、角度形状θを都度、計測していく。

次に、ワイヤ頂点高さ計測の方法（図４のステップＳ１２）の詳細について、図１１、図１２を用いて以下で説明する。ステップＳ１２のボンディングワイヤの頂点の高さを計測するワイヤ頂点高さ計測では、ボンディングワイヤ１０の頂点、すなわちz方向の高さが最大になる点を計測する。これによってボンディングワイヤ１０の３次元形状をより正確に計測できる。

図１１は、ボンディングワイヤ１０のワイヤ頂点高さ計測の詳細を示すフローチャートである。
まず、ステップＳ１２０の照明点灯では、ボンディングワイヤ１０の頂点を撮像するための照明装置を点灯する。照明光はボンディングワイヤ１０の頂点が強く反射するように、α＝９０°の角度で照射してもよいし、拡散反射光を利用して頂点部分が均一に光るような角度で照射してもよい。

次のステップＳ１２１のカメラ高さ変更ではボンディングワイヤ１０の頂点にピントが合う高さにカメラ位置を調節する。（ｘ、ｙ）座標平面上で見た場合の、ボンディングワイヤ１０の頂点の位置は、ステップＳ１１のワイヤ角度形状計測で、各計測点について計測したθが、θ＝０となる点、または隣り合う２つの計測点（これらの計測点における角度の計測値がθaおよびθｂとして）について、θa＜０＜θｂが成り立つ位置の何れかであると想定される。
ここで、カメラ高さの上限ｈｓと下限ｈｅは、ボンディングワイヤ１０の頂点が存在しうる範囲に応じて適宜決定する。上記ｈｓからｈｅまで高さを変化させる際の変化量（１回の位置変更による変化量）は必要な計測精度に応じて決定する。

次のステップＳ１２２の撮像で、コンピュータ２１からカメラ２に撮像指令を出し、ボンディングワイヤを撮像させる。
上記ステップＳ１２１からステップＳ１２２を繰り返し、異なる高さでボンディングワイヤ１０の頂点を撮像し、撮像した画像の集合を得る。
次のステップＳ１２３では、撮像した画像から、ボンディングワイヤ１０の頂点高さｚｔを決定する。

いま、ステップＳ１２１からステップＳ１２２を繰り返し、撮像した画像Ｉとカメラ高さｈについて、複数の組（Ｉ１、ｈ１）、（Ｉ２、ｈ２）、・・・、（Ｉｎ、ｈｎ）が得られたとし、この集合からボンディングワイヤ１０の頂点として最もピントが合っている画像を判定する。

この判定の際には、画像Ｉと、画像Ｉの画像処理フィルタの１つである、例えば８近傍のラプラシアンフィルタＦとにより、画像処理（例えば畳み込み積分）を行う。ここで、画像ＩとラプラシアンフィルタＦの各要素が下記の式（３）のように表されるとき、画像処理の結果は、例えば、畳み込み積分の要素Ｇにより、式（４）のように表される。

ずなわち、上記畳み込み積分の要素で表される画像処理を行い、得られた結果を基に画像を判定する。

ここで、ラプラシアンフィルタＦは、二次微分により、一般に、画像中の隣接する画素の画素値の差が大きい箇所を強調するため（例えば、特許文献２参照）、画像ｑにおけるボンディングワイヤの輝度値は、ピントの合っているときほど大きくなる。そして、画像ｑの中からボンディングワイヤの頂点と想定される点が写っている箇所を切り出し、切り出した範囲の画素値の総和Ｓを計算する。画素値の総和Ｓが最大となったときのカメラ高さｈとレンズ３の焦点距離から、ボンディングワイヤ１０の頂点高さｚｔが計測できる。

上記ステップＳ１０のワイヤ平面形状計測と、ステップＳ１１のワイヤ角度形状計測と、ステップＳ１２のワイヤ頂点高さ計測は、同時に行っても構わない。例えば、ある角度αで照明光を被測定体に照射して撮像して得た１枚の画像で、ワイヤ平面形状計測、ワイヤ角度形状計測、ワイヤ頂点高さ計測、を同時に行ってもよい。

次のステップＳ１３のワイヤ形状の推定では、ステップＳ１２のワイヤ頂点高さ計測で計測したボンディングワイヤ１０の頂点高さｚｔと、ステップＳ１１のワイヤ角度形状計測で計測したボンディングワイヤ１０の各計測点における角度θをもとに、他の計測点でのワイヤ高さを推定する。

図１２において、計測したボンディングワイヤ１０の頂点高さｚｔは、計測点ｐ３＝ｐ（（ｘ３、ｙ３）、ｚ３、θ３）、（ここで、ｚ３＝ｚｔ）、に対応するものとする。
また、他の計測点ｐ１、ｐ２、ｐ４、ｐ５も同様である（例えばｐ２＝ｐ（（ｘ２、ｙ２）、ｚ２、θ２）。ここで、（ｘ、ｙ）座標平面上での、計測点（ｘ３、ｙ３）（ここで、ｚ＝ｚ３＝ｚｔ、θ＝θ３）と、計測点（ｘ２、ｙ２）（ここで、ｚ＝ｚ２、θ＝θ２）との平面座標上での相対距離Ｌｘｙは次の式（５）で表せる。

このとき、隣の計測点のボンディングワイヤ高さｚ２は、上記Ｌｘｙとθ３を用いて次の式（６）で表せる。

これらを利用して全ての計測点についてボンディングワイヤ高さを推定することができる。なお、Ｌ１、Ｌ２、Ｌ３、Ｌ４は、それぞれ、（ｘ、ｚ）座標上での、上記ｐ１とｐ２との間隔、ｐ２とｐ３との間隔、ｐ３とｐ４との間隔、ｐ４とｐ５との間隔を表す。

ステップＳ１４（図４参照）のボンディングワイヤ形状の良否判定では、前ステップで計測したワイヤ形状の推定データをもとに、ワイヤ形状が良品かどうかを判定する。ここでは、上述のように、計測したワイヤ形状の推定データと、良品の（正常な形状の）ワイヤ形状データとを比較することで判定を行う。

また、必要に応じて別の判定条件を加えてもよい。例えば、ワイヤ同士が交差する場合、交差する箇所のワイヤ高さｚの差がある閾値より小さければワイヤ同士が接触している可能性があるとして不良品判定してもよい。
また、ワイヤと構造物の接触のおそれがある場合には、構造物の位置データとワイヤ形状データを比較して、それらの差と閾値との差を基に、接触が無いか否かを判定してもよい。

実施の形態２．
実施の形態２における被検査体の検査装置は、照明装置５に加えて、等間隔の平行線からなる格子を投影する照明装置、すなわち格子投影照明装置５０を備えている。
この格子投影照明装置５０を用いて、ステップＳ１１のワイヤ角度形状計測を行うことで、より高速に検査を行うことができる。

図１３は格子投影照明装置５０を用いてワイヤ角度形状を計測する方法を示す図である。
角度形状θのボンディングワイヤ１０に対して、格子投影照明装置５０から光軸に対する照射角度φで照明光を照射し、ボンディングワイヤ１０に格子模様が投影された画像をカメラ２で撮像し、格子間隔がＬ１であることが確認できたと仮定する。

このとき、上記照射角度φは、ボンディングワイヤ１０の角度形状θと、隣接する２つの格子間の間隔Ｄ１（平面Ｐ上での間隔）と、θ＝０、すなわち基準面Ｐに対して直交する方向から照明光を照射したときにできる格子の間隔Ｄ２を用いて下記の式（７）で表せる。

上記の式（７）を用いてボンディングワイヤ１０に投影された格子模様の間隔Ｌ１から、ボンディングワイヤ１０の角度θを計測することができる。この計測方法により、より高精度にボンディングワイヤ１０の角度θを計測することができる。
ステップＳ１１のワイヤ角度形状計測以外は、実施の形態１と同様であるので、ここでは詳細な説明を省略する。

実施の形態３．
実施の形態３における検査装置は、実施の形態１における検査装置の構成（照明装置５が任意の角度から照明光を照射できる構成）に加えて、スペクトル分布を有し所定の中心波長またはピーク波長を持つ照明光（所定のスペクトル分布を持つ照明光）を同時に異なる角度から照射できる構成にしたものである（図１４参照）。

このような構成により、例えば、中心波長λ１の照明光を角度α１から照射し、同時に中心波長λ２の照明光を角度α２から照射し、カメラ２で撮像することにより（図示せず）、ステップＳ１１におけるワイヤ角度形状計測における撮像回数を減らすことができるため、より高速に検査が可能となる。

さらに、ハイパースペクトルカメラ２ａを用いて、より多くの角度から同時に異なる中心波長またはピーク波長（図１４では、λａ、λｂ、λｃ、λｄ、λｅの５つの異なる中心波長またはピーク波長を持ち、スペクトル分布した特性を有する）を持つ照明光（異なるスペクトル分布を持つ照明光）を照射するようにすれば、同様にして、撮像回数を大幅に減らすことができる（図１４参照）。

なお、この図１４において、実線の矢印はドーム型の照明装置からボンディングワイヤ１０に照射される照明光を示し、点線の矢印は、上記照射光により、ボンディングワイヤ１０からハイパースペクトルカメラ２ａに向けて反射される正反射光を示している。また、ステップＳ１１のワイヤ角度形状計測以外は実施の形態１と同様である。

実施の形態４．
実施の形態１における検査装置において、カメラ２と照明装置５、もしくは、ステージ６に可動機構を備え、ボンディングワイヤ１０とカメラ２、照明装置５の位置関係を自由に変えられる構成にしてもよい（例えば図１５Ａ、図１５Ｂを参照）。このような構成としたものが、本実施の形態４に係る検査装置である。

上述の構成により、ステップＳ１１のワイヤ角度形状計測において、複雑な形状のボンディングワイヤ１０の３次元形状も計測することができる。例えば、図１５に示すような高低差のある構造物の間にボンディングワイヤ１０が存在する場合、真上から撮像して検査を行う場合においては、ワイヤの垂直に近い部分の角度計測は困難であるため、ボンディングワイヤのごく頂点の付近しか計測できない（図１５Ａの計測可能範囲Ｒａ参照）。

しかし、ボンディングワイヤ１０とカメラ２、照明装置５の位置関係を調節すれば、真上からでは計測できなかった箇所の角度計測も可能となるため（図１５Ｂの計測可能範囲Ｒａ参照）、複雑な形状のボンディングワイヤを計測するような場合でも、正確な角度計測を行うことができる。
なお、ステップＳ１１のワイヤ角度形状計測以外は実施の形態１と同様であるので、ここでは説明を省略する。

なお、以上で説明したコントローラ２０は、コンピュータ２１と同様に、ハードウェアの一例を図１６に示すような、プロセッサ１００と記憶装置１０１から構成される。記憶装置１０１は、図示していないランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置と、を具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ１００は、記憶装置１０１から入力されたプログラムを実行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ１００にプログラムが入力される。また、プロセッサ１００は、演算結果等のデータを記憶装置１０１の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。

本願は、様々な例示的な実施の形態及び実施例が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。具体的には被測定体の３次元計測に当たり、測定点の数は５個である場合について説明したが、測定点の数、測定範囲などは測定対象、あるいは測定目的に応じて変更することができる。具体的には、例えば、交差するワイヤ同士の接触の有無を計測する場合には、接触の可能性がある範囲に限定して、その限定された範囲に絞って計測することが可能であり、これにより計測時間を短縮できる。

１ 被検査体の形状検査装置、２ カメラ、２ａ ハイパースペクトルカメラ、３ レンズ、４ 高さ調節機構（調節機構）、５ 照明装置、６ ステージ、７ 光源、１０、１０ａ、１０ｍ、１０ｎ、１０ｓ ボンディングワイヤ、１１、１２ ボンディングパッド、２０ コントローラ、２１ コンピュータ、５０ 格子投影照明装置、１００ プロセッサ、１０１ 記憶装置

Claims (4)

1. 被検査体に対して移動可能に設けられ、前記被検査体を撮像するカメラ、
   前記カメラと前記被検査体の距離を調節するための調節機構、
   前記被検査体に光を照射する光源を有するとともに、この光源の位置が変更可能な照明装置、
   前記調節機構の動作を制御するとともに、前記照明装置の光源の位置変更動作、点灯動作、スペクトル分布の変更動作、および前記カメラが前記被検査体を撮像する動作、をそれぞれ制御するコントローラ、
   前記被検査体に対し、前記カメラと前記光源の位置を変更する動作、前記光源の点灯動作、前記光源のスペクトル分布を変更する動作、および前記カメラに前記被検査体を撮像する動作をそれぞれ指令する、動作指令を出力するコンピュータ、
   を備え、
   前記カメラの位置を移動させるとともに、前記被検査体に対する前記光源からの光の照射位置を変えて、前記被検査体を撮像し、撮像した画像を基に前記コンピュータにより前記被検査体の形状を推定して予め計測した基準となる被検査体の形状と比較することにより、前記被検査体の３次元形状を判別する、被検査体の形状検査装置、
   を用いた前記被検査体の形状検査方法であって、
   前記被検査体に対して、前記照明装置の位置を変更しつつ当該変更した位置ごとに、前記カメラの光軸に直交する平面へ前記被検査体を投影した場合の前記被検査体の平面位置と、前記カメラに前記被検査体からの正反射光が入射した場合の前記照明装置の角度位置から求まる前記被検査体の角度形状と、前記被検査体に対して前記カメラの光軸方向にカメラを移動させた場合にピントが合った位置で撮像した画像から求めた前記被検査体の頂点高さとから、前記被検査体の３次元形状を求め、前記被検査体の形状を判別する、
   ことを特徴とする被検査体の形状検査方法。
2. 被検査体に対して移動可能に設けられ、前記被検査体を撮像するカメラ、
   前記カメラと前記被検査体の距離を調節するための調節機構、
   前記被検査体に光を照射する光源を有するとともに、この光源の位置が変更可能な照明装置であって等間隔の平行線からなる格子を投影する格子投影照明装置、
   前記調節機構の動作を制御するとともに、前記照明装置の光源の位置変更動作、点灯動作、スペクトル分布の変更動作、および前記カメラが前記被検査体を撮像する動作、をそれぞれ制御するコントローラ、
   前記被検査体に対し、前記カメラと前記光源の位置を変更する動作、前記光源の点灯動作、前記光源のスペクトル分布を変更する動作、および前記カメラに前記被検査体を撮像する動作をそれぞれ指令する、動作指令を出力するコンピュータ、
   を備え、
   前記カメラの位置を移動させるとともに、前記被検査体に対する前記光源からの光の照射位置を変えて、前記被検査体を撮像し、撮像した画像を基に前記コンピュータにより前記被検査体の形状を推定して予め計測した基準となる被検査体の形状と比較することにより、前記被検査体の３次元形状を判別する、被検査体の形状検査装置、
   を用いた前記被検査体の形状検査方法であって、
   前記格子投影照明装置により前記被検査体に照射した際に得られる、前記被検査体に投影された格子模様を前記カメラで撮像して計測した格子間隔と、前記被検査体の角度形状とを基に、前記被検査体の３次元形状を計測して前記被検査体の形状の良否を判別する、
   ことを特徴とする被検査体の形状検査方法。
3. 前記カメラはハイパースペクトルカメラであり、
   前記照明装置は、前記被検査体に対して異なる角度位置から照射するとともに、異なるスペクトル分布を持つ光を照射する複数の光源を有し、
   前記照明装置が前記被検査体に対して複数の角度位置から同時に光を出射する被検査体の形状検査装置を用いた前記被検査体の形状検査方法であって、
   前記被検査体に対して複数の位置から同時に照明光を照射する、
   ことを特徴とする請求項１に記載の被検査体の形状検査方法。
4. 前記被検査体が移動可能なステージに搭載された被検査体の形状検査装置を用いた前記被検査体の形状検査方法であって、前記被検査体と前記カメラ、および前記照明装置との間の位置関係を変更して前記被検査体を計測する、
   ことを特徴とする請求項１に記載の被検査体の形状検査方法。

Images