JP6256249B2 - 計測装置、基板検査装置、及びその制御方法 - Google Patents

Description

本発明は、プリント基板に実装された部品のはんだ接合の状態を検査する技術に関し、特にはんだの三次元形状を計測する技術に関する。

プリント基板の表面実装ラインにおいて、リフロー後のはんだ接合の良否を検査する基板検査装置（外観検査装置とも呼ばれる）が広く利用されている。基板検査装置では、基板を撮影した画像からはんだの形状に関わる各種指標を計測し、その計測値に基づき電極又はランド（パッド）に対するはんだの接合状態を検査する。このとき、二次元情報である画像を用いてはんだの三次元形状を検査しなければならないため、従来より様々な処理手法が提案されている。

その一つとして、カラーハイライト照明法が知られている。カラーハイライト照明法とは、複数の色の光を互いに異なる入射角で基板に照射し、はんだ表面にその傾斜角に応じた色情報（カメラから見て正反射方向にある光源の色）が現れるようにした状態で撮像を行うことにより、はんだ表面の三次元形状を二次元の色相情報として捉える方法である。この方法は、通常のはんだ検査においては、はんだフィレットの形状を捉えるのに極めて有効であることがわかっている。また、画像の色情報からはんだ表面の傾斜角（勾配）を求め、勾配を積分することではんだ表面の三次元形状を復元する手法も提案されている（例えば特許文献１、２参照）。しかしながら、最近の表面実装ではフラックスの多いはんだが用いられる傾向があり、フラックスの影響ではんだ表面の光沢性（鏡面性）が部分的に低下するという問題が生じている。はんだ表面の光沢性が低下した部分では、照明光が拡散反射又は乱反射されることで、拡散光（白色光）に近い色が観測されたり、実際の傾斜角とは異なる色が観測されたりする。このような誤った色情報を部分的に含んだ画像を用いた場合、はんだ表面の傾斜角（勾配）を誤認識し、三次元形状の復元精度の低下を招いてしまう。

一方、位相シフト法と呼ばれる手法も知られている（例えば特許文献２、３、４参照）。位相シフト法とは、パタン光を物体表面に投影したときのパタンの歪み（位相の変化）を解析することにより物体表面の三次元形状を復元する手法である。しかしこの手法は、拡散物体（部品、電極、はんだペーストなど）や光沢性が低いはんだには有効であるが、はんだ表面の光沢性が高い場合にはパタン光の位相を適切に解析することが困難であり、はんだ表面の三次元形状（高さ情報）の計測誤差が大きくなるという問題がある。

このように、従来の提案手法にはそれぞれ利点・欠点があり、光沢性（鏡面性）の高いはんだと低いはんだのいずれをも正確に計測できる手法は存在しなかった。

なお、特許文献２では、カラーハイライト照明法と位相シフト法の互いの利点を組み合わる手法が提案されている。しかし、その手法は、カラーハイライト照明法で復元したはんだ表面の三次元形状を、位相シフト法で得られた高さに位置決めするというものにすぎず、フラックスの影響等によりはんだ表面の光沢性が低下した場合には三次元形状の復元精度が低下することは避けられない。

特開２０１０−７１８４４号公報 特表２０１３−５４３５９１号公報 特開２０１２−１４５４８４号公報 特開２０１３−２２１８６１号公報

本発明は上記実情に鑑みなされたものであって、はんだ表面の光沢性（鏡面性）の高低にかかわらず、又は、はんだ表面のなかに光沢性（鏡面性）の高い部分と低い部分が混在している場合でも、はんだ表面の三次元形状を精度良く計測可能な技術を提供することを目的とする。

上記目的を達成するため本発明では、異なる手法によりはんだの色情報と位相情報を取得し、色情報と位相情報のうち信頼度が高い方の情報を用いてはんだの三次元形状を生成する、という構成を採用する。

具体的には、本発明に係る計測装置は、はんだの三次元形状を計測する計測装置であって、複数の色の光を互いに異なる入射角で照射し、はんだの表面にその傾斜角に応じた色情報が現れるようにした状態で撮像された、第１の画像と、パタン光を投影し、はんだの表面にその高さに応じたパタンの位相情報が現れるようにした状態で撮像された、第２の画像とを取得する画像取得部と、はんだの表面上の各点について、前記第１の画像における色情報の信頼度を求める色信頼度計算部と、はんだの表面上の各点について、前記第２の画像における位相情報の信頼度を求める位相信頼度計算部と、はんだの表面上の各点の三次元情報を、前記第１の画像における色情報と前記第２の画像における位相情報のうち信頼度が高い方の情報を用いて求めることによって、はんだの三次元形状を生成するはんだ形状計測部と、を有することを特徴とする計測装置である。

本発明では、異なる照明法で撮像された２種類の画像（第１の画像、第２の画像）を用いる。第１の画像では、はんだの表面の傾斜角が色情報として現れており、第２の画像では、はんだの表面の高さが位相情報として現れている。いずれか一方の情報だけでもはんだの三次元形状を生成することが可能であるところ、本発明では、色情報の信頼度と位相情報の信頼度をそれぞれ求め、信頼度がより高い方の情報をはんだの三次元形状の生成に利用する。第１の画像の照明法は、原理的に、はんだの光沢性が高いほど精度が期待でき、第２の画像の照明法は、原理的に、はんだの光沢性が低いほど精度が期待できる。したがって、本発明のように２つの方法のうち信頼度が高い方（精度が期待できる方）を優先的に利用すれば、はんだ表面の光沢性（鏡面性）の高低にかかわらず、さらには、はんだ表面のなかに光沢性（鏡面性）の高い部分と低い部分が混在していたとしても、はんだ表面の三次元形状を精度良く計測することが可能となる。

前記はんだ形状計測部により得られたはんだの三次元形状を表す画像を表示装置に表示する結果出力部をさらに有するとよい。このような表示画像を見ることで、ユーザは計測対象のはんだの三次元形状を正確かつ直観的に把握できる。この表示画像は、はんだフィレット形状の検査、基板検査装置のティーチング（検査プログラム、判定基準などの設定）などに利用可能である。

前記色信頼度計算部は、前記第１の画像の画素の彩度又は明度に基づいて当該画素に対応するはんだの表面上の点の色情報の信頼度を求めるとよい。第１の画像の照明法では、はんだの表面の光沢性が高いほど（鏡面反射に近いほど）、彩度又は明度の高い色が観測されるからである。したがって、彩度又は明度の高さと正の相関をもつように、色情報の信頼度を設定することができる。信頼度は連続値でもよいし、二値又は多値でもよい。

前記第２の画像は、パタン光の位相を変えて撮像された複数の画像であり、前記位相信頼度計算部は、前記複数の画像の間における同一の画素の輝度の変化量に基づいて当該画素に対応するはんだの表面上の点の位相情報の信頼度を求めるとよい。第２の画像の照明法では、はんだの表面の光沢性が低いほど（拡散反射に近いほど）、パタン光の位相の変化が明りょうに現れ、同一の画素の輝度の変化量が大きくなるからである。したがって、同一画素の輝度の変化量と正の相関をもつように、位相情報の信頼度を設定することができる。信頼度は連続値でもよいし、二値又は多値でもよい。

前記第１の画像を色相ごとの領域に分割する多値化処理を行うことにより、各画素値が互いに異なる傾斜角範囲を表す多値画像を生成する色情報解析部と、前記第２の画像の位相情報から各画素に対応するはんだの表面の高さ情報を求める位相情報解析部と、をさらに有し、前記はんだ形状計測部は、前記多値画像の画素のうち色情報よりも位相情報の信頼度の方が高い画素について、その画素値を、前記位相情報解析部により求めた当該画素とその近傍画素の高さ情報から計算した傾斜角に基づき補正し、前記補正後の多値画像を用いてはんだの三次元形状を生成するとよい。第１の画像を多値化処理することによりノイズが除去される。よって、多値画像を基に傾斜角（勾配）を継ぎ合わせるなどすることで、はんだの三次元形状を簡単に且つ精度良く復元することができる。ただし、フラックスの影響などによりはんだの表面の一部に光沢性が低下している部分が含まれていると、その部分の色情報は正確でない（誤った傾斜角を示している）可能性があり、三次元形状の復元精度を低下させる。そこで、光沢性の低下により色情報の信頼度が低下し、逆に位相情報の信頼度が高くなっている画素については、位相情報から計算した傾斜角に基づき多値画像の色を補正する。これにより、光沢性が低下した部分の色情報（傾斜角情報）を位相情報で補完することができ、光沢性の高い部分と低い部分が混在していたとしても、はんだ表面全体の三次元形状を正確に復元することが可能となる。

前記第１の画像を色相ごとの領域に分割する多値化処理を行うことにより、各画素値が互いに異なる傾斜角範囲を表す多値画像を生成する色情報解析部と、前記第２の画像の位相情報から各画素に対応するはんだの表面の高さ情報を求める位相情報解析部と、をさらに有し、前記はんだ形状計測部は、前記位相情報解析部により求めた各画素の高さ情報のうち、位相情報よりも色情報の信頼度の方が高い画素の高さ情報を、前記多値画像から得られる当該画素の傾斜角の情報に基づき補正し、前記補正後の各画素の高さ情報を用いてはんだの三次元形状を生成することも好ましい。第２の画像の位相情報を用いればはんだの表面の高さ情報を求めることができる。ただし、はんだ表面の光沢性が低い場合には高さ情報の精度を期待できるが、光沢性が高い部分では位相情報が正確でない可能性があり、三次元形状の復元精度を低下させる。そこで、光沢性が高いために位相情報の信頼度が低下した画素については、信頼度の高い色情報から得られた傾斜角情報に基づき高さの補正を行う。これにより、光沢性が高い部分の位相情報（高さ情報）を色情報で補完することができ、光沢性の高い部分と低い部分が混在していたとしても、はんだ表面全体の三次元形状を正確に復元することが可能となる。

なお、本発明は、上記手段ないし機能の少なくとも一部を含む計測装置として捉えることができる。また、本発明は、当該計測装置で得られたはんだの三次元形状を用いてはんだの接合状態を検査する基板検査装置として捉えることもできる。また、本発明は、計測装置又は基板検査装置の制御方法や、その方法の各ステップをコンピュータに実行させるためのコンピュータプログラムや、当該プログラムを非一時的に記憶したコンピュータ読取可能な記憶媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、はんだ表面の光沢性（鏡面性）の高低にかかわらず、又は、はんだ表
面のなかに光沢性（鏡面性）の高い部分と低い部分が混在している場合でも、はんだ表面の三次元形状を精度良く計測することができる。

基板検査装置のハードウェア構成を示す模式図。 検査処理に関わる機能のブロック図。 Ｒ，Ｇ，Ｂの光を照射して撮像されるＣＨ画像の例。 パタン光を投影して撮像される位相画像の例。 検査処理の流れを示すフローチャート。 はんだ形状計測の処理の流れを示すフローチャート。 はんだ形状計測の手順を模式的に説明するための画像の例。

以下に図面を参照して、この発明を実施するための好ましい形態を例示的に詳しく説明する。ただし、以下の実施形態に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。

＜第１実施形態＞
（基板検査装置の構成）
図１を参照して、本発明の実施形態に係る計測装置を具備する基板検査装置の全体構成について説明する。図１は基板検査装置のハードウェア構成を示す模式図である。この基板検査装置１は、表面実装ラインにおける基板外観検査（例えば、リフロー後のはんだ接合状態の検査など）に好ましく利用されるものである。

基板検査装置１は、主な構成として、ステージ１０、計測ユニット１１、制御装置１２、情報処理装置１３、表示装置１４を備える。計測ユニット１１は、カメラ（イメージセンサ）１１０、照明装置１１１、投影装置（プロジェクタ）１１２を有している。

ステージ１０は、基板１５を保持し、検査対象となる部品１５０やはんだ１５１をカメラ１１０の計測位置に位置合わせするための機構である。図１に示すようにステージ１０に平行にＸ軸とＹ軸をとり、ステージ１０と垂直にＺ軸をとった場合、ステージ１０は少なくともＸ方向とＹ方向の２軸の並進が可能である。カメラ１１０は、光軸がＺ軸と平行になるように配置されており、ステージ１０上の基板１５を鉛直上方から撮像する。カメラ１１０で撮像された画像データは情報処理装置１３に取り込まれる。

照明装置１１１（１１１Ｒ，１１１Ｇ，１１１Ｂ）は、基板１５に対し異なる色（波長）の照明光ＲＬ，ＧＬ，ＢＬを照射する照明手段である。図１は照明装置１１１のＸＺ断面を模式的に示したものであり、実際には、同じ色の光を全方位（Ｚ軸回りの全方向）から照明可能なように照明装置１１１は円環状又はドーム形状を呈している。投影装置１１２は、基板１５に対し所定のパタンをもつパタン光ＰＬを投影するパタン投影手段である。投影装置１１２は、照明装置１１１の中腹に設けられた開口を通してパタン光ＰＬを投射する。投影装置１１２の数は一つでもよいが、パタン光ＰＬの死角をなくすために複数の投影装置１１２を設けるとよい。本実施形態では、異なる方位（対角の位置）に２つの投影装置１１２を配置している。照明装置１１１と投影装置１１２はいずれもカメラ１１０で基板１５を撮影するときに用いられる照明系であるが、照明装置１１１はカラーハイライト照明法ではんだの表面形状を計測する目的で用いられ、投影装置１１２は位相シフト法ではんだの表面形状を計測する目的で用いられる。

制御装置１２は、基板検査装置１の動作を制御する制御手段であり、ステージ１０の移
動制御、照明装置１１１の点灯制御、投影装置１１２の点灯制御やパタン変更、カメラ１１０の撮像制御などを担っている。

情報処理装置１３は、カメラ１１０から取り込まれた画像データを用いて、部品１５０やはんだ１５１に関する各種の計測値を取得したり、部品１５０の電極や基板上のランド（パッド）に対するはんだ接合の状態を検査する機能を有する装置である。表示装置１４は、情報処理装置１３で得られた計測値や検査結果を表示する装置である。情報処理装置１３は、例えば、ＣＰＵ（中央演算処理装置）、メモリ、補助記憶装置（ハードディスクドライブなど）、入力装置（キーボード、マウス、タッチパネルなど）を有する汎用のコンピュータにより構成することができる。なお、図１では、制御装置１２と情報処理装置１３と表示装置１４を別のブロックで示したが、これらは別体の装置で構成してもよいし、単一の装置で構成してもよい。

（機能構成）
図２は、情報処理装置１３が提供するはんだ形状計測及び検査処理に関わる機能の構成を示すブロック図である。はんだ形状計測処理に関わる機能として、画像取得部２０、色情報解析部２１、色信頼度計算部２２、位相情報解析部２３、位相信頼度計算部２４、はんだ形状計測部２５などを有し、検査処理に関わる機能として、検査部２６、検査プログラム記憶部２７、結果出力部２８などを有する。これらの機能は、情報処理装置１３のＣＰＵが補助記憶装置に格納されたプログラムを読み込み実行することにより実現されるものである。ただし、全部又は一部の機能をＡＳＩＣやＦＰＧＡなどの回路で構成してもよい。

画像取得部２０は、カメラ１１０から画像データを取り込む機能である。色情報解析部２１は、カラーハイライト照明法で撮像された画像から色情報を解析する機能であり、色信頼度計算部２２は、この画像の色情報の信頼度を求める機能である。また、位相情報解析部２３は、位相シフト法で撮像された画像からパタンの位相情報を解析する機能であり、位相信頼度計算部２４は、この画像の位相情報の信頼度を求める機能である。はんだ形状計測部２５は、色情報解析部２１で得られた色情報と位相情報解析部２３で得られた位相情報を基にはんだの三次元形状を生成する機能である。これらの機能の詳細については後述する。

検査部２６は、はんだ形状計測部２５で得られたはんだ表面の三次元形状データを基に、はんだフィレットの形状に関わる各種指標を計測（計算）し、これらの計測値を用いてはんだ接合の状態を検査する機能である。検査プログラム記憶部２７は、検査部２６における検査の項目や条件などを定義した検査プログラムを格納する機能である。検査プログラムには、例えば、検査対象のランドの位置及びサイズ、部品のサイズ、計測する指標の種類、指標ごとの判定基準値（良品と不良品を判定するための閾値や値域）などが定義されている。結果出力部２８は、はんだ形状計測部２５で得られたはんだの三次元形状や、検査部２６で得られた計測値や検査結果を画面出力する機能である。

（はんだ表面の傾斜角に応じた色情報の計測）
本実施形態では、はんだ表面の傾斜角を計測するために、いわゆるカラーハイライト照明法を利用する。カラーハイライト照明法とは、複数の色（波長）の光を互いに異なる入射角で基板に照射し、はんだ表面にその傾斜角に応じた色情報（カメラから見て正反射方向にある光源の色）が現れるようにした状態で撮像を行うことにより、はんだ表面の三次元形状を二次元の色相情報として捉える方法である。

図１を参照して、カラーハイライト照明法に用いる照明装置１１１の構成を説明する。照明装置１１１は、赤色光源１１１Ｒ、緑色光源１１１Ｇ、青色光源１１１Ｂの３つの円
環状の光源を、カメラ１１０の光軸を中心として同心円状に配置した構造を有している。各光源１１１Ｒ，１１１Ｇ，１１１Ｂは、赤色光ＲＬ、緑色光ＧＬ、青色光ＢＬの順に基板に対する入射角が大きくなるよう、仰角及び向きが調整されている。このような照明装置１１１は、例えば、ドーム形状の拡散板の外側にＲ，Ｇ，Ｂ各色のＬＥＤを円環状に配列することで形成できる。

図３（ａ）〜図３（ｃ）に、照明装置１１１を点灯した状態でカメラ１１０で撮影した場合に得られる画像データ（以下、カラーハイライト（ＣＨ）画像と呼ぶ）の例を示す。なお、図３（ａ）ははんだフィレットが良好な状態、図３（ｂ）ははんだが少ない状態、図３（ｃ）ははんだが過多の状態を示しており、各図の下段は、参考として、はんだを基板に平行な方向から見た図を示している。

これらの図に示すように、ＣＨ画像では、鏡面物体であるはんだ３１の部分に、その法線方向（傾斜角）に応じた色情報が現れる。例えば、図３（ａ）の場合には、部品電極３０から離れるほどはんだ３１の傾斜が緩やかになっていくため、はんだ３１の領域にＢ→Ｇ→Ｒという色相の変化が現れる。また、図１から分かるように、カメラ１１０の光軸に対する正反射方向が９０度に近い部分（青色光源１１１Ｂよりも下の部分）と０度に近い部分（カメラ１１０を配置する開口の部分）には光源がないため、はんだ３１の傾斜が垂直に近い部分と水平に近い部分には黒色が現れる。図３（ａ）〜図３（ｃ）に示すように、Ｒ，Ｇ，Ｂ，黒の各色の領域の形状、幅、現れる順番などは、はんだ３１の表面形状に依存して変化する。また、部品本体や電極３０の表面では拡散反射が支配的となるため、Ｒ，Ｇ，Ｂのような光源色ではなく、白色光で照明したときと同じ物体自体の色が現れる。したがって、ＣＨ画像の中から、はんだの領域のみを抽出し、Ｒ，Ｇ，Ｂ，黒の各領域の形状、幅、順番に基づき逆問題を解くことにより、はんだ３１の三次元形状を復元することが可能である。

（はんだ表面の高さに応じた位相情報の計測）
本実施形態では、はんだ表面の高さを計測（測距）するために、いわゆる位相シフト法を利用する。

位相シフト法とは、パタン光を物体表面に投影したときのパタンの歪みを解析することにより物体表面の三次元情報（高さ情報）を計測する手法の一つである。具体的には、投影装置１１２を用いて、所定のパタン（例えば輝度が正弦波状に変化する縞状パタン）を基板に投影した状態でカメラ１１０で撮影を行う。そうすると、図４に示すように、物体表面には、その凹凸に応じたパタンの歪みが現れる。このとき、光沢性が高いはんだ表面では鏡面反射が支配的となるため、パタンが正しく観測できないが、例えばフラックスなどの影響で光沢性が低下した部分では拡散反射成分が増加するため、パタンの観測が可能となる。この処理を、パタン光の輝度変化の位相を変化させながら複数回（例えば４回）繰り返すことで、図４に示すように輝度特徴の異なる複数枚の画像（以下、位相画像と呼ぶ）が得られる。各画像の同一画素の明るさ（輝度）は縞状パタンの変化と同一の周期で変化するはずであるから、各画素の明るさの変化に対して正弦波を当てはめることで、各画素の位相が分かる。そして、所定の基準位置（テーブル表面、基板表面など）の位相に対する位相差を求めることで、その基準位置からの距離（高さ）を算出することができる。

なお、本実施形態では、位相シフト法を用いたが、拡散物体の高さ情報を得ることができれば他の方法を用いても構わない。縞状や格子状のパタン光を物体に投影しそのパタンの歪みを画像解析することによって高さ情報を得る方法としては、例えば、光切断法、縞解析法、空間コード化法などがある。

（はんだ形状計測及び検査処理）
次に、図５、図６、図７を用いて、基板検査装置１で行われるはんだ形状計測及び検査処理の流れを説明する。図５及び図６は、処理の流れを示すフローチャートであり、図７は、はんだ形状計測の手順を模式的に説明するための画像の例である。

まず、制御装置１２が検査プログラムに従ってステージ１０を制御し、検査対象のはんだを計測位置（カメラ１１０の視野）に移動させる（ステップＳ５００）。そして、制御装置１２が照明装置１１１を点灯し（ステップＳ５０１）、赤色光ＲＬ、緑色光ＧＬ、青色光ＢＬを照射した状態でカメラ１１０で撮像を行う（ステップＳ５０２）。得られた画像データ（図３のＣＨ画像）は、画像取得部２０により情報処理装置１３に取り込まれる。照明装置１１１の消灯後、制御装置１２が投影装置１１２からパタン光を投影し（ステップＳ５０３）、カメラ１１０で撮像を行う（ステップＳ５０４）。位相シフト法を利用する場合、パタン光の位相を変えながらステップＳ５０３及びＳ５０４の処理が複数回実行される。本実施形態では、パタン光の位相を９０度ずつ変えながら４回の撮像を実行し、４枚の画像データを取得する。得られた複数枚の画像データ（図４の位相画像）は、画像取得部２０により情報処理装置１３に取り込まれる。なお、本実施形態では、照明装置１１１での撮影を先に実行したが、投影装置１１２での撮影を先に実行しても構わない。また、カメラ１１０の視野外に他の検査対象が存在する場合には、ステップＳ５００〜Ｓ５０４の処理を繰り返し実行してもよい。

以降は、情報処理装置１３で行われる処理となる。はんだ表面の三次元形状を計測する処理（ステップＳ５０５）の詳細を図６のフローに示す。

まず、ＣＨ画像に対する処理を説明する。色情報解析部２１は、ＣＨ画像からはんだ領域画像（以下、「第１のはんだ領域画像」又は単に「第１の画像」とも呼ぶ。）を抽出する（ステップＳ６００）。例えば、色情報解析部２１は、検査プログラムから基板上のランドの位置・大きさの情報を取得することでＣＨ画像の中のランド領域を特定するとともに、ＣＨ画像から部品（拡散物体）領域を認識し、ランド領域から部品領域を除いた領域を第１のはんだ領域画像として抽出することができる。図７の符号７０は、第１のはんだ領域画像の一例である。

次に、色情報解析部２１は、第１のはんだ領域画像７０に対し多値化処理を適用する（ステップＳ６０１）。多値化処理とは、画像を色相ごとの領域に分割（セグメンテーション）する処理である。照明装置１１１からは赤色光ＲＬ、緑色光ＧＬ、青色光ＢＬのみが照射されるため、はんだ表面が理想的な鏡面であれば、図３に示したようにＲ，Ｇ，Ｂの色相ごとの領域がきれいに分かれるはずである。しかし実際には、はんだ表面の微小な凹凸（マイクロファセット）などによる拡散反射成分や乱反射成分が混色やノイズを発生させるため、Ｒ，Ｇ，Ｂの色相間の境界があいまいになることが多い。多値化処理は、このような色相間の混色やノイズを除去するための前処理である。

例えば、色情報解析部２１は、第１のはんだ領域画像７０をＨＳＶ色空間の画像に変換した後、
・明度（Ｖ）が所定値より小さい画素 →黒画素
・色相（Ｈ）が０度±６０度の画素 →Ｒ画素
・色相（Ｈ）が１２０度±６０度の画素 →Ｂ画素
・色相（Ｈ）が２４０度±６０度の画素 →Ｇ画素
のように４値化し、さらに膨張・収縮などのノイズ除去処理を行うことで、多値画像７１を生成する。このようにして得られる多値画像７１は、はんだ表面の傾斜が緩やかな側から順に、黒色領域（傾斜角がほぼ水平な部分）、赤色領域（傾斜角が小さい部分）、緑色領域（傾斜角が中程度の部分）、青色領域（傾斜角が大きい部分）、黒色領域（傾斜角が
ほぼ垂直な部分）の５つの領域から構成される。なお、第１のはんだ領域画像７０の中に基板上のランド（パッド）の表面が含まれている場合には、ランドの領域も含めた６つの領域に分割される。各色領域とはんだ表面の傾斜角範囲との対応関係は、カメラ１１０、はんだ、各光源１１１Ｒ，１１１Ｇ，１１１Ｂの間の位置関係から幾何学的に定まる。

続いて、色信頼度計算部２２が、各画素の色情報の信頼度を計算する（ステップＳ６０２）。本実施形態では、第１のはんだ領域画像７０をＨＳＶ色空間の画像に変換した後、
・彩度（Ｓ）が閾値Ｔ１以上の画素 →信頼度＝１（高い）
・彩度（Ｓ）が閾値Ｔ１より小さい画素 →信頼度＝０（低い）
のように、彩度に基づいて信頼度を決定する。鏡面反射成分が強いほど彩度が高くなるからである。図７の７２は、色情報の信頼度マップ（黒画素が信頼度＝１（高い）、白画素が信頼度＝０（低い））の例である。はんだの表面内に、信頼度の高い部分（光沢性の高い部分）と信頼度の低い部分（光沢性の低い部分）とが混在していることが分かる。

次に、位相画像に対する処理を説明する。位相情報解析部２３は、４枚の位相画像のそれぞれからはんだ領域画像（以下、「第２のはんだ領域画像」又は単に「第２の画像」とも呼ぶ。）を抽出する（ステップＳ６０３）。図７の７３は、第２のはんだ領域画像の一例である。そして、位相情報解析部２３は、４枚の第２のはんだ領域画像６７の同一画素の輝度変化の位相を解析することで、各画素の高さを求める（ステップＳ６０４）。図７の７４は、第２のはんだ領域画像６７の各画素の高さ（Ｚ位置）を画素値で表現した高さマップである。

続いて、位相信頼度計算部２４が各画素の位相情報の信頼度を計算する（ステップＳ６０５）。本実施形態では、４枚の第２のはんだ領域画像７３の間における同一画素の輝度の変化量（最小輝度と最大輝度の差）を計算し、
・輝度の変化量が閾値Ｔ２以上の画素 →信頼度＝１（高い）
・輝度の変化量が閾値Ｔ２より小さい画素 →信頼度＝０（低い）
のように、位相情報の信頼度を決定する。パタン光が明りょうとなるほど輝度の変化量が大きくなるからである。図７の７５は、位相情報の信頼度マップ（黒画素が信頼度＝１（高い）、白画素が信頼度＝０（低い））の例である。はんだの表面内に、信頼度の高い部分（光沢性の低い部分）と信頼度の低い部分（光沢性の高い部分）とが混在していることが分かる。

なお、本実施形態ではＣＨ画像の処理の後に位相画像の処理を説明したが、二つの処理の順番はどちらが先でもよいし、並列に処理してもよい。また、閾値Ｔ１、Ｔ２については、サンプル画像を使った実験などに基づき適宜設定すればよい。閾値Ｔ１は、全ての色相で同じ閾値を用いてもよいし、色相に応じて閾値を変えてもよい。例えば、フラックスの影響により乱反射が起きると、はんだの上方から入射する光源色（本実施形態の場合は赤色）がカメラに観測されやすい傾向にあることから、赤味がかった色相に対する閾値を他の色相に対する閾値より大きくしてもよい。

次に、はんだ形状計測部２５が、色情報の信頼度マップ７２と位相情報の信頼度マップ７５を参照し、各画素の色情報の信頼度と位相情報の信頼度を比較する。もし、色情報の信頼度よりも位相情報の信頼度の方が高い画素が検出された場合には、はんだ形状計測部２５は、高さマップ７４から当該画素とその近傍画素（例えば隣接画素）それぞれの高さ情報を取得し、当該画素における高さの変化量（すなわち勾配）を計算し、傾斜角を求める。前述のとおり、傾斜角と色相の対応関係は既知であることから、高さマップ７４から求めた傾斜角を色（Ｒ，Ｇ，Ｂ，黒のいずれか）に変換できる。そして、はんだ形状計測部２５は、多値画像７１における当該画素の画素値（色）を、高さマップ７４から求めた色に置き換える。以上の処理を多値画像７１のすべての画素について行うことで、多値画
像７１の画素のうち色情報よりも位相情報の信頼度の方が高い画素の値（色）が、位相情報に基づき補正される（ステップＳ６０６）。図７の７６は、補正後の多値画像を示している。

その後、はんだ形状計測部２５は、補正後の多値画像７６から各画素（つまりはんだ表面上の各点）の傾斜角（勾配）を推定し、それらを継ぎ合わせることで、はんだの三次元形状を復元する（ステップＳ６０７）。このように計算された三次元形状のデータは、例えば高さマップの形式で保存される（図７の７７）。

図５のフローに戻り、検査部２６が、ステップＳ５０５で得られたはんだの三次元形状のデータを用いて、はんだの接合状態の検査を実施する（ステップＳ５０６）。このとき、三次元形状データを基に、部品又はランドに対するはんだの接合部分の形状などを立体的に且つ正確に捉えることができるため、従来に比べてより高精度な検査が可能となる。

最後に、結果出力部２８が、ステップＳ５０５で得られたはんだの三次元形状を表す画像や、ステップＳ５０６で得られた検査結果を表示装置に表示する（ステップＳ５０７）。このとき、上述した処理の過程で得られた各種の画像やマップ（図７参照）、計測値などを表示装置に表示してもよい。またこの表示画面上で、検査プログラムの修正（ティーチング）を行えるようにしてもよい。

（本実施形態の利点）
以上述べた本実施形態の構成によれば、カラーハイライト照明法と位相シフト法という異なる照明法で撮像された２種類の画像（第１のはんだ領域画像、第２のはんだ領域画像）を用い、色情報の信頼度と位相情報の信頼度をそれぞれ求め、信頼度がより高い方の情報をはんだの三次元形状の生成に利用する。カラーハイライト照明法は、原理的に、はんだの光沢性が高いほど精度が期待でき、位相シフト法は、原理的に、はんだの光沢性が低いほど精度が期待できる。したがって、本実施形態のように２つの方法のうち信頼度が高い方（精度が期待できる方）を優先的に利用すれば、はんだ表面の光沢性（鏡面性）の高低にかかわらず、はんだ表面の三次元形状を精度良く計測することが可能となる。

より詳しくは、フラックスの影響などによりはんだの表面の一部に光沢性が低下している部分が含まれていると、その部分の色情報は正確でない（誤った傾斜角を示している）可能性があり、三次元形状の復元精度を低下させる。そこで、光沢性の低下により、色情報の信頼度が低下し、逆に位相情報の信頼度が高くなっている画素については、位相情報から計算した傾斜角に基づき多値画像の色を補正する。これにより、光沢性が低下した部分の色情報（傾斜角情報）を位相情報で補完することができ、光沢性の高い部分と低い部分が混在していたとしても、はんだ表面全体の三次元形状を正確に復元することが可能となる。

しかも、異なる照明法で得られた情報が、はんだ表面の高さという一つの計測値に集約されるため、その計測値を用いての検査のロジックや判定基準を設計するのが容易になるという利点もある。

＜他の実施形態＞
上記の実施形態の説明は、本発明を例示的に説明するものに過ぎず、本発明は上記の具体的な形態には限定されない。本発明は、その技術的思想の範囲内で種々の変形が可能である。

例えば、上記実施形態では、色情報から得られた多値画像を位相情報に基づき補正する構成を採用したが、逆に、位相情報から得られた高さマップを色情報に基づき補正する構
成でもよい。その場合、図５及び図６の処理の流れは概ね同じであるが、ステップＳ６０６の補正処理の内容を次のように変えればよい。すなわち、はんだ形状計測部２５は、色情報の信頼度マップ７２と位相情報の信頼度マップ７５を参照し、各画素の色情報の信頼度と位相情報の信頼度を比較する。もし、位相情報の信頼度よりも色情報の信頼度の方が高い画素が検出された場合には、はんだ形状計測部２５は、多値画像７１から当該画素及びその近傍画素の傾斜角を求める。そして、はんだ形状計測部２５は、高さマップ７４における当該画素及びその近傍画素の高さ情報を、多値画像７１から得た傾斜角の情報に基づき補正する。例えば、高さマップ７４の中で信頼度が高い画素の高さを基準にして、傾斜角（勾配）を積み上げていけばよい。以上の処理を高さマップ７４のすべての画素について行うことで、高さマップ７４の画素のうち位相情報よりも色情報の信頼度の方が高い画素の値（高さ）が、色情報に基づき補正される。この補正後の高さマップが、はんだの三次元形状のデータとなる。このような処理でも上記実施形態と同じく、光沢性の高低にかかわらずはんだ表面全体の三次元形状を正確に復元することが可能となる。

また、上記実施形態では、カラーハイライト照明法としてＲ，Ｇ，Ｂの３色の光源を用いたが、光源色の数は３色より多くしてもよいし、光源の配置順も任意である。また、上記実施形態では、位相情報を得る手法として、位相シフト法を利用したが、光沢性が低い場合に有効な手法であれば他の照明法を利用してもよい。

また、上記実施形態では、色情報の信頼度と位相情報の信頼度をともに２値としたが、多値又は連続値で信頼度を表現することもできる。また信頼度として用いる指標の求めた方は上記実施形態のものに限られず、はんだ表面の光沢性（鏡面性）の高低と相関する指標であればどのような指標を用いてもよい。

１：基板検査装置
１０：ステージ、１１：計測ユニット、１２：制御装置、１３：情報処理装置、１４：表示装置
２０：画像取得部、２１：色情報解析部、２２：色信頼度計算部、２３：位相情報解析部、２４：位相信頼度計算部、２５：はんだ形状計測部、２６：検査部、２７：検査プログラム記憶部、２８：結果出力部
１１０：カメラ、１１１：照明装置、１１１Ｂ：青色光源、１１１Ｇ：緑色光源、１１１Ｒ：赤色光源、１１２：投影装置
ＲＬ：赤色光、ＢＬ：青色光、ＧＬ：緑色光、ＰＬ：パタン光

Claims (9)

1. はんだの三次元形状を計測する計測装置であって、
   複数の色の光を互いに異なる入射角で照射し、はんだの表面にその傾斜角に応じた色情報が現れるようにした状態で撮像された、第１の画像と、パタン光を投影し、はんだの表面にその高さに応じたパタンの位相情報が現れるようにした状態で撮像された、第２の画像とを取得する画像取得部と、
   はんだの表面上の各点について、前記第１の画像における色情報の信頼度を求める色信頼度計算部と、
   はんだの表面上の各点について、前記第２の画像における位相情報の信頼度を求める位相信頼度計算部と、
   はんだの表面上の各点の三次元情報を、前記第１の画像における色情報と前記第２の画像における位相情報のうち信頼度が高い方の情報を用いて求めることによって、はんだの三次元形状を生成するはんだ形状計測部と、
   を有することを特徴とする計測装置。
2. 前記はんだ形状計測部により得られたはんだの三次元形状を表す画像を表示装置に表示する結果出力部をさらに有する
   ことを特徴とする請求項１に記載の計測装置。
3. 前記色信頼度計算部は、前記第１の画像の画素の彩度又は明度に基づいて当該画素に対応するはんだの表面上の点の色情報の信頼度を求める
   ことを特徴とする請求項１又は２に記載の計測装置。
4. 前記第２の画像は、パタン光の位相を変えて撮像された複数の画像であり、
   前記位相信頼度計算部は、前記複数の画像の間における同一の画素の輝度の変化量に基づいて当該画素に対応するはんだの表面上の点の位相情報の信頼度を求める
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の計測装置。
5. 前記第１の画像を色相ごとの領域に分割する多値化処理を行うことにより、各画素値が互いに異なる傾斜角範囲を表す多値画像を生成する色情報解析部と、
   前記第２の画像の位相情報から各画素に対応するはんだの表面の高さ情報を求める位相情報解析部と、をさらに有し、
   前記はんだ形状計測部は、
   前記多値画像の画素のうち色情報よりも位相情報の信頼度の方が高い画素について、その画素値を、前記位相情報解析部により求めた当該画素とその近傍画素の高さ情報から計算した傾斜角に基づき補正し、
   前記補正後の多値画像を用いてはんだの三次元形状を生成する
   ことを特徴とする請求項１〜４のうちいずれか１項に記載の計測装置。
6. 前記第１の画像を色相ごとの領域に分割する多値化処理を行うことにより、各画素値が互いに異なる傾斜角範囲を表す多値画像を生成する色情報解析部と、
   前記第２の画像の位相情報から各画素に対応するはんだの表面の高さ情報を求める位相情報解析部と、をさらに有し、
   前記はんだ形状計測部は、
   前記位相情報解析部により求めた各画素の高さ情報のうち、位相情報よりも色情報の信頼度の方が高い画素の高さ情報を、前記多値画像から得られる当該画素の傾斜角の情報に基づき補正し、
   前記補正後の各画素の高さ情報を用いてはんだの三次元形状を生成する
   ことを特徴とする請求項１〜４のうちいずれか１項に記載の計測装置。
7. 請求項１〜６のうちいずれか１項に記載の計測装置と、
   前記計測装置により取得されたはんだの三次元形状のデータを用いて、部品又は基板に対するはんだの接合状態を検査する検査部と、
   を有することを特徴とする基板検査装置。
8. はんだの三次元形状を計測する計測装置の制御方法であって、
   複数の色の光を互いに異なる入射角で照射し、はんだの表面にその傾斜角に応じた色情報が現れるようにした状態で撮像された、第１の画像と、パタン光を投影し、はんだの表面にその高さに応じたパタンの位相情報が現れるようにした状態で撮像された、第２の画像とを取得するステップと、
   はんだの表面上の各点について、前記第１の画像における色情報の信頼度を求めるステップと、
   はんだの表面上の各点について、前記第２の画像における位相情報の信頼度を求めるステップと、
   はんだの表面上の各点の三次元情報を、前記第１の画像における色情報と前記第２の画像における位相情報のうち信頼度が高い方の情報を用いて求めることによって、はんだの三次元形状を生成するステップと、
   を有することを特徴とする計測装置の制御方法。
9. 請求項８に記載の計測装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images