JP7792298B2 - 検査装置 - Google Patents

Description

本発明は、検査装置に関する。

被検査体である電子部品等が実装された基板の外観を検査する検査装置においては、その基板のはんだ付けの状態が検査される（例えば、特許文献１参照）。また、近年では、鉛の含有量が少ないはんだが多数開発されている。そのため、組成の違いにより、性能の異なるはんだが開発されている（例えば、特許文献２参照）。

特開２０１２－０５３０１５号公報 特開２０１９－２０６０３２号公報

上述したように、近年、鉛の含有量が少ないはんだが多数開発されているが、品質保証等の観点から、基板ごとに使用されるはんだの種類は決められている。しかし、手違い等により決められたはんだとは異なる種類のはんだが使用される場合がある。このような場合に、現在の検査装置では、基板に使用されているはんだの種類を分類することができないという課題があった。

本発明はこのような課題に鑑みてなされたものであり、被検査体のはんだ表面に現れる凝固組織の形状（テクスチャ）の違いに基づいてはんだの種類を分類可能な検査装置を提供することを目的とする。

前記課題を解決するために、本発明に係る検査装置は、被検査体に対して異なる角度で照明光を照射する複数の光源と、前記被検査体を撮像する撮像部と、制御部と、を有し、前記制御部は、前記複数の光源の各々で前記被検査体に照明光を照射して、前記撮像部により前記被検査体上のはんだ部分を撮像し、前記複数の光源の各々に対応した画像データを取得する第１のステップと、前記複数の光源の各々に対応した画像データの前記被検査体上の同一の箇所に対応する画素毎に、当該画素の輝度値から前記被検査体の前記箇所の傾斜状態に対応付けられた色情報に変換したＲＧＢ画像データを生成する第２のステップと、前記ＲＧＢ画像データの画素毎に、前記色情報を、色相、彩度及び明度からなる情報に変換する第３のステップと、前記色相、彩度呼び明度からなる情報から前記はんだ部分の表面に現れる凝固組織の微細形状（テクスチャ）の特徴量を抽出し、前記特徴量に基づいて前記はんだ部分に使用されているはんだの種類を分類する第４のステップと、を実行する。

本発明の検査装置によれば、被検査体のはんだ表面に現れる凝固組織の形状（テクスチャ）の違いに基づいてはんだの種類を分類することができる。

検査装置の構成を説明するための説明図である。 照明ユニットの投射角度とその反射光の検出を説明するための説明図であって、（ａ）は照明ユニットの各照明源の投射角度を示し、（ｂ）は被検査体の検査面の状態の一例を示す。 ＨＳＶ表色系における色相と照明ユニットの照明源の投射角度との対応を説明するための説明図である。 画像合成処理の流れを示すフローチャートである。 はんだ種類分類処理の流れを示すフローチャートである。 特徴量マップの一例を示す説明図である。 第１の検査方法の流れを示すフローチャートである。 第２の検査方法の流れを示すフローチャートである。 第３の検査方法の流れを示すフローチャートである。 第４の検査方法の流れを示すフローチャートである。 第５の検査方法の流れを示すフローチャートである。

以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて本実施形態に係る検査装置１０の構成について説明する。この検査装置１０は、被検査体１２を撮像して得られる被検査体画像データを使用して被検査体１２を検査する装置である。被検査体１２は例えば、多数の電子部品が実装されている電子回路基板である。検査装置１０は、電子部品の実装状態の良否を被検査体画像データに基づいて特定する。この検査は通常、各部品に対し複数の検査項目について行われる。検査項目とはすなわち良否特定を要する項目である。検査項目には例えば、部品そのものの欠品や位置ずれ、極性反転などの部品配置についての検査項目と、はんだ付け状態や部品のリードピンの浮きなどの部品と基板との接続部についての検査項目とが含まれる。

検査装置１０は、被検査体１２を保持するための検査テーブル１４と、被検査体１２を照明し撮像する撮像ユニット２０と、検査テーブル１４に対し撮像ユニット２０を移動させるＸＹステージ１６と、撮像ユニット２０及びＸＹステージ１６を制御するための制御ユニット３０と、を含んで構成される。なお説明の便宜上、図１に示すように、検査テーブル１４の被検査体配置面をＸＹ平面とし、その配置面に垂直な方向（すなわち撮像ユニット２０による撮像方向（カメラユニット２１の光学系の光軸方向））をＺ方向とする。

撮像ユニット２０は、ＸＹステージ１６の移動テーブル（図示せず）に取り付けられており、ＸＹステージ１６によりＸ方向及びＹ方向のそれぞれに移動可能である。ＸＹステージ１６は例えばいわゆるＨ型のＸＹステージである。よってＸＹステージ１６は、Ｙ方向に延びるＹ方向ガイドに沿って移動テーブルをＹ方向に移動させるＹリニアモータと、Ｙ方向ガイドをその両端で支持しかつ移動テーブルとＹ方向ガイドとをＸ方向に移動可能に構成されている２本のＸ方向ガイドとＸリニアモータと、を備える。なおＸＹステージ１６は、撮像ユニット２０をＺ方向に移動させるＺ移動機構をさらに備えてもよいし、撮像ユニット２０を回転させる回転機構をさらに備えてもよい。検査装置１０は、検査テーブル１４を移動可能とするＸＹステージをさらに備えてもよく、この場合、撮像ユニット２０を移動させるＸＹステージ１６は省略されてもよい。

撮像ユニット２０は、カメラユニット２１と、ハーフミラー２２と、照明ユニット２３と、投射ユニット２４と、を含んで構成される。本実施形態に係る検査装置１０においては、カメラユニット２１、ハーフミラー２２、照明ユニット２３、及び投射ユニット２４は一体の撮像ユニット２０として構成されていてもよい。この一体の撮像ユニット２０において、カメラユニット２１、ハーフミラー２２、照明ユニット２３、及び投射ユニット２４の相対位置は固定されていてもよいし、各ユニットが相対移動可能に構成されていてもよい。また、カメラユニット２１、ハーフミラー２２、照明ユニット２３、及び投射ユニット２４は別体とされ、別々に移動可能に構成されていてもよい。なお、以降の説明ではハーフミラー２２を用いて被検査体１２を照明する場合について説明するが、ハーフミラー２２は無くてもよい。

カメラユニット２１は、対象物の２次元画像データを生成する撮像素子と、その撮像素子に画像を結像させるための光学系（例えばレンズ）とを含む。カメラユニット２１は例えばＣＣＤカメラである。カメラユニット２１の最大視野は、検査テーブル１４の被検査体載置区域よりも小さくてもよい。この場合、カメラユニット２１は、複数の部分画像に分割して被検査体１２の全体を撮像する。制御ユニット３０は、カメラユニット２１が部分画像を撮像して部分画像データを出力するたびに次の撮像位置へとカメラユニット２１が移動されるようＸＹステージ１６を制御する。制御ユニット３０は、部分画像データを合成して被検査体１２の全体画像データを生成する。

なお、カメラユニット２１は、２次元の撮像素子に代えて、１次元画像を生成する撮像素子を備えてもよい。この場合、カメラユニット２１により被検査体１２を走査することにより、被検査体１２の全体画像を取得することができる。

照明ユニット２３は、カメラユニット２１による撮像のための照明光を被検査体１２の表面に投射するよう構成されている。照明ユニット２３は、カメラユニット２１の撮像素子により検出可能である波長域から選択された波長または波長域の光を発する１つまたは複数の光源を備える。照明光は可視光には限られず、紫外光やＸ線等を用いてもよい。光源が複数設けられている場合には、各光源は異なる波長の光（例えば、赤色、青色、及び緑色）を異なる投光角度で被検査体１２の表面に投光するよう構成される。

本実施形態に係る検査装置１０において、照明ユニット２３は、被検査体１２の検査面（すなわち撮像ユニット２０に対向する面（Ｘ－Ｙ面））に垂直に照明光を投射する落射照明源２３ａと、被検査体１２の検査面に対し斜め方向から照明光を投射する側方照明源（本実施形態では、上位光源２３ｂ、中位光源２３ｃ及び下位光源２３ｄからなる）と、を備えている。なお、カメラユニット２１の光学系の光軸上にはハーフミラー２２が配置されており、落射照明源２３ａから放射された照明光の一部は、このハーフミラー２２で反射され、当該光軸上を通って被検査体１２に投射されるように構成されている。ここで、ハーフミラー２２の代わりにハーフプリズムを用いてもよい。また、本実施形態に係る検査装置１０においては、側方照明源２３ｂ、２３ｃ、２３ｄはそれぞれリング照明源であり、カメラユニット２１の光軸を包囲し、被検査体１２の検査面に対し斜めに照明光を投射するように構成されている。これらの側方照明源２３ｂ，２３ｃ，２３ｄの各々は、複数の光源が円環状に配置されて構成されていてもよい。なお、側方照明源である上位光源２３ｂ、中位光源２３ｃ及び下位光源２３ｄは、それぞれ、検査面に対して異なる角度で照明光を投射するように構成されている。

また、側方照明源である上位光源２３ｂ、中位光源２３ｃ及び下位光源２３ｄの各々は、１つのリング照明源で構成してもよいし、複数のリング照明源を含んでもよい。例えば、落射照明源２３ａはカメラユニット２１の側部に取り付けられ、側方照明源のうち、上位光源２３ｂは１つのリング照明ユニットとして構成され、中位光源２３ｃ及び下位光源２３ｄが一体になった１つのリング照明ユニットとして構成することができる。なお、本実施形態において、落射照明源２３ａは赤色照明源であり、側方照明源のうち、上位光源２３ｂ及び下位光源２３ｄは赤色照明源であり、側方照明源のうち、中位光源２３ｃは緑色照明源、青色照明源及び赤色照明源で構成されている。

このように、本実施形態の説明では、被検査体１２に異なる角度から照明光を照射する４種類の光源を用いる場合について説明するが、光源の種類（数）は４つに限定されることはなく、落射照明源２３ａのみでもよいし、落射照明源２３ａと側方照明源２３ｂ～２３ｄのいずれかとの組み合わせでもよいし、側方照明源２３ｂ～２３ｄまたはこれらのうちのいくつかだけでもよい。また、光源２３ａ～２３ｄのいずれか一つの光源でもよく、その場合、単色の光源によるモノクロの画像を取得するように構成してもよい。

図１においては参考のため、落射照明源２３ａから投射され被検査体１２の検査面で反射してカメラユニット２１に投影される光束を破線の矢印で示している。ここで、被検査体１２の検査面で反射した光はハーフミラー２２に入射し、一部の光が透過してカメラユニット２１に入射する。また、側方照明源２３ｂ、２３ｃ、２３ｄ及び投射ユニット２４からの投射も同様に破線の矢印で示しており、一例として、上位光源２３ｂから投射され被検査体１２の検査面で反射してカメラユニット２１に入射する光束も示している。ここで、被検査体１２の表面は説明の便宜上、平面として図示しているが、実際には一般の被検査体のように、部位により傾斜や高さを有している。

投射ユニット２４は、被検査体１２の検査面にパターンを投射する。パターンが投射された被検査体１２は、カメラユニット２１により撮像される。なお、図示される実施例においては上位光源２３ｂと中位光源２３ｃとの間に投射ユニット２４が設けられているが、投射ユニット２４の配置はこれに限られず、例えば下位光源２３ｄの外側に投射ユニット２４が設けられてもよい。

検査装置１０は、投射ユニット２４からパターンが投射された状態で撮像された被検査体１２のパターン画像データに基づいて被検査体１２の検査面の高さマップを作成する。制御ユニット３０は、投射パターンに対するパターン画像の局所的な不一致を検出し、その局所的な不一致に基づいてその部位の高さを求める。つまり、投射パターン（投射ユニット２４から被検査体１２に投射されるパターン）に対する撮像パターン（被検査体１２に投射されカメラユニット２１で撮像されたパターン）の変化が、検査面上の高さ変化に対応する。

ここで、投射パターンは、明線と暗線とが交互に周期的に繰り返される１次元の縞パターンであることが好ましい。投射ユニット２４は、被検査体１２の検査面に対し斜め方向から縞パターンを投影するよう配置されている。被検査体１２の検査面における高さの非連続は、縞パターン画像においてパターンのずれとして表れる。よって、パターンのずれ量から高さ差を求めることができる。本実施形態に係る検査装置１０においては、サインカーブに従って明るさが変化する縞パターンを用いるＰＭＰ（Ｐｈａｓｅ Ｍｅａｓｕｒｅｍｅｎｔ Ｐｒｏｆｉｌｏｍｅｔｒｙ）法により制御ユニット３０は高さマップを作成する。ＰＭＰ法においては縞パターンのずれ量がサインカーブの位相差に相当する。

投射ユニット２４は、パターン形成装置と、パターン形成装置を照明するための光源と、パターンを被検査体１２の検査面に投影するための光学系と、を含んで構成される。パターン形成装置は例えば、液晶ディスプレイ等のように所望のパターンを動的に生成しうる可変パターニング装置であってもよいし、ガラスプレート等の基板上にパターンが固定的に形成されている固定パターニング装置であってもよい。パターン形成装置が固定パターニング装置である場合には、固定パターニング装置を移動させる移動機構を設けるか、あるいはパターン投影用の光学系に調整機構を設けることにより、パターンの投影位置を可変とすることが好ましい。また、投射ユニット２４は、異なるパターンをもつ複数の固定パターニング装置を切替可能に構成されていてもよい。

投射ユニット２４は、カメラユニット２１の周囲に複数設けられていてもよい。複数の投射ユニット２４は、それぞれ異なる投射方向から被検査体１２にパターンを投影するよう配置されている。このようにすれば、検査面における高さ差によって影となりパターンが投影されない領域を小さくすることができる。

図１に示す制御ユニット３０は、本装置全体を統括的に制御するもので、ハードウエアとしては、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現され、ソフトウエアとしてはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

図１には、制御ユニット３０の構成の一例が示されている。制御ユニット３０は、検査制御部３１と記憶部であるメモリ３５とを含んで構成される。検査制御部３１は、高さ測定部３２と検査データ処理部３３と検査部３４とを含んで構成される。また、検査装置１０は、ユーザまたは他の装置からの入力を受け付けるための入力部３６と、検査に関連する情報を出力するための出力部３７とを備えており、入力部３６及び出力部３７はそれぞれ制御ユニット３０に接続されている。入力部３６は例えば、ユーザからの入力を受け付けるためのマウスやキーボード等の入力手段や、他の装置との通信をするための通信手段を含む。出力部３７は、ディスプレイやプリンタ等の公知の出力手段を含む。

検査制御部３１は、入力部３６からの入力及びメモリ３５に記憶されている検査関連情報に基づいて、検査のための各種制御処理を実行するよう構成されている。検査関連情報には、被検査体１２の２次元画像データ、被検査体１２の高さマップ、及び基板検査データ（検査データ）が含まれる。検査に先立って、検査データ処理部３３は、すべての検査項目に合格することが保証されている被検査体１２の２次元画像データ及び高さマップを使用して基板検査データを作成する。検査部３４は、作成済みの基板検査データと、検査されるべき被検査体１２の２次元画像データ及び高さマップとに基づいて検査を実行する。

基板検査データは基板の品種ごとに作成される検査データである。基板検査データはいわば、その基板に実装された部品ごとの検査データの集合体である。各部品の検査データは、その部品に必要な検査項目、各検査項目についての画像上の検査区域である検査ウインドウ、及び各検査項目について良否特定の基準となる検査基準を含む。検査ウインドウは各検査項目について１つまたは複数設定される。例えば部品のはんだ付けの良否を特定する検査項目においては通常、その部品のはんだ付け領域の数と同数の検査ウインドウがはんだ付け領域の配置に対応する配置で設定される。また、被検査体画像データに所定の画像処理をした画像データを使用する検査項目については、その画像処理の内容も検査データに含まれる。

検査データ処理部３３は、基板検査データ作成処理として、その基板に合わせて検査データの各項目を設定する。例えば検査データ処理部３３は、その基板の部品レイアウトに適合するように各検査ウインドウの位置及び大きさを各検査項目について自動的に設定する。検査データ処理部３３は、検査データのうち一部の項目についてユーザの入力を受け付けるようにしてもよい。例えば、検査データ処理部３３は、ユーザによる検査基準のチューニングを受け入れるようにしてもよい。検査基準は高さ情報を用いて設定されてもよい。

検査制御部３１は、基板検査データ作成の前処理として被検査体１２の撮像処理を実行する。この被検査体１２はすべての検査項目に合格しているものが用いられる。撮像処理は上記のように、照明ユニット２３により被検査体１２を照明しつつ撮像ユニット２０と検査テーブル１４との相対移動を制御し、被検査体１２の部分画像を順次撮像して部分画像データを取得することにより行われる。被検査体１２の全体がカバーされるように複数の部分画像データが撮像される。検査制御部３１は、これら複数の部分画像データを合成し、被検査体１２の検査面全体を含む基板全面画像データを生成する。検査制御部３１は、メモリ３５に基板全面画像データを記憶する。

また、検査制御部３１は、高さマップ作成のための前処理として、投射ユニット２４により被検査体１２にパターンを投射しつつ撮像ユニット２０と検査テーブル１４との相対移動を制御し、被検査体１２のパターン画像を分割して順次撮像してパターンが投射されたときの分割画像データを取得する。投射されるパターンは好ましくは、ＰＭＰ法に基づきサインカーブに従って明るさが変化する縞パターンである。検査制御部３１は、撮像により得られた分割画像データを合成し、被検査体１２の検査面全体の画像データであるパターン画像データを生成する。検査制御部３１は、メモリ３５にパターン画像データを記憶する。なお、全体ではなく検査面の一部についてパターン画像データを生成するようにしてもよい。

高さ測定部３２は、パターン画像データの撮像パターンに基づいて被検査体１２の検査面全体の高さマップを作成する。高さ測定部３２はまず、パターン画像データと基準パターン画像データとの局所的な位相差を画像全体について求めることにより、被検査体１２の検査面の位相差マップを求める。基準パターン画像データとは、投射ユニット２４により投射されたパターン画像（つまり投射ユニット２４に内蔵されているパターン形成装置が生成した画像データ）である。高さ測定部３２は、高さ測定の基準となる基準面と位相差マップとに基づいて被検査体１２の高さマップを作成する。基準面は例えば、検査される電子回路基板の基板表面である。基準面は必ずしも平面ではなくてもよく、基板の反り等の変形が反映された曲面であってもよい。基準面は、ユーザの入力等により予め指定されてもよいし、例えば後述の基板表面高さ測定方法により個々の基板ごとに求めてもよい。

高さ測定部３２は、具体的には、撮像パターン画像データの各画素と、当該画素に対応する基準パターン画像データの画素とで縞パターンの位相差を求める。高さ測定部３２は、位相差を高さに換算する。高さへの換算は、当該画素近傍における局所的な縞幅を用いて行われる。撮像パターン画像データ上の縞幅が場所により異なるのを補間するためである。検査面上での位置により投射ユニット２４からの距離が異なるために、基準パターンの縞幅が一定であっても、検査面のパターン投影領域の一端から他端へと線形に縞幅が変化してしまうからである。高さ測定部３２は、換算された高さと基準面とに基づいて基準面からの高さを求め、被検査体１２の高さマップを作成する。

検査制御部３１は、被検査体１２の高さマップが有する高さ情報を被検査体１２の２次元画像の各画素に対応づけることにより、高さ分布を有する被検査体画像データを作成してもよい。また、検査制御部３１は、高さ分布付き被検査体画像データに基づいて被検査体１２の３次元モデリング表示を行うようにしてもよい。また、検査制御部３１は、２次元の被検査体画像データに高さ分布を重ね合わせて出力部３７に表示してもよい。例えば、被検査体画像データを高さ分布により色分け表示するようにしてもよい。なお、本実施形態に係る検査装置１０において、投射ユニット２４及びこの投射ユニット２４による被検査体１２の高さ測定処理は実装しなくてもよい。

それでは、照明ユニット２３を用いて撮像した画像データの処理方法について説明する。上述したように、本実施形態に係る検査装置１０において、照明ユニット２３を構成する光源（落射照明源２３ａ、並びに、側方照明源である上位光源２３ｂ、中位光源２３ｃ及び下位光源２３ｄ）は、図２（ａ）に示すように、被検査体１２の基準面（被検査体１２の検査面であって、検査装置１０の設置面に対して略平行な面）に対して、異なる投射角度になるように配置されている。具体的には、落射照明源２３ａからの照明光は、カメラユニット２１の光学系の光軸Ｌに沿って、すなわち、基準面に対して略垂直に投射され、また、上位光源２３ｂ、中位光源２３ｃ及び下位光源２３ｄの順序で、投射角度が水平方向に近づくように投射される。

照明ユニット２３の各光源２３ａ～２３ｄの各々から投射され、被検査体１２で反射した光のうち、被検査体１２で反射して直接カメラユニット２１に入射する光以外の強度は、理想的には０になる、すなわち、被検査体１２の検査面の基準面に対する角度（傾斜状態）に応じて、照明ユニット２３の各光源２３ａ～２３ｄのうち、この検査面で反射した光がカメラユニット２１に直接入射する光源による反射光の強度は大きくなり、それ以外の光源による反射光の強度は０になる。例えば、被検査体１２の検査面に、図２（ｂ）に示す断面のはんだが形成されていた場合、そのはんだの表面の基準面に対する角度に応じて、カメラユニット２１の撮像素子により検出される、照明ユニット２３の各光源２３ａ～２３ｄによる照明光の反射光の強度が変化する。本実施形態では、基準面に対して０°～１５°の傾斜面は、落射照明源２３ａからの光の反射光の強度が大きくなり、１５°～４５°の傾斜面は、上位光源２３ｂからの光の反射光の強度が大きくなり、４５°～６５°の傾斜面は、中位光源２３ｃからの光の反射光の強度が大きくなり、６５°～８５°の傾斜面は、下位光源２３ｄからの光の反射光の強度が大きくなるように構成されている。なお、照明ユニット２３の各光源２３ａ～２３ｄと、被検査体１２の傾斜面の角度との関係は一例であり、この構成に限定されることはない。

以上より、照明ユニット２３の各光源２３ａ～２３ｄの各々を点灯してカメラユニット２１で撮像して得られた画像データの各々の画素の強度は、上述した傾斜面の角度と一致しているときに大きくなり、一致していないときは０に近い値になる。

そこで、本実施形態に係る検査装置１０では、照明ユニット２３の各光源２３ａ～２３ｄのそれぞれから照明光を投射してカメラユニット２１で撮像して得られた画像データから、Ｒ（赤色）成分、Ｇ（緑色）成分、Ｂ（青色）成分の画像を生成し、さらに、この３つの画像を合成することによりＲＧＢ画像（カラー画像）を生成して、被検査体１２の検査面の傾斜の状態を表現するように構成されている。

図３に示すように、色を、色相Ｈ、彩度Ｓ及び明度Ｖで表現した場合（ＨＳＶ表色系で表現した場合）、色相Ｈは円の角度で表され、彩度Ｓ及び明度Ｖは互いに直交する方向の大きさで表される。また、この色相Ｈにおいて、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）は、各々１２０°離れた位置にある。そのため、上位光源２３ｂからの光を投射した反射光により得られた画像データ、すなわち、本実施形態では、１５°～４５°の傾斜面からの反射光を検出した画像データ（図３においては「Ｔｏｐ」と呼ぶ）をＲ（赤色）に割り当て、中位光源２３ｃからの光を投射した反射光により得られた画像データ、すなわち、４５°～６５°の傾斜面からの反射光を検出した画像データ（図３において「Ｓｉｄｅ」と呼ぶ）をＧ（緑色）に割り当て、下位光源２３ｄからの光を投射した反射光により得られた画像データ、すなわち、６５°～８５°の傾斜面からの反射光を検出した画像データ（図３においては「Ｌｏｗ」と呼ぶ）をＢ（青色）に割り当てることにより、これらの画像データを合成して得られたＲＧＢ画像データ（カラー画像データ）からは、傾斜状態に応じて、ＲＧＢで表現された画像データを得られることができるので、この画像データの色から、被検査体１２の検査面の傾斜状態を把握することができる。また、上述したように、照明ユニット２３の側方照明源２３ｂ～２３ｄの投射角度と色相Ｈとを対応させることにより、Ｒ（赤色）で表現される１５°～４５°よりも小さい、０°～１５°の傾斜面からの反射光を検出した画像データ（図３においては「Ｃｏａｘｉｓ」と呼ぶ）を、Ｒ（赤色）とＢ（青色）の中間の色（紫）で表示させることができるので、照明ユニット２３として、投射角度の異なる４つ以上の光源を用いた場合でも、ＲＧＢ画像データ（カラー画像データ）により被検査体１２の検査面の傾斜状態を明確に表現することができる。すなわち、図２（ｂ）に示すはんだの状態を、ＲＧＢ画像（カラー画像）から判断することができる。

なお、照明ユニット２３の各光源２３ａ～２３ｄから照射される照明光の色と、これらの光源２３ａ～２３ｄの各々から照射された光による反射光を撮像して得られた画像データを割り当てる色（ＲＧＢ）とは一致する必要はないため（色相Ｈは、被検査体１２の検査面の傾斜状態（角度）を表しているため）、カメラユニット２１の撮像素子はカラーである必要はない（光の強度を検出できればよい）。なお、ＲＧＢ画像データ（カラー画像データ）の生成において、強度の違いは、彩度Ｓ又は明度Ｖで表現される。

なお、光源２３ａ～２３ｄは、順次点灯してカメラユニット２１で被検査体１２の画像を撮像してもよいし、カメラユニット２１を、カラー画像データを取得できるカメラで構成して、光源２３ａ～２３ｄを同時に点灯して、被検査体１２の画像を一度で撮像してもよい。この場合、１枚のカラー画像データから、Ｒ（赤色）成分の画像データ、Ｇ（緑色）成分の画像データ及びＢ（青色）成分の画像データを取得することができる。

それでは、図４を用いて、制御ユニット３０の検査制御部３１の画像合成処理について説明する。なお、上述したように、検査制御部３１により、ＸＹステージ１６が制御され、被検査体１２の検査面の、落射照明源２３ａにより照明されたときの画像データ（以下、「Ｃｏａｘｉｓ画像」と呼ぶ）、上位光源２３ｂにより照明されたときの画像データ（以下、「Ｔｏｐ画像」と呼ぶ）、中位光源２３ｃにより照明されたときの画像データ（以下、「Ｓｉｄｅ画像」と呼ぶ）、及び、下位光源２３ｄにより照明されたときの画像データ（以下、「Ｌｏｗ画像」と呼ぶ）が取得され、各画素の強度がメモリ３５に記憶されているものとする。なお、以降の説明において、被検査体１２の検査面を撮像した画像データ（被検査体画像データ）は、Ｍ×Ｎの画素（Ｍ，Ｎは正の整数）で構成されているものとし、画素（ｉ，ｊ）に対する落射照明源２３ａの画像データ（Ｃｏａｘｉｓ画像）の記憶領域をＡｃ（ｉ，ｊ）とし、上位光源２３ｂの画像データ（Ｔｏｐ画像）の記憶領域をＡｔ（ｉ，ｊ）とし、中位光源２３ｃの画像データ（Ｓｉｄｅ画像）の記憶領域をＡｓ（ｉ，ｊ）とし、下位光源２３ｄの画像データ（Ｌｏｗ画像）の記憶領域をＡｌ（ｉ，ｊ）とする。また、以下の処理により生成されたＲ（赤色）成分の画像データの記憶領域をＢｒ（ｉ，ｊ）とし、Ｇ（緑色）成分の画像データの記憶領域をＢｇ（ｉ，ｊ）とし、Ｂ（青色）成分の画像データの記憶領域をＢｂ（ｉ，ｊ）とする。但し、ｉ＝０・・・Ｍ－１、ｊ＝０・・・Ｎ－１とする。

制御ユニット３０の検査制御部３１は、上述した処理により被検査体１２の検査面の、照明ユニット２３の光源２３ａ～２３ｄのそれぞれによる画像データが撮像されると、ＲＧＢ成分の画像データの記憶領域Ｂｒ（ｉ，ｊ）、Ｂｇ（ｉ，ｊ）、Ｂｂ（ｉ，ｊ）をクリアする（ステップＳ１００）。そして、画像データの画素の列方向をカウントする変数ｉに０を設定し（ステップＳ１０２）、画像データの画素の行方向をカウントする変数ｊに０を設定し（ステップＳ１０４）、まず、画素（ｉ，ｊ）におけるＣｏａｘｉｓ画像の強度（Ａｃ（ｉ，ｊ））とＴｏｐ画像の強度（Ａｔ（ｉ，ｊ））を比較し（ステップＳ１０６）、Ｃｏａｘｉｓ画像の強度の方がＴｏｐ画像の強度よりも大きいときは、Ｃｏａｘｉｓ画像の強度の値をＲ成分の画像データの画素（ｉ，ｊ）の値として記憶し（Ｂｒ（ｉ，ｊ）にＡｃ（ｉ，ｊ）の値を設定し）（ステップＳ１０８）、Ｔｏｐ画像の強度がＣｏａｘｉｓ画像の強度以上のときは、Ｔｏｐ画像の強度の値をＲ成分の画像データの画素（ｉ，ｊ）の値として記憶する（Ｂｒ（ｉ，ｊ）にＡｔ（ｉ，ｊ）の値を設定する）（ステップＳ１１０）。

次に、画素（ｉ，ｊ）におけるＣｏａｘｉｓ画像の強度（Ａｃ（ｉ，ｊ））とＬｏｗ画像の強度（Ａｌ（ｉ，ｊ））を比較し（ステップＳ１１２）、Ｃｏａｘｉｓ画像の強度の方がＬｏｗ画像の強度よりも大きいときは、Ｃｏａｘｉｓ画像の強度の値をＢ成分の画像データの画素（ｉ，ｊ）の値として記憶し（Ｂｂ（ｉ，ｊ）にＡｃ（ｉ，ｊ）の値を設定し）（ステップＳ１１４）、Ｌｏｗ画像の強度がＣｏａｘｉｓ画像の強度以上のときは、Ｌｏｗ画像の強度の値をＢ成分の画像データの画素（ｉ，ｊ）の値として記憶する（Ｂｂ（ｉ，ｊ）にＡｌ（ｉ，ｊ）の値を設定する）（ステップＳ１１６）。

さらに、画素（ｉ，ｊ）におけるＳｉｄｅ画像の強度（Ａｓ（ｉ，ｊ））をＧ成分の画像データの画素（ｉ，ｊ）の値として記憶する（Ｂｇ（ｉ，ｊ）にＡｓ（ｉ，ｊ）の値を設定する）（ステップＳ１１８）。

そして、変数ｊに１を加算し（ステップＳ１２０）、この変数ｊの値がＮより小さいか否かを判断し（ステップＳ１２２）、Ｎより小さいときはステップＳ１０６に戻って上記の処理を繰り返す。また、ステップＳ１２２で変数ｊの値がＮ以上であると判断したときは、変数ｉに１を加算し（ステップＳ１２４）、変数ｉの値がＭより小さいか否かを判断し（ステップＳ１２６）、Ｍより小さいときはステップＳ１０４に戻って上記の処理を繰り返す。

最後に、以上のようにしてＭ×Ｎの画素の全てに対して生成されたＲ成分の画像データＢｒ（ｉ，ｊ）、Ｂ成分の画像データＢｂ（ｉ，ｊ）及びＧ成分の画像データＢｇ（ｉ，ｊ）（ｉ＝０・・・Ｍ－１，ｊ＝０・・・Ｎ－１）を用いて、画素（ｉ，ｊ）毎に、Ｂｒ（ｉ，ｊ）の値から赤色成分の値を決定し、Ｂｂ（ｉ，ｊ）の値から青色成分の値を決定し、Ｂｇ（ｉ，ｊ）の値から緑色成分の値を決定し、カラー画像データ（ＲＧＢ画像データ）を合成してメモリ３５に記憶させる（ステップＳ１２８）。

基本的に、照明ユニット２３の各光源２３ａ～２３ｄの投射角度と被検査体１２の検査面の傾斜状態とがカメラユニット２１に直接入力する場合で無いと、反射光の強度は検出できないが、検査面で反射した光が被検査体１２の検査面の他の箇所で反射することによる（２次反射による）光がカメラユニット２１に入射して検出される場合もある。また、図３を用いて説明したように、本実施形態においては、最終的に生成されるＲＧＢ画像データの色相Ｈのうち、Ｒ（赤色）をＴｏｐに割り当て（１５°～４５°の傾斜を表す）、Ｂ（青色）をＬｏｗに割り当てている（６５°～８５°の傾斜を表す）。そのため、画素（ｉ，ｊ）において、Ｃｏａｘｉｓ画像の強度（Ａｃ（ｉ，ｊ））がＴｏｐ画像の強度（Ａｔ（ｉ，ｊ））及びＬｏｗ画像の強度（Ａｌ（ｉ，ｊ））より大きいときは、このＣｏａｘｉｓ画像の強度を当該画素（ｉ，ｊ）におけるＲ画像データ及びＢ画像データの値（Ｂｒ（ｉ，ｊ）及びＢｂ（ｉ，ｊ））として設定することにより、当該光は落射照明源２３ａからの反射光がカメラユニット２１に入射する角度である（０°～１５°の傾斜状態である）と判断することができ、色相Ｈを紫で表現することができる。また、Ｔｏｐ画像の強度がＣｏａｘｉｓ画像の強度以上であるときは、当該画素に対応する検査面が、上位光源２３ｂからの反射光がカメラユニット２１に直接入射する角度である（１５°～４５°の傾斜状態である）と判断することができ、色相Ｈを赤で表現し、Ｌｏｗ画像の強度がＣｏａｘｉｓ画像の強度以上であるときは、当該画素に対する検査面が、下位光源２３ｄからの反射光がカメラユニット２１に直接入射する角度である（６５°～８５°の傾斜状態である）と判断することができ、色相Ｈを青で表現するように構成されている。

なお、Ｃｏａｘｉｓの色相Ｈを、例えば黄色に割り当てると、検査面の角度が、Ｓｉｄｅに対応した傾斜状態（４５°～６５°）とＬｏｗに対応した傾斜状態（６５°～８５°）との境界付近の傾斜状態のときも黄色となるため、傾斜状態の判別が付かなくなるが、Ｃｏａｘｉｓに対応する色相Ｈを傾斜角度の範囲が最も離れたＲ（赤色）とＢ（青色）の中間の紫とすることで、傾斜状態を明確に判別することができる。同様に、紫とすることで、２次反射による影響も排除することができる。

以上のように、被検査体１２の検査面の傾斜状態（角度）をＨＳＶ表色系における色相Ｈの角度（図３参照）に対応させてＲＧＢ画像データとして表現することにより、色相Ｈの角度の変化（すなわち、色の変化）と検査面の角度の変化が対応することになり（例えば、検査面の角度が０°→３０°→５５°→７５°と変化すると、ＲＧＢ画像の該当箇所の画素の色が紫→赤→緑→青と変化するため）、検査面の傾斜状態を感覚的に理解することができる。なお、以上の説明では、Ｔｏｐ、Ｓｉｄｅ、Ｌｏｗの状態をそれぞれ、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）に割り当てた場合（その結果Ｃｏａｘｉｓの状態が紫色になる）について説明したが、例えば、Ｔｏｐの状態を黄色に割り当てた場合には、図３において、黄色から色相Ｈが各々１２０°ずれた色をＳｉｄｅ及びＬｏｗの状態に割り当て、Ｃｏａｘｉｓの状態をＴｏｐ及びＬｏｗの状態の間の色相Ｈとすることにより対応することが可能である。

また、以上のようなＲＧＢ画像データとすることにより、被検査体１２の検査面の傾斜状態がなめらかに変化するときは、上述したように色相Ｈの角度に応じて変化するため、色相Ｈの変化が連続で無いときや、急激に変化をするときは、その検査面が異常である（検査面の高さが異常である）可能性を表現することができる。また、ＲＧＢ画像データにおける色相Ｈの変化から、検査面の傾斜状態（角度）を推定することで、検査面の高さ測定材料として扱うこともできる。

なお、このようなＲＧＢ画像データによる検査対象は、上述したはんだ面に限定されることはなく、ＩＣリード先端の形状やチップ電極の形状にも適用することができる。

次に、被検査体１２が電子回路基板等であるときに、この電子回路基板に電子部品を取り付けるはんだの種類及びその分類方法について説明する。

従来のはんだは、鉛及びスズを主成分とした合金であり、熱せられて溶けたはんだが凝固するときに、鉛とスズの微細なラメラ状の共晶組織が形成され、その表面はなだらかで凹凸が小さくなる。一方、鉛の含有量を少なくするために、鉛の代わりに銀、銅、その他の金属が配合された、いわゆる「鉛フリーはんだ」の場合、凝固時に粗大な樹枝状晶（デンドライト）の初晶が初めに現れ、その隙間に共晶組織が形成される。そのため、凝固したはんだの表面は数十μｍオーダーの凹凸が多数形成されるが、その形状や大きさ、個数は、はんだに配合されている金属やその割合で変化する。以上より、はんだ表面に現れる凝固組織の形状（凝固したはんだの表面の形状（テクスチャ））が、滑らかな場合と、粗い場合は、凹凸の形状や大きさ、個数から、使用されているはんだの種類を分類することができる。

本実施形態の検査装置では、上述したように、被検査体１２の表面に、異なる角度から放射された照明光を照射することにより、検査面の角度を色情報の違いで表現したＲＧＢ画像データ（カラー画像データ）を取得することができるため、このＲＧＢ画像データを用いて得られたはんだの表面の画像データから、使用されているはんだの種類を分類するように構成されている。以下に、はんだの種類の分類方法について説明する。

まず、図５を用いて、はんだの種類を分類する方法について説明する。制御ユニット３０は、はんだ種類分類処理が開始されると、はんだの部分が含まれるＲＧＢ画像データをメモリ３５から読み出す（ステップＳ２００）。上述したように、基板検査データには、各検査項目についての画像上の検査区域である検査ウインドウの情報が含まれており、この情報から、被検査体１２上のはんだの部分の位置を特定することができる。あるいは、被検査体１２の設計データからもはんだの位置を特定することができる。また、制御ユニット３０は、読み出されたＲＧＢ画像データをＨＳＶ変換し、Ｈ（色相）、Ｓ（彩度）及びＶ（輝度）の３軸値を取得する（ステップＳ２０２）。

上述したように、色相の情報は、はんだ部分の傾斜量を表しており、これははんだ部分のマクロな凹凸表面形状を反映している。したがって、制御ユニット３０は、ＲＧＢ画像データから得られた３軸値により、色相の分布をラベリングすることで粒状性の特徴量（凹凸（粒子）の大きさ、形状、数等）を得る（ステップＳ２０４）。また、彩度の情報は、はんだ部分の表面の乱反射性と対応する連続量であり、はんだ部分のミクロな表面粗滑状態を反映している。具体的には、乱反射が多いときは彩度は０に近く、全反射、鏡面反射が多い場合には彩度は１００％になり、ミクロな表面粗滑状態を反映する。したがって、制御ユニット３０は、ＲＧＢ画像データから得られた３軸値により、彩度から表面平滑度の特徴量（滑らか又は粗いか）を得る（ステップＳ２０６）。

最後に、制御ユニット３０は、ステップＳ２０４，Ｓ２０６で得られた特徴量を例えば図６に示す特徴量マップと照らし合わせ、はんだの種類を分類し（ステップＳ２０８）、はんだ種類分類処理を終了する。この図６では、特徴量として、粒子数、粒子サイズ及び表面平滑度からはんだの種類を分類する場合を示している。

はんだの種類の分類方法としては、画像内の特定の領域を検査するアルゴリズムである輪郭一致（Contour Match）を用いることができる。この輪郭一致は、条件に合致する連続した画素（領域）の輪郭を囲い、その数や面積、輪郭長を計測して検査する方法である。画像を二値化して凹凸の面積を求めた場合、対象画素が分散していても固まっていても同じような値になるのに対し、この輪郭一致では画素の塊である領域を捉えることができるため、はんだ表面の形状（テクスチャ）を的確に表現することができる。上述したように、本実施形態に係るはんだ種類分類処理では、ＲＧＢ画像データをＨＳＶ変換して用いているため、上述した特徴量の精度を向上させることができる。なお、ＨＳＶ変換していないオリジナルのＲＧＢ画像データによりはんだの分類をすることもできる。

カメラユニット２１の解像度よりも凝固組織の凹凸が細かく梨地のような状態の場合では、拡散反射光が撮像されることになる。この場合、鏡面反射のように照明の角度に応じたＲＧＢの値が明瞭に分かれず、それぞれの照明が混じり合った様な画像が撮像される。この場合では、粒状の輪郭そのものを抽出することは難しくなるが、カメラユニット２１の解像度よりも細かい凹凸が存在しているという特徴を得ることができる。

あるいは、はんだの種類の分類方法として、ディープラーニング等の機械学習により、クラス分類を行うことができる。具体的には、予め選択した画像領域の、はんだの種類毎のＨＳＶ変換されたＲＧＢ画像データを学習させてＡＩモデルを作成することにより、検査においてはこのＡＩモデルに基づいてはんだの部分の画像データ（ＲＧＢ画像データをＨＳＶ変換した画像データ）からはんだの種類を分類することができる。ＡＩモデルを利用することにより、分類処理のためのパラメータ調整等を行う必要がなくなる。なお、ＨＳＶ変換していないオリジナルのＲＧＢ画像データにより分類することもできる。

なお、被検査体１２に使用されているはんだの種類の分類は、一つのはんだ部分で判断するだけでなく、被検査体１２の複数のはんだ部分に対して上述した分類処理を行い、最も多く分類されたはんだの種類を、当該被検査体１２で使用されているはんだの種類と分類してもよい。

なお、被検査体１２に異なる角度から照明光を照射して得られた画像データからＨＳＶ変換されたＲＧＢ画像データ（具体的には、はんだ部分の角度に色が対応した画像データ）を取得する場合、カメラユニット２１のレンズの光軸とはんだ表面がなるべく垂直に近い状態にカメラユニット２１を配置することが、はんだの種類の分類においては望ましい。そのため、上述カメラユニット２１（これを「メインカメラ」と呼ぶ）の他に、被検査体１２をメインカメラとは異なる角度から撮像するサブカメラを設け、メインカメラ及びサブカメラのそれぞれで、はんだ部分の角度に応じたＲＧＢ画像データを取得するように構成してもよい。このサブカメラは、例えば、図１における投射ユニット２４の位置に配置することができる。サブカメラで得られた画像データからＨＳＶ変換されたＲＧＢ画像データを生成するときは、メインカメラで得られるＲＧＢ画像データの色とはんだ部分の角度との関係と同一となるようにすることが望ましい。すなわち、メインカメラで得られたＲＧＢ画像データも、サブカメラで得られたＲＧＢ画像データも、はんだ部分の角度が同じときは同じ色になるようにすることが望ましい。

このように、メインカメラ及びサブカメラでＲＧＢ画像データを取得する場合、メインカメラで部品未搭載のはんだを撮像し、サブカメラで、角度のある良品はんだを撮像するようにしてもよい。

本実施形態に係る検査装置１０では、はんだ付けの状態や部品の実装状態を検査するため、ある程度の視野が必要であり、そうすると、カメラユニット２１の解像度は低くなる。しかしながら、上述したように、被検査体１２に対して異なる角度から照明光を照射して画像データを取得し、これらの画像データからはんだ部分の角度と色が対応したＲＧＢ画像データを生成してはんだの種類の分類に用いることにより、カメラユニット２１の解像度が低くても、精度良くはんだの種類を分類することができる。言い換えると、このはんだの種類の分類方法では、凝固組織の形状を詳細に捉える必要はなく、カメラユニット２１には、ある程度大局的な特徴を捉えるのに必要な解像度があれば十分である。例えば、２０μｍの組織を捉えるためには、一般的にその１／１０の２μｍの解像度が必要になるが、本願の方法によると、大局的に捉えることができる５～３０μｍの解像度があれば十分である。また、カメラユニット２１の視野を広くすることで、被検査体１２の検査速度を向上させることができる。

次に、本実施形態に係る検査装置１０において実行される、被検査体１２のはんだ部分の検査の処理について説明する。なお、検査装置１０における被検査体１２の検査は、はんだ部分の検査だけではなく、電子部品の実装状態の良否の検査も行われるが、以下の説明では、はんだ部分の検査についてのみ説明する。

－第１の検査方法－
まず、図７を用いて、はんだの第１の検査方法について説明する。検査装置１０の制御ユニット３０は、検査が開始されると、この検査装置１０の上流工程から渡された被検査体１２を検査領域に搬入する（ステップＳ３００）。また、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上の認識マークを撮像する（ステップＳ３０１）。認識マークにより基板の位置を正確に把握することができ、以降の処理においてはんだの位置を正確に特定することができる。

次に、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上のはんだの種類の分類に利用するはんだ部分を撮像する（ステップＳ３０２）。上述したように、被検査体１２の設計データや基板検査データから、はんだの位置を特定することが可能であり、これらの情報に基づいて、効率的にはんだ部分の画像を取得することができる。

ステップＳ３０２ではんだ部分の画像データが取得されると、制御ユニット３０は、その画像データを用いて、上述したはんだ種類分類処理を実行し、現在検査をしている被検査体１２に使用されているはんだの種類を分類する（ステップＳ３０３）。制御ユニット３０は、ステップＳ３０３で分類されたはんだの種類と、設計データや基板検査データで指定されているはんだの種類とを比較する（ステップＳ３０４）。そして、制御ユニット３０が、使用されているはんだの種類が正しい（設計データや基板検査データで指定されているはんだの種類と同一である）と判断すると（ステップＳ３０４：「Ｙ」）、制御ユニット３０は、被検査体１２上のその他の領域を撮像し（ステップＳ３０５）、各領域においてはんだ付けの状態の検査を行い（ステップＳ３０６）、全てのはんだ部分の検査が終了すると、被検査体１２を次の工程に搬出し（ステップＳ３０７）、ステップＳ３００に戻って次の被検査体１２の検査を行う。

一方、ステップＳ３０４で、制御ユニット３０が、使用されているはんだの種類が間違っている（設計データや基板検査データで指定されているはんだの種類と異なる）と判断すると（ステップＳ３０４：「Ｎ」）、制御ユニット３０は、出力部３７等を用いて警告を出力し（ステップＳ３０８）、検査処理を一旦終了する。警告が出力された場合、作業員等が被検査体１２を検査装置１０から取り出し、はんだの種類等の確認を行う。

このように、第１の検査方法によると、はんだ部分の画像からその被検査体１２に使用されているはんだの種類を分類することができ、設計データや基板検査データで指定されているはんだの種類と異なるときは警告を発することができるので、被検査体１２に使用されているはんだの種類を管理することができる。

－第２の検査方法－
次に、図８を用いて、はんだの第２の検査方法について説明する。この第２の検査方法では、はんだの種類を分類し、使用されているはんだの種類に応じて設定された検査用のパラメータを読み込み、この検査パラメータに基づいて基板検査データを切り替えて、はんだ付け状態の検査を行う方法である。

制御ユニット３０は、検査が開始されると、この検査装置１０の上流工程から渡された被検査体１２を検査領域に搬入する（ステップＳ３２０）。また、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上の認識マークを撮像する（ステップＳ３２１）。認識マークにより基板の位置を正確に把握することができ、以降の処理においてはんだの位置を正確に特定することができる。

次に、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上のはんだの種類の分類に利用するはんだ部分を撮像する（ステップＳ３２２）。第１の検査方法と同様に、被検査体１２の設計データや基板検査データから、はんだの位置を特定することが可能であり、これらの情報に基づいて、効率的にはんだ部分の画像を取得することができる。

ステップＳ３２２ではんだ部分の画像データが取得されると、制御ユニット３０は、その画像データを用いて、上述したはんだ種類分類処理を実行し、現在検査をしている被検査体１２に使用されているはんだの種類を分類する（ステップＳ３２３）。そして、制御ユニット３０は、分類されたはんだの種類に応じて、当該はんだの種類に応じた検査パラメータを読み込む（ステップＳ３２４）。ここでは、Ａ及びＢの２種類のはんだの何れかが使用されている場合について具体的に説明する（はんだの種類は２種類に限定されることはない）。制御ユニット３０は、はんだの種類が「Ａ」であると判断すると（ステップＳ３２４：「種類Ａ」）、メモリ３５等からはんだ種類Ａ用の検査パラメータを読み込む（ステップＳ３２５）。また、制御ユニット３０は、はんだの種類が「Ｂ」であると判断すると（ステップＳ３２４：「種類Ｂ」）、メモリ３５等からはんだ種類Ｂ用の検査パラメータを読み込む（ステップＳ３２６）。

制御ユニット３０は、検査パラメータを読み込むと、被検査体１２上のその他の領域を撮像し（ステップＳ３２７）、上述したステップＳ３２５又はステップＳ３２６で読み込んだ検査パラメータを用いて、各領域においてはんだ付けの状態の検査を行い（ステップＳ３２８）、全てのはんだ部分の検査が終了すると、被検査体１２を次の工程に搬出し（ステップＳ３２９）、ステップＳ３２０に戻って次の被検査体１２の検査を行う。

このように、第２の検査方法によると、はんだ部分の画像からその被検査体１２に使用されているはんだの種類を分類することができ、分類されたはんだの種類に応じて、はんだ付け状態の検査パラメータを読み込み、この検査パラメータにより基板検査データを切り替えることができるので、使用されているはんだの種類に応じて適切な検査を行うことができる。

－第３の検査方法－
次に、図９を用いて、はんだの第３の検査方法について説明する。この第３の検査方法は、はんだの種類を分類し、使用されているはんだの種類に応じて基板検査データを生成して検査を行う方法である。

制御ユニット３０は、検査が開始されると、これから検査を行う被検査体１２の設計データをメモリ３５から読み込む（ステップＳ３４０）。また、制御ユニット３０は、この検査装置１０の上流工程から渡された被検査体１２を検査領域に搬入する（ステップＳ３４１）。また、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上の認識マークを撮像する（ステップＳ３４２）。認識マークにより基板の位置を正確に把握することができ、以降の処理においてはんだの位置を正確に特定することができる。

次に、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上のはんだの種類の分類に利用するはんだ部分を撮像する（ステップＳ３４３）。第１及び第２の検査方法と同様に、被検査体１２の設計データや基板検査データから、はんだの位置を特定することが可能であり、これらの情報に基づいて、効率的にはんだ部分の画像を取得することができる。

ステップＳ３４３ではんだ部分の画像データが取得されると、制御ユニット３０は、その画像データを用いて、上述したはんだ種類分類処理を実行し、現在検査をしている被検査体１２に使用されているはんだの種類を分類する（ステップＳ３４４）。そして、制御ユニット３０は、分類されたはんだの種類に応じて、当該はんだの種類に応じた検査ライブラリを読み込む（ステップＳ３４５）。ここでは、Ａ及びＢの２種類のはんだの何れかが使用されている場合について具体的に説明する（はんだの種類は２種類に限定されることはない）。制御ユニット３０は、はんだの種類が「Ａ」であると判断すると（ステップＳ３４５：「種類Ａ」）、メモリ３５等からはんだ種類Ａ用の検査ライブラリを読み込む（ステップＳ３４６）。また、制御ユニット３０は、はんだの種類が「Ｂ」であると判断すると（ステップＳ３４５：「種類Ｂ」）、メモリ３５等からはんだ種類Ｂ用の検査ライブラリを読み込む（ステップＳ３４７）。

制御ユニット３０は、検査ライブラリを読み込むと、被検査体１２上のその他の領域を撮像し（ステップＳ３４８）、上述したステップＳ３４０で読み込んだ設計データとステップＳ３４６又はステップＳ３４７で読み込んだ検査ライブラリとを用いて、設計データに基づき、各実装部品に検査ライブラリを展開する（ステップＳ３４９）。そして、制御ユニット３０は、展開された検査ライブラリを用いて各領域においてはんだ付けの状態の検査を行い（ステップＳ３５０）、全てのはんだ部分の検査が終了すると、被検査体１２を次の工程に搬出し（ステップＳ３５１）、ステップＳ３４０に戻って次の被検査体１２の検査を行う。

このように、第３の検査方法によると、はんだ部分の画像からその被検査体１２に使用されているはんだの種類を分類することができ、分類されたはんだの種類に応じて、検査ライブラリを展開してこの検査ライブラリに基づいてはんだ付け状態や電子部品の実装状態の良否の検査を行うことができる。そのため、被検査体１２に使用されているはんだの種類に応じて検査データを生成することができるので、使用されているはんだの種類に応じて適切な検査を行うことができる。

－第４の検査方法－
次に、図１０を用いて、はんだの第４の検査方法について説明する。第３の検査方法では、使用されているはんだの種類に応じて検査ライブラリを展開したが、第４の検査方法は、第１の検査方法と組み合わせて、使用される予定のないはんだの種類であると分類されたときに、検査処理を中断するように構成した場合である。

制御ユニット３０は、検査が開始されると、これから検査を行う被検査体１２の設計データをメモリ３５から読み込む（ステップＳ３６０）。また、制御ユニット３０は、この検査装置１０の上流工程から渡された被検査体１２を検査領域に搬入する（ステップＳ３６１）。そして、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上の認識マークを撮像する（ステップＳ３６２）。認識マークにより基板の位置を正確に把握することができ、以降の処理においてはんだの位置を正確に特定することができる。

次に、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上のはんだの種類の分類に利用するはんだ部分を撮像する（ステップＳ３６３）。第１の検査方法でも説明したように、被検査体１２の設計データや基板検査データから、はんだの位置を特定することが可能であり、これらの情報に基づいて、効率的にはんだ部分の画像を取得することができる。

ステップＳ３６３ではんだ部分の画像データが取得されると、制御ユニット３０は、その画像データを用いて、上述したはんだ種類分類処理を実行し、現在検査をしている被検査体１２に使用されているはんだの種類を分類する（ステップＳ３６４）。また、制御ユニット３０は、ステップＳ３６４で分類されたはんだの種類が、既知のはんだの種類（設計データや基板検査データに設定される可能性のあるはんだの種類）であるか否かを判断する（ステップＳ３６５）。具体的には、制御ユニット３０が、使用されているはんだの種類が既知であると判断すると（ステップＳ３６５：「Ｙ」）、制御ユニット３０は、分類されたはんだの種類に応じた検査ライブラリをメモリ３５から読み込み（ステップＳ３６６）、被検査体１２上のその他の領域を撮像し（ステップＳ３６７）、上述したステップＳ３６０で読み込んだ設計データとステップＳ３６６で読み込んだ検査ライブラリとを用いて、設計データに基づき、各実装部品に検査ライブラリを展開する（ステップＳ３６８）。そして、制御ユニット３０は、展開された検査ライブラリに基づいて、各領域においてはんだ付けの状態の検査を行い（ステップＳ３６９）、全てのはんだ部分の検査が終了すると、被検査体１２を次の工程に搬出し（ステップＳ３７０）、ステップＳ３６０に戻って次の被検査体１２の検査を行う。

一方、ステップＳ３６５で、制御ユニット３０が、使用されているはんだの種類が既知でないと判断すると（ステップＳ３６５：「Ｎ」）、制御ユニット３０は、出力部３７等を用いて警告を出力し（ステップＳ３７１）、検査処理を一旦終了する。警告が出力された場合、作業員等が被検査体１２を検査装置１０から取り出し、はんだの種類等の確認を行う。

このように、第４の検査方法によると、はんだ部分の画像からその被検査体１２に使用されているはんだの種類を分類することができ、既知のハンダの種類でないときは警告を発することができるので、被検査体１２に使用されているはんだの種類を管理することができる。また、はんだの種類に応じて検査ライブラリを設定することができるので、使用されているはんだの種類に応じて適切な検査を行うことができる。

－第５の検査方法－
最後に、図１１を用いて、はんだの第５の検査方法について説明する。第２の検査方法では、使用されているはんだの種類に応じて検査用のパラメータを読み込み、このパラメータに基づいて基板データを切り替えてはんだ付けの状態の検査をおこなったが、第５の検査方法は、第１の検査方法と組み合わせて、使用される予定のないはんだの種類であると分類されたときに、検査処理を中断するように構成した場合である。

制御ユニット３０は、検査が開始されると、この検査装置１０の上流工程から渡された被検査体１２を検査領域に搬入する（ステップＳ３８０）。また、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上の認識マークを撮像する（ステップＳ３８１）。認識マークにより基板の位置を正確に把握することができ、以降の処理においてはんだの位置を正確に特定することができる。

次に、制御ユニット３０は、ＸＹステージ１６により撮像ユニット２０を移動させて、被検査体１２上のはんだの種類の分類に利用するはんだ部分を撮像する（ステップＳ３８２）。第１の検査方法と同様に、被検査体１２の設計データや基板検査データから、はんだの位置を特定することが可能であり、これらの情報に基づいて、効率的にはんだ部分の画像を取得することができる。

ステップＳ３８２ではんだ部分の画像データが取得されると、制御ユニット３０は、その画像データを用いて、上述したはんだ種類分類処理を実行し、現在検査をしている被検査体１２に使用されているはんだの種類を分類する（ステップＳ３８３）。はんだの種類が分類されると、制御ユニット３０は、ステップＳ３８３で分類されたはんだの種類が、既知のはんだの種類（設計データや基板検査データに設定される可能性のあるはんだの種類）であるか否かを判断する（ステップＳ３８４）。具体的には、制御ユニット３０が、使用されているはんだの種類が既知であると判断すると（ステップＳ３８４：「Ｙ」）、制御ユニット３０は、分類されたはんだの種類に応じて、当該はんだの種類に応じた検査パラメータを読み込む（ステップＳ３８５）。ここでは、Ａ及びＢの２種類のはんだの何れかが使用されている場合について具体的に説明する（はんだの種類は２種類に限定されることはない）。制御ユニット３０は、はんだの種類が「Ａ」であると判断すると（ステップＳ３８５：「種類Ａ」）、メモリ３５等からはんだ種類Ａ用の検査パラメータを読み込む（ステップＳ３８６）。また、制御ユニット３０は、はんだの種類が「Ｂ」であると判断すると（ステップＳ３８５：「種類Ｂ」）、メモリ３５等からはんだ種類Ｂ用の検査パラメータを読み込む（ステップＳ３８７）。

制御ユニット３０は、検査パラメータを読み込むと、被検査体１２上のその他の領域を撮像し（ステップＳ３８８）、上述したステップＳ３８６又はステップＳ３８７で読み込んだ検査パラメータを用いて、各領域においてはんだ付けの状態の検査を行い（ステップＳ３８９）、全てのはんだ部分の検査が終了すると、被検査体１２を次の工程に搬出し（ステップＳ３９０）、ステップＳ３８０に戻って次の被検査体１２の検査を行う。

一方、ステップＳ３８４で、制御ユニット３０が、使用されているはんだの種類が既知でないと判断すると（ステップＳ３８４：「Ｎ」）、制御ユニット３０は、出力部３７等を用いて警告を出力し（ステップＳ３９１）、検査処理を一旦終了する。警告が出力された場合、作業員等が被検査体１２を検査装置１０から取り出し、はんだの種類等の確認を行う。

このように、第５の検査方法によると、はんだ部分の画像からその被検査体１２に使用されているはんだの種類を分類することができ、既知のはんだの種類でないときは警告を発することができるので、被検査体１２に使用されているはんだの種類を管理することができる。また、分類されたはんだの種類に応じて、はんだ付け状態の検査パラメータを読み込み、この検査パラメータにより基板検査データを切り替えることができるので、使用されているはんだの種類に応じて適切な検査を行うことができる。

１０ 検査装置
１２ 被検査体
２０ 撮像ユニット（撮像部）
２１ カメラユニット
２３ 照明ユニット（光源）
３０ 制御ユニット（制御部）

Claims (12)

1. 被検査体に対して異なる角度で照明光を照射する複数の光源と、
   前記被検査体を撮像する撮像部と、
   制御部と、を有し、
   前記制御部は、
   前記複数の光源の各々で前記被検査体に照明光を照射して、前記撮像部により前記被検査体上のはんだ部分を撮像し、前記複数の光源の各々に対応した画像データを取得する第１のステップと、
   前記複数の光源の各々に対応した画像データの前記被検査体上の同一の箇所に対応する画素毎に、当該画素の輝度値から前記被検査体の前記箇所の傾斜状態に対応付けられた色情報に変換したＲＧＢ画像データを生成する第２のステップと、
   前記ＲＧＢ画像データの画素毎に、前記色情報を、色相、彩度及び明度からなる情報に変換する第３のステップと、
   前記色相、彩度及び明度からなる情報から前記はんだ部分の表面に現れる凝固組織の微細形状（テクスチャ）の特徴量を抽出し、前記特徴量に基づいて前記はんだ部分に使用されているはんだを分類する第４のステップと、を実行する
   検査装置。
2. 前記制御部は、前記第４のステップにおいて、
   前記色相から前記はんだ部分の表面の粒状性の特徴量を抽出し、
   前記彩度から前記はんだ部分の表面の表面平滑度の特徴量を抽出する
   請求項１に記載の検査装置。
3. 前記制御部は、
   前記被検査体の設計データ又は検査データに基づいて、はんだを分類するために使用する画像データを取得するはんだ部分の前記被検査体上の位置を特定する
   請求項１または２に記載の検査装置。
4. 前記制御部は、
   分類されたはんだに基づいて、前記被検査体を検査する
   請求項１または２に記載の検査装置。
5. 前記制御部は、
   分類されたはんだに応じて検査データを選択し、選択された前記検査データに基づいて前記被検査体を検査する
   請求項１または２に記載の検査装置。
6. 前記制御部は、
   分類されたはんだに応じて検査データを生成し、生成された前記検査データに基づいて前記被検査体を検査する
   請求項１または２に記載の検査装置。
7. 前記特徴量は、前記はんだ部分の表面の凹凸の大きさまたは数である
   請求項１または２に記載の検査装置。
8. 前記制御部は、
   前記特徴量とはんだとから機械学習により生成されたＡＩモデルに基づいて前記はんだを分類する
   請求項１または２に記載の検査装置。
9. 前記撮像部は、前記被検査体に対する撮像角度が異なる複数のカメラユニットを有し、
   前記制御部は、
   前記複数のカメラユニットで撮像された前記被検査体の画像データの各々を用いて前記はんだを分類する
   請求項１または２に記載の検査装置。
10. 前記制御部は、
    複数のはんだ部分の画像データを取得し、各々の画像データにより、当該画像データに対応するはんだ部分のはんだを分類し、
    分類されたはんだのうち、最も多いはんだを、前記被検査体で使用されているはんだであると分類する
    請求項１または２に記載の検査装置。
11. 前記制御部は、
    前記はんだの分類に加えて、
    前記被検査体上のはんだ部分のはんだ付け状態の検査を行う
    請求項１または２に記載の検査装置。
12. 前記制御部は、
    分類されたはんだに応じて、検査を停止させる
    請求項１または２に検査装置。