JP6791631B2 - 画像生成方法及び検査装置 - Google Patents

Description

本発明は、画像生成方法、及びこの画像生成方法により生成されたＲＧＢ画像に基づいて被検査体の外観を検査する検査装置に関する。

近年では、様々な機器に電子回路基板が実装されるようになってきているが、この種の電子回路基板が実装される機器においては、小型化、薄型化等が常に課題になっており、この点から、電子回路基板の実装の高密度化を図ることが要求されている。このような電子回路基板を検査する検査装置においては、例えば、３つの異なる角度（仰角）から被検査体である電子回路基板に照明光を投射して撮影手段（カメラユニット）で撮影することにより外観検査データの取り込みを行い、撮影により得られた各仰角の画像データにそれぞれＲＧＢの３色のいずれかを割り当ててＲＧＢ画像（カラー画像）を合成し、合成された画像のＲ，Ｇ，Ｂの色合いから欠陥の判別を行う構成がある（例えば、特許文献１参照）。

特開平１１−０８３４５５号公報

しかしながら、このような検査装置において、角度の異なる４つ以上の照明を用いて撮像して色で表示した場合、それぞれを明確に区別できるように表現することが難しいという課題があった。例えば、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の３色に加えて、４色目として黄色を割り当てた場合、黄色に割り当てられた照明による画像なのか、赤色と緑色の照明による画像が合わさったものなのかを判別できないという問題が発生する。

本発明はこのような課題に鑑みてなされたものであり、４つ以上の角度の異なる照明を用いた場合でも、それぞれの角度の照明により撮影された画像を合成して得られたＲＧＢ画像（カラー画像）により被検査体の外観形状を表現し検査を行うことができる画像生成方法及び検査装置を提供することを目的とする。

前記課題を解決するために、本発明に係る画像生成方法は、被検査体に対し、第１の光源、第２の光源、第３の光源及び第４の光源の各々によりそれぞれが異なる投射角度で照明光を順番に投射して撮像された前記被検査体の光の強度を表す画像である、第１の画像、第２の画像、第３の画像及び第４の画像からＲＧＢ画像を生成する画像生成方法であって、前記被検査体の同一の位置に対応する画素毎に、前記第１の画像の強度と前記第２の画像の強度と前記第４の画像の強度とを比較して、前記第１の画像の強度、前記第２の画像の強度、前記第３の画像の強度及び前記第４の画像の強度のいずれかを第１の色情報、第２の色情報及び第３の色情報の強度としてそれぞれに設定する色情報設定ステップと、前記第１の色情報、前記第２の色情報及び前記第３の色情報を用いて画像合成を行うことにより、前記ＲＧＢ画像を生成する画像生成ステップと、を有することを特徴とする。

本発明によれば、４つ以上の角度の異なる照明を用いた場合でも、それぞれの角度の照明により撮影された画像を合成して得られたカラー画像により被検査体の外観形状を表現し検査を行うことができる。

検査装置の構成を説明するための説明図である。 照明ユニットの投射角度とその反射光の検出を説明するための説明図であって、（ａ）は照明ユニットの各照明源の投射角度を示し、（ｂ）は被検査体の検査面の状態の一例を示す。 ＨＳＶ表色系における色相と照明ユニットの照明源の投射角度との対応を説明するための説明図である。 画像合成処理の流れを示すフローチャートである。 画像合成処理の一実施例におけるデータの状態を示す説明図である。

以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて本実施形態に係る検査装置１０の構成について説明する。この検査装置１０は、被検査体１２を撮像して得られる被検査体画像を使用して被検査体１２を検査する装置である。被検査体１２は例えば、多数の電子部品が実装されている電子回路基板である。検査装置１０は、電子部品の実装状態の良否を被検査体画像に基づいて判定する。この検査は通常、各部品に対し複数の検査項目について行われる。検査項目とはすなわち良否判定を要する項目である。検査項目には例えば、部品そのものの欠品や位置ずれ、極性反転などの部品配置についての検査項目と、ハンダ付け状態や部品のリードピンの浮きなどの部品と基板との接続部についての検査項目とが含まれる。

検査装置１０は、被検査体１２を保持するための検査テーブル１４と、被検査体１２を照明し撮像する撮像ユニット２０と、検査テーブル１４に対し撮像ユニット２０を移動させるＸＹステージ１６と、撮像ユニット２０及びＸＹステージ１６を制御するための制御ユニット３０と、を含んで構成される。なお説明の便宜上、図１に示すように、検査テーブル１４の被検査体配置面をＸＹ平面とし、その配置面に垂直な方向（すなわち撮像ユニット２０による撮像方向（カメラユニット２１の光学系の光軸方向））をＺ方向とする。

撮像ユニット２０は、ＸＹステージ１６の移動テーブル（図示せず）に取り付けられており、ＸＹステージ１６によりＸ方向及びＹ方向のそれぞれに移動可能である。ＸＹステージ１６は例えばいわゆるＨ型のＸＹステージである。よってＸＹステージ１６は、Ｙ方向に延びるＹ方向ガイドに沿って移動テーブルをＹ方向に移動させるＹリニアモータと、Ｙ方向ガイドをその両端で支持しかつ移動テーブルとＹ方向ガイドとをＸ方向に移動可能に構成されている２本のＸ方向ガイドとＸリニアモータと、を備える。なおＸＹステージ１６は、撮像ユニット２０をＺ方向に移動させるＺ移動機構をさらに備えてもよいし、撮像ユニット２０を回転させる回転機構をさらに備えてもよい。検査装置１０は、検査テーブル１４を移動可能とするＸＹステージをさらに備えてもよく、この場合、撮像ユニット２０を移動させるＸＹステージ１６は省略されてもよい。

撮像ユニット２０は、カメラユニット２１と、ハーフミラー２２と、照明ユニット２３と、投射ユニット２４と、を含んで構成される。本実施形態に係る検査装置１０においては、カメラユニット２１、ハーフミラー２２、照明ユニット２３、及び投射ユニット２４は一体の撮像ユニット２０として構成されていてもよい。この一体の撮像ユニット２０において、カメラユニット２１、ハーフミラー２２、照明ユニット２３、及び投射ユニット２４の相対位置は固定されていてもよいし、各ユニットが相対移動可能に構成されていてもよい。また、カメラユニット２１、ハーフミラー２２、照明ユニット２３、及び投射ユニット２４は別体とされ、別々に移動可能に構成されていてもよい。

カメラユニット２１は、対象物の２次元画像を生成する撮像素子と、その撮像素子に画像を結像させるための光学系（例えばレンズ）とを含む。カメラユニット２１は例えばＣＣＤカメラである。カメラユニット２１の最大視野は、検査テーブル１４の被検査体載置区域よりも小さくてもよい。この場合、カメラユニット２１は、複数の部分画像に分割して被検査体１２の全体を撮像する。制御ユニット３０は、カメラユニット２１が部分画像を撮像するたびに次の撮像位置へとカメラユニット２１が移動されるようＸＹステージ１６を制御する。制御ユニット３０は、部分画像を合成して被検査体１２の全体画像を生成する。

なお、カメラユニット２１は、２次元の撮像素子に代えて、１次元画像を生成する撮像素子を備えてもよい。この場合、カメラユニット２１により被検査体１２を走査することにより、被検査体１２の全体画像を取得することができる。

照明ユニット２３は、カメラユニット２１による撮像のための照明光を被検査体１２の表面に投射するよう構成されている。照明ユニット２３は、カメラユニット２１の撮像素子により検出可能である波長域から選択された波長または波長域の光を発する１つまたは複数の光源を備える。照明光は可視光には限られず、紫外光やＸ線等を用いてもよい。光源が複数設けられている場合には、各光源は異なる波長の光（例えば、赤色、青色、及び緑色）を異なる投光角度で被検査体１２の表面に投光するよう構成される。

本実施形態に係る検査装置１０において、照明ユニット２３は、被検査体１２の検査面（すなわち撮像ユニット２０に対向する面（Ｘ−Ｙ面））に垂直に照明光を投射する落射照明源２３ａと、被検査体１２の検査面に対し斜め方向から照明光を投射する側方照明源（本実施形態では、上位光源２３ｂ、中位光源２３ｃ及び下位光源２３ｄからなる）と、を備えている。なお、カメラユニット２１の光学系の光軸上にはハーフミラー２２が配置されており、落射照明源２３ａから放射された照明光の一部は、このハーフミラー２２で反射され、当該光軸上を通って被検査体１２に投射されるように構成されている。ここで、ハーフミラー２２の代わりにハーフプリズムを用いてもよい。また、本実施形態に係る検査装置１０においては、側方照明源２３ｂ、２３ｃ、２３ｄはそれぞれリング照明源であり、カメラユニット２１の光軸を包囲し、被検査体１２の検査面に対し斜めに照明光を投射するように構成されている。これらの側方照明源２３ｂ，２３ｃ，２３ｄの各々は、複数の光源が円環状に配置されて構成されていてもよい。なお、側方照明源である上位光源２３ｂ、中位光源２３ｃ及び下位光源２３ｄは、それぞれ、検査面に対して異なる角度で照明光を投射するように構成されている。

また、側方照明源である上位光源２３ｂ、中位光源２３ｃ及び下位光源２３ｄの各々は、１つのリング照明源で構成してもよいし、複数のリング照明源を含んでもよい。例えば、落射照明源２３ａはカメラユニット２１の側部に取り付けられ、側方照明源のうち、上位光源２３ｂは１つのリング照明ユニットとして構成され、中位光源２３ｃ及び下位光源２３ｄが一体になった１つのリング照明ユニットとして構成することができる。なお、本実施形態において、落射照明源２３ａは赤色照明源であり、側方照明源のうち、上位光源２３ｂ及び下位光源２３ｄは赤色照明源であり、側方照明源のうち、中位光源２３ｃは緑色照明源、青色照明源及び赤色照明源で構成されている。

図１においては参考のため、落射照明源２３ａから投射され被検査体１２の検査面で反射してカメラユニット２１に投影される光束を破線の矢印で示している。ここで、被検査体１２の検査面で反射した光はハーフミラー２２に入射し、一部の光が透過してカメラユニット２１に投影される。また、側方照明源２３ｂ、２３ｃ、２３ｄ及び投射ユニット２４からの投射も同様に破線の矢印で示しており、一例として、上位光源２３ｂから投射され被検査体１２の検査面で反射してカメラユニット２１に投影される光束も示している。ここで、被検査体１２の表面は説明の便宜上、平面として図示しているが、実際には一般の被検査体のように、部位により傾斜や高さを有している。なお、図示される実施例においては上位光源２３ｂと中位光源２３ｃとの間に投射ユニット２４が設けられているが、投射ユニット２４の配置はこれに限られず、例えば下位光源２３ｄの外側に投射ユニット２４が設けられてもよい。

投射ユニット２４は、被検査体１２の検査面にパターンを投射する。パターンが投射された被検査体１２は、カメラユニット２１により撮像される。検査装置１０は、撮像された被検査体１２のパターン画像に基づいて被検査体１２の検査面の高さマップを作成する。制御ユニット３０は、投射パターンに対するパターン画像の局所的な不一致を検出し、その局所的な不一致に基づいてその部位の高さを求める。つまり、投射パターンに対する撮像パターンの変化が、検査面上の高さ変化に対応する。

ここで、投射パターンは、明線と暗線とが交互に周期的に繰り返される１次元の縞パターンであることが好ましい。投射ユニット２４は、被検査体１２の検査面に対し斜め方向から縞パターンを投影するよう配置されている。被検査体１２の検査面における高さの非連続は、縞パターン画像においてパターンのずれとして表れる。よって、パターンのずれ量から高さ差を求めることができる。本実施形態に係る検査装置１０においては、サインカーブに従って明るさが変化する縞パターンを用いるＰＭＰ（Ｐｈａｓｅ Ｍｅａｓｕｒｅｍｅｎｔ Ｐｒｏｆｉｌｏｍｅｔｒｙ）法により制御ユニット３０は高さマップを作成する。ＰＭＰ法においては縞パターンのずれ量がサインカーブの位相差に相当する。

投射ユニット２４は、パターン形成装置と、パターン形成装置を照明するための光源と、パターンを被検査体１２の検査面に投影するための光学系と、を含んで構成される。パターン形成装置は例えば、液晶ディスプレイ等のように所望のパターンを動的に生成しうる可変パターニング装置であってもよいし、ガラスプレート等の基板上にパターンが固定的に形成されている固定パターニング装置であってもよい。パターン形成装置が固定パターニング装置である場合には、固定パターニング装置を移動させる移動機構を設けるか、あるいはパターン投影用の光学系に調整機構を設けることにより、パターンの投影位置を可変とすることが好ましい。また、投射ユニット２４は、異なるパターンをもつ複数の固定パターニング装置を切替可能に構成されていてもよい。

投射ユニット２４は、カメラユニット２１の周囲に複数設けられていてもよい。複数の投射ユニット２４は、それぞれ異なる投射方向から被検査体１２にパターンを投影するよう配置されている。このようにすれば、検査面における高さ差によって影となりパターンが投影されない領域を小さくすることができる。

図１に示す制御ユニット３０は、本装置全体を統括的に制御するもので、ハードウエアとしては、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現され、ソフトウエアとしてはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

図１には、制御ユニット３０の構成の一例が示されている。制御ユニット３０は、検査制御部３１と記憶部であるメモリ３５とを含んで構成される。検査制御部３１は、高さ測定部３２と検査データ処理部３３と検査部３４とを含んで構成される。また、検査装置１０は、ユーザまたは他の装置からの入力を受け付けるための入力部３６と、検査に関連する情報を出力するための出力部３７とを備えており、入力部３６及び出力部３７はそれぞれ制御ユニット３０に接続されている。入力部３６は例えば、ユーザからの入力を受け付けるためのマウスやキーボード等の入力手段や、他の装置との通信をするための通信手段を含む。出力部３７は、ディスプレイやプリンタ等の公知の出力手段を含む。

検査制御部３１は、入力部３６からの入力及びメモリ３５に記憶されている検査関連情報に基づいて、検査のための各種制御処理を実行するよう構成されている。検査関連情報には、被検査体１２の２次元画像、被検査体１２の高さマップ、及び基板検査データが含まれる。検査に先立って、検査データ処理部３３は、すべての検査項目に合格することが保証されている被検査体１２の２次元画像及び高さマップを使用して基板検査データを作成する。検査部３４は、作成済みの基板検査データと、検査されるべき被検査体１２の２次元画像及び高さマップとに基づいて検査を実行する。

基板検査データは基板の品種ごとに作成される検査データである。基板検査データはいわば、その基板に実装された部品ごとの検査データの集合体である。各部品の検査データは、その部品に必要な検査項目、各検査項目についての画像上の検査区域である検査ウインドウ、及び各検査項目について良否判定の基準となる検査基準を含む。検査ウインドウは各検査項目について１つまたは複数設定される。例えば部品のハンダ付けの良否を判定する検査項目においては通常、その部品のハンダ付け領域の数と同数の検査ウインドウがハンダ付け領域の配置に対応する配置で設定される。また、被検査体画像に所定の画像処理をした画像を使用する検査項目については、その画像処理の内容も検査データに含まれる。

検査データ処理部３３は、基板検査データ作成処理として、その基板に合わせて検査データの各項目を設定する。例えば検査データ処理部３３は、その基板の部品レイアウトに適合するように各検査ウインドウの位置及び大きさを各検査項目について自動的に設定する。検査データ処理部３３は、検査データのうち一部の項目についてユーザの入力を受け付けるようにしてもよい。例えば、検査データ処理部３３は、ユーザによる検査基準のチューニングを受け入れるようにしてもよい。検査基準は高さ情報を用いて設定されてもよい。

検査制御部３１は、基板検査データ作成の前処理として被検査体１２の撮像処理を実行する。この被検査体１２はすべての検査項目に合格しているものが用いられる。撮像処理は上述のように、照明ユニット２３により被検査体１２を照明しつつ撮像ユニット２０と検査テーブル１４との相対移動を制御し、被検査体１２の部分画像を順次撮影することにより行われる。被検査体１２の全体がカバーされるように複数の部分画像が撮影される。検査制御部３１は、これら複数の部分画像を合成し、被検査体１２の検査面全体を含む基板全面画像を生成する。検査制御部３１は、メモリ３５に基板全面画像を記憶する。

また、検査制御部３１は、高さマップ作成のための前処理として、投射ユニット２４により被検査体１２にパターンを投射しつつ撮像ユニット２０と検査テーブル１４との相対移動を制御し、被検査体１２のパターン画像を分割して順次撮影する。投射されるパターンは好ましくは、ＰＭＰ法に基づきサインカーブに従って明るさが変化する縞パターンである。検査制御部３１は、撮影した分割画像を合成し、被検査体１２の検査面全体のパターン画像を生成する。検査制御部３１は、メモリ３５にパターン画像を記憶する。なお、全体ではなく検査面の一部についてパターン画像を生成するようにしてもよい。

高さ測定部３２は、撮像パターン画像上のパターンに基づいて被検査体１２の検査面全体の高さマップを作成する。高さ測定部３２はまず、撮像パターン画像と基準パターン画像との局所的な位相差を画像全体について求めることにより、被検査体１２の検査面の位相差マップを求める。基準パターン画像とは、投射ユニット２４により投射されたパターン画像（つまり投射ユニット２４に内蔵されているパターン形成装置が生成した画像）である。高さ測定部３２は、高さ測定の基準となる基準面と位相差マップとに基づいて被検査体１２の高さマップを作成する。基準面は例えば、検査される電子回路基板の基板表面である。基準面は必ずしも平面ではなくてもよく、基板の反り等の変形が反映された曲面であってもよい。基準面は、ユーザの入力等により予め指定されてもよいし、例えば後述の基板表面高さ測定方法により個々の基板ごとに求めてもよい。

高さ測定部３２は、具体的には、撮像パターン画像の各画素と、当該画素に対応する基準パターン画像の画素とで縞パターンの位相差を求める。高さ測定部３２は、位相差を高さに換算する。高さへの換算は、当該画素近傍における局所的な縞幅を用いて行われる。撮像パターン画像上の縞幅が場所により異なるのを補間するためである。検査面上での位置により投射ユニット２４からの距離が異なるために、基準パターンの縞幅が一定であっても、検査面のパターン投影領域の一端から他端へと線形に縞幅が変化してしまうからである。高さ測定部３２は、換算された高さと基準面とに基づいて基準面からの高さを求め、被検査体１２の高さマップを作成する。

検査制御部３１は、被検査体１２の高さマップが有する高さ情報を被検査体１２の２次元画像の各画素に対応づけることにより、高さ分布を有する被検査体画像を作成してもよい。また、検査制御部３１は、高さ分布付き被検査体画像に基づいて被検査体１２の３次元モデリング表示を行うようにしてもよい。また、検査制御部３１は、２次元の被検査体画像に高さ分布を重ね合わせて出力部３７に表示してもよい。例えば、被検査体画像を高さ分布により色分け表示するようにしてもよい。

それでは、照明ユニット２３を用いて撮影した画像の処理方法について説明する。上述したように、本実施形態に係る検査装置１０において、照明ユニット２３を構成する光源（落射照明源２３ａ、並びに、側方照明源である上位光源２３ｂ、中位光源２３ｃ及び下位光源２３ｄ）は、図２（ａ）に示すように、被検査体１２の基準面（被検査体１２の検査面であって、検査装置１０の設置面に対して略平行な面）に対して、異なる投射角度になるように配置されている。具体的には、落射照明源２３ａからの照明光は、カメラユニット２１の光学系の光軸Ｌに沿って、すなわち、基準面に対して略垂直に投射され、また、上位光源２３ｂ、中位光源２３ｃ及び下位光源２３ｄの順序で、投射角度が水平方向に近づくように投射される。

照明ユニット２３の各光源２３ａ〜２３ｄの各々から投射され、被検査体１２で反射した光は、被検査体１２で反射して直接カメラユニット２１に入射する光以外の強度は、理想的には０になる、すなわち、被検査体１２の検査面の基準面に対する角度（傾斜状態）と、照明ユニット２３の各光源２３ａ〜２３ｄのうち、この検査面で反射した光がカメラユニット２１に直接入射する光源による反射光の強度は大きくなり、それ以外の光源による反射光の強度は０になる。例えば、被検査体１２の検査面に、図２（ｂ）に示す断面のハンダが形成されていた場合、そのハンダの表面の基準面に対する角度に応じて、カメラユニット２１の撮像素子により検出される、照明ユニット２３の各光源２３ａ〜２３ｄによる照明光の反射光の強度が変化する。本実施形態では、基準面に対して０°〜１５°の傾斜面は、落射照明源２３ａからの光の反射光の強度が大きくなり、１５°〜４５°の傾斜面は、上位光源２３ｂからの光の反射光の強度が大きくなり、４５°〜６５°の傾斜面は、中位光源２３ｃからの光の反射光の強度が大きくなり、６５°〜８５°の傾斜面は、下位光源２３ｄからの光の反射光の強度が大きくなるように構成されている。なお、照明ユニット２３の各光源２３ａ〜２３ｄと、被検査体１２の傾斜面の角度との関係は一例であり、この構成に限定されることはない。

以上より、照明ユニット２３の各光源２３ａ〜２３ｄの各々を点灯してカメラユニット２１で撮影された画像の各々の画素の強度は、上述した傾斜面の角度と一致しているときに大きくなり、一致していないときは０に近い値になる。

そこで、本実施形態に係る検査装置１０では、照明ユニット２３の各光源２３ａ〜２３ｄのそれぞれから照明光を投射してカメラユニット２１で撮影した画像から、Ｒ（赤色）成分、Ｇ（緑色）成分、Ｂ（青色）成分の画像を生成し、さらに、この３つの画像を合成することによりＲＧＢ画像（カラー画像）を生成して、被検査体１２の検査面の傾斜の状態を表現するように構成されている。

図３に示すように、色を、色相Ｈ、彩度Ｓ及び明度Ｖで表現した場合（ＨＳＶ表色系で表現した場合）、色相Ｈは円の角度で表され、彩度Ｓ及び明度Ｖは互いに直交する方向の大きさで表される。また、この色相Ｈにおいて、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）は、各々１２０°離れた位置にある。そのため、上位光源２３ｂからの光を投射した反射光により得られた画像、すなわち、本実施形態では、１５°〜４５°の傾斜面からの反射光を検出した画像（図３においては「Ｔｏｐ」と呼ぶ）をＲ（赤色）に割り当て、中位光源２３ｃからの光を投射した反射光により得られた画像、すなわち、４５°〜６５°の傾斜面からの反射光を検出した画像（図３において「Ｓｉｄｅ」と呼ぶ）をＧ（緑色）に割り当て、下位光源２３ｄからの光を投射した反射光により得られた画像、すなわち、６５°〜８５°の検査面からの反射光を検出した画像（図３においては「Ｌｏｗ」と呼ぶ）をＢ（青色）に割り当てることにより、これらの画像を合成して得られたＲＧＢ画像（カラー画像）からは、傾斜状態に応じて、ＲＧＢで表現された画像を得られることができるので、この画像の色から、被検査体１２の検査面の傾斜状態を把握することができる。また、上述したように、照明ユニット２３の側方照明源２３ｂ〜２３ｄの投射角度と色相Ｈとを対応させることにより、Ｒ（赤色）で表現される１５°〜４５°よりも小さい、０°〜１５°の傾斜面からの反射光を検出した画像（図３においては「Ｃｏａｘｉｓ」と呼ぶ）を、Ｒ（赤色）とＢ（青色）の中間の色（紫）で表示させることができるので、照明ユニット２３として、投射角度の異なる４つ以上の光源を用いた場合でも、ＲＧＢ画像（カラー画像）により被検査体１２の検査面の傾斜状態を明確に表現することができる。すなわち、図２（ｂ）に示すハンダの状態を、ＲＧＢ画像（カラー画像）から判断することができる。

なお、照明ユニット２３の各光源２３ａ〜２３ｄから照射される照明光の色と、これらの光源２３ａ〜２３ｄの各々から照射された光による反射光を撮像した画像を割り当てる色（ＲＧＢ）とは一致する必要はないため（色相Ｈは、被検査体１２の検査面の傾斜状態（角度）を表しているため）、カメラユニット２１の撮像素子はカラーである必要はない（光の強度を検出できればよい）。なお、ＲＧＢ画像（カラー画像）の生成において、強度の違いは、彩度Ｓ又は明度Ｖで表現される。

それでは、図４を用いて、制御ユニット３０の検査制御部３１の画像合成処理について説明する。なお、上述したように、検査制御部３１により、ＸＹステージ１６が制御され、被検査体１２の検査面の、落射照明源２３ａにより照明されたときの画像（以下、「Ｃｏａｘｉｓ画像」と呼ぶ）、上位光源２３ｂにより照明されたときの画像（以下、「Ｔｏｐ画像」と呼ぶ）、中位光源２３ｃにより照明されたときの画像（以下、「Ｓｉｄｅ画像」と呼ぶ）、及び、下位光源２３ｄにより照明されたときの画像（以下、「Ｌｏｗ画像」と呼ぶ）が取得され、各画素の強度がメモリ３５に記憶されているものとする。なお、以降の説明において、被検査体１２の検査面を撮像した画像（被検査体画像）は、Ｍ×Ｎの画素（Ｍ，Ｎは正の整数）で構成されているものとし、画素（ｉ，ｊ）に対する落射照明源２３ａの画像（Ｃｏａｘｉｓ画像）の記憶領域をＡｃ（ｉ，ｊ）とし、上位光源２３ｂの画像（Ｔｏｐ画像）の記憶領域をＡｔ（ｉ，ｊ）とし、中位光源２３ｃの画像（Ｓｉｄｅ画像）の記憶領域をＡｓ（ｉ，ｊ）とし、下位光源２３ｄの画像（Ｌｏｗ画像）の記憶領域をＡｌ（ｉ，ｊ）とする。また、以下の処理により生成されたＲ（赤色）成分の画像の記憶領域をＢｒ（ｉ，ｊ）とし、Ｇ（緑色）成分の画像の記憶領域をＢｇ（ｉ，ｊ）とし、Ｂ（青色）成分の画像の記憶領域をＢｂ（ｉ，ｊ）とする。但し、ｉ＝０・・・Ｍ−１、ｊ＝０・・・Ｎ−１とする。

制御ユニット３０の検査制御部３１は、上述した処理により被検査体１２の検査面の、照明ユニット２３の光源２３ａ〜２３ｄのそれぞれによる画像が撮像されると、ＲＧＢ成分の画像の記憶領域Ｂｒ（ｉ，ｊ）、Ｂｇ（ｉ，ｊ）、Ｂｂ（ｉ，ｊ）をクリアする（ステップＳ１００）。そして、画像の画素の列方向をカウントする変数ｉに０を設定し（ステップＳ１０２）、画像の画素の行方向をカウントする変数ｊに０を設定し（ステップＳ１０４）、まず、画素（ｉ，ｊ）におけるＣｏａｘｉｓ画像の強度（Ａｃ（ｉ，ｊ））とＴｏｐ画像の強度（Ａｔ（ｉ，ｊ））を比較し（ステップＳ１０６）、Ｃｏａｘｉｓ画像の強度の方がＴｏｐ画像の強度よりも大きいときは、Ｃｏａｘｉｓ画像の強度の値をＲ成分の画像の画素（ｉ，ｊ）の値として記憶し（Ｂｒ（ｉ，ｊ）にＡｃ（ｉ，ｊ）の値を設定し）（ステップＳ１０８）、Ｔｏｐ画像の強度がＣｏａｘｉｓ画像の強度以下のときは、Ｔｏｐ画像の強度の値をＲ成分の画像の画素（ｉ，ｊ）の値として記憶する（Ｂｒ（ｉ，ｊ）にＡｔ（ｉ，ｊ）の値を設定する）（ステップＳ１１０）。

次に、画素（ｉ，ｊ）におけるＣｏａｘｉｓ画像の強度（Ａｃ（ｉ，ｊ））とＬｏｗ画像の強度（Ａｌ（ｉ，ｊ））を比較し（ステップＳ１１２）、Ｃｏａｘｉｓ画像の強度の方がＬｏｗ画像の強度よりも大きいときは、Ｃｏａｘｉｓ画像の強度の値をＢ成分の画像の画素（ｉ，ｊ）の値として記憶し（Ｂｂ（ｉ，ｊ）にＡｃ（ｉ，ｊ）の値を設定し）（ステップＳ１１４）、Ｌｏｗ画像の強度がＣｏａｘｉｓ画像の強度以下のときは、Ｌｏｗ画像の強度の値をＢ成分の画像の画素（ｉ，ｊ）の値として記憶する（Ｂｂ（ｉ，ｊ）にＡｌ（ｉ，ｊ）の値を設定する）（ステップＳ１１６）。

さらに、画素（ｉ，ｊ）におけるＳｉｄｅ画像の強度（Ａｓ（ｉ，ｊ））をＧ成分の画像の画素（ｉ，ｊ）の値として記憶する（Ｂｇ（ｉ，ｊ）にＡｓ（ｉ，ｊ）の値を設定する）（ステップＳ１１８）。

そして、変数ｊに１を加算し（ステップＳ１２０）、この変数ｊの値がＮより小さいか否かを判断し（ステップＳ１２２）、Ｎより小さいときはステップＳ１０６に戻って上記の処理を繰り返す。また、ステップＳ１２２で変数ｊの値がＮ以上であると判断したときは、変数ｉに１を加算し（ステップＳ１２４）、変数ｉの値がＭより小さいか否かを判断し（ステップＳ１２６）、Ｍより小さいときはステップＳ１０４に戻って上記の処理を繰り返す。

最後に、以上のようにしてＭ×Ｎの画素の全てに対して生成されたＲ成分の画像Ｂｒ（ｉ，ｊ）、Ｂ成分の画像Ｂｂ（ｉ，ｊ）及びＧ成分の画像Ｂｇ（ｉ，ｊ）（ｉ＝０・・・Ｍ−１，ｊ＝０・・・Ｎ−１）を用いて、画素（ｉ，ｊ）毎に、Ｂｒ（ｉ，ｊ）の値から赤色成分の値を決定し、Ｂｂ（ｉ，ｊ）の値から青色成分の値を決定し、Ｂｇ（ｉ，ｊ）から緑色成分の値を決定し、カラー画像（ＲＧＢ画像）を合成してメモリ３５に記憶させる（ステップＳ１２８）。

基本的に、照明ユニット２３の各光源２３ａ〜２３ｄの投射角度と被検査体１２の検査面の傾斜状態とがカメラユニット２１に直接入力する場合で無いと、反射光の強度は検出できないが、検査面で反射した光が被検査体１２の検査面の他の箇所で反射することによる（２次反射による）光がカメラユニット２１に入射して検出される場合もある。また、図３を用いて説明したように、本実施形態においては、最終的に生成されるＲＧＢ画像の色相Ｈのうち、Ｒ（赤色）をＴｏｐに割り当て（１５°〜４５°の傾斜を表す）、Ｂ（青色）をＬｏｗに割り当てている（６５°〜８５°の傾斜を表す）。そのため、画素（ｉ，ｊ）において、Ｃｏａｘｉｓ画像の強度（Ａｃ（ｉ，ｊ））がＴｏｐ画像の強度（Ａｔ（ｉ，ｊ））及びＬｏｗ画像の強度（Ａｌ（ｉ，ｊ））より大きいときは、このＣｏａｘｉｓ画像の強度を当該画素（ｉ，ｊ）におけるＲ画像及びＢ画像の値（Ｂｒ（ｉ，ｊ）及びＢｂ（ｉ，ｊ））として設定することにより、当該光は落射照明源２３ａからの反射光がカメラユニット２１に入射する角度である（０°〜１５°の傾斜状態である）と判断することができ、色相Ｈを紫で表現することができる。また、Ｔｏｐ画像の強度がＣｏａｘｉｓ画像の強度以上であるときは、当該画素に対応する検査面が、上位光源２３ｂからの反射光がカメラユニット２１に直接入射する角度である（１５°〜４５°の傾斜状態である）と判断することができ、色相Ｈを赤で表現し、Ｌｏｗ画像の強度がＣｏａｘｉｓ画像の強度以上であるときは、当該画素に対する検査面が、下位光源２３ｄからの反射光がカメラユニット２１に直接入射する角度である（６５°〜８５°の傾斜状態である）と判断することができ、色相Ｈを青で表現するように構成されている。

なお、Ｃｏａｘｉｓの色相Ｈを、例えば黄色に割り当てると、検査面の角度が、Ｓｉｄｅに対応した傾斜状態（４５°〜６５°）とＬｏｗに対応した傾斜状態（６５°〜８５°）との境界付近の傾斜状態のときも黄色となるため、傾斜状態の判別が付かなくなるが、Ｃｏａｘｉｓに対応する色相Ｈを傾斜角度の範囲が最も離れたＲ（赤色）とＢ（青色）の中間の紫とすることで、傾斜状態を明確に判別することができる。同様に、紫とすることで、２次反射による影響も排除することができる。

図５を用いて、この画像合成処理を具体的な数値を用いて説明する。なお、図５の値は各画素の強度を０〜９９の範囲で検出した場合を示している。

例えば、画素（ｉ，ｊ）＝（１，２）において、Ｃｏａｘｉｓ画像の強度（Ａｃ（１，２））の値は「２０」であり、Ｔｏｐ画像の強度（Ａｔ（１，２））の値は「３０」であることから、Ｒ成分の画像の強度（Ｂｒ（１，２））に「３０」を設定する。また、Ｌｏｗ画像の強度（Ａｌ（１，２））の値は「５０」であるので、Ｂ成分の画像の強度（Ｂｂ（１，２））に「５０」を設定する。また、Ｓｉｄｅ画像の強度（Ａｓ（１，２））の値である「７０」をＧ成分の画像の強度（Ｂｇ（１，２））に設定する。

また、画素（ｉ，ｊ）＝（３，２）において、Ｃｏａｘｉｓ画像の強度（Ａｃ（３，２））の値は「７０」であり、Ｔｏｐ画像の強度（Ａｔ（１，３））の値は「５０」であることから、Ｒ成分の画像の強度（Ｂｒ（１，３））に「７０」を設定する。また、Ｌｏｗ画像の強度（Ａｌ（１，３））の値は「１０」であるので、Ｂ成分の画像の強度（Ｂｂ（１，３））に「７０」を設定する。また、Ｓｉｄｅ画像の強度（Ａｓ（１，３））の値である「３０」をＧ成分の画像の強度（Ｂｇ（１，３））に設定する。

以上より、例えば、画素（ｉ，ｊ）＝（１，２）において、ＲＧＢ画像は、Ｒ成分を「３０」、Ｇ成分を「７０」、Ｂ成分を「５０」として当該画素の色が決定される。また、画素（ｉ，ｊ）＝（１，３）において、ＲＧＢ画像は、Ｒ成分を「７０」、Ｇ成分を「３０」、Ｂ成分を「７０」として当該画素の色が決定される。他の画素においても、上述した処理により決定される（図５参照）。

なお、照明ユニット２３を構成する光源２３ａ〜２３ｄから投射される照明光の特性によっては、それらの照明光を投射することによれ得られた画像の補正を行い（例えば、画像の強度に所定の係数を乗算する）、補正された画像を用いて上述した方法によりＲＧＢ画像を生成するように構成してもよい。

以上のように、被検査体１２の検査面の傾斜状態（角度）をＨＳＶ表色系における色相Ｈの角度（図３参照）に対応させてＲＧＢ画像として表現することにより、色相Ｈの角度の変化（すなわち、色の変化）と検査面の角度の変化が対応することになり（例えば、検査面の角度が０°→３０°→５５°→７５°と変化すると、ＲＧＢ画像の該当箇所の画素の色が紫→赤→緑→青と変化するため）、検査面の傾斜状態を感覚的に理解することができる。なお、以上の説明では、Ｔｏｂ、Ｓｉｄｅ、Ｌｏｗの状態をそれぞれ、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）に割り当てた場合（その結果Ｃｏａｘｉｓの状態が紫色になる）について説明したが、例えば、Ｔｏｐの状態を黄色に割り当てた場合には、図３において、黄色から色相Ｈが各々１２０°ずれた色をＳｉｄｅ及びＬｏｗの状態に割り当て、Ｃｏａｘｉｓの状態をＴｏｐ及びＬｏｗの状態の間の色相Ｈとすることにより対応することが可能である。

また、以上のようなＲＧＢ画像とすることにより、被検査体１２の検査面の傾斜状態がなめらかに変化するときは、上述したように色相Ｈの角度に応じて変化するため、色相Ｈの変化が連続で無いときや、急激に変化をするときは、その検査面が異常である（検査面の高さが異常である）可能性を表現することができる。また、ＲＧＢ画像における色相Ｈの変化から、検査面の傾斜状態（角度）を推定することで、検査面の高さ測定材料として扱うこともできる。

なお、このようなＲＧＢ画像による検査対象は、上述したハンダ面に限定されることはなく、ＩＣリード先端の形状やチップ電極の形状にも適用することができる。

１０ 検査装置
２０ 撮像ユニット
２３ 照明ユニット
３０ 制御ユニット
３５ メモリ（記憶部）

Claims (4)

1. 被検査体に対し、第１の光源、第２の光源、第３の光源及び第４の光源の各々によりそれぞれが異なる投射角度で照明光を順番に投射して撮像された前記被検査体の光の強度を表す画像である、第１の画像、第２の画像、第３の画像及び第４の画像からＲＧＢ画像を生成する画像生成方法であって、
   前記被検査体の同一の位置に対応する画素毎に、
   前記第１の画像の強度と前記第２の画像の強度と前記第４の画像の強度とを比較して、前記第１の画像の強度、前記第２の画像の強度、前記第３の画像の強度及び前記第４の画像の強度のいずれかを第１の色情報、第２の色情報及び第３の色情報の強度としてそれぞれに設定する色情報設定ステップと、
   前記第１の色情報、前記第２の色情報及び前記第３の色情報を用いて画像合成を行うことにより、前記ＲＧＢ画像を生成する画像生成ステップと、を有することを特徴とする画像生成方法。
2. 被検査体に対し、第１の光源、第２の光源、第３の光源及び第４の光源の各々によりそれぞれが異なる投射角度で照明光を投射して撮像された前記被検査体の画像である、第１の画像、第２の画像、第３の画像及び第４の画像からＲＧＢ画像を生成する画像生成方法であって、
   前記被検査体の同一の位置に対応する画素毎に、
   前記第１の画像の強度と前記第２の画像の強度と前記第４の画像の強度とを比較して、第１の色情報、第２の色情報及び第３の色情報を設定する色情報設定ステップと、
   前記第１の色情報、前記第２の色情報及び前記第３の色情報を用いて画像合成を行うことにより、前記ＲＧＢ画像を生成する画像生成ステップと、を有し、
   前記色情報設定ステップは、
   前記第１の画像の強度と前記第２の画像の強度を比較して、前記第１の画像の強度の方が前記第２の画像の強度よりも大きいときは、前記第１の画像の強度を第１の色情報として設定し、前記第２の画像の強度が前記第１の画像の強度以上のときは、前記第２の画像の強度を前記第１の色情報として設定する第１のステップと、
   前記第１の画像の強度と前記第４の画像の強度を比較して、前記第１の画像の強度の方が前記第４の画像の強度よりも大きいときは、前記第１の画像の強度を第３の色情報として設定し、前記第４の画像の強度が前記第１の画像の強度以上のときは、前記第４の画像の強度を前記第３の色情報として設定する第２のステップと、
   前記第３の画像の強度を第２の色情報として設定する第３のステップと、を有することを特徴とする画像生成方法。
3. 前記第１の色情報、前記第２の色情報及び前記第３の色情報の各々は、ＨＳＶ表色系における色相のいずれかに対応しており、前記第１の色情報、前記第２の色情報及び前記第３の色情報の順で、前記第１の色情報、前記第２の色情報及び前記第３の色情報に対応する色相の順序が、ＨＳＶ表色系における色相の順序と一致していることを特徴とする請求項１または２に記載の画像生成方法。
4. 被検査体に対し、それぞれが異なる投射角度により照明光を照射する照明ユニットであって、前記投射角度の順に、第１の光源、第２の光源、第３の光源及び第４の光源を有する照明ユニットと、
   前記照明光を順番に投射して前記被検査体の光の強度を表す画像を取得する撮像ユニットと、
   前記被検査体の画像であって、前記第１の光源からの照明光が照射された状態の第１の画像、前記第２の光源からの照明光が照射された状態の第２の画像、前記第３の光源からの照明光が照射された状態の第３の画像、及び、前記第４の光源からの照明光が照射された状態の第４の画像を記憶する記憶部と、
   前記照明ユニット及び前記撮像ユニットを制御して、前記第１の画像、前記第２の画像、前記第３の画像及び前記第４の画像を取得し、請求項１〜３のいずれか一項に記載の画像生成方法により、ＲＧＢ画像を生成する制御ユニットと、を有することを特徴とする検査装置。