JP3594026B2 - 曲面体の表面状態検査方法および基板検査装置 - Google Patents
曲面体の表面状態検査方法および基板検査装置 Download PDFInfo
- Publication number
- JP3594026B2 JP3594026B2 JP2002308304A JP2002308304A JP3594026B2 JP 3594026 B2 JP3594026 B2 JP 3594026B2 JP 2002308304 A JP2002308304 A JP 2002308304A JP 2002308304 A JP2002308304 A JP 2002308304A JP 3594026 B2 JP3594026 B2 JP 3594026B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- intensity
- color
- pixel
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N21/95684—Patterns showing highly reflecting parts, e.g. metallic elements
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Electric Connection Of Electric Components To Printed Circuits (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、部品実装基板上に形成されたはんだ付け部位のように表面が曲面形状をとる物体（以下、「曲面体」という。）の表面状態を検査する技術に関連する。
【０００２】
【従来の技術】
出願人は、以前に、はんだ付け部位の鏡面反射性を利用して、画像処理の手法により基板上のはんだ付け部位を自動検査する装置を開発した（特許文献１参照。）。
【０００３】
【特許文献１】
特公平６−１１７３号 公報
【０００４】
図９は、上記特許文献１に開示された基板検査装置の構成および検査の原理を示す。この検査装置は、赤（Ｒ），緑（Ｇ），青（Ｂ）の各色彩光を有する３個の光源８，９，１０と撮像装置３とにより検査対象の画像を生成するもので、各光源８，９，１０は、基板１に対してそれぞれ異なる仰角方向に配備される。一方、撮像装置３は、検査対象のはんだ２を真上位置から撮像するように配備される。
【０００５】
上記構成によれば、各光源８，９，１０からの色彩光は、それぞれはんだ２の表面上でその光源の配置方向（仰角の方向）に対応する位置に照射される。ここで各色彩光の照射位置におけるはんだ表面の傾きが、いずれもその照明光の鏡面反射光を撮像装置に導くことが可能な方向に傾斜している場合には、図１０に示すように、Ｒ，Ｇ，Ｂの各色彩光の照射位置に対応させて各色彩が色分けされた２次元画像が生成されることになる。
【０００６】
前記検査装置では、各光源８，９，１０の基板面に対する仰角がＲ，Ｇ，Ｂの順に大きくなるようにするとともに、はんだ表面上で切り分けて検出したい傾斜角度の範囲に応じて各光源８，９，１０の配置方向を決定している。よって各光源８，９，１０による照明下で得られた画像上で、優勢となる色彩を抽出すると、図１１に示すように、基板面から見た仰角が最も小さい平坦面、仰角が最も大きい急傾斜面、これらの中間に位置する比較的緩やかな傾斜面（暖傾斜面）に応じて、各色彩成分を明確に切り分けることができる。
【０００７】
このように、はんだ表面の傾斜角度に応じてＲ，Ｇ，Ｂの各色彩が色分けされた２次元画像が生成されるので、あらかじめ良好な形状のはんだの画像における各色彩のパターンを登録しておき、検査対象の画像上における各色彩のパターンを前記登録パターンと比較することにより、はんだの表面状態の良否を判別することができる。
【０００８】
【発明が解決しようとする課題】
ところで近年の部品実装基板の製造元では、環境上の問題を考慮して、鉛を含まないはんだ（鉛フリーはんだ）を採用する頻度が高まっている。ところがこの鉛フリーはんだは、組成金属の固化の温度の差が大きい非共晶合金であるため、その表面は細かい凹凸のある梨地状になりやすい。このため、鉛とスズとを主成分とする従来の共晶はんだに比べて、表面の拡散反射性が高くなる。一方、この検査装置では、係員にとっての視認性を考慮して、各光源から拡散する光の混合によって白色照明が施されるように、各光源の強度を調整するので、鉛フリーはんだのような拡散反射性を有する対象物を撮像すると、各色彩光の混合によって画像が白っぽくなったり、各色彩パターン間の境界が不明瞭になる、という現象が起きる。また上記の調整処理では、白色の拡散反射板を、その板面を水平方向に沿わせた状態で設置して、この拡散反射面を撮像し、画像上の拡散反射面の色彩を参照しながら調整を行うため、この拡散反射板の設置状態に近いはんだの平坦面での赤色が特に視認しにくい状態となる。
【０００９】
上記の検査装置では、検査のためのティーチング時には、モデルのはんだの画像を表示し、係員により各色彩パターンを抽出するための２値化しきい値や抽出された色彩パターンの適否を判別するための判定基準値などの設定を行う必要がある。しかしながら検査対象の鉛フリーはんだの画像において、上記のように各色彩の混合によって白っぽい画像が生成されたり、各色彩パターン間の境界が不明瞭になると、最適な２値化しきい値を目視により画像から判断するのが容易でなく、設定作業に時間がかかる、という問題が生じる。また上記の光学系は、目視方式の検査装置にも用いることができるが、各色彩パターン間の境界位置などにおける色彩の微妙な違いを確認するのが困難になると、各検査部位の良否を判別するのに時間がかかる。
【００１０】
また、検査対象の鉛フリーはんだの拡散反射性が大きくなると、各色成分間の階調の差が小さくなり、検査精度を安定化させるのが困難になる虞がある。
【００１１】
この発明は上記問題点に着目してなされたもので、鉛フリーはんだのような拡散反射性を持つ曲面体を検査対象とする場合にも、検査を安定して行うことができるようにすることを目的とする。
【００１２】
【課題を解決するための手段】
この発明にかかる第１の曲面体の表面状態検査方法は、検査対象面に対する仰角が異なる複数の方向からそれぞれ異なる色彩光を照射した照明状態下で、前記検査対象面上の曲面体からの反射光を撮像するステップと、前記撮像により得られた画像中の曲面体像を含む画像領域において、各色彩が混合して生じる白色成分の強度を画素毎に抽出する処理と、各画素における色成分の強度をそれぞれその画像について抽出された白色成分の強度に対応する値だけ減衰させる処理とを実行するステップと、前記減衰処理後の各画素について、それぞれその画素における各色成分のうち最も強度の大きい色成分が減衰処理前に比べて強調され、かつ前記減衰処理後の各色成分の強度の総和が減衰処理前の状態に回復するように、各色成分の強度を変更する処理を実行するステップと、前記各色成分の強度の変更処理後の画像における各色彩の分布状態に基づき、前記曲面体の表面状態の検査に関わる処理を実行するステップとを、実行するものである。
【００１３】
ここでいう「検査対象面」とは、たとえば基板の表面であり、また「曲面体」として、基板上に形成されるはんだを指すことができる。
異なる仰角の方向から照射される色彩光は、赤，緑，青の三原色の光とするのが望ましいが、これに限らず、三原色以外の色彩光を照射してもよい。
【００１４】
一般に表示用のカラー画像は、赤（Ｒ），緑（Ｇ），青（Ｂ）の各色彩毎の階調を組み合わせることにより形成され、Ｒ，Ｇ，Ｂが同じ割合で混合したときに白色が現れるようになる。よって前記白色成分を生成する「各色彩」は、Ｒ，Ｇ，Ｂの各色彩と言うことができる。
【００１５】
強度の減衰処理や変更処理の対象となる各色成分とは、画像上において、前記複数の方向から照射される各色彩光に対応するものと考えることができる。したがって、前記曲面体に三原色Ｒ，Ｇ，Ｂの各色彩光が照射される場合には、処理対象となる色成分は、Ｒ，Ｇ，Ｂの三色と考えてよい。
色成分の強度は、カメラなどの撮像手段に入射する反射光の強さに対応するもので、ディジタル画像においては、画素毎の階調により表すことができる。なお、この発明においては、色成分の強度が大きくなるほど、階調の値が大きくなるようにするのが望ましい。
【００１６】
前記白色成分の抽出処理、強度の減衰処理、強度の変更処理は、いずれも、検査対象の曲面体像を含む画像領域内の画素毎に実行することができる。
白色成分の抽出処理では、ディジタル濃淡画像中の曲面体像を含む画像領域において、各色成分に共通する所定量の強度を白色成分として抽出する。たとえば、各色成分の強度の中の最小値を白色成分として抽出することができる。または、この最小値の所定割合分の強度を白色成分として抽出してもよい。
【００１７】
各色成分の強度を減衰させる処理では、各色成分の強度からそれぞれ前記白色成分として抽出した値を差し引く処理によって、各色成分の強度を所定量ずつ減衰させることができる。この減衰処理により、各色彩の拡散反射光が混合することによって生じた白色成分が取り除かれるので、減衰処理後の各色成分の強度は、曲面体の表面からの各色彩の鏡面反射光の強さを、精度良く反映したものになると、言うことができる。
【００１８】
つぎに、各色成分の強度を変更する処理では、前記減衰処理後に最も大きくなった色成分の強度を、さらに減衰処理前の強度よりも大きくし、かつ減衰処理により各色成分の強度の総和に生じた損失が回復するように、各色成分に所定量の強度を補充する。
たとえば、前記減衰処理を行う前の各色成分の強度の総和と減衰処理後の各色成分の強度の総和との比率を求め、その比率に応じて、減衰処理後の各色成分毎の強度を倍増することができる。または、前記白色成分として除去された強度を、減衰処理後の強度の比率に応じて各色成分に振り分け、加算するようにしてもよい。
【００１９】
なお、この強度変更処理では、各色成分の強度の総和を減衰処理前と同じ値にまで回復させるのが望ましい。このようにすれば、曲面体像の明るさを減衰処理前と同じにすることができるので、処理が行われない曲面体像の周囲部分との間での明るさが異なることがなく、ティーチングや目視検査のために表示された画像を見ても、違和感が生じることがない。ただし、各色彩の分布状態を視認するのに十分な明るさであり、周囲の明るさに対しても大きな差が生じないのであれば、各色成分の強度の総和が減衰処理前よりも低い値になっても、差し支えはない。
【００２０】
上記の白色成分の抽出処理および強度の減衰処理により、各色彩光が認識対象の曲面上で拡散反射することによって生じた白色成分を取り除き、各色彩がそれぞれの鏡面反射光の強度に応じた状態で分布する画像を生成することができる。さらに、強度の変更処理により、前記減衰処理によって暗くなった画像を元の画像の明るさに回復させるとともに、曲面体表面の傾斜角度に対応する色成分がより強調されるような補正がなされるので、最も優勢な各成分と他の色成分との間に十分な差をもたせることができる。よって、曲面体に対し、精度の高い検査を安定して行うことが可能となる。
【００２１】
この発明にかかる第２の検査方法は、検査対象面に対する仰角が異なる複数の方向からそれぞれ異なる色彩光を照射した照明状態下で、前記検査対象面に対して任意の傾斜角度を持つ拡散反射面からの反射光を撮像するステップと、前記撮像により得た画像中の拡散反射面像において、前記傾斜角度に対応する仰角方向からの光に応じた色成分が他の色成分よりも大きくなるように、各色成分の強度の調整倍率を決定するステップと、前記拡散反射面を撮像したときと同様の照明状態下で検査対象面上の曲面体からの反射光を撮像するステップと、前記撮像により得られた画像中の曲面体像を含む画像領域において、各色成分の強度を前記調整倍率に基づき調整するステップと、前記調整処理後の前記画像領域において、各色彩が混合して生じる白色成分の強度を画素毎に抽出する処理と、各画素における色成分の強度をそれぞれその画素について抽出された白色成分の強度に対応する値だけ減衰させる処理とを実行するステップと、前記減衰処理後の各画素について、それぞれその画素における各色成分のうち最も強度の大きい色成分が減衰処理前に比べて強調され、かつ前記減衰処理によりその画素における各色成分の強度の総和に生じた損失が補われるように、各色成分の強度を変更する処理を実行するステップと、前記強度の変更処理後の画像における各色彩の分布状態に基づき前記曲面体の表面状態の検査に関わる処理を実行するステップとを、実行するようにしている。
【００２２】
前記拡散反射面像における「傾斜角度に対応する仰角方向からの光」とは、前記傾斜角度を持つ面を検出できる仰角方向に配備された光源からの光である。言い換えれば、前記拡散反射面を同様の傾斜角度を持つ鏡面に置き換えた場合に、撮像装置に鏡面反射光を導くことが可能な方向に配備された光源からの光と言うことができる。
【００２３】
たとえば前記図９の構成において、前記拡散反射面の傾斜角度がはんだの平坦面に対応する角度に設定されている場合には、「傾斜角度に対応する仰角方向からの光」は、赤色光となる。また傾斜角度がはんだの暖傾斜面に対応する角度に設定されている場合には、前記光は緑色光となり、同様に、傾斜角度がはんだの急傾斜面に対応する角度に設定されている場合には、前記光は青色光となる。
【００２４】
前記拡散反射面からの反射光を撮像するステップと、各色成分の強度の調整倍率を決定するステップとは、検査に先立ち実行されるものである。これらのステップは、拡散反射面の傾斜角度を変更しながら、複数回にわたって繰り返されるのが望ましい。たとえば、拡散反射面を各色彩光の検出対象となる傾斜角度に順に設定しながら、傾斜角度毎に、各色彩光による照明状態下で撮像を行い、得られた画像において、前記拡散反射面の傾斜角度に対応する色成分が他の色成分よりも大きくなるように、各色成分の強度に対する倍率を調整する。この後は、傾斜角度毎の調整結果を総合して最終的な調整倍率を決定する。
【００２５】
検査対象面上の曲面体からの反射光を撮像するステップ以降の各ステップは、検査時に行われるものである。すなわち、検査においては、検査対象の曲面体からの反射光を撮像し、得られた画像中の曲面体像について、まず前記調整倍率に基づき、各色成分の強度を調整した上で、前記した白色成分の抽出処理、強度の減衰処理、強度の変更処理の各処理を実行し、処理後の画像を用いて曲面体の表面状態の検査に関わる処理が実行されることになる。
【００２６】
上記の方法によれば、各光源の配置方向に対応する傾斜面の画像に対し、それぞれ傾斜面が鏡面である場合に優勢となる色成分を強調するような調整が行われるので、検査対象の曲面体の表面の拡散反射性が高く、各色成分間での強度の差が出にくい場合にも、表面が鏡面となる曲面体と同様に、傾斜角度に応じた色彩分布を得ることができる。さらに、この調整を実行した後に、白色成分の抽出処理、強度の減衰処理、強度の変更処理の各処理が実行されるので、拡散反射光による影響が取り除かれ、各色彩の分布状態が明瞭化された画像を得ることができる。
【００２７】
なお前記強度の調整倍率を決定するステップでは、前記拡散反射板を用いた方法に限らず、表面形状が既知のモデルの曲面体を撮像し、この画像上において各光源に対応する傾斜面のパターンがそれぞれその光源に対応する色彩パターンとして現れるような調整倍率を設定してもよい。
【００２８】
また倍率の調整は、ディジタル画像上の色成分の強度に対する倍率に限らず、アナログの画像信号に対して設定することもできる。たとえば撮像装置からのアナログ画像を画像処理装置に取り込んで処理を行う場合に、画像処理装置側で入力された画像信号のゲインを調整することができる。またこれに代えて、撮像装置側の出力ゲインを調整することもできる。
この画像信号のゲイン調整に際しても、拡散面の傾斜角度を各色彩光の方向に応じて順に変更しながら、各傾斜角度においてそれぞれその傾斜角度に対応する色成分が他の色成分よりも大きくなるように、ゲイン調整を行うのが望ましい。
【００２９】
ただし、色成分の強度を調整する方法では、検査対象の曲面体像に対応する画像領域のみを調整できるのに対し、アナログの画像信号を調整する場合には、曲面体以外の部位（たとえば基板の表面、部品の上面など）も、同様に調整されることになる。しかしながらいずれの部位に対しても、その表面の傾斜角度に応じた色成分が強められる調整がなされるだけであるので、傾斜角度によってどのような色彩が生じるのかが明らかであれば、画像表示を確認するのに、さほどの支障は生じない。
【００３０】
上記した第１，第２の各検査方法において、曲面体の表面状態の検査に関わる処理では、前記強度の変更処理後の画像中の前記曲面体像を含む画像領域における各色彩の分布状態を、あらかじめ設定されたモデルデータと比較して、前記曲面体の表面状態の良否を判別することができる。前記モデルデータは、あらかじめモデルの曲面体を、検査時と同様の照明条件、撮像条件により撮像し、得られた画像につき、白色成分の抽出処理、強度の減衰処理、強度の変更処理などを実行する（２番目の方法を採用する場合には、これらの処理の前に、各色成分の強度を調整倍率に基づき調整する処理を実行する。）ことによって得ることができる。
【００３１】
なお、モデルデータは、前記曲面体像を各色成分毎に所定のしきい値により２値化して得られる複数の色彩パターンにより構成するのが望ましい。この場合、検査においては、各種処理を経た後の曲面体像を含む画像領域を、同様の２値化しきい値により２値化し、得られた各色彩パターンの特徴量（面積、重心位置など）をモデルデータの特徴量と比較することができる。この比較において、両者間の差異が許容範囲内であると認定された場合には、検査対象の曲面体の表面形状は良好であるという判定が行われることになる。
なお、前記色彩パターンを抽出するための２値化しきい値、および比較処理時の判定基準値となるモデルデータの特徴量は、メモリ内に登録しておくのが望ましい。
【００３２】
上記の方法によれば、拡散性を有する曲面体の表面状態を自動検査する場合に、精度の高い検査を安定して行うことが可能となる。
一方、前記曲面体の表面状態を目視検査する場合には、前記検査に関わる処理には、前記強度の変更処理後の画像を表示する処理と、この表示された画像中の前記曲面体像について、良否の判断結果を示すデータの入力を受け付ける処理とを含ませることができる。このような方法によれば、検査員に対し、曲面体の表面の傾斜状態に応じて各色彩の分布状態が明瞭化された画像を提示することができるので、曲面体像の表面状態の良否の判断を的確に行うことができ、自動検査の場合と同様に、精度の高い検査を安定して行うことができる。
【００３３】
つぎにこの発明にかかる第１の基板検査装置は、異なる色彩光を発光する複数の光源を検査対象の基板面に対してそれぞれ異なる仰角の方向に配備して成る照明手段と、前記基板からの反射光を撮像するための撮像手段と、前記照明手段の各光源を点灯させた状態で前記撮像手段により生成された画像を取り込む画像入力手段と、前記画像入力手段により取り込まれた入力画像中のはんだの画像を含む画像領域において、各色彩が混合して生じる白色成分の強度を画素毎に抽出する処理と、各画素における色成分の強度をそれぞれその画素について抽出された白色成分の強度に対応する値だけ減衰させる処理とを実行する白色成分減衰手段と、前記白色成分減衰手段による減衰処理後の各画素について、それぞれその画素における各色成分のうち最も強度の大きい色成分が減衰処理前に比べて強調され、かつ前記減衰処理後の各色成分の強度の総和が減衰処理前の状態に回復するように、各色成分の強度を変更する処理を実行する強度補正手段と、前記強度補正手段による強度の変更処理後の画像中の前記画像領域において、各色彩の分布状態をあらかじめ登録されたモデルデータと比較して、前記はんだの表面状態を判別する判別手段と、前記判別手段による判別結果を出力する出力手段とを具備する。
【００３４】
前記照明手段には、たとえば色彩毎に異なる径を有するリング状の光源を設けることができる。複数の光源は、たとえば赤（Ｒ），緑（Ｇ），青（Ｂ）の各色彩を発光する３種類の光源とすることができるが、これに限らず、三原色以外の色彩光を発光する光源や白色照明用の光源を含んでもよい。
【００３５】
撮像手段は、各色彩毎の画像信号を生成可能なＣＣＤカメラにより構成することができる。画像入力手段は、検査のための画像処理を行う装置本体内に組み込まれ、処理対象となる画像を生成するためのもので、前記撮像手段からの画像信号を増幅処理するための増幅回路や処理用のディジタル画像を生成するためのＡ／Ｄ変換回路を含む構成とすることができる。
なお、撮像手段は、アナログの画像信号を生成するものに限らず、ディジタルカメラであってもよい。この場合は、画像入力手段は、各色彩毎のディジタル画像データを個別に取り込むための入力ポートとして構成される。
【００３６】
白色成分減衰手段、強度補正手段、判別手段の各手段は、前記した装置本体内の制御主体であって、各手段に対応するプログラムを実行するＣＰＵにより構成するのが望ましい。ただし、これらの手段はＣＰＵに限らず、一部の手段を、ＡＳＩＣ（特定用途向けＩＣ）などの専用部品により構成することもできる。
【００３７】
出力手段は、前記判別手段による判別結果を、外部の装置に出力するためのインターフェース回路として、構成することができる。また、前記判別結果を表示する表示手段、または、前記判別結果を所定の記憶媒体に格納する情報記憶手段をもって、出力手段とすることもできる。
【００３８】
白色成分減衰手段は、前記した白色成分の抽出処理および強度の減衰処理を実行することによって、入力された画像を、検査対象のはんだの表面からの拡散反射光の影響が取り除かれた画像に変換する。強度補正手段は、前記した強度の変更処理を実行することにより、強度の減衰処理により失われた画像の明るさを回復させるとともに、最も優勢な色成分がより強調されるように、前記減衰処理後の画像を調整する。
【００３９】
判別手段は、強度の変更処理後の画像中のはんだの画像における各色彩パターンを抽出し、この色彩パターンをモデルデータと比較することによって、はんだの表面状態の良否を判別する。モデルデータとの比較は、前記したように、各色彩パターンの特徴量をモデルデータの特徴量と比較することによって、行うことができる。
なお、この判別処理のために、前記基板検査装置には、前記色彩パターンを抽出するための２値化しきい値、モデルデータの特徴量による判定基準値を登録するためのメモリが設けられるのが望ましい。（モデルデータそのものは、必ずしもメモリに登録する必要はない。２値化しきい値や判定基準値を登録することによって、モデルデータを登録したものとみなすことができるからである。）
さらに、前記基板検査装置には、ティーチング処理のための画像を表示するための表示手段や、マウス，キーボード，コンソールなどの入力手段を設けるのが望ましい。
【００４０】
上記の基板検査装置では、ティーチング時に撮像され、入力された画像に対しても、白色成分減衰手段および強度補正手段による処理が行われ、処理後の画像が表示手段に表示される。したがって、前記表示手段に表示された画像上で２値化しきい値に適した箇所を指定する処理を迷わずに行うことができ、検査用データの設定および登録処理を効率良く行うことができる。
また検査時にも、白色成分減衰手段および強度補正手段による処理によって明瞭化された色彩分布に基づき自動検査が行われるので、精度の高い検査を安定して行うことができる。
【００４１】
つぎに、この発明にかかる第２の基板検査装置は、前記第１の装置と同様の照明手段、画像入力手段、白色成分減衰手段、強度補正手段の各手段と、前記強度補正手段による強度の変更処理後の画像を表示する表示手段と、この表示手段により表示された画像中のはんだの画像について、良否の判断結果を示すデータの入力を受け付ける入力手段とを具備する。
【００４２】
前記表示手段は、ＣＲＴ，ＬＣＤなどによる表示装置、およびこの表示装置に調整処理後の画像を表示させるためのＤ／Ａ変換回路やインターフェースなどにより構成される。先に述べた第１の基板検査装置の表示手段も、これと同様である。
入力手段も、前記第１の基板検査装置におけるのと同様に、マウス、キーボード、コンソールなどにより構成することができる。なお、入力手段より入力されたデータは、外部の装置などに出力したり、所定の記憶媒体に保存することができる。
【００４３】
上記第２の基板検査装置によれば、検査対象のはんだについて、白色成分減衰手段および強度補正手段による処理を経た後の画像が表示手段に表示されるので、はんだの表面の傾斜状態に応じて明瞭化された色彩分布に基づき、正確な目視を効率良く行うことができ、精度の高い検査を安定して行うことができる。
【００４４】
さらに、上記第１，第２の基板検査装置には、前記画像入力手段により取り込まれた入力画像中のはんだの画像を含む画像領域において、あらかじめ設定された各色成分の強度の調整倍率に基づき各色成分の強度を調整する強度調整手段を具備させることができる。この場合の白色成分減衰手段は、前記強度調整手段による調整処理後の画像を処理対象とするように設定される。
【００４５】
なお前記強度調整手段は、前記白色成分減衰手段や強度補正手段が設定されるのと同じコンピュータに、その手段を実行するためのプログラムを組み込むことにより実現することができる。また決定された調整倍率も、このコンピュータのメモリに登録することができる。
あるいは、強度調整手段は、撮像手段側の出力ゲインまたは画像入力手段に取り込まれて増幅処理される際のゲインを調整する手段として構成することもできる。
【００４６】
前記各色成分の強度の調整に用いられる調整倍率は、前記照明手段の各光源を点灯させた状態下で、前記基板面に対して任意の傾斜角度を持つ拡散反射面を前記撮像手段により撮像したときの入力画像中の前記拡散反射面像において、前記傾斜角度に対応する仰角方向からの光に応じた色成分が他の色成分よりも大きくなるように、色成分毎に決定することができる。
【００４７】
上記の強度調整手段を具備する基板検査装置によれば、白色成分の抽出処理および強度の減衰処理を実行する前に、検査対象のはんだの画像について、はんだ表面の傾斜角度に対応する色成分を強調するような調整処理が行われるので、拡散反射性を有する鉛フリーはんだを検査対象とする場合には、このはんだの表面の傾斜状態に応じた色彩分布を得た上で、拡散反射光の影響を取り除いて、前記色彩の分布状態を明瞭にすることができる。
【００４８】
【発明の実施の形態】
図１は、この発明の一実施例にかかる基板検査装置の構成を示す。
この基板検査装置は、検査対象の基板を撮像して得た画像を処理して、前記基板上のはんだ付け部位などの良否を判別するためのもので、撮像部３，投光部４，制御処理部５，Ｘ軸テーブル部６，Ｙ軸テーブル部７などにより構成される。なお、図中の１Ｔは、検査対象の基板（以下「被検査基板１Ｔ」という。）である。また１Ｓは、はんだ付け状態や部品の実装状態が良好な基準基板であって、検査に先立つティーチング時に用いられる。
【００４９】
前記Ｙ軸テーブル部７は、基板１Ｓ，１Ｔを支持するコンベヤ２４を具備し、図示しないモータによりこのコンベヤ２４を動かして、前記基板１Ｓ，１ＴをＹ軸方向（図中、紙面に直交する方向）に沿って移動させる。前記Ｘ軸テーブル部６は、Ｙ軸テーブル部７の上方で、撮像部３および投光部４を支持しつつ、これらをＸ軸方向（図の左右方向）に移動させる。
【００５０】
前記投光部４は、異なる径を有する３個の円環状光源８，９，１０により構成される。これらの光源８，９，１０は、それぞれ赤色光、緑色光、青色光の各色彩光を発光するもので、観測位置の真上位置に中心を合わせることにより、前記基板１Ｓ，１Ｔの支持面から見て、異なる仰角に対応する方向に位置するように配備される。
【００５１】
前記撮像部３は、カラー画像生成用のＣＣＤカメラであって、その光軸が各光源８，９，１０の中心に対応し、かつ鉛直方向に沿うように位置決めされる。これにより観測対象である基板１Ｓ，１Ｔからの反射光が撮像部３に入射し、三原色のカラー信号Ｒ，Ｇ，Ｂに変換されて制御処理部５へ入力される。
【００５２】
制御処理部５は、ＣＰＵ１１を制御主体とするコンピュータであって、画像入力部１２，メモリ１３，撮像コントローラ１４，画像処理部１５，ＸＹテーブルコントローラ１６，検査部１７，ティーチングテーブル１８，入力部１９，ＣＲＴ表示部２０，プリンタ２１，送受信部２２，外部メモリ装置２３などを構成として含む。
【００５３】
画像入力部１２は、撮像部３からのＲ，Ｇ，Ｂの各画像信号を増幅する増幅回路や、これら画像信号をディジタル信号に変換するためのＡ／Ｄ変換回路などを備える。メモリ１３には、各色彩毎のディジタル量の濃淡画像データや、これら濃淡画像を２値化処理して得られる２値画像などを格納するための画像格納領域が設定されている。さらにこのメモリ１３には、後記する強度調整処理のために、Ｒ，Ｇ，Ｂの各階調に対する調整倍率などが格納される。
【００５４】
撮像コントローラ１４は、撮像部３および投光部４をＣＰＵ１１に接続するインターフェースなどを備え、ＣＰＵ１１からの命令に基づき投光部４の各光源の光量を調整したり、撮像部３の各色彩光出力の相互バランスを保つなどの制御を行う。
【００５５】
ＸＹテーブルコントローラ１６は、前記Ｘ軸テーブル部６およびＹ軸テーブル部７をＣＰＵ１１に接続するインターフェースなどを含み、ＣＰＵ１１からの指令に基づき、Ｘ軸テーブル部６およびＹ軸テーブル部７の移動動作を制御する。
【００５６】
ティーチングテーブル１８は、基板毎の検査用データを記憶するための記憶部である。このティーチングテーブル１８には、種々の基板毎に、検査領域の設定位置および大きさ，この検査領域内でＲ，Ｇ，Ｂの各色彩パターンを抽出するのに必要な２値化しきい値（各色成分毎の２値化しきい値のほか、明度に対する２値化しきい値を含む。），抽出された色彩パターンにより良否判定を行うための基準値（色彩パターンの位置，大きさなどの特徴量毎に設定される。）などの検査情報をまとめた判定ファイルが格納される。これらの判定ファイルは、検査に先立ち、前記基準基板１Ｓを撮像して得られた画像を用いて係員により教示されるもので、検査時には、ＣＰＵ１１により読み出されてメモリ１３などにセットされ、画像処理部１５や検査部１７などに供給される。
【００５７】
画像処理部１５は、メモリ１３に格納されたＲ，Ｇ，Ｂの各画像データより、Ｒ，Ｇ，Ｂの各階調、およびこれら階調の総和により表される明度を画素単位で抽出する。さらに画像処理部１５は、前記２値化しきい値を用いて各検査領域の画像データを順に２値化し、Ｒ，Ｇ，Ｂの各色彩パターンを抽出する。
【００５８】
検査部１７は、前記ティーチングテーブル１８より判定基準値などの供給を受け、前記画像処理部１５により抽出された各色彩パターンの特徴量を判定基準値と比較するなどして、はんだの形成位置，大きさ，形状などの良否を判定し、この判定結果を、ＣＰＵ１１に出力する。ＣＰＵ１１は、各検査領域毎の判定結果を総合して被検査基板１Ｔが良品か否かを判定する。この最終的な判定結果は、ＣＲＴ表示部２０やプリンタ２１，あるいは送受信部２２に出力される。
【００５９】
前記入力部１９は、検査のための各種条件や検査情報の入力などを入力するためのもので、キーボードやマウスなどにより構成される。ＣＲＴ表示部２０（以下、単に「表示部２０」という。）は、ＣＰＵ１１から画像データ、検査結果、前記入力部１９からの入力データなどの供給を受けて、これを表示画面上に表示する。またプリンタ２１は、ＣＰＵ１１から検査結果などの供給を受け、これを予め定められた形式でプリントアウトする。
【００６０】
送受信部２２は、部品実装機，はんだ付け装置などの他の装置との間でデータのやりとりを行うためのもので、たとえば不良と判定された被検査基板１Ｔについて、その識別情報や不良の内容を後段の修正装置に送信することにより、不良箇所を速やかに修正することができる。外部メモリ装置２３は、フレキシブルディスク，光磁気ディスクなどの記憶媒体にデータを読み書きするための装置であって、前記検査結果を保存したり、検査に必要なプログラムや設定データを外部から取り込むために用いられる。
【００６１】
なお、上記構成において、画像処理部１５および検査部１７は、上記した各処理を実行するためのプログラムを組み込んだ専用のプロセッサにより構成される。ただし、必ずしも、専用のプロセッサを設ける必要はなく、メインの制御を行うＣＰＵ１１に画像処理部１５および検査部１７の機能を付与するようにしてもよい。
【００６２】
この実施例の基板検査装置では、基板面から見た仰角が５〜１５°の範囲にある平坦面、１５〜２２．５°の範囲にある暖傾斜面、２２．５〜３７．５°の範囲にある急傾斜面が、それぞれＲ，Ｇ，Ｂによって検出されるように、各光源８，９，１０の配置方向を決定している。
【００６３】
またこの実施例では、各光源８，９，１０からの光が混合されることによって白色照明が施されるように、基板の代わりに、白色の拡散反射板を用いて各光源８，９，１０の光量を調整している。この調整は、前記拡散反射板をその板面を水平方向に沿わせて設置した状態で撮像し、画像上の拡散反射面の色彩が実物と同じ白色になるように、各光源８，９，１０の光量を調整することにより行われる。
【００６４】
図２は、前記光量調整の完了した光源８，９，１０による照明下で拡散反射板を撮像したときに得られるＲ，Ｇ，Ｂの各階調と前記拡散反射板の傾斜角度（図中、基板面からの仰角として示す。）との関係を示す。
前記した光量調整は、通常、拡散反射板を水平方向に設置した状態で行われるので、前記した平坦面に対応する傾斜角度では、この傾斜角度に対応するＲの強度が他のＧ，Ｂの強度とほぼ同じ値になり、その結果、画像上には赤色のパターンが現れずに、白色の色彩パターンが現れるようになる。また暖傾斜面や急傾斜面でも、これらの面の傾斜角度に対応する色彩がわずかに優勢となるだけとなり、その結果、Ｇ，Ｂの各色彩パターンが白みがかった状態で現れるようになる。
【００６５】
このような設定による光学系で鉛フリーはんだを観測すると、前記拡散板ほど顕著な状態は生じないものの、はんだ表面の拡散反射性により、いずれの傾斜面についても、Ｒ，Ｇ，Ｂの各色成分間における階調の差が小さくなる。この差の度合いは、はんだ表面の凹凸状態によってまちまちであるが、特に拡散反射性が高い場合には、画像上の白色成分が大きくなり、全体的に白っぽい画像が生成される。この種の装置では、ティーチング時には、表示された画像上で各色彩パターンに応じた色みを持つ画像領域を指定するなどして２値化しきい値を設定するが、このように画像が白っぽくなると、２値化しきい値に適した画像領域を見極めるのが困難となり、ティーチングの効率が低下する、という問題が生じる。また各色成分間での階調の差が小さいと、検査精度を安定させるのが困難になる、という問題もある。
【００６６】
そこでこの実施例では、鉛フリーはんだを検査対象とする場合には、各色成分の強度を傾斜角度に応じた調整値により調整する処理（以下、この処理を「強度調整処理」と呼ぶ。）や、各色成分の混合により生じる白色成分を取り除く処理（以下、この処理を「脱白処理」と呼ぶ。）を施すようにしている。そしてティーチング時には、これらの処理により調整された画像を表示して２値化しきい値や判定基準値の設定操作を受け付けて、検査情報を生成する。これに伴い、検査時にも、検査対象の画像に同様の調整を施し、この調整後の画像に前記２値化しきい値や判定基準値を適用して、はんだ付け部位の良否を判定するようにしている。
【００６７】
以下、強度調整処理および脱白処理の詳細な内容について説明する。
強度調整処理では、各画素毎に、Ｒ，Ｇ，Ｂの各階調にそれぞれ所定の倍率を乗じることにより、画像を調整するようにしている。ここで使用される倍率は、たとえば図３に示すように、前記した拡散反射板３０を各光源８，９，１０の配置方向に対応する傾斜角度に順に設定しながら撮像して、各傾斜角度毎に得られる画像の階調を調整することによって決定することができる。また形状が既知のはんだ部位の画像を取り込んで、この画像上の各色彩パターンがこのはんだの形状に対応するように調整することによって決定してもよい。
【００６８】
この実施例の基板検査装置では、前者の拡散反射板３０を用いる方法によって、平坦面，暖傾斜面，急傾斜面の各面に対応する傾斜角度範囲（５〜１５°，１５〜２２．５°，２２．５〜３７．５°の各範囲）において、それぞれこの角度範囲において優勢となるべき色成分の階調が他の色成分の階調よりも大きくなるように各色成分の調整倍率を設定したところ、Ｒの階調に対しては１．０７、Ｇの階調に対しては１．０３、Ｂの階調に対しては１．００の各倍率を得た。図４は、この強度調整処理を行った後に、前記拡散反射板について得られる階調の特性を示すもので、平坦面に対応する角度範囲ではＲが、暖傾斜面に対応する角度範囲ではＧが、急傾斜面に対応する角度範囲ではＢが、それぞれ他の色彩よりも優勢に現れている。
【００６９】
上記の倍率は、各光源８，９，１０の配置方向と各色彩による検出範囲との関係を維持するのに必要な設定値であるから、光源８，９，１０の配置関係が変更されない限り維持されるのが望ましい。
たとえばＲの階調に対する倍率のみが大きくなると、前記図４におけるＲの階調の特性曲線が上方に移動するが、その結果、Ｒが優勢になる角度範囲が大きくなり、暖傾斜面側の一部にもＲの色彩パターンが現れるようになり、各光源の配置方向と検出範囲との関係に狂いが生じてしまう。
【００７０】
このようにして設定された調整倍率は、メモリ１３などに保存され、以後、鉛フリーはんだを含む検査領域の画像を処理する都度、または係員の指定に応じて、入力した画像データに前記登録された倍率を用いた強度調整処理を実行することになる。
【００７１】
つぎに脱白処理では、前記強度調整処理と同様に、処理対象の画像を構成するＲ，Ｇ，Ｂの各階調を画素単位で調整する。この実施例では、各色成分からそれぞれ３色の成分の混合によって生じた白色成分を除去する白色成分除去処理と、この白色成分除去によって低減した画像の明度を、各色成分間の強度の優劣関係を維持したまま、白色成分除去前の明度を回復させる強度補正処理とを続けて実行するようにしている。
【００７２】
図５は、白色成分除去処理の原理を示す。
この白色成分除去処理では、前記強度調整処理後のＲ，Ｇ，Ｂの各色成分は、本来の鏡面反射光に対応する色成分に各色彩光の拡散反射に伴う白色成分が加えられたものであるという前提に立つ。
【００７３】
すなわち白色成分除去処理前の各階調を（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）、白色成分除去処理後の各階調を（Ｒｍ，Ｇｍ，Ｂｍ）、本来の鏡面反射光に基づく階調を（ＲＳ，ＧＳ，ＢＳ）、各色成分に含まれる白色成分の強さをＣとする（以下、単に「白色成分Ｃ」という。）と、つぎの（１）式に示すように、白色除去処理後の各色成分は、本来の色成分に等しくなる。
【００７４】
【００７５】
また白色成分は、Ｒ，Ｇ，Ｂの各色成分が等しい割合で混合することによって生じるものである。また観測対象の傾斜面の傾斜角度に対応しない色成分は出来るだけ取り除かれるのが望ましい。このような点に鑑み、この実施例では、Ｒ，Ｇ，Ｂの各階調のうちの最小値を前記白色成分Ｃとして抽出し、Ｒ，Ｇ，Ｂの各階調からこの最小の階調Ｃを差し引くようにしている。
【００７６】
ここで代表的な色相の算出定義であるＨＳＩ変換に基づき、処理後の色成分（Ｒｍ，Ｇｍ，Ｂｍ）の示す色相Ｈｍを求めると、（２）式に示すように、この色相Ｈｍは、白色成分除去処理前の色成分（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）の示す色相Ｈｉｎと同じ値になることがわかる。
【００７７】
【数１】
【００７８】
つぎに強度の補正処理においては、明度がＲ，Ｇ，Ｂの各階調の総和によって表される点に着目して、前記白色成分除去処理を行う前の明度Ｌｉｎおよび処理後の明度Ｌｍを用いて、つぎの（３）式に示すように処理後の各色成分（Ｒｍ，Ｇｍ，Ｂｍ）を倍増し、その結果を最終の調整処理画像の色成分（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）として決定する。
【００７９】
【数２】
【００８０】
なお、上記の処理によって求めた最終の色成分（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）によれば、（４）式に示すように、調整処理後の画像の明度Ｌｏｕｔは、白色成分除去処理前の画像の明度Ｌｉｎと等しくなる。
【００８１】
【数３】
【００８２】
このように、２段階の処理によって、処理前の画像の色相および明度を維持したまま、拡散した各色成分の混合によって生じた白色成分を取り除くことができるので、前記した平坦面，暖傾斜面，急傾斜面の各面に対応する角度範囲について、それぞれＲ，Ｇ，Ｂの色成分を明瞭にした画像を示すことができる。
【００８３】
なお、上記した強度の補正処理では、処理前の明度と処理後の明度との比率に基づき、各色成分を均等な割合で倍増しているが、これに代えて、図６のような方法による補正を行ってもよい。
【００８４】
図６の例では、この白色除去処理後の各色成分のうち、最も大きい成分（図示例ではＲ）に対して、所定の値２ａを加算するとともに、つぎに大きい成分（図示例ではＧ）に対し、前記Ｒへの加算値の半分の値ａを加えている。
ここで加算値の１単位となるａを、前記白色成分除去処理において除去した白色成分Ｃの値とすれば、つぎの（５）式に示すように、白色成分除去処理において除かれた３Ｃ分の明るさが復活することになり、先の各色成分を倍増する方法と同様に、処理前の画像の明るさを維持することができる。
【００８５】
【００８６】
図７は、前記基板検査装置におけるティーチング時の手順を示す。なお、この図７および以下の説明では、各処理のステップを「ＳＴ」と示す。
ティーチング時には、まず係員が入力部１９を操作して教示対象とする基板名や基板のサイズなどを登録した後、前記基準基板１ＳをＹ軸テーブル部７上にセットし、前記投光部４による照明下で撮像を開始する（ＳＴ１）。この処理により、Ｒ，Ｇ，Ｂの各画像信号が画像入力部１２に取り込まれた後、ディジタル変換処理が施され、前記メモリ１３内に処理対象のカラー濃淡画像データが入力される。またここで入力されたカラー画像は、前記表示部２０に表示される。
【００８７】
係員は、所定の被検査部位に撮像部３および投光部４を位置決めして撮像を行い、得られた画像に対し、マウスなどを用いて検査領域を指定する。この指定操作を受けて、ＣＰＵ１１は、ＳＴ２に進み、前記検査領域の設定位置および大きさを取り込んでメモリ１３内に一時保存する（ＳＴ２）。さらにつぎのＳＴ３では、前記検査領域内の各画素につき、それぞれＲ，Ｇ，Ｂの各階調を抽出する。
【００８８】
一方、係員は、前記検査領域がはんだ部位を含むものである場合には、その旨を示す識別情報を前記検査領域の設定操作に続いて入力する。この識別情報の入力によって、ＳＴ４が「ＹＥＳ」となり、前記検査領域内の各画素につき、それぞれ前記した強度調整処理，白色成分除去処理，強度補正処理が順に実行される（ＳＴ５〜７）。
【００８９】
なお、ここには図示していないが、前記ＳＴ５〜７の処理が行われると、前記表示部２０では、検査領域に対応する表示が前記した最終調整処理後の階調（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）による画像に切り替えられる。つぎに係員は、この画像を参照しながらはんだ付け部位を示す各色彩パターンを抽出するのに最適な２値化しきい値を入力すると、ＣＰＵ１１は、この設定値を取り込み、前記検査領域の設定データ（位置や大きさ）に対応づけて前記メモリ１３に保存する（ＳＴ８）。さらにＳＴ９では、これら２値化しきい値により抽出された各色彩パターンからはんだの面積，形状，位置などが計測され、これら計測値に基づき、前記判定処理のための基準値が設定される。
【００９０】
以下、同様に、基板上の被検査部位が順に撮像され、検査領域の設定が行われた後、２値化しきい値や判定基準値の設定のための一連の処理が実行される。なお、はんだ付け部位以外の被検査部位については、前記した識別情報の入力が行われないので、ＳＴ４が「ＮＯ」となってＳＴ５〜７の処理がスキップされ、入力された画像をそのまま用いての設定処理が行われる。
【００９１】
このようにしてすべての被検査部位にかかる設定が終了すると、ＳＴ１０が「ＹＥＳ」となり、ＳＴ１１で、各被検査部位についてメモリ１３に一時保存された検査情報により判定データファイルが作成され、ティーチングテーブル１８に保存される。なお、この判定データファイルでは、前記はんだ付け部位の検査領域として指定された検査領域には、識別用のフラグが設定される。
【００９２】
図８は、基板検査装置における自動検査の手順を示す。なお、この図では、各ステップをＳＴ２１以降の符号で示す。またこの図８の手順は、１枚の基板に対して行われるもので、被検査基板の数に応じて繰り返されることになる。
【００９３】
この検査に先立ち、係員は、被検査基板１Ｔの種類を基板名などにより指定する。ＣＰＵ１１は、この指定に応じてティーチングテーブル１８より前記被検査基板１Ｔに対応する判定データファイルを読み出してメモリ１３内にセットする。この状態下で検査開始操作が行われると、最初のＳＴ２１で、被検査基板１ＴがＹ軸テーブル部７に搬入され、撮像が開始される。
【００９４】
つぎにＣＰＵ１１は、前記判定データファイル内の検査領域の設定データに基づき、最初の被検査部位に撮像部３および投光部４を位置決めして、前記被検査部位の画像を生成し、その画像上に検査領域を設定する。ここでこの検査領域に前記した識別用のフラグが設定されている場合には、ＳＴ２３が「ＹＥＳ」となり、以下、強度調整処理，白色成分除去処理，強度補正処理を順に行って、前記検査領域内の画像データを調整する（ＳＴ２４〜２６）。
【００９５】
この後、ＳＴ２７では、前記２値化しきい値に基づき、検査領域内の濃淡画像を２値化し、Ｒ，Ｇ，Ｂの各色彩パターンを抽出する。さらにつぎのＳＴ２８では、抽出された各色彩パターンを用いて、はんだの面積，形状，位置などを計測し、この計測結果を前記判定基準値と比較することによって、はんだ付け部位の良否を判定する。
【００９６】
以下、同様に、判定データファイル内の設定データに基づき、各被検査部位が順に撮像されて検査領域が設定された後、その領域内の画像データに基づき、被検査部位の良否が判定される。なお、はんだ付け部位以外の検査領域については、前記ＳＴ２３の判定が「ＮＯ」となってＳＴ２４〜２６の処理がスキップされ、入力画像をそのまま使用して２値化処理や判定処理が行われることになる。
【００９７】
すべての被検査部位に対する判定処理が終了すると、ＳＴ２９が「ＹＥＳ」となり、以下、ＳＴ３０〜３２において、各被検査部位に対する判定結果に基づき、被検査基板１Ｔについて、良品または不良品のいずれかの判定処理が行われる。さらに、ＳＴ３３で、この判定結果を出力し、前記被検査基板１Ｔに対する検査を終了する。
【００９８】
上記したように、この実施例の基板検査装置では、鉛フリーはんだが搭載された基板を検査対象とする場合に、強度補正処理により画像上の平坦面，暖傾斜面，急傾斜面についてそれぞれその面に応じた色成分が他の色成分よりも大きくなるように調整するとともに、脱白処理により各色成分にかかる白みを除去するようにしたので、はんだの各斜面をＲ，Ｇ，Ｂの各色彩により明瞭に表すことができる。よってティーチング時には、この調整処理後の画像から２値化しきい値を設定するのに適した部分を迷わずに読み取ることができ、２値化しきい値や判定基準値の設定を効率良く行うことができる。さらに検査においても、同様の調整処理が行われた画像に前記２値化しきい値や判定基準値を適用して、安定した検査を行うことができる。
【００９９】
【発明の効果】
この発明では、異なる色彩光を発光する複数の光源がそれぞれ異なる仰角の方向に配備された照明系を用いて鉛フリーはんだのような拡散反射性を持つ曲面体の表面状態を検査する場合に、画像中の曲面体像を含む画像領域における色彩の分布状態が明瞭になるような処理を行った上で、検査に関わる処理を実行するようにしたので、精度の高い検査を安定して行うことができる。
【図面の簡単な説明】
【図１】この発明の一実施例にかかる基板検査装置の構成を示すブロック図である。
【図２】光源の光量調整後に拡散反射板の画像について得られる階調の特性を示すグラフである。
【図３】強度調整処理に使用される調整倍率の決定方法を示す説明図である。
【図４】強度調整処理後に拡散反射板の画像について得られる階調の特性を示すグラフである。
【図５】白色成分除去処理の一方法を示す説明図である。
【図６】強度補正処理の一方法を示す説明図である。
【図７】ティーチング時の手順を示すフローチャートである。
【図８】検査時の手順を示すフローチャートである。
【図９】基板検査装置の光学系の構成および認識処理の原理を示す説明図である。
【図１０】図１０の光学系による認識処理の原理を示す説明図である。
【図１１】図１０の光学系により得られるはんだの画像上での階調の特性を示すグラフである。
【符号の説明】
１Ｓ，１Ｔ 基板
２ はんだ
３ 撮像部
４ 投光部
５ 制御処理部
８，９，１０ 光源
１１ ＣＰＵ
１２ 画像入力部
１３ メモリ
１５ 画像処理部
２０ ＣＲＴ表示部
【発明の属する技術分野】
この発明は、部品実装基板上に形成されたはんだ付け部位のように表面が曲面形状をとる物体（以下、「曲面体」という。）の表面状態を検査する技術に関連する。
【０００２】
【従来の技術】
出願人は、以前に、はんだ付け部位の鏡面反射性を利用して、画像処理の手法により基板上のはんだ付け部位を自動検査する装置を開発した（特許文献１参照。）。
【０００３】
【特許文献１】
特公平６−１１７３号 公報
【０００４】
図９は、上記特許文献１に開示された基板検査装置の構成および検査の原理を示す。この検査装置は、赤（Ｒ），緑（Ｇ），青（Ｂ）の各色彩光を有する３個の光源８，９，１０と撮像装置３とにより検査対象の画像を生成するもので、各光源８，９，１０は、基板１に対してそれぞれ異なる仰角方向に配備される。一方、撮像装置３は、検査対象のはんだ２を真上位置から撮像するように配備される。
【０００５】
上記構成によれば、各光源８，９，１０からの色彩光は、それぞれはんだ２の表面上でその光源の配置方向（仰角の方向）に対応する位置に照射される。ここで各色彩光の照射位置におけるはんだ表面の傾きが、いずれもその照明光の鏡面反射光を撮像装置に導くことが可能な方向に傾斜している場合には、図１０に示すように、Ｒ，Ｇ，Ｂの各色彩光の照射位置に対応させて各色彩が色分けされた２次元画像が生成されることになる。
【０００６】
前記検査装置では、各光源８，９，１０の基板面に対する仰角がＲ，Ｇ，Ｂの順に大きくなるようにするとともに、はんだ表面上で切り分けて検出したい傾斜角度の範囲に応じて各光源８，９，１０の配置方向を決定している。よって各光源８，９，１０による照明下で得られた画像上で、優勢となる色彩を抽出すると、図１１に示すように、基板面から見た仰角が最も小さい平坦面、仰角が最も大きい急傾斜面、これらの中間に位置する比較的緩やかな傾斜面（暖傾斜面）に応じて、各色彩成分を明確に切り分けることができる。
【０００７】
このように、はんだ表面の傾斜角度に応じてＲ，Ｇ，Ｂの各色彩が色分けされた２次元画像が生成されるので、あらかじめ良好な形状のはんだの画像における各色彩のパターンを登録しておき、検査対象の画像上における各色彩のパターンを前記登録パターンと比較することにより、はんだの表面状態の良否を判別することができる。
【０００８】
【発明が解決しようとする課題】
ところで近年の部品実装基板の製造元では、環境上の問題を考慮して、鉛を含まないはんだ（鉛フリーはんだ）を採用する頻度が高まっている。ところがこの鉛フリーはんだは、組成金属の固化の温度の差が大きい非共晶合金であるため、その表面は細かい凹凸のある梨地状になりやすい。このため、鉛とスズとを主成分とする従来の共晶はんだに比べて、表面の拡散反射性が高くなる。一方、この検査装置では、係員にとっての視認性を考慮して、各光源から拡散する光の混合によって白色照明が施されるように、各光源の強度を調整するので、鉛フリーはんだのような拡散反射性を有する対象物を撮像すると、各色彩光の混合によって画像が白っぽくなったり、各色彩パターン間の境界が不明瞭になる、という現象が起きる。また上記の調整処理では、白色の拡散反射板を、その板面を水平方向に沿わせた状態で設置して、この拡散反射面を撮像し、画像上の拡散反射面の色彩を参照しながら調整を行うため、この拡散反射板の設置状態に近いはんだの平坦面での赤色が特に視認しにくい状態となる。
【０００９】
上記の検査装置では、検査のためのティーチング時には、モデルのはんだの画像を表示し、係員により各色彩パターンを抽出するための２値化しきい値や抽出された色彩パターンの適否を判別するための判定基準値などの設定を行う必要がある。しかしながら検査対象の鉛フリーはんだの画像において、上記のように各色彩の混合によって白っぽい画像が生成されたり、各色彩パターン間の境界が不明瞭になると、最適な２値化しきい値を目視により画像から判断するのが容易でなく、設定作業に時間がかかる、という問題が生じる。また上記の光学系は、目視方式の検査装置にも用いることができるが、各色彩パターン間の境界位置などにおける色彩の微妙な違いを確認するのが困難になると、各検査部位の良否を判別するのに時間がかかる。
【００１０】
また、検査対象の鉛フリーはんだの拡散反射性が大きくなると、各色成分間の階調の差が小さくなり、検査精度を安定化させるのが困難になる虞がある。
【００１１】
この発明は上記問題点に着目してなされたもので、鉛フリーはんだのような拡散反射性を持つ曲面体を検査対象とする場合にも、検査を安定して行うことができるようにすることを目的とする。
【００１２】
【課題を解決するための手段】
この発明にかかる第１の曲面体の表面状態検査方法は、検査対象面に対する仰角が異なる複数の方向からそれぞれ異なる色彩光を照射した照明状態下で、前記検査対象面上の曲面体からの反射光を撮像するステップと、前記撮像により得られた画像中の曲面体像を含む画像領域において、各色彩が混合して生じる白色成分の強度を画素毎に抽出する処理と、各画素における色成分の強度をそれぞれその画像について抽出された白色成分の強度に対応する値だけ減衰させる処理とを実行するステップと、前記減衰処理後の各画素について、それぞれその画素における各色成分のうち最も強度の大きい色成分が減衰処理前に比べて強調され、かつ前記減衰処理後の各色成分の強度の総和が減衰処理前の状態に回復するように、各色成分の強度を変更する処理を実行するステップと、前記各色成分の強度の変更処理後の画像における各色彩の分布状態に基づき、前記曲面体の表面状態の検査に関わる処理を実行するステップとを、実行するものである。
【００１３】
ここでいう「検査対象面」とは、たとえば基板の表面であり、また「曲面体」として、基板上に形成されるはんだを指すことができる。
異なる仰角の方向から照射される色彩光は、赤，緑，青の三原色の光とするのが望ましいが、これに限らず、三原色以外の色彩光を照射してもよい。
【００１４】
一般に表示用のカラー画像は、赤（Ｒ），緑（Ｇ），青（Ｂ）の各色彩毎の階調を組み合わせることにより形成され、Ｒ，Ｇ，Ｂが同じ割合で混合したときに白色が現れるようになる。よって前記白色成分を生成する「各色彩」は、Ｒ，Ｇ，Ｂの各色彩と言うことができる。
【００１５】
強度の減衰処理や変更処理の対象となる各色成分とは、画像上において、前記複数の方向から照射される各色彩光に対応するものと考えることができる。したがって、前記曲面体に三原色Ｒ，Ｇ，Ｂの各色彩光が照射される場合には、処理対象となる色成分は、Ｒ，Ｇ，Ｂの三色と考えてよい。
色成分の強度は、カメラなどの撮像手段に入射する反射光の強さに対応するもので、ディジタル画像においては、画素毎の階調により表すことができる。なお、この発明においては、色成分の強度が大きくなるほど、階調の値が大きくなるようにするのが望ましい。
【００１６】
前記白色成分の抽出処理、強度の減衰処理、強度の変更処理は、いずれも、検査対象の曲面体像を含む画像領域内の画素毎に実行することができる。
白色成分の抽出処理では、ディジタル濃淡画像中の曲面体像を含む画像領域において、各色成分に共通する所定量の強度を白色成分として抽出する。たとえば、各色成分の強度の中の最小値を白色成分として抽出することができる。または、この最小値の所定割合分の強度を白色成分として抽出してもよい。
【００１７】
各色成分の強度を減衰させる処理では、各色成分の強度からそれぞれ前記白色成分として抽出した値を差し引く処理によって、各色成分の強度を所定量ずつ減衰させることができる。この減衰処理により、各色彩の拡散反射光が混合することによって生じた白色成分が取り除かれるので、減衰処理後の各色成分の強度は、曲面体の表面からの各色彩の鏡面反射光の強さを、精度良く反映したものになると、言うことができる。
【００１８】
つぎに、各色成分の強度を変更する処理では、前記減衰処理後に最も大きくなった色成分の強度を、さらに減衰処理前の強度よりも大きくし、かつ減衰処理により各色成分の強度の総和に生じた損失が回復するように、各色成分に所定量の強度を補充する。
たとえば、前記減衰処理を行う前の各色成分の強度の総和と減衰処理後の各色成分の強度の総和との比率を求め、その比率に応じて、減衰処理後の各色成分毎の強度を倍増することができる。または、前記白色成分として除去された強度を、減衰処理後の強度の比率に応じて各色成分に振り分け、加算するようにしてもよい。
【００１９】
なお、この強度変更処理では、各色成分の強度の総和を減衰処理前と同じ値にまで回復させるのが望ましい。このようにすれば、曲面体像の明るさを減衰処理前と同じにすることができるので、処理が行われない曲面体像の周囲部分との間での明るさが異なることがなく、ティーチングや目視検査のために表示された画像を見ても、違和感が生じることがない。ただし、各色彩の分布状態を視認するのに十分な明るさであり、周囲の明るさに対しても大きな差が生じないのであれば、各色成分の強度の総和が減衰処理前よりも低い値になっても、差し支えはない。
【００２０】
上記の白色成分の抽出処理および強度の減衰処理により、各色彩光が認識対象の曲面上で拡散反射することによって生じた白色成分を取り除き、各色彩がそれぞれの鏡面反射光の強度に応じた状態で分布する画像を生成することができる。さらに、強度の変更処理により、前記減衰処理によって暗くなった画像を元の画像の明るさに回復させるとともに、曲面体表面の傾斜角度に対応する色成分がより強調されるような補正がなされるので、最も優勢な各成分と他の色成分との間に十分な差をもたせることができる。よって、曲面体に対し、精度の高い検査を安定して行うことが可能となる。
【００２１】
この発明にかかる第２の検査方法は、検査対象面に対する仰角が異なる複数の方向からそれぞれ異なる色彩光を照射した照明状態下で、前記検査対象面に対して任意の傾斜角度を持つ拡散反射面からの反射光を撮像するステップと、前記撮像により得た画像中の拡散反射面像において、前記傾斜角度に対応する仰角方向からの光に応じた色成分が他の色成分よりも大きくなるように、各色成分の強度の調整倍率を決定するステップと、前記拡散反射面を撮像したときと同様の照明状態下で検査対象面上の曲面体からの反射光を撮像するステップと、前記撮像により得られた画像中の曲面体像を含む画像領域において、各色成分の強度を前記調整倍率に基づき調整するステップと、前記調整処理後の前記画像領域において、各色彩が混合して生じる白色成分の強度を画素毎に抽出する処理と、各画素における色成分の強度をそれぞれその画素について抽出された白色成分の強度に対応する値だけ減衰させる処理とを実行するステップと、前記減衰処理後の各画素について、それぞれその画素における各色成分のうち最も強度の大きい色成分が減衰処理前に比べて強調され、かつ前記減衰処理によりその画素における各色成分の強度の総和に生じた損失が補われるように、各色成分の強度を変更する処理を実行するステップと、前記強度の変更処理後の画像における各色彩の分布状態に基づき前記曲面体の表面状態の検査に関わる処理を実行するステップとを、実行するようにしている。
【００２２】
前記拡散反射面像における「傾斜角度に対応する仰角方向からの光」とは、前記傾斜角度を持つ面を検出できる仰角方向に配備された光源からの光である。言い換えれば、前記拡散反射面を同様の傾斜角度を持つ鏡面に置き換えた場合に、撮像装置に鏡面反射光を導くことが可能な方向に配備された光源からの光と言うことができる。
【００２３】
たとえば前記図９の構成において、前記拡散反射面の傾斜角度がはんだの平坦面に対応する角度に設定されている場合には、「傾斜角度に対応する仰角方向からの光」は、赤色光となる。また傾斜角度がはんだの暖傾斜面に対応する角度に設定されている場合には、前記光は緑色光となり、同様に、傾斜角度がはんだの急傾斜面に対応する角度に設定されている場合には、前記光は青色光となる。
【００２４】
前記拡散反射面からの反射光を撮像するステップと、各色成分の強度の調整倍率を決定するステップとは、検査に先立ち実行されるものである。これらのステップは、拡散反射面の傾斜角度を変更しながら、複数回にわたって繰り返されるのが望ましい。たとえば、拡散反射面を各色彩光の検出対象となる傾斜角度に順に設定しながら、傾斜角度毎に、各色彩光による照明状態下で撮像を行い、得られた画像において、前記拡散反射面の傾斜角度に対応する色成分が他の色成分よりも大きくなるように、各色成分の強度に対する倍率を調整する。この後は、傾斜角度毎の調整結果を総合して最終的な調整倍率を決定する。
【００２５】
検査対象面上の曲面体からの反射光を撮像するステップ以降の各ステップは、検査時に行われるものである。すなわち、検査においては、検査対象の曲面体からの反射光を撮像し、得られた画像中の曲面体像について、まず前記調整倍率に基づき、各色成分の強度を調整した上で、前記した白色成分の抽出処理、強度の減衰処理、強度の変更処理の各処理を実行し、処理後の画像を用いて曲面体の表面状態の検査に関わる処理が実行されることになる。
【００２６】
上記の方法によれば、各光源の配置方向に対応する傾斜面の画像に対し、それぞれ傾斜面が鏡面である場合に優勢となる色成分を強調するような調整が行われるので、検査対象の曲面体の表面の拡散反射性が高く、各色成分間での強度の差が出にくい場合にも、表面が鏡面となる曲面体と同様に、傾斜角度に応じた色彩分布を得ることができる。さらに、この調整を実行した後に、白色成分の抽出処理、強度の減衰処理、強度の変更処理の各処理が実行されるので、拡散反射光による影響が取り除かれ、各色彩の分布状態が明瞭化された画像を得ることができる。
【００２７】
なお前記強度の調整倍率を決定するステップでは、前記拡散反射板を用いた方法に限らず、表面形状が既知のモデルの曲面体を撮像し、この画像上において各光源に対応する傾斜面のパターンがそれぞれその光源に対応する色彩パターンとして現れるような調整倍率を設定してもよい。
【００２８】
また倍率の調整は、ディジタル画像上の色成分の強度に対する倍率に限らず、アナログの画像信号に対して設定することもできる。たとえば撮像装置からのアナログ画像を画像処理装置に取り込んで処理を行う場合に、画像処理装置側で入力された画像信号のゲインを調整することができる。またこれに代えて、撮像装置側の出力ゲインを調整することもできる。
この画像信号のゲイン調整に際しても、拡散面の傾斜角度を各色彩光の方向に応じて順に変更しながら、各傾斜角度においてそれぞれその傾斜角度に対応する色成分が他の色成分よりも大きくなるように、ゲイン調整を行うのが望ましい。
【００２９】
ただし、色成分の強度を調整する方法では、検査対象の曲面体像に対応する画像領域のみを調整できるのに対し、アナログの画像信号を調整する場合には、曲面体以外の部位（たとえば基板の表面、部品の上面など）も、同様に調整されることになる。しかしながらいずれの部位に対しても、その表面の傾斜角度に応じた色成分が強められる調整がなされるだけであるので、傾斜角度によってどのような色彩が生じるのかが明らかであれば、画像表示を確認するのに、さほどの支障は生じない。
【００３０】
上記した第１，第２の各検査方法において、曲面体の表面状態の検査に関わる処理では、前記強度の変更処理後の画像中の前記曲面体像を含む画像領域における各色彩の分布状態を、あらかじめ設定されたモデルデータと比較して、前記曲面体の表面状態の良否を判別することができる。前記モデルデータは、あらかじめモデルの曲面体を、検査時と同様の照明条件、撮像条件により撮像し、得られた画像につき、白色成分の抽出処理、強度の減衰処理、強度の変更処理などを実行する（２番目の方法を採用する場合には、これらの処理の前に、各色成分の強度を調整倍率に基づき調整する処理を実行する。）ことによって得ることができる。
【００３１】
なお、モデルデータは、前記曲面体像を各色成分毎に所定のしきい値により２値化して得られる複数の色彩パターンにより構成するのが望ましい。この場合、検査においては、各種処理を経た後の曲面体像を含む画像領域を、同様の２値化しきい値により２値化し、得られた各色彩パターンの特徴量（面積、重心位置など）をモデルデータの特徴量と比較することができる。この比較において、両者間の差異が許容範囲内であると認定された場合には、検査対象の曲面体の表面形状は良好であるという判定が行われることになる。
なお、前記色彩パターンを抽出するための２値化しきい値、および比較処理時の判定基準値となるモデルデータの特徴量は、メモリ内に登録しておくのが望ましい。
【００３２】
上記の方法によれば、拡散性を有する曲面体の表面状態を自動検査する場合に、精度の高い検査を安定して行うことが可能となる。
一方、前記曲面体の表面状態を目視検査する場合には、前記検査に関わる処理には、前記強度の変更処理後の画像を表示する処理と、この表示された画像中の前記曲面体像について、良否の判断結果を示すデータの入力を受け付ける処理とを含ませることができる。このような方法によれば、検査員に対し、曲面体の表面の傾斜状態に応じて各色彩の分布状態が明瞭化された画像を提示することができるので、曲面体像の表面状態の良否の判断を的確に行うことができ、自動検査の場合と同様に、精度の高い検査を安定して行うことができる。
【００３３】
つぎにこの発明にかかる第１の基板検査装置は、異なる色彩光を発光する複数の光源を検査対象の基板面に対してそれぞれ異なる仰角の方向に配備して成る照明手段と、前記基板からの反射光を撮像するための撮像手段と、前記照明手段の各光源を点灯させた状態で前記撮像手段により生成された画像を取り込む画像入力手段と、前記画像入力手段により取り込まれた入力画像中のはんだの画像を含む画像領域において、各色彩が混合して生じる白色成分の強度を画素毎に抽出する処理と、各画素における色成分の強度をそれぞれその画素について抽出された白色成分の強度に対応する値だけ減衰させる処理とを実行する白色成分減衰手段と、前記白色成分減衰手段による減衰処理後の各画素について、それぞれその画素における各色成分のうち最も強度の大きい色成分が減衰処理前に比べて強調され、かつ前記減衰処理後の各色成分の強度の総和が減衰処理前の状態に回復するように、各色成分の強度を変更する処理を実行する強度補正手段と、前記強度補正手段による強度の変更処理後の画像中の前記画像領域において、各色彩の分布状態をあらかじめ登録されたモデルデータと比較して、前記はんだの表面状態を判別する判別手段と、前記判別手段による判別結果を出力する出力手段とを具備する。
【００３４】
前記照明手段には、たとえば色彩毎に異なる径を有するリング状の光源を設けることができる。複数の光源は、たとえば赤（Ｒ），緑（Ｇ），青（Ｂ）の各色彩を発光する３種類の光源とすることができるが、これに限らず、三原色以外の色彩光を発光する光源や白色照明用の光源を含んでもよい。
【００３５】
撮像手段は、各色彩毎の画像信号を生成可能なＣＣＤカメラにより構成することができる。画像入力手段は、検査のための画像処理を行う装置本体内に組み込まれ、処理対象となる画像を生成するためのもので、前記撮像手段からの画像信号を増幅処理するための増幅回路や処理用のディジタル画像を生成するためのＡ／Ｄ変換回路を含む構成とすることができる。
なお、撮像手段は、アナログの画像信号を生成するものに限らず、ディジタルカメラであってもよい。この場合は、画像入力手段は、各色彩毎のディジタル画像データを個別に取り込むための入力ポートとして構成される。
【００３６】
白色成分減衰手段、強度補正手段、判別手段の各手段は、前記した装置本体内の制御主体であって、各手段に対応するプログラムを実行するＣＰＵにより構成するのが望ましい。ただし、これらの手段はＣＰＵに限らず、一部の手段を、ＡＳＩＣ（特定用途向けＩＣ）などの専用部品により構成することもできる。
【００３７】
出力手段は、前記判別手段による判別結果を、外部の装置に出力するためのインターフェース回路として、構成することができる。また、前記判別結果を表示する表示手段、または、前記判別結果を所定の記憶媒体に格納する情報記憶手段をもって、出力手段とすることもできる。
【００３８】
白色成分減衰手段は、前記した白色成分の抽出処理および強度の減衰処理を実行することによって、入力された画像を、検査対象のはんだの表面からの拡散反射光の影響が取り除かれた画像に変換する。強度補正手段は、前記した強度の変更処理を実行することにより、強度の減衰処理により失われた画像の明るさを回復させるとともに、最も優勢な色成分がより強調されるように、前記減衰処理後の画像を調整する。
【００３９】
判別手段は、強度の変更処理後の画像中のはんだの画像における各色彩パターンを抽出し、この色彩パターンをモデルデータと比較することによって、はんだの表面状態の良否を判別する。モデルデータとの比較は、前記したように、各色彩パターンの特徴量をモデルデータの特徴量と比較することによって、行うことができる。
なお、この判別処理のために、前記基板検査装置には、前記色彩パターンを抽出するための２値化しきい値、モデルデータの特徴量による判定基準値を登録するためのメモリが設けられるのが望ましい。（モデルデータそのものは、必ずしもメモリに登録する必要はない。２値化しきい値や判定基準値を登録することによって、モデルデータを登録したものとみなすことができるからである。）
さらに、前記基板検査装置には、ティーチング処理のための画像を表示するための表示手段や、マウス，キーボード，コンソールなどの入力手段を設けるのが望ましい。
【００４０】
上記の基板検査装置では、ティーチング時に撮像され、入力された画像に対しても、白色成分減衰手段および強度補正手段による処理が行われ、処理後の画像が表示手段に表示される。したがって、前記表示手段に表示された画像上で２値化しきい値に適した箇所を指定する処理を迷わずに行うことができ、検査用データの設定および登録処理を効率良く行うことができる。
また検査時にも、白色成分減衰手段および強度補正手段による処理によって明瞭化された色彩分布に基づき自動検査が行われるので、精度の高い検査を安定して行うことができる。
【００４１】
つぎに、この発明にかかる第２の基板検査装置は、前記第１の装置と同様の照明手段、画像入力手段、白色成分減衰手段、強度補正手段の各手段と、前記強度補正手段による強度の変更処理後の画像を表示する表示手段と、この表示手段により表示された画像中のはんだの画像について、良否の判断結果を示すデータの入力を受け付ける入力手段とを具備する。
【００４２】
前記表示手段は、ＣＲＴ，ＬＣＤなどによる表示装置、およびこの表示装置に調整処理後の画像を表示させるためのＤ／Ａ変換回路やインターフェースなどにより構成される。先に述べた第１の基板検査装置の表示手段も、これと同様である。
入力手段も、前記第１の基板検査装置におけるのと同様に、マウス、キーボード、コンソールなどにより構成することができる。なお、入力手段より入力されたデータは、外部の装置などに出力したり、所定の記憶媒体に保存することができる。
【００４３】
上記第２の基板検査装置によれば、検査対象のはんだについて、白色成分減衰手段および強度補正手段による処理を経た後の画像が表示手段に表示されるので、はんだの表面の傾斜状態に応じて明瞭化された色彩分布に基づき、正確な目視を効率良く行うことができ、精度の高い検査を安定して行うことができる。
【００４４】
さらに、上記第１，第２の基板検査装置には、前記画像入力手段により取り込まれた入力画像中のはんだの画像を含む画像領域において、あらかじめ設定された各色成分の強度の調整倍率に基づき各色成分の強度を調整する強度調整手段を具備させることができる。この場合の白色成分減衰手段は、前記強度調整手段による調整処理後の画像を処理対象とするように設定される。
【００４５】
なお前記強度調整手段は、前記白色成分減衰手段や強度補正手段が設定されるのと同じコンピュータに、その手段を実行するためのプログラムを組み込むことにより実現することができる。また決定された調整倍率も、このコンピュータのメモリに登録することができる。
あるいは、強度調整手段は、撮像手段側の出力ゲインまたは画像入力手段に取り込まれて増幅処理される際のゲインを調整する手段として構成することもできる。
【００４６】
前記各色成分の強度の調整に用いられる調整倍率は、前記照明手段の各光源を点灯させた状態下で、前記基板面に対して任意の傾斜角度を持つ拡散反射面を前記撮像手段により撮像したときの入力画像中の前記拡散反射面像において、前記傾斜角度に対応する仰角方向からの光に応じた色成分が他の色成分よりも大きくなるように、色成分毎に決定することができる。
【００４７】
上記の強度調整手段を具備する基板検査装置によれば、白色成分の抽出処理および強度の減衰処理を実行する前に、検査対象のはんだの画像について、はんだ表面の傾斜角度に対応する色成分を強調するような調整処理が行われるので、拡散反射性を有する鉛フリーはんだを検査対象とする場合には、このはんだの表面の傾斜状態に応じた色彩分布を得た上で、拡散反射光の影響を取り除いて、前記色彩の分布状態を明瞭にすることができる。
【００４８】
【発明の実施の形態】
図１は、この発明の一実施例にかかる基板検査装置の構成を示す。
この基板検査装置は、検査対象の基板を撮像して得た画像を処理して、前記基板上のはんだ付け部位などの良否を判別するためのもので、撮像部３，投光部４，制御処理部５，Ｘ軸テーブル部６，Ｙ軸テーブル部７などにより構成される。なお、図中の１Ｔは、検査対象の基板（以下「被検査基板１Ｔ」という。）である。また１Ｓは、はんだ付け状態や部品の実装状態が良好な基準基板であって、検査に先立つティーチング時に用いられる。
【００４９】
前記Ｙ軸テーブル部７は、基板１Ｓ，１Ｔを支持するコンベヤ２４を具備し、図示しないモータによりこのコンベヤ２４を動かして、前記基板１Ｓ，１ＴをＹ軸方向（図中、紙面に直交する方向）に沿って移動させる。前記Ｘ軸テーブル部６は、Ｙ軸テーブル部７の上方で、撮像部３および投光部４を支持しつつ、これらをＸ軸方向（図の左右方向）に移動させる。
【００５０】
前記投光部４は、異なる径を有する３個の円環状光源８，９，１０により構成される。これらの光源８，９，１０は、それぞれ赤色光、緑色光、青色光の各色彩光を発光するもので、観測位置の真上位置に中心を合わせることにより、前記基板１Ｓ，１Ｔの支持面から見て、異なる仰角に対応する方向に位置するように配備される。
【００５１】
前記撮像部３は、カラー画像生成用のＣＣＤカメラであって、その光軸が各光源８，９，１０の中心に対応し、かつ鉛直方向に沿うように位置決めされる。これにより観測対象である基板１Ｓ，１Ｔからの反射光が撮像部３に入射し、三原色のカラー信号Ｒ，Ｇ，Ｂに変換されて制御処理部５へ入力される。
【００５２】
制御処理部５は、ＣＰＵ１１を制御主体とするコンピュータであって、画像入力部１２，メモリ１３，撮像コントローラ１４，画像処理部１５，ＸＹテーブルコントローラ１６，検査部１７，ティーチングテーブル１８，入力部１９，ＣＲＴ表示部２０，プリンタ２１，送受信部２２，外部メモリ装置２３などを構成として含む。
【００５３】
画像入力部１２は、撮像部３からのＲ，Ｇ，Ｂの各画像信号を増幅する増幅回路や、これら画像信号をディジタル信号に変換するためのＡ／Ｄ変換回路などを備える。メモリ１３には、各色彩毎のディジタル量の濃淡画像データや、これら濃淡画像を２値化処理して得られる２値画像などを格納するための画像格納領域が設定されている。さらにこのメモリ１３には、後記する強度調整処理のために、Ｒ，Ｇ，Ｂの各階調に対する調整倍率などが格納される。
【００５４】
撮像コントローラ１４は、撮像部３および投光部４をＣＰＵ１１に接続するインターフェースなどを備え、ＣＰＵ１１からの命令に基づき投光部４の各光源の光量を調整したり、撮像部３の各色彩光出力の相互バランスを保つなどの制御を行う。
【００５５】
ＸＹテーブルコントローラ１６は、前記Ｘ軸テーブル部６およびＹ軸テーブル部７をＣＰＵ１１に接続するインターフェースなどを含み、ＣＰＵ１１からの指令に基づき、Ｘ軸テーブル部６およびＹ軸テーブル部７の移動動作を制御する。
【００５６】
ティーチングテーブル１８は、基板毎の検査用データを記憶するための記憶部である。このティーチングテーブル１８には、種々の基板毎に、検査領域の設定位置および大きさ，この検査領域内でＲ，Ｇ，Ｂの各色彩パターンを抽出するのに必要な２値化しきい値（各色成分毎の２値化しきい値のほか、明度に対する２値化しきい値を含む。），抽出された色彩パターンにより良否判定を行うための基準値（色彩パターンの位置，大きさなどの特徴量毎に設定される。）などの検査情報をまとめた判定ファイルが格納される。これらの判定ファイルは、検査に先立ち、前記基準基板１Ｓを撮像して得られた画像を用いて係員により教示されるもので、検査時には、ＣＰＵ１１により読み出されてメモリ１３などにセットされ、画像処理部１５や検査部１７などに供給される。
【００５７】
画像処理部１５は、メモリ１３に格納されたＲ，Ｇ，Ｂの各画像データより、Ｒ，Ｇ，Ｂの各階調、およびこれら階調の総和により表される明度を画素単位で抽出する。さらに画像処理部１５は、前記２値化しきい値を用いて各検査領域の画像データを順に２値化し、Ｒ，Ｇ，Ｂの各色彩パターンを抽出する。
【００５８】
検査部１７は、前記ティーチングテーブル１８より判定基準値などの供給を受け、前記画像処理部１５により抽出された各色彩パターンの特徴量を判定基準値と比較するなどして、はんだの形成位置，大きさ，形状などの良否を判定し、この判定結果を、ＣＰＵ１１に出力する。ＣＰＵ１１は、各検査領域毎の判定結果を総合して被検査基板１Ｔが良品か否かを判定する。この最終的な判定結果は、ＣＲＴ表示部２０やプリンタ２１，あるいは送受信部２２に出力される。
【００５９】
前記入力部１９は、検査のための各種条件や検査情報の入力などを入力するためのもので、キーボードやマウスなどにより構成される。ＣＲＴ表示部２０（以下、単に「表示部２０」という。）は、ＣＰＵ１１から画像データ、検査結果、前記入力部１９からの入力データなどの供給を受けて、これを表示画面上に表示する。またプリンタ２１は、ＣＰＵ１１から検査結果などの供給を受け、これを予め定められた形式でプリントアウトする。
【００６０】
送受信部２２は、部品実装機，はんだ付け装置などの他の装置との間でデータのやりとりを行うためのもので、たとえば不良と判定された被検査基板１Ｔについて、その識別情報や不良の内容を後段の修正装置に送信することにより、不良箇所を速やかに修正することができる。外部メモリ装置２３は、フレキシブルディスク，光磁気ディスクなどの記憶媒体にデータを読み書きするための装置であって、前記検査結果を保存したり、検査に必要なプログラムや設定データを外部から取り込むために用いられる。
【００６１】
なお、上記構成において、画像処理部１５および検査部１７は、上記した各処理を実行するためのプログラムを組み込んだ専用のプロセッサにより構成される。ただし、必ずしも、専用のプロセッサを設ける必要はなく、メインの制御を行うＣＰＵ１１に画像処理部１５および検査部１７の機能を付与するようにしてもよい。
【００６２】
この実施例の基板検査装置では、基板面から見た仰角が５〜１５°の範囲にある平坦面、１５〜２２．５°の範囲にある暖傾斜面、２２．５〜３７．５°の範囲にある急傾斜面が、それぞれＲ，Ｇ，Ｂによって検出されるように、各光源８，９，１０の配置方向を決定している。
【００６３】
またこの実施例では、各光源８，９，１０からの光が混合されることによって白色照明が施されるように、基板の代わりに、白色の拡散反射板を用いて各光源８，９，１０の光量を調整している。この調整は、前記拡散反射板をその板面を水平方向に沿わせて設置した状態で撮像し、画像上の拡散反射面の色彩が実物と同じ白色になるように、各光源８，９，１０の光量を調整することにより行われる。
【００６４】
図２は、前記光量調整の完了した光源８，９，１０による照明下で拡散反射板を撮像したときに得られるＲ，Ｇ，Ｂの各階調と前記拡散反射板の傾斜角度（図中、基板面からの仰角として示す。）との関係を示す。
前記した光量調整は、通常、拡散反射板を水平方向に設置した状態で行われるので、前記した平坦面に対応する傾斜角度では、この傾斜角度に対応するＲの強度が他のＧ，Ｂの強度とほぼ同じ値になり、その結果、画像上には赤色のパターンが現れずに、白色の色彩パターンが現れるようになる。また暖傾斜面や急傾斜面でも、これらの面の傾斜角度に対応する色彩がわずかに優勢となるだけとなり、その結果、Ｇ，Ｂの各色彩パターンが白みがかった状態で現れるようになる。
【００６５】
このような設定による光学系で鉛フリーはんだを観測すると、前記拡散板ほど顕著な状態は生じないものの、はんだ表面の拡散反射性により、いずれの傾斜面についても、Ｒ，Ｇ，Ｂの各色成分間における階調の差が小さくなる。この差の度合いは、はんだ表面の凹凸状態によってまちまちであるが、特に拡散反射性が高い場合には、画像上の白色成分が大きくなり、全体的に白っぽい画像が生成される。この種の装置では、ティーチング時には、表示された画像上で各色彩パターンに応じた色みを持つ画像領域を指定するなどして２値化しきい値を設定するが、このように画像が白っぽくなると、２値化しきい値に適した画像領域を見極めるのが困難となり、ティーチングの効率が低下する、という問題が生じる。また各色成分間での階調の差が小さいと、検査精度を安定させるのが困難になる、という問題もある。
【００６６】
そこでこの実施例では、鉛フリーはんだを検査対象とする場合には、各色成分の強度を傾斜角度に応じた調整値により調整する処理（以下、この処理を「強度調整処理」と呼ぶ。）や、各色成分の混合により生じる白色成分を取り除く処理（以下、この処理を「脱白処理」と呼ぶ。）を施すようにしている。そしてティーチング時には、これらの処理により調整された画像を表示して２値化しきい値や判定基準値の設定操作を受け付けて、検査情報を生成する。これに伴い、検査時にも、検査対象の画像に同様の調整を施し、この調整後の画像に前記２値化しきい値や判定基準値を適用して、はんだ付け部位の良否を判定するようにしている。
【００６７】
以下、強度調整処理および脱白処理の詳細な内容について説明する。
強度調整処理では、各画素毎に、Ｒ，Ｇ，Ｂの各階調にそれぞれ所定の倍率を乗じることにより、画像を調整するようにしている。ここで使用される倍率は、たとえば図３に示すように、前記した拡散反射板３０を各光源８，９，１０の配置方向に対応する傾斜角度に順に設定しながら撮像して、各傾斜角度毎に得られる画像の階調を調整することによって決定することができる。また形状が既知のはんだ部位の画像を取り込んで、この画像上の各色彩パターンがこのはんだの形状に対応するように調整することによって決定してもよい。
【００６８】
この実施例の基板検査装置では、前者の拡散反射板３０を用いる方法によって、平坦面，暖傾斜面，急傾斜面の各面に対応する傾斜角度範囲（５〜１５°，１５〜２２．５°，２２．５〜３７．５°の各範囲）において、それぞれこの角度範囲において優勢となるべき色成分の階調が他の色成分の階調よりも大きくなるように各色成分の調整倍率を設定したところ、Ｒの階調に対しては１．０７、Ｇの階調に対しては１．０３、Ｂの階調に対しては１．００の各倍率を得た。図４は、この強度調整処理を行った後に、前記拡散反射板について得られる階調の特性を示すもので、平坦面に対応する角度範囲ではＲが、暖傾斜面に対応する角度範囲ではＧが、急傾斜面に対応する角度範囲ではＢが、それぞれ他の色彩よりも優勢に現れている。
【００６９】
上記の倍率は、各光源８，９，１０の配置方向と各色彩による検出範囲との関係を維持するのに必要な設定値であるから、光源８，９，１０の配置関係が変更されない限り維持されるのが望ましい。
たとえばＲの階調に対する倍率のみが大きくなると、前記図４におけるＲの階調の特性曲線が上方に移動するが、その結果、Ｒが優勢になる角度範囲が大きくなり、暖傾斜面側の一部にもＲの色彩パターンが現れるようになり、各光源の配置方向と検出範囲との関係に狂いが生じてしまう。
【００７０】
このようにして設定された調整倍率は、メモリ１３などに保存され、以後、鉛フリーはんだを含む検査領域の画像を処理する都度、または係員の指定に応じて、入力した画像データに前記登録された倍率を用いた強度調整処理を実行することになる。
【００７１】
つぎに脱白処理では、前記強度調整処理と同様に、処理対象の画像を構成するＲ，Ｇ，Ｂの各階調を画素単位で調整する。この実施例では、各色成分からそれぞれ３色の成分の混合によって生じた白色成分を除去する白色成分除去処理と、この白色成分除去によって低減した画像の明度を、各色成分間の強度の優劣関係を維持したまま、白色成分除去前の明度を回復させる強度補正処理とを続けて実行するようにしている。
【００７２】
図５は、白色成分除去処理の原理を示す。
この白色成分除去処理では、前記強度調整処理後のＲ，Ｇ，Ｂの各色成分は、本来の鏡面反射光に対応する色成分に各色彩光の拡散反射に伴う白色成分が加えられたものであるという前提に立つ。
【００７３】
すなわち白色成分除去処理前の各階調を（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）、白色成分除去処理後の各階調を（Ｒｍ，Ｇｍ，Ｂｍ）、本来の鏡面反射光に基づく階調を（ＲＳ，ＧＳ，ＢＳ）、各色成分に含まれる白色成分の強さをＣとする（以下、単に「白色成分Ｃ」という。）と、つぎの（１）式に示すように、白色除去処理後の各色成分は、本来の色成分に等しくなる。
【００７４】
また白色成分は、Ｒ，Ｇ，Ｂの各色成分が等しい割合で混合することによって生じるものである。また観測対象の傾斜面の傾斜角度に対応しない色成分は出来るだけ取り除かれるのが望ましい。このような点に鑑み、この実施例では、Ｒ，Ｇ，Ｂの各階調のうちの最小値を前記白色成分Ｃとして抽出し、Ｒ，Ｇ，Ｂの各階調からこの最小の階調Ｃを差し引くようにしている。
【００７６】
ここで代表的な色相の算出定義であるＨＳＩ変換に基づき、処理後の色成分（Ｒｍ，Ｇｍ，Ｂｍ）の示す色相Ｈｍを求めると、（２）式に示すように、この色相Ｈｍは、白色成分除去処理前の色成分（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）の示す色相Ｈｉｎと同じ値になることがわかる。
【００７７】
【数１】
つぎに強度の補正処理においては、明度がＲ，Ｇ，Ｂの各階調の総和によって表される点に着目して、前記白色成分除去処理を行う前の明度Ｌｉｎおよび処理後の明度Ｌｍを用いて、つぎの（３）式に示すように処理後の各色成分（Ｒｍ，Ｇｍ，Ｂｍ）を倍増し、その結果を最終の調整処理画像の色成分（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）として決定する。
【００７９】
【数２】
なお、上記の処理によって求めた最終の色成分（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）によれば、（４）式に示すように、調整処理後の画像の明度Ｌｏｕｔは、白色成分除去処理前の画像の明度Ｌｉｎと等しくなる。
【００８１】
【数３】
このように、２段階の処理によって、処理前の画像の色相および明度を維持したまま、拡散した各色成分の混合によって生じた白色成分を取り除くことができるので、前記した平坦面，暖傾斜面，急傾斜面の各面に対応する角度範囲について、それぞれＲ，Ｇ，Ｂの色成分を明瞭にした画像を示すことができる。
【００８３】
なお、上記した強度の補正処理では、処理前の明度と処理後の明度との比率に基づき、各色成分を均等な割合で倍増しているが、これに代えて、図６のような方法による補正を行ってもよい。
【００８４】
図６の例では、この白色除去処理後の各色成分のうち、最も大きい成分（図示例ではＲ）に対して、所定の値２ａを加算するとともに、つぎに大きい成分（図示例ではＧ）に対し、前記Ｒへの加算値の半分の値ａを加えている。
ここで加算値の１単位となるａを、前記白色成分除去処理において除去した白色成分Ｃの値とすれば、つぎの（５）式に示すように、白色成分除去処理において除かれた３Ｃ分の明るさが復活することになり、先の各色成分を倍増する方法と同様に、処理前の画像の明るさを維持することができる。
【００８５】
図７は、前記基板検査装置におけるティーチング時の手順を示す。なお、この図７および以下の説明では、各処理のステップを「ＳＴ」と示す。
ティーチング時には、まず係員が入力部１９を操作して教示対象とする基板名や基板のサイズなどを登録した後、前記基準基板１ＳをＹ軸テーブル部７上にセットし、前記投光部４による照明下で撮像を開始する（ＳＴ１）。この処理により、Ｒ，Ｇ，Ｂの各画像信号が画像入力部１２に取り込まれた後、ディジタル変換処理が施され、前記メモリ１３内に処理対象のカラー濃淡画像データが入力される。またここで入力されたカラー画像は、前記表示部２０に表示される。
【００８７】
係員は、所定の被検査部位に撮像部３および投光部４を位置決めして撮像を行い、得られた画像に対し、マウスなどを用いて検査領域を指定する。この指定操作を受けて、ＣＰＵ１１は、ＳＴ２に進み、前記検査領域の設定位置および大きさを取り込んでメモリ１３内に一時保存する（ＳＴ２）。さらにつぎのＳＴ３では、前記検査領域内の各画素につき、それぞれＲ，Ｇ，Ｂの各階調を抽出する。
【００８８】
一方、係員は、前記検査領域がはんだ部位を含むものである場合には、その旨を示す識別情報を前記検査領域の設定操作に続いて入力する。この識別情報の入力によって、ＳＴ４が「ＹＥＳ」となり、前記検査領域内の各画素につき、それぞれ前記した強度調整処理，白色成分除去処理，強度補正処理が順に実行される（ＳＴ５〜７）。
【００８９】
なお、ここには図示していないが、前記ＳＴ５〜７の処理が行われると、前記表示部２０では、検査領域に対応する表示が前記した最終調整処理後の階調（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）による画像に切り替えられる。つぎに係員は、この画像を参照しながらはんだ付け部位を示す各色彩パターンを抽出するのに最適な２値化しきい値を入力すると、ＣＰＵ１１は、この設定値を取り込み、前記検査領域の設定データ（位置や大きさ）に対応づけて前記メモリ１３に保存する（ＳＴ８）。さらにＳＴ９では、これら２値化しきい値により抽出された各色彩パターンからはんだの面積，形状，位置などが計測され、これら計測値に基づき、前記判定処理のための基準値が設定される。
【００９０】
以下、同様に、基板上の被検査部位が順に撮像され、検査領域の設定が行われた後、２値化しきい値や判定基準値の設定のための一連の処理が実行される。なお、はんだ付け部位以外の被検査部位については、前記した識別情報の入力が行われないので、ＳＴ４が「ＮＯ」となってＳＴ５〜７の処理がスキップされ、入力された画像をそのまま用いての設定処理が行われる。
【００９１】
このようにしてすべての被検査部位にかかる設定が終了すると、ＳＴ１０が「ＹＥＳ」となり、ＳＴ１１で、各被検査部位についてメモリ１３に一時保存された検査情報により判定データファイルが作成され、ティーチングテーブル１８に保存される。なお、この判定データファイルでは、前記はんだ付け部位の検査領域として指定された検査領域には、識別用のフラグが設定される。
【００９２】
図８は、基板検査装置における自動検査の手順を示す。なお、この図では、各ステップをＳＴ２１以降の符号で示す。またこの図８の手順は、１枚の基板に対して行われるもので、被検査基板の数に応じて繰り返されることになる。
【００９３】
この検査に先立ち、係員は、被検査基板１Ｔの種類を基板名などにより指定する。ＣＰＵ１１は、この指定に応じてティーチングテーブル１８より前記被検査基板１Ｔに対応する判定データファイルを読み出してメモリ１３内にセットする。この状態下で検査開始操作が行われると、最初のＳＴ２１で、被検査基板１ＴがＹ軸テーブル部７に搬入され、撮像が開始される。
【００９４】
つぎにＣＰＵ１１は、前記判定データファイル内の検査領域の設定データに基づき、最初の被検査部位に撮像部３および投光部４を位置決めして、前記被検査部位の画像を生成し、その画像上に検査領域を設定する。ここでこの検査領域に前記した識別用のフラグが設定されている場合には、ＳＴ２３が「ＹＥＳ」となり、以下、強度調整処理，白色成分除去処理，強度補正処理を順に行って、前記検査領域内の画像データを調整する（ＳＴ２４〜２６）。
【００９５】
この後、ＳＴ２７では、前記２値化しきい値に基づき、検査領域内の濃淡画像を２値化し、Ｒ，Ｇ，Ｂの各色彩パターンを抽出する。さらにつぎのＳＴ２８では、抽出された各色彩パターンを用いて、はんだの面積，形状，位置などを計測し、この計測結果を前記判定基準値と比較することによって、はんだ付け部位の良否を判定する。
【００９６】
以下、同様に、判定データファイル内の設定データに基づき、各被検査部位が順に撮像されて検査領域が設定された後、その領域内の画像データに基づき、被検査部位の良否が判定される。なお、はんだ付け部位以外の検査領域については、前記ＳＴ２３の判定が「ＮＯ」となってＳＴ２４〜２６の処理がスキップされ、入力画像をそのまま使用して２値化処理や判定処理が行われることになる。
【００９７】
すべての被検査部位に対する判定処理が終了すると、ＳＴ２９が「ＹＥＳ」となり、以下、ＳＴ３０〜３２において、各被検査部位に対する判定結果に基づき、被検査基板１Ｔについて、良品または不良品のいずれかの判定処理が行われる。さらに、ＳＴ３３で、この判定結果を出力し、前記被検査基板１Ｔに対する検査を終了する。
【００９８】
上記したように、この実施例の基板検査装置では、鉛フリーはんだが搭載された基板を検査対象とする場合に、強度補正処理により画像上の平坦面，暖傾斜面，急傾斜面についてそれぞれその面に応じた色成分が他の色成分よりも大きくなるように調整するとともに、脱白処理により各色成分にかかる白みを除去するようにしたので、はんだの各斜面をＲ，Ｇ，Ｂの各色彩により明瞭に表すことができる。よってティーチング時には、この調整処理後の画像から２値化しきい値を設定するのに適した部分を迷わずに読み取ることができ、２値化しきい値や判定基準値の設定を効率良く行うことができる。さらに検査においても、同様の調整処理が行われた画像に前記２値化しきい値や判定基準値を適用して、安定した検査を行うことができる。
【００９９】
【発明の効果】
この発明では、異なる色彩光を発光する複数の光源がそれぞれ異なる仰角の方向に配備された照明系を用いて鉛フリーはんだのような拡散反射性を持つ曲面体の表面状態を検査する場合に、画像中の曲面体像を含む画像領域における色彩の分布状態が明瞭になるような処理を行った上で、検査に関わる処理を実行するようにしたので、精度の高い検査を安定して行うことができる。
【図面の簡単な説明】
【図１】この発明の一実施例にかかる基板検査装置の構成を示すブロック図である。
【図２】光源の光量調整後に拡散反射板の画像について得られる階調の特性を示すグラフである。
【図３】強度調整処理に使用される調整倍率の決定方法を示す説明図である。
【図４】強度調整処理後に拡散反射板の画像について得られる階調の特性を示すグラフである。
【図５】白色成分除去処理の一方法を示す説明図である。
【図６】強度補正処理の一方法を示す説明図である。
【図７】ティーチング時の手順を示すフローチャートである。
【図８】検査時の手順を示すフローチャートである。
【図９】基板検査装置の光学系の構成および認識処理の原理を示す説明図である。
【図１０】図１０の光学系による認識処理の原理を示す説明図である。
【図１１】図１０の光学系により得られるはんだの画像上での階調の特性を示すグラフである。
【符号の説明】
１Ｓ，１Ｔ 基板
２ はんだ
３ 撮像部
４ 投光部
５ 制御処理部
８，９，１０ 光源
１１ ＣＰＵ
１２ 画像入力部
１３ メモリ
１５ 画像処理部
２０ ＣＲＴ表示部
Claims (8)
- 検査対象面に対する仰角が異なる複数の方向からそれぞれ異なる色彩光を照射した照明状態下で、前記検査対象面上の曲面体からの反射光を撮像するステップと、
前記撮像により得られた画像中の曲面体像を含む画像領域において、各色彩が混合して生じる白色成分の強度を画素毎に抽出する処理と、各画素における色成分の強度をそれぞれその画素について抽出された白色成分の強度に対応する値だけ減衰させる処理とを実行するステップと、
前記減衰処理後の各画素について、それぞれその画素における各色成分のうち最も強度の大きい色成分が減衰処理前に比べて強調され、かつ前記減衰処理後の各色成分の強度の総和が減衰処理前の状態に回復するように、各色成分の強度を変更する処理を実行するステップと、
前記各色成分の強度の変更処理後の画像における各色彩の分布状態に基づき、前記曲面体の表面状態の検査に関わる処理を実行するステップとを、実行するようにした曲面体の表面状態検査方法。 - 検査対象面に対する仰角が異なる複数の方向からそれぞれ異なる色彩光を照射した照明状態下で、前記検査対象面に対して任意の傾斜角度を持つ拡散反射面からの反射光を撮像するステップと、
前記撮像により得た画像中の拡散反射面像において、前記傾斜角度に対応する仰角方向からの光に応じた色成分が他の色成分よりも大きくなるように、各色成分の強度の調整倍率を決定するステップと、
前記拡散反射面を撮像したときと同様の照明状態下で検査対象面上の曲面体からの反射光を撮像するステップと、
前記撮像により得られた画像中の曲面体像を含む画像領域において、各色成分の強度を前記調整倍率に基づき調整するステップと、
前記調整処理後の前記画像領域において、各色彩が混合して生じる白色成分の強度を画素毎に抽出する処理と、各画素における色成分の強度をそれぞれその画素について抽出された白色成分の強度に対応する値だけ減衰させる処理とを実行するステップと、
前記減衰処理後の各画素について、それぞれその画素における各色成分のうち最も強度の大きい色成分が減衰処理前に比べて強調され、かつ前記減衰処理によりその画素における各色成分の強度の総和に生じた損失が補われるように、各色成分の強度を変更する処理を実行するステップと、
前記強度の変更処理後の画像における各色彩の分布状態に基づき前記曲面体の表面状態の検査に関わる処理を実行するステップとを、実行するようにした曲面体の表面状態検査方法。 - 前記曲面体の表面状態の検査に関わる処理は、前記強度の変更処理後の画像中の前記曲面体像を含む画像領域における各色彩の分布状態を、あらかじめ設定されたモデルデータと比較して、前記曲面体の表面状態の良否を判別する処理を含んで成る請求項１または２に記載された曲面体の表面状態検査方法。
- 前記曲面体の表面状態の検査に関わる処理は、前記強度の変更処理後の画像を表示する処理と、この表示された画像中の前記曲面体像について、良否の判断結果を示すデータの入力を受け付ける処理とを含んで成る請求項１または２に記載された曲面体の表面状態検査方法。
- 異なる色彩光を発光する複数の光源を検査対象の基板面に対してそれぞれ異なる仰角の方向に配備して成る照明手段と、
前記基板からの反射光を撮像するための撮像手段と、
前記照明手段の各光源を点灯させた状態で前記撮像手段により生成された画像を取り込む画像入力手段と、
前記画像入力手段により取り込まれた入力画像中のはんだの画像を含む画像領域において、各色彩が混合して生じる白色成分の強度を画素毎に抽出する処理と、各画素における色成分の強度をそれぞれその画素について抽出された白色成分の強度に対応する値だけ減衰させる処理とを実行する白色成分減衰手段と、
前記白色成分減衰手段による減衰処理後の各画素について、それぞれその画素における各色成分のうち最も強度の大きい色成分が減衰処理前に比べて強調され、かつ前記減衰処理後の各色成分の強度の総和が減衰処理前の状態に回復するように、各色成分の強度を変更する処理を実行する強度補正手段と、
前記強度補正手段による強度の変更処理後の画像中の前記画像領域において、各色彩の分布状態をあらかじめ設定されたモデルデータと比較して、前記はんだの表面状態を判別する判別手段と、
前記判別手段による判別結果を出力する出力手段とを具備して成る基板検査装置。 - 異なる色彩光を発光する複数の光源を検査対象の基板に対してそれぞれ異なる仰角の方向に配備して成る照明手段と、
前記基板からの反射光を撮像するための撮像手段と、
前記照明手段の各光源を点灯させた状態で前記撮像手段により生成された画像を取り込む画像入力手段と、
前記画像入力手段により取り込まれた入力画像中のはんだの画像を含む画像領域において、各色彩が混合して生じる白色成分の強度を画素毎に抽出する処理と、各画素における色成分の強度をそれぞれその画素について抽出された白色成分の強度に対応する値だけ減衰させる処理とを実行する白色成分減衰手段と、
前記白色成分減衰手段による減衰処理後の各画素について、それぞれその画素における各色成分のうち最も強度の大きい色成分が減衰処理前に比べて強調され、かつ前記減衰処理後の各色成分の強度の総和が減衰処理前の状態に回復するように、各色成分の強度を変更する処理を実行する強度補正手段と、
前記強度補正手段による強度の変更処理後の画像を表示する表示手段と、
前記表示手段により表示された画像中のはんだの画像について、良否の判断結果を示すデータの入力を受け付ける入力手段とを具備して成る基板検査装置。 - 請求項５または６に記載された基板検査装置であって、
前記画像入力手段により取り込まれた入力画像中のはんだの画像を含む画像領域において、あらかじめ設定された各色成分の強度の調整倍率に基づき各色成分の強度を調整する強度調整手段を具備し、
前記白色成分減衰手段は、前記強度調整手段による調整処理後の画像を処理対象とする基板検査装置。 - 請求項７に記載された基板検査装置であって、
前記各色成分の強度の調整に用いられる調整倍率は、前記照明手段の各光源を点灯させた状態下で、前記基板面に対して任意の傾斜角度を持つ拡散反射面を前記撮像手段により撮像したときの入力画像中の前記拡散反射面像において、前記傾斜角度に対応する仰角方向からの光に応じた色成分が他の色成分よりも大きくなるように、色成分毎に決定された倍率である基板検査装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002308304A JP3594026B2 (ja) | 2001-11-26 | 2002-10-23 | 曲面体の表面状態検査方法および基板検査装置 |
| DE2002602831 DE60202831T2 (de) | 2001-11-26 | 2002-11-22 | Methode zur Prüfung einer gekrümmten Oberfläche und Vorrichtung zur Prüfung einer Leiterplatte |
| EP20020026108 EP1314974B1 (en) | 2001-11-26 | 2002-11-22 | Method of inspecting curved surface and device for inspecting printed circuit board |
| TW91134152A TW580557B (en) | 2001-11-26 | 2002-11-25 | Method for examining surface state of curved object and device for examining substrate |
| CN 02154361 CN1272626C (zh) | 2001-11-26 | 2002-11-26 | 曲面体的表面状态检查方法及基板检查装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001360015 | 2001-11-26 | ||
| JP2001-360015 | 2001-11-26 | ||
| JP2002308304A JP3594026B2 (ja) | 2001-11-26 | 2002-10-23 | 曲面体の表面状態検査方法および基板検査装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003222598A JP2003222598A (ja) | 2003-08-08 |
| JP3594026B2 true JP3594026B2 (ja) | 2004-11-24 |
Family
ID=27759301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002308304A Expired - Fee Related JP3594026B2 (ja) | 2001-11-26 | 2002-10-23 | 曲面体の表面状態検査方法および基板検査装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3594026B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100557526B1 (ko) * | 2003-05-19 | 2006-03-03 | 삼성전기주식회사 | Ｒｇｂ 컬러를 이용한 인쇄회로기판의 표면 상태 분석시스템 및 방법 |
| JP3918854B2 (ja) | 2004-09-06 | 2007-05-23 | オムロン株式会社 | 基板検査方法および基板検査装置 |
| JP4826750B2 (ja) | 2005-04-08 | 2011-11-30 | オムロン株式会社 | 欠陥検査方法およびその方法を用いた欠陥検査装置 |
| JP2007240432A (ja) * | 2006-03-10 | 2007-09-20 | Omron Corp | 欠陥検査装置および欠陥検査方法 |
| JP2007286793A (ja) * | 2006-04-14 | 2007-11-01 | Denso Wave Inc | 情報コード読取装置 |
| JP4910897B2 (ja) * | 2007-06-13 | 2012-04-04 | オムロン株式会社 | はんだフィレットの検査方法および基板外観検査装置 |
| JP5510398B2 (ja) * | 2011-06-17 | 2014-06-04 | 株式会社デンソー | 溶接部検査装置 |
| JP5652421B2 (ja) * | 2012-03-30 | 2015-01-14 | ウシオ電機株式会社 | 光透過性成形品の外観検査装置 |
| KR102004796B1 (ko) * | 2014-08-25 | 2019-07-29 | 삼성전기주식회사 | 비전검사용 조명장치 및 비전 검사 장치 |
| JP6615835B2 (ja) * | 2017-06-26 | 2019-12-04 | 矢崎総業株式会社 | 画像検査における二値化処理プログラム及び二値化処理方法 |
| JP7013321B2 (ja) * | 2018-05-15 | 2022-01-31 | 日立Ｇｅニュークリア・エナジー株式会社 | 目視検査用の画像処理システム、及び、画像処理方法 |
| CN109581200B (zh) * | 2018-11-30 | 2021-03-26 | 北京卫星制造厂有限公司 | 基于红外热像测试数据确定虚焊焊点特征频带的方法 |
| JP2020136304A (ja) * | 2019-02-13 | 2020-08-31 | アスリートＦａ株式会社 | 導電性ボール検査リペア装置 |
| TWI833973B (zh) * | 2020-07-02 | 2024-03-01 | 由田新技股份有限公司 | 用於基板的線路量測系統及方法 |
-
2002
- 2002-10-23 JP JP2002308304A patent/JP3594026B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003222598A (ja) | 2003-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3551188B2 (ja) | 表面状態検査方法および基板検査装置 | |
| US7505149B2 (en) | Apparatus for surface inspection and method and apparatus for inspecting substrate | |
| CN108445007B (zh) | 一种基于图像融合的检测方法及其检测装置 | |
| JP3594026B2 (ja) | 曲面体の表面状態検査方法および基板検査装置 | |
| US20060140471A1 (en) | Image processing method, substrate inspection method, substrate inspection apparatus and method of generating substrate inspection data | |
| JP2014526706A (ja) | 非接触式部品検査装置及び部品検査方法 | |
| JP5239561B2 (ja) | 基板外観検査方法および基板外観検査装置 | |
| US7062080B2 (en) | Method of inspecting curved surface and device for inspecting printed circuit board | |
| JP2007226334A (ja) | カラー画像の処理方法およびカラー画像処理装置 | |
| JP4389801B2 (ja) | 基板検査装置 | |
| JP3622749B2 (ja) | 曲面性状検査方法およびこの方法を用いた基板検査装置 | |
| JP2009128303A (ja) | 基板外観検査装置 | |
| TW580557B (en) | Method for examining surface state of curved object and device for examining substrate | |
| JP3599023B2 (ja) | はんだ検査方法およびこの方法を用いた基板検査装置 | |
| JP2002250700A (ja) | パターン検査方法およびその装置 | |
| JP2008292398A (ja) | 部品電極の浮き不良の検査方法および基板検査装置 | |
| JPH05164703A (ja) | ワーク表面検査方法 | |
| JP3038107B2 (ja) | はんだ付け検査方法 | |
| JPH06174444A (ja) | ディスクリート型電子部品のはんだ形態検査方法 | |
| JP4180127B2 (ja) | クリーム半田印刷検査装置およびクリーム半田印刷検査方法 | |
| JPH06105212B2 (ja) | ヘツドライトの主光軸検査方法 | |
| JP2005223006A (ja) | クリーム半田印刷検査方法 | |
| JPH0658729A (ja) | 半田付け状態検査装置 | |
| JP3755370B2 (ja) | 半田フィレット検査方法 | |
| KR20050015784A (ko) | 표면 및 형상 검사장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040810 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040823 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100910 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100910 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110910 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110910 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |