JPH10288506A - 画像認識による計測装置 - Google Patents

Abstract

(57)【要約】 【課題】 ローコストでかつ高速に３次元計測を行う計
測装置を提供する。 【解決手段】 計測対象のはんだ９の高さを斜め方向か
らカメラ２で斜方撮像する。このカメラ２と反対側の斜
め方向から照明装置１で照明し、はんだ９の高さの稜線
がはんだ９の山腹より高輝度になるようにして識別可能
にする。画像処理装置５は、カメラ２で撮像されたはん
だ画像から稜線を識別し、予めサンプルのプリント基板
のランド像の下辺位置情報を用いて、稜線と下辺による
斜方画像面上の高さ情報から幾何学的計算によりはんだ
９の高さを求める。さらに、画像処理装置５は、計測対
象のはんだ画像が斜方画像面の焦点がずれる位置にある
場合には、上記で求めたはんだ高さを、計測対象データ
メモリ４に予めサンプルのプリント基板のランド像間の
比較により計算して記憶しておいた当該位置でのサイズ
の拡大率・縮小率の逆数を乗じて補正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像認識を用いて
プリント基板上のはんだ（クリームはんだや、リフロー
後はんだ）の高さ、チップ部品の浮き、立ち、リードの
浮きなどを計測・検査する技術に関するものである。

【０００２】

【従来の技術】プリント基板上のはんだ高さの計測は、
従来、レーザ・スキャンによるレーザ光切断法や段差照
明による画像認識法を用いて行われてきた。レーザ光切
断法は、高さ方向の解像度が１μｍオーダと精度が高い
という利点がある。画像認識法はエリアスキャンのカメ
ラを用いるので、１回の撮像で対象物の画像が一挙に取
り込めるため、比較的に画像情報の取り込みが速いとい
う利点があり、この利点を活かすため、段差照明法によ
る立体的はんだ印刷パターン検査の画像認識法が考案さ
れた。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来のレーザ光切断法による高さ計測では、スキャンピッ
チの設定によって、計測時間がかかるという問題があ
る。また、その計測装置として、レーザ光の発光装置、
スキャン装置、集光装置、受光素子、計測データ処理装
置等が必要であり、これらには、レーザ・スキャン特有
のハードウェア／ソフトウェアが要求されるため、コス
ト増加要因となっている（概して、レーザを使った検査
装置は、コストが高いという一般的な特徴がある）。ま
た、はんだ、特にクリームはんだのようにデコボコが多
いポーラス状の表面性状の計測対象物では、画像にノイ
ズが多く発生し、高さデータ抽出の処理が難しく、計測
の精度と信頼性に問題があった。

【０００４】一方、画像認識法による高さ計測は、レー
ザ・スキャン法に比べて画像情報の取り込みが早いので
計測時間が短くなり、レーザ・スキャンを用いないので
ローコストであるが、本質的には計測対象物を直上のカ
メラから撮像する２次元計測であり３次元的な計測はで
きないこと、及び、照明の方法（高さ、角度、輝度、段
数）や、照明輝度の変動、カメラの高さ、段差照明の情
報を立体的はんだ印刷パターンに変換する方法等によっ
て、パターン認識にバラツキが出てしまい、正確な計測
は行えないという問題があった。

【０００５】そこで、本発明は、ローコストで正確かつ
高速に３次元計測を行う計測装置を提供することを課題
とする。

【０００６】

【課題を解決するための手段】上記の課題を解決するた
め、本発明の計測装置は、計測対象を斜め方向、或いは
真横から撮像する撮像手段と、前記撮像手段と反対側の
斜め方向から、或いは直上から照明し、前記計測対象の
高さの稜線を識別可能にする照明手段と、前記撮像手段
で撮像された画像から前記計測対象の高さの稜線を識別
し、この稜線と予め前記計測対象に関するサンプルを計
測して該計測データから前記稜線の画像上の位置により
特定される前記計測対象の下辺の位置とに基づいて前記
計測対象の高さを求める画像処理手段と、を有すること
を特徴とする。

【０００７】あるいは、計測対象の高さを斜め方向、或
いは真横から撮像する撮像手段と、前記撮像手段と反対
側の斜め方向から、或いは直上から照明し、前記計測対
象の高さの稜線および下辺を識別可能にする照明手段
と、前記撮像手段で撮像された画像から前記計測対象の
高さの稜線および下辺を識別して前記計測対象の高さを
求める画像処理手段と、を有することを特徴とする。

【０００８】また、前記画像処理手段は、斜方撮像面で
認識された前記稜線と下辺から求められる前記計測対象
の画像上の高さを幾何学的計算により前記計測対象の高
さに変換する計算手段を有することを特徴とする。

【０００９】また、予め前記計測対象に関するサンプル
を計測して斜方撮像面の焦点がずれる位置でのサイズの
拡大・縮小の倍率を求めて記憶しておく記憶手段を備
え、前記画像処理手段は、前記計測対象が斜方撮像面の
焦点がずれる位置にある場合には、前記計算手段で変換
された計測対象の高さを前記記憶された当該位置でのサ
イズの拡大・縮小の倍率で補正する補正手段を有するこ
とを特徴とする。

【００１０】本発明では、計測対象物に凹凸があって
も、計測対象物の稜線（もしくは頂上）または稜線と下
辺を直接識別することで、各種変動要因の影響を抑止し
て、計測対象物の高さを精度よく計測可能とし、信頼性
の高い計測を実現する。また、計測対象物が列状／アレ
イ状に配置されていても、鳥瞰図方式のアレイ処理によ
り、計測対象物の計測を可能とする。また、画像処理技
術を用いることで、高速かつローコストの３次元計測を
実現する。

【００１１】

【発明の実施の形態】以下に、本発明の実施形態例を、
図を用いて詳細に説明する。

【００１２】図１は、本発明の一実施形態例を示すブロ
ック構成図である。図１において、１は計測対象を照明
する照明装置、２は計測対象を画像として取り込む撮像
装置（以下、カメラ）、３は取り込んだ画像を格納する
画像メモリ、４は画像の位置によって計測値を補正する
ための拡大、縮小率を保存したり、観測された計測対象
の下辺の位置を特定したりするため計測対象データメモ
リ、５は画像処理装置（以下、ＣＰＵ）、６は表示装置
（ディスプレイ）、７はプリント基板、８はプリント基
板７上に配列されたランド（搭載部品の端子等をはんだ
付けするための印刷配線部）、９はランド８に載せたク
リームはんだである。画像メモリ３と計測対象データメ
モリ４とは独立に設けてもよいし、同じメモリをエリア
分けして用いてもかまわない。

【００１３】本実施形態例では、図２に示すようなプリ
ント基板７上に列状に配置された複数のランド（ＤＩＰ
ランド）８上のはんだ９の高さを計測・検査の対象とす
る場合を例とする。

【００１４】カメラ２は、プリント基板７の面方向に対
して横方向または斜め方向から撮像するように配置す
る。照明装置１は、カメラ２によるプリント基板７上の
計測対象のはんだ９の撮像画像において、その計測対象
のはんだ９側面（山腹）が低輝度の暗部となり高さ方向
の稜線（もしくは頂上）が明瞭に識別できるようなコン
トラストが得られるように、カメラ２と反対側の斜め方
向から光が斜方入射するように配置する。あるいは、プ
リント基板７の真上方向に配置し、前述のようなコント
ラストが得られるように照明高さの調整を行うようにし
てもよい。

【００１５】カメラ２が取り込んだ画像は、ＣＰＵ５に
入力されて、表示装置６に表示されるとともに、一旦、
画像メモリ３に格納される。ＣＰＵ５は、格納された画
像中の個々のはんだ高さを幾何学的に計算し、次に、個
々のはんだ高さ画像の位置での焦点ずれ（焦点ボケ）に
よる誤差を計測対象データメモリ４の拡大・縮小率を用
いて補正する。また、稜線に対応するはんだの下辺の位
置を予めサンプルのプリント基板で測定して計測対象デ
ータメモリ４に登録しておくことで、当該稜線に対応し
た下辺の位置を特定するなどの画像処理を行う。

【００１６】以上のように構成された本実施形態例の計
測装置の作用を説明する。図３は、本実施形態例の動作
例を示すフロー図である。

【００１７】単純な測定原理として、カメラ２を対象物
の真横に設置すれば、対象物の高さは直接的に測定が可
能である。しかし、この場合、ＤＩＰ（デュアル イン
ライン パッケージ），ＱＦＰ（クォード フラット
パッケージ），ＢＧＡ（ボール グリッド アレイ），
ＣＳＰ（チップ サイズ パッケージ）等のランドは２
次元的に配列されているので、カメラの最前列のランド
上のはんだ以外は、その最前列のはんだの陰になって測
定が不可能である。

【００１８】そこで、このような場合には図４に示すよ
うに、まず、カメラ２をプリント基板７の面に対し斜め
横に設置して、その高さを可能な限り低くし斜方撮像す
る。このようにすると、２次元的に配列されたランド８
上のはんだ９の稜線（或いはボールの頂上）が観測可能
となる。次に、照明によっては、はんだ山並みの中で稜
線と山腹との輝度差が出てこないことがあるので、照明
装置１をカメラ２の反対側に斜めに設置し、稜線の高輝
度部分と山腹の陰の低輝度部分の輝度コントラストをと
る。或いは、直下照明によって、稜線と山腹との輝度コ
ントラストを取るような高さ調節を行うのも一つの方法
である。

【００１９】次に、図５に示すような幾何学的な計算に
より、斜方撮像の画像の稜線位置情報から高さに変換す
る計算を行う。撮像装置２の斜方撮像面でのはんだ画像
の高さ（はんだ稜線から下辺までの距離）をｄ、求める
はんだ９の高さをｈ、撮像装置２の撮像方向とプリント
基板７との角度をθ、ランド８の中心から下辺までの距
離をｒとすると、 ｄ＝ｈ／ｃｏｓθ＋ｒ・ｓｉｎθ が成り立つ。従って、ｒ，θを予め測定しておけば、上
式より導かれる次式から、はんだ高さｈが求まる。

【００２０】ｈ＝（ｄ−ｒ・ｓｉｎθ）ｃｏｓθ ここで、はんだの下辺が撮像装置２とプリント基板７の
角度調整によって斜方撮像面に写り込むようにすれば、
斜方撮像面上での稜線の位置に対応する下辺の位置情報
が簡単に得られるが、稜線のみの観測（下辺はその手前
のはんだ山腹の後ろに隠れる）の場合でも、画像上の稜
線の位置から下辺の位置を特定することができる。その
ためには、予めサンプルのプリント基板のランドを、計
測の場合と同じ環境（特に位置関係）で斜方撮像により
画像入力して各ランドの下辺の位置情報を当該ランド像
の画像上の位置と対応付けて計測対象データメモリ４に
記憶しておけばよい。この場合ランドには、まだはんだ
が載っていないので、画像上にはランドの下辺が必ず写
り込む。そして、測定段階では、計測対象の稜線の画像
上の位置から計測対象データメモリ４のランドの下辺の
位置情報を参照して、そのはんだの下辺の位置情報とす
る。

【００２１】また、斜方撮像方式では、図６に示すよう
に、計測対象とカメラ２との距離が一定ではないので、
計測対象の位置によって、焦点ボケが生じる。焦点ボケ
では、焦点が合う位置ｘ₀にある計測対象を基準にし
て、奥行き方向ではカメラ２から遠ざかる（位置ｘ_i）
ほど像が拡大され、カメラ２に近づく（位置ｘ_j）ほど
像が縮小され、左右方向では中央から左右に遠ざかるほ
ど像が拡大される。そこで、予め画像上の位置ｘ_i，ｘ_j
に対応する拡大率ｒ_i、縮小率ｒ_jの関係を計測対象デー
タメモリ４に記憶しておき、図７に示すように、対応す
る画像上の位置ｘ_i，ｘ_jでの拡大率の逆数１／ｒ_iもし
くは縮小率の逆数１／ｒ_jを、上記で計算されたはんだ
高さｈ_i，ｈ_jに乗じることにより、焦点ボケを考慮した
高さ補正を行う。

【００２２】この拡大率、縮小率を定量的に求めるため
には、サンプルのプリント基板について、例えば予め位
置が分かっており、その上にはんだを載せるランドの並
びを、計測の場合と同じ環境で斜方撮像により画像入力
し、画像上の位置ｘ_i，ｘ_jでのサイズ、例えば幅サイズ
ｌ_i，ｌ_jと、基準対象の像（位置ｘ₀、幅サイズｌ₀）と
の比較を行う。これにより、画像上の位置ｘ_i，ｘ_jでの
各ランド毎の拡大率ｒ_i、縮小率ｒ_jを、それぞれｌ_i／
ｌ₀、ｌ_j／ｌ₀から求めることができるので、この拡大
率、縮小率を当該ランド像の画像上の位置と対応付けて
計測対象データメモリ４に記憶しておけばよい。

【００２３】なお、ランドの並びとしてはプリント基板
の面上の直交座標のｘ軸に平行な場合やｘ軸、ｙ軸に平
行な場合がある。図８の例で、（ａ）はｘ軸に平行に２
列のランドが並んでいるＤＩＰランドの例であり、
（ｂ）はｘ軸、ｙ軸のそれぞれに平行に２列のランドが
並んでいるＱＦＰランドの例であり、（ｃ）もｘ軸、ｙ
軸のそれぞれに平行に複数列のランドが２次元アレイ状
に並んでいるＢＧＡランドの例である。

【００２４】図８（ａ）の例において、同じｘ軸に平行
な場合でも見るサイドによって見え方が異なるので、図
９（ａ）の平面図，（ｂ）の平面図に示すように、撮像
の段階でプリント基板７を相対的に１８０°毎に回転し
て、２枚の画像を撮像して画像メモリ３に格納し、計測
の段階で各画像毎に上記した手順ではんだ高さを計測す
る。

【００２５】また、図８（ｂ），（ｃ）の例において、
同じｘ軸およびｙ軸に平行な場合でも見るサイドによっ
て見え方が異なるので、図１０、図１１に示すように、
撮像の段階でプリント基板７を相対的に９０°毎に回転
し、４枚の画像を撮像して画像メモリ３に格納し、計測
の段階で各画像毎に上記した手順ではんだ高さを計測す
る。

【００２６】上記においては、撮像段階と計測段階を１
枚の画像毎に繰り返して、計測を行うようにしてもよ
い。また、同一の計測対象について複数の画像から複数
の計測結果が得られる場合には、平均化したり、統計上
誤差の少ない位置での計測結果を採用したりする（初め
から統計上誤差の少ない位置の計測対象像だけで計測し
もよい）。

【００２７】上記実施形態例では、はんだ高さの計測例
を示したが、本発明は、そのはんだにより搭載されたチ
ップ部品やリードや、その他一般的な物体の高さの計測
・検査に広く適用可能である。

【００２８】

【発明の効果】以上の説明で明らかなように、本発明に
よれば、画像処理による直接的な高さ計測により、各種
変動要因に強く、精度の高い、しかも画像処理による高
速な３次元計測が可能となる。また、汎用な装置で実施
できるため、３次元計測を簡単かつローコストで実現す
ることができる。

【図面の簡単な説明】

【図１】本発明の一実施形態例を示す構成図である。

【図２】上記実施形態例における計測対象を例を示す図
である。

【図３】上記実施形態例での動作例を説明するフロー図
である。

【図４】上記実施形態例における斜方照明方式と斜方撮
像方式を説明する図である。

【図５】上記実施形態例における計測対象のはんだ高さ
の計算例を説明する図である。

【図６】上記実施形態例における焦点ボケによる画像の
拡大・縮小を説明する図である。

【図７】上記実施形態例における焦点ボケによる高さの
補正計算を説明する図である。

【図８】（ａ），（ｂ），（ｃ）は、上記実施形態例に
おける計測対象のランド配置例を示す図である。

【図９】（ａ），（ｂ）は、計測対象の配置が上記図８
（ａ）である場合の撮像例を説明する図である。

【図１０】計測対象の配置が上記図８（ｂ）である場合
の撮像例を説明する図である。

【図１１】計測対象の配置が上記図８（ｃ）である場合
の撮像例を説明する図である。

【符号の説明】

１…照明装置 ２…撮像装置（カメラ） ３…画像メモリ ４…拡大・縮小率保存メモリ ５…画像処理装置（ＣＰＵ） ６…表示装置（ディスプレイ） ７…プリント基板 ８…ランド ９…はんだ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 計測対象を斜め方向、或いは真横から撮
   像する撮像手段と、 前記撮像手段と反対側の斜め方向から、或いは直上から
   照明し、前記計測対象の高さの稜線を識別可能にする照
   明手段と、 前記撮像手段で撮像された画像から前記計測対象の高さ
   の稜線を識別し、この稜線と予め前記計測対象に関する
   サンプルを計測して該計測データから前記稜線の画像上
   の位置により特定される前記計測対象の下辺の位置とに
   基づいて前記計測対象の高さを求める画像処理手段と、 を有することを特徴とする画像認識による計測装置。
2. 【請求項２】 計測対象の高さを斜め方向、或いは真横
   から撮像する撮像手段と、 前記撮像手段と反対側の斜め方向から、或いは直上から
   照明し、前記計測対象の高さの稜線および下辺を識別可
   能にする照明手段と、 前記撮像手段で撮像された画像から前記計測対象の高さ
   の稜線および下辺を識別して前記計測対象の高さを求め
   る画像処理手段と、 を有することを特徴とする画像認識による計測装置。
3. 【請求項３】 前記画像処理手段は、 斜方撮像面で認識された前記稜線と下辺から求められる
   前記計測対象の画像上の高さを幾何学的計算により前記
   計測対象の高さに変換する計算手段を有する、 ことを特徴とする請求項１または請求項２に記載の画像
   認識による計測装置。
4. 【請求項４】 予め前記計測対象に関するサンプルを計
   測して斜方撮像面の焦点がずれる位置でのサイズの拡大
   ・縮小の倍率を求めて記憶しておく記憶手段を備え、 前記画像処理手段は、前記計測対象が斜方撮像面の焦点
   がずれる位置にある場合には、前記計算手段で変換され
   た計測対象の高さを前記記憶された当該位置でのサイズ
   の拡大・縮小の倍率で補正する補正手段を有する、 ことを特徴とする請求項３に記載の画像認識による計測
   装置。