JP3868860B2

JP3868860B2 - 3D measuring device

Info

Publication number: JP3868860B2
Application number: JP2002193150A
Authority: JP
Inventors: 高弘間宮; 伊久雄二村
Original assignee: CKD Corp
Current assignee: CKD Corp
Priority date: 2002-07-02
Filing date: 2002-07-02
Publication date: 2007-01-17
Anticipated expiration: 2022-07-02
Also published as: JP2004037182A

Description

【０００１】
【発明の属する技術分野】
本発明は、三次元計測装置に関するものである。
【０００２】
【従来の技術】
従来、非接触式の三次元計測の手法として、空間コード法、位相シフト法、光切断法といった種々の方法が提案されている。いずれも手法も、例えば測定物体（計測対象物）に対し、斜めから光を照射して、その反射光を測定物体の上方に配置された撮像手段にて撮像し、その撮像データ基づいて測定物体の高さを計測するものである。
【０００３】
【発明が解決しょうとする課題】
しかしながら、上記技術においては、いずれも斜めから光を照射する構成となっているため、測定物体の被計測部位に光の当たらない部位、つまり、死角が生じてしまうおそれがある。その結果、測定物体によっては計測精度の低下を招いてしまうおそれがある。また、上記手法では、計測可能な高さ範囲が限られているのも実状である。
【０００４】
さらに、上記各手法は、他の部位との相対関係に基づいて高さが演算されるものであるため、測定物体の表面に相対関係を狂わせるようなもの（例えば色彩の変化や模様等）が存在すると、正確な計測に支障を来すおそれがある。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、ニーズ応じた計測範囲を確保でき、測定物体の表面性状に影響されにくく、しかも計測精度を著しく高めることの可能な三次元計測装置を提供することを主たる目的の一つとしている。
【０００６】
【課題を解決するための手段及びその効果】
上記目的を達成し得る特徴的手段について以下に説明する。また、各手段につき、特徴的な作用及び効果を必要に応じて記載する。
【０００７】
手段１．少なくとも計測対象物に対し、所定の光強度分布を有する光パターンを照射可能な照射手段と、
前記光パターンの照射された計測対象物を撮像可能な撮像手段と、
前記撮像手段にて撮像された複数の画像データに基づき、少なくとも前記計測対象物の所定の高さを演算する演算手段とを備え、
前記照射手段により照射される光パターンは、位置によってピントの合う高さが異なるものであることを特徴とする三次元計測装置。
【０００８】
手段１によれば、照射手段によって、少なくとも計測対象物に対し、所定の光強度分布を有する光パターンが照射される。また、撮像手段によって、光パターンの照射された計測対象物が撮像される。撮像手段にて撮像された複数の画像データに基づき、演算手段では、少なくとも計測対象物の所定の高さが演算される。さて、手段１では、照射手段により照射される光パターンは、位置によってピントの合う高さが異なるものであるため、予め光パターンの位置に対するピントの合う高さを把握しておくことで、光パターンに対する計測対象物の相対位置関係を変化させたり、光パターンの態様を異ならせたりすることによって、合焦の程度から前記演算手段による所定の高さの演算が可能となる。このとき、光パターンを計測対象物のほぼ真上から当てて計測することが可能であるため、死角を生じにくくすることができ、結果として、計測精度の向上を図ることができる。また、位置によってピントの合う高さ範囲を予め大きく設定することで、計測可能な高さ範囲が制限されてしまうといった事態を回避できる。しかも、計測対象物の表面に色彩の変化や模様等が存在していたとしても、合焦の程度から高さの演算を行うことによって、そのような表面性状に影響されることなく正確な計測が可能となる。
【０００９】
手段２．少なくとも計測対象物に対し、所定の光強度分布を有し、かつ、位置によってピントの合う高さが異なる光パターンを照射可能な照射手段と、
前記光パターンの照射された計測対象物を撮像可能な撮像手段と、
前記計測対象物表面の所定ポイントに関し、前記撮像手段にて撮像された複数の画像データのうち、ピントの最も合う画像データに基づいて少なくとも前記計測対象物表面の所定ポイントの高さを演算する演算手段とを備えたことを特徴とする三次元計測装置。
【００１０】
手段２によれば、照射手段によって、少なくとも計測対象物に対し、所定の光強度分布を有する光パターンが照射される。また、撮像手段によって、光パターンの照射された計測対象物が撮像される。照射手段により照射される光パターンは、位置によってピントの合う高さが異なるものであり、予め光パターンの位置に対するピントの合う高さを把握しておくことが可能となる、そして、撮像手段にて撮像された複数の画像データのうち、演算手段では、ピントの最も合う画像データに基づいて少なくとも計測対象物表面の所定ポイントの高さが演算される。換言すれば、合焦の程度から高さの演算が可能となる。このとき、光パターンを計測対象物のほぼ真上から当てて計測することが可能であるため、死角を生じにくくすることができ、結果として、計測精度の向上を図ることができる。また、位置によってピントの合う高さ範囲を予め大きく設定することで、計測可能な高さ範囲が制限されてしまうといった事態を回避できる。しかも、計測対象物の表面に色彩の変化や模様等が存在していたとしても、合焦の程度から高さの演算を行うことによって、そのような表面性状に影響されることなく正確な計測が可能となる。
【００１１】
手段３．前記計測対象物を移動させる移動手段を備え、
前記撮像手段にて撮像された複数の画像データは、前記移動手段により移動された互いに異なる位置における前記計測対象物の画像データであることを特徴とする手段１又は２に記載の三次元計測装置。
【００１２】
手段３によれば、移動手段により計測対象物が移動される。そして、撮像手段にて撮像された複数の画像データは、移動手段により移動された互いに異なる位置における計測対象物の画像データである。ここで、計測対象物表面の所定ポイントに着目すると、複数の画像データ間でピントが合ったり合わなかったりする。従って、予め光パターンの位置に対するピントの合う高さを把握しておくことで、移動毎に撮像された画像データの合焦の程度・正否（最もピントの合う画像データ）から所定の高さがより確実に演算されることとなる。
【００１３】
手段４．計測対象物を移動させる移動手段と、
前記移動手段にて移動される計測対象物に対し、所定の光強度分布を有し、かつ、位置によってピントの合う高さが異なる光パターンを照射可能な照射手段と、
前記光パターンの照射された計測対象物を、少なくとも該計測対象物が移動される毎に撮像可能な撮像手段と、
前記計測対象物表面の所定ポイントに関し、前記計測対象物が移動される毎に前記撮像手段にて撮像された複数の画像データのうち、ピントの最も合う画像データに基づいて、少なくとも前記計測対象物表面の所定ポイントの高さを演算する演算手段とを備えたことを特徴とする三次元計測装置。
【００１４】
手段４によれば、移動手段によって移動される計測対象物に対し、所定の光強度分布を有し、かつ、位置によってピントの合う高さが異なる光パターンが、照射手段によって照射される。また、撮像手段によって、光パターンの照射された計測対象物が、少なくとも該計測対象物が移動される毎に撮像される。そして、計測対象物表面の所定ポイントに関し、計測対象物が移動される毎に撮像された複数の画像データのうち、ピントの最も合う画像データに基づいて、少なくとも計測対象物表面の所定ポイントの高さが演算手段によって演算される。ここで、光パターンは、位置によってピントの合う高さが異なるものであるため、予め光パターンの位置に対するピントの合う高さを把握しておくことで前記演算が可能となる。このとき、光パターンを計測対象物のほぼ真上から当てて計測することが可能であるため、死角を生じにくくすることができ、結果として、計測精度の向上を図ることができる。また、位置によってピントの合う高さ範囲を予め大きく設定することで、計測可能な高さ範囲が制限されてしまうといった事態を回避できる。しかも、計測対象物の表面に色彩の変化や模様等が存在していたとしても、合焦の程度から高さの演算を行うことで、そのような表面性状に影響されることなく正確な計測が可能となる。
【００１５】
手段５．計測対象物を移動させる移動手段と、
前記移動手段にて移動される計測対象物に対し、所定の光強度分布を有し、かつ、位置によってピントの合う高さが異なる光パターンを照射可能な照射手段と、
前記光パターンの照射された計測対象物を、少なくとも該計測対象物が移動される毎に撮像可能な撮像手段と、
前記計測対象物表面に設定された複数の領域に関し、前記計測対象物が移動される毎に前記撮像手段にて撮像された複数の画像データのうち、ピントの最も合う画像データに基づいて、少なくとも前記計測対象物表面の各領域の高さを演算するとともに、前記演算された各領域の高さに基づいて前記計測対象物の三次元形状を演算する演算手段とを備えたことを特徴とする三次元計測装置。
【００１６】
手段５によれば、計測対象物表面に設定された複数の領域に関し、計測対象物が移動される毎に撮像された複数の画像データのうち、ピントの最も合う画像データに基づいて、少なくとも計測対象物表面の各領域の高さが演算手段によって演算されるとともに、演算された各領域の高さに基づいて計測対象物の三次元形状が演算される。ここで、光パターンは、位置によってピントの合う高さが異なるものであるため、予め光パターンの位置に対するピントの合う高さを把握しておくことで前記演算が可能となる。このとき、光パターンを計測対象物のほぼ真上から当てて計測することが可能であるため、死角を生じにくくすることができ、結果として、計測精度の向上を図ることができる。また、位置によってピントの合う高さ範囲を予め大きく設定することで、計測可能な高さ範囲が制限されてしまうといった事態を回避できる。しかも、計測対象物の表面に色彩の変化や模様等が存在していたとしても、合焦の程度から高さの演算を行うことで、そのような表面性状に影響されることなく正確な計測が可能となる。
【００１７】
手段６．前記光パターンは、計測対象物の移動方向に直交又はほぼ直交する方向に延び、明暗が等間隔毎に設定された縞状の光パターンであって、かつ、当該縞の幅は、前記撮像手段の２画素分以上３画素分以下に設定されていることを特徴とする手段３乃至５のいずれかに記載の三次元計測装置。
【００１８】
手段６によれば、縞状の光パターンの幅が撮像手段の２画素分以上３画素分以下に設定されている。ここで、少なくとも２画素分の幅があることで、少なくとも１つの画素を、１つの「明」又は「暗」の領域（幅）が完全に覆うことができる。一方で、光パターンの縞の幅が太くなってしまうと、所定の画素もその隣の画素も同じ「明」か、又は同じ「暗」となってしまうので、少々ピントがずれてもその影響が現れにくくなる。従って、上記のように設定することで、より正確にピントが合うか合わないかを効率よく判定することができる。
【００１９】
手段７．前記光パターンは、計測対象物の移動方向に直交又はほぼ直交する方向に延び、明暗が等間隔毎に設定された縞状の光パターンであって、かつ、前記撮像手段は、前記移動手段により前記縞の幅と同寸法ずつ前記計測対象物が移動する毎に撮像可能であることを特徴とする手段３乃至６のいずれかに記載の三次元計測装置。
【００２０】
手段７によれば、移動手段により縞の幅と同寸法ずつ計測対象物が移動する毎に撮像される。従って、より正確にピントの最も合う位置を把握することができ、ひいては、より正確な高さ計測を行うことができる。
【００２１】
手段８．前記光パターンは、計測対象物の移動方向に直交又はほぼ直交する方向に延び、明暗が等間隔毎に設定された縞状の光パターンであって、かつ、前記撮像手段は、前記移動手段により前記縞の幅の偶数倍の寸法ずつ前記計測対象物が移動する毎に撮像可能であることを特徴とする手段３乃至６のいずれかに記載の三次元計測装置。
【００２２】
手段８によれば、最もピントが合うか否かの判定を、画像データのうちの最も輝度が高い、或いは最も低いものであるか否かによって行うことができる。その結果、判定が比較的容易なものとなる。
【００２３】
手段９．前記照射手段は、少なくとも光源と、投光レンズと、前記投光レンズに対し所定角度傾斜した状態で前記光源及び投光レンズ間に設けられ、光パターンを投影するためのフィルタとを具備していることを特徴とする手段１乃至８のいずれかに記載の三次元計測装置。
【００２４】
手段９によれば、照射手段のフィルタが、投光レンズに対し所定角度傾斜した状態で設けられることで、位置によってピントの合う高さが異なる光パターンが照射可能となる。そのため、照射手段の複雑化を招くことなく比較的簡易に構成することが可能となる。
【００２５】
手段１０．前記照射手段からの光パターンが、前記計測対象物に対しほぼ真上から照射可能となっていることを特徴とする手段１乃至９のいずれかに記載の三次元計測装置。
【００２６】
手段１１．前記計測対象物は、部位によって高さが相違するものであることを特徴とする手段１乃至１０のいずれかに記載の三次元計測装置。
【００２７】
手段１２．前記演算手段は、照射された光パターンの位置に対するピントの合う高さを予め記憶する記憶部を備えていることを特徴とする手段１乃至１１のいずれかに記載の三次元計測装置。
【００２８】
手段１３．前記計測対象物は、プリント基板、又は、基板上に設けられたクリームハンダ若しくはハンダバンプのうち少なくとも１つであることを特徴とする手段１乃至１２のいずれかに記載の三次元計測装置。
【００２９】
【発明の実施の形態】
以下、一実施の形態について、図面を参照しつつ説明する。
【００３０】
図１は、本実施の形態における三次元計測装置１を模式的に示す概略構成図である。同図に示すように、三次元計測装置１は、測定物体Ｃを載置するためのテーブル２と、縞状の光パターンを照射するための照明装置３と、測定物体Ｃ上の前記照射された部分を撮像するための撮像手段を構成するＣＣＤカメラ４とを備えている。なお、同図における測定物体Ｃは説明の便宜上平板状をなしているが、その形状については何ら限定されるものではない。テーブル２には、モータ５，６が設けられており、該モータ５，６によって、テーブル２上に載置された測定物体Ｃが任意の方向（ｘ軸方向及び該ｘ軸に直交するｙ軸方向）へ適宜スライドさせられるようになっている。また、三次元計測装置１は、前記ＣＣＤカメラ４、照明装置３、モータ５，６等を駆動制御するとともに、ＣＣＤカメラ４により撮像された撮像データに基づき種々の演算を実行するための制御装置７を備えている。
【００３１】
次に、図３を用いて照明装置３の構成について説明するとともに、本実施の形態の基本原理及びその中でも特に重要な「合焦点ライン」の概念について説明する。但し、同図では、光路等がＣＣＤカメラ４と重複するのを避けるべく、便宜上照明装置３をほぼ水平状態に設置した場合についての例が記されている。この場合、ハーフミラー８が用いられた上で光パターンがほぼ真上から照射される。さて、照明装置３は、基端側に設けられた光源１１と、光源１１からの拡散光をほぼ平行光に偏光させるためのコンデンサレンズ１２と、光源１１からの光を縞状に透過させるべく、光パターンを投影するためのフィルタを構成する格子板１３と、先端側に設けられた投光レンズ１４とを具備している。本実施の形態では格子板１３は、投光レンズ１４に対して傾斜して設置されている。
【００３２】
ここで、一定の高さを有する測定物体Ｃ１（Ｃ）が図中左から右へと位置Ｐ１からＰ９の方向へと搬送させるものとする。また、説明の便宜上照明装置３による照射範囲とＣＣＤカメラ４の撮像視野範囲とは同一とする（測定エリアと称する）。
【００３３】
上述のように、格子板１３が投光レンズ１４に対し傾斜して設置されていることから、格子板１３の端点１３ａと端点１３ｂとでは、測定エリアにおける結像高さが相違する。より詳しくは、端点１３ａは投光レンズ１４に対し比較的遠い位置に存在するため、比較的高い位置で結像（＝合焦）する（ここでは平面Ｂの高さ位置で結像する）。一方、端点１３ｂは投光レンズ１４に対し比較的近い位置に存在するため、比較的低い位置で結像する（ここでは平面Ａの高さ位置で結像する）。ここで、端点１３ａから端点１３ｂに向かって連続的に結像する位置を繋いだ線が図に示す合焦点ラインＬである。
【００３４】
この場合において、測定物体Ｃ１の上面が平面Ａと平面Ｂとの間に存在するものとして、測定物体Ｃ１が位置Ｐ１から位置Ｐ９まで移動する間、測定物体Ｃ１の上面が合焦点ラインＬに一致する位置又は最も近づく位置が存在し、図の場合においては位置Ｐ５において合焦点ラインＬに一致する。つまり、図において測定物体Ｃ１が位置Ｐ５に位置するときが最もピントが合う（合焦する）位置となる。従って、位置Ｐ１から位置Ｐ９までの合焦点ラインＬの各高さを予め把握しておくことで、測定物体Ｃ１が最も合焦する位置に基づいて、高さの計測が可能となる。すなわち、測定物体Ｃ１が測定エリアを通過する間に、断続的にＣＣＤカメラ４を用いて撮像を行い、位置Ｐ１からＰ９のうち、どの位置が最もピントの合う光パターンを反射するかをモニタリングすることで、測定物体Ｃ１の高さを求めること、つまり三次元計測が可能となる。
【００３５】
以上が本実施の形態における三次元計測の基本原理であるが、次には、前記制御装置７の電気的構成について説明する。図２に示すように、制御装置７は、Ａ／Ｄ変換器２１、複数の画像メモリ２２、合焦判断メモリ２３、三次元計測結果メモリ２４、外観検査結果及び統計データメモリ２５、ＣＰＵ２６、高さ計測用データ判定用メモリ２７、入出力インターフェース２８、カメラタイミング制御手段２９などから構成される。
【００３６】
Ａ／Ｄ変換器２１は、ＣＣＤカメラ４で撮像したイメージデータを、アナログ信号からデジタル信号に変換するものである。画像メモリ２２は、Ａ／Ｄ変換されたイメージデータを順次記憶して、移動する測定物体Ｃ（Ｃ１）の各位置における二次元イメージデータとして記憶するものである。
【００３７】
ＣＰＵ２６は、各種の画像処理プログラム、その他のプログラムを、合焦判断メモリ２３や高さ計測用データ判定用メモリ２７の記憶内容等を使用しつつ実行するものである。入出力インターフェース２８は、モータ５，６に制御信号を送信し又はモータ５，６から動作信号等の各種信号を受信するためのものである。これによって、例えば、測定物体Ｃ（Ｃ１）の移動量、撮像位置等を適正に制御することができるようになっている。また、入出力インターフェース２８は、モニタ３０に表示データを送信するためのものであり、二次元化したイメージデータや外観検査結果などを、モニタ３０に表示させることができる。
【００３８】
外観検査結果及び統計データメモリ２５は、連結成分に関する座標等のデータ、外観検査結果データ、該外観検査結果データを確率統計的に処理した統計データ等を記憶するものである。これらの外観検査結果データや統計データは、ＣＰＵ２６の制御に基づき、モニタ３０に表示させることができる。
【００３９】
カメラタイミング制御手段２９は、ＣＣＤカメラ４が撮像するイメージデータを、Ａ／Ｄ変換器２１に取り込むタイミングを制御するものである。かかるタイミングは、モータ５，６に設けられた図示しないエンコーダからの信号に基づいて行われる。
【００４０】
続いて、画像メモリ２２、合焦判断メモリ２３、三次元計測結果メモリ２４に記憶されるデータ等の詳細について説明するとともに、具体的な合焦の判断及び高さ計測の手法について図４乃至図６に基づいて説明する。
【００４１】
まずその前に照明装置３によって照射される縞状の光パターンについて説明する。本実施の形態における光パターンの縞の幅は、特に限定されるものではないが、合焦状態で撮像したときに受光素子上で２画素乃至３画素毎に「明」と「暗」とが繰り返されるよう設定されているのが望ましい。少なくとも２画素分の幅があることで、少なくとも１つの画素を、１つの「明」又は「暗」の領域（幅）が完全に覆うことができるからである。一方で、合焦しない（ピントがずれた）状態とは、本来所定の画素にくるべき光が隣の画素にいってしまうとともに、本来隣の画素へいくべき光が当該所定の画素にきてしまう状態をいう。従って、光パターンの縞の幅が太くなってしまうと、所定の画素もその隣の画素も同じ「明」か、又は同じ「暗」となってしまうので、少々ピントがずれてもその影響が現れにくくなる。それ故、縞の幅は、２画素分の幅以上であって、例えば３画素分の幅以下であることが望ましく、２画素分の幅を有しているのが最も望ましいといえる。また、「明」の幅と「暗」の幅とはそれぞれ等しいのが、計測が容易になるといった観点からは望ましい。照明装置３の投光レンズ１４の絞りは、より狭い領域でピントが合うように、「絞り」を大きく開けておくことが望ましい。
【００４２】
また、ＣＣＤカメラ４に関しては、そのレンズの絞りは、より広い領域でピントが合うように、「絞り」を絞っておくことが望ましい。
【００４３】
さて、図４（ａ），（ｂ）に示すように、ここでは、部位によって高さの異なる測定物体Ｃ２（Ｃ）が図中左から右へと移動させるものとして説明する。上述したように、測定物体Ｃ２（Ｃ）の移動の間に、各位置において、ＣＣＤカメラ４により撮像されたイメージデータの取り込みが行われる。その取り込みの回数が上記基本原理で説明したように９回でもよいし、或いは１０回でもよいし１００回でもよい。前記画像メモリ２２は、取り込みの回数分に応じた数だけ用意されている。
【００４４】
測定物体Ｃ２（Ｃ）の上面のうち、所定ポイントに着目すると、測定物体Ｃ２（Ｃ）の移動量は予め把握されているため、所定ポイントが、所定回数分取り込まれた各イメージデータの中のどの位置にあるのかが把握できる。かかる所定ポイントに着目した輝度データを取得すると、所定回数が１０回であれば、１０個の輝度データを得ることができる。上記基本原理に基づけば、当該１０個の輝度データのなかでどれが最もピントが合っているのかが判断できれば、当該所定ポイントの高さを把握することができる。
【００４５】
図６（ａ）は、光パターンの縞の幅と同寸法ずつ測定物体Ｃ２（Ｃ）を移動させ、その都度撮像されたイメージデータを取り込んだときの所定ポイントの輝度の例を示す図表である。前記合焦判断メモリ２３には、当該所定ポイントを含む各ポイント毎の撮像回数毎の輝度データが記憶される。同図において、輝度が「５」であるときが中程度の明るさであるものとすると、輝度が最大（又は最小）となったのは、５回目の撮像時であることがわかる。従って、当該所定ポイントに関しては、５回目の撮像位置において合焦ラインＬに一致するか又は最も近づいたものと判断することができる。そして、当該合焦ラインＬ及び撮像位置に基づいて高さを演算することができる。
【００４６】
なお、上記例では光パターンの縞の幅と同寸法ずつ測定物体Ｃ２（Ｃ）を移動させた場合について具体化しているが、縞の幅の偶数倍ずつ測定物体Ｃ２（Ｃ）を移動させることとしてもよい。この場合、その都度撮像されたイメージデータを取り込んだときの所定ポイントの輝度は、例えば図６（ｂ）に示す図表のようになる。このように移動させた場合には、所定ポイントが「明」の縞に対応しているとすると、輝度が最も高いときが合焦した状態となる。逆に、所定ポイントが「暗」の縞に対応しているとすると、輝度が最も低いときが合焦した状態となる。
【００４７】
また、図５（ａ），（ｂ）は、画像メモリ２２の概念をわかりやすく説明するために、各画像メモリ２２に記憶されるイメージデータのうち、所定回数目（ｎ回目）及び所定回数プラス１回目（ｎ＋１回目）のデータであって、所定回数分のデータのうちで最も合焦している座標（計測エリア中における座標）に丸印を付した例を示す図である。
【００４８】
図５（ａ）において、ある座標、例えば座標（ｘ，ｙ）＝（０，１）においては、当該ｎ回目（同図２点鎖線で示すように測定物体Ｃ２が移動して所定の位置にあるとき）において最も合焦しているため、当該ポイントにおいて丸印が付されている。同様に、別のポイント、例えば座標（ｘ，ｙ）＝（５，５）においては、当該ｎ回目において最も合焦しているため、当該ポイントにおいて丸印が付されているし、例えば座標（ｘ，ｙ）＝（７，８）においては、当該所定回数目において最も合焦しているため、当該ポイントにおいて丸印が付されている。
【００４９】
また、前記所定位置よりもさらに移動したときに相当する図５（ｂ）において、ある座標、例えば座標（ｘ，ｙ）＝（０，１）においては、当該ｎ＋１回目（同図２点鎖線で示すように測定物体Ｃ２がさらに移動した位置にあるとき）において最も合焦しているため、当該ポイントにおいて丸印が付されている。同様に、別のポイント、例えば座標（ｘ，ｙ）＝（５，５）においては、当該ｎ＋１回目において最も合焦しているため、当該ポイントにおいて丸印が付されているし、例えば座標（ｘ，ｙ）＝（７，８）においては、当該ｎ＋１回目において最も合焦しているため、当該ポイントにおいて丸印が付されている。
【００５０】
そして、当該合焦している座標及び前記合焦点ラインＬに基づいて各所定ポイントの高さが求められる。例えば測定物体Ｃ２の所定ポイント（図５（ａ）において星印を付したポイント）に着目すると、当該所定ポイントは、座標（ｘ，ｙ）＝（０，１）において、所定回数目（ｎ回目）において最も合焦していることから、合焦点ラインＬより高さが例えば「２」とされる。また、測定物体Ｃ２の別の所定ポイント（図５（ｂ）において星印を付したポイント）に着目すると、当該所定ポイントは、座標（ｘ，ｙ）＝（０，３）において、所定回数プラス１回目（ｎ＋１回目）において最も合焦していることから、合焦点ラインＬより高さが例えば「２」とされる。
【００５１】
このように、所定回数分の各画像メモリ２２に記憶されるイメージデータ及び合焦判断メモリ２３より、測定物体Ｃ２（Ｃ）上の全てのポイントにおける高さデータが得られ、当該高さデータが、図５（ｃ）に示すようなかたちで、三次元計測結果メモリ２４に記憶され、結果として計測物体Ｃ２（Ｃ）の三次元形状が計測できる。
【００５２】
なお、上記例では、測定物体Ｃ（Ｃ１，Ｃ２）の具体的な事案について特に言及していないが、クリームはんだの三次元形状、プリント基板（略平坦面を有する）の高さ計測、はんだバンプの三次元形状等のプリント基板関係の各種三次元計測をはじめ、各種製品の外観検査、さらに大きくは、自動走行する車両等の三次元計測等、非接触による三次元計測の要請のある各種分野における「もの」の測定が可能であることはいうまでもない。
【００５３】
以上詳述したように、本実施の形態によれば、照明装置３により照射される光パターンは、位置によってピントの合う高さが異なるものであるため、予め光パターンの位置に対するピントの合う高さを把握しておくことで、光パターンに対する測定物体Ｃ（Ｃ１，Ｃ２）を移動させ、その都度撮像することによって、各画像データの合焦の程度から各ポイントの高さの演算が可能となる。このとき、合焦の程度に基づいて高さを演算することとなっているため、光パターンを測定物体Ｃ（Ｃ１，Ｃ２）のほぼ真上から当てて計測することが可能となる。そのため、死角を生じにくくすることができ、結果として、計測精度の向上を図ることができる。
【００５４】
また、本実施の形態では、格子板１３の傾斜角度を適宜設定することによってピントの合う高さ範囲を任意に調整できる。すなわち、傾斜角度を比較的大きく設定することで、計測可能な高さ範囲を広くすることが可能となる。その結果、高さ範囲が制限されてしまうといった事態を回避することができる。
【００５５】
しかも、本実施の形態では、測定物体Ｃ（Ｃ１，Ｃ２）の表面に色彩の変化や模様等が存在していたとしても、そのような表面性状は計測に影響されない。つまり、測定物体Ｃ（Ｃ１，Ｃ２）の表面性状に影響されることなく正確な計測が可能となる。
【００５６】
尚、上述した実施の形態の記載内容に限定されることなく、例えば次のように実施してもよい。
【００５７】
上記実施の形態では、光パターンの縞の幅と同寸法ずつ、或いは偶数倍の寸法ずつ測定物体Ｃ２（Ｃ）を移動させ、その都度撮像する場合について具体化しているが、移動量については特に限定されるものではなく、例えば縞の幅とは異なるピッチで移動させることとしてもよい。
【００５８】
また、場合によっては、測定物体を移動させない構成が参考例として挙げられる。例えば、図７（ａ），（ｂ）に示すように、位置によってピントの合う高さが異なり、かつ、パターンの相違する縞状の光パターンＬＰ１，ＬＰ２を複数照射して、ピントの最も合う撮像データに基づいて、所定ポイントＰＺの高さを演算すること等である。
【００５９】
縞状の光パターンとしては、白黒の縞が交互に配列されたものであってもよいし、他の色彩を有していてもよいし、正弦波状のものであってもよい。
【図面の簡単な説明】
【図１】一実施の形態における三次元計測装置を模式的に示す概略構成図である。
【図２】制御装置の電気的構成を示すブロック図である。
【図３】三次元計測の基本原理を説明するための構成図である。
【図４】（ａ）は測定物体の一例を紹介する斜視図であり、（ｂ）はその三次元計測の基本原理を説明するための構成図である。
【図５】（ａ），（ｂ）は画像メモリに記憶されるイメージデータのうち、所定回数目、所定回数プラス１回目のデータを示す図、（ｃ）は三次元計測結果メモリに記憶されるデータの一例を示す図表である。
【図６】（ａ）は光パターンの縞の幅と同寸法ずつ測定物体を移動させ、その都度撮像されたイメージデータを取り込んだときの所定ポイントの輝度を示す図表であり、（ｂ）は縞の幅の偶数倍ずつ測定物体を移動させ、その都度撮像されたイメージデータを取り込んだときの所定ポイントの輝度を示す図表である。
【図７】（ａ），（ｂ）は参考例における光パターンの例を示す模式図である。
【図８】（ａ）〜（ｃ）は参考例における光パターンの例を示す模式図である。
【符号の説明】
１…三次元計測装置、３…照射手段としての照明装置、４…撮像手段としてのＣＣＤカメラ、５，６…移動手段を構成するモータ、７…演算手段、記憶部を構成する制御装置、１１…光源、１３…格子板、１４…投光レンズ、Ｃ，Ｃ１，Ｃ２…計測対象物としての測定物体。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional measuring apparatus.
[0002]
[Prior art]
Conventionally, various methods such as a spatial code method, a phase shift method, and a light cutting method have been proposed as non-contact type three-dimensional measurement methods. In both methods, for example, a measurement object (measurement object) is irradiated with light from an oblique direction, and the reflected light is imaged by an imaging means arranged above the measurement object, and the measurement object is based on the imaging data. It measures the height of.
[0003]
[Problems to be solved by the invention]
However, since all of the above-described techniques are configured to irradiate light obliquely, there is a possibility that a part where the measurement target part of the measurement object is not exposed to light, that is, a blind spot is generated. As a result, depending on the measurement object, the measurement accuracy may be reduced. In the above method, the height range that can be measured is limited.
[0004]
Furthermore, each of the above methods is such that the height is calculated based on the relative relationship with other parts, and therefore there is a method (such as a change in color or pattern) that causes the relative relationship to be distorted on the surface of the measurement object. If it exists, accurate measurement may be hindered.
[0005]
The present invention has been made in view of the above circumstances, and provides a three-dimensional measurement apparatus that can ensure a measurement range according to needs, is hardly affected by the surface properties of a measurement object, and can significantly increase measurement accuracy. This is one of the main purposes.
[0006]
[Means for solving the problems and effects thereof]
Characteristic means capable of achieving the above object will be described below. For each means, characteristic actions and effects are described as necessary.
[0007]
Means 1. Irradiating means capable of irradiating at least a measurement object with a light pattern having a predetermined light intensity distribution;
Imaging means capable of imaging the measurement object irradiated with the light pattern;
Based on a plurality of image data picked up by the image pickup means, at least a calculation means for calculating a predetermined height of the measurement object,
The three-dimensional measuring apparatus according to claim 1, wherein the light pattern irradiated by the irradiating means has different in-focus height depending on the position.
[0008]
According to the means 1, at least the measurement object is irradiated with a light pattern having a predetermined light intensity distribution by the irradiation means. Further, the measurement object irradiated with the light pattern is imaged by the imaging means. Based on the plurality of image data picked up by the image pickup means, the calculation means calculates at least a predetermined height of the measurement object. Now, in the means 1, since the light pattern irradiated by the irradiation means has a different in-focus height depending on the position, the light pattern can be obtained by grasping the in-focus height with respect to the position of the light pattern in advance. By changing the relative positional relationship of the measurement object with respect to the pattern or changing the aspect of the light pattern, the calculation means can calculate a predetermined height from the degree of focusing. At this time, since it is possible to measure by applying the light pattern from almost directly above the measurement object, it is possible to make it difficult to generate a blind spot, and as a result, it is possible to improve the measurement accuracy. Moreover, the situation where the measurable height range is limited can be avoided by setting in advance a high focus range depending on the position. Moreover, even if there are color changes or patterns on the surface of the measurement object, accurate measurement is performed without being affected by such surface properties by calculating the height from the degree of focusing. Is possible.
[0009]
Mean 2. Irradiation means capable of irradiating at least a measurement object with a light pattern having a predetermined light intensity distribution and having a different height in focus depending on the position;
Imaging means capable of imaging the measurement object irradiated with the light pattern;
An operation for calculating a height of at least the predetermined point on the surface of the measurement object based on image data that best matches the focus among the plurality of image data captured by the imaging unit with respect to the predetermined point on the surface of the measurement object. A three-dimensional measuring device.
[0010]
According to the means 2, at least the measurement object is irradiated with a light pattern having a predetermined light intensity distribution by the irradiation means. Further, the measurement object irradiated with the light pattern is imaged by the imaging means. The light pattern irradiated by the irradiating means has a different focus height depending on the position, and it is possible to grasp the height of the light pattern focused in advance in advance. Among the plurality of image data captured in this manner, the calculation means calculates at least the height of a predetermined point on the surface of the measurement object based on the best-in-focus image data. In other words, the height can be calculated from the degree of focusing. At this time, since it is possible to measure by applying the light pattern from almost directly above the measurement object, it is possible to make it difficult to generate a blind spot, and as a result, it is possible to improve the measurement accuracy. Moreover, the situation where the measurable height range is limited can be avoided by setting in advance a high focus range depending on the position. Moreover, even if there are color changes or patterns on the surface of the measurement object, accurate measurement is performed without being affected by such surface properties by calculating the height from the degree of focusing. Is possible.
[0011]
Means 3. A moving means for moving the measurement object;
The three-dimensional measuring apparatus according to claim 1 or 2, wherein the plurality of pieces of image data picked up by the image pickup means are image data of the measurement object at different positions moved by the moving means. .
[0012]
According to the means 3, the measurement object is moved by the moving means. The plurality of pieces of image data picked up by the image pickup unit are image data of measurement objects at different positions moved by the moving unit. Here, if attention is paid to a predetermined point on the surface of the measurement object, focus may or may not be achieved between a plurality of image data. Therefore, by knowing the height in focus with respect to the position of the light pattern in advance, the predetermined height can be determined from the degree of focus / correctness (image data in focus most) of the image data captured for each movement. It will be calculated more reliably.
[0013]
Means 4. Moving means for moving the measurement object;
Irradiation means capable of irradiating a measurement target moved by the moving means with a light pattern having a predetermined light intensity distribution and having a different in-focus height depending on the position;
Imaging means capable of imaging the measurement object irradiated with the light pattern at least each time the measurement object is moved;
With respect to a predetermined point on the surface of the measurement object, at least the measurement object based on image data that is in focus among the plurality of pieces of image data captured by the imaging unit each time the measurement object is moved A three-dimensional measuring apparatus comprising: a calculating means for calculating the height of a predetermined point on the surface.
[0014]
According to the means 4, the irradiation means irradiates the measurement object moved by the moving means with a light pattern having a predetermined light intensity distribution and different in focus height depending on the position. Further, the measurement object irradiated with the light pattern is imaged at least every time the measurement object is moved by the imaging means. Then, with respect to the predetermined point on the surface of the measurement object, at least the height of the predetermined point on the surface of the measurement object is determined based on the image data that best matches among the plurality of image data captured each time the measurement object is moved. Is calculated by the calculating means. Here, since the optical pattern has different in-focus height depending on the position, the above calculation can be performed by grasping the in-focus height with respect to the position of the optical pattern in advance. At this time, since it is possible to measure by applying the light pattern from almost directly above the measurement object, it is possible to make it difficult to generate a blind spot, and as a result, it is possible to improve the measurement accuracy. Moreover, the situation where the measurable height range is limited can be avoided by setting in advance a high focus range depending on the position. Moreover, even if there are color changes or patterns on the surface of the measurement object, accurate measurement is possible without being affected by such surface properties by calculating the height from the degree of focusing. Is possible.
[0015]
Means 5. Moving means for moving the measurement object;
Irradiation means capable of irradiating a measurement target moved by the moving means with a light pattern having a predetermined light intensity distribution and having a different in-focus height depending on the position;
Imaging means capable of imaging the measurement object irradiated with the light pattern at least each time the measurement object is moved;
With respect to a plurality of regions set on the surface of the measurement object, at least based on image data that is in focus among the plurality of image data captured by the imaging unit each time the measurement object is moved Computation means for computing the height of each region on the surface of the measurement object and computing the three-dimensional shape of the measurement object based on the calculated height of each region Three-dimensional measuring device.
[0016]
According to the means 5, with respect to a plurality of regions set on the surface of the measurement object, at least measurement is performed based on the image data that is in focus among the plurality of image data captured each time the measurement object is moved. The height of each area on the surface of the object is calculated by the calculation means, and the three-dimensional shape of the measurement object is calculated based on the calculated height of each area. Here, since the optical pattern has different in-focus height depending on the position, the above calculation can be performed by grasping the in-focus height with respect to the position of the optical pattern in advance. At this time, since it is possible to measure by applying the light pattern from almost directly above the measurement object, it is possible to make it difficult to generate a blind spot, and as a result, it is possible to improve the measurement accuracy. Moreover, the situation where the measurable height range is limited can be avoided by setting in advance a high focus range depending on the position. Moreover, even if there are color changes or patterns on the surface of the measurement object, accurate measurement is possible without being affected by such surface properties by calculating the height from the degree of focusing. Is possible.
[0017]
Means 6. The light pattern is a striped light pattern extending in a direction orthogonal or substantially orthogonal to the moving direction of the measurement object, and light and dark are set at equal intervals, and the width of the stripe is the imaging means The three-dimensional measuring apparatus according to any one of means 3 to 5, wherein the three-dimensional measuring apparatus is set to be equal to or more than 2 pixels and not more than 3 pixels.
[0018]
According to the means 6, the width of the striped light pattern is set to be not less than 2 pixels and not more than 3 pixels of the imaging means. Here, by having a width corresponding to at least two pixels, at least one pixel can be completely covered by one “bright” or “dark” region (width). On the other hand, if the width of the stripe of the light pattern becomes thick, the predetermined pixel and the adjacent pixel will be the same “bright” or the same “dark”. Becomes difficult to appear. Therefore, by setting as described above, it is possible to efficiently determine whether or not focus is achieved more accurately.
[0019]
Mean 7 The light pattern is a striped light pattern extending in a direction orthogonal to or substantially orthogonal to the moving direction of the measurement object, light and dark are set at equal intervals, and the imaging unit is controlled by the moving unit. The three-dimensional measuring apparatus according to any one of means 3 to 6, wherein imaging is possible each time the measurement object moves by the same size as the width of the stripes.
[0020]
According to the means 7, an image is taken every time the measuring object moves by the same size as the width of the stripe by the moving means. Accordingly, it is possible to grasp the best focus position more accurately, and thus, more accurate height measurement can be performed.
[0021]
Means 8. The light pattern is a striped light pattern extending in a direction orthogonal to or substantially orthogonal to the moving direction of the measurement object, light and dark are set at equal intervals, and the imaging unit is controlled by the moving unit. The three-dimensional measuring apparatus according to any one of means 3 to 6, wherein imaging is possible every time the measurement object moves by an even multiple of the stripe width.
[0022]
According to the means 8, it is possible to determine whether or not the image is in focus most according to whether or not the luminance is the highest or the lowest in the image data. As a result, the determination becomes relatively easy.
[0023]
Means 9. The irradiation means includes at least a light source, a light projecting lens, and a filter provided between the light source and the light projecting lens in a state inclined at a predetermined angle with respect to the light projecting lens and for projecting a light pattern. The three-dimensional measuring apparatus according to any one of means 1 to 8, characterized in that:
[0024]
According to the means 9, the filter of the irradiation means is provided in a state inclined at a predetermined angle with respect to the light projecting lens, so that it is possible to irradiate light patterns having different in-focus heights depending on positions. For this reason, it is possible to configure the irradiation unit relatively easily without complicating the irradiation unit.
[0025]
Means 10. The three-dimensional measuring apparatus according to any one of means 1 to 9, wherein the light pattern from the irradiating means can irradiate the measurement object from almost right above.
[0026]
Means 11. The three-dimensional measurement apparatus according to any one of means 1 to 10, wherein the measurement object has a height different depending on a part.
[0027]
Means 12. The three-dimensional measurement apparatus according to any one of means 1 to 11, wherein the calculation means includes a storage unit that stores in advance a height in focus with respect to the position of the irradiated light pattern.
[0028]
Means 13. The three-dimensional measurement apparatus according to any one of means 1 to 12, wherein the measurement object is at least one of a printed circuit board or cream solder or solder bumps provided on the substrate.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment will be described with reference to the drawings.
[0030]
FIG. 1 is a schematic configuration diagram schematically showing a three-dimensional measurement apparatus 1 according to the present embodiment. As shown in the figure, the three-dimensional measurement apparatus 1 includes a table 2 for placing the measurement object C, an illumination device 3 for irradiating a striped light pattern, and the irradiation on the measurement object C. And a CCD camera 4 that constitutes an image pickup means for picking up the image. In addition, although the measurement object C in the figure has a flat plate shape for convenience of explanation, the shape is not limited at all. The table 2 is provided with motors 5 and 6, and the motors 5 and 6 allow the measurement object C placed on the table 2 to move in any direction (the x-axis direction and the y-axis orthogonal to the x-axis). Direction). The three-dimensional measuring apparatus 1 controls the drive of the CCD camera 4, the illuminating device 3, the motors 5, 6, and the like, and performs various calculations based on image data captured by the CCD camera 4. 7 is provided.
[0031]
Next, the configuration of the illumination device 3 will be described with reference to FIG. 3, and the basic principle of the present embodiment and the concept of “focusing line” that is particularly important among them will be described. However, in the same figure, an example of a case where the illumination device 3 is installed in a substantially horizontal state for convenience is described in order to avoid the optical path and the like overlapping with the CCD camera 4. In this case, after the half mirror 8 is used, the light pattern is irradiated almost from above. The illumination device 3 is configured to transmit the light from the light source 11 provided on the base end side, the condenser lens 12 for polarizing the diffused light from the light source 11 into substantially parallel light, and the light from the light source 11 in a stripe pattern. And a grating plate 13 constituting a filter for projecting a light pattern, and a light projecting lens 14 provided on the front end side. In the present embodiment, the grid plate 13 is installed to be inclined with respect to the light projecting lens 14.
[0032]
Here, it is assumed that the measurement object C1 (C) having a certain height is conveyed from the left to the right in the drawing in the direction of the positions P1 to P9. For convenience of explanation, the irradiation range of the illumination device 3 and the imaging field of view of the CCD camera 4 are the same (referred to as a measurement area).
[0033]
As described above, since the grating plate 13 is installed to be inclined with respect to the light projecting lens 14, the imaging height in the measurement area is different between the end point 13a and the end point 13b of the grating plate 13. More specifically, since the end point 13a exists at a relatively far position with respect to the light projecting lens 14, an image is formed at a relatively high position (= focused here) (here, an image is formed at a height position of the plane B). On the other hand, since the end point 13b is located at a relatively close position to the light projecting lens 14, an image is formed at a relatively low position (here, an image is formed at the height position of the plane A). Here, a line connecting positions where images are continuously formed from the end point 13a toward the end point 13b is the in-focus line L shown in the figure.
[0034]
In this case, assuming that the upper surface of the measurement object C1 exists between the plane A and the plane B, the upper surface of the measurement object C1 coincides with the in-focus line L while the measurement object C1 moves from the position P1 to the position P9. In the case of the figure, it coincides with the in-focus line L at the position P5. In other words, when the measuring object C1 is located at the position P5 in the figure, the position is in focus (focused) most. Therefore, by knowing in advance each height of the in-focus line L from the position P1 to the position P9, the height can be measured based on the position where the measurement object C1 is most focused. That is, while the measurement object C1 passes through the measurement area, the CCD camera 4 is intermittently imaged and the position P1 to P9 that reflects the most focused light pattern is monitored. Thus, the height of the measurement object C1 can be obtained, that is, three-dimensional measurement can be performed.
[0035]
The above is the basic principle of the three-dimensional measurement in the present embodiment. Next, the electrical configuration of the control device 7 will be described. As shown in FIG. 2, the control device 7 includes an A / D converter 21, a plurality of image memories 22, a focus determination memory 23, a three-dimensional measurement result memory 24, an appearance inspection result and statistical data memory 25, a CPU 26, a high It comprises a measurement data determination memory 27, an input / output interface 28, camera timing control means 29, and the like.
[0036]
The A / D converter 21 converts image data captured by the CCD camera 4 from an analog signal to a digital signal. The image memory 22 sequentially stores the A / D converted image data and stores it as two-dimensional image data at each position of the moving measurement object C (C1).
[0037]
The CPU 26 executes various image processing programs and other programs while using the storage contents of the focus determination memory 23 and the height measurement data determination memory 27 and the like. The input / output interface 28 is for transmitting control signals to the motors 5 and 6 or receiving various signals such as operation signals from the motors 5 and 6. Thereby, for example, the amount of movement of the measurement object C (C1), the imaging position, and the like can be appropriately controlled. The input / output interface 28 is used to transmit display data to the monitor 30, and can display two-dimensional image data, appearance inspection results, and the like on the monitor 30.
[0038]
The appearance inspection result and statistical data memory 25 stores data such as coordinates regarding connected components, appearance inspection result data, statistical data obtained by probabilistically processing the appearance inspection result data, and the like. These appearance inspection result data and statistical data can be displayed on the monitor 30 based on the control of the CPU 26.
[0039]
The camera timing control means 29 controls the timing at which image data captured by the CCD camera 4 is taken into the A / D converter 21. Such timing is performed based on signals from encoders (not shown) provided in the motors 5 and 6.
[0040]
Subsequently, details of data stored in the image memory 22, the focus determination memory 23, and the three-dimensional measurement result memory 24 will be described, and a specific focus determination and height measurement method will be described with reference to FIGS. 6 will be described.
[0041]
First, the striped light pattern irradiated by the illumination device 3 will be described. The width of the stripe of the light pattern in the present embodiment is not particularly limited, but “light” and “dark” appear every two to three pixels on the light receiving element when imaged in a focused state. It is desirable to set it to repeat. This is because by having a width corresponding to at least two pixels, at least one pixel can be completely covered by one “bright” or “dark” region (width). On the other hand, the out-of-focus state (out of focus) means that light that should originally go to the predetermined pixel enters the adjacent pixel, and light that should originally go to the adjacent pixel comes to the predetermined pixel. The state that ends up. Therefore, if the stripe width of the light pattern is increased, the predetermined pixel and the adjacent pixel are either the same “bright” or the same “dark”. It becomes difficult to appear. Therefore, the width of the stripe is preferably equal to or larger than the width of two pixels, for example, equal to or smaller than the width of three pixels, and most preferably has a width corresponding to two pixels. In addition, it is desirable from the viewpoint of easy measurement that the “light” width and the “dark” width are equal. It is desirable that the aperture of the light projecting lens 14 of the illuminating device 3 has a large “aperture” so as to be focused in a narrower region.
[0042]
As for the CCD camera 4, it is desirable to stop the “aperture” so that the lens aperture is in focus over a wider area.
[0043]
Now, as shown in FIGS. 4A and 4B, here, it is assumed that the measurement object C2 (C) having a different height depending on the part is moved from the left to the right in the drawing. As described above, the image data captured by the CCD camera 4 is captured at each position during the movement of the measurement object C2 (C). The number of captures may be 9 as described in the basic principle, 10 times, or 100 times. The image memory 22 is prepared in a number corresponding to the number of times of capturing.
[0044]
If attention is paid to a predetermined point on the upper surface of the measurement object C2 (C), the amount of movement of the measurement object C2 (C) is grasped in advance, so that the predetermined point is included in each image data captured a predetermined number of times. You can see where it is. When the luminance data focusing on the predetermined point is acquired, ten luminance data can be obtained if the predetermined number of times is 10. Based on the basic principle described above, the height of the predetermined point can be grasped if it can be determined which of the 10 luminance data is most in focus.
[0045]
FIG. 6A is a chart showing an example of luminance at a predetermined point when the measurement object C2 (C) is moved by the same size as the stripe width of the light pattern and the image data captured each time is captured. . The focus determination memory 23 stores luminance data for each number of times of imaging for each point including the predetermined point. In the figure, if the brightness is “5” and the brightness is medium, it can be seen that the maximum (or minimum) brightness is during the fifth imaging. Therefore, it can be determined that the predetermined point coincides with or is closest to the in-focus line L at the fifth imaging position. Then, the height can be calculated based on the focusing line L and the imaging position.
[0046]
In the above example, the measurement object C2 (C) is moved by the same size as the stripe width of the light pattern. However, the measurement object C2 (C) is moved by an even multiple of the stripe width. It is good. In this case, the luminance at a predetermined point when the image data captured each time is taken is as shown in the chart of FIG. 6B, for example. In this case, assuming that the predetermined point corresponds to the “bright” stripe, the state where the brightness is highest is in focus. On the other hand, assuming that the predetermined point corresponds to a “dark” stripe, the state where the luminance is the lowest is in focus.
[0047]
5A and 5B show a predetermined number of times (nth time) and a predetermined number of times among image data stored in each image memory 22 in order to explain the concept of the image memory 22 in an easy-to-understand manner. It is a figure which shows the example which attached the circle to the coordinate (coordinate in a measurement area) which is the data of the 1st time (n + 1 time), and is the most focused among the data for predetermined times.
[0048]
In FIG. 5A, at a certain coordinate, for example, coordinate (x, y) = (0, 1), the measurement object C2 moves to a predetermined position as shown by the n-th time (as indicated by a two-dot chain line in FIG. 2). The point is marked with a circle. Similarly, at another point, for example, coordinates (x, y) = (5, 5), since the focus is most focused at the n-th time, a circle is attached at the point, for example, the coordinates ( In x, y) = (7, 8), since the in-focus state is the most focused at the predetermined number of times, the point is marked with a circle.
[0049]
Further, in FIG. 5 (b) corresponding to the case of further movement from the predetermined position, at a certain coordinate, for example, coordinate (x, y) = (0, 1), the n + 1th time (in FIG. As shown in the figure, when the measuring object C2 is at a further moved position), the point is marked with a circle. Similarly, at another point, for example, coordinates (x, y) = (5, 5), the focus is most focused at the (n + 1) th time, so that the point is marked with a circle. In x, y) = (7, 8), since the focus is the most in the (n + 1) th time, a circle is added at the point.
[0050]
Then, the height of each predetermined point is obtained based on the in-focus coordinates and the in-focus line L. For example, when paying attention to a predetermined point of the measuring object C2 (a point marked with an asterisk in FIG. 5A), the predetermined point is the predetermined number of times (nth time) at the coordinates (x, y) = (0, 1). ), The height is set at, for example, “2” from the in-focus line L. Further, when attention is paid to another predetermined point of the measurement object C2 (a point marked with an asterisk in FIG. 5B), the predetermined point is added a predetermined number of times at coordinates (x, y) = (0, 3). Since the in-focus state is the most in the first time (n + 1), the height from the in-focus line L is set to “2”, for example.
[0051]
In this way, height data at all points on the measurement object C2 (C) is obtained from the image data stored in each image memory 22 for a predetermined number of times and the focus determination memory 23, and the height data is 5C is stored in the three-dimensional measurement result memory 24, and as a result, the three-dimensional shape of the measurement object C2 (C) can be measured.
[0052]
In the above example, the specific case of the measurement object C (C1, C2) is not particularly mentioned, but the three-dimensional shape of the cream solder, the height measurement of the printed circuit board (substantially flat surface), the solder bump Various fields where there is a need for non-contact 3D measurement, such as various 3D measurements related to printed circuit boards such as 3D shapes, visual inspection of various products, and more broadly, 3D measurements of vehicles that run automatically, etc. Needless to say, it is possible to measure “things”.
[0053]
As described above in detail, according to the present embodiment, the light pattern irradiated by the illumination device 3 has a different focus height depending on the position. By grasping the distance, the height of each point can be calculated from the degree of focusing of each image data by moving the measurement object C (C1, C2) with respect to the light pattern and taking an image each time. Become. At this time, since the height is calculated based on the degree of focusing, it is possible to measure the light pattern from almost directly above the measurement object C (C1, C2). Therefore, it is possible to make it difficult for blind spots to occur, and as a result, it is possible to improve measurement accuracy.
[0054]
In the present embodiment, the in-focus height range can be arbitrarily adjusted by appropriately setting the inclination angle of the lattice plate 13. That is, the measurable height range can be widened by setting the inclination angle relatively large. As a result, a situation in which the height range is limited can be avoided.
[0055]
Moreover, in the present embodiment, even if there is a color change or a pattern on the surface of the measurement object C (C1, C2), such surface properties are not affected by the measurement. That is, accurate measurement is possible without being affected by the surface properties of the measurement object C (C1, C2).
[0056]
In addition, you may implement as follows, for example, without being limited to the content of description of embodiment mentioned above.
[0057]
Up In the embodiment described above, the measurement object C2 (C) is moved by the same dimension as the width of the stripe of the light pattern or by an even multiple of the dimension, and the image is captured each time. It is not limited, for example, it is good also as moving with the pitch different from the width | variety of a stripe.
[0058]
Ma In some cases, the measurement object is not moved Is given as a reference example . For example, as shown in FIGS. 7A and 7B, a plurality of striped light patterns LP1 and LP2 having different in-focus heights and different patterns are irradiated depending on the position, and the best in-focus is achieved. Calculate the height of the predetermined point PZ based on the imaging data etc It is.
[0059]
Streaks The light pattern may be a pattern in which black and white stripes are alternately arranged, may have other colors, or may have a sine wave shape.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram schematically illustrating a three-dimensional measurement apparatus according to an embodiment.
FIG. 2 is a block diagram showing an electrical configuration of a control device.
FIG. 3 is a configuration diagram for explaining a basic principle of three-dimensional measurement.
4A is a perspective view for introducing an example of a measurement object, and FIG. 4B is a configuration diagram for explaining the basic principle of the three-dimensional measurement.
FIGS. 5A and 5B are diagrams showing data of a predetermined number of times, a predetermined number of times plus a first time among image data stored in the image memory, and FIG. 5C is stored in a three-dimensional measurement result memory. It is a chart which shows an example of the data.
FIG. 6A is a chart showing the luminance at a predetermined point when the measurement object is moved by the same size as the stripe width of the light pattern, and the image data captured each time is captured; It is a graph which shows the brightness | luminance of the predetermined point when a measurement object is moved every even multiple of the width | variety of a fringe, and the image data imaged each time was taken in.
[Fig. 7] (a) and (b) Reference example It is a schematic diagram which shows the example of the optical pattern in.
FIG. 8 (a) to (c) Reference example It is a schematic diagram which shows the example of the optical pattern in.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Three-dimensional measuring device, 3 ... Illuminating device as an irradiation means, 4 ... CCD camera as an imaging means, 5, 6 ... Motor which comprises a moving means, 7 ... Control means which comprises a calculating means, a memory | storage part, 11 ... light source, 13 ... lattice plate, 14 ... light projection lens, C, C1, C2 ... measurement object as a measurement object.

Claims

Irradiating means capable of irradiating at least a measurement object with a light pattern having a predetermined light intensity distribution;
Imaging means capable of imaging the measurement object irradiated with the light pattern;
Based on a plurality of image data picked up by the image pickup means, at least a calculation means for calculating a predetermined height of the measurement object,
The light pattern emitted by the illumination means state, and are different those heights in focus depending on the position,
A moving means for moving the measurement object;
The plurality of image data captured by the imaging unit is image data of the measurement object at different positions moved by the moving unit,
The light pattern is a striped light pattern extending in a direction orthogonal or substantially orthogonal to the moving direction of the measurement object, and light and dark are set at equal intervals, and the width of the stripe is the imaging means three-dimensional measuring apparatus according to claim 3 Rukoto is set to less pixels than 2 pixels.

Irradiation means capable of irradiating at least a measurement object with a light pattern having a predetermined light intensity distribution and having a different height in focus depending on the position;
Imaging means capable of imaging the measurement object irradiated with the light pattern;
An operation for calculating a height of at least the predetermined point on the surface of the measurement object based on image data that best matches the focus among the plurality of image data captured by the imaging unit with respect to the predetermined point on the surface of the measurement object. Means ,
Moving means for moving the measurement object ,
The plurality of image data captured by the imaging unit is image data of the measurement object at different positions moved by the moving unit,
The light pattern is a striped light pattern extending in a direction orthogonal or substantially orthogonal to the moving direction of the measurement object, and light and dark are set at equal intervals, and the width of the stripe is the imaging means three-dimensional measuring apparatus according to claim 3 Rukoto is set to less pixels than 2 pixels.

Moving means for moving the measurement object;
Irradiation means capable of irradiating a measurement target moved by the moving means with a light pattern having a predetermined light intensity distribution and having a different in-focus height depending on the position;
Imaging means capable of imaging the measurement object irradiated with the light pattern at least each time the measurement object is moved;
With respect to a predetermined point on the surface of the measurement object, at least the measurement object based on image data that is in focus among the plurality of pieces of image data captured by the imaging unit each time the measurement object is moved A calculation means for calculating the height of a predetermined point on the surface ,
The light pattern is a striped light pattern extending in a direction orthogonal or substantially orthogonal to the moving direction of the measurement object, and light and dark are set at equal intervals, and the width of the stripe is the imaging means three-dimensional measuring apparatus according to claim 3 Rukoto is set to less pixels than 2 pixels.

Moving means for moving the measurement object;
Irradiation means capable of irradiating a measurement target moved by the moving means with a light pattern having a predetermined light intensity distribution and having a different in-focus height depending on the position;
Imaging means capable of imaging the measurement object irradiated with the light pattern at least each time the measurement object is moved;
With respect to a plurality of regions set on the surface of the measurement object, at least based on image data that is in focus among the plurality of image data captured by the imaging unit each time the measurement object is moved Calculating the height of each region of the surface of the measurement object, and calculating means for calculating the three-dimensional shape of the measurement object based on the calculated height of each region ,
The light pattern is a striped light pattern extending in a direction orthogonal or substantially orthogonal to the moving direction of the measurement object, and light and dark are set at equal intervals, and the width of the stripe is the imaging means three-dimensional measuring apparatus according to claim 3 Rukoto is set to less pixels than 2 pixels.

Before SL imaging means, three-dimensional measurement according to any one of claims 1 to 4, wherein the measurement object by the width and the dimensions of the stripe by said moving means can be captured for each move apparatus.

Before SL imaging means, tertiary according to any one of claims 1 to 4, wherein the measurement object by the size of an even multiple of the width of the stripes can be captured each time moved by said moving means Former measuring device.

The irradiation means includes at least a light source, a light projecting lens, and a filter provided between the light source and the light projecting lens in a state inclined at a predetermined angle with respect to the light projecting lens and for projecting a light pattern. three-dimensional measuring apparatus according to any one of claims 1 to 6, characterized in that there.

The light pattern from the irradiation means, the three-dimensional measuring apparatus according to any one of claims 1 to 7, characterized in that it enabled irradiated from almost directly above with respect to the measurement object.

Said calculating means, three-dimensional measuring apparatus according to any one of claims 1 to 8, characterized in that it comprises a storage unit for previously storing a height in focus with respect to the position of the irradiation light pattern.