JP7030079B2 - 三次元計測装置及び三次元計測方法 - Google Patents

三次元計測装置及び三次元計測方法 Download PDF

Info

Publication number
JP7030079B2
JP7030079B2 JP2019109740A JP2019109740A JP7030079B2 JP 7030079 B2 JP7030079 B2 JP 7030079B2 JP 2019109740 A JP2019109740 A JP 2019109740A JP 2019109740 A JP2019109740 A JP 2019109740A JP 7030079 B2 JP7030079 B2 JP 7030079B2
Authority
JP
Japan
Prior art keywords
luminance values
light pattern
measurement
phase
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019109740A
Other languages
English (en)
Other versions
JP2020201192A (ja
Inventor
学 奥田
剛 大山
憲彦 坂井田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CKD Corp
Original Assignee
CKD Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CKD Corp filed Critical CKD Corp
Priority to JP2019109740A priority Critical patent/JP7030079B2/ja
Priority to DE112020002836.4T priority patent/DE112020002836T5/de
Priority to CN202080043038.0A priority patent/CN113966457B/zh
Priority to PCT/JP2020/017212 priority patent/WO2020250571A1/ja
Priority to MX2021014445A priority patent/MX2021014445A/es
Publication of JP2020201192A publication Critical patent/JP2020201192A/ja
Priority to US17/534,539 priority patent/US11927435B2/en
Application granted granted Critical
Publication of JP7030079B2 publication Critical patent/JP7030079B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2527Projection by scanning of the object with phase change by in-plane movement of the patern
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、位相シフト法を利用して三次元計測を行う三次元計測装置及び三次元計測方法に関するものである。
一般に、プリント基板は、ガラスエポキシ樹脂からなるベース基板の上に電極パターンを具備し、表面がレジスト膜によって保護されている。かかるプリント基板上に電子部品を実装する場合、まず電極パターン上のレジスト膜による保護がされていない所定位置にクリーム半田が印刷される。次に、該クリーム半田の粘性に基づいてプリント基板上に電子部品が仮止めされる。その後、前記プリント基板がリフロー炉へ導かれ、所定のリフロー工程を経ることで半田付けが行われる。昨今では、リフロー炉に導かれる前段階においてクリーム半田の印刷状態を検査する必要があり、かかる検査に際して、位相シフト法を利用した三次元計測装置が用いられることがある。
位相シフト法を利用した三次元計測装置においては、所定の光を発する光源と、該光源からの光を正弦波状(縞状)の光強度分布を有する光パターンに変換する格子との組み合わせからなる照射手段により、光パターンを被計測物(この場合、プリント基板)に照射する。そして、基板上の点を真上に配置した撮像手段を用いて観測する。撮像手段としては、レンズ及び撮像素子等からなるCCDカメラ等が用いられる。
かかる構成の下、プリント基板に照射される光パターンの位相を複数通り(例えば4通り、3通り又は2通り)にシフトさせると共に、位相の異なる各光パターンの下で撮像を行い、複数通りの画像データを取得する。そして、これら複数の画像データを基に位相シフト法により三次元計測を行う。
しかしながら、プリント基板上には明るい部位や暗い部位が存在すること、加えて通常は、撮像素子として単板式のカラーイメージセンサを使用することから、撮像素子の画素毎に赤(R)、緑(G)又は青(B)いずれかのカラーフィルタが配置され、撮像可能な波長域が異なるため、撮像対象部位の色の影響によっても明暗が生じることとなる。
このような事情から、撮像素子の輝度ダイナミックレンジを超える明暗が生じ、明るすぎる部位や暗すぎる部位では、例えば上記のように取得された4つの画像データのうちの1つ又は2つの画像データについて、いわゆる「白飛び」や「黒つぶれ」が発生し、当該部位の高さ計測を行うことができないといった不具合が生じるおそれがあった。
これに鑑み、近年では、輝度が異なる2種類の光パターンを利用して計測を行う三次元計測装置も提案されている(例えば、特許文献1,2参照)。
かかる三次元計測装置によれば、例えば第1輝度の光パターンを複数通りの位相で照射して得られた画像データに基づき、プリント基板上の検査対象領域(半田領域)に係る三次元計測を行うと共に、第2輝度の光パターンを複数通りの位相で照射して得られた画像データに基づき、プリント基板上の計測基準領域(背景領域)に係る三次元計測を行い、計測基準領域を高さ基準面として検査対象領域のクリーム半田の高さが計測されることとなる。
特開2006-300539号公報 特開2017-9442号公報
しかしながら、上記のとおり、位相シフト法を利用した従来の三次元計測装置においては、照射する光パターンの位相を4段階(又は3段階若しくは2段階)に変化させ、これらに対応する光強度分布をもつ4通り(又は3通り若しくは2通り)の画像を撮像する必要がある。
従って、上記特許文献1,2に係る従来技術のように、輝度の異なる2種類の光パターンを切換えて計測を行う場合には、まず第1輝度の第1光パターンを照射し、その位相を4段階(又は3段階若しくは2段階)に変化させ、これらの下で4通り(又は3通り若しくは2通り)の画像を撮像した後、輝度を変えて、第2輝度の第2光パターンを照射し、その位相を4段階(又は3段階若しくは2段階)に変化させ、これらの下で4通り(又は3通り若しくは2通り)の画像を撮像するといったように、各輝度の光パターンの下でそれぞれ4回(又は3回若しくは2回)ずつ、2セット計8回(又は6回若しくは4回)の照射及び撮像が必要となり、計測時間が大幅に増大するおそれがあった。
また、一枚のプリント基板上に計測対象範囲が多数設定されているような場合には、該一枚のプリント基板の計測に要する時間はさらにその数倍となる。そのため、計測時間のさらなる短縮化が求められる。
尚、上記課題は、必ずしもプリント基板上に印刷されたクリーム半田等の高さ計測に限らず、他の三次元計測装置の分野においても内在するものである。
本発明は、上記事情に鑑みてなされたものであり、その目的は、位相シフト法を利用した三次元計測を行うにあたり、計測の高速化を図ることのできる三次元計測装置及び三次元計測方法を提供することにある。
以下、上記課題を解決するのに適した各手段につき項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。
手段1.位相シフト法を利用して所定の被計測物(例えばプリント基板)の三次元計測を行うための三次元計測装置であって、
縞状の光強度分布を有する所定の光パターンを前記被計測物に対し照射可能な照射手段と、
前記照射手段から照射する前記光パターンの位相をN通り(Nは3以上の自然数)に変化させる位相制御手段と、
前記光パターンの照射された前記被計測物を撮像可能な撮像手段と、
N通りに位相変化させた前記光パターンの下で撮像し取得されたN通りの画像データを基に、位相シフト法により前記被計測物の三次元計測を実行可能な画像処理手段とを備え、
前記画像処理手段は、
前記N通りの画像データを基に、該画像データ上の所定の座標位置に係るN個の輝度値を取得する処理と、
前記所定の座標位置に係るN個の輝度値の中から、白飛びしておらずかつ黒つぶれしていない2個以上N個未満の輝度値を抽出する処理と、
前記2個以上N個未満の輝度値を基に前記所定の座標位置における高さを計測する処理とを実行可能に構成されていることを特徴とする三次元計測装置。
ここで、「白飛び」とは、画像データの所定の座標位置(画素)において、その輝度値が撮像手段の輝度ダイナミックレンジの上限値など所定の高輝度レベルを超え、明るさを適切に階調表現できていない状態を指す。
一方、「黒つぶれ」とは、画像データの所定の座標位置(画素)において、その輝度値が撮像手段の輝度ダイナミックレンジの下限値など所定の低輝度レベルを下回り、明るさ(暗さ)を適切に階調表現できていない状態を指す。
上記手段1によれば、被計測物に照射される光パターンの位相をN通り(Nは3以上の自然数)に変化させると共に、これら位相の異なる各光パターンの下で撮像を行い、N通りの画像データを取得する。
そして、これらN通りの画像データを基に位相シフト法により三次元計測を行うに際し、画像データ上の所定の座標位置に係るN個の輝度値の中から、白飛びしておらずかつ黒つぶれしていない2個以上N個未満の輝度値を抽出し、これを基に所定の座標位置における高さ計測を実行可能に構成されている。
つまり、所定の座標位置において、N個の輝度値のうちの一部が「白飛び」又は「黒つぶれ」していたとしても、「白飛び」又は「黒つぶれ」していない残りの2個以上N個未満の輝度値を利用して高さ計測を行うことが可能となる。
これにより、輝度ダイナミックレンジを拡大することができる。結果として、輝度条件を変えて複数回(複数セット)高さ計測を行う必要もないため、計測の高速化を図ることができる。加えて、データ欠落部分の少ない高さ計測データを取得することができ、計測精度の向上を図ることができる。
手段2.位相シフト法を利用して所定の被計測物(例えばプリント基板)の三次元計測を行うための三次元計測装置であって、
縞状の光強度分布を有する所定の光パターンを前記被計測物に対し照射可能な照射手段と、
前記照射手段から照射する前記光パターンの位相を90°ずつ4通りに変化させる位相制御手段と、
前記光パターンの照射された前記被計測物を撮像可能な撮像手段と、
4通りに位相変化させた前記光パターンの下で撮像し取得された4通りの画像データを基に、位相シフト法により前記被計測物の三次元計測を実行可能な画像処理手段とを備え、
前記画像処理手段は、
前記4通りの画像データを基に、該画像データ上の所定の座標位置に係る4個の輝度値を取得する処理と、
前記所定の座標位置に係る4個の輝度値の中から、白飛びしておらずかつ黒つぶれしていない3個以上の輝度値を抽出する処理と、
前記3個以上の輝度値を基に前記所定の座標位置における高さを計測する処理とを実行可能に構成されたことを特徴とする三次元計測装置。
上記手段2によれば、上記手段1と同様の作用効果が奏される。位相シフト法を利用した高さ計測を行う際に、高さ算出に用いる輝度値が4個又は3個の場合には、演算処理が容易となると共に、高精度の計測結果が得られやすくなる。結果として、本手段によれば、さらなる計測の高速化を図ると共に、さらなる計測精度の向上を図ることができる。
手段3.位相シフト法を利用して所定の被計測物(例えばプリント基板)の三次元計測を行うための三次元計測装置であって、
縞状の光強度分布を有する第1光パターンを前記被計測物に対し照射可能な第1照射手段と、
前記第1照射手段から照射する前記第1光パターンの位相をN通り(Nは3以上の自然数)に変化させる第1位相制御手段と、
縞状の光強度分布を有する第2光パターンを前記被計測物に対し照射可能な第2照射手段と、
前記第2照射手段から照射する前記第2光パターンの位相をN通り(Nは3以上の自然数)に変化させる第2位相制御手段と、
前記第1光パターン又は第2光パターンの照射された前記被計測物を撮像可能な撮像手段と、
前記撮像手段により取得された画像データを基に、前記被計測物に係る三次元計測を実行可能な画像処理手段とを備え、
前記画像処理手段は、
N通りに位相変化させた前記第1光パターンの下で撮像し取得されたN通りの画像データを基に第1高さ計測を実行可能に構成されると共に、
N通りに位相変化させた前記第2光パターンの下で撮像し取得されたN通りの画像データを基に第2高さ計測を実行可能に構成され、
前記第1高さ計測の計測結果、及び、前記第2高さ計測の計測結果を基に、前記被計測物に係る高さ計測データを算出する処理を実行可能に構成され、
前記第1高さ計測及び前記第2高さ計測を行う場合においてそれぞれ、
前記N通りの画像データを基に、該画像データ上の所定の座標位置に係るN個の輝度値を取得する処理と、
前記所定の座標位置に係るN個の輝度値の中から、白飛びしておらずかつ黒つぶれしていない2個以上N個未満の輝度値を抽出する処理と、
前記2個以上N個未満の輝度値を基に前記所定の座標位置における高さを計測する処理とを実行可能に構成され、
前記高さ計測データを算出する処理を行うにあたり、
前記第1高さ計測の計測結果を算出する際に用いた、白飛びしておらずかつ黒つぶれしていない輝度値の数と、
前記第2高さ計測の計測結果を算出する際に用いた、白飛びしておらずかつ黒つぶれしていない輝度値の数とに違いがある場合には、
その数が多い方の計測結果を前記高さ計測データとして取得する、又は、その数が多い方の計測結果に所定の重み付けを行い算出した結果を高さ計測データとして取得することを特徴とする三次元計測装置。
上記手段3によれば、上記手段1と同様の作用効果が奏される。特に本手段によれば、第1光パターンの下で撮像し取得されたN通りの画像データを基に第1高さ計測を実行すると共に、第2光パターンの下で撮像し取得されたN通りの画像データを基に第2高さ計測を実行し、これら両計測結果を基に被計測物に係る高さ計測データを算出する構成となっている。
加えて、上記両計測結果を基に被計測物に係る高さ計測データを算出する際に、各計測結果を算出する際に用いた白飛びしておらずかつ黒つぶれしていない輝度値の数に違いがある場合(例えば一方が4個で他方が3個)には、その数が多い方の計測結果を高さ計測データとして取得する、又は、その数が多い方の計測結果に所定の重み付けを行い算出した結果を高さ計測データとして取得する構成となっている。
結果として、白飛びしておらずかつ黒つぶれしていない輝度値をより多く用いて計測を行うことができ、さらにデータ欠落部分の少ない高さ計測データを取得することが可能となり、さらなる計測精度の向上を図ることができる。
手段4.前記画像処理手段は、
前記白飛びしておらずかつ黒つぶれしていない輝度値であるか否かの判定を、前記画像データの各座標位置に係る輝度値について個々に行うことを特徴とする手段1乃至3のいずれかに記載の三次元計測装置。
上記手段4によれば、白飛びしておらずかつ黒つぶれしていない輝度値であるか否かの判定を容易かつ精度よく行うことができる。
手段5.前記被計測物は、クリーム半田が印刷されたプリント基板、又は、半田バンプが形成されたウエハ基板であることを特徴とする手段1乃至4のいずれかに記載の三次元計測装置。
上記手段5によれば、プリント基板に印刷されたクリーム半田、又は、ウエハ基板に形成された半田バンプの高さ計測等を行うことができる。ひいては、クリーム半田又は半田バンプの検査において、その計測値に基づいてクリーム半田又は半田バンプの良否判定を行うことができる。従って、かかる検査において、上記各手段の作用効果が奏されることとなり、効率よくかつ精度よく良否判定を行うことができる。結果として、半田印刷検査装置又は半田バンプ検査装置における検査効率や検査精度の向上を図ることができる。
手段6.位相シフト法を利用して所定の被計測物(例えばプリント基板)の三次元計測を行うための三次元計測方法であって、
縞状の光強度分布を有する所定の光パターンを前記被計測物に対し照射する照射工程と、
前記光パターンの位相をN通り(Nは3以上の自然数)に変化させる位相制御工程と、
前記光パターンの照射された前記被計測物を撮像する撮像工程と、
N通りに位相変化させた前記光パターンの下で撮像し取得されたN通りの画像データを基に、位相シフト法により前記被計測物の三次元計測を行う画像処理工程とを備え、
前記画像処理工程において、
前記N通りの画像データを基に、該画像データ上の所定の座標位置に係るN個の輝度値を取得する処理と、
前記所定の座標位置に係るN個の輝度値の中から、白飛びしておらずかつ黒つぶれしていない2個以上N個未満の輝度値を抽出する処理と、
前記2個以上N個未満の輝度値を基に前記所定の座標位置における高さを計測する処理とを実行可能に構成されていることを特徴とする三次元計測方法。
上記手段6によれば、上記手段1と同様の作用効果が奏される。
基板検査装置を模式的に示す概略構成図である。 基板検査装置の電気的構成を示すブロック図である。 光パターンの輝度値と撮像素子の輝度ダイナミックレンジとの関係を示すグラフであって、すべての輝度値が白飛びしておらずかつ黒つぶれしていない状態を示す図である。 光パターンの輝度値と撮像素子の輝度ダイナミックレンジとの関係を示すグラフであって、一部の輝度値が白飛びしている状態を示す図である。 光パターンの輝度値と撮像素子の輝度ダイナミックレンジとの関係を示すグラフであって、一部の輝度値が黒つぶれしている状態を示す図である。 光パターンの輝度値と撮像素子の輝度ダイナミックレンジとの関係を示すグラフであって、一部の輝度値が白飛びしている状態を示す図である。 光パターンの輝度値と撮像素子の輝度ダイナミックレンジとの関係を示すグラフであって、一部の輝度値が黒つぶれしている状態を示す図である。 別の実施形態に係る基板検査装置を模式的に示す概略構成図である。 別の実施形態に係る検査ルーチンを示すフローチャートである。
〔第1実施形態〕
以下、一実施形態について図面を参照しつつ説明する。図1は、本実施形態における三次元計測装置を具備する基板検査装置1を模式的に示す概略構成図である。同図に示すように、基板検査装置1は、計測対象となるクリーム半田が印刷されてなる被計測物としてのプリント基板2を載置するための載置台3と、プリント基板2の表面に対し斜め上方から所定の光パターンを照射するための照射手段としての照明装置4と、プリント基板2上の光パターンの照射された部分を撮像するための撮像手段としてのカメラ5と、基板検査装置1内における各種制御や画像処理、演算処理を実施するための制御装置6とを備えている。
載置台3には、モータ15,16が設けられており、該モータ15,16が制御装置6により駆動制御されることによって、載置台3上に載置されたプリント基板2が任意の方向(X軸方向及びY軸方向)へスライドさせられるようになっている。
照明装置4は、所定の光を発する光源4aと、該光源4aからの光を正弦波状(縞状)の光強度分布を有する光パターンに変換する液晶格子4bとを備えており、プリント基板2に対し、斜め上方から複数通り(本実施形態では4分の1ピッチずつ「0°」、「90°」、「180°」、「270°」)に位相変化する縞状の光パターンを照射可能となっている。ここで、液晶格子4bにおける格子態様を切替制御する機構が位相制御手段に相当する。
より詳しくは、照明装置4において、光源4aから発せられた光は光ファイバーにより一対の集光レンズに導かれ、そこで平行光にされる。その平行光が、液晶格子4bを介して投影レンズに導かれる。そして、投影レンズからプリント基板2に対し縞状の光パターンが照射される。
液晶格子4bは、一対の透明基板間に液晶層が形成されると共に、一方の透明基板上に配置された共通電極と、これと対向するように他方の透明基板上に複数並設された帯状電極とを備え、駆動回路により、各帯状電極にそれぞれ接続されたスイッチング素子(薄膜トランジスタ等)をオンオフ制御し、各帯状電極に印加される電圧を制御することにより、各帯状電極に対応する各格子ラインの光透過率が切替えられ、光透過率の高い「明部」と、光透過率の低い「暗部」とからなる縞状の格子パターンを形成する。そして、液晶格子4bを介してプリント基板2上に照射される光は、回折作用に起因したボケ等により、正弦波状の光強度分布を有する光パターンとなる。
尚、本実施形態において、照明装置4は、各光パターンが、矩形状のプリント基板2の一対の辺と平行にX軸方向に沿って照射されるよう設定されている。つまり、光パターンの縞が、X軸方向に直交し、かつ、Y軸方向に平行に照射される。
カメラ5は、レンズや撮像素子等からなる。撮像素子としては、単板式のCMOSセンサを採用している。カメラ5によって撮像された画像データは、該カメラ5内部においてデジタル信号に変換された上で、デジタル信号の形で制御装置6に入力され、後述する画像データ記憶装置24に記憶される。そして、制御装置6は、該画像データを基に、後述するような画像処理や検査処理等を実施する。かかる意味で、制御装置6は本実施形態における画像処理手段を構成する。
次に、制御装置6の電気的構成について説明する。図2に示すように、制御装置6は、基板検査装置1全体の制御を司るマイクロコンピュータ21、キーボードやマウス、タッチパネル等で構成される「入力手段」としての入力装置22、CRTや液晶などの表示画面を有する「表示手段」としての表示装置23、カメラ5により撮像され取得された画像データなどを記憶するための画像データ記憶装置24、該画像データに基づいて得られた三次元計測結果など、各種演算結果を記憶するための演算結果記憶装置25、ガーバデータやキャリブレーションデータなどの各種情報を予め記憶しておく設定データ記憶装置26を備えている。
マイクロコンピュータ21は、演算手段としてのCPU21aや、各種プログラムを記憶するROM21b、演算データや入出力データなどの各種データを一時的に記憶するRAM21cなどを備え、上記各装置22~26等と電気的に接続されている。そして、これら各装置22~26等との間で各種データや信号の入出力制御を行う機能を有する。
次に、基板検査装置1よるプリント基板2の検査手順について詳しく説明する。はじめに、光パターンのばらつき(位相分布)を把握するためのキャリブレーションを行う。
液晶格子4bでは、各帯状電極に接続された各トランジスタの特性(オフセットやゲイン等)のばらつきにより、上記各帯状電極に印加される電圧にもばらつきが生じるため、同じ「明部」や「暗部」であっても、各帯状電極に対応する各ラインごとに光透過率(輝度レベル)がばらつくこととなる。その結果、被計測物上に照射される光パターンも正弦波状の理想的な光強度分布とならず、三次元計測結果に誤差が生じるおそれがある。
そこで、予め光パターンのばらつき(位相分布)を把握しておく、いわゆるキャリブレーション等が行われる。
キャリブレーションの手順としては、まずプリント基板2とは別に、高さ位置0、かつ、平面をなす基準面を用意する。基準面は、計測対象たるクリーム半田と同一色となっている。すなわち、クリーム半田と光パターンの反射率が等しくなっている。
続いて上記基準面に対し光パターンを照射すると共に、これをカメラ5により撮像することで、各座標の輝度値を含んだ画像データを得る。本実施形態では、キャリブレーションを行う際には、光パターンの位相を90°ずつシフトさせ、各光パターンの下で撮像された4通りの画像データを取得する。
そして、制御装置6は、上記4通りの画像データから各座標位置(各画素)における光パターンの位相角θを算出し、これをキャリブレーションデータとして設定データ記憶装置26に記憶する。
さらに本実施形態では、上記4通りの画像データから各座標位置における光パターンのゲインB及びオフセットA、並びに両者の関係を特定し、これをキャリブレーションデータとして設定データ記憶装置26に記憶する。
ここで、ゲインB及びオフセットAを算出する手順についてより詳しく説明する。4通りの画像データの各座標位置における輝度値(I0,I1,I2,I3)と、ゲインB及びオフセットAとの関係は、下記式(1)、(2)、(3)、(4)により表すことができる。
Figure 0007030079000001
また、上記式(1)、(2)、(3)、(4)は、下記式(1´)、(2´)、(3´)、(4´)と変換することができる。
Figure 0007030079000002
そして、4通りの画像データの各座標位置における輝度値(I0,I1,I2,I3)を加算し、上記式(1)、(2)、(3)、(4)を下記[数3]に示すように整理すると、下記式(5)を導き出すことができる。
Figure 0007030079000003
また、上記式(1)、(3)を下記[数4]に示すように整理すると、下記式(6)を導き出すことができる。
Figure 0007030079000004
また、上記式(2)、(4)を下記[数5]に示すように整理すると、下記式(7)を導き出すことができる。
Figure 0007030079000005
そして、下記[数6]に示すように、上記式(6)、(7)を下記式(8)に代入し、整理していくと、下記式(9)を導き出すことができる。
Figure 0007030079000006
さらに、上記式(5)、(9)から導き出された下記式(10)を基にゲインB及びオフセットAの比例定数Kを算出する。
Figure 0007030079000007
そして、上記のように算出された各座標位置における光パターンのゲインB、オフセットA、及び、比例定数Kをキャリブレーションデータとして設定データ記憶装置26に記憶する。
次に、各検査エリアごとに行われる検査ルーチンについて詳しく説明する。この検査ルーチンは、制御装置6にて実行されるものである。
制御装置6は、まずモータ15,16を駆動制御してプリント基板2を移動させ、カメラ5の視野をプリント基板2上の所定の検査エリアに合わせる。なお、検査エリアは、カメラ5の視野の大きさを1単位としてプリント基板2の表面を予め分割しておいた中の1つのエリアである。
このように検査エリアの位置合せが終了すると、制御装置6は、照明装置4の液晶格子4bを切替制御し、該液晶格子4bに形成される格子パターンの位置を所定の基準位置(位相「0°」の位置)に設定する。ここで、格子パターンの位置を切替える工程が本実施形態における位相制御工程を構成する(以下同様)。
液晶格子4bの切替設定が完了すると、制御装置6は、光源4aを発光させ、所定の光パターンの照射を開始すると共に、カメラ5を駆動制御して、該光パターンが照射された検査エリア部分の撮像を開始する。ここで光パターンを照射する工程が本実施形態における照射工程を構成し、これをカメラ5により撮像する工程が本実施形態における撮像工程を構成する(以下同様)。
そして、制御装置6は、所定時間(例えば2msec)経過後、光パターンの照射を終了すると共に、該光パターンに係る1回目の撮像を終了する。ここで、カメラ5により撮像された画像データは、画像データ記憶装置24へ転送され記憶される(以下同様)。
次に、制御装置6は、照明装置4の液晶格子4bを切替制御し、該液晶格子4bに形成される格子パターンの位置を基準位置(位相「0°」の位置)から、光パターンの位相が4分の1ピッチずれる位相「90°」の位置へ切替える。
液晶格子4bの切替設定が完了すると、制御装置6は、光源4aを発光させ、所定の光パターンの照射を開始すると共に、カメラ5を駆動制御して、該光パターンが照射された検査エリア部分の撮像を開始する。
そして、制御装置6は、所定時間経過後、光パターンの照射を終了すると共に、該光パターンに係る2回目の撮像を終了する。
次に、制御装置6は、照明装置4の液晶格子4bを切替制御し、該液晶格子4bに形成される格子パターンの位置を位相「90°」の位置から、光パターンの位相が4分の1ピッチずれる位相「180°」の位置へ切替える。
液晶格子4bの切替設定が完了すると、制御装置6は、光源4aを発光させ、所定の光パターンの照射を開始すると共に、カメラ5を駆動制御して、該光パターンが照射された検査エリア部分の撮像を開始する。
そして、制御装置6は、所定時間経過後、光パターンの照射を終了すると共に、該光パターンに係る3回目の撮像を終了する。
次に、制御装置6は、照明装置4の液晶格子4bを切替制御し、該液晶格子4bに形成される格子パターンの位置を位相「180°」の位置から、光パターンの位相が4分の1ピッチずれる位相「270°」の位置へ切替える。
液晶格子4bの切替設定が完了すると、制御装置6は、光源4aを発光させ、所定の光パターンの照射を開始すると共に、カメラ5を駆動制御して、該光パターンが照射された検査エリア部分の撮像を開始する。
そして、制御装置6は、所定時間経過後、光パターンの照射を終了すると共に、該光パターンに係る4回目の撮像を終了する。
このように、上記一連の画像取得処理を行うことにより、4通りに位相変化させた光パターンの下で撮像された4画面分の画像データが取得される。
そして、制御装置6は、このように取得した4通りの画像データを基に位相シフト法により該検査エリアに係る三次元計測を行う。かかる処理工程により本実施形態における画像処理工程が構成される。
より詳しくは、上記4通りの画像データにおける所定の座標位置について、該座標位置に係る4個の輝度値がすべて「白飛び」もしておらず、かつ、「黒つぶれ」もしていない場合には、従来同様、これらの4個の輝度値を基に、該座標位置に係る光パターンの位相θを算出する。
尚、ここで各画像データにおける所定の座標位置に係る輝度値が「白飛び」しているか否か、又は、「黒つぶれ」しているか否かの判定は、以下のように行うことができる。例えば輝度値が「0」~「255」で階調表現される構成の下、輝度値が黒つぶれ輝度レベルであるレベル「5」以下となっている場合に「黒つぶれ」と判定し、輝度値が白飛び輝度レベルであるレベル「250」以上となっている場合に「白飛び」と判定することができる。
図3に示すように、所定の座標位置に係る光パターンの位相Tを求める場合において、該座標位置に係る4個の輝度値J0,J1,J2,J3すべてが輝度ダイナミックレンジLGの範囲内にある場合、つまりカメラ5の撮像素子の白飛び輝度レベルL1よりも小さく、かつ、黒つぶれ輝度レベルL2よりも大きい場合には、従来同様、これらの4個の輝度値J0,J1,J2,J3を基に、該座標位置に係る光パターンの位相Tを算出することができる。
ここで、上記4通りの画像データの各座標位置に係る輝度値I0,I1,I2,I3は、上記式(1)、(2)、(3)、(4)、ひいては上記式(1´)、(2´)、(3´)、(4´)により表すことができる。
そして、下記[数8]に示すように、上記式(1)、(2)、(3)、(4)を位相θについて解くと、下記式(11)を導き出すことができる。
Figure 0007030079000008
また、上記4通りの画像データにおける所定の座標位置について、該座標位置に係る4個の輝度値のうち、1つが「白飛び」している場合には、これを除く、「白飛び」していない3つの輝度値を基に、該座標位置に係る光パターンの位相θを算出する。
例えば図4に示すように、所定の座標位置に係る光パターンの位相Tを求める場合において、該座標位置に係る4個の輝度値J0,J1,J2,J3のうち、1つの輝度値J0が「白飛び」している場合(白飛び輝度レベルL1よりも大きい場合)には、これを除く、「白飛び」していない(白飛び輝度レベルL1よりも小さい)3つの輝度値J1,J2,J3を基に、該座標位置に係る光パターンの位相Tを算出する。
このようにすれば、光パターンの振幅の15~50%程度の範囲(図4参照)が、撮像素子の白飛び輝度レベルL1よりも大きくなっている場合においても光パターンの位相θの算出が可能となる。
同様に、上記4通りの画像データにおける所定の座標位置について、該座標位置に係る4個の輝度値のうち、1つが「黒つぶれ」している場合には、これを除く、「黒つぶれ」していない3つの輝度値を基に、該座標位置に係る光パターンの位相θを算出する。
例えば図5に示すように、所定の座標位置に係る光パターンの位相Tを求める場合において、該座標位置に係る4個の輝度値J0,J1,J2,J3のうち、1つの輝度値J3が「黒つぶれ」している場合(黒つぶれ輝度レベルL2よりも小さい場合)には、これを除く、「黒つぶれ」していない(黒つぶれ輝度レベルL2よりも大きい)3つの輝度値J0,J1,J2を基に、該座標位置に係る光パターンの位相Tを算出する。
このようにすれば、光パターンの振幅の15~50%程度の範囲(図5参照)が、撮像素子の黒つぶれ輝度レベルL2よりも小さくなっている場合においても光パターンの位相θの算出が可能となる。
ここで、上記4通りの画像データの各座標位置に係る輝度値I0,I1,I2,I3のうち、例えば輝度値I3が「白飛び」又は「黒つぶれ」している場合には、上記式(1)、(2)、(3)を下記[数9]に示すように整理することにより、オフセットAを下記式(12)により表すことができる。
Figure 0007030079000009
そして、下記[数10]に示すように、上記式(1´)、(2´)を基に、位相θについて解くと、下記式(13)を導き出すことができる。
Figure 0007030079000010
ここで上記4通りの画像データの各座標位置に係る輝度値I0,I1,I2,I3のうち、例えば輝度値I1が「白飛び」又は「黒つぶれ」している場合には、下記[数11]に示すように、上記式(1´)、(4´)を基に、位相θについて解くと、下記式(14)を導き出すことができる。
Figure 0007030079000011
ここで上記4通りの画像データの各座標位置に係る輝度値I0,I1,I2,I3のうち、例えば輝度値I0が「白飛び」又は「黒つぶれ」している場合には、上記式(2´)、(4´)を下記[数12]に示すように整理することにより、オフセットAを下記式(15)により表すことができる。
Figure 0007030079000012
そして、下記[数13]に示すように、上記式(3´)、(4´)を基に、位相θについて解くと、下記式(16)を導き出すことができる。
Figure 0007030079000013
ここで上記4通りの画像データの各座標位置に係る輝度値I0,I1,I2,I3のうち、例えば輝度値I2が「白飛び」又は「黒つぶれ」している場合には、下記[数14]に示すように、上記式(1´)、(2´)を基に、位相θについて解くと、下記式(17)を導き出すことができる。
Figure 0007030079000014
また、上記4通りの画像データにおける所定の座標位置について、該座標位置に係る4個の輝度値のうち、2つが「白飛び」している場合には、これを除く、「白飛び」していない2つの輝度値を基に、該座標位置に係る光パターンの位相θを算出する。
例えば図6に示すように、所定の座標位置に係る光パターンの位相Tを求める場合において、該座標位置に係る4個の輝度値J0,J1,J2,J3のうち、2つの輝度値J0,J1が「白飛び」している場合(白飛び輝度レベルL1よりも大きい場合)には、これを除く、「白飛び」していない(白飛び輝度レベルL1よりも小さい)2つの輝度値J2,J3を基に、該座標位置に係る光パターンの位相Tを算出する。
このようにすれば、光パターンの振幅の50~80%程度の範囲(図6参照)が、撮像素子の白飛び輝度レベルL1よりも大きくなっている場合においても光パターンの位相θの算出が可能となる。
同様に、上記4通りの画像データにおける所定の座標位置について、該座標位置に係る4個の輝度値のうち、2つが「黒つぶれ」している場合には、これを除く、「黒つぶれ」していない2つの輝度値を基に、該座標位置に係る光パターンの位相θを算出する。
例えば図7に示すように、所定の座標位置に係る光パターンの位相Tを求める場合において、該座標位置に係る4個の輝度値J0,J1,J2,J3のうち、2つの輝度値J2,J3が「黒つぶれ」している場合(黒つぶれ輝度レベルL2よりも小さい場合)には、これを除く、「黒つぶれ」していない(黒つぶれ輝度レベルL2よりも大きい)2つの輝度値J0,J1を基に、該座標位置に係る光パターンの位相Tを算出する。
このようにすれば、光パターンの振幅の50~80%程度の範囲(図7参照)が、撮像素子の黒つぶれ輝度レベルL2よりも小さくなっている場合においても光パターンの位相θの算出が可能となる。
ここで、仮に上記4通りの画像データの各座標位置に係る輝度値I0,I1,I2,I3のうち、2つの輝度値I2,I3が「白飛び」又は「黒つぶれ」している場合には、例えば特開2016-211986号公報(段落[0064]~[0077]参照)に記載された計算手法を用いることより、上記式(1)、(2)及び上記比例定数Kを基に、オフセットAを下記式(18)により表すことができる。
Figure 0007030079000015
そして、下記[数16]に示すように、上記式(1´)、(2´)を基に、位相θについて解くと、下記式(19)を導き出すことができる。
Figure 0007030079000016
続いて、制御装置6は、上記のように算出された各座標位置の位相θと、上記設定データ記憶装置26に記憶したキャリブレーションデータ(キャリブレーションに基づく各座標位置の位相)とを比較して、同一の位相を有する座標(画素)のズレ量を算出し、三角測量の原理に基づき、検査エリアの各座標(x,y)に係る高さデータ(z)を算出し、かかる高さデータ(z)を演算結果記憶装置25に記憶する。
例えば、所定の座標(x,y)における実測値(位相)が「10°」であった場合、該「10°」の値が、キャリブレーションにより記憶したデータ上のどの位置にあるかを検出する。ここで、座標(x,y)よりも3画素隣りに「10°」が存在していれば、それは光パターンの縞が3画素ずれたことを意味する。そして、光パターンの照射角度と、光パターンの縞のズレ量を基に、三角測量の原理により、座標(x,y)の高さデータ(z)を求めることができる。
次に、制御装置6は、このように得られた所定の検査エリアの各座標における高さデータに基づいて、基準面より高くなったクリーム半田の印刷範囲を検出し、この範囲内での各部位の高さを積分することにより、印刷されたクリーム半田の量を算出する。
続けて、制御装置6は、このようにして求めたクリーム半田の位置、面積、高さ又は量等のデータを、予め設定データ記憶装置26に記憶されている基準データと比較判定し、この比較結果が許容範囲内にあるか否かによって、その検査エリアにおけるクリーム半田の印刷状態の良否を判定する。
かかる処理が行われている間に、制御装置6は、モータ15,16を駆動制御してプリント基板2を次の検査エリアへと移動せしめ、以降、上記一連の処理が、全ての検査エリアで繰り返し行われることで、プリント基板2全体の検査が終了する
以上詳述したように、本実施形態によれば、プリント基板2に照射される光パターンの位相を4通りに変化させると共に、これら位相の異なる各光パターンの下で撮像を行い、4通りの画像データを取得する。
そして、これら4通りの画像データを基に位相シフト法により三次元計測を行うに際し、画像データ上の所定の座標位置に係る4個の輝度値の中から、白飛びしておらずかつ黒つぶれしていない2個以上4個未満の輝度値を抽出し、これを基に所定の座標位置における高さ計測を実行可能に構成されている。
つまり、所定の座標位置において、4個の輝度値のうちの一部が「白飛び」又は「黒つぶれ」していたとしても、「白飛び」又は「黒つぶれ」していない残りの2個以上4個未満の輝度値を利用して高さ計測を行うことが可能となっている。
これにより、輝度ダイナミックレンジを拡大することができる。結果として、輝度条件を変えて複数回(複数セット)高さ計測を行う必要もないため、計測の高速化を図ることができる。加えて、データ欠落部分の少ない高さ計測データを取得することができ、計測精度の向上を図ることができる。
〔第2実施形態〕
以下、第2実施形態について図面を参照しつつ説明する。尚、第1実施形態と同一構成部分については、同一符号を付し、その詳細な説明を省略する。
図8は、本実施形態に係る基板検査装置1を模式的に示す概略構成図である。同図に示すように、基板検査装置1は、載置台3と、プリント基板2の表面に対し斜め上方から所定の光パターンを照射するための2つの照明装置(第1照射手段としての第1照明装置4A、及び、第2照射手段としての第2照明装置4B)と、カメラ5と、制御装置6とを備えている。
第1照明装置4Aは、所定の光を発する第1光源4Aaと、該第1光源4Aaからの光を正弦波状(縞状)の光強度分布を有する第1光パターンに変換する第1液晶格子4Abとを備えており、プリント基板2に対し斜め上方から複数通り(本実施形態では4分の1ピッチずつ「0°」、「90°」、「180°」、「270°」)に位相変化する縞状の第1光パターンを照射可能となっている。ここで、第1液晶格子4Abにおける格子態様を切替制御する機構が第1位相制御手段に相当する。
同様に、第2照明装置4Bは、所定の光を発する第2光源4Baと、該第2光源4Baからの光を正弦波状(縞状)の光強度分布を有する第2光パターンに変換する第2液晶格子4Bbとを備えており、プリント基板2に対し斜め上方から複数通り(本実施形態では4分の1ピッチずつ「0°」、「90°」、「180°」、「270°」)に位相変化する縞状の第2光パターンを照射可能となっている。ここで、第2液晶格子4Bbにおける格子態様を切替制御する機構が第2位相制御手段に相当する。
液晶格子4Ab,4Bbは、それぞれ上記第1実施形態に係る液晶格子4bと同様、光透過率の高い「明部」と、光透過率の低い「暗部」とからなる縞状の格子パターンを形成し、これらを介してプリント基板2上に照射される光は正弦波状の光強度分布を有する光パターンとなる。
尚、本実施形態において、各照明装置4A,4Bは、カメラ5の撮像方向である略鉛直方向(Z軸方向)に沿って視た平面視(X-Y平面)において、プリント基板2を挟んで相対向する位置に配置されている。ここで、第1照明装置4Aが配置された位置が本実施形態における第1位置に相当し、第2照明装置4Bが配置された位置が第2位置に相当する。
次に、本実施形態に係る基板検査装置1よるプリント基板2の検査手順について詳しく説明する。はじめに、光パターンのばらつき(位相分布)を把握するためのキャリブレーションを行う。本実施形態では、上記第1実施形態にて説明したキャリブレーションの手順により、第1液晶格子4Ab(第1光パターン)、及び、第2液晶格子4Bb(第2光パターン)について、それぞれキャリブレーションを行う。
さらに、第1液晶格子4Ab及び第2液晶格子4Bbそれぞれに関して、上記第1実施形態と同様の手順により、各画素における光パターンのゲインB及びオフセットA、並びに両者の関係を特定し、これをキャリブレーションデータとして設定データ記憶装置26に記憶する。
次に、各検査エリアごとに行われる検査ルーチンについて図9のフローチャートを参照して詳しく説明する。この検査ルーチンは、制御装置6にて実行されるものである。
制御装置6は、まずモータ15,16を駆動制御してプリント基板2を移動させ、カメラ5の視野をプリント基板2上の所定の検査エリアに合わせる。
このように検査エリアの位置合せが終了すると、制御装置6は、まずステップS1において画像データ取得処理を実行する。
具体的に、制御装置6は、上記第1実施形態と同様に、第1照明装置4Aを駆動制御して検査エリアへ第1光パターンを照射すると共に、該第1光パターンの位相を4分の1ピッチ(90°)ずつ順次シフトさせる。合わせて、制御装置6は、カメラ5を駆動制御し、90°ずつ位相の異なる第1光パターンが照射された検査エリアを順次撮像し、4画面分の画像データを取得する。
その後、制御装置6は、上記同様に、第2照明装置4Bを駆動制御して検査エリアへ第2光パターンを照射すると共に、該第2光パターンの位相を4分の1ピッチ(90°)ずつ順次シフトさせる。合わせて、制御装置6は、カメラ5を駆動制御し、90°ずつ位相の異なる第2光パターンが照射された検査エリアを順次撮像し、4画面分の画像データを取得する。
これにより、4通りに位相変化させた第1光パターンの下で撮像された4画面分の画像データ、及び、4通りに位相変化させた第2光パターンの下で撮像された4画面分の画像データの合計8画面分の画像データが取得されることとなる。
次に、制御装置6は、ステップS2において高さデータ算出処理を実行する。詳しくは、制御装置6は、上記ステップS1にて第1光パターンの下で取得した4通りの画像データを基に、各座標位置(画素)毎に高さ計測(第1高さ計測)を行うと共に、上記ステップS1にて第2光パターンの下で取得した4通りの画像データを基に、各座標位置(画素)毎に高さ計測(第2高さ計測)を行う。
具体的には、まず上記第1実施形態と同様の手法により、各座標位置に関して、4個の輝度値すべてが「白飛び」等していない場合は、該4個の輝度値を基に位相θを算出し、1個の輝度値が「白飛び」等している場合には、残り3個の輝度値を基に位相θを算出し、2個の輝度値が「白飛び」等している場合には、残り2個の輝度値を基に位相θを算出する。
続いて、制御装置6は、上記のように算出された各座標位置(画素)の位相θと、上記設定データ記憶装置26に記憶したキャリブレーションデータ(キャリブレーションに基づく各画素の位相)とを比較して、同一の位相を有する画素のズレ量を算出し、三角測量の原理に基づき、検査エリアの各座標(x,y)に係る高さデータ(z)を算出する。
ここで、第1光パターンの下で取得した4通りの画像データを基に算出された各座標位置の高さデータは「第1高さデータ」として演算結果記憶装置25に記憶され、第2光パターンの下で取得した4通りの画像データを基に算出された各座標位置の高さデータは「第2高さデータ」として演算結果記憶装置25に記憶される。
次に、制御装置6は、ステップS3において、上記ステップS2において算出した「第1高さデータ」及び「第2高さデータ」をそれぞれ所定の基準面(例えばクリーム半田が印刷されるランド等)を基準とした高さデータに変換する。
ここで、「第1高さデータ」を変換したデータは、「基準面基準第1高さデータ」として演算結果記憶装置25に記憶され、「第2高さデータ」を変換したデータは、「基準面基準第2高さデータ」として演算結果記憶装置25に記憶される。
次に、制御装置6は、ステップS4において、「基準面基準第1高さデータ」と「基準面基準第2高さデータ」とを統合する統合処理を行う。
本実施形態では、検査エリアの各座標(x,y)について、それぞれ「基準面基準第1高さデータ」と「基準面基準第2高さデータ」の平均値を、該座標(x,y)に係る「真の高さデータ」として算出し、これを演算結果記憶装置25に記憶する。
ここで本実施形態では、上記平均値を算出するに際し、「基準面基準第1高さデータ」と「基準面基準第2高さデータ」を単純に平均する構成となっている。
次に、制御装置6は、ステップS5において良否判定処理を行う。詳しくは、制御装置6は、上記ステップS4にて取得された検査エリアの各座標(x,y)に係る「真の高さデータ(z)」に基づいて、基準面より高くなったクリーム半田の印刷範囲を検出し、この範囲内での各部位の高さを積分することにより、印刷されたクリーム半田の量を算出する。
続けて、制御装置6は、このようにして求めたクリーム半田の位置、面積、高さ又は量等のデータを、予め設定データ記憶装置26に記憶されている基準データと比較判定し、この比較結果が許容範囲内にあるか否かによって、その検査エリアにおけるクリーム半田の印刷状態の良否を判定する。これにて該検査エリアに係る検査ルーチンが終了する。
そして、上記良否判定処理が行われている間に、制御装置6は、モータ15,16を駆動制御してプリント基板2を次の検査エリアへと移動せしめ、以降、上記一連の処理(検査ルーチン)が、全ての検査エリアで繰り返し行われることで、プリント基板2全体の検査が終了する。
以上詳述したように、本実施形態によれば、上記第1実施形態と同様の作用効果が奏される。
加えて、本実施形態によれば、第1光パターンの下で撮像し取得された4通りの画像データを基に第1高さ計測を実行すると共に、第2光パターンの下で撮像し取得された4通りの画像データを基に第2高さ計測を実行し、これら両計測結果を基に検査エリアの各座標位置について高さ計測データを算出する構成となっている。
結果として、さらにデータ欠落部分の少ない高さ計測データを取得することが可能となり、さらなる計測精度の向上を図ることができる。
例えば本実施形態において、第1光パターンの下で取得された4通りの画像データから所定の座標位置について「白飛び」又は「黒つぶれ」していない4個の輝度値が取得できた場合、かつ、第2光パターンの下で取得された4通りの画像データから該座標位置について「白飛び」又は「黒つぶれ」していない4個の輝度値が取得できた場合には、従来同様、高い計測精度で、該座標位置に係る「真の高さデータ」を取得することができる。
また、第1光パターン(又は第2光パターン)の下で取得された4通りの画像データから所定の座標位置について「白飛び」又は「黒つぶれ」していない4個の輝度値が取得できた場合、かつ、第2光パターン(又は第1光パターン)の下で取得された4通りの画像データから該座標位置について「白飛び」又は「黒つぶれ」していない3個又は2個の輝度値が取得できた場合には、従来では行われていなかった第2光パターン(又は第1光パターン)に係る該3個又は2個の輝度値を用いた高さ計測データの算出により、「真の高さデータ」の計測精度の向上を図ることができる。
但し、第1光パターン(又は第2光パターン)の下で取得された4通りの画像データから所定の座標位置について「白飛び」又は「黒つぶれ」していない4個、3個又は2個の輝度値が取得できた場合、かつ、第2光パターン(又は第1光パターン)の下で取得された4通りの画像データから該座標位置について「白飛び」又は「黒つぶれ」していない2個以上の輝度値が取得できなかった場合には、従来同様、第1光パターン(又は第2光パターン)に係る4個、3個又は2個の輝度値を用いて算出された高さ計測データを「真の高さデータ」として用いることとなる。
一方、第1光パターン(又は第2光パターン)の下で取得された4通りの画像データから所定の座標位置について「白飛び」又は「黒つぶれ」していない3個の輝度値が取得できた場合、かつ、第2光パターン(又は第1光パターン)の下で取得された4通りの画像データから該座標位置について「白飛び」又は「黒つぶれ」していない3個又は2個の輝度値が取得できた場合には、従来では行われていなかった第1光パターン(又は第2光パターン)に係る該3個の輝度値を用いた高さ計測データの算出、及び、第2光パターン(又は第1光パターン)に係る該3個又は2個の輝度値を用いた高さ計測データの算出により、従来ではデータ欠落部分となっていた該座標位置について「真の高さデータ」を取得することができる。
同様に、第1光パターンの下で取得された4通りの画像データから所定の座標位置について「白飛び」又は「黒つぶれ」していない2個の輝度値が取得できた場合、かつ、第2光パターンの下で取得された4通りの画像データから該座標位置について「白飛び」又は「黒つぶれ」していない2個の輝度値が取得できた場合には、従来では行われていなかった第1光パターンに係る該2個の輝度値を用いた高さ計測データの算出、及び、第2光パターンに係る該2個の輝度値を用いた高さ計測データの算出により、従来ではデータ欠落部分となっていた該座標位置について「真の高さデータ」を取得することができる。
尚、上記各実施形態の記載内容に限定されず、例えば次のように実施してもよい。勿論、以下において例示しない他の応用例、変更例も当然可能である。
(a)上記各実施形態では、三次元計測装置を、プリント基板2に印刷形成されたクリーム半田の高さを計測する基板検査装置1に具体化したが、これに限らず、例えば基板上に形成された半田バンプや、基板上に実装された電子部品など、他のものの高さを計測する構成に具体化してもよい。
(b)照射手段の構成は上記各実施形態に限定されるものではない。例えば上記各実施形態では、光源4a(光源4Aa,4Ba)からの光を縞状の光パターンに変換するための格子を、液晶格子4b(4Ab,4Bb)により構成すると共に、これを切替制御することにより、光パターンの位相をシフトさせる構成となっている。これに限らず、例えば格子部材をピエゾアクチュエータ等の移送手段により移送させ、光パターンの位相をシフトさせる構成としてもよい。
(c)上記各実施形態では、位相が90°ずつ異なる4通りの光パターンの下で撮像され取得された4通りの画像データを基に位相シフト法により高さ計測を行う構成となっている。
これに限らず、光パターンの位相をN通り(Nは3以上の自然数)に変化させ、これら位相の異なるN通りの光パターンの下で撮像され取得されたN通りの画像データを基に、位相シフト法により高さ計測を行う構成となっていればよい。
例えば位相が120°ずつ異なる3通りの光パターンの下で撮像され取得された3通りの画像データを基に高さ計測を行う構成としてもよい。
但し、位相が90°ずつ異なる4通りの光パターンの下で撮像され取得された4通りの画像データを基に高さ計測を行う構成の下、画像データ上の所定の座標位置に係る4個の輝度値の中から、白飛びしておらずかつ黒つぶれしていない3個以上の輝度値を抽出し、これを基に所定の座標位置における高さ計測を実行可能な構成とすることが好ましい。
位相シフト法を利用した高さ計測を行う際に、高さ算出に用いる輝度値が4個又は3個の場合には、演算処理が容易となると共に、高精度の計測結果が得られやすくなる。このため、前記構成によれば、さらなる計測の高速化を図ると共に、さらなる計測精度の向上を図ることができる。
一方、輝度ダイナミックレンジをより拡大するためには、N通り(Nは3以上の自然数)の画像データを基に、該画像データ上の所定の座標位置に係るN個の輝度値の中から、白飛びしておらずかつ黒つぶれしていない2個以上の輝度値を抽出し、該2個以上の輝度値を基に該座標位置における高さ計測を実行可能な構成となっている方が好ましい。
(d)上記第2実施形態において、「基準面基準第1高さデータ」と「基準面基準第2高さデータ」とを統合する統合処理(ステップS4)では、検査エリアの各座標(x,y)について、それぞれ「基準面基準第1高さデータ」と「基準面基準第2高さデータ」とを単純に平均した平均値を、該座標(x,y)に係る「真の高さデータ」として算出する構成となっている。
これに限らず、「基準面基準第1高さデータ」と「基準面基準第2高さデータ」の平均値を算出するに際し、例えば「基準面基準第1高さデータ」又は「基準面基準第2高さデータ」のいずれか一方が、「白飛び」等していない4個の輝度値を基に算出されたデータであり、他方が1個の輝度値が「白飛び」等し、残り3個の輝度値を基に算出されたデータである場合には、輝度値の数に応じた加重平均としてもよい。
このように、第1高さ計測の計測結果を算出する際に用いた、白飛びしておらずかつ黒つぶれしていない輝度値の数と、第2高さ計測の計測結果を算出する際に用いた、白飛びしておらずかつ黒つぶれしていない輝度値の数とに違いがある場合には、その数が多い方の計測結果を「真の高さデータ」として取得する、又は、その数が多い方の計測結果に所定の重み付けを行い算出した結果を「真の高さデータ」として取得する構成とすることが好ましい。
結果として、白飛びしておらずかつ黒つぶれしていない輝度値をより多く用いて計測を行うことができ、さらにデータ欠落部分の少ない「真の高さデータ」を取得することが可能となり、さらなる計測精度の向上を図ることができる。
(e)上記ステップS4の統合処理において、「基準面基準第1高さデータ」と「基準面基準第2高さデータ」の平均値に代えて、例えば検査エリアの各座標(x,y)について、それぞれ「基準面基準第1高さデータ」又は「基準面基準第2高さデータ」のいずれか一方を選択して、これを該座標(x,y)に係る「真の高さデータ」として算出する構成としてもよい。
ここで、上記いずれか一方の「基準面基準高さデータ」を選択する場合において、例えば上記ステップS1の画像データ取得処理にて、所定の座標(x,y)について、3個以上の輝度値が「白飛び」等してしまい、「基準面基準第1高さデータ」又は「基準面基準第2高さデータ」のいずれか一方しか高さデータを取得できなかった場合には、高さデータを取得できた方の「基準面基準高さデータ」を選択するようにしてもよい。
また、上記いずれか一方の「基準面基準高さデータ」を選択する場合において、例えば「基準面基準第1高さデータ」又は「基準面基準第2高さデータ」のいずれか一方が、「白飛び」等していない4個の輝度値を基に算出されたデータであり、他方が1個の輝度値が「白飛び」等し、残り3個の輝度値を基に算出されたデータである場合には、「白飛び」等していない輝度値の数が多い方の「基準面基準高さデータ」を選択する構成としてもよい。
つまり、一方が「白飛び」等していない3個の輝度値を基に算出されたデータであり、他方が「白飛び」等していない2個の輝度値を基に算出されたデータである場合には、「白飛び」等していない輝度値が3個の方の「基準面基準高さデータ」が選択されることとなる。
また、上記いずれか一方の「基準面基準高さデータ」を選択する場合において、所定の座標(x,y)に係る「真の高さデータ」として、該座標(x,y)の周囲の座標(x,y)に係る「真の高さデータ」を参酌して、適切な「基準面基準高さデータ」を選択する構成としてもよい。
また、ステップS4の統合処理において、上述した「基準面基準第1高さデータ」と「基準面基準第2高さデータ」の平均値を算出する処理や、「基準面基準第1高さデータ」又は「基準面基準第2高さデータ」の一方を選択する処理を組み合わせて、検査エリアの全ての座標(x,y)に係る「真の高さデータ」を取得する構成としてもよい。
(f)撮像手段の構成は上記各実施形態に限定されるものではない。例えば上記各実施形態では、撮像素子としては、単板式のCMOSセンサを採用している。これに限らず、例えばCCDセンサ等を採用してもよい。勿論、単板式のカラーイメージセンサに限定されるものではない。
上記「背景技術」に記載したような不具合は、単板式のカラーイメージセンサに限らず、単にプリント基板2上に明るい部位や暗い部位が存在するだけでも生じ得るものである。
1…基板検査装置、2…プリント基板、4…照明装置、4a…光源、4b…液晶格子、5…カメラ、6…制御装置、24…画像データ記憶装置、25…演算結果記憶装置、26…設定データ記憶装置、I0,I1,I2,I3…輝度値、A…オフセット、B…ゲイン、K…比例定数、L1…白飛び輝度レベル、L2…黒つぶれ輝度レベル、LG…輝度ダイナミックレンジ。

Claims (6)

  1. 位相シフト法を利用して所定の被計測物の三次元計測を行うための三次元計測装置であって、
    縞状の光強度分布を有する所定の光パターンを前記被計測物に対し照射可能な照射手段と、
    前記照射手段から照射する前記光パターンの位相をN通り(Nは3以上の自然数)に変化させる位相制御手段と、
    前記光パターンの照射された前記被計測物を撮像可能な撮像手段と、
    N通りに位相変化させた前記光パターンの下で撮像し取得されたN通りの画像データを基に、位相シフト法により前記被計測物の三次元計測を実行可能な画像処理手段とを備え、
    前記画像処理手段は、
    前記N通りの画像データを基に、該画像データ上の所定の座標位置に係るN個の輝度値を取得する処理と、
    前記所定の座標位置に係るN個の輝度値の中から、白飛びしておらずかつ黒つぶれしていない2個以上N個未満の輝度値を抽出する処理と、
    前記2個以上N個未満の輝度値を基に前記所定の座標位置における高さを計測する処理とを実行可能に構成されていることを特徴とする三次元計測装置。
  2. 位相シフト法を利用して所定の被計測物の三次元計測を行うための三次元計測装置であって、
    縞状の光強度分布を有する所定の光パターンを前記被計測物に対し照射可能な照射手段と、
    前記照射手段から照射する前記光パターンの位相を90°ずつ4通りに変化させる位相制御手段と、
    前記光パターンの照射された前記被計測物を撮像可能な撮像手段と、
    4通りに位相変化させた前記光パターンの下で撮像し取得された4通りの画像データを基に、位相シフト法により前記被計測物の三次元計測を実行可能な画像処理手段とを備え、
    前記画像処理手段は、
    前記4通りの画像データを基に、該画像データ上の所定の座標位置に係る4個の輝度値を取得する処理と、
    前記所定の座標位置に係る4個の輝度値の中から、白飛びしておらずかつ黒つぶれしていない3個以上の輝度値を抽出する処理と、
    前記3個以上の輝度値を基に前記所定の座標位置における高さを計測する処理とを実行可能に構成されたことを特徴とする三次元計測装置。
  3. 位相シフト法を利用して所定の被計測物の三次元計測を行うための三次元計測装置であって、
    縞状の光強度分布を有する第1光パターンを前記被計測物に対し照射可能な第1照射手段と、
    前記第1照射手段から照射する前記第1光パターンの位相をN通り(Nは3以上の自然数)に変化させる第1位相制御手段と、
    縞状の光強度分布を有する第2光パターンを前記被計測物に対し照射可能な第2照射手段と、
    前記第2照射手段から照射する前記第2光パターンの位相をN通り(Nは3以上の自然数)に変化させる第2位相制御手段と、
    前記第1光パターン又は第2光パターンの照射された前記被計測物を撮像可能な撮像手段と、
    前記撮像手段により取得された画像データを基に、前記被計測物に係る三次元計測を実行可能な画像処理手段とを備え、
    前記画像処理手段は、
    N通りに位相変化させた前記第1光パターンの下で撮像し取得されたN通りの画像データを基に第1高さ計測を実行可能に構成されると共に、
    N通りに位相変化させた前記第2光パターンの下で撮像し取得されたN通りの画像データを基に第2高さ計測を実行可能に構成され、
    前記第1高さ計測の計測結果、及び、前記第2高さ計測の計測結果を基に、前記被計測物に係る高さ計測データを算出する処理を実行可能に構成され、
    前記第1高さ計測及び前記第2高さ計測を行う場合においてそれぞれ、
    前記N通りの画像データを基に、該画像データ上の所定の座標位置に係るN個の輝度値を取得する処理と、
    前記所定の座標位置に係るN個の輝度値の中から、白飛びしておらずかつ黒つぶれしていない2個以上N個未満の輝度値を抽出する処理と、
    前記2個以上N個未満の輝度値を基に前記所定の座標位置における高さを計測する処理とを実行可能に構成され、
    前記高さ計測データを算出する処理を行うにあたり、
    前記第1高さ計測の計測結果を算出する際に用いた、白飛びしておらずかつ黒つぶれしていない輝度値の数と、
    前記第2高さ計測の計測結果を算出する際に用いた、白飛びしておらずかつ黒つぶれしていない輝度値の数とに違いがある場合には、
    その数が多い方の計測結果を前記高さ計測データとして取得する、又は、その数が多い方の計測結果に所定の重み付けを行い算出した結果を高さ計測データとして取得することを特徴とする三次元計測装置。
  4. 前記画像処理手段は、
    前記白飛びしておらずかつ黒つぶれしていない輝度値であるか否かの判定を、前記画像データの各座標位置に係る輝度値について個々に行うことを特徴とする請求項1乃至3のいずれかに記載の三次元計測装置。
  5. 前記被計測物は、クリーム半田が印刷されたプリント基板、又は、半田バンプが形成されたウエハ基板であることを特徴とする請求項1乃至4のいずれかに記載の三次元計測装置。
  6. 位相シフト法を利用して所定の被計測物の三次元計測を行うための三次元計測方法であって、
    縞状の光強度分布を有する所定の光パターンを前記被計測物に対し照射する照射工程と、
    前記光パターンの位相をN通り(Nは3以上の自然数)に変化させる位相制御工程と、
    前記光パターンの照射された前記被計測物を撮像する撮像工程と、
    N通りに位相変化させた前記光パターンの下で撮像し取得されたN通りの画像データを基に、位相シフト法により前記被計測物の三次元計測を行う画像処理工程とを備え、
    前記画像処理工程において、
    前記N通りの画像データを基に、該画像データ上の所定の座標位置に係るN個の輝度値を取得する処理と、
    前記所定の座標位置に係るN個の輝度値の中から、白飛びしておらずかつ黒つぶれしていない2個以上N個未満の輝度値を抽出する処理と、
    前記2個以上N個未満の輝度値を基に前記所定の座標位置における高さを計測する処理とを実行可能に構成されていることを特徴とする三次元計測方法。
JP2019109740A 2019-06-12 2019-06-12 三次元計測装置及び三次元計測方法 Active JP7030079B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019109740A JP7030079B2 (ja) 2019-06-12 2019-06-12 三次元計測装置及び三次元計測方法
DE112020002836.4T DE112020002836T5 (de) 2019-06-12 2020-04-21 Vorrichtung zur dreidimensionalen messung und verfahren zur dreidimensionalen messung
CN202080043038.0A CN113966457B (zh) 2019-06-12 2020-04-21 三维测量装置和三维测量方法
PCT/JP2020/017212 WO2020250571A1 (ja) 2019-06-12 2020-04-21 三次元計測装置及び三次元計測方法
MX2021014445A MX2021014445A (es) 2019-06-12 2020-04-21 Dispositivo de medición tridimensional y método de medición tridimensional.
US17/534,539 US11927435B2 (en) 2019-06-12 2021-11-24 Three-dimensional measurement device and three-dimensional measurement method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019109740A JP7030079B2 (ja) 2019-06-12 2019-06-12 三次元計測装置及び三次元計測方法

Publications (2)

Publication Number Publication Date
JP2020201192A JP2020201192A (ja) 2020-12-17
JP7030079B2 true JP7030079B2 (ja) 2022-03-04

Family

ID=73743301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019109740A Active JP7030079B2 (ja) 2019-06-12 2019-06-12 三次元計測装置及び三次元計測方法

Country Status (6)

Country Link
US (1) US11927435B2 (ja)
JP (1) JP7030079B2 (ja)
CN (1) CN113966457B (ja)
DE (1) DE112020002836T5 (ja)
MX (1) MX2021014445A (ja)
WO (1) WO2020250571A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI813095B (zh) * 2021-12-10 2023-08-21 財團法人工業技術研究院 三維量測系統及其校正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003279329A (ja) 2002-02-28 2003-10-02 Ckd Corp 三次元計測装置
JP2005214653A (ja) 2004-01-27 2005-08-11 Olympus Corp 3次元形状測定方法及びその装置
US7525669B1 (en) 2004-07-09 2009-04-28 Mohsen Abdollahi High-speed, scanning phase-shifting profilometry using 2D CMOS sensor
JP2010281778A (ja) 2009-06-08 2010-12-16 Myuu Skynet:Kk 三次元形状計測装置
JP2016211986A (ja) 2015-05-11 2016-12-15 Ckd株式会社 三次元計測装置及び三次元計測方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI427440B (zh) * 2005-04-06 2014-02-21 Kodak Graphic Comm Canada Co 用於校正影像化規則圖案的條帶之方法與裝置
JP4827431B2 (ja) * 2005-04-15 2011-11-30 シーケーディ株式会社 三次元計測装置及び基板検査装置
DE102013211286A1 (de) * 2013-06-17 2014-12-18 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zur Vermessung eines Werkstücks mit einem optischen Sensor
JP6110897B2 (ja) * 2015-06-23 2017-04-05 Ckd株式会社 三次元計測装置
JP6109255B2 (ja) * 2015-07-14 2017-04-05 Ckd株式会社 三次元計測装置
JP6259806B2 (ja) * 2015-12-24 2018-01-10 Ckd株式会社 三次元計測装置
JP6553011B2 (ja) * 2016-10-14 2019-07-31 Ckd株式会社 三次元計測装置
CN109506591A (zh) * 2018-09-14 2019-03-22 天津大学 一种适应于复杂光照场景的自适应照明优化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003279329A (ja) 2002-02-28 2003-10-02 Ckd Corp 三次元計測装置
JP2005214653A (ja) 2004-01-27 2005-08-11 Olympus Corp 3次元形状測定方法及びその装置
US7525669B1 (en) 2004-07-09 2009-04-28 Mohsen Abdollahi High-speed, scanning phase-shifting profilometry using 2D CMOS sensor
JP2010281778A (ja) 2009-06-08 2010-12-16 Myuu Skynet:Kk 三次元形状計測装置
JP2016211986A (ja) 2015-05-11 2016-12-15 Ckd株式会社 三次元計測装置及び三次元計測方法

Also Published As

Publication number Publication date
MX2021014445A (es) 2022-06-29
CN113966457B (zh) 2024-06-11
CN113966457A (zh) 2022-01-21
US20220082374A1 (en) 2022-03-17
WO2020250571A1 (ja) 2020-12-17
US11927435B2 (en) 2024-03-12
DE112020002836T5 (de) 2022-02-24
JP2020201192A (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
US10139220B2 (en) Three-dimensional measurement device
JP5290233B2 (ja) 三次元計測装置及び基板検査装置
CN104335030B (zh) 基板的异物检测方法
JP6450700B2 (ja) 基板検査装置
JP6110897B2 (ja) 三次元計測装置
JP2010266445A (ja) プリント回路基板上における測定対象物の測定方法
JP5847568B2 (ja) 三次元計測装置
JP5957575B1 (ja) 三次元計測装置
JP5622816B2 (ja) プリント回路基板上における測定対象物の測定方法
JP7030079B2 (ja) 三次元計測装置及び三次元計測方法
JP2005337943A (ja) 三次元計測装置
KR101684244B1 (ko) 기판 검사방법
JP3597484B2 (ja) はんだ印刷検査装置
WO2016203668A1 (ja) 三次元計測装置
CN107532889B (zh) 三维测量装置
TWI580927B (zh) Three - dimensional measuring device and three - dimensional measurement method
WO2021053852A1 (ja) 外観検査装置、外観検査装置の較正方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220221

R150 Certificate of patent or registration of utility model

Ref document number: 7030079

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150