JP7139953B2 - 三次元形状測定装置、三次元形状測定方法及びプログラム - Google Patents

三次元形状測定装置、三次元形状測定方法及びプログラム Download PDF

Info

Publication number
JP7139953B2
JP7139953B2 JP2019001261A JP2019001261A JP7139953B2 JP 7139953 B2 JP7139953 B2 JP 7139953B2 JP 2019001261 A JP2019001261 A JP 2019001261A JP 2019001261 A JP2019001261 A JP 2019001261A JP 7139953 B2 JP7139953 B2 JP 7139953B2
Authority
JP
Japan
Prior art keywords
height data
height
dimensional shape
data
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019001261A
Other languages
English (en)
Other versions
JP2020112369A (ja
Inventor
貴行 西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2019001261A priority Critical patent/JP7139953B2/ja
Priority to DE112019006589.0T priority patent/DE112019006589T5/de
Priority to PCT/JP2019/051531 priority patent/WO2020145208A1/ja
Priority to CN201980087182.1A priority patent/CN113227707B/zh
Publication of JP2020112369A publication Critical patent/JP2020112369A/ja
Application granted granted Critical
Publication of JP7139953B2 publication Critical patent/JP7139953B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2527Projection by scanning of the object with phase change by in-plane movement of the patern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、三次元形状の測定装置、特に測定対象の高さ情報を取得可能な三次元形状測定装置に関する。
従来から、画像を用いて物体の三次元形状を測定する技術として、測定対象にプロジェクタ等の投影手段から周期性を有するパターンを投影し、該パターンが投影された状態の測定対象をカメラ等の撮影手段により撮影して、撮影された二次元画像を用いて測定対象の立体的形状を求める、位相シフト法が知られている。具体的には、撮影された画像において測定対象表面の形状(凹凸など)に依存して生じるパターンの歪みを解析することで、測定対象の高さを測定し、これに基づいて三次元形状を求める。
この際、検査対象の表面の形状に起因して、パターンが遮られて影が生じ、そのために高さを測定できない場合が生じるため、測定対象に対して異なる方向からパターンを投影するように複数の投影手段を配置することで、影になる領域を減少させることが一般的である(例えば特許文献1)。このようにして複数の投影手段から照射されるパターンの投影された複数の画像から複数の高さデータを取得し、これらを合成して一の高さデータを得て、三次元形状を測定する。
上記のような複数の投影手段については、測定対象に対する高さ基準が統一されているが、経時変化やアクシデントなどにより、各投影手段において上記の基準が崩れてしまう場合がある。また、異物の付着などによってノイズが発生することもある。このような状態で取得した複数の高さデータを合成して得られる三次元形状は、不適切な形状となってしまう。
これに対して、複数の投影部からのパターン照射によって取得された複数の高さデータを統合して、測定対象物の統合高さデータを算出することにより、統合高さデータの信頼性を向上させる技術が提案されている(例えば、特許文献2)。
具体的には、特許文献2には、複数の投影部から照射されるパターン毎の測定対象の高さデータを得た後に、信頼度の最も高い投影部に係る高さデータを基準にして、残りの高さデータを整列・統合させることにより、統合高さデータの信頼性を向上させることが記載されている。そして、投影部別に求められた高さ、信号対雑音比、振幅、平均明るさを媒介変数とする関数であるビジビリティ情報及びグレー情報などを用いてノイズ領域を求め、各投影部のデータのうちノイズが最も少ないものを、信頼度の最も高いデータとする(即ち基準とする)ことが記載されている。
特開2015-1381号公報 特開2012-112954号公報
しかしながら、特許文献2に記載されたような手段によると、相対的にノイズの最も少ないデータを基準データとして扱うことになるが、ノイズの多寡は必ずしも高さデータの精度を示すことにはならないため、高さデータの精度が相対的に低いデータを基準データ
としてしまう虞がある。また、そもそも全ての投影部からの照射パターンに基づいて取得される測定対象の高さデータの信頼度が低い(十分に高くない)場合であっても、そのようなデータの中から相対的に最も信頼度が高いデータを基準として処理を行うことになる。このように、客観的には信頼度が十分でない高さデータを用いて得られた統合高さデータ、ひいてはこれにより測定される三次元形状の精度は、低いものになる虞がある。
本発明は、上記のような実情に鑑みてなされたものであり、複数の投影手段からパターンが投影された測定対象物の複数の画像から取得した複数の高さデータを合成して、前記測定対象物の三次元形状を測定する場合において、精度の良い合成データを得る技術を提供することを目的とする。
前記の目的を達成するために、本発明は以下の構成を採用する。
本発明に係る三次元形状測定装置は、測定対象に対してパターンを投影する複数の投影手段と、前記複数の投影手段が投影するパターン毎に、前記パターンが投影された前記測定対象を含む像を撮影する撮影手段と、前記撮影手段によって撮影された画像を処理することで、前記測定対象の三次元形状を測定する測定手段と、を有しており、前記測定手段は、前記画像から、前記複数の投影手段が投影するパターン毎に、前記測定対象の高さデータを算出し、該算出されたそれぞれの高さデータのうち、前記測定対象に対して予め設定された測定基準箇所の高さの値が、予め設定された高さ想定値に最も近い高さデータを基準高さデータとして選択し、該基準高さデータとその他の全ての前記算出された高さデータとの高さの差異をそれぞれ求め、前記基準高さデータ以外の全ての前記高さデータのそれぞれに対して前記差違分をオフセットする補正を行ったうえで、前記算出された各高さデータを合成し、該合成された高さデータに基づいて前記測定対象の三次元形状を測定する。
上記のような構成によると、複数の高さデータを合成する際に、予め定める高さ想定値に最も近い高さデータを基準データとし、その他の高さデータを該基準データに合わせて補正したうえで各データを合成するため、高さ想定値との誤差が少ない合成データを得ることができる。これにより、例えば、高さ想定値を装置のキャリブレーション後の設計値としておくと、経時変化などによって装置のキャリブレーションが崩れている場合であっても、その悪影響を最小限にした精度の良い合成データを得ることができる。そして、当該合成データに基づいて測定対象の三次元形状を測定することで、信頼度の高い測定結果を得る事ができる。
また、前記測定基準箇所は、前記複数の投影手段が投影するいずれのパターンを撮影した画像であっても、実際の高さとの誤差の少ない高さデータが算出できる領域であってもよい。このような構成によると、高さ想定値と算出されるそれぞれの高さデータとの誤差を少なくすることができるとともに、各高さデータ間における差も小さくすることができる。このため、より精度の良い合成データを得る事ができる。
また、前記測定対象は、電子回路基板又は該基板に配置された部品であって、前記測定基準箇所は、前記基板に設けられたフィデューシャルマーク、又は、前記基板面であってもよい。また、前記測定基準箇所は、前記三次元形状測定装置内に設置された治具であり、前記撮影手段は、前記測定対象と併せて前記冶具を撮影するものであってもよい。このような箇所は、投影パターンが透過する虞がなく、また、平坦で周辺に投影パターンの影になるような構造もないことが通常である。このため、いずれのパターンが投影された画像からでも誤差の少ない高さデータを算出することができ、測定基準箇所とするのに好適である。
また、前記測定手段は、前記算出された各高さデータに異常があるか否かを判定してもよい。異常がある場合には、測定を中止してもよいし、何らかの出力手段によって警告を発信するようにしてもよい。このような構成によれば、正常でない高さデータが混在することによって、信頼度の低い合成データを取得することを防止することができる。また、明らかに異常な値が算出された場合には、測定対象の配置状態、或いは装置に何らかの不具合が発生している可能性があり、この確認を早期に行うことが可能になる。
なお、本発明は、上記構成ないし機能の少なくとも一部を有する三次元形状測定装置として捉えることができる。また、本発明は、かかる三次元形状測定装置を備える検査装置や3次元スキャナや物体認識装置として捉えることもできる。
また、本発明に係る三次元形状の測定方法は、測定対象の三次元形状を測定するための方法であって、前記測定対象の高さ測定の基準となる測定基準箇所の高さ想定値を設定する、高さ想定値設定ステップと、前記測定対象に第1の投影手段から映像パターンを投影する第1の投影ステップと、前記第1の投影ステップで映像パターンが投影された前記測定対象を含む像を撮影する第1の撮影ステップと、測定対象に第2の投影手段から映像パターンを投影する第2の投影ステップと、前記第2の投影ステップで映像パターンが投影された前記測定対象を含む像を撮影する第2の撮影ステップと、前記第1の撮影ステップ及び前記第2の撮影ステップで撮影された各画像から、当該画像毎に前記測定対象の高さデータを算出する、高さデータ算出ステップと、前記高さデータ算出ステップで算出された複数の高さデータのうち、前記測定基準箇所の高さの値が前記高さ想定値に最も近い値である高さデータを基準高さデータとして選択する、基準選択ステップと、前記基準高さデータと、その他の高さデータとの差違の値を求める、差違分算出ステップと、前記基準高さデータ以外の高さデータに対して、前記差違分算出ステップで求められた差違の値をオフセットする補正を行う、高さデータ補正ステップと、前記高さデータ補正ステップで補正された高さデータと、前記基準高さデータとを合成する、合成データ作成ステップと、前記合成データ作成ステップで作成された合成データに基づいて、前記測定対象の三次元形状を測定する、三次元形状測定ステップと、を有する。
また、前記測定対象は、電子回路基板又は該基板に配置された部品であって、前記測定基準箇所は、前記基板に設けられたフィデューシャルマーク、又は、前記基板面であってもよい。また、前記測定基準箇所は前記測定対象が配置される装置内の治具であって、前記の各撮影ステップでは、前記測定対象と併せて、前記冶具が撮影されるようにしてもよい。
また、前記高さデータ算出ステップで算出された各高さデータに異常があるか否かを判定する、高さデータ異常確認ステップをさらに有していてもよい。このような構成によれば、正常でない高さデータが混在することによって、信頼度の低い合成データを取得することを防止することができる。
また、前記差違分算出ステップで求められた差違の値を記憶装置に記憶させる、差違分登録ステップをさらに有しており、前記高さデータ補正ステップでは、前記差違分登録ステップで登録された差違の値を参照することによって、差違の値をオフセットする補正を行うようにしてもよい。このような構成であると、同一形状の測定対象を多数測定する際に、基準高さデータを算出する処理を省略することができ、効率的である。
また、本発明は、上記の方法を三次元形状測定装置に実行させるためのプログラム、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。
上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
本発明によれば、複数の投影手段からパターンが投影された測定対象物の複数の画像から取得した複数の高さデータを合成して、前記測定対象物の三次元形状を測定する場合において、精度の良い合成データを得る技術を提供することができる。
図1は本発明の適用例に係る三次元形状測定装置の構成を示す模式図である。 図2は本発明の適用例に係る三次元形状測定装置の三次元形状測定処理の流れを示すフローチャートである。 図3Aは実施形態1に係る基板検査装置のハードウェア構成を示す模式図である。図3Bは実施形態1に係る基板検査装置の概略平面図である。 図4は実施形態1に係る検査対象の外観を例示する図である。 図5は実施形態1に係る制御装置の機能を示す機能ブロック図である。 図6は実施形態1に係る基板検査処理の手順を示すフローチャートである。
以下、図面を参照して、本発明の実施形態の一例について説明する。
<適用例>
(適用例の構成)
本発明は例えば、図1に示すような三次元形状測定装置に適用することができる。図1は本適用例に係る三次元形状測定装置9の構成を示す模式図である。三次元形状測定装置9は、測定対象物Oの三次元形状を測定する装置であり、図1に示すように主な構成として投影手段としてのプロジェクタ91aおよび91b、撮影手段としてのカメラ92、測定手段としての制御装置93(例えばコンピュータ)、を有している。
プロジェクタ91aおよび91bは、測定対象に対してパターンを投影する手段である。ここで、パターンとは、例えば輝度の変化が周期性を示す縞模様であり、時間的に位相を変化させることが可能なものである。本適用例では、プロジェクタ91aから投影されるパターンをパターンa、プロジェクタ91bから投影されるパターンをパターンbとする。プロジェクタ91a、91bはそれぞれ測定対象物Oに対して一定の傾斜角を有するように配置される。
カメラ92は、パターンが投影された状態の測定対象物Oを撮影し、デジタル画像を出力する手段である。なお、以下では、撮影手段によって撮影された画像を観測画像とも表記する。カメラ92は例えば、光学系とイメージセンサを有して構成される。図1に示すように、カメラ92は測定対象物Oの真上から測定対象物Oを撮影するように配置される。なお、プロジェクタ91aとプロジェクタ91bは、カメラ92を中心に円周方向に沿って互いに対向する位置に配置される。
制御装置93は、プロジェクタ91a、91b、カメラ92及び搬送機構の制御、カメラ92から取り込まれた画像に対する処理、三次元形状測定などの機能を有しており、本発明における測定手段に該当する。制御装置93は、CPU(Central Processing Unit
)、RAM(Random Access Memory)、不揮発性の記憶装置(例えば、ハードディスクドライブ、フラッシュメモリなど)、入力装置(例えば、キーボード、マウス、タッチパネ
ルなど)、表示装置(例えば、液晶ディスプレイなど)を備えるコンピュータにより構成することができる。
以上の構成を有する三次元形状測定装置9において測定対象物Oの三次元形状の測定を行う際には、各プロジェクタから測定対象物Oに投影するパターンの位相を変えながら、複数枚の画像をカメラ92によって撮影し、撮影された画像を制御装置93が、例えば位相シフト法などによって処理することで、測定対象物Oの三次元形状を測定する。
(制御装置の機能)
続いて、制御装置93の三次元形状測定に関わる機能を説明する。制御装置93は、三次元形状測定に関わる機能として、画像取得部931、高さデータ算出部932、補正値算出部933、合成データ作成部934、三次元形状測定部935、を有している。
画像取得部931はカメラ92から三次元形状測定に用いる複数の観測画像を取り込む機能であり、例えば、測定対象物Oに投影されるパターンの位相が4分の1πずつ異なる画像4枚を、パターンa、パターンbのそれぞれで取得する。本適用例では、パターンaを撮影した観測画像を観測画像a、パターンbを撮影した観測画像を観測画像bという。
高さデータ算出部932は取得された複数の観測画像に基づいて、測定対象物Oの高さデータを算出する機能である。例えば、取得した4枚の観測画像間における測定対象物Oの表面上の一点の位置を表す画素の二次元の位相差に基づいて、当該点の高さを、観測画像a、観測画像bのそれぞれで求める。本適用例では、観測画像aから算出される高さデータを高さデータa、観測画像bから算出される高さデータを高さデータbとして説明する。
補正値算出部933は、高さデータ算出部932によって求めた、高さデータa及び高さデータbと、予め記憶装置に登録されている理想的な高さデータである高さ想定値とを比較し、高さ想定値に最も近い値の高さデータを、基準高さデータとして選定する。そして、高さデータとして選択された高さデータとその他の高さデータとの差分を、補正値として算出する。
合成データ作成部934は、基準高さデータ以外の高さデータに対して、補正値算出部933で算出された補正値の分をオフセットする補正を行ったうえで、全ての高さデータを合成した合成データを作成する。なお、高さデータの合成は、例えば複数の高さデータのプロファイルを所定の方法でつなげる、平均を取る、などの方法により行うことができる。これにより、測定対象物Oにおいて、構造上、一方向からのパターン投影では影となってしまい、高さの値が欠損した分を補った合成データを得る事ができる。
三次元形状測定部935は、得られた合成データに基づいて測定対象物Oの三次元形状を測定する。
(三次元形状測定処理の流れ)
次に、図2を参照して、本適用例における三次元形状測定の手順について説明する。まず、制御装置93は、測定対象物Oについての測定基準箇所の高さ想定値を取得する(ステップS901)。具体的には、例えば、ユーザーが入力手段を介して、測定基準箇所の設計値を高さ想定値として、記憶手段に記憶する。
次に、制御装置93は、測定対象物Oに対して、プロジェクタ91aからパターンaを投影させ(ステップS902)、カメラ92によってパターンaが投影されている状態の測定対象物Oを撮影させて画像取得部931が観測画像aを取得する(ステップS903
)。続けて、制御装置93は、プロジェクタ91bについても同様に、パターンbを投影させ(ステップS904)、カメラ92によってパターンaが投影されている状態の測定対象物Oを撮影させて画像取得部931が観測画像bを取得する(ステップS905)。
次に、高さデータ算出部932が観測画像aから高さデータaを、観測画像bから高さデータbをそれぞれ求める(ステップS906)。そして、補正値算出部933が、高さデータa及び高さデータbの測定基準箇所の高さの値と、予め取得された測定基準箇所の高さ想定値とを比較し、より高さ想定値に近い値を有する高さデータを基準高さデータとして選定する(ステップS907)。ここでは、仮に高さデータaが基準高さデータとして選定されたものとして説明を行う。補正値算出部933はさらに、基準高さデータである高さデータaと高さデータbとの高さの値の差異を算出し、これを高さデータbの補正値とする(ステップS908)。具体的には、高さデータaの高さの値から、高さデータbの高さの値を減じてその差を求めればよい。
次に、合成データ作成部934は、高さデータbに対して、補正値の分をオフセットする補正を行う(ステップS909)。具体的には、例えば、ステップS908で高さデータaから高さデータbを減じた差が、正の値であった場合には、高さデータbに当該差の分を加える補正を行う。逆に上記の差が負の値であった場合には、高さデータbから当該差の分を減ずる補正を行う。以下、高さデータbに補正を行った後の高さデータを高さデータb2とする。
そして、合成データ作成部934は、高さデータaと、高さデータb2とを合成して合成データを作成し(ステップS910)、三次元形状測定部935が、得られた合成データに基づいて測定対象物Oの三次元形状を測定して(ステップS911)、一連のルーティンが終了する。
以上のような、本適用例に係る三次元形状測定装置9の構成により、例えば経時変化などによりプロジェクタの配置関係が変化し、同一平面に対する各プロジェクタの高さデータが高さ方向にずれてしまう場合であっても、精度のよい合成高さデータを得ることができる。ひいては、三次元形状測定の信頼性を向上させることができる。
<実施形態1>
次に、本発明を実施するための形態の他の例である基板検査装置1について説明する。ただし、この実施形態に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。
(基板検査装置のハードウェア構成)
基板検査装置1は、いわゆる位相シフト法によって電子回路基板の三次元形状の検査を行う外観検査装置であり、図3A及び図3Bは、基板検査装置1のハードウェア構成の概略を示している。図3A及び図3Bに示すように、基板検査装置1は主なハードウェア構成として、プロジェクタ11c、11d、11e、11fと、カメラ12、制御装置13、基板搬送手段14、基板保持機構15、治具Jを有している。
プロジェクタ11c、11d、11e、11fは、基板Kの表面に対してパターンを投影する手段である。パターンは例えば輝度の変化が周期性を示す縞模様であり、時間的に位相を変化させることが可能なものである。本実施形態では、プロジェクタ11cから投影されるパターンをパターンc、プロジェクタ11dから投影されるパターンをパターンd、プロジェクタ11eから投影されるパターンをパターンe、プロジェクタ11fから投影されるパターンをパターンfとする。各プロジェクタはそれぞれ基板Kに対して一定
の傾斜角を有するように配置される。
カメラ12は、パターンが投影された状態の基板Kを撮影し、デジタル画像を出力する撮影手段である。カメラ12は例えば、光学系とイメージセンサを有して構成される。図3Aに示すように、カメラ12は基板Kの真上から基板Kを撮影するように配置される。なお、図3Bに示すように、各プロジェクタは、カメラ12を中心に円周方向に沿って90度ずつずれて等間隔に配置される。
制御装置13は、各プロジェクタ、カメラ12及び基板搬送手段14の制御、カメラ12から取り込まれた画像に対する処理、三次元形状測定などの機能を有しており、本発明における測定手段に該当する。制御装置13は、CPU、RAM、不揮発性の記憶装置(例えば、ハードディスクドライブ、フラッシュメモリなど)、入力装置(例えば、キーボード、マウス、タッチパネルなど)、表示装置(例えば、液晶ディスプレイなど)を備えるコンピュータにより構成することができる。後述する制御装置13の各機能は、不揮発性の記憶装置に格納されたプログラムをRAMにロードし、CPUが当該プログラムを実行することにより実現することができる。ただし、制御装置13の機能の全部又は一部を、専用のハードウェアで代替しても構わない。また、分散コンピューティングやクラウドコンピューティングの技術を利用し、制御装置13の機能を複数のコンピュータの協働により実現しても構わない。
基板搬送手段14は、例えば基板Kを載置及び移送可能なレールを含んで構成され、基板Kを検査位置まで搬送し、検査終了後の基板Kを検査位置から搬出する。基板保持機構15は、検査位置に搬送された基板Kを検査の間保持する機構であり、例えばエアチャック(と爪)などの手段で基板Kを保持する。治具Jは基板Kの配置状態の確認用に、基板保持機構15に、基板Kの基準面と同じ高さに表面が位置する様に配置されている。
以上の構成を有する基板検査装置1において、基板Kの検査は次のようにして行われる。即ち、各プロジェクタから基板Kに投影するパターンの位相を変えながら、複数枚の画像をカメラ12によって撮影し、撮影された画像を制御装置13が、位相シフト法によって処理することで、基板Kの三次元形状を測定し、これが所定の検査基準を満たすか否かを判定する。
なお、図4に検査対象である基板Kの外観を例示する。図中のFは、本実施形態における測定基準箇所としてのフィデューシャルマークである。
(制御装置の機能)
続いて、制御装置13の三次元形状測定に関わる機能を説明する。図5は、制御装置13の三次元形状測定に関わる機能を示す機能ブロック図である。制御装置13は、三次元形状測定に関わる機能として、画像取得部131、プロジェクタ光量判定部132、高さデータ算出部133、高さデータ異常判定部134、補正値算出部135、補正値登録部136、合成データ作成部137、三次元形状測定部138、合否判定部139を有している。
上記機能のうち、画像取得部131、高さデータ算出部133、三次元形状測定部138、については、適用例において説明した機能と同様であるため、詳細な説明は省略する。なお、本実施形態では、パターンcを撮影した観測画像を観測画像c、パターンdを撮影した観測画像を観測画像d、パターンeを撮影した観測画像を観測画像e、パターンfを撮影した観測画像を観測画像fという。また、観測画像cから算出される高さデータを高さデータc、観測画像dから算出される高さデータを高さデータd、観測画像eから算出される高さデータを高さデータe、観測画像fから算出される高さデータを高さデータ
f、とする。
プロジェクタ光量判定部132は、フィデューシャルマークFを撮影した観測画像を取得した際に、フィデューシャルマークFに照射されたパターンの光量の設定の適否を判定し、フィデューシャルマークFに適切な光量でパターンが照射されていないと判断した場合には、リトライ用の光量設定を適用して再度パターンを照射させる。
高さデータ異常判定部134は、算出された高さデータの値が正常な範囲のものであるか否かを判定する。具体的には、観測画像のうち測定基準箇所(本実施形態ではフィデューシャルマークF)を構成する画素のヒストグラムが、最頻値を頂点とした一つの山を形成するような場合には、当該高さデータには異常が無いと判断する。一方、前記ヒストグラムに複数の山が存在するような場合には、何らかの異常があると判断する。具体的には撮影時に基板Kが振動している、測定基準箇所に何らかの理由で影になっている部分が存在する、などの異常があると考えられる。このように異常が有ると判断した場合には、後述する補正値の登録処理をキャンセルする。
また、測定基準箇所の高さの値が、所定の高さ想定値から大きく離れている場合にも、高さデータに異常が有ると判断する。例えば、所定の高さ想定値が3mmであるところ、算出された高さデータでは6mmである様なケースが考えられる。このような場合には、基板Kが正しく配置されていない、装置に不具合がある、などの問題が考えられるため、何らかの出力手段により、警告を発信するようにしてもよい。
補正値算出部135は、高さデータc、高さデータd、高さデータe、高さデータfの測定基準箇所の高さの値と、所定の高さ想定値とを比較し、高さ想定値に最も近い値の高さデータを、基準高さデータとして選定する。そして、高さデータとして選択された高さデータとその他の高さデータとの差分を、補正値として算出する。補正値は、基準高さデータ以外の高さデータのそれぞれに対して算出される。例えば、高さデータcが基準高さデータとして選択された場合には、高さデータd、高さデータe、高さデータfに対して、それぞれ、補正値d、補正値e、補正値f、が算出される。以下、本実施形態では、高さデータcが基準高さデータとして選択されるものとして説明を行う。
補正値登録部136は、補正値算出部135で算出された補正値d、補正値e、補正値fを、記憶手段に記憶させる。
合成データ作成部137は、高さデータd、高さデータe、高さデータfのそれぞれに対応する補正値を記憶部から呼び出して、各高さデータから補正値分をオフセットする補正を行う。これにより、各高さデータに補正を行った、高さデータd2、同高さデータe2、同高さデータf2を求め、これらと高さデータcとを合成して、合成データを作成する。
合否判定部139は、三次元形状測定部138が測定した基板Kの三次元形状が、所定の基準を満たすか否かを判定し、その結果を、いずれかの出力手段により出力する。
(基板検査処理の流れ)
次に、図6を参照して、本実施形態における基板検査の手順について説明する。まず、制御装置13は、基板Kについての測定基準箇所であるフィデューシャルマークFの高さ想定値を取得する(ステップS101)。例えば、ユーザーが入力手段を介して、基板Kの基準面の高さ設計値(例えば、3mm)を、高さ想定値として記憶手段に記憶してもよい。
次に画像取得部131は、基板Kに対して各プロジェクタからパターンを投影し、これをカメラ12で撮影することでパターンc、パターンd、パターンe、パターンfそれぞれについての観測画像を取得する(ステップS102)。具体的な処理は適用例の場合と同様であるため、詳細な説明は省略する。
次に、プロジェクタ光量判定部132は、観測画像c、観測画像d、観測画像e、観測画像fにおいて、フィデューシャルマークFに照射されたパターンの光量の設定が適切であるか否かを判定する処理を行う(ステップS103)。ここで、フィデューシャルマークFに適切な光量でパターンが照射されていない場合には、得られる高さデータの信頼性が低くなるため、不適切な光量である判断した場合には、リトライ用の光量設定を適用して再度パターンを照射させる。
次に、高さデータ算出部133が、観測画像c、観測画像d、観測画像e、観測画像fから、それぞれ高さデータc、高さデータd、高さデータe、高さデータfを、算出する(ステップS104)。
続けて、高さデータ異常判定部134が、算出された各高さデータの値が正常な範囲のものであるか、即ち異常があるか否かを判定する(ステップS105)。ここで、異常がない場合には、ステップS106に進み、基準高さデータの算出を行う。一方、異常ありと判定された場合には、ステップS106からS108の処理を飛ばして、ステップS109に進む。
ステップS106においては、補正値算出部135が、各高さデータの測定基準箇所(フィデューシャルマークF)の高さの値と、ステップS101で取得された高さ想定値とを比較し、より高さ想定値に近い値を有する高さデータを基準高さデータとして選定する。本実施形態では基準高さデータとなるのは高さデータcである。補正値算出部135はさらに、基準高さデータである高さデータcと、その他の高さデータとの高さの値の差異を求め、補正値d、補正値e、補正値fを、算出する(ステップS107)。
次に、補正値登録部136は、補正値算出部135で算出された補正値d、補正値e、補正値fを、登録する処理を行う(ステップS108)。具体的には、記憶手段に各補正値を記憶させる。
次に、合成データ作成部137は、高さデータd、高さデータe、高さデータfのそれぞれに対応する補正値を記憶部から呼び出して、各高さデータから補正値分をオフセットする補正を行う(ステップS109)。そして、各高さデータの補正後のデータである、高さデータd2、同高さデータe2、同高さデータf2を求め、これらと高さデータcとを合成して、合成高さデータを作成する(ステップS110)。
そして、三次元形状測定部138が、得られた合成高さデータに基づいて基板Kの三次元形状を測定して(ステップS111)、合否判定部139が、当該三次元形状に基づいて、基板Kが所定の基準を満たしているか否かを判定して結果を出力し(ステップS112)、一連のルーティンが終了する。
本実施形態のような基板検査装置1の構成によると、プロジェクタ光量判定部132によりプロジェクタの光量が適切か否か自動で判定されるため、不適切な光量で取得した観測画像に基づいて測定処理を行うことを抑止でき、高い信頼度で三次元形状の測定を行うことができる。また、高さデータ異常判定部134により、算出された高さデータが適切か否か判定されるため、不適切なデータを用いて合成高さデータが作成されることを防止することができ、高い信頼度で三次元形状の測定を行うことができる。
<変形例>
なお、上記実施形態1では、測定基準箇所は検査対象である基板Kに設けられたフューディシャルマークであったが、測定基準箇所は必ずしもフューディシャルマークである必要は無い。例えば、基板Kの基板面の任意の位置を測定基準箇所としてもよい。
また、測定基準箇所は必ずしも検査対象に設けられていなくてもよい。例えば、基板検査装置1に設けられた治具Jを測定基準箇所としてもよい。治具Jを測定基準箇所とすると、影になる領域が生じたり、搬送による震動の影響を受けたりすることがないため、高さデータを算出する際に異常な値が算出されることは略考えられない。このため、測定基準箇所を治具Jにすると、検査対象である基板Kに測定基準箇所を設けるよりも信頼度の高い高さデータを得る事ができる。また、これによって高さデータ異常判定部134による判定処理を省略することもできる。
なお、本実施形態に係る基板検査装置1では、プロジェクタを4つ配置する構成であったが、プロジェクタの数は2以上であれば、いくつであってもよい。
<その他>
上記各実施形態は、本発明を例示的に説明するものに過ぎず、本発明は上記の具体的な形態には限定されない。本発明はその技術的思想の範囲内で種々の変形が可能である。例えば、上記各例においては、全てのプロジェクタについての観測画像を取得してから、高さデータを算出する処理を行っていたが、プロジェクタ毎に、パターン投影、観測画像取得、高さデータ算出の処理を行うようにしてもよい。
本発明の一の態様は、測定対象に対してパターンを投影する複数の投影手段(11c,11d,11e,11f)と、前記複数の投影手段が投影するパターン毎に、前記パターンが投影された前記測定対象を含む像を撮影する撮影手段(12)と、前記撮影手段によって撮影された画像を処理することで、前記測定対象の三次元形状を測定する測定手段(13)と、を有しており、前記測定手段は、前記画像から、前記複数の投影手段が投影するパターン毎に、前記測定対象の高さデータを算出し、該算出されたそれぞれの高さデータのうち、前記測定対象に対して予め設定された測定基準箇所の高さの値が、予め設定された高さ想定値に最も近い高さデータを基準高さデータとして選択し、該基準高さデータとその他の全ての前記算出された高さデータとの高さの差異をそれぞれ求め、前記基準高さデータ以外の全ての前記高さデータのそれぞれに対して前記差違分をオフセットする補正を行ったうえで、前記算出された各高さデータを合成し、該合成された高さデータに基づいて前記測定対象の三次元形状を測定する、ことを特徴とする三次元形状測定装置である。
また、本発明の他の一の態様は、測定対象の三次元形状を測定するための方法であって、前記測定対象の高さ測定の基準となる測定基準箇所の高さ想定値を設定する、想定値設定ステップ(S901)と、前記測定対象に第1の投影手段から映像パターンを投影する第1の投影ステップ(S902)と、前記第1の投影ステップで映像パターンが投影された前記測定対象を含む像を撮影する第1の撮影ステップ(S903)と、測定対象に第2の投影手段から映像パターンを投影する第2の投影ステップ(S904)と、前記第2の投影ステップで映像パターンが投影された前記測定対象を含む像を撮影する第2の撮影ステップ(S905)と、前記第1の撮影ステップ及び前記第2の撮影ステップで撮影された各画像から、当該画像毎に前記測定対象の高さデータを算出する、高さデータ算出ステップ(S906)と、前記高さデータ算出ステップで算出された複数の高さデータのうち、前記測定基準箇所の高さの値が前記高さ想定値に最も近い値である高さデータを基準高さデータとして選択する、基準選択ステップ(S907)と、前記基準高さデータと、そ
の他の高さデータとの高さの値の差違を求める、差違分算出ステップ(S908)と、前記基準高さデータ以外の高さデータに対して、前記差違分算出ステップで求められた差違分をオフセットする補正を行う、高さデータ補正ステップ(S909)と、前記高さデータ補正ステップで補正された高さデータと、前記基準高さデータとを合成する、合成データ作成ステップ(S910)と、前記合成データ作成ステップで作成された合成データに基づいて、前記測定対象の三次元形状を測定する、三次元形状測定ステップ(S911)と、を有する三次元形状の測定方法である。
1・・・基板検査装置
9・・・三次元形状測定装置
11、91・・・プロジェクタ
12、92・・・カメラ
13、93・・・制御装置
14・・・基板搬送手段
15・・・基板保持機構
J・・・治具
K・・・基板
O・・・測定対象物

Claims (11)

  1. 測定対象に対してパターンを投影する複数の投影手段と、
    前記複数の投影手段が投影するパターン毎に、前記パターンが投影された前記測定対象を含む像を撮影する撮影手段と、
    前記撮影手段によって撮影された画像を処理することで、前記測定対象の三次元形状を測定する測定手段と、を有しており、
    前記測定手段は、
    前記画像から、前記複数の投影手段が投影するパターン毎に、前記測定対象の高さデータを算出し、該算出されたそれぞれの高さデータのうち、前記測定対象に対して予め設定された測定基準箇所の高さの値が、予め設定された高さ想定値に最も近い高さデータを、前記算出された各高さデータを合成する基準としての基準高さデータとして選択し、該基準高さデータとその他の全ての前記算出された高さデータとの高さの差異をそれぞれ求め、前記基準高さデータ以外の全ての前記高さデータのそれぞれに対して前記差違分をオフセットする補正を行ったうえで、前記算出された各高さデータを合成し、該合成された高さデータに基づいて前記測定対象の三次元形状を測定する、
    ことを特徴とする三次元形状測定装置。
  2. 前記測定基準箇所は、前記複数の投影手段が投影するいずれのパターンを撮影した画像であっても、実際の高さとの誤差の少ない高さデータが算出できる領域である、ことを特徴とする、請求項1に記載の三次元形状測定装置。
  3. 前記測定対象は、電子回路基板又は該基板に配置された部品であって、
    前記測定基準箇所は、前記基板に設けられたフィデューシャルマーク、又は、前記基板面である、
    ことを特徴とする請求項2に記載の三次元形状測定装置。
  4. 前記測定基準箇所は、前記三次元形状測定装置内に設置された治具であり、
    前記撮影手段は、前記測定対象と併せて前記冶具を撮影する、
    ことを特徴とする、請求項2に記載の三次元形状測定装置。
  5. 前記測定手段は、前記算出された各高さデータに異常があるか否かを判定する、
    ことを特徴とする請求項1から4のいずれか1項に記載の三次元形状測定装置。
  6. 測定対象の三次元形状を測定するための方法であって、
    前記測定対象の高さ測定の基準となる測定基準箇所の高さ想定値を設定する、想定値設定ステップと、
    前記測定対象に第1の投影手段から映像パターンを投影する第1の投影ステップと、
    前記第1の投影ステップで映像パターンが投影された前記測定対象を含む像を撮影する第1の撮影ステップと、
    測定対象に第2の投影手段から映像パターンを投影する第2の投影ステップと、
    前記第2の投影ステップで映像パターンが投影された前記測定対象を含む像を撮影する第2の撮影ステップと、
    前記第1の撮影ステップ及び前記第2の撮影ステップで撮影された各画像から、当該画像毎に前記測定対象の高さデータを算出する、高さデータ算出ステップと、
    前記高さデータ算出ステップで算出された複数の高さデータのうち、前記測定基準箇所の高さの値が前記高さ想定値に最も近い値である高さデータを、前記算出された各高さデータを合成する基準としての基準高さデータとして選択する、基準選択ステップと、
    前記基準高さデータと、その他の高さデータとの高さの値の差違を求める、差違分算出ステップと、
    前記基準高さデータ以外の高さデータに対して、前記差違分算出ステップで求められた差違分をオフセットする補正を行う、高さデータ補正ステップと、
    前記高さデータ補正ステップで補正された高さデータと、前記基準高さデータとを合成する、合成データ作成ステップと、
    前記合成データ作成ステップで作成された合成データに基づいて、前記測定対象の三次元形状を測定する、三次元形状測定ステップと、を有する
    ことを特徴とする、三次元形状の測定方法。
  7. 前記測定対象は、電子回路基板又は該基板に配置された部品であって、
    前記測定基準箇所は、前記基板に設けられたフィデューシャルマーク、又は、前記基板面である、
    ことを特徴とする請求項6に記載の三次元形状の測定方法。
  8. 前記測定基準箇所は前記測定対象が配置される装置内の治具であって、
    前記の各撮影ステップでは、前記測定対象と併せて、前記冶具が撮影される、
    ことを特徴とする請求項6に記載の三次元形状の測定方法。
  9. 前記高さデータ算出ステップで算出された各高さデータに異常があるか否かを判定する、高さデータ異常確認ステップをさらに有する、
    ことを特徴とする請求項6から8のいずれか1項に記載の三次元形状の測定方法。
  10. 前記差違分算出ステップで求められた差違の値を記憶装置に記憶させる、差違分登録ステップをさらに有しており、
    前記高さデータ補正ステップでは、前記差違分登録ステップで登録された差違の値を参照することによって、差違の値をオフセットする補正を行う、
    ことを特徴とする請求項6から9のいずれか1項に記載の三次元形状の測定方法。
  11. 請求項6から10のいずれか1項に記載の各ステップを有する処理を三次元形状測定装置に実行させるためのプログラム。
JP2019001261A 2019-01-08 2019-01-08 三次元形状測定装置、三次元形状測定方法及びプログラム Active JP7139953B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019001261A JP7139953B2 (ja) 2019-01-08 2019-01-08 三次元形状測定装置、三次元形状測定方法及びプログラム
DE112019006589.0T DE112019006589T5 (de) 2019-01-08 2019-12-27 Vorrichtung zur messung dreidimensionaler form, verfahren zur messung dreidimensionaler form und programm
PCT/JP2019/051531 WO2020145208A1 (ja) 2019-01-08 2019-12-27 三次元形状測定装置、三次元形状測定方法及びプログラム
CN201980087182.1A CN113227707B (zh) 2019-01-08 2019-12-27 三维形状测定装置、三维形状测定方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019001261A JP7139953B2 (ja) 2019-01-08 2019-01-08 三次元形状測定装置、三次元形状測定方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020112369A JP2020112369A (ja) 2020-07-27
JP7139953B2 true JP7139953B2 (ja) 2022-09-21

Family

ID=71521624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019001261A Active JP7139953B2 (ja) 2019-01-08 2019-01-08 三次元形状測定装置、三次元形状測定方法及びプログラム

Country Status (4)

Country Link
JP (1) JP7139953B2 (ja)
CN (1) CN113227707B (ja)
DE (1) DE112019006589T5 (ja)
WO (1) WO2020145208A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006041604A (ja) 2004-07-22 2006-02-09 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2009038359A (ja) 2007-07-06 2009-02-19 Canon Inc 露光装置およびデバイス製造方法
JP2009147228A (ja) 2007-12-17 2009-07-02 Nikon Corp 露光装置、露光方法及びデバイス製造方法
JP2016045019A (ja) 2014-08-20 2016-04-04 オムロン株式会社 基板検査装置のティーチング装置及びティーチング方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3427141B2 (ja) * 1995-07-18 2003-07-14 株式会社ニコン パターン位置測定方法及び装置
JP4359939B2 (ja) * 1997-05-22 2009-11-11 株式会社トプコン 画像測定装置
JP3853510B2 (ja) * 1998-04-08 2006-12-06 本田技研工業株式会社 車両用サブフレームの組立精度検査方法及びこの方法の実施に用いるダミーサスペンションアーム
US6993179B1 (en) * 2000-08-07 2006-01-31 Koninklijke Philips Electronics N.V. Strapdown system for three-dimensional reconstruction
JP4254204B2 (ja) * 2001-12-19 2009-04-15 富士ゼロックス株式会社 画像照合装置、画像形成装置及び画像照合プログラム
CN101482398B (zh) * 2009-03-06 2011-03-30 北京大学 一种快速三维形貌测量的方法及装置
DE102010028894B4 (de) * 2009-05-13 2018-05-24 Koh Young Technology Inc. Verfahren zur Messung eines Messobjekts
KR101547218B1 (ko) 2010-11-19 2015-08-25 주식회사 고영테크놀러지 기판 검사방법
JP5988364B2 (ja) * 2012-08-06 2016-09-07 Kddi株式会社 画像処理装置及び方法
JP5780659B2 (ja) 2013-06-13 2015-09-16 ヤマハ発動機株式会社 3次元形状測定装置
JP2015099050A (ja) * 2013-11-18 2015-05-28 セイコーエプソン株式会社 キャリブレーション方法、及び形状測定装置
US20160245641A1 (en) * 2015-02-19 2016-08-25 Microsoft Technology Licensing, Llc Projection transformations for depth estimation
CN104729428B (zh) * 2015-02-27 2018-12-14 湖北文理学院 基于同轴结构光的镜面零件三维形貌测量系统及测量方法
CN105551039B (zh) * 2015-12-14 2017-12-08 深圳先进技术研究院 结构光三维扫描系统的标定方法及装置
CN106403845B (zh) * 2016-09-14 2017-10-03 杭州思看科技有限公司 三维传感器系统及三维数据获取方法
CN106780386B (zh) * 2016-12-16 2019-11-26 武汉理工大学 一种三维激光扫描变形提取可靠性评价方法
CN108345463B (zh) * 2018-01-30 2021-06-25 深圳市易尚展示股份有限公司 基于机器人的三维测量方法、装置、机器人和存储介质
CN108629840A (zh) * 2018-05-10 2018-10-09 苏州大学 一种建立logo三维轮廓的方法、装置和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006041604A (ja) 2004-07-22 2006-02-09 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2009038359A (ja) 2007-07-06 2009-02-19 Canon Inc 露光装置およびデバイス製造方法
JP2009147228A (ja) 2007-12-17 2009-07-02 Nikon Corp 露光装置、露光方法及びデバイス製造方法
JP2016045019A (ja) 2014-08-20 2016-04-04 オムロン株式会社 基板検査装置のティーチング装置及びティーチング方法

Also Published As

Publication number Publication date
CN113227707A (zh) 2021-08-06
JP2020112369A (ja) 2020-07-27
WO2020145208A1 (ja) 2020-07-16
CN113227707B (zh) 2023-05-16
DE112019006589T5 (de) 2021-12-16

Similar Documents

Publication Publication Date Title
JP6602867B2 (ja) 三次元計測システムの校正を更新する方法
JP6176114B2 (ja) 投影像自動補正システム、投影像自動補正方法およびプログラム
JP6035279B2 (ja) 膜厚測定装置、膜厚測定方法、プログラム及びコンピュータ記憶媒体
KR101158323B1 (ko) 기판 검사방법
JP2009031150A (ja) 三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体
TWI484283B (zh) 影像計算量測方法、影像計算量測裝置及影像檢查裝置
KR101281454B1 (ko) 측정장치 및 이의 보정방법
JP2009236917A (ja) 物体の3d座標を決定するための方法及び装置
JP2009036589A (ja) 校正用ターゲット、校正支援装置、校正支援方法、および校正支援プログラム
US9157874B2 (en) System and method for automated x-ray inspection
CN109425327B (zh) 检查系统和检查用图像的修正方法
JP2014035261A (ja) 情報処理方法、情報処理装置、プログラム、撮像装置、検査方法、検査装置、及び基板の製造方法
JP2006258582A (ja) 画像入力装置および画像入力方法
JP7139953B2 (ja) 三次元形状測定装置、三次元形状測定方法及びプログラム
JP2006084286A (ja) 3次元計測方法とその計測装置
KR101465996B1 (ko) 선택적 큰 주기를 이용한 고속 3차원 형상 측정 방법
EP3070432B1 (en) Measurement apparatus
JP7088232B2 (ja) 検査装置、検査方法、およびプログラム
JP2008170282A (ja) 形状測定装置
KR20130022415A (ko) 측정장치 및 이의 보정방법
JP4772815B2 (ja) 補正パターン画像生成装置、パターン検査装置および補正パターン画像生成方法
TW202113344A (zh) 外觀檢查裝置及其校正方法、及電腦可讀取的記錄媒體
JP2010025803A (ja) 位置決め機能を有する検査装置、位置決め機能を有する検査装置用プログラム、位置決め機能を有する検査装置の検査方法
KR20130023305A (ko) 측정장치 및 이의 보정방법
JP2006330772A (ja) 撮影画像における歪曲収差補正方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220822

R150 Certificate of patent or registration of utility model

Ref document number: 7139953

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150