JP6552230B2

JP6552230B2 - 計測装置

Info

Publication number: JP6552230B2
Application number: JP2015055357A
Authority: JP
Inventors: 強北村; 拓海時光
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-03-18
Filing date: 2015-03-18
Publication date: 2019-07-31
Anticipated expiration: 2035-03-18
Also published as: JP2016176723A; EP3070432B1; EP3070432A1; US20160273913A1

Description

本発明は、被計測物の形状を計測する計測装置に関する。

被計測物の形状を計測（評価）する技術の１つとして、光学式の計測装置が知られている。光学式の計測装置には様々な方式が存在し、その方式の１つにパターン投影法と称される方式がある。パターン投影法では、所定のパターンを被計測物に投影して撮像し、撮像画像におけるパターンを検出して、三角測量の原理から各画素位置における距離情報を算出することで、被計測物の形状を求めている。パターン投影法で用いられるパターンには様々な形態が存在し、代表的なパターンとして、明線と暗線とを交互に含むストライプパターンがある（特許文献１参照）。

パターン投影法における計測精度の低下の要因としては、撮像画像のランダムノイズの影響が挙げられる。そこで、撮像画像におけるパターンを検出する際の検出点を増加することでラインダムノイズの影響を低減し、計測精度の高精度化を図る技術が提案されている（非特許文献１参照）。撮像画像におけるパターンの検出では、パターンの像の輝度値が最大となるピークを検出することでパターン座標を特定することが一般的である。非特許文献１では、このようなピークに加えて、パターンの像の輝度値が最小となるネガティブピークも検出することで、検出点の高密度化（増加）を実現している。

特開平３−２９３５０７号公報

"画像の認識・理解シンポジウム（ＭＩＲＵ２００９），ｐｐ．２２２−２２９"

しかしながら、非特許文献１においても、撮像画像におけるパターンを検出する際の検出点の最大限の高密度化が行われているわけではない。また、検出点を増加させて高密度化を実現したとしても、それぞれの検出点での検出精度が低ければ、結果として、被計測物の形状を計測する計測精度の高精度化は達成されない。従って、計測精度を高精度化するためには、撮像画像におけるパターンを検出する際に、一定水準の検出精度を維持しながら検出点を最大限に高密度化する必要がある。

本発明は、このような従来技術の課題に鑑みてなされ、被計測物の形状を計測する計測精度の高精度化の点で有利な計測装置を提供することを例示的目的とする。

上記目的を達成するために、本発明の一側面としての計測装置は、被計測物の形状を計測する計測装置であって、明部と暗部とを交互に含むパターン光を前記被計測物に投影する投影部と、前記パターン光が投影された前記被計測物を撮像して、画像を取得する撮像部と、前記画像に基づいて、前記被計測物の形状の情報を求める処理部と、を有し、前記処理部は、前記画像の前記パターン光に対応する部分から得られる輝度分布において輝度値が最大となるピーク位置及び輝度値が最小となるピーク位置の少なくとも一方をピーク位置座標として特定し、前記輝度分布から得られる輝度勾配における極大の位置及び極小の位置の少なくとも一方をエッジ位置座標として特定し、特定された前記ピーク位置座標と前記エッジ位置座標に基づいて前記画像の前記パターン光に対応する部分の位置を特定することにより前記被計測物の形状の情報を求めることを特徴とする。

本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。

本発明によれば、例えば、被計測物の形状を計測する計測精度の高精度化の点で有利な計測装置を提供することができる。

本発明の一側面としての計測装置の構成を示す概略図である。図１に示す計測装置において、被計測物に投影されるラインパターンの一例を示す図である。距離画像から得られる輝度分布の一例を示す図である。図３に示す輝度分布から得られる輝度勾配の一例を示す図である。距離画像から得られる輝度分布の一例を示す図である。図５に示す輝度分布から得られる輝度勾配の一例を示す図である。図１に示す計測装置における撮像光学系の点像分布関数の一例を示す図である。撮像光学系の点像分布関数の広がり幅で規格化されたラインパターンの輝度分布の一例を示す図である。図８に示す輝度分布から得られる輝度勾配の一例を示す図である。ラインパターンのラインピッチと偶然誤差との関係を示す図である。

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

＜第１の実施形態＞
図１は、本発明の一側面としての計測装置１の構成を示す概略図である。計測装置１は、パターン投影法を用いて、被計測物５の形状（例えば、３次元形状、２次元形状、位置及び姿勢など）を計測する。計測装置１は、図１に示すように、投影部２と、撮像部３と、処理部４とを有する。

投影部２は、例えば、光源部２１と、パターン生成部２２と、投影光学系２３とを含み、所定のパターンを被計測物５に投影する。光源部２１は、光源から射出された光で、パターン生成部２２で生成されたパターンを均一に照明する、例えば、ケーラー照明する。パターン生成部２２は、被計測物５に投影するパターン（パターン光）を生成し、本実施形態では、ガラス基板をクロムめっきすることによってパターンが形成されたマスクで構成されている。但し、パターン生成部２２は、任意のパターンを生成可能なＤＬＰ（ＤｉｇｉｔａｌＬｉｇｈｔＰｒｏｃｅｓｓｉｎｇ）プロジェクタや液晶プロジェクタなどで構成してもよい。投影光学系２３は、パターン生成部２２で生成されたパターンを被計測物５に投影する光学系である。

図２は、本実施形態において、パターン生成部２２によって生成され、被計測物５に投影されるパターンの一例であるラインパターンＰＴを示す図である。ラインパターンＰＴは、図２に示すように、明線で形成された明部ＢＰと、暗線で形成された暗部ＤＰとを交互に含む周期的なラインパターン（ストライプパターン）である。後述するように、ラインパターンＰＴの明部ＢＰの幅（ライン幅）ＬＷ_ＢＰと暗部ＤＰの幅ＬＷ_ＤＰとの比（以下、「デューティー比」と称する）は、１：１である。

撮像部３は、例えば、撮像光学系３１と、撮像素子３２とを含み、被計測物５を撮像して画像を取得する。撮像部３は、本実施形態では、ラインパターンＰＴが投影された被計測物５を撮像して、ラインパターンＰＴに対応する部分を含む画像、所謂、距離画像（第１画像）を取得する。撮像光学系３１は、本実施形態では、被計測物５に投影されたラインパターンＰＴを撮像素子３２に結像するための光学系である。撮像素子３２は、パターンが投影された被計測物５を撮像するための複数の画素を含むイメージセンサであって、例えば、ＣＭＯＳセンサやＣＣＤセンサなどで構成されている。

処理部４は、撮像部３で取得された画像に基づいて、被計測物５の形状を求める。処理部４は、制御部４１と、メモリ４２と、パターン検出部４３と、算出部４４とを含む。制御部４１は、投影部２や撮像部３の動作、具体的には、被計測物５へのパターンの投影やパターンが投影された被計測物５の撮像などを制御する。メモリ４２は、撮像部３で取得された画像を記憶する。パターン検出部４３は、メモリ４２に記憶された画像を用いて、かかる画像におけるパターンを検出してパターン座標、即ち、画像におけるパターンの位置を特定する。算出部４４は、三角測量の原理から、撮像素子３２の各画素位置における被計測物５の距離情報（３次元情報）を算出する。

以下、パターン検出部４３によるパターンの検出について詳細を説明する。パターン検出部４３は、本実施形態では、距離画像に含まれるラインパターンＰＴを検出して、距離画像におけるラインパターンＰＴの位置を特定する。具体的には、パターン検出部４３は、ラインパターンＰＴのライン垂直方向の評価断面における光学像情報、即ち、輝度分布から、距離画像におけるラインパターンＰＴの位置を特定する。

図３は、デューティー比が１：１であるラインパターンＰＴ（図２）を被計測物５に投影し、かかる被計測物５を撮像して取得された距離画像から得られる輝度分布の一例を示す図である。図３には、ラインパターンＰＴをベストフォーカス位置で撮像して取得された距離画像及びラインパターンＰＴをベストフォーカス位置からずれた位置（デフォーカス位置）で撮像して取得された距離画像のそれぞれから得られる輝度分布を示している。

図３に示すような輝度分布からラインパターンＰＴの位置を特定する際には、一般的に、輝度分布において、黒丸で示すように、輝度値が最大となるピークの位置、即ち、ピーク位置を検出する。また、輝度分布において、ピーク位置の他に、黒三角で示すように、輝度値が最小となるネガティブピークの位置、即ち、ネガティブピーク位置を検出してもよい。

更に、本実施形態では、ラインパターンＰＴの位置を特定する際に、輝度分布から得られる輝度勾配における極大の位置や極小の位置を検出する。輝度勾配は、輝度分布を微分することで生成することができる。図４は、図３に示す輝度分布から得られる輝度勾配の一例を示す図である。図４には、図３と同様に、ベストフォーカス位置及びデフォーカス位置のそれぞれについて、輝度分布から得られる輝度勾配を示している。本実施形態では、図４に示すような輝度勾配に対して、黒四角で示すような極大の位置や白四角で示すような極小の位置を検出する。これにより、ラインパターンＰＴの各ラインのピークの両側に存在するエッジを検出することができる。以下では、「極大の位置」と「極小の位置」とをあわせて「エッジ位置」と称することもある。

このように、本実施形態では、輝度分布におけるピーク位置及びネガティブピーク位置の少なくとも一方と、輝度勾配における極大の位置及び極小の位置の少なくとも一方とを演算によって求めている。従って、ピーク位置、ネガティブピーク位置、極大の位置及び極小の位置から検出対象とする位置、即ち、検出点を選択することで、ラインパターンＰＴを構成する１つのラインに対して、最大４つの検出点が得られることになる。これにより、ラインパターンＰＴを検出する際の検出点を増加させて高密度化を実現することが可能となり、パターン投影法における計測精度の低下の要因であるランダムノイズの影響を低減することができる。

ここで、エッジ位置を検出する際には、ラインパターンＰＴのデューティー比として１：１が好適である理由について説明する。図５は、デューティー比が１：４であるラインパターンを被計測物５に投影し、かかる被計測物５を撮像して取得された距離画像から得られる輝度分布の一例を示す図である。図５には、かかるラインパターンをベストフォーカス位置及びデフォーカス位置で撮像して取得された距離画像のそれぞれから得られる輝度分布を示している。図６は、図５に示す輝度分布から得られる輝度勾配、即ち、図５に示す輝度分布を微分して生成される輝度勾配の一例を示す図である。

図６を参照するに、ベストフォーカス位置に対応する輝度勾配において検出される極大及び極小の位置に対して、デフォーカス位置に対応する輝度勾配において検出される極大及び極小の位置にはずれが生じていることがわかる。このような誤差を含む検出点を用いてラインパターンの位置を特定すると、当然のことながら、特定されたラインパターンの位置にも誤差が含まれることになる。換言すれば、このように誤差を多く含む検出点を用いてラインパターンＰＴを検出したとしても、結果として、被計測物５の形状を計測する計測精度の高精度化を実現することができない。

一方、デューティー比が１：１であるラインパターンＰＴでは、図４に示すように、ベストフォーカス位置及びデフォーカス位置のそれぞれに対応する輝度勾配において検出される極大及び極小の位置にずれは生じない。デューティー比が１：１であるラインパターンＰＴの像は、デフォーカスによってコントラストが変化するが、ピーク位置、ネガティブピーク位置及びピーク位置とネガティブピーク位置との略中間点であるエッジ位置に関しては、位置ずれが生じないからである。従って、エッジ点を検出精度が維持された検出点として用いるためには、被計測物５に投影するラインパターンのデューティー比が１：１であることが１つの条件となる。

次に、輝度分布におけるピーク位置及びネガティブピーク位置の検出精度に着目すると、ラインパターンＰＴの明部ＢＰと暗部ＤＰとの繰り返しピッチであるラインピッチ、即ち、ラインパターンＰＴの周期に制約があることを説明する。ピーク位置、ネガティブピーク位置及びエッジ位置の検出精度の決定因子は、ラインパターンＰＴの像におけるピークの尖鋭度及びエッジの急峻性である。ラインパターンＰＴの像におけるピークの尖鋭度及びエッジの急峻性のそれぞれは、ラインパターンＰＴのみならず、撮像光学系３１の点像分布関数（ＰＳＦ：ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ）によって決まる。

ラインパターンＰＴのラインピッチは、計測装置１の目的に応じて様々な値となるが、ラインパターンＰＴの像は、撮像光学系３１のＰＳＦとの重畳で表される。従って、撮像光学系３１のＰＳＦの広がり幅（所定幅）を単位として、ラインパターンＰＴのラインピッチを規格化することで、計測装置１における計測性能を画一的に表現することが可能となる。

図７は、撮像光学系３１のＰＳＦの一例を示す図である。本実施形態では、図７に示すように、撮像光学系３１のＰＳＦにおけるピーク値の１／ｅ^２の値を、撮像光学系３１のＰＳＦの広がり幅として規定している。以下では、実際の距離画像におけるラインピッチを、撮像光学系３１のＰＳＦの広がり幅で規格化した値に対して、十分なピーク位置及びネガティブピーク位置の検出精度を得るために、被計測物５に投影されるラインピッチが満たすべき条件を示す。

図８は、撮像光学系３１のＰＳＦの広がり幅で規格化されたラインピッチが７である場合のラインパターンの輝度分布と、撮像光学系３１のＰＳＦの広がり幅で規格化されたラインピッチが２５である場合のラインパターンの輝度分布とを示す図である。図９は、図８に示す輝度分布から得られる輝度勾配、即ち、図８に示す輝度分布を微分して生成される輝度勾配の一例を示す図である。輝度分布におけるピーク位置及びネガティブピーク位置は、輝度勾配におけるゼロクロス位置、即ち、輝度勾配がゼロになる位置を演算することで検出することが可能である。

図９を参照するに、ラインピッチが７である場合においては、ゼロクロス位置の近傍における値の変化が急峻である。また、ラインピッチが２５である場合においては、ゼロクロス位置の近傍における値の変化が緩慢である。ランダムノイズの影響を考えると、ラインピッチが２５である場合は、ラインピッチが７である場合と比べて、ゼロクロス位置の検出誤差が大きくなることは明らかである。一方、輝度勾配における極大及び極小の近傍における値の急峻さについては、ラインピッチが７である場合とラインピッチが２５である場合との間で差は殆どない。従って、ランダムノイズの影響によるエッジ位置の検出誤差は、ラインピッチの変化に依存しないと考えられる。

図１０は、被計測物５に投影されるラインパターンのラインピッチと偶然誤差との関係を示す図である。図１０では、撮像光学系３１のＰＳＦの広がり幅で規格化されたラインピッチの画素数を横軸に採用し、ランダムノイズによる各検出点の検出における偶然誤差（３σ）を縦軸に採用している。図１０を参照するに、エッジ位置の検出誤差は、ラインピッチに対する依存性が殆どないが、ピーク位置及びネガティブピーク位置の検出誤差は、ラインピッチの増加に応じて急激に増加していることがわかる。

ピーク位置及びネガティブピーク位置を検出する際には、ラインピッチを十分に小さくする必要がある。換言すれば、ラインピッチを十分に小さくしなければ、ピーク位置及びネガティブピーク位置の検出精度が低下し、結果として、被計測物５の形状を計測する計測精度の高精度化を実現することができない。図１０を参照するに、ラインピッチが２２よりも多いラインパターンについては、急激に偶然誤差が増加している。従って、被計測物５に投影するラインパターンのラインピッチは、２２以下にするとよい。

上述したように、本実施形態では、ラインパターンＰＴの位置を特定するために、輝度分布におけるピーク位置及びネガティブピーク位置の少なくとも一方と、輝度勾配における極大の位置及び極小の位置の少なくとも一方とを演算によって求めている。これにより、ラインパターンＰＴを検出する際の検出点を増加させて高密度化を実現し、ランダムノイズの影響を低減することができる。また、本実施形態では、ラインパターンＰＴのデューティー比を１：１とすることで、エッジ位置の検出精度の低下を抑えている。更に、本実施形態では、撮像素子上でのラインパターンＰＴの周期を、撮像光学系３１のＳＰＦの広がり幅で規格化した値で２２以下とすることで、ピーク位置及びネガティブピーク位置の検出精度の低下を抑えている。従って、本実施形態における計測装置１は、距離画像におけるラインパターンＰＴを検出する際に、一定水準の検出精度を維持しながら検出点の高密度化を実現し、距離画像から被計測物５の３次元形状の情報を高精度に求めることができる。

＜第２の実施形態＞
第１の実施形態では、距離画像を取得するために被計測物５に投影するパターンとして、明部ＢＰと暗部ＤＰとを交互に含む周期的なラインパターンＰＴ（図２）を示したが、これに限定されるものではない。撮像部３で取得される距離画像において、各画素がラインパターンのどの位置の情報を示しているのかを特定するために、ラインパターンに対して、ラインパターンの明部又は暗部のそれぞれを識別するための特徴部を含ませる技術が知られている。かかる技術は、撮像部３で取得される１つの距離画像（即ち、撮像部３による１回の撮像）から、被計測物５の絶対的な３次元形状の情報を求めることができる。従って、移動している被計測物５の３次元形状の情報をリアルタイムで求めたい場合などに好適である。

ラインパターンに含ませる特徴部、即ち、ラインパターンの明部又は暗部を識別するための特徴部としては、例えば、明部又は暗部に配列された複数のドットがある。このようなドットを特徴部として含むラインパターンは、ドットラインパターンとも呼ばれる。また、ラインパターンにおける明部又は暗部のライン幅を変化させることで明部又は暗部を識別するための特徴部としてもよい。このようなラインパターンは、ライン幅変調パターンとも呼ばれる。また、明部又は暗部を識別するための特徴部を含むラインパターンとしては、色によって符号化されたカラーパターンを含むラインパターンもある。

このような特徴部を含むラインパターンを被計測物５に投影する場合には、かかるラインパターンに応じて、光源部２１やパターン生成部２２で生成するパターンを変更する必要がある。但し、撮像部３で被計測物５を撮像して取得される距離画像から被計測物５の３次元形状の情報を求める原理などは変わらないため、被計測物５に投影するラインパターンの条件や得られる効果は、第１の実施形態と同様である。

＜第３の実施形態＞
計測装置１は、被計測物５に影が発生しないように、被計測物５を均一に照明する照明部（不図示）を更に有していてもよい。被計測物５を均一に照明するための照明方式としては、例えば、リング照明、同軸落射照明、ドーム照明などがある。この場合、撮像部３は、距離画像に加えて、照明部によって均一に照明された被計測物５を撮像して濃淡画像（第２画像）を取得する。また、処理部４は、撮像部３で取得された濃淡画像に基づいて、被計測物５の２次元形状の情報を求める。ここで、被計測物５の２次元形状の情報とは、例えば、被計測物５のエッジに関する情報を含む。更に、処理部４は、距離画像から得られる被計測物５の３次元形状の情報と、濃淡画像から得られる被計測物５の２次元形状の情報と、被計測物５の形状を表すモデルとに基づいて、被計測物５の位置姿勢を求める。具体的には、処理部４は、被計測物５の３次元形状の情報及び２次元形状の情報の２つの情報を利用してモデルフィッティングを行うことによって、被計測物５の位置姿勢を求める。なお、モデルフィッティングは、予め作成された被計測物５のＣＡＤモデルに対して行われる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。

１：計測装置２：投影部３：撮像部４：処理部５：被計測物

Claims

被計測物の形状を計測する計測装置であって、
明部と暗部とを交互に含むパターン光を前記被計測物に投影する投影部と、
前記パターン光が投影された前記被計測物を撮像して、画像を取得する撮像部と、
前記画像に基づいて、前記被計測物の形状の情報を求める処理部と、
を有し、
前記処理部は、前記画像の前記パターン光に対応する部分から得られる輝度分布において輝度値が最大となるピーク位置及び輝度値が最小となるピーク位置の少なくとも一方をピーク位置座標として特定し、前記輝度分布から得られる輝度勾配における極大の位置及び極小の位置の少なくとも一方をエッジ位置座標として特定し、特定された前記ピーク位置座標と前記エッジ位置座標に基づいて前記画像の前記パターン光に対応する部分の位置を特定することにより前記被計測物の形状の情報を求めることを特徴とする計測装置。
前記明部の幅と前記暗部の幅との比は、１：１であることを特徴とする請求項１に記載の計測装置。
前記撮像部は、撮像素子と、前記被計測物に投影された前記パターン光を前記撮像素子に結像する撮像光学系と、を含み、
前記撮像素子上での前記パターン光の周期は、前記撮像光学系の点像分布関数の所定幅で規格化した値で２２以下であることを特徴とする請求項１又は２に記載の計測装置。
前記所定幅は、前記点像分布関数におけるピーク値の１／ｅ^２の値で規定されることを特徴とする請求項３に記載の計測装置。
前記処理部は、前記輝度分布を微分して前記輝度勾配を生成することを特徴とする請求項１乃至４のうちいずれか１項に記載の計測装置。
前記パターン光は、前記明部又は前記暗部のそれぞれを識別するための特徴部を含むことを特徴とする請求項１乃至５のうちいずれか１項に記載の計測装置。
前記特徴部は、前記明部又は前記暗部に配列された複数のドットを含むことを特徴とする請求項６に記載の計測装置。
前記被計測物を均一に照明する照明部を更に有し、
前記撮像部は、前記照明部によって均一に照明された前記被計測物を撮像して第２画像を取得し、
前記処理部は、前記第２画像に基づいて、前記被計測物の２次元形状の情報を求めることを特徴とする請求項１に記載の計測装置。
前記２次元形状の情報は、前記被計測物のエッジに関する情報を含むことを特徴とする請求項８に記載の計測装置。
前記処理部は、
前記パターン光が投影された前記被計測物を撮像して取得される画像に基づいて、前記被計測物の３次元形状の情報を求め、
前記３次元形状の情報と、前記２次元形状の情報と、前記被計測物の形状を表すモデルとに基づいて、前記被計測物の位置及び姿勢を求めることを特徴とする請求項８又は９に記載の計測装置。