JP6478713B2 - 計測装置および計測方法 - Google Patents

Description

本発明は、被検面の形状を計測する計測装置および計測方法に関する。

被検面の形状を評価する技術の一つに光学式の計測装置が挙げられる。光学式の計測装置にも様々な方式が存在する。その方式の一つにパターン投影法と称される方式がある。この方式は所定の投影パターンを被検面（被検物）に投影して撮像を行い、三角測量の原理から各画素位置における距離情報を算出し、被検面の形状を計測する。パターン投影法は、パターンの投影方法により更に複数の方式に分類され、位相シフト法や空間コード法のような複数のパターンが投影されるマルチショット方式とパターン投影回数が１回であるシングルショット方式とが存在する。被検面が高速に移動する場合の計測においては、マルチショット方式での計測は困難であり、シングルショット方式での計測が行われる。

シングルショット方式においては、撮影画像において各画素がパターン光のどの座標の情報を示しているかを特定するために、パターン光に様々な工夫が施されている。例としては縞パターンラインの上に個々が識別可能なドットを設けたドットライン方式、ラインの識別のためライン幅を変化させたライン幅変調方式、ランダムに配置されたドットを投影するランダムドット方式などが存在する。これらの計測法においては撮像画像から得られる輝度の空間分布情報に基づき、ドットやラインなどを検出し、座標情報を復元する。しかし、輝度の空間分布情報は、被検面の反射率分布、光源の照度分布偏り、背景光などの影響が含まれたデータである。これらによりドットやラインの検出に誤差が発生するあるいは検出自体を不可能なものとなる状況が考えられ、結果として計測された形状情報は精度が低いものとなる。特に、幅広い被検面に対応可能な計測装置を考えた場合、被検面の反射率分布がもたらす影響を極力除去する必要がある。

上記の課題に対して、特許文献１では、パターン光を照射した場合の画像(パターン画像)の他に、均一照明光を照射した場合の画像(均一照明画像)を取得している。均一照明画像のデータを補正用データとして用いることで、被検面の反射率分布のばらつきや光源の照度分布の偏りなどに起因する歪みをパターン画像から除去することが可能である。その補正されたパターン画像からは各ラインの座標情報が正確に検出されるため、被検面の形状、位置が高精度で計測される。特許文献２は、複数の色成分を有するパターンを用いるカラーパターン投影計測方法に関する。この場合、被検面の色分布によって各波長の光の反射率が異なるため、特に濃色系の被検面で座標情報の復元が困難になるという課題が生じる。これに対してパターン形成装置を介さず光源からの光を被検面に照射することで得られた画像を用いてパターン画像を補正することで被検面の色分布に依らず形状情報を取得することが可能である。

特開平３-２８９５０５号公報 特許３８８４３２１号公報

特許文献１において、パターン画像と均一照明画像は同一の光源から放射された光により撮影され、両画像取得時のパターン有無の切り換えは液晶シャッタによって行われている。よって、両画像の取得は同時に行われない。特許文献２においても、パターン有無の切り換えは透過型の液晶装置により行われており、両画像は異なるタイミングで取得されている。補正という観点では両画像は極力撮影条件を揃える必要がある。よって同一の光源の光を利用して同一波長での計測を行うことが自然であり、この場合同じタイミングで両方の画像を取得することは不可能である。

一方、形状計測装置の用途を考えた場合、被検面と撮像素子の相対位置関係は必ずしも一定では無い。例えば計測装置をマシンビジョンに用いることを考えた場合、被検面がベルトコンベア上を移動し、移動する被検面の形状情報をリアルタイムで取得する必要がある状況がありうる。また、被検物を把持する必要がある状況の場合、スループットの観点から把持のために移動する把持部と被検物の相対位置はリアルタイムに算出される必要がある。以下ではこのようなリアルタイムで被検面の形状情報を把握する必要がある計測を移動計測と表記する。

特許文献１、２に記載の従来技術では、パターン画像とそれを補正するための画像は異なるタイミングで習得されている。そのため、被検物又は撮像部が移動している間に計測を行う移動計測環境下では両画像は異なる視野で撮影されたものとなる。よって、従来技術では、パターン画像を精度よく補正することは困難である、あるいは移動に伴う視野の変化が画像に与える影響を補正する必要が発生する。

本発明は、被検面の形状を精度よく計測する計測装置を提供することを目的とする。

本発明の１つの側面は、被検面の形状を計測する計測装置であって、パターン形状の光強度分布を有する第１波長の第１光で前記被検面を照明する第１照明部と、前記第１波長とは異なる第２波長の第２光で、前記第１光による照明領域より広い前記被検面の領域を照明する第２照明部と、前記被検面を撮像する撮像部と、前記撮像部から出力された前記被検面の画像を処理することにより前記被検面の形状の情報を取得する処理部と、を備え、前記処理部は、前記第１照明部および前記第２照明部により前記被検面を照明させながら前記撮像部によって撮像された前記被検面の前記第１波長の第１画像と前記第２波長の第２画像とを取得し、前記第１波長の光および前記第２波長の光に対する前記被検面の２つの反射率分布の比と前記第２画像とを用いて前記第１画像を補正し、前記補正された第１画像を用いて前記被検面の形状の情報を取得することを特徴とする。

本発明によれば、被検面の形状を精度よく計測する計測装置を提供することができる。

第１実施形態に係る計測装置を示す図。 反射率分布の特定を示す図。 被検面の状態の例を示す図。 均一照明画像の輝度分布の例を示す図。 反射率の被検面角度依存性を示す図。 波長換算された均一照明画像の輝度分布の例を示す図。 パターン光の強度分布の例を示す図。 パターン画像の輝度分布の例を示す図。 補正されたパターン画像の輝度分布の例を示す図。 第２実施形態に係る計測装置を示す図。 第３実施形態に係る計測装置を示す図。

本発明は上記の課題に鑑みてなされたもので、計測装置に対する相対位置が変化する被検面の反射率分布による計測誤差の影響をリアルタイムに除去し、被検面の形状を精度よく計測する。

〔第１実施形態〕
図１は、第１実施形態にかかる被検面の３次元などの形状を計測する計測装置を示す。計測装置は、従来の計測装置と同様に、スリット形状を有する第１波長の第１光で被検面（被検物）６を照明する第１照明部２と被検面６を撮像する撮像部３とを有している。第１照明部２は、第１波長の光を出射する光源と、光源から出射された光から、パターン形状の光強度分布を有する第１光（パターン光）を生成する生成部４や、レンズなどの投影光学系を含む。撮像部３は、不図示のＣＣＤやＣＭＯＳ、レンズなどの撮影光学系を含む。これら第１光の第１照明部２および撮像部３は、制御部１０１により制御される。

第１照明部２は、第１光５で被検面６を照明する。第１光５のパターン形状は、計測方式により様々である。第１光５のパターン形状は、例えば、ドットやスリット（ライン）である。第１光５のパターン形状がドットである場合、第１光５は、単一のドットであっても、ラインパターンのライン上に座標が識別可能な複数のドットが配置されたドットラインパターンであってもよい。また、第１光５のパターン形状がラインである場合、第１光５は、１つのラインからなるスリット光であっても、ラインの識別のために個々のライン幅を変化させたライン幅変調パターンであってもよい。撮像部３は、第１波長の第１光５で照明された被検面６を撮像する。撮像部３から出力された被検面６の第１波長の画像（第１画像）は、画像記憶部１０２に格納される。第１実施形態の画像取得方法とそれに必要な装置構成は従来の計測装置のものと一致している。

一方で、第１実施形態の計測装置は、従来の計測装置構成に比べ、第１光の照明領域より広い領域を照明する第２照明部７を有している。第２照明部７から照射される第２光８は、第１波長とは異なる第２波長の光である。本実施形態において、第１光５の波長をλ１、第２光８の波長をλ２とする。本実施形態では、第１照明部２の第１光５による照明と、第２照明部７の第２光８による照明とは同時に行われる。しかし、２つの照明の照明タイミングが完全に同時である必要はなく、ほぼ同時であればよい。したがって、２つの照明を、例えば、照明タイミングがわずかに異なる２つの間欠照明とすることができる。

撮像部３は、第１波長の第１画像の取得と同じタイミングで、第２光８で照明された被検面６を撮像し、被検面６の第２波長の第２画像を取得する。本実施形態では、第１画像の取得と、第２画像の取得とを同時に行ったが、２つの画像の取得の取得タイミングが完全に同時である必要はなく、ほぼ同時であればよい。撮像部３にはカラーフィルタ（波長分離フィルタ）など波長分離の機構が備えられており、第１波長の第１画像と第２波長の第２画像とを同時に分離して取得可能である。こうして同時撮影された第１画像と第２画像とは画像記憶部１０２に格納される。

以下では第２画像を用いて第１画像を補正する装置構成および方法に関して述べる。画像記憶部１０２に格納された第１画像と第２画像は特定部１０３に送られる。特定部１０３は、第２画像を用いて反射率分布を補正すべき補正領域の特定を行う。図２に基づき補正領域の特定方法に関して説明する。まず第２画像３００に対してエッジ検出を行い、画像情報の輝度変化の境界線を抽出する。被検面６の表面反射率が連続的に変化している様なケースを除き、境界線は略同一の反射率を有する領域を生成する。ここで、輝度変化の要因としては、印字３０１などの表面性状による表面反射率の変化３０３と、被検面６の稜線（エッジ）３０２を跨いだ際に発生するような表面の角度による反射率変化３０４がある。そのため、計測値へ影響を及ぼす前者によって特異な反射率を有する領域のみを抽出する。

抽出手法の一つとして、印字領域などの特定の表明性状領域に関する形状の特徴を利用することができる。具体的に図２の例で述べると、印字Ａの形状情報を予め処理部１００の中の反射率情報記憶部（記憶部）２００に記憶しておき、特定部１０３は、第２画像３００の輝度分布情報とマッチングを行い印字が存在する領域を特定する。それ以外にも、被検面６の寸法に比較して印字３０１等の領域が小さい場合には領域の面積から補正領域を判断しても良い。図２においては説明のため下地材料に対しする印字３０１の領域を大きく示したが、実際にはほとんどの場合において被検面６の下地に比較して印字３０１の面積は大幅に小さいものとなる。そのような状況においては境界で区切られた領域の寸法情報のみからその領域が印字領域などの特定の表面性状領域を示しているか否かを判別することが可能である。また、被検面６の位置、姿勢の概略情報が存在するケースにおいては、位置、姿勢の概略情報に基づいて表面性状の変化が発生しうる領域を予め特定しておき、その領域内における反射率の大小のみで、それぞれの領域を高反射領域と低反射領域に分類しても構わない。

反射率分布を補正すべき補正領域の特定の後、第１画像と第２画像は補正部１０５に送られる。補正部１０５は、反射率情報記憶部２００に予め格納された反射率情報を用いて波長の違いによる反射率の補正を行う。以降の補正に関し、図３のように被検面６に異なる反射率を有する２種の表面性状が分布している場合を例にして説明を行う。図３に示す通り、一方の表面性状が存在する領域を領域Ａとし、もう一方の表面性状が存在する領域を領域Ｂとする。これに対して波長λ２の第２光を照射して得た第２画像を図４に示す。上記の反射率分布の特定プロセスを経て、特定部１０３により、本画像における領域Ａの存在領域と領域Ｂの存在領域は既に特定されている。

図４に示す波長λ２の第２光で計測した第２画像の輝度分布に反射率情報記憶部２００に格納されたそれぞれの表面性状における波長λ１の反射率と波長λ２の反射率の反射率波長比を掛けることにより波長λ１で計測した場合の第２画像の輝度分布に変換する。反射率は被検面角度に大きく依存するが、反射率波長比は被検面角度依存性が小さい。ある均一材質を用いて被検面角度を変化させ、波長λ１と波長λ２の光で反射率を計測した結果を図５に示す。双方の波長において反射率は被検面角度により大きく変化しているものの、反射率波長比は被検面角度依存性が小さい。よって前述の換算は被検面角度が不明な状態にあっても、ある程度の正確性を持って行うことが可能である。

変換部１０４による第２画像を第１波長の画像に変換した結果を図６に示す。変換後の第２画像の輝度分布は波長λ１の光で被検面６の広い照明領域を照明し撮像した画像に相当する。波長λ１の第１光による第１画像と、波長λ１に変換された第２画像とは、補正部１０５に送られる。補正部１０５は、第１波長へ変換された第２画像に基づいて第１画像における反射率分布の補正を行う。

図７に示すような第１光５の強度分布を考える。この第１光５を投影して得られた第１画像の輝度分布の例を図８の実線にて示す。図８において点線は図７に示した第１光の強度分布を表しているが、被検面６の反射率分布の影響により第１光の輝度分布に歪みが生じていることが分かる。歪んだパターン輝度分布から算出したパターンエッジ座標は誤差を含むものとなり、そこから算出した３次元形状の情報にも誤差を発生することとなる。補正部１０５は、図７の第１画像の輝度分布を図６の波長変換された第２画像で除することで補正を行う。図９に補正された第１画像の輝度分布を示す。反射率分布の影響による歪みが除去されていることがわかる。

上記のように第１実施形態では、画像記憶部１０２に格納された第１画像および反射率情報記憶部２００に格納された被検面６の反射率情報を用いて画像記憶部１０２に格納された第１画像の補正が行われる。上記では簡略化のため１次元の輝度分布を考慮し第１画像の補正について説明を行ったが、２次元の輝度分布を想定した場合においても上記の補正方法およびその効果は不変である。

３次元情報算出部１０６は、補正された第１画像の輝度分布を用いて３次元形状の算出を行う。ここで算出される３次元形状において被検面６の反射率分布の影響は除去され、精度の高い情報となっている。上記の装置構成および算出プロセスおいては第１画像の撮影と同じタイミングで撮影された第２画像を用いて補正を行っている。よって上述のような被検物が移動する場合やあるいは被検物を把持する部分などとの相対距離が変化する状況においてもリアルタイムな補正が可能であり、精度の高い３次元形状が算出可能である。

〔第２実施形態〕
次に、第２実施形態を説明する。第２実施形態は、３次元形状の算出、第１画像の補正に関する装置構成および方法は第１実施形態で用いたものと同じである。しかし、第２実施形態では、反射率情報は前もって反射率情報記憶部２００に入力されていない。その代わりに、第２実施形態では、反射率情報を取得するための装置構成を備えている。図１０に示す第２実施形態に係る計測装置は、第１実施形態で述べた装置構成に追加して、波長λ１の光で被検面６の広い照明領域を照明する別の照明部（第３照明部）９を具備しており、第３照明部９は、第１光５と同一波長λ１の第３光１０を照射する。なお、第３照明部９の形態の例としては輪帯照明などが挙げられる。

第２実施形態において、被検面６の反射率情報は第１画像を取得する前に計測により取得する。具体的には波長λ１の第３光１０を照射する第３照明部９と波長λ２の第２光８を照射する第２照明部７により被検面６を照明し、撮像部３にて撮影を行う。第２波長の第２画像と第１波長の第３画像は画像記憶部１０２に記憶される。これらの画像から各領域における反射率波長比を導出し、その情報は反射率情報記憶部２００に格納される。この後、第３照明部９を消灯する。その後、第１照明部２の光源を点灯させ第１光５を発生させ、波長λ１の第１光５と第２照明部７から発せられる波長λ２の第２光８とを同じタイミングで被検面６に照射する。

この後の撮像、画像の補正、３次元形状の算出方法は第１実施形態と同様であり、反射率波長比情報をとして上記の構成、プロセスで予め計測、記憶した情報を用いる点のみが異なる。第２実施形態において反射率波長比情報を取得したタイミングと実際に計測を行うタイミングで撮像面に対する被検面６の向きは異なる。即ち３次元形状の算出のもととなる第１画像取得時とは異なる被検面角度で計測した反射率データに基づき補正をかけることになる。しかし、図５に示した通り反射率波長比は被検面角度の依存性が比較的小さいことから、上記補正方法において被検面角度の差異の影響は軽微である。

上記の装置構成およびプロセスを経て得られた３次元形状の情報は被検面６の反射率分布の影響が十分除去された、精度の高い情報となる。また、第１画像と補正用の第２画像は同一タイミングの取得となるため、リアルタイムな補正が可能であり、被検面６の相対位置が高速に変化する場合の計測にも対応可能である。

〔第３実施形態〕
次に、第３実施形態を説明する。第３実施形態は、第２実施形態と同様に被検面６の反射率情報を取得するための装置構成、プロセスを有するが、その取得方法に関して第２実施形態と異なる。図１１に示す第３実施形態に係る計測装置は、第１実施形態で述べた装置構成における生成部４を光路上の位置と光路外の位置とに切り替える切り替え機構１１を有する。切替え機構１１の例としては液晶シャッタなどが考えられる。

第３実施形態においては、切り替え機構１１の制御により光源から波長λ１の第３光１２を出射すると同時に、第２照明部７より波長λ２の第２光８を出射する。２波長の光を同時に被検面６の広い照明領域に照射させ、撮像部３にて撮影を行う。波長λ２の第２画像と波長λ１の第３画像は画像記憶部１０２に記憶される。これらの画像から各領域における反射率波長比を導出し、その情報は反射率情報記憶部２００に格納される。

この後、切り替え機構１１の制御により光源から波長λ１の第３光１２を出射し、同時に第２照明部７より波長λ２の第２光８を出射し、双方の光を被検面６に照射する。この後の撮像、画像補正、３次元形状の算出方法は、第１実施形態、 第２実施形態と同様であり、反射率波長比情報をとして上記の構成、プロセスで予め計測、記憶した情報を用いる点のみが異なる。補正において被検面角度依存性の小さい反射率波長比を用いることで反射率分布影響を十分な精度で除去している点、第１画像と補正用の第２画像を同一タイミングで取得しリアルタイムな補正が可能である点も第１実施形態、第２実施形態と同様である。

以上、本発明の実施形態を説明してきたが、本発明はこれらの実施形態に限定されず、その要旨の範囲内において様々な変更が可能である。例えば、第２画像から求めた２次元形状と第１画像から求めた３次元形状に対し、予め用意された被検面６のモデルをフィッティングすることで、被検面６の位置姿勢を求める計測方法が存在する。この計測方法に本発明を適用し、２次元形状取得用の第２画像をとると同時にその画像に基づき第１画像を補正して３次元形状を算出する位置姿勢計測方法も可能である。この場合、高精度な３次元形状の情報に基づき位置姿勢が算出されるのみならず、２次元形状の情報取得に必要な装置構成により補正用の第２画像が取得されるため、追加の構成などを伴わない。

２：第１光の照射部（第１照明部）。３：撮像部。４：生成部。５：第１光 (波長λ１)。６：被検面。７：第２光の照射部（第２照明部）。８：第２光 (波長λ２)。９：第３照明部。１０：第３光 (波長λ１)。１１：切り替え機構。１００：処理部。

Claims (16)

1. 被検面の形状を計測する計測装置であって、
   パターン形状の光強度分布を有する第１波長の第１光で前記被検面を照明する第１照明部と、
   前記第１波長とは異なる第２波長の第２光で、前記第１光による照明領域より広い前記被検面の領域を照明する第２照明部と、
   前記被検面を撮像する撮像部と、
   前記撮像部から出力された前記被検面の画像を処理することにより前記被検面の形状の情報を取得する処理部と、を備え、
   前記処理部は、前記第１照明部および前記第２照明部により前記被検面を照明させながら前記撮像部によって撮像された前記被検面の前記第１波長の第１画像と前記第２波長の第２画像とを取得し、前記第１波長の光および前記第２波長の光に対する前記被検面の２つの反射率分布の比と前記第２画像とを用いて前記第１画像を補正し、前記補正された第１画像を用いて前記被検面の形状の情報を取得することを特徴とする計測装置。
2. 前記撮像部は、波長分離フィルタを含み、前記第１照明部および前記第２照明部により照明された前記被検面を撮像することによって前記第１画像と前記第２画像とを分離して取得することを特徴とする請求項１に記載の計測装置。
3. 前記処理部は、前記第１画像の中で補正すべき補正領域を前記第２画像に基づいて特定し、前記２つの反射率分布の比を用いて前記第２画像を前記第１波長の画像に変換し、該変換された画像を用いて前記第１画像の前記補正領域を補正することを特徴とする請求項１または２に記載の計測装置。
4. 前記２つの反射率分布の情報を格納した記憶部を含むことを特徴とする請求項１ないし３のいずれか１項に記載の計測装置。
5. 前記記憶部に格納された前記２つの反射率分布の情報は、前記計測装置とは異なる装置によって予め取得された情報であることを特徴とする請求項４に記載の計測装置。
6. 前記第１波長の光で前記第２光の照明領域を照明する第３照明部をさらに備え、
   前記処理部は、前記第２照明部により前記被検面を照明させながら前記撮像部に前記被検面を撮像させることにより前記第２画像を取得し、前記第３照明部により前記被検面を照明させながら前記撮像部に前記被検面を撮像させることにより前記被検面の前記第１画像とは異なる第３画像を取得し、該取得された第２画像および第３画像から前記２つの反射率分布の情報をそれぞれ予め取得することを特徴とする請求項１ないし５のいずれか１項に記載の計測装置。
7. 前記第１照明部は、前記第１波長の光を出射する光源と、前記光源から出射された光から前記パターン形状を有する前記第１光を生成する生成部と、前記生成部を光路上の位置と光路外の位置とに切り替える切り替え機構とを含み、
   前記処理部は、前記第２照明部により前記被検面を照明させながら前記撮像部に前記被検面を撮像させることにより前記第２画像を取得し、前記生成部が光路外に位置する前記第１照明部により前記被検面を照明させながら前記撮像部に前記被検面を撮像させることにより前記被検面の前記第１画像とは異なる第３画像を取得し、該取得された第２画像および第３画像から前記２つの反射率分布の情報をそれぞれ予め取得することを特徴とする請求項１ないし５のいずれか１項に記載の計測装置。
8. 前記処理部は、特異な反射率を有する領域の情報と前記第２画像とを比較することによって前記補正領域を特定することを特徴とする請求項３に記載の計測装置。
9. 前記情報は、前記特異な反射率を有する領域の形状の情報を含むことを特徴とする請求項８に記載の計測装置。
10. 前記情報は、前記特異な反射率を有する領域の大きさの情報を含むことを特徴とする請求項８に記載の計測装置。
11. 前記特異な反射率を有する領域は、印字領域を含むことを特徴とする請求項８ないし１０のいずれか１項に記載の計測装置。
12. 前記処理部は、前記被検面の位置および姿勢の概略情報に基づいて前記補正領域を特定することを特徴とする請求項３に記載の計測装置。
13. 前記処理部は、前記第２画像に基づいて前記被検面の２次元形状の情報を取得することを特徴とする請求項１ないし１２のいずれか１項に記載の計測装置。
14. 被検面の形状を計測する計測方法であって、
    パターン形状の光強度分布を有する第１波長の第１光で前記被検面を照明しながら前記第１波長とは異なる第２波長の第２光で前記第１光による照明領域より広い領域を照明して前記被検面を撮像することにより、前記被検面の前記第１波長の第１画像と前記第２波長の第２画像とを取得する工程と、
    前記第１波長の光および前記第２波長の光に対する前記被検面の２つの反射率分布の比と前記第２画像とを用いて前記第１画像を補正する補正工程と、
    前記補正された第１画像を用いて前記被検面の形状の情報を取得する工程と、
    を含むことを特徴とする計測方法。
15. 前記補正工程は、前記第１画像の中で補正すべき補正領域を前記第２画像に基づいて特定する工程と、前記２つの反射率分布の比を用いて前記第２画像を前記第１波長の画像に変換する工程と、該変換された画像を用いて前記第１画像の前記補正領域を補正する工程とを含むことを特徴とする請求項１４に記載の計測方法。
16. 前記第２画像に基づいて前記被検面の２次元形状の情報を取得する工程をさらに含むことを特徴とする請求項１４または１５に記載の計測方法。