JP6795993B2 - 形状測定システム、形状測定装置及び形状測定方法 - Google Patents

Description

本発明は、物体の形状を測定するための形状測定システム、形状測定装置及び形状測定方法に関する。

従来、所定の投影パターンを測定対象物に投影し、光線が投影された測定対象物を撮像して得られた撮像画像を解析することにより、測定対象物に接触することなく測定対象物の形状を測定する方法が知られている。特許文献１には、ライン光を電子部品に投影した際の光切断線を撮像して得られた撮像画像に基づいて、電子部品の高さを測定する測定装置が開示されている。

特開２００９−９４２９５号公報

投影パターンを測定対象物に投影すると、測定対象物が有する複数の表面間での光の反射である多重反射が起こる場合がある。多重反射が発生すると、撮像画像において、多重反射がない場合とは異なる輝度の領域が生じてしまい、測定対象物の形状の測定精度が低下する。このような問題を防ぐために、測定対象物の表面に、多重反射を防ぐための塗料を塗布したり、測定対象物に投影パターンが投影される領域を限定するためのマスクを用いたりする処理がなされている。

しかしながら、測定対象物に塗料を塗布する方法には、塗料が塗られたことにより測定対象物の形状が変化してしまうという問題、測定対象物に塗料を塗布する工数及び塗料を洗浄する工数が増加してしまうという問題、及び高い清浄度が求められる環境で使用できないという問題があった。また、マスクを用いる方法には、測定対象物ごとに専用のマスクを作成する必要があるという問題、及び一度に測定できる領域が限定されてしまい、測定時間が長くなってしまうという問題があった。そこで、測定対象物の形状を測定する際の多重反射の影響を抑制する新たな方法が求められていた。

そこで、本発明はこれらの点に鑑みてなされたものであり、測定対象物の形状を測定する際の多重反射の影響を抑制することができる形状測定システム、形状測定装置及び形状測定方法を提供することを目的とする。

本発明の第１の態様においては、それぞれ異なる複数の投影パターンの光を測定対象物に投影する投影装置と、前記投影装置が前記複数の投影パターンのそれぞれを投影中に、順次、前記測定対象物を撮像することにより複数の撮像画像を生成する撮像装置と、前記複数の撮像画像に基づいて前記測定対象物の形状を測定する形状測定装置と、を備え、前記形状測定装置は、前記複数の撮像画像を取得する画像取得部と、前記複数の撮像画像の各画素の輝度値を所定の基準値と比較することにより、前記輝度値の量子化値を生成する量子化部と、前記複数の撮像画像における同一の座標の複数の画素の輝度値と前記基準値との関係に基づいて、前記複数の画素から、前記量子化値を前記測定対象物の形状の特定に使用する画素を選択する選択部と、前記選択部が選択した画素の前記量子化値に基づいて、前記測定対象物の形状を特定する形状特定部と、を有する形状測定システムを提供する。

前記投影装置は、例えば、投影パターンごとに幅が異なる光投影領域及び非投影領域から構成される縞が同一方向に配列された前記複数の投影パターンを前記測定対象物に順次投影する。前記投影装置は、前記縞のパターンがグレイコードに対応している前記複数の投影パターンを前記測定対象物に順次投影してもよい。

前記選択部は、例えば、前記複数の画素の輝度値と前記基準値との差分値に基づいて、前記測定対象物の形状の特定に用いる画素を選択する。前記選択部は、前記複数の画素に対応する複数の前記差分値のそれぞれを、光が前記測定対象物に投影されていない状態で前記撮像装置が撮像した全黒撮像画像の輝度値と、光が前記測定対象物の全体に投影されている状態で撮像装置が撮像した全白撮像画像の輝度値との差である白黒差分値で除算して生成される複数の評価値の平均値が所定の閾値より大きい画素を、前記測定対象物の形状の特定に用いる画素として選択してもよい。

前記選択部は、前記複数の撮像画像に含まれる画素のうち、輝度値が前記基準値に最も近い画素の輝度値を、前記平均値の算出に用いる輝度値から除外してもよい。また、前記選択部は、前記複数の撮像画像に含まれる画素のうち、縞状の前記投影パターンにおける縞の境界位置に最も近い画素の輝度値を、前記平均値の算出に用いる輝度値から除外してもよい。また、前記選択部は、前記複数の撮像画像に含まれる画素のうち、光が投影される領域と光が投影されない領域との境界位置に対応する画素に対応する輝度値を、前記平均値の算出に用いる輝度値から除外してもよい。また、前記選択部は、前記投影パターンの周波数に基づいて前記差分値に重み付けすることにより、前記平均値を算出してもよい。

前記量子化部は、前記複数の撮像画像の各画素の輝度値を、光が前記測定対象物に投影されていない状態で前記撮像装置が撮像した第１撮像画像の輝度値と、光が前記測定対象物の全体に投影されている状態で前記撮像装置が撮像した第２撮像画像の輝度値との中間の輝度値に対応する前記基準値と比較することにより、前記量子化値を生成してもよい。

前記画像取得部は、それぞれ異なる条件で前記複数の投影パターンを含む複数の投影パターン群が投影された前記測定対象物が撮像された複数の撮像画像群を取得し、前記量子化部は、前記複数の撮像画像群のそれぞれに含まれる前記複数の撮像画像の各画素の輝度値の量子化値を生成し、前記選択部は、前記複数の画素の輝度値に基づいて、前記複数の撮像画像群に関連付けて、選択した画素の信頼度を決定し、前記形状特定部は、前記信頼度に基づいて前記複数の撮像画像群から選択した撮像画像群に含まれる画素に対応する量子化値に基づいて、前記測定対象物の形状を特定してもよい。

本発明の第２の態様においては、それぞれ異なる複数の投影パターンが順次投影された測定対象物を撮像することにより生成された複数の撮像画像を取得する画像取得部と、前記複数の撮像画像の各画素の輝度値を所定の基準値と比較することにより、前記輝度値の量子化値を生成する量子化部と、前記複数の撮像画像における同一の座標の複数の画素の輝度値と前記基準値との関係に基づいて、前記複数の画素から、前記量子化値を前記測定対象物の形状の特定に使用する画素を選択する選択部と、前記選択部が選択した量子化値に基づいて、前記測定対象物の形状を特定する形状特定部と、を有する形状測定装置を提供する。

本発明の第３の態様においては、投影装置により実行される、それぞれ異なる複数の投影パターンの光を測定対象物に投影するステップと、撮像装置により実行される、前記複数の投影パターンのそれぞれを投影中に、順次、前記測定対象物を撮像することにより複数の撮像画像を生成するステップと、コンピュータにより実行される、前記複数の撮像画像を取得するステップと、前記複数の撮像画像の各画素の輝度値を所定の基準値と比較することにより、前記輝度値の量子化値を生成するステップと、前記複数の撮像画像における同一の座標の複数の画素の輝度値と前記基準値との関係に基づいて、前記複数の画素から、前記量子化値を前記測定対象物の形状の特定に使用する画素を選択するステップと、選択した量子化値に基づいて、前記測定対象物の形状を特定するステップと、を有する形状測定方法を提供する。

本発明によれば、測定対象物の形状を測定する際の多重反射の影響を抑制することができるという効果を奏する。

第１の実施形態に係る形状測定システムＳの概要について説明するための図である。 多重反射について説明するための図である。 多重反射光が入射したことによる輝度値への影響について説明するための図である。 投影装置１が投影する投影パターンの種類の例を示す図である。 パターン番号１からパターン番号４までの投影パターンに対応するグレイコードの例を示す図である。 形状測定装置３の構成を示す図である。 形状測定システムＳが測定対象物の形状を特定する手順を示すフローチャートである。 投影パターンにおける縞の境界位置における輝度値を模式的に示した図である。 撮像画像におけるある画素（ｘ、ｙ）の輝度値と量子化値との関係を示す図である。

＜第１の実施形態＞
［形状測定システムＳの概要］
図１は、第１の実施形態に係る形状測定システムＳの概要について説明するための図である。図１（ａ）は、形状測定システムＳの構成を示している。形状測定システムＳは、投影装置１と、撮像装置２と、形状測定装置３とを有する。

投影装置１は、発光ダイオード又はレーザ等の光源を有しており、それぞれ異なる複数の投影パターンを測定対象物の測定面に投影する。
撮像装置２は、レンズ２１及び撮像素子２２を有しており、投影装置１が複数の投影パターンのそれぞれを投影中に、順次、測定対象物を撮像することにより複数の撮像画像を生成する。
形状測定装置３は、撮像装置２が生成した複数の撮像画像に基づいて測定対象物の形状を測定する。形状測定装置３は、例えばコンピュータにより実現できる。

図１（ｂ）は、投影装置１が、光が投影される光投影領域及び光が投影されない非投影領域から構成される縞模様の投影パターンを凹凸がない測定面に向けて投影した場合に撮像装置２が生成する撮像画像を示している。白色の領域は光投影領域を示しており、黒色の領域は非投影領域を示している。測定面に凹凸がない場合、撮像装置２が生成する撮像画像は、投影パターンの形状と一致する。

図１（ｃ）は、投影装置１が、凸部がある測定面に投影パターンを投影した場合に撮像装置２が生成する撮像画像である。図１（ｃ）の撮像画像においては、縞模様の一部の画像が変形した状態になっている。撮像画像においては、凸部の高さに応じた量だけ投影パターンの画像が変形する。そこで、形状測定装置３は、撮像画像における投影パターンの画像の変形量に基づいて凸部の各位置の高さを特定することにより、測定対象物の形状を測定することができる。

形状測定装置３は、撮像画像における投影パターンの画像の変形量を特定するために、撮像画像における投影パターンの画像に含まれる各画素の輝度値が、光が当たっている場合の輝度値であるか、光が当たっていない場合の輝度値であるかを判定する。形状測定装置３は、輝度値を基準値と比較した結果に基づいて、輝度値の階調数よりも少ない数のグループに分類された量子化値を生成することにより、各画素の輝度値が、光が当たっている場合の輝度値であるか、光が当たっていない場合の輝度値であるかを判定する。

形状測定装置３は、輝度値が基準値以上であるか基準値未満であるかに基づいて、量子化値を生成する。例えば、形状測定装置３は、光が測定対象物に投影されていない状態で撮像装置２が撮像した全黒撮像画像の輝度値と、光が測定対象物の全体に投影されている状態で撮像装置２が撮像した全白撮像画像の輝度値との中間の輝度値を基準値として、輝度値が基準値以上の画素の量子化値を１、輝度値が基準値未満の画素の量子化値を０とする。形状測定装置３は、このようにして生成した量子化値を用いて、測定対象物の形状を特定することができる。
なお、本明細書において、光が測定対象物に投影されていない状態を、全黒パターンが投影されている状態と定義し、光が測定対象物の全体に投影されている状態を、全白パターンが投影されている状態と定義する。

［多重反射について］
上記の方法により、形状測定装置３は、測定対象物の形状を測定することができるが、多重反射が発生する場合、測定精度が低下する。そこで、多重反射の影響を抑制する処理が必要になる。
図２は、多重反射について説明するための図である。測定対象物に光沢がありかつ複雑な形状をしている場合、投影装置１が発する光が測定対象表面で複数回反射を繰り返してから撮像装置２に入射することがある。この場合、図２（ａ）に示すように、投影装置１が発する光が２つ以上の経路を介して撮像素子２２の一つの画素に入射する。

具体的には、撮像素子２２に入射する光には、投影装置１から発せられた光が測定対象面で拡散反射して直接撮像装置２に入射する直接光と、多重反射してから撮像装置２に入射する多重反射光とが存在する。その結果、撮像装置２が撮像する撮像画像において、多重反射光がない場合に量子化値０（黒色）に対応する輝度値であった画素が、量子化値１（白色）に対応する輝度値になってしまう場合がある。図２（ｂ）は、多重反射の影響を受けた撮像画像の例を示す図である。図２（ｂ）は、図１（ｃ）に対応しているが、斜線で示す部分は、多重反射光の影響により、図１（ｃ）における輝度と異なる輝度になっている。

直接光及び多重反射光の両方が入射しない画素の輝度値、及び直接光のみが入射する画素の輝度値には、多重反射光が影響していないので、輝度値の信頼性が高いと考えられる。これに対して、多重反射光が入射すると、輝度値の信頼性が低下する。

図３は、多重反射光が入射したことによる輝度値への影響について説明するための図である。図３（ａ）は、直接光が入射しないにもかかわらず多重反射光が入射してしまうケースを示している。この場合、本来の輝度値は０であり量子化値が０であるにもかかわらず、多重反射光の影響により輝度値が１２０になっており、量子化値が１であると誤判定されてしまう。

図３（ｂ）は、多重反射光の影響により、基準値を決定するために全面に光を投影した場合の輝度値が、多重反射が存在しない場合よりも大きくなってしまうケースを示している。本来は、基準値が１００であるにもかかわらず、図３（ｂ）においては、基準値を決定する際に多重反射光が存在していたために、基準値が１５０になっている。その結果、撮像画像における輝度値が１２５の場合、本来は量子化値が１であるにもかかわらず、量子化値が０であると判定されてしまうことになる。

形状測定システムＳが、このように多重反射光の影響を受けた画素の輝度値を用いて測定対象物の形状を特定すると、精度が低下してしまう。そこで、本実施形態の形状測定システムＳにおいては、多重反射光の影響を受けた可能性が高く信頼性が低い画素を特定し、特定した画素の輝度値を用いることなく、測定対象物の形状を特定することを特徴としている。以下、形状測定システムＳが、多重反射光の影響を受けた可能性が高い画素を特定する方法、及び測定対象物の形状を特定する方法について説明する。

［投影パターンの種類］
図４は、投影装置１が投影する投影パターンの種類の例を示す図である。図４における黒色の領域は、投影装置１が光を投影しない領域（以下、「非投影領域」という）を示しており、白色の領域は、投影装置１が光を投影する領域（以下、「光投影領域」という）を示している。

図４（ａ）は、測定対象物の全体に光を投影しない投影パターン（全黒パターン）である。図４（ｂ）は、測定対象物の全体に光を投影する投影パターン（全白パターン）である。図４（ｃ）から図４（ｆ）は、光投影領域及び非投影領域から構成され、投影パターンごとに幅が異なる縞が同一方向に配列された縞模様の投影パターンを示している。図４（ｃ）はパターン番号１の投影パターンであり、図４（ｄ）はパターン番号２の投影パターンであり、図４（ｅ）はパターン番号３の投影パターンであり、図４（ｆ）はパターン番号４の投影パターンである。

図４（ｃ）から図４（ｆ）に示す投影パターンにおける縞のパターンはグレイコードに対応している。図５は、パターン番号１からパターン番号４までの投影パターンに対応するグレイコードの例を示す図である。グレイコードにおける０を非投影領域に対応させ、１を光投影領域に対応させることで、図４（ｃ）から図４（ｆ）に示す投影パターンが生成される。

図４及び図５におけるｘ方向の各位置は、パターン番号１からパターン番号４までの各グレイコードの対応する位置の０又は１の数字を組み合わせたコード値によって表される。図５における位置０はコード値「００００」に対応し、位置１は「コード値０００１」に対応し、位置１５はコード値「１０００」に対応する。

形状測定装置３は、投影装置１が、パターン番号１からパターン番号４までの投影パターンを順次投影し、撮像装置２が、それぞれの投影パターンが投影された状態で撮影して得られた４枚の撮像画像における各画素の輝度値に基づいて各画素のコード値を特定することにより、各画素の位置に、どの位置に向けて投影された投影パターンが写っているかを特定することができる。そして、形状測定装置３は、三角測量の原理を用いて測定対象物の各位置の高さを特定することにより、測定対象物の形状を測定することができる。

例えば、座標（ｘ１，ｙ１）の画素のコード値が「０００１」である場合、形状測定装置３は、測定対象物における座標（ｘ１，ｙ１）に対応する位置は、図５における位置１に対応することを特定できる。そして、形状測定装置３は、投影装置１と撮像装置２との距離、及び投影装置１が位置１に対応する光を投影する向きに基づいて、測定対象物における座標（ｘ１，ｙ１）に対応する位置の高さを算出することができる。
本実施形態においては、４種類のグレイコードパターンを用いる例で説明しているが、より多くのグレイコードを用いることで、白色領域及び黒色領域の幅が狭くなり、高さの測定分解能を高めることができる。

［形状測定装置３の構成］
続いて、形状測定装置３の構成及び動作を詳細に説明する。
図６は、形状測定装置３の構成を示す図である。形状測定装置３は、記憶部３１及び制御部３２を有する。記憶部３１は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等から構成される記憶媒体である。記憶部３１は、制御部３２が実行するプログラム、及び制御部３２が使用する各種のデータを記憶している。記憶部３１は、例えば、投影装置１が投影する投影パターンにおける位置と、撮像装置２が生成する撮像画像における各画素の座標と、高さを示す高さ情報とが関連付けられた高さ特定用情報を記憶している。

制御部３２は、例えばＣＰＵ（Central Processing Unit）である。制御部３２は、記憶部３１に記憶されたプログラムを実行することにより、画像取得部３２１、量子化部３２２、選択部３２３及び形状特定部３２４として機能する。制御部３２は、撮像画像を解析して、撮像画像における各画素が、投影パターンにおけるどの位置に対応するかを特定し、記憶部３１に記憶された高さ特定用情報を参照することにより、各画素に対応する測定対象面の高さを特定する。

画像取得部３２１は、それぞれ異なる複数のパターン光が投影装置１により順次投影された測定対象物を撮像装置２が撮像することにより生成された複数の撮像画像を取得する。本実施形態において、画像取得部３２１は、パターン番号１からパターン番号４までの投影パターンに対応する４枚の撮像画像１〜４を取得するものとする。画像取得部３２１は、取得した撮像画像１〜４を量子化部３２２に入力する。

量子化部３２２は、画像取得部３２１から入力された複数の撮像画像１〜４の各画素の輝度値を所定の基準値と比較することにより、輝度値の量子化値を生成する。本実施形態においては、量子化部３２２が輝度値を０又は１に２値化するものとする。量子化部３２２における処理の詳細については、後述する。

選択部３２３は、複数の撮像画像１〜４における同一の座標の複数の画素の輝度値と基準値との関係に基づいて、複数の画素から、量子化値を測定対象物の形状の特定に使用する画素を選択する。選択部３２３が画素を選択する処理の詳細については、後述する。

形状特定部３２４は、選択部３２３が選択した画素の量子化値に基づいて、測定対象物の形状を特定する。選択部３２３が、多重反射光の影響が比較的少ない画素を選択するので、形状特定部３２４は、多重反射光の影響を大きく受けることなく測定対象物の形状を特定できる。したがって、形状特定部３２４は、高い精度で測定対象物の形状を特定することができる。

なお、形状特定部３２４が測定対象物の形状を特定するために用いる投影パターンは任意である。形状特定部３２４は、例えば、多重反射光の影響が比較的少ない画素を選択部３２３が選択するために用いる不良点検出用の投影パターンを投影した時の撮像画像の画素の輝度値に基づく量子化値を用いて測定対象物の形状を特定する。不良点検出用の投影パターンは、多重反射光の影響を受けた画素を検出するための投影パターンである。形状特定部３２４は、不良点検出用の投影パターンと異なる形状特定用の投影パターンを用いて測定対象物の形状を特定してもよい。また、形状測定システムＳは、不良点検出用のパターンとして、任意のパターンを使用することができる。例えば、投影パターン自体は縞パターンには限定されず、形状測定システムＳは、白と黒の輝度がランダムに配置されたパターンを使用してもよい。また、形状測定システムＳは、パターンが同一で、位置だけをシフトさせたようなパターンを用いてもよい。

［形状特定処理の流れ］
図７は、形状測定システムＳが測定対象物の形状を特定する手順を示すフローチャートである。
まず、投影装置１は、複数の投影パターンを測定対象物に順次照射する（Ｓ１１）。撮像装置２は、複数の投影パターンが順次照射されるタイミングに同期して、測定対象物を撮像する（Ｓ１２）。続いて、投影装置１及び撮像装置２は、全ての投影パターンの投影及び撮像が終了したかを判定する（Ｓ１３）。投影装置１及び撮像装置２は、全ての投影パターンの投影及び撮像が終了していないと判定した場合は、ステップＳ１１に戻り、全ての投影パターンの投影及び撮像が終了していると判定した場合は、ステップＳ１４に進む。このようにして、投影装置１は、全黒パターン、全白パターン、投影パターン１〜４を順次投影し、撮像装置２は、各投影パターンが照射された状態に対応する複数の撮像画像を生成する。

続いて、画像取得部３２１は、撮像装置２から複数の撮像画像を取得する（Ｓ１４）。量子化部３２２は、ステップＳ１５からＳ１９までで、画像取得部３２１が取得した複数の撮像画像の各画素の輝度値の量子化値を生成し、選択部３２３は、形状特定に使用する画素を選択する。

まず、量子化部３２２は、全黒パターンに対応する全黒撮像画像及び全白パターンに対応する全白撮像画像のそれぞれに含まれる全画素の輝度値の平均値を算出する。量子化部３２２は、算出した平均値を、輝度値を量子化（本例においては２値化）する際に用いる基準値とする（Ｓ１５）。

続いて、量子化部３２２及び選択部３２３は、以下のステップＳ１６〜Ｓ１８の処理を画素ごとに実行する。
量子化部３２２は、全黒撮像画像及び全白撮像画像の対応する画素間の輝度値の差を算出する（Ｓ１６）。続いて、量子化部３２２は、撮像画像１〜４それぞれに含まれる複数の画素を、以下の３グループに分類する。
（グループ１）形状の特定に使用できない画素
（グループ２）光が投影されていない位置に対応する量子化値０の画素
（グループ３）光が投影されている位置に対応する量子化値１の画素

量子化部３２２は、全黒撮像画像及び全白撮像画像の対応する画素間の輝度値の差が所定の閾値以下である画素をグループ１の画素であるとする。グループ１に含まれる画素は、測定対象面の反射率や向きの影響により、投影パターンを十分な輝度で撮像できなかった画素、又は投影装置１からの光が当たらない影になっている領域の画素であると考えられ、信頼性が低いと考えられる。そこで、量子化部３２２は、グループ１に含まれる画素に対する量子化値を生成しない。

量子化部３２２は、全黒撮像画像及び全白撮像画像の対応する画素間の輝度値の差が所定の閾値よりも大きく、かつ分類する対象の画素の輝度値が基準値よりも小さい場合に、その画素がグループ２の画素であるとする。また、量子化部３２２は、全黒撮像画像及び全白撮像画像の対応する画素間の輝度値の差が所定の閾値よりも大きく、かつ分類する対象の画素の輝度値が基準値以上である場合に、その画素がグループ３の画素であるとする。量子化部３２２は、撮像画像１〜４の全ての画像に含まれる全ての画素を上記の３グループに分類することにより、撮像画像１〜４のそれぞれの各画素の量子化値を決定することができる（Ｓ１７）。

投影装置１が投影パターン１〜４を投影する場合、投影パターンｉに対応する撮像画像ｉ（ただし、ｉは１〜４の整数）の画素（ｘ、ｙ）の量子化値をｃｉとすると、画素（ｘ、ｙ）に対応する量子化値として、ｃ１，ｃ２，ｃ３，ｃ４を得られる。形状測定装置３の記憶部には、投影装置１が投影パターン１〜４を投影する向きが記憶されており、形状測定装置３は、パターン番号１の投影パターンにおける量子化値がｃ１であり、パターン番号２の投影パターンにおける量子化値がｃ２であり、パターン番号３の投影パターンにおける量子化値がｃ３であり、パターン番号４の投影パターンにおける量子化値がｃ４である位置には、投影装置１からどの向きに光が投影されたかを特定できる。したがって、ｃ１，ｃ２，ｃ３，ｃ４を組み合わせた情報は、画素（ｘ、ｙ）において、投影パターンにおけるどの領域が投影されたかを示す位置情報として用いることができる。そこで、量子化部３２２は、画素（ｘ、ｙ）の位置を示す情報として、コード値Ｃ＝（ｃ１，ｃ２，ｃ３，ｃ４）を生成し、記憶部３１に、画素（ｘ、ｙ）の座標に関連付けてコード値を記憶させる。

続いて、選択部３２３は、複数の撮像画像１〜４に含まれる複数の画素の輝度値と基準値との差分値に基づいて、多重反射の影響を受けた可能性が低く信頼性が高く、測定対象物の形状の特定に用いることができる画素を選択する。多重反射光の影響を受けていない画素の輝度値は、最大輝度値又は最小輝度値に近い値であると考えられるのに対して、多重反射光の影響を受けた画素の輝度値は、最大輝度値又は最小輝度値との差が大きく、基準値に近い値を有している可能性が高いと考えられる。

そこで、選択部３２３は、撮像画像１〜４の各画素の輝度値と基準値との差分値に基づいて、各画素の輝度値の信頼性を評価するための評価値を算出する（Ｓ１８）。選択部３２３は、例えば、差分値を、光が前記測定対象物に投影されていない状態で前記撮像装置が撮像した全黒撮像画像の輝度値と、光が前記測定対象物の全体に投影されている状態で撮像装置が撮像した全白撮像画像の輝度値との差である白黒差分値で除算することにより評価値を算出する。選択部３２３は、量子化部３２２が量子化値を１とした画素に対しては、輝度値から基準値を減算した値の絶対値又は２乗値を白黒差分値で除算することにより、評価値を算出する。また、選択部３２３は、量子化部３２２が量子化値を０とした画素に対しては、基準値から輝度値を減算した値を白黒差分値で除算することにより、評価値を算出する。多重反射光の影響がある場合、白黒差分値が大きくなる傾向にあるので、選択部３２３は、差分値を白黒差分値で除算することにより、白黒差分値が大きくなった場合の評価値を低くすることができる。

続いて、選択部３２３は、複数の画素に対応する複数の差分値のそれぞれを白黒差分値で除算して生成される複数の評価値の平均値が所定の閾値より大きい画素を、測定対象物の形状の特定に用いる画素として選択する（Ｓ１９）。平均値は、画素の信頼度を表す数値である。選択部３２３は、このようにして選択した画素を特定するための情報を、コード値と関連付けて形状特定部３２４に通知する。

続いて、形状特定部３２４は、選択部３２３から通知された各画素のコード値に基づいて、各画素に投影された投影パターンにおける位置を特定する。そして、形状特定部３２４は、各画素の座標（ｘ、ｙ）、投影パターンにおける位置、及び記憶部３１に記憶された高さ特定用情報に基づいて各画素の高さを算出することにより、測定対象物の形状を特定する（Ｓ２０）。

なお、制御部３２は、図におけるステップＳ１８及びＳ１９の処理を、ステップＳ１６及びＳ１７の処理と並行して実行してもよい。また、制御部３２は、ステップＳ１８及びＳ１９の処理を、ステップＳ１６及びＳ１７の処理よりも前に実行してもよい。

また、選択部３２３は、複数の撮像画像１〜４に含まれる画素のうち、輝度値が基準値に最も近い画素の輝度値を、平均値の算出に用いる輝度値から除外した上で、平均値を算出してもよい。選択部３２３は、複数の撮像画像１〜４に含まれる画素のうち、輝度値が基準値に最も近い画素の輝度値として、投影パターンに含まれる光が投影される領域と光が投影されない領域との境界位置に対応する画素の輝度値を、平均値の算出に用いる輝度値から除外してもよい。選択部３２３は、複数の撮像画像１〜４に含まれる画素のうち、縞状の投影パターンにおける縞の境界位置に最も近い画素の輝度値を、平均値の算出に用いる輝度値から除外してもよい。縞の境界位置に対応する画素は、多重反射光の影響を受けていない場合であっても、輝度値が基準値に近い値になっている可能性があり、このような輝度値を平均値の算出に用いると、画素の信頼度の判定精度が低下するからである。

以上の説明をまとめると、形状測定システムＳは、以下の式により画素の信頼度を算出することができる。
ただし、(i,j)は画素位置、I(i,j)は白黒差分値、α_kは重み係数（例えば０〜１）、kはパターン番号、p_r(i,j)は基準値、p_m(i,j,k)は測定値、Kは投影パターンの枚数、K’は信頼度の算出に使用するパターン枚数である。なお、p_r(i,j)−p_m(i,j,k)の絶対値が最小となるkについては，加算をしない。例えば、投影パターンが４ビットのグレイコードである場合には、4枚（K =4）が投影されるが、境界部の影響を低減するために1枚が取り除かれるので、K’=3となる。

図８は、投影パターンにおける縞の境界位置における輝度値を模式的に示した図である。図８においては、画素５及び画素１０において輝度値が変化している。グレイコードを投影パターンに用いる場合、各画素が縞の境界位置と一致する投影パターンが１つに限られるので、選択部３２３が、境界位置に対応する画素を除去しても十分な数の画素の情報を使用できる。

また、選択部３２３は、評価値の平均値が所定の閾値より大きい画素を選択する代わりに、複数の撮像画像１〜４のそれぞれに対して算出した各画素のうち、評価値の最小値が所定の閾値よりも大きい画素を、測定対象物の形状の特定に用いる画素として選択してもよい。このようにすることで、選択部３２３は、平均値は所定の閾値より大きいながらも、特定の投影パターンにおいて多重反射の影響を強く受けた可能性が高い画素を選択しないようにすることができる。選択部３２３は、選択の精度を高めるために、評価値の平均値と評価値の最小値の両方を用いて画素を選択してもよい。また、選択部３２３は、標準偏差等を用いて画素を選択してもよい。

また、選択部３２３は、投影パターンの周波数に基づいて複数の画素の輝度値と基準値との差分値に重み付けすることにより、平均値を算出してもよい。投影パターンの縞の幅が狭く、投影パターンに高い周波数成分が含まれる場合、投影光学系や撮像光学系の透過特性の影響等によって、撮像素子に入力される画像信号の振幅が小さくなることや、境界部の発生頻度が高くなることから、誤差が生じやすい。したがって、信頼度の判定精度が低下してしまう。

そこで、選択部３２３は、投影パターンの周波数が低いパターンに対応する撮像画像（例えば、撮像画像１）の差分値の重み付け係数を、投影パターンの周波数が高いパターンに対応する撮像画像（例えば、撮像画像４）の差分値の重み付け係数よりも大きくして平均値を算出することで、画素の信頼度の判定精度を向上させることができる。なお、重み付け係数は、例えば０から１の間の値を取ることができ、一部の投影パターンに対する重みを０として、信頼度の判定に含めないようにしてもよい。

［実施例］
図９は、撮像画像におけるある画素（ｘ、ｙ）の輝度値と量子化値との関係を示す図である。横軸は、投影パターンの種類を示し、縦軸は、撮像画像における輝度値を示している。実線の矢印は、直接光による輝度値を示しており、破線の矢印は、多重反射光による輝度値を示している。実線の矢印が存在する投影パターンにおいては、画素（ｘ、ｙ）に光が投影されており、破線の矢印が存在する投影パターンにおいては、画素（ｘ、ｙ）に光が投影されていない。したがって、投影パターン１，２，４においてのみ画素（ｘ、ｙ）に光が投影されており、多重反射光の影響を受けない場合、この画素（ｘ、ｙ）のコード値は、Ｃ＝（ｃ１，ｃ２，ｃ３，ｃ４）＝（１，１，０，１）である。

図９（ａ）においては、多重反射光が加わった後の量子化値も（１，１，０，１）である。しかし、図９（ｂ）においては、投影パターン３において、画素（ｘ、ｙ）に光が投影されていないにもかかわらず、多重反射光の影響で輝度値が基準値を越えており、量子化値が１と判定される。このような場合であっても、本実施形態の形状測定装置３における選択部３２３は、投影パターン３における輝度値と基準値との差が小さく、全ての投影パターンの評価値の平均値が閾値よりも小さい場合、この画素（ｘ、ｙ）を選択しない。したがって、形状特定部３２４が、多重反射光の影響を受けた画素（ｘ、ｙ）を形状の特定に使用することを防止できる。

図９（ｃ）においては、全白パターンを投影した際の多重反射光の影響が大きく、投影パターン１〜４において光を投影した際の輝度値に対して基準値が大きく設定されている。その結果、投影パターン１において、画素（ｘ、ｙ）に光が投影されているにもかかわらず、多重反射光を加えた後の輝度値が基準値を下回っており、量子化値が０と判定される。この場合にも、選択部３２３は、全ての投影パターンの評価値の平均値が閾値よりも小さい場合、この画素（ｘ、ｙ）を選択しないので、形状特定部３２４が、多重反射光の影響を受けた画素（ｘ、ｙ）を形状の特定に使用することを防止できる。

［変形例１］
上記の説明において、量子化部３２２は、光が測定対象物に投影されていない状態で撮像装置２が撮像した全黒撮像画像（第１撮像画像）の輝度値と、光が測定対象物の全体に投影されている状態で撮像装置２が撮像した全白撮像画像（第２撮像画像）の輝度値との中間の輝度値を基準値としたが、基準値は他の値であってもよい。光が測定対象物の全体に投影されている状態で撮像装置２が撮像した撮像画像の輝度値は、投影パターン１〜４が測定対象物に投影されている状態で撮像された撮像画像の輝度値よりも大きい傾向にある。したがって、量子化部３２２は、投影パターン１〜４が測定対象物に投影されている状態で撮像された撮像画像の輝度値を量子化する際に、全黒撮像画像の輝度値と全白撮像画像の輝度値との中間の輝度値よりも小さな値に基準値を設定してもよい。例えば、量子化部３２２は、中間の輝度値の８０％〜９０％の値を基準値としてもよい。

［変形例２］
形状測定システムＳは、投影装置１が複数の投影パターンを投影する条件を変えて、複数回にわたって測定し、複数回の測定結果に基づいて、測定対象物の形状を特定してもよい。この場合、投影装置１は、例えば、複数の投影パターンから構成される投影パターン群の「向き」、「位置」又は「投影パターンの強度分布形状」のいずれかを変えて、複数の投影パターン群に含まれる複数の投影パターンを順次投影する。ここで、「投影パターンの強度分布形状」を変えるとは、例えば、パターン形状、パターン周期、振幅分布等の強度分布に関わる任意のパラメータを変えることを意味する。撮像装置２は、複数の投影パターン群に対応する複数の撮像画像群を生成する。撮像画像群には、複数の撮像画像が含まれている。ここで、一つの投影パターン群には、上記の説明における投影パターン１〜４のように、同一の条件下で投影される複数の異なる投影パターンが含まれる。一つの撮像画像群には、上記の説明における撮像画像１〜４のように、同一の条件下で撮像された複数の異なる撮像画像が含まれる。

投影装置１が投影パターンを投影する条件が変わると、多重反射の影響も変化する。そこで、形状測定システムＳは、画素ごとに、第１の投影パターン群を用いて特定された量子化値の信頼度、並びに第２の投影パターン群を用いて特定された量子化値の信頼度を求めて、より大きな信頼度に対応する量子化値を用いて測定対象物の形状を特定してもよい。

この場合、画像取得部３２１は、それぞれ異なる条件で複数の投影パターン群が投影された測定対象物が撮像された複数の撮像画像群を取得する。量子化部３２２は、複数の撮像画像群のそれぞれに含まれる複数の撮像画像の各画素の輝度値の量子化値を生成する。そして、選択部３２３は、複数の画素の輝度値に基づいて、複数の撮像画像群に関連付けて、選択した画素の信頼度を決定する。形状特定部３２４は、選択部３２３が決定した信頼度に基づいて複数の撮像画像群から選択した撮像画像群に含まれる画素に対応する量子化値に基づいて、測定対象物の形状を特定する。例えば、形状特定部３２４は、信頼度を示す値が所定の閾値を超えている量子化値を用いたり、複数の量子化値のうち信頼度を示す値が高い量子化値を用いたりして、測定対象物の形状を特定する。この際、形状特定部３２４は、信頼度を示す値が所定の閾値を超えている複数の量子化値に対応する形状の平均値を算出して合成した結果を用いてもよく、最も信頼度が高い量子化値に対応する形状を用いてもよい。また、信頼度が大きく変わる場合には、その画素を形状測定結果として使用しないようにしてもよい。また、形状特定部３２４は、全ての条件で信頼値が所定の閾値を超えていない場合には、その画素を形状測定結果として使用しないようにしてもよい。

このようにすることで、形状測定システムＳは、複数の投影パターンのセットのそれぞれが投影された状態で生成された撮像画像に基づく量子化値のうち、画素ごとに、より信頼性が高い量子化値を使用して測定対象物の形状を特定できるので、測定結果の信頼性を高めることができる。さらに、形状測定システムＳは、測定対象物の一部の領域が、一つの投影パターンのセットを用いると測定できない場合でも、他の投影パターンのセットを用いることで測定できる場合があるので、測定可能領域を広げることができる。

［変形例３］
形状測定システムＳは、互いに異なる位置及び角度に設置された複数の撮像装置２を用いて、投影パターンが投影された測定対象物を撮像してもよい。この時、投影装置１から投影された光は、測定対象面で反射し、個々の撮像装置２に入射される。撮像装置２ごとに異なった反射経路の光線が入射されることから、測定対象面の同じ位置の画素であっても、各撮像装置２が生成した撮像画像ごとに多重反射の影響が異なる。

そこで、形状測定システムＳは、それぞれの撮像装置２が生成した複数の撮像画像群に基づく輝度値に基づいて、測定対象物の形状を特定してもよい。形状測定システムＳは、それぞれの撮像装置２が生成した複数の撮像画像群に基づいて、図７のフローチャートを用いて説明した手順により信頼性が高い画素を選択する。そして、選択部３２３は、複数の撮像画像群から、測定対象物の同一の位置に対応すると判断される複数の画素を選択した場合、複数の撮像画像群から選択された複数の画素のうち、信頼度がより大きい画素を選択し、形状特定部３２４は、選択された画素の量子化値を用いて、測定対象物の形状を特定する。

この際、形状特定部３２４は、信頼度が所定の閾値を超えている複数の量子化値に対応する形状の平均値を算出して合成した結果を用いてもよく、最も信頼度が高い量子化値に対応する形状を用いてもよい。また、形状特定部３２４は、対応する同一の画素の信頼度が、複数の異なる方向から撮像された複数の撮像画像のそれぞれを用いて測定した場合に大きく変わる場合には、その画素を形状の特定に使用しないようにしてもよい。また、形状特定部３２４は、全ての測定方向での信頼値が所定の閾値を超えていない場合には、その画素を形状測定結果として使用しないようにしてもよい。

なお、形状測定システムＳは、複数の撮像装置２を用いる代わりに、互いに異なる位置や角度に設置された複数の投影装置１を使用して、同様の処理を行ってもよい。
また、形状測定システムＳが、例えば、測定対象物を載置するターンテーブルを有しており、ターンテーブルを回転させて、投影装置１が、測定対象物に対して複数の異なる向きから投影パターンを投影し、撮像装置２が、それぞれの向きから投影パターンが投影された状態に対応する複数の撮像画像群を生成してもよい。
このように、形状測定システムＳは、複数の撮像画像群を用いることで、一つの撮像画像群に含まれる撮像画像に輝度値の信頼性が低い画素があっても、他の撮像画像群に含まれる撮像画像の輝度値で補うことができるので、測定精度が向上する。

［変形例４］
形状測定システムＳは、以上の説明で用いた投影パターンを、正弦波の輝度分布からなる位相シフト法と組み合わせて、投影パターンの輝度を多値化することにより、さらに高さ方向の解像度を高めてもよい。この場合、位相シフト法による正弦波のオフセット値を基準値に、正弦波の振幅を、除算用の白黒差分値の代わりに用いてもよい。

［本実施形態における効果］
以上説明したように、本実施形態に係る形状測定システムＳにおいては、投影装置１から、それぞれ異なる複数の投影パターンの光を測定対象物に投影して得られる複数の撮像画像における同一の座標の複数の画素の輝度値と基準値との関係に基づいて、選択部３２３が、複数の画素から、量子化値を測定対象物の形状の特定に使用する画素を選択する。そして、形状特定部３２４は、選択部３２３が選択した画素を用いて、測定対象物の形状を特定する。このようにすることで、多重反射光の影響を抑制することができるので、形状測定の精度を向上させることができる。

また、投影装置１は、投影パターンごとに幅が異なる縞が同一方向に配列された複数の縞のパターンを測定対象物に順次投影するので、縞の幅の大きさに基づいて高さ方向の解像度を調整することができる。また、複数の縞のパターンがグレイコードに対応しているので、複数の縞パターンのうち、一つの画素が縞の境界位置と一致する縞パターンが一つに限られ、境界位置の影響を受けづらい。

選択部３２３は、複数の画素の輝度値と基準値との差分値に基づいて、測定対象物の形状の特定に用いる画素を選択する。このようにすることで、多重反射光の影響を受けて、輝度値が基準値付近になっている画素を、測定対象物の形状の測定に用いないようにすることができるので、形状測定の精度が向上する。

さらに、選択部３２３は、複数の画素に対応する複数の差分値のそれぞれを白黒差分値で除算して生成される複数の評価値の平均値が所定の閾値より大きい画素を、測定対象物の形状の特定に用いる画素として選択する。このようにすることで、基準値が多重反射光の影響を受けて大きくなり過ぎている場合に評価値の平均値が小さくなるので、多重反射光の影響を受けている画素を、測定対象物の形状の測定に用いないようにすることができるので、形状測定の精度が向上する。

また、選択部３２３は、複数の撮像画像に含まれる画素のうち、輝度値が基準値に最も近い画素の輝度値を、平均値の算出に用いる輝度値から除外する。このようにすることで、投影パターンにおける縞の境界位置に対応する画素の輝度値が影響しないので、形状測定の精度が向上する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
例えば、上記の説明においては、量子化部３２２が、輝度値を０又は１に２値化したが、量子化部３２２は、輝度値を３つ以上の値を用いて量子化してもよい。

１ 投影装置
２ 撮像装置
３ 形状測定装置
２１ レンズ
２２ 撮像素子
３１ 記憶部
３２ 制御部
３２１ 画像取得部
３２２ 量子化部
３２３ 選択部
３２４ 形状特定部

Claims (13)

1. それぞれ異なる複数の投影パターンの光を測定対象物に投影する投影装置と、
   前記投影装置が前記複数の投影パターンのそれぞれを投影中に、順次、前記測定対象物を撮像することにより複数の撮像画像を生成する撮像装置と、
   前記複数の撮像画像に基づいて前記測定対象物の形状を測定する形状測定装置と、
   を備え、
   前記形状測定装置は、
   前記複数の撮像画像を取得する画像取得部と、
   前記複数の撮像画像の各画素の輝度値を所定の基準値と比較することにより、前記輝度値の量子化値を生成する量子化部と、
   前記複数の撮像画像における同一の座標の複数の画素の輝度値と前記基準値との関係に基づいて、前記複数の画素から、前記量子化値を前記測定対象物の形状の特定に使用する画素を選択する選択部と、
   前記選択部が選択した画素の前記量子化値に基づいて、前記測定対象物の形状を特定する形状特定部と、
   を有する形状測定システム。
2. 前記投影装置は、投影パターンごとに幅が異なる光投影領域及び非投影領域から構成される縞が同一方向に配列された前記複数の投影パターンを前記測定対象物に順次投影する、
   請求項１に記載の形状測定システム。
3. 前記投影装置は、前記縞のパターンがグレイコードに対応している前記複数の投影パターンを前記測定対象物に順次投影する、
   請求項２に記載の形状測定システム。
4. 前記選択部は、前記複数の画素の輝度値と前記基準値との差分値に基づいて、前記測定対象物の形状の特定に用いる画素を選択する、
   請求項１から３のいずれか１項に記載の形状測定システム。
5. 前記選択部は、前記複数の画素に対応する複数の前記差分値のそれぞれを、光が前記測定対象物に投影されていない状態で前記撮像装置が撮像した全黒撮像画像の輝度値と、光が前記測定対象物の全体に投影されている状態で撮像装置が撮像した全白撮像画像の輝度値との差である白黒差分値で除算して生成される複数の評価値に基づく信頼度が所定の閾値より大きい画素を、前記測定対象物の形状の特定に用いる画素として選択する、
   請求項４に記載の形状測定システム。
6. 前記選択部は、前記複数の撮像画像に含まれる画素のうち、輝度値が前記基準値に最も近い画素の輝度値を、前記形状の特定に用いる輝度値から除外する、
   請求項１から５のいずれか１項に記載の形状測定システム。
7. 前記選択部は、前記複数の撮像画像に含まれる画素のうち、縞状の前記投影パターンにおける縞の境界位置に対応する画素の輝度値を、前記形状の特定に用いる輝度値から除外する、
   請求項１から５のいずれか１項に記載の形状測定システム。
8. 前記選択部は、前記複数の撮像画像に含まれる画素のうち、光が投影される領域と光が投影されない領域との境界位置に対応する画素に対応する輝度値を、前記形状の特定に用いる輝度値から除外する、
   請求項１から７のいずれか１項に記載の形状測定システム。
9. 前記選択部は、前記投影パターンの周波数に基づいて前記差分値に重み付けすることにより、前記信頼度を算出する、
   請求項５に記載の形状測定システム。
10. 前記量子化部は、前記複数の撮像画像の各画素の輝度値を、光が前記測定対象物に投影されていない状態で前記撮像装置が撮像した第１撮像画像の輝度値と、光が前記測定対象物の全体に投影されている状態で前記撮像装置が撮像した第２撮像画像の輝度値との中間の輝度値に対応する前記基準値と比較することにより、前記量子化値を生成する、
    請求項１から９のいずれか１項に記載の形状測定システム。
11. 前記画像取得部は、それぞれ異なる条件で前記複数の投影パターンを含む複数の投影パターン群が投影された前記測定対象物が撮像された複数の撮像画像群を取得し、
    前記量子化部は、前記複数の撮像画像群のそれぞれに含まれる前記複数の撮像画像の各画素の輝度値の量子化値を生成し、
    前記選択部は、前記複数の画素の輝度値に基づいて、前記複数の撮像画像群に関連付けて、選択した画素の信頼度を決定し、
    前記形状特定部は、前記信頼度に基づいて前記複数の撮像画像群から選択した撮像画像群に含まれる画素に対応する量子化値に基づいて、前記測定対象物の形状を特定する、
    請求項１から１０のいずれか１項に記載の形状測定システム。
12. それぞれ異なる複数の投影パターンが順次投影された測定対象物を撮像することにより生成された複数の撮像画像を取得する画像取得部と、
    前記複数の撮像画像の各画素の輝度値を所定の基準値と比較することにより、前記輝度値の量子化値を生成する量子化部と、
    前記複数の撮像画像における同一の座標の複数の画素の輝度値と前記基準値との関係に基づいて、前記複数の画素から、前記量子化値を前記測定対象物の形状の特定に使用する画素を選択する選択部と、
    前記選択部が選択した量子化値に基づいて、前記測定対象物の形状を特定する形状特定部と、
    を有する形状測定装置。
13. 投影装置により実行される、それぞれ異なる複数の投影パターンの光を測定対象物に投影するステップと、
    撮像装置により実行される、前記複数の投影パターンのそれぞれを投影中に、順次、前記測定対象物を撮像することにより複数の撮像画像を生成するステップと、
    コンピュータにより実行される、
    前記複数の撮像画像を取得するステップと、
    前記複数の撮像画像の各画素の輝度値を所定の基準値と比較することにより、前記輝度値の量子化値を生成するステップと、
    前記複数の撮像画像における同一の座標の複数の画素の輝度値と前記基準値との関係に基づいて、前記複数の画素から、前記量子化値を前記測定対象物の形状の特定に使用する画素を選択するステップと、
    選択した量子化値に基づいて、前記測定対象物の形状を特定するステップと、
    を有する形状測定方法。