JP7390239B2 - 三次元形状測定装置及び三次元形状測定方法 - Google Patents

Description

本発明は、測定対象物の形状を測定する三次元形状測定装置及び三次元形状測定方法に関する。

投影パターンを投影し、投影パターンが投影された測定対象物を撮像して得られた撮像画像を解析することにより、測定対象物に接触することなく測定対象物の形状を測定する方法が提案されている（例えば、特許文献１）。

特開２０１７－１４６２９８号公報

投影パターンを測定対象物に投影すると、測定対象物が有する複数の表面間での光の反射である多重反射が起こる場合がある。多重反射が起こると、撮像画像において多重反射がない場合とは異なる輝度の領域が生じてしまうことがあった。撮像装置が１台である場合、１つの撮像装置から得られた撮影画像を解析することにより、多重反射光の影響を特定する必要がある。例えば、特開２０１７－１４６２９８号公報に記載の方法では、撮像画像の輝度値に基づいて、多重反射光の影響を受けた画素を特定することができる。しかしながら、多重反射光の影響を受けた画素が直接反射光を照射された画素に近い輝度を示した場合、多重反射光の影響を受けた画素を検出できない可能性があった。

そこで、本発明はこれらの点に鑑みてなされたものであり、多重反射光等による測定精度の低下を抑制することができる三次元形状測定装置及び三次元形状測定方法を提供することを目的とする。

本発明の第１の態様の三次元形状測定装置は、投影座標を特定するためのパターンを含む投影画像を測定対象物に投影する投影部と、前記測定対象物に投影された前記投影画像を撮像することにより第１撮像画像を生成する第１撮像部と、前記測定対象物に投影された前記投影画像を撮像することにより第２撮像画像を生成する第２撮像部と、前記第１撮像画像に含まれる前記パターンに基づいて、前記第１撮像画像の第１撮像画素に対応する前記投影座標を特定する第１座標特定部と、前記第２撮像画像に含まれる前記パターンに基づいて、前記第２撮像画像の第２撮像画素に対応する前記投影座標を特定する第２座標特定部と、前記第１撮像部と前記第２撮像部との配置に基づいて、前記第１撮像画素に対応する前記第２撮像画像の第１エピポーラ線を特定する線特定部と、前記第１撮像画素と、当該第１撮像画素に対応する前記投影座標と同じ前記投影座標に対応し且つ当該第１撮像画素に対応する前記第２撮像画像の前記第１エピポーラ線上に位置する前記第２撮像画素との組み合わせを特定する関係特定部と、前記第１撮像画素及び前記第２撮像画素の前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標を有する前記投影画像の投影画素と、当該第２撮像画素に対応する前記投影座標を有する前記投影画像の投影画素との間の距離に基づいて、前記第１撮像画素又は第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する判定部と、前記第１撮像画素及び前記第２撮像画素が前記不良画素でないと判定された前記組み合わせに対応する前記第１撮像画素、及び前記第２撮像画素の少なくともいずれか一方を用いて、前記測定対象物の形状を測定する形状測定部と、を備える。

前記投影部は、同じ方向に縞が延びる前記パターンを含む複数の前記投影画像を前記測定対象物に投影し、前記線特定部は、前記第２撮像部と前記投影部との配置に基づいて、前記第２撮像画素に対応する前記投影画像の第２エピポーラ線を特定し、且つ、前記第１撮像部と前記投影部との配置に基づいて、前記第１撮像画素に対応する前記投影画像の第３エピポーラ線を特定し、前記判定部は、前記第１撮像画素及び前記第２撮像画素の前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標を有し且つ当該第１撮像画素に対応する前記投影画像の前記第３エピポーラ線上に位置する前記投影画素と、当該第２撮像画素に対応する前記投影座標を有し且つ当該第２撮像画素に対応する前記投影画像の前記第２エピポーラ線上に位置する前記投影画素との間の距離に基づいて、前記第１撮像画素又は前記第２撮像画素の少なくともいずれかが不良画素であるか否かを判定してもよい。

前記投影部は、同じ方向に縞が延びる前記パターンを含む複数の前記投影画像を前記測定対象物に投影し、前記線特定部は、前記第２撮像部と前記投影部との配置に基づいて、前記第２撮像画素に対応する前記投影画像の第２エピポーラ線を特定し、且つ、前記第１撮像部と前記投影部との配置に基づいて、前記第１撮像画素に対応する前記投影画像の第３エピポーラ線を特定し、前記判定部は、前記第１撮像画素及び前記第２撮像画素の前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標を有し且つ当該第１撮像画素に対応する前記投影画像の前記第３エピポーラ線上に位置する前記投影画素と、前記第２エピポーラ線及び前記第３エピポーラ線の交点に位置する前記投影画素との間の距離に基づいて、前記第１撮像画素又は前記第２撮像画素の少なくともいずれかが不良画素であるか否かを判定してもよい。

前記投影部は、縞の前記パターンを含む複数の前記投影画像であって、前記パターンに含まれる当該縞の延びる方向が互いに異なる当該複数の投影画像を前記測定対象物に投影してもよい。

前記第１座標特定部は、縞の延びる方向が互いに異なる前記複数の投影画像ごとに、前記第１撮像画素に対応する前記投影座標をそれぞれ特定し、前記第２座標特定部は、縞の延びる方向が互いに異なる前記複数の投影画像ごとに、前記第２撮像画素に対応する前記投影座標をそれぞれ特定し、前記判定部は、前記関係特定部が特定した前記第１撮像画素と前記第２撮像画素との前記組み合わせにおいて縞の延びる方向が互いに異なる前記複数の投影画像ごとに、当該第１撮像画素に対応する前記投影座標と当該第２撮像画素に対応する前記投影座標との比較値を求め、求めた前記比較値に基づいた評価値により、当該第１撮像画素又は当該第２撮像画素の少なくともいずれかが不良画素であるか否かを判定してもよい。

前記第１座標特定部は、縞の延びる方向が互いに異なる前記複数の投影画像ごとに、前記第１撮像画素に対応する前記投影座標を特定し、前記三次元形状測定装置は、前記関係特定部が特定した前記第１撮像画素及び前記第２撮像画素の前記組み合わせを取得し、取得した当該組み合わせにおいて当該第２撮像画素から所定範囲内の複数の前記第２撮像画素を対応候補画素として取得する取得部と、縞の延びる方向が互いに異なる前記投影画像ごとに、前記複数の対応候補画素に対応する前記投影座標をそれぞれ特定する候補座標特定部と、縞の伸びる方向が互いに異なる前記投影画像ごとに、前記第１撮像画素に対応する前記投影座標と、前記対応候補画素に対応する前記投影座標との比較値を求め、前記投影画像ごとに求めた複数の前記比較値に基づく評価値を前記対応候補画素ごとに求める評価部とをさらに備え、前記関係特定部は、前記評価部が求めた前記評価値に基づいて、前記複数の対応候補画素のうち、いずれかの前記対応候補画素と、前記取得部が取得した組み合わせにおける前記第１撮像画素とを新たな組み合わせとして特定してもよい。

前記関係特定部は、前記第１撮像画像に含まれる複数の前記第１撮像画素と、前記第２撮像画像に含まれる複数の前記第２撮像画素との複数の前記組み合わせを特定し、前記判定部は、前記関係特定部が特定した前記第１撮像画素及び前記第２撮像画素の前記複数の組み合わせのそれぞれにおいて、当該第１撮像画素に対応する前記投影座標を有する前記投影画像の投影画素と、当該第２撮像画素に対応する前記投影座標を有する前記投影画像の投影画素との距離を示す評価値を求め、前記複数の組み合わせごとに当該評価値を求め、求めた複数の前記評価値の統計量が基準値を超えている場合に、前記第１撮像部、前記第２撮像部及び前記投影部のいずれかの配置に不具合が生じたと判定してもよい。

本発明の第２の態様の三次元形状測定装置は、投影座標を特定するためのパターンを含む投影画像を測定対象物に投影する投影部と、前記測定対象物に投影された前記投影画像を撮像することにより第１撮像画像を生成する第１撮像部と、前記測定対象物に投影された前記投影画像を撮像することにより第２撮像画像を生成する第２撮像部と、前記第１撮像画像に含まれる前記パターンに基づいて、前記第１撮像画像の第１撮像画素に対応する前記投影座標を特定する第１座標特定部と、前記第２撮像画像に含まれる前記パターンに基づいて、前記第２撮像画像の第２撮像画素に対応する前記投影座標を特定する第２座標特定部と、前記第１撮像部と前記投影部との配置に基づいて、前記第１撮像画素に対応する前記投影画像のエピポーラ線を特定し、前記投影部と前記第２撮像部との配置に基づいて、前記投影画像の投影画素に対応する前記第２撮像画像のエピポーラ線を特定する線特定部と、前記第１撮像画素と、当該第１撮像画素に対応する前記投影座標を有し且つ当該第１撮像画素に対応する前記投影画像の前記エピポーラ線上に位置する前記投影画像の投影画素との組み合わせを特定する関係特定部と、前記第１撮像画素及び前記投影画素との前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標と同じ前記投影座標に対応する前記第２撮像画素である主第２撮像画素と、当該投影画素の前記投影座標に対応し、且つ、当該投影座標に対応する前記第２撮像画像のエピポーラ線上に位置する前記第２撮像画素である副第２撮像画素との間の距離に基づいて、前記第１撮像画素、主第２撮像画素又は副第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する判定部と、前記第１撮像画素、前記主第２撮像画素及び前記副第２撮像画素が不良画素でないと判定された前記組み合わせに対応する前記第１撮像画素、前記主第２撮像画素又は前記副第２撮像画素の少なくともいずれかを用いて、前記測定対象物の形状を測定する形状測定部と、を備える。

前記投影部は、２値の縞の前記パターンを含む前記投影画像と、正弦波状の輝度分布を有する縞の前記パターンを含む前記投影画像とを前記測定対象物に投影してもよい。前記投影部は、縞の周期が互いに異なる正弦波状の輝度分布を有する縞の前記パターンを含む複数の前記投影画像を順次投影してもよい。

前記投影部は、前記投影画像に含まれる複数の画素のうち、前記判定部が不良画素であると判定した前記第１撮像画素及び前記第２撮像画素のいずれかに対応する前記投影座標を有する前記投影画素を全て除いた投影画像を前記測定対象物に再び投影してもよい。前記投影部は、前記投影画像に含まれる複数の前記投影画素のうち、前記判定部が不良画素であると判定した前記第１撮像画素又は前記第２撮像画素に対応する前記投影座標を有する前記投影画素のみを含む投影画像を前記測定対象物に再び投影してもよい。

本発明の第３の態様の三次元形状測定方法は、投影座標を特定するためのパターンを含む投影画像を測定対象物に投影するステップと、前記測定対象物に投影された前記投影画像を第１撮像部により撮像することによって第１撮像画像を生成するステップと、前記測定対象物に投影された前記投影画像を第２撮像部により撮像することによって第２撮像画像を生成するステップと、前記第１撮像画像に含まれる前記パターンに基づいて、前記第１撮像画像の第１撮像画素に対応する前記投影座標を特定するステップと、前記第２撮像画像に含まれる前記パターンに基づいて、前記第２撮像画像の第２撮像画素に対応する前記投影座標を特定するステップと、前記第１撮像部と前記第２撮像部との配置に基づいて、前記第１撮像画素に対応する前記第２撮像画像のエピポーラ線を特定するステップと、前記第１撮像画素と、当該第１撮像画素に対応する前記投影座標と同じ前記投影座標に対応し且つ当該第１撮像画素に対応する前記第２撮像画像の前記エピポーラ線上に位置する前記第２撮像画素との組み合わせを特定するステップと、前記第１撮像画素及び前記第２撮像画素の前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標を有する前記投影画像の投影画素と、当該第２撮像画素に対応する前記投影座標を有する前記投影画像の投影画素との間の距離に基づいて、前記第１撮像画素又は前記第２撮像画素の少なくともいずれかが不良画素であるか否かを判定するステップと、前記第１撮像画素及び前記第２撮像画素が前記不良画素でないと判定された前記組み合わせに対応する前記第１撮像画素、及び前記第２撮像画素の少なくともいずれか一方を用いて、前記測定対象物の形状を測定するステップと、を備える。

本発明によれば、多重反射光等による測定精度の低下を抑制するという効果を奏する。

第１の実施形態に係る三次元形状測定装置の概要について説明するための図である。 投影部が測定対象物に投影する投影画像を示す。 三次元形状測定装置の構成を示す図である。 投影制御部が投影する投影画像の種類の例を示す図である。 正弦波状の輝度分布を有する階調の縞のパターンの例を示す。 図４（ｃ）～図４（ｆ）に示す２値の縞のパターンに対応するグレイコードの例を示す。 絶対投影座標と相対投影座標との関係を示す図である。 第１撮像部及び第２撮像部により測定対象物を撮像する場合の例を示す。 第２撮像画像に対応する投影画像の第２エピポーラ線の例を示す。 多重反射について説明するための図である。 投影制御部が同じ方向に延びる縞のパターンを含む複数の投影画像のみを投影した場合において判定部が不良画素を判定する方法を示す図である。 判定部による不良画素であるか否かの判定方法を示す図である。 投影画像の縞の延びる方向と多重反射光との関係を示す図である。 三次元形状測定装置による測定対象物の形状の測定処理を示すフローチャートである。 第２の実施形態の三次元形状測定装置が備える制御部の構成を示す図である。 評価部による対応候補画素の評価方法を示す図である。

＜第１の実施形態＞
［三次元形状測定装置１００の概要］
図１（ａ）～図１（ｃ）は、第１の実施形態に係る三次元形状測定装置１００の概要について説明するための図である。図１（ａ）は、三次元形状測定装置１００の構成を示している。三次元形状測定装置１００は、測定対象物の測定面に対し、投影画像を投影する。三次元形状測定装置１００は、第１撮像部１及び第２撮像部２の２つの撮像部により、投影部３が投影した投影画像が投影された状態における測定対象物を撮像する。三次元形状測定装置１００は、三次元形状測定装置１００が生成した撮像画像を解析することにより、測定対象物の三次元形状を光学的に測定する。

投影部３は、発光ダイオード又はレーザ等の光源を有している投影装置である。投影部３は、投影座標を特定するためのパターンを含む投影画像を測定対象物の測定面に投影する。投影座標は、投影部３が投影する投影画像を構成する投影画素の位置を示す。投影座標は、投影画像の縦方向又は横方向のいずれか一方の位置を示す一次元座標であってもよく、投影画像の縦方向及び横方向の両方の位置を示す二次元座標であってもよい。パターンは、例えば、縞のパターンである。

第１撮像部１は、レンズ１１及び撮像素子１２を有している。第１撮像部１は、投影部３が投影画像を測定対象物に投影している間に、測定対象物に投影された投影画像を撮像することにより、第１撮像画像を生成する。第１撮像部１は、第１撮像部１の光軸が投影部３の光軸と所定の第１角度をなすように配置される。第１撮像部１は、第１撮像部１の光軸が第２撮像部２の光軸と所定の第２角度をなすように配置される。

第２撮像部２は、レンズ２１及び撮像素子２２を有している。第２撮像部２は、投影部３が投影画像を測定対象物に投影している間に、測定対象物に投影された投影画像を撮像することにより第２撮像画像を生成する。第２撮像部２は、第２撮像部２の光軸が投影部３の光軸と所定の第３角度をなすように配置される。第２撮像部２の光軸は、第１撮像部１の光軸及び投影部３の光軸と同一平面をなしてもよいが、これに限定されない。制御部４は、第１撮像部１及び第２撮像部２が生成した複数の撮像画像に基づいて、測定対象物の形状を測定する。制御部４は、例えばコンピュータにより実現される。

図１（ｂ）及び（ｃ）は、投影部３が測定対象物に投影画像を投影している間に第１撮像部１が生成した撮像画像の例を示す。図１（ｂ）及び（ｃ）に示すように、投影部３は、２値の縞のパターンを含む投影画像を測定対象物に投影する。２値の縞のパターンは、光が投影される光投影領域と、光が投影されない非投影領域とから構成される。図１（ｂ）は、投影部３が２値の縞のパターンを含む投影画像を凹凸がない測定面に向けて投影した場合に、第１撮像部１及び第２撮像部２が生成する撮像画像を示している。白色の領域は光投影領域を示しており、黒色の領域は非投影領域を示している。測定面に凹凸がない場合、第１撮像部１及び第２撮像部２が生成する撮像画像の２値の縞のパターンは、投影画像の２値の縞のパターンと概略一致する形状を有する。

図１（ｃ）は、投影部３が凸部を含む測定面に２値の縞のパターンを投影した場合に、第１撮像部１又は第２撮像部２が生成する撮像画像である。図１（ｃ）の撮像画像に示すように、２値の縞のパターンの一部の画像が変形している。撮像画像においては、凸部の高さに応じた量だけ２値の縞のパターンの画像が変形する。そこで、三次元形状測定装置１００は、撮像画像における２値の縞のパターンの画像の変形量に基づいて凸部の各位置の高さを特定することにより、測定対象物の形状を測定することができる。

三次元形状測定装置１００は、測定対象物に投影された縞のパターンを解析することにより、測定対象物の三次元形状を測定する。しかしながら、測定対象物の表面に光沢がある場合には、投影部３からの投影光が複数回反射する多重反射が起こることに起因して、測定精度が低下するという問題があった。そこで、三次元形状測定装置１００は、パターンを測定対象物に投影した状態において測定対象物を第１撮像部１及び第２撮像部２を用いて撮像し、第１撮像部１及び第２撮像部２が生成した２つの撮像画像を解析することにより、撮像画像に含まれる撮像画素が多重反射光等の影響による不良画素であるか否かを判定する。三次元形状測定装置１００は、不良画素を除く撮像画素を解析することにより、測定対象物の三次元形状を測定する。

詳細については後述するが、三次元形状測定装置１００は、第１撮像部１が生成した第１撮像画像に含まれる第１撮像画素と、第２撮像部２が生成した第２撮像画像に含まれる第２撮像画素との組み合わせを選択する。三次元形状測定装置１００は、選択した組み合わせにおいて第１撮像画素及び第２撮像画素が投影画像のほぼ同じ投影画素に対応しているか否かを判定することにより、第１撮像画素又は第２撮像画素の少なくともいずれかが多重反射光等の影響を受けた不良画素であるか否かを判定することができる。このため、三次元形状測定装置１００は、多重反射光等に起因して、測定対象物の形状の測定精度が低下することを抑制することができる。

［縞の延びる方向］
図２（ａ）及び（ｂ）は、投影部３が測定対象物に投影する投影画像を示す。図２（ａ）は、第１方向に延びる２値の縞のパターンの例を示し、図２（ｂ）は、第２方向に延びる２値の縞のパターンの例を示す。投影部３は、図２（ａ）に示すように、第１方向（以下、縦方向という場合がある）に延びる２値の縞のパターンを投影する。第１方向は、投影部３の光軸と第１撮像部１の光軸とを含む平面に対して、直交する方向である。

投影部３は、図２（ｂ）に示すように、第２方向（以下、横方向という場合がある）に延びる２値の縞のパターンを投影する。第２方向は、投影部３の光軸と第１撮像部１の光軸とを含む平面に対して、平行な方向である。また、縦方向は投影画像のある一方の方向に沿った方向であってもよく、横方向は縦方向と直交する方向としてもよい。第１撮像部１、第２撮像部２及び投影部３は、これらの光軸が測定対象物を配置するためのステージにおいて同一直線上のいずれかの点を通るように配置されてもよいが、これに限定されない。

測定対象物に縞のパターンを投影した場合、測定対象物の三次元形状に応じて、図１（ｃ）に示すように、縞のパターンが幅方向にずれる。また、測定対象物の三次元形状に応じて、縞のパターンの幅が変動する。縞のパターンが第１方向に延びる第１撮像画像では、投影部３及び第１撮像部１の間に光軸の向きのずれを生じさせている方向と、縞のパターンの幅方向のずれ等が生じる方向とが一致する。つまり、投影部３と第１撮像部１とを結ぶ線分を測定対象物が載置された平面に投影して生成される線分の像の方向と、縞のパターンの幅方向のずれ等が生じる方向が一致する。したがって、縞のパターンが第１方向に延びる撮像画像では、縞のパターンの幅方向のずれ等を検出する感度が高い。このため、測定対象物の三次元形状の測定における分解能が高くなる。

一方、縞のパターンが第２方向に延びる撮像画像では、投影部３及び第１撮像部１の間に光軸の向きのずれを生じさせている方向と、縞のパターンの幅方向のずれ等が生じる方向が直交する。つまり、投影部３と第１撮像部１とを結ぶ線分を測定対象物が載置された平面に投影して生成される線分の像の方向と、縞のパターンの幅方向のずれ等が生じる方向が直交する。したがって、縞のパターンが第２方向に延びる撮像画像では、測定対象物の三次元形状の測定における分解能が、縞のパターンが第１方向に延びる撮像画像と比べて低くなる。

［三次元形状測定装置の構成］
図３は、三次元形状測定装置１００の構成を示す図である。三次元形状測定装置１００は、第１撮像部１、第２撮像部２、投影部３、記憶部５及び制御部４を有する。記憶部５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等の記憶媒体を含む。記憶部５は、制御部４が実行するプログラムを記憶している。制御部４は、例えばＣＰＵ（Central Processing Unit）であり、記憶部５に記憶されたプログラムを実行することにより、投影制御部４１、撮像制御部４２、座標特定部４３、線特定部４４、関係特定部４５、判定部４６及び形状測定部４７として機能する。

投影制御部４１は、投影座標を特定するためのパターンを含む投影画像を測定対象物に投影するための制御信号を生成し、生成した制御信号を投影部３に入力する。例えば、投影制御部４１は、同じ方向に延びる縞のパターンを含む複数の投影画像を投影部３により測定対象物へ投影する。投影制御部４１は、パターンに含まれる縞の延びる方向が互いに異なる複数の投影画像を測定対象物に投影してもよい。以下、図４及び図５を参照して、投影制御部４１が投影する縞のパターンの例について説明する。

［縞のパターンの種類］
投影制御部４１は、２値の縞のパターンを含む投影画像を測定対象物に投影する。図４は、投影制御部４１が投影する投影画像の種類の例を示す図である。図４における黒色の領域は、投影部３が光を投影しない非投影領域を示しており、白色の領域は、投影部３が光を投影する光投影領域を示している。

図４（ａ）は、測定対象物の全体に光を投影しない基準パターン（全黒パターン）である。図４（ｂ）は、測定対象物の全体に光を投影する基準パターン（全白パターン）である。図４（ｃ）から図４（ｆ）は、光投影領域及び非投影領域から構成され、投影画像ごとに幅の異なる縞が同一方向に配列された２値の縞のパターンを示している。詳細については後述するが、図４に示す縞のパターンは、グレイコードに対応しており、撮像画像の撮像画素に対応する投影画像の投影画素の位置を示す投影座標を特定するために用いられる。

投影制御部４１は、正弦波状の輝度分布を有する階調の縞のパターンを含む投影画像を測定対象物に投影する。図５（ａ）～（ｄ）は、正弦波状の輝度分布を有する階調の縞のパターンの例を示す。図４（ｃ）～（ｆ）の２値の縞のパターンは、黒色の領域と白色の領域とからなる２値画像であるのに対し、図５（ａ）～（ｄ）の階調の縞のパターンでは、縞の幅方向に沿って、白色の領域から黒色の領域まで濃淡が正弦波状に変化する。図５（ａ）～（ｄ）の階調の縞のパターンの縞の間隔は一定であり、これらの階調の縞のパターンの縞の空間周波数は、例えば、図４（ｆ）の２値の縞のパターンの４倍である。

図５（ａ）～（ｄ）の階調の縞のパターンは、輝度分布を示す正弦波の位相がそれぞれ９０度ずつ異なる点を除き、互いに同一の輝度分布を示す。本実施の形態では、投影制御部４１は、図４（ａ）及び（ｂ）に示す２枚の基準パターン、図４（ｃ）～（ｆ）に示す４枚の２値の縞のパターン、及び図５（ａ）～（ｄ）に示す４枚の階調の縞のパターンの合計１０枚の投影画像を投影する。図５に示す階調の縞のパターンは、図４に示す縞のパターンとともに、投影座標を特定するために用いられる。また、投影制御部４１は、縞が延びる方向によって縞の幅が異なるパターンを含む複数の投影画像を測定対象物に投影してもよい。

上記のとおり、図４（ｃ）から図４（ｆ）に示す２値の縞のパターンは、グレイコードに対応している。図６は、図４（ｃ）～図４（ｆ）に示す２値の縞のパターンに対応するグレイコードの例を示す。グレイコードにおける０を非投影領域に対応させ、１を光投影領域に対応させることで、図４（ｃ）から図４（ｆ）に示す２値の縞のパターンが生成される。

図４及び図６におけるｘ方向の各位置は、各グレイコードの対応する位置の０又は１の数字を組み合わせたコード値によって表される。図６における位置０はコード値「００００」に対応し、位置１はコード値「０００１」に対応し、位置１５はコード値「１０００」に対応する。

図３の撮像制御部４２は、測定対象物に投影された投影画像を第１撮像部１により撮像した第１撮像画像を生成する。撮像制御部４２は、測定対象物に投影された投影画像を第２撮像部２により撮像した第２撮像画像を生成する。

［投影座標の特定］
座標特定部４３は、第１座標特定部４３１と、第２座標特定部４３２とを備える。第１座標特定部４３１は、第１撮像画像に含まれるパターンに基づいて、第１撮像画像の第１撮像画素に対応する投影座標を特定する。第１座標特定部４３１は、第１撮像画像に含まれるパターンにおける濃淡の変化を解析することにより、第１撮像画像に含まれる撮像画素に対応する投影画素の位置を示す投影座標を特定する。

第１座標特定部４３１は、図４（ａ）に示す全黒パターンを投影した場合の輝度値と、図４（ｂ）に示す全白パターンを投影した場合の輝度値との平均を画素ごとに中間値として算出する。同様に、第１座標特定部４３１は、図４（ｃ）～図４（ｆ）の２値の縞のパターンを測定対象物に投影した状態の撮像画像について、４枚の撮像画像における各撮像画素の輝度値をそれぞれ対応する中間値と比較することにより、各撮像画素のコード値を特定する。第１座標特定部４３１は、コード値を特定することより、各撮像画素の位置に、どの位置に向けて投影された２値の縞が写っているかを特定することができる。第１座標特定部４３１は、撮像画像に含まれる各撮像画素が、図６に示す位置０から位置１５までのどの位置に含まれるかを特定する。

さらに、第１座標特定部４３１は、正弦波状の輝度分布を有する階調の縞のパターンを測定対象物に投影した際に生成された撮像画像において撮像画素に対応する正弦波の位相を投影座標として特定する。投影画像の階調の縞のパターンは、周期性を有するため、投影画像において複数の投影画素が同じ投影座標を有する。以下、投影画像において周期性を有する投影座標を相対投影座標とも呼ぶ。一方、投影画像において一意に定められる投影座標を特に絶対投影座標とも呼ぶ。

図７は、絶対投影座標と相対投影座標との関係を示す図である。図７の縦軸は、投影座標を示す。図７の横軸は、投影画像に含まれる縞の幅方向における投影画素の位置を示す。幅方向は、縞の延びる方向と直交する方向である。図７の実線が示すように、相対投影座標は周期性を有する。相対投影座標は、正弦波状の輝度分布を有する階調の縞のパターンの繰り返しの１周期ごとに同じ値を示す。一方、図７の破線が示すように、絶対投影座標は、投影画像において一意に定められる。

第１座標特定部４３１は、階調の縞のパターンの濃淡を解析することにより、撮像画素に対応する相対投影座標を特定する。第１座標特定部４３１は、２値の縞のパターンが示すグレイコードに基づいて、この撮像画素が位置０から位置１５のどの位置に対応するかを特定することにより、撮像画素に対応する絶対投影座標を特定する。ｋ（＝１，２）を縦方向及び横方向を表すインデックスとする。このとき、投影画像に含まれる投影画素の縦方向及び横方向の成分（ｉｐ，ｊｐ）は、個々の撮像画素（ｉ，ｊ）に対して、以下のように表現される。

Ｉ_ＡＰ，ｋ（ｉ，ｊ）｛ただし、ｋ＝１，２｝は、正弦波状の輝度分布を有する縦方向の縞のパターン及び横方向の縞のパターンを投影した状態で撮像された撮像画像における絶対投影座標である。ｐ_ｋは、投影画像の縞の繰り返しの１周期に対応する画素数である。

測定対象物のある測定点への光を照射する投影画素と、この測定点からの光を受光する撮像画素との対応関係は、測定対象物へ投影する投影画像のパターンを変更しても一定である。しかしながら、多重反射等が生じた場合には、投影制御部４１が投影する投影画像を変更した際に、多重反射光の強度等が変化することに起因して、第１座標特定部４３１は、同じ撮像画素に対応する投影座標として異なる投影座標を特定することがある。

第１座標特定部４３１は、投影制御部４１が投影する投影画像を変更した場合に撮像画素に対応する投影座標が変わるか否かを調べる。第１座標特定部４３１は、縞の延びる方向が異なる複数の投影画像を投影制御部４１が投影した場合には、縞の延びる方向が異なる投影画像ごとに、第１撮像画素に対応する投影座標をそれぞれ特定する。

第２座標特定部４３２は、第１座標特定部４３１と同様にして、第２撮像画像に含まれるパターンに基づいて、第２撮像画像の第２撮像画素に対応する投影座標を特定する。第２座標特定部４３２は、縞の延びる方向が異なる複数の投影画像を投影制御部４１が投影した場合に、縞の延びる方向が異なる投影画像ごとに、第２撮像画素に対応する投影座標をそれぞれ特定する。

［エピポーラ線の特定］
線特定部４４は、第１撮像部１と第２撮像部２との配置に基づいて、第１撮像画素に対応する第２撮像画像の第１エピポーラ線を特定する。図８は、第１撮像部１及び第２撮像部２により測定対象物を撮像する場合の例を示す。

測定点ＭＰに対応する図８の左側の第１撮像部１の画像平面における第１撮像画素Ａと、同じ測定点ＭＰに対応する右側の第２撮像部２の画像平面における第２撮像画素Ｂとは、２つの撮像部の配置に基づく一定の関係を有する。第１撮像部１の光学中心をＯ１とし、第１撮像部１の光学中心Ｏ１から第１撮像画素Ａを通って測定点ＭＰに延びる直線を右側の第２撮像部２の画像平面に投影した直線を第１エピポーラ線Ｅ_ＢＡとする。

第２撮像画素Ｂは、幾何学的な拘束により、第１エピポーラ線Ｅ_ＢＡ上のいずれかの位置にある。線特定部４４は、記憶部５に予め記憶されている第１撮像部１と第２撮像部２との配置を示す配置情報を読み出し、読み出した配置情報に基づいて、第１撮像画素Ａに対応する第２撮像画像の第１エピポーラ線Ｅ_ＢＡを特定する。線特定部４４は、特定した第１エピポーラ線Ｅ_ＢＡを第１撮像画素Ａに関連付けて記憶部５に記憶させておく。例えば、線特定部４４は、第１エピポーラ線Ｅ_ＢＡ上の各第２撮影画素の縦方向成分の座標値と横方向成分の座標値とを第１撮像画素Ａに関連付けて記憶部５に記憶させておく。

線特定部４４は、第２撮像部２と投影部３との配置に基づいて、第２撮像画素に対応する投影画像の第２エピポーラ線を特定する。図９は、第２撮像画素Ｂに対応する投影画像の第２エピポーラ線Ｅ_ＣＢの例を示す。図９の場合には、投影部３を光線の進む向きが逆方向となった撮像部とみなせば、第２撮像部２の第２撮像画素Ｂと投影部３の投影画素Ｃとは、図８と同様の対応関係を有するということができる。線特定部４４は、記憶部５に予め記憶されている第２撮像部２と投影部３との配置を示す配置情報を読み出し、読み出した配置情報に基づいて、第２撮像画素Ｂに対応する投影画像の第２エピポーラ線Ｅ_ＣＢを特定する。

投影画素Ｃから発せられた光線が測定対象物の測定点ＭＰにおいて１回のみ反射されて第２撮像画素Ｂにおいて受光された場合、投影画素Ｃは、幾何学的な拘束により、第２エピポーラ線Ｅ_ＣＢ上のいずれかの位置にある。線特定部４４は、特定した第２エピポーラ線Ｅ_ＣＢを第２撮像画素Ｂに関連付けて記憶部５に記憶させておく。例えば、線特定部４４は、第２エピポーラ線Ｅ_ＣＢ上の各投影画素の縦方向成分の座標値と横方向成分の座標値とを第２撮像画素Ｂに関連付けて記憶部５に記憶させておく。

線特定部４４は、第１撮像部１と投影部３との配置に基づいて、第１撮像画素に対応する投影画像の第３エピポーラ線（不図示）を特定する。第１撮像部の第１撮像画素Ａと投影部３の投影画素Ｃとは、図８と同様の対応関係を有する。線特定部４４は、記憶部５に予め記憶されている第１撮像部１と投影部３との配置を示す配置情報を読み出し、読み出した配置情報に基づいて、第１撮像画素Ａに対応する投影画像の第３エピポーラ線を特定する。

投影画素Ｃの発光素子から発せられた光線が測定対象物において１回反射されて第１撮像画素Ａの受光素子において受光された場合には、投影画素Ｃは、幾何学的な拘束により、第３エピポーラ線上のいずれかの位置にある。線特定部４４は、特定した第３エピポーラ線を第１撮像画素Ａに関連付けて記憶部５に記憶させておく。例えば、線特定部４４は、第３エピポーラ線上の各投影画素の縦方向成分の座標値と横方向成分の座標値とを第１撮像画素Ａに関連付けて記憶部５に記憶させておく。

［第１撮像画素と第２撮像画素との組み合わせの特定］
関係特定部４５は、測定対象物の同じ測定点ＭＰに対応する第１撮像画素と第２撮像画素との組み合わせを特定する。関係特定部４５は、第１撮像画素Ａに関連付けられた第２撮像画像の第１エピポーラ線Ｅ_ＢＡを記憶部５から取得する。

第１撮像画素Ａに対応する絶対投影座標をＩ_１ＡＰ（ｉ_Ａ，ｊ_Ａ）とすると、この第１エピポーラ線Ｅ_ＢＡ上には、第１撮像画素Ａと同じ絶対投影座標Ｉ_１ＡＰ（ｉ_Ａ，ｊ_Ａ）に対応する第２撮像画素が存在する。この第２撮像画素は、第２撮像画像において第１撮像画素Ａと測定対象物の同じ測定点ＭＰに対応するものである。関係特定部４５は、図８に示すように、第２撮像画像において第１エピポーラ線Ｅ_ＢＡ上に位置し、且つ、第１撮像画素Ａと同じ絶対投影座標Ｉ_１ＡＰ（ｉ_Ａ，ｊ_Ａ）に対応する第２撮像画素Ｂを選択する。関係特定部４５は、第１撮像画素Ａと、選択した第２撮像画素Ｂとの組み合わせを同じ測定点ＭＰに対応する組み合わせとして特定する。

関係特定部４５は、同様にして、第１撮像画像に含まれる複数の第１撮像画素と、第２撮像画像に含まれる複数の第２撮像画素との間において、測定対象物の共通の測定点に対応する第１撮像画素と第２撮像画素との複数の組み合わせをそれぞれ特定する。関係特定部４５は、特定した組み合わせを判定部４６へ出力する。

［多重反射］
判定部４６は、第１撮像画素又は第２撮像画素の少なくともいずれかが多重反射等による不良画素であるか否かを判定する。図１０（ａ）及び図１０（ｂ）は、多重反射について説明するための図である。測定対象物に光沢がありかつ測定対象物が複雑な形状をしている場合、投影部３が発する光は、測定対象物の表面で複数回反射を繰り返してから第１撮像部１又は第２撮像部２に入射することがある。この場合、図１０（ａ）に示すように、投影部３が発する光が２つ以上の経路を介して第１撮像部１の撮像素子１２の一つの撮像画素に入射する。

図１０（ａ）の例では、撮像素子１２に入射する光には、投影部３から発せられた光が測定対象面で拡散反射して第１撮像部１又は第２撮像部２に直接入射する直接反射光と、投影部３から発せられた光が多重反射してから第１撮像部１又は第２撮像部２に入射する多重反射光とが存在する。その結果、第１撮像部１又は第２撮像部２が撮像する撮像画像において、多重反射光がない場合に黒色に対応する輝度値であった画素が、白色に対応する輝度値になってしまう場合がある。特に、測定対象物が乱反射を生じやすい金属等を含むことにより、多重反射が生じやすい。

図１０（ｂ）は、多重反射の影響を受けた撮像画像の例を示す図である。図１０（ｂ）は、図１（ｃ）に対応しているが、斜線で示す部分は、多重反射光の影響により、図１（ｃ）における輝度と異なる輝度になっている。また、多重反射光の影響により、階調の縞のパターンの輝度分布が示す正弦波形に歪み等が生じることがある。

［不良画素であるか否かの判定］
判定部４６は、関係特定部４５が特定した第１撮像画素及び第２撮像画素の組み合わせにおいて、この第１撮像画素に対応する投影座標を有する投影画像の投影画素と、この第２撮像画素に対応する投影座標を有する投影画像の投影画素とをそれぞれ特定する。判定部４６は、特定した２つの投影画素の間の距離に基づいて、第１撮像画素又は第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する。

判定部４６は、以下に示すように、投影制御部４１が同じ方向に延びる縞のパターンを含む複数の投影画像のみを投影した場合と、投影制御部４１が縞の延びる方向が互いに異なる縞パターンを含む複数の投影画像を投影した場合とで異なる方法により、第１撮像画素又は第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する。

［単一方向縞による測定］
図１１は、投影制御部４１が同じ方向に延びる縞のパターンを含む複数の投影画像のみを投影した場合において判定部４６が不良画素を判定する方法を示す図である。判定部４６は、関係特定部４５が特定した第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせにおいて、この第１撮像画素Ａに対応する投影座標（ｉ_Ｃ，ｊ_ＣＡ１）を有する投影画像の投影画素を特定する。この投影画素の横方向成分ｉ_Ｃは、以下のように表現される。

式中、ｐは、投影画像における縞の繰り返しの１周期に対応する画素数である。図１１に示すように、第１撮像画素Ａに対応する第３エピポーラ線Ｅ_ＣＡ上には、特定した投影画素の水平成分ｉ_Ｃと一致する投影画素Ｃ_Ａが存在する。判定部４６は、この投影画素Ｃ_Ａの縦方向成分ｊ_ＣＡ１を特定する。

次に、判定部４６は、第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせにおいて、この第２撮像画素Ｂに対応する投影座標（ｉ_Ｃ，ｊ_ＣＢ１）を有する投影画素を特定する。この投影画素の横方向成分ｉｃは、以下のように表現され、投影画素Ｃ_Ａと同じである。

図１１に示すように、第２撮像画素Ｂに関連付けられた第２エピポーラ線Ｅ_ＣＢ上には、特定した投影画素の水平成分ｉ_Ｃと一致する投影画素Ｃ_Ｂが存在する。判定部４６は、この投影画素Ｃ_Ｂの縦方向成分ｊ_ＣＢ１を特定する。第１撮像画素Ａ及び第２撮像画素Ｂが測定対象物の同じ測定点に対応しているとすれば、投影画素Ｃ_Ａ及び投影画素Ｃ_Ｂはほぼ一致する。このため、判定部４６は、投影画素Ｃ_Ａ及び投影画素Ｃ_Ｂの距離に基づいて、第１撮像画素Ａ又は第２撮像画素Ｂの少なくともいずれかが不良画素であるか否かを判定することができる。

投影画素Ｃ_Ａ及び投影画素Ｃ_Ｂの距離を示す評価値Ｅ_１は、以下のように表現される。

判定部４６は、この評価値Ｅ_１が第１閾値より大きいか否かを判定する。第１閾値は、例えば、三次元形状測定装置１００に要求される測定精度に応じて定められる。判定部４６は、評価値Ｅ_１が第１閾値より大きい場合、第１撮像画素Ａ又は第２撮像画素Ｂの少なくともいずれかは不良画素であると判定する。判定部４６は、評価値Ｅ_１が第１閾値以下である場合、第１撮像画素Ａ及び第２撮像画素Ｂはいずれも不良画素でないと判定する。判定部４６は、関係特定部４５が特定した第１撮像画素及び第２撮像画素の複数の組み合わせごとに評価値Ｅ_１を求め、求めた評価値Ｅ_１が第１閾値より大きいか否かを判定する。判定部４６は、複数の組み合わせに対して判定を繰り返す。

このような構成により、判定部４６は、関係特定部４５が特定した第１撮像画素と第２撮像画素との組み合わせにおいて、第１撮像画素Ａ及び第２撮像画素Ｂが投影画像のほぼ同じ投影画素に対応しているか否かを判定することにより、第１撮像画素Ａ又は第２撮像画素Ｂの少なくともいずれかが多重反射光等の影響を受けた不良画素であるか否かを判定することができる。したがって、判定部４６は、多重反射光等に起因して、測定対象物の形状の測定精度が低下することを抑制することができる。

また、図１１に示す投影画素Ｃ_Ａは、第２エピポーラ線Ｅ_ＣＢと第３エピポーラ線Ｅ_ＣＡとの交点に位置する投影画素Ｃとほぼ一致する必要がある。このため、判定部４６は、特定した投影画素Ｃ_Ａと投影画素Ｃとの距離に基づいて、第１撮像画素Ａ又は第２撮像画素Ｂの少なくともいずれかが不良画素であるか否かを判定してもよい。同様に、投影画素Ｃ_Ｂも投影画素Ｃとほぼ一致する必要がある。判定部４６は、特定した投影画素Ｃ_Ｂと投影画素Ｃとの距離に基づいて、第１撮像画素Ａ又は第２撮像画素Ｂの少なくともいずれかが不良画素であるか否かを判定してもよい。

［形状の測定］
三角測量法の原理を利用することにより、形状測定部４７は、第１撮像画素及び第２撮像画素が不良画素でないと判定された組み合わせに対応する第１撮像画素とそれに対応する投影座標、及びこの組み合わせに対応する第２撮像画素とそれに対応する投影座標の少なくともいずれか一方を用いて、測定対象物の形状を測定する。形状測定部４７は、関係特定部４５が特定した第１撮像画素と第２撮像画素との組み合わせのうち、第１撮像画素及び第２撮像画素が不良画素でないと判定部４６が判定した組み合わせを取得する。

形状測定部４７は、取得した第１撮像画素Ａと第２撮像画素との組み合わせにおいて三角測量法の原理を利用することにより、第１撮像画素Ａと第２撮像画素とに対応する共通の測定点の三次元位置を求める。形状測定部４７は、関係特定部４５が特定した複数の組み合わせにおいて同様の処理を繰り返すことにより、測定対象物の三次元形状を測定する。形状測定部４７は、不良画素を除外して三次元形状を測定するので、多重反射等の影響によって三次元形状の測定精度が低下することを抑制することができる。

また、形状測定部４７は、第１撮像画素及び第２撮像画素がいずれも不良画素でないと判定部４６が判定した組み合わせに対応する第１撮像画素と、第１撮像画素に対応する投影座標とを用いて三角測量法の原理を利用することにより、測定点の三次元位置を求めてもよい。形状測定部４７は、第１撮像画素及び第２撮像画素が不良画素でないと判定部４６が判定した複数の組み合わせに対応する複数の第１撮像画素について同様の処理を繰り返すことにより、測定対象物の三次元形状を測定する。同様に、形状測定部４７は、第１撮像画素及び第２撮像画素が不良画素でないと判定部４６が判定した組み合わせに対応する第２撮像画素と、第２撮像画素に対応する投影座標とを用いて、測定対象物の三次元形状を測定してもよい。

［不良画素の判定の変形例］
関係特定部４５は、測定対象物の同じ測定点ＭＰに対応する第１撮像画素と第２撮像画素との組み合わせを特定する例に限定されない。例えば、関係特定部４５は、第１撮像画素と、第１撮像画素が受光した光を発した投影画素との組み合わせを特定してもよい。

線特定部４４は、図８及び図９と同様に、第２撮像部２と投影部３との配置に基づいて、投影画素Ｃに対応する第２撮像画像の第４エピポーラ線Ｅ_ＢＣを特定する。線特定部４４は、記憶部５に予め記憶されている第２撮像部２と投影部３との配置を示す配置情報を読み出し、読み出した配置情報に基づいて、投影画素Ｃに対応する第２撮像画像の第４エピポーラ線Ｅ_ＢＣを特定する。線特定部４４は、特定した第４エピポーラ線Ｅ_ＢＣを投影画素Ｃに関連付けて記憶部５に記憶させておく。例えば、線特定部４４は、第４エピポーラ線Ｅ_ＢＣ上の各第２撮影画素の縦方向成分の座標値と、同じ第２撮影画素の横方向成分の座標値とを投影画素Ｃに関連付けて記憶部５に記憶させておく。

関係特定部４５は、第１撮像画素と、第１撮像画素が受光した光を発した投影画素との組み合わせを特定する。関係特定部４５は、第１撮像画素Ａに関連付けられた投影画像の第３エピポーラ線を記憶部５から取得する。第１撮像画素Ａに対応する絶対投影座標をＩ_１ＡＰ（ｉ_Ａ，ｊ_Ａ）とすると、第３エピポーラ線上には、第１撮像画素Ａと同じ絶対投影座標Ｉ_１ＡＰ（ｉ_Ａ，ｊ_Ａ）に対応する投影画素が存在する。この投影画素は、第１撮像画素Ａが受光した光を発した投影画素に相当する。関係特定部４５は、第１撮像画素Ａに関連付けられた第３エピポーラ線上に位置する投影画素のうち、第１撮像画素と同じ絶対投影座標を有する投影画素を選択する。関係特定部４５は、第１撮像画素Ａと、選択した投影画素との組み合わせを特定する。

判定部４６は、関係特定部４５が第１撮像画素Ａと投影画素Ｃとの組み合わせを特定した場合には、この組み合わせにおいて、第１撮像画素Ａと同じ投影座標（ｉ_Ｃ，ｊ_ＣＡ１）に対応する第２撮像画素を特定する。図１２は、判定部４６による撮像画素が不良画素であるか否かの判定方法を示す図である。図１２に示すように、第１撮像画素Ａに関連付けられた第２撮像画像の第１エピポーラ線Ｅ_ＢＡ上には、第１撮像画素Ａと同じ投影座標に対応する主第２撮像画素Ｂ_Ａが存在する。判定部４６は、この主第２撮像画素Ｂ_Ａを特定する。

次に、判定部４６は、関係特定部４５が特定した第１撮像画素Ａ及び投影画素Ｃの組み合わせにおいて、投影画素Ｃに対応する投影座標を有する第２撮像画像の第２撮像画素を特定する。投影画素Ｃに対応する第２撮像画像の第４エピポーラ線Ｅ_ＢＣ上には、投影画素Ｃと同じ投影座標に対応する副第２撮像画素Ｂ_Ｃが存在する。判定部４６は、この副第２撮像画素Ｂ_Ｃを特定する。

投影画素Ｃから発した光が測定対象物で１回のみ反射されて第１撮像画素Ａ及び第２撮像画素Ｂにおいて受光された場合には、主第２撮像画素Ｂ_Ａ及び副第２撮像画素Ｂ_Ｃは、ほぼ一致する。そこで、判定部４６は、主第２撮像画素Ｂ_Ａと副第２撮像画素Ｂ_Ｃとの間の距離に基づいて、第１撮像画素Ａ、主第２撮像画素Ｂ_Ａ又は副第２撮像画素Ｂ_Ｃの少なくともいずれかが不良画素であるか否かを判定する。判定部４６は、主第２撮像画素Ｂ_Ａと副第２撮像画素Ｂ_Ｃとの間の距離が第２閾値より大きいか否かを判定する。第２閾値は、三次元形状測定装置１００に要求される測定精度に応じて定められる。判定部４６は、主第２撮像画素Ｂ_Ａと副第２撮像画素Ｂ_Ｃとの間の距離が第２閾値より大きい場合、第１撮像画素Ａ、主第２撮像画素Ｂ_Ａ又は副第２撮像画素Ｂ_Ｃの少なくともいずれかが不良画素であると判定する。判定部４６は第２撮像画素Ｂ_Ａと第２撮像画素Ｂ_Ｃとの間の距離が第２閾値以下である場合、第１撮像画素Ａ、主第２撮像画素Ｂ_Ａ及び副第２撮像画素Ｂ_Ｃが不良画素でないと判定する。形状測定部４７は、第１撮像画素Ａ、主第２撮像画素Ｂ_Ａ及び副第２撮像画素Ｂ_Ｃが不良画素でないと判定部４６が判定した組み合わせに対応する第１撮像画素Ａ、主第２撮像画素Ｂ_Ａ又は副第２撮像画素Ｂ_Ｃの少なくともいずれか一方を用いて、測定対象物の形状を測定する。

［縦方向の縞及び横方向の縞による不良画素の判定］
図１３（ａ）及び図１３（ｂ）は、投影画像の縞の延びる方向と多重反射光との関係を示す図である。多重反射は、投影部３から発せられた光が、測定対象物が屈曲している部位の周辺において複数回反射を繰り返すことにより起こる。図１３（ａ）に示すように、多重反射において最初に光投影領域で反射した光が、次に非投影領域で反射した後、第１撮像部１又は第２撮像部２に入射することがある。この場合、第１撮像部１又は第２撮像部２が生成した撮像画像では、多重反射光により非投影領域の輝度が高いようにみえるため、座標特定部４３が撮像画素の投影座標を誤って特定してしまう可能性がある。

一方、図１３（ｂ）に示すように、測定対象物の屈曲している部位が延びる向きと縞が延びる向きとが垂直である場合、多重反射において最初に光投影領域で反射した光は、次も光投影領域で反射する可能性が比較的高くなる。図１３（ｂ）に示す状態では、投影部３から光投影領域へ向けて照射された光が、別の光投影領域において再度反射した後、第１撮像部１又は第２撮像部２へ入射する。この場合、多重反射光が光投影領域及び非投影領域の輝度に与える影響は比較的小さい。したがって、判定部４６は、投影制御部４１が異なる方向に延びる縞のパターンを含む複数の投影画像を測定対象物に投影した場合には、縞の延びる方向が異なる複数の縞パターンの画像を投影している間に撮像された撮像画像を用いて不良画素であるか否かを判定することにより、不良画素の見落としが生じる可能性をより小さくすることができる。

判定部４６は、投影制御部４１が縦方向に延びる縞のパターンを含む投影画像及び横方向に延びる縞のパターンを含む投影画像を順次測定対象物に投影した場合には、縦方向に延びる縞のパターンに基づく投影座標と、横方向に延びる縞のパターンに基づく投影座標とをそれぞれ用いて、第１撮像画素Ａに対応する投影座標を有する投影画素を特定する。より詳しくは、判定部４６は、関係特定部４５が特定した第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせを取得する。関係特定部４５が特定した組み合わせは、前述のように、第１撮像画素Ａと、第２撮像画像において第１撮像画素Ａに対応する第１エピポーラ線Ｅ_ＢＡ上に位置し（図８）、且つ、第１撮像画素Ａ（ｉ_Ａ，ｊ_Ａ）と同じ絶対投影座標Ｉ_１ＡＰ（ｉ_Ａ，ｊ_Ａ）に対応する第２撮像画素Ｂ（ｉ_Ｂ，ｊ_Ｂ）との組み合わせである。

判定部４６は、関係特定部４５が特定した第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせにおいて、第１座標特定部４３１が特定した第１撮像画素Ａに対応する絶対投影座標（Ｉ_{１ＡＰ，１}（ｉ_Ａ，ｊ_Ａ），Ｉ_{１ＡＰ，２}（ｉ_Ａ，ｊ_Ａ））から求められる投影画素Ｃ_Ａを特定する。Ｉ_{１ＡＰ，１}（ｉ_Ａ，ｊ_Ａ）は、絶対投影座標の横方向成分を示し、Ｉ_{１ＡＰ，２}（ｉ_Ａ，ｊ_Ａ）は、絶対投影座標の縦方向成分を示す。第１撮像画素Ａに対応する絶対投影座標が横方向成分及び縦方向成分の２つの方向成分を有するため、判定部４６は、第１撮像画素Ａと同じ絶対投影座標を有する投影画素（ｉ_Ｃ，ｊ_ＣＡ２）を以下のように求めることができる。

式中、ｐ_１及びｐ_２は、それぞれ縦方向と横方向とに延びる縞の繰り返しの１周期に対応する画素数である。

関係特定部４５が特定した第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせにおいて、第１撮像画素Ａに対応する絶対投影座標の横方向成分Ｉ_{１ＡＰ，１}（ｉ_Ａ，ｊ_Ａ）と、第２撮像画素Ｂに対応する絶対投影座標の横方向成分Ｉ_{２ＡＰ，１}（ｉ_Ａ，ｊ_Ａ）との値は同じである。判定部４６は、第２撮像画素Ｂ（ｉ_Ｂ，ｊ_Ｂ）に対応する横方向の階調の縞パターンにおける位相と、横方向の２値の縞パターンのコード値をそれぞれ特定することにより、第２撮像画素Ｂ（ｉ_Ｂ，ｊ_Ｂ）に対応する絶対投影座標の縦方向成分Ｉ_{２ＡＰ，２}（ｉ_Ｂ，ｊ_Ｂ）を特定する。判定部４６は、第２撮像画素Ｂと同じ絶対投影座標を有する投影画素（ｉ_Ｃ，ｊ_ＣB２）を以下のように求めることができる。

第１撮像画素Ａと第２撮像画素Ｂとが測定対象物の同じ測定点に対応する場合、投影画素（ｉ_Ｃ，ｊ_ＣＡ２）と投影画素（ｉ_Ｃ，ｊ_ＣＢ２）とはほぼ一致する必要がある。つまり、判定部４６は、２つの投影画素の距離に基づいて、第１撮像画素Ａ又は第２撮像画素Ｂの少なくともいずれかが不良画素であるか否かを判定することができる。

投影画素（ｉ_Ｃ，ｊ_ＣＡ２）と投影画素（ｉ_Ｃ，ｊ_ＣＢ２）との距離を示す評価値Ｅ_２は、以下のように表現される。

実質的には、判定部４６は、Ｉ_{１ＡＰ，２}（ｉ_Ａ，ｊ_Ａ）と、Ｉ_{２ＡＰ，２}（ｉ_Ｂ，ｊ_Ｂ）とを用いて、評価値Ｅ_２を計算することができる。判定部４６は、この評価値Ｅ_２が第３閾値より大きいか否かを判定する。第３閾値は、三次元形状測定装置１００に要求される測定精度に応じて定められる。判定部４６は、評価値Ｅ_２が第３閾値より大きい場合、第１撮像画素Ａ及び第２撮像画素Ｂの少なくともいずれかは不良画素であると判定する。判定部４６は、評価値Ｅ_２が第３閾値以下である場合、第１撮像画素Ａ及び第２撮像画素Ｂはいずれも不良画素でないと判定する。

［横方向に相対投影座標を用いる不良画素の判定］
判定部４６は、横方向の絶対投影座標と、縦方向の相対投影座標とを用いて、撮像画素が不良画素であるか否かを判定してもよい。関係特定部４５が特定した第１撮像画素Ａと第２撮像画素Ｂとの組み合わせにおいて、第１撮像画素Ａの投影座標が（Ｉ_{１ＡＰ，１}（ｉ_Ａ，ｊ_Ａ），Ｉ_{１ＲＰ，２}（ｉ_Ａ，ｊ_Ａ））であるとする。Ｉ_{１ＡＰ，１}（ｉ_Ａ，ｊ_Ａ）は、横方向の絶対投影座標であり、Ｉ_{１ＲＰ，２}（ｉ_Ａ，ｊ_Ａ）は、縦方向の相対投影座標である。

また、関係特定部４５が特定した第１撮像画素Ａと第２撮像画素Ｂとの組み合わせにおいて、第２撮像画素Ｂの投影座標が（Ｉ_{２ＡＰ，１}（ｉ_Ｂ，ｊ_Ｂ），Ｉ_{２ＲＰ，２}（ｉ_Ｂ，ｊ_Ｂ））であるとする。Ｉ_{２ＡＰ，１}（ｉ_Ｂ，ｊ_Ｂ）は、横方向の絶対投影座標であり、Ｉ_{２ＲＰ，２}（ｉ_Ｂ，ｊ_Ｂ）は、縦方向の相対投影座標である。第１撮像画素Ａと同じ投影座標を有する投影画素Ｃ_Ａの横方向成分ｉ_Ｃ及び縦方向成分ｊ_ＣＡ３は、以下のように表現される。

第２撮像画素Ｂと同じ投影座標を有する投影画素Ｃ_Ｂの横方向成分ｉ_Ｃ及び縦方向成分ｊ_ＣＢ３は、以下のように表現される。この場合においても、投影画素Ｃ_Ｂの横方向成分ｉｃは、投影画素Ｃ_Ａの横方向成分ｉｃと同じである。

式中、ｑ_２は、未知数であるが、第１撮像画素Ａと第２撮像画素Ｂとでは、ｑ_２は共通であるとみなす。投影画素（ｉ_Ｃ，ｊ_ＣＡ３）と投影画素（ｉ_Ｃ，ｊ_ＣＢ３）との距離を示す評価値Ｅ_３は、以下のように表現される。

判定部４６は、この評価値Ｅ_３が第４閾値より大きいか否かを判定する。第４閾値は、三次元形状測定装置１００に要求される測定精度に応じて定められる。判定部４６は、評価値Ｅ_３が第４閾値より大きい場合、第１撮像画素Ａ及び第２撮像画素Ｂの少なくともいずれかは不良画素であると判定する。判定部４６は、評価値Ｅ_３が第４閾値以下である場合、第１撮像画素Ａ及び第２撮像画素Ｂはいずれも不良画素でないと判定する。

相対投影座標においては、図７のように値の取る範囲が２πに制限されて周期性がある。このとき、値が２πだけ急激に変化する箇所においては、対応する画素のわずかな違いで評価値Ｅ_３の誤差が大きくなる可能性がある。そこで、判定部４６は、評価値Ｅ_３に加えて次の評価値Ｅ_３Ａと評価値Ｅ_３Ｂも算出し、これら３つの評価値の最小値を新たな評価値として判定に使用しても良い。評価値Ｅ_３Ａ及び評価値Ｅ_３Ｂは、以下のように表現される。

［３方向以上の縞による不良画素の判定］
判定部４６は、投影制御部４１が３方向以上の異なる方向に延びる縞のパターンを含む複数の投影画像を測定対象物に投影した場合には、異なる方向に延びる縞のパターンを含む投影画像ごとに第１座標特定部４３１が特定した投影座標を用いて、第１撮像画素Ａに対応する投影座標を有する投影画素を特定する。

判定部４６は、第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせにおいて、第１座標特定部４３１が特定した第１撮像画素Ａに対応する投影座標（Ｉ_{１ＡＰ，１}（ｉ_Ａ，ｊ_Ａ），Ｉ_{１ＲＰ，２}（ｉ_Ａ，ｊ_Ａ），Ｉ_{１ＲＰ，３}（ｉ_Ａ，ｊ_Ａ），・・・，Ｉ_{１ＲＰ，Ｍ}（ｉ_Ａ，ｊ_Ａ））を用いて、第１撮像画素Ａと同じ投影座標を有する投影画素を特定する。第１撮像画素Ａに対応する投影座標の第１方向の成分Ｉ_{１ＡＰ，１}（ｉ_Ａ，ｊ_Ａ）は、絶対投影座標であり、第１撮像画素Ａに対応する投影座標の第２方向～第Ｍ方向の成分Ｉ_{１ＲＰ，２}（ｉ_Ａ，ｊ_Ａ），Ｉ_{１ＲＰ，３}（ｉ_Ａ，ｊ_Ａ），・・・，Ｉ_{１ＲＰ，Ｍ}（ｉ_Ａ，ｊ_Ａ）は、いずれも相対投影座標である。

判定部４６は、第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせにおいて、第２座標特定部４３２が特定した第２撮像画素Ｂに対応する投影座標（Ｉ_{２ＡＰ，１}（ｉ_Ｂ，ｊ_Ｂ），Ｉ_{２ＲＰ，２}（ｉ_Ｂ，ｊ_Ｂ），Ｉ_{２ＲＰ，３}（ｉ_Ｂ，ｊ_Ｂ），・・・，Ｉ_{２ＲＰ，Ｍ}（ｉ_Ｂ，ｊ_Ｂ））を用いて、第２撮像画素Ｂと同じ投影座標を有する投影画素を特定する。第２撮像画素Ｂに対応する投影座標の第１方向の成分Ｉ_{２ＡＰ，１}（ｉ_Ｂ，ｊ_Ｂ）は、絶対投影座標であり、第２撮像画素Ｂに対応する投影座標の第２方向～第Ｍ方向の成分Ｉ_{２ＲＰ，２}（ｉ_Ｂ，ｊ_Ｂ），Ｉ_{２ＲＰ，３}（ｉ_Ｂ，ｊ_Ｂ），・・・，Ｉ_{２ＲＰ，Ｍ}（ｉ_Ｂ，ｊ_Ｂ）は、いずれも相対投影座標である。

判定部４６は、第１撮像画素Ａに対応する投影座標を有する投影画素と、第２撮像画素Ｂに対応する投影座標を有する投影画素とのずれを評価する評価値Ｅ_４を求める。評価値Ｅ_４は、以下のように表現される。

判定部４６は、この評価値Ｅ_４が第５閾値より大きいか否かを判定する。第５閾値は、三次元形状測定装置１００に要求される測定精度に応じて定められる。判定部４６は、評価値Ｅ_４が第５閾値より大きい場合、第１撮像画素Ａ及び第２撮像画素Ｂの少なくともいずれかは不良画素であると判定する。判定部４６は、評価値Ｅ_４が第５閾値以下である場合、第１撮像画素Ａ及び第２撮像画素Ｂのはいずれも不良画素でないと判定する。

［比較値の最大値に基づく不良画素の判定］
また、判定部４６は、関係特定部４５が特定した第１撮像画素Ａと第２撮像画素Ｂとの組み合わせにおいて縞の延びる方向が互いに異なる複数の投影画像ごとに、第１撮像画素Ａに対応する投影座標と、第２撮像画素Ｂに対応する投影座標との比較値を求めてもよい。比較値は、例えば、第１撮像画素Ａに対応する投影座標と、第２撮像画素Ｂに対応する投影座標との差分値であるが、第１撮像画素Ａに対応する投影座標と、第２撮像画素Ｂに対応する投影座標との比の値であってもよい。

判定部４６は、第１撮像画素Ａに対応する投影座標（Ｉ_{１ＡＰ，１}（ｉ_Ａ，ｊ_Ａ），Ｉ_{１ＲＰ，２}（ｉ_Ａ，ｊ_Ａ），Ｉ_{１ＲＰ，３}（ｉ_Ａ，ｊ_Ａ），・・・，Ｉ_{１ＲＰ，Ｍ}（ｉ_Ａ，ｊ_Ａ））のそれぞれの方向の成分と、第２撮像画素Ｂに対応する投影座標（Ｉ_{２ＡＰ，１}（ｉ_Ｂ，ｊ_Ｂ），Ｉ_{２ＲＰ，２}（ｉ_Ｂ，ｊ_Ｂ），Ｉ_{２ＲＰ，３}（ｉ_Ｂ，ｊ_Ｂ），・・・，Ｉ_{２ＲＰ，Ｍ}（ｉ_Ｂ，ｊ_Ｂ））のそれぞれの方向の成分との比較値を求める。

判定部４６は、求めた比較値に基づく評価値により、第１撮像画素Ａ又は第２撮像画素Ｂの少なくともいずれかが不良画素であるか否かを判定する。より詳しくは、判定部４６は、求めた比較値（（Ｉ_{１ＡＰ，１}（ｉ_Ａ，ｊ_Ａ）－Ｉ_{２ＡＰ，１}（ｉ_Ｂ，ｊ_Ｂ）），(Ｉ_{１ＲＰ，２}（ｉ_Ａ，ｊ_Ａ）－Ｉ_{２ＲＰ，２}（ｉ_Ｂ，ｊ_Ｂ）），(Ｉ_{１ＲＰ，３}（ｉ_Ａ，ｊ_Ａ）－Ｉ_{２ＲＰ，３}（ｉ_Ｂ，ｊ_Ｂ）），・・・，(Ｉ_{１ＲＰ，Ｍ}（ｉ_Ａ，ｊ_Ａ）－Ｉ_{２ＲＰ，Ｍ}（ｉ_Ｂ，ｊ_Ｂ））)のうち、最大値となる方向の成分を特定する。

判定部４６は、特定した最大値を評価値Ｅ_５として、この評価値Ｅ_５が第６閾値より大きいか否かを判定する。第６閾値は、三次元形状測定装置１００に要求される測定精度に応じて定められる。判定部４６は、評価値Ｅ_５が第６閾値より大きい場合、第１撮像画素Ａ及び第２撮像画素Ｂの少なくともいずれかは不良画素であると判定する。

判定部４６は、特定した評価値Ｅ_５が第６閾値以下である場合、第１撮像画素Ａ及び第２撮像画素Ｂはいずれも不良画素でないと判定する。判定部４６は、不良画素の影響が最も大きい縞のパターンを用いて、第１撮像画素Ａと第２撮像画素Ｂとの少なくともいずれかが不良画素であるか否かを判定する。このため、判定部４６は、不良画素の見落としを精度よく抑制することができる。

判定部４６は、この他、比較の方法としては比較値についての標準偏差などを使用して、他の第１撮像画素について特定した評価値が有意に大きくなる第１撮像画素等を不良画素であると判定してもよい。また、判定部４６は、縞方向ごとに重要性を規定する重み付けの係数を用いて、上記の平均値、最大値、標準偏差等の算出を行っても良い。例えば個々の縞方向ごとに投影制御部４１が、投影画像を投影する数や縞周期を変えて、それに応じて判定部４６が異なる重み付けの係数を用いて評価値を算出してもよい。

［三次元形状測定装置の測定処理］
図１４は、三次元形状測定装置１００による測定対象物の形状の測定処理を示すフローチャートである。この処理手順は、測定対象物の形状の測定開始を指示するユーザの操作を操作受付部（不図示）が受け付けたときに開始する。

まず、投影制御部４１は、投影座標を特定するためのパターンを含む投影画像を測定対象物へ投影部３により投影する（Ｓ１０１）。次に、撮像制御部４２は、測定対象物に投影された投影画像を第１撮像部１により撮像した第１撮像画像を生成する。また、撮像制御部４２は、測定対象物に投影された投影画像を第２撮像部２により撮像した第２撮像画像を生成する（Ｓ１０２）。

第１座標特定部４３１は、第１撮像画像に含まれるパターンに基づいて、第１撮像画像の第１撮像画素に対応する投影座標を特定する。第２座標特定部４３２は、第２撮像画像に含まれるパターンに基づいて、第２撮像画像の第２撮像画素に対応する投影座標を特定する（Ｓ１０３）。関係特定部４５は、第１撮像画素に関連付けられた第２撮像画像の第１エピポーラ線を記憶部５から取得する（Ｓ１０４）。関係特定部４５は、取得した第１エピポーラ線上に位置する第２撮像画素のうち、第１撮像画素と同じ投影座標に対応する第２撮像画素を選択する。

関係特定部４５は、第１撮像画素と、選択した第２撮像画素との組み合わせを同じ測定点に対応する組み合わせとして特定する（Ｓ１０５）。関係特定部４５は、同様にして、第１撮像画像に含まれる複数の第１撮像画素と、第２撮像画像に含まれる複数の第２撮像画素との複数の組み合わせの間において、測定対象物の共通の測定点に対応する複数の組み合わせを特定する。

判定部４６は、関係特定部４５が特定した第１撮像画素及び第２撮像画素の組み合わせにおいて、第１撮像画素に対応する投影座標を有する投影画像の投影画素と、第２撮像画素に対応する投影座標を有する投影画像の投影画素との間の距離を求める。判定部４６は、求めた距離を示す評価値Ｅ_１が第１閾値より大きいか否かを判定する（Ｓ１０６）。

判定部４６は、評価値Ｅ_１が第１閾値より大きい場合（Ｓ１０６のＹＥＳ）、関係特定部４５が特定した組み合わせにおいて第１撮像画素及び第２撮像画素の少なくともいずれかが不良画素であると判定する（Ｓ１０７）。形状測定部４７は、関係特定部４５が特定した他の組み合わせがあるか否かを判定する（Ｓ１０８）。

形状測定部４７は、関係特定部４５が特定した他の組み合わせがないと判定した場合に（Ｓ１０８のＮＯ）、判定部４６が第１撮像画素及び第２撮像画素が不良画素でないと判定した組み合わせに対応する少なくとも一方の画素を用いて測定対象物の三次元形状を測定し（Ｓ１０９）、処理を終了する。

判定部４６は、Ｓ１０６の判定において評価値Ｅ_１が第１閾値以下である場合（Ｓ１０６のＮＯ）、第１撮像画素及び第２撮像画素はいずれも不良画素でないと判定し（Ｓ１１０）、Ｓ１０８の処理に進む。形状測定部４７は、Ｓ１０８の判定において関係特定部４５が特定した他の組み合わせがあると判定した場合に（Ｓ１０８のＹＥＳ）、再びＳ１０６の処理を行う。

［本実施形態による効果］
判定部４６は、関係特定部４５が特定した第１撮像画素と第２撮像画素との組み合わせにおいて、第１撮像画素Ａ及び第２撮像画素Ｂが投影画像のほぼ同じ投影画素に対応しているか否かを判定することにより、第１撮像画素Ａ又は第２撮像画素Ｂの少なくともいずれかが多重反射光等の影響を受けた不良画素であるか否かを判定することができる。したがって、判定部４６は、多重反射光等に起因して、形状測定部４７による測定対象物の形状の測定精度が低下することを抑制することができる。

＜第２の実施形態＞
［複数方向の縞による組み合わせの再調整］
第１の実施形態では、関係特定部４５が、単一方向に延びる縞パターンに基づく投影座標を用いて、測定対象物の同じ測定点に対応する第１撮像画素と第２撮像画素との組み合わせを特定する例について説明した。この場合、第１撮像画像における第１撮像画素と、第２撮像画像における第２撮像画素とが、測定対象物の同一の位置に対応していないという場合があった。そこで、第２の実施形態における関係特定部４５は、複数の異なる方向に延びる縞のパターンに基づく投影座標を用いて、第１撮像画素と第２撮像画素との組み合わせを特定することにより、測定対象物の同じ測定点に対応する組み合わせを特定する精度を向上させる。このため、形状測定部４７は、測定対象物の三次元形状の測定精度を向上させることが可能になる。

具体的には、第２の実施形態では、関係特定部４５が、複数の異なる方向に延びる縞のパターンに基づく投影座標を用いて、測定対象物の同じ測定点に対応する第１撮像画素と第２撮像画素との組み合わせを再調整する。

図１５は、第２の実施形態の三次元形状測定装置が備える制御部５０の構成を示す図である。制御部５０は、図１の制御部４の各ブロックに加えて、取得部５０１、候補座標特定部５０２及び評価部５０３をさらに備える。図１の制御部４と同様のブロックについては同じ符号を付して説明を省略する。

取得部５０１は、まず、単一方向に延びる縞パターンに基づく投影座標を用いて関係特定部４５が特定した第１撮像画素と第２撮像画素との組み合わせを取得する。取得部５０１は、取得した組み合わせの第２撮像画素から所定範囲内の複数の第２撮像画素を対応候補画素として取得する。所定範囲は、例えば、取得部５０１が取得した組み合わせにおける第２撮像画素に隣接する範囲である。取得部５０１は、画素よりも小さい単位の対応候補画素を取得してもよい。例えば、取得部５０１は、画素が１ピクセル単位である場合に、サブピクセル単位の複数の対応候補画素を取得する。サブピクセルは、１ピクセル単位の画素よりも小さな長さを表す。

候補座標特定部５０２は、縞の延びる方向が異なる複数の投影画像を投影制御部４１が投影した場合に、縞の延びる方向が異なる投影画像ごとに、対応候補画素に対応する投影座標をそれぞれ特定する。候補座標特定部５０２は、複数の対応候補座標の投影座標をそれぞれ特定する。一例としては、候補座標特定部５０２は、複数の対応候補座標の投影座標をそれぞれサブピクセル単位で特定する。

評価部５０３は、縞の伸びる方向が互いに異なる投影画像ごとに、第１撮像画素に対応する投影座標と、対応候補画素に対応する投影座標との比較値を求め、求めた比較値に基づく評価値を対応候補画素ごとに求める。比較値は、例えば、第１撮像画素に対応する投影座標と、対応候補画素に対応する投影座標との差分値であるが、第１撮像画素に対応する投影座標と、対応候補画素に対応する投影座標との比の値であってもよい。図１６は、評価部５０３による対応候補画素の評価方法を示す図である。

まず、図１１と同様にして、評価部５０３は、関係特定部４５が特定した第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせにおける第１撮像画素Ａと同じ投影座標（Ｉ_{１ＡＰ，１}（ｉ_Ａ，ｊ_Ａ），Ｉ_{１ＲＰ，２}（ｉ_Ａ，ｊ_Ａ），Ｉ_{１ＲＰ，３}（ｉ_Ａ，ｊ_Ａ），・・・，Ｉ_{１ＲＰ，Ｍ}（ｉ_Ａ，ｊ_Ａ））を有する投影画素Ｃ_Ａを特定する。評価部５０３は、対応候補画素Ｂ１と同じ投影座標（Ｉ_{２ＡＰ，１}（ｉ_Ｂ１，ｊ_Ｂ１），Ｉ_{２ＲＰ，２}（ｉ_Ｂ１，ｊ_Ｂ１），Ｉ_{２ＲＰ，３}（ｉ_Ｂ１，ｊ_Ｂ１），・・・，Ｉ_{２ＲＰ，Ｍ}（ｉ_Ｂ１，ｊ_Ｂ１））を有する投影画素Ｃ_Ｂ１を特定する。評価部５０３は、投影画素Ｃ_Ａの投影座標と、投影画素Ｃ_Ｂ１の投影座標との各方向成分における比較値に基づく以下の評価値Ｅ_６を算出する。

評価部５０３は、同様にして、対応候補画素Ｂ２と同じ投影座標を有する投影画素Ｃ_Ｂ２を特定し、投影画素Ｃ_Ａが有する投影座標と、投影画素Ｃ_Ｂ１が有する投影座標との各方向成分における比較値に基づく評価値Ｅ_６を算出する。また、評価部５０３は、関係特定部４５が特定した第１撮像画素Ａ及び第２撮像画素Ｂの組み合わせにおける第２撮像画素Ｂと同じ投影座標を有する投影画像Ｃ_Ｂについて同様に評価値Ｅ_６を算出する。

関係特定部４５は、評価部５０３が求めた評価値Ｅ_６に基づいて、複数の対応候補画素のうち、いずれかの対応候補画素と、取得部５０１が取得した組み合わせにおける第１撮像画素Ａとを新たな組み合わせとして特定する。例えば、関係特定部４５は、評価部５０３が算出した評価値Ｅ_６が最も小さくなる対応候補画素を選択し、第１撮像画素Ａと、この対応候補画素との組み合わせを新たな組み合わせとして特定する。

本実施形態によれば、関係特定部４５は、複数の方向に延びる縞のパターンに基づく投影座標を用いて、測定対象物の同じ測定点に対応する第１撮像画素と第２撮像画素との組み合わせをより精度よく特定することができる。このため、判定部４６により撮像画素が不良画素であるか否かを判定する精度も向上するので、形状測定部４７による測定対象物の形状の測定精度が向上する。

［不良画素を除く投影画像による再測定処理］
不良画素は、多重反射光に起因して生じることが多いため、不良画素であると判定された撮像画素に対応する投影座標の投影画素を除く投影画像を投影すれば、多重反射光の影響を抑制することができる。そこで、投影制御部４１は、判定部４６が第１撮影画素又は第２撮像画素の少なくともいずれかが不良画素であると判定した場合に、投影画像に含まれる複数の投影画素のうち、判定部４６が第１撮像画素及び第２撮像画素が不良画素でないと判定した組み合わせに対応する第１撮像画素、及び第２撮像画素のいずれかに対応する投影座標を有する投影画素を全て除いた投影画像（以下、第１選択投影画像）を測定対象物に再び投影してもよい。

不良画素は多重反射光の影響を受けている可能性があるため、投影制御部４１は、不良画素を除く第１選択投影画像を投影することにより、多重反射光の影響を抑制することができる。このため、第１座標特定部４３１は、第１撮像画素に対応する投影座標を精度よく特定することができる。同様に、第２座標特定部４３２は、第２撮像画素に対応する投影座標を精度よく特定することができる。

［不良画素のみを含む投影画像を用いる再測定処理］
多重反射による不良画素は、多数の画素を含む投影画像を同時に測定対象物に投影することによって生じると考えることもできる。そこで、投影制御部４１は、判定部４６が第１撮像画素又は第２撮像画素の少なくともいずれかが不良画素であると判定した場合に、同時に投影する投影画素の数を減少させることを目的として、投影画像に含まれる複数の投影画素のうち、判定部４６が不良画素であると判定した組み合わせに対応する第１撮像画素又は第２撮像画素に対応する投影座標を有する投影画素のみを含む投影画像（以下、第２選択投影画像）を測定対象物に再び投影して再度測定を実行してもよい。

投影制御部４１は、第２選択投影画像を投影することにより、投影画像を全て投影する場合に比べて、同時に投影する画素の数を減少させる。第１座標特定部４３１及び第２座標特定部４３２は、判定部４６が不良画素であると判定した第１撮像画素又は第２撮像画素に対応する投影座標を再度特定することにより、測定対象物の三次元形状の測定に用いる撮像画素の数を増やすことができる。

［周期が異なる縞のパターンを含む複数の投影画像の投影］
また、投影制御部４１は、縞の周期が互いに異なる正弦波状の輝度分布を有する縞のパターンを含む複数の投影画像を順次投影してもよい。例えば、投影制御部４１は、第１方向に延びる縞のパターンを含む投影画像を測定対象物に投影した後に、第１方向に延び、かつ周期が異なる縞のパターンを含む投影画像を追加的に測定対象物に投影してもよい。

また、投影制御部４１は、第２方向に延びる縞のパターンを含む投影画像を測定対象物に投影した後に、第２方向に延び、かつ周期が異なる縞のパターンを含む投影画像を追加的に測定対象物に投影してもよい。測定対象物の測定面において１回のみ反射して撮像画素において受光される光を直接反射光とすれば、周期が異なる縞のパターンを含む投影画像を投影した場合、直接反射光に重なる多重反射光の位相が変化する。このため、判定部４６は、多重反射光の影響を受けた画素をより精度よく検出することができる。

また、第１及び第２の実施形態では、投影制御部４１が、周期が異なる２値の縞パターンを含む複数の投影画像と、正弦波状の輝度分布を有する縞のパターンを含む投影画像とを投影する場合の例について説明した。しかしながら、本発明はこれに限定されない。例えば、投影制御部４１は、２値の縞パターンを含む複数の投影画像の代わりに、周期が異なる正弦波状の輝度分布を有する縞のパターンを含む複数の投影画像を測定対象物に投影してもよい。

［システムの不具合の検知］
判定部４６は、撮像画素が不良画素であるか否かを判定する例に限定されず、第１撮像部１、第２撮像部２及び投影部３のいずれかの配置に不具合が生じたか否かを判定してもよい。判定部４６は、関係特定部４５が特定した第１撮像画素と第２撮像画素との複数の組み合わせごとに求めた複数の評価値Ｅ_１の統計量を用いて、第１撮像部１、第２撮像部２及び投影部３のいずれかの配置に不具合が生じたか否かを判定する。

判定部４６は、求めた複数の評価値Ｅ_１の統計量が基準値を超えている場合に、第１撮像部１、第２撮像部２及び投影部３のいずれかの配置に不具合が生じたと判定する。配置の不具合とは、例えば、第１撮像部１、第２撮像部２及び投影部３のいずれかの配置が記憶部５に予め記憶されているものからずれていることである。

統計量は、例えば、判定部４６が第１撮像画素及び第２撮像画像の複数の組み合わせごとに求めた複数の評価値Ｅ_１の平均値である。基準値は、関係特定部４５が特定した第１撮像画素と第２撮像画素との組み合わせを特定する精度が多重反射光以外の要因により低下していることを示す値として定められた値である。このような構成により、判定部４６は、第１撮像部１、第２撮像部２及び投影部３のいずれかの配置に不具合が生じたか否かを判定することができる。

第１の実施形態及び第２の実施形態では、三次元形状測定装置１００が第１撮像部１、第２撮像部２及び投影部３を備える場合の例について説明した。しかしながら、本発明はこれに限定されない。三次元形状測定装置１００は、３台以上の撮像部や、２台以上の投影部を備え、これらの撮像部や投影部の任意の組み合わせを対象にして、第１の実施形態及び第２の実施形態に記載した一連の処理を繰り返してもよい。

以上、実施の形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１ 第１撮像部
２ 第２撮像部
３ 投影部
４ 制御部
５ 記憶部
１１ レンズ
１２ 撮像素子
２１ レンズ
２２ 撮像素子
４１ 投影制御部
４２ 撮像制御部
４３ 座標特定部
４４ 線特定部
４５ 関係特定部
４６ 判定部
４７ 形状測定部
５０ 制御部
１００ 三次元形状測定装置
４３１ 第１座標特定部
４３２ 第２座標特定部
５０１ 取得部
５０２ 候補座標特定部
５０３ 評価部

Claims (13)

1. 投影座標を特定するためのパターンを含む投影画像を測定対象物に投影する投影部と、
   前記測定対象物に投影された前記投影画像を撮像することにより第１撮像画像を生成する第１撮像部と、
   前記測定対象物に投影された前記投影画像を撮像することにより第２撮像画像を生成する第２撮像部と、
   前記第１撮像画像に含まれる前記パターンに基づいて、前記第１撮像画像の第１撮像画素に対応する前記投影座標を特定する第１座標特定部と、
   前記第２撮像画像に含まれる前記パターンに基づいて、前記第２撮像画像の第２撮像画素に対応する前記投影座標を特定する第２座標特定部と、
   前記第１撮像部と前記第２撮像部との配置に基づいて、前記第１撮像画素に対応する前記第２撮像画像の第１エピポーラ線を特定する線特定部と、
   前記第１撮像画素と、当該第１撮像画素に対応する前記投影座標と同じ前記投影座標に対応し且つ当該第１撮像画素に対応する前記第２撮像画像の前記第１エピポーラ線上に位置する前記第２撮像画素との組み合わせを特定する関係特定部と、
   前記第１撮像画素及び前記第２撮像画素の前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標を有する前記投影画像の投影画素と、当該第２撮像画素に対応する前記投影座標を有する前記投影画像の投影画素との間の距離に基づいて、前記第１撮像画素又は前記第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する判定部と、
   前記第１撮像画素及び前記第２撮像画素が前記不良画素でないと判定された前記組み合わせに対応する前記第１撮像画素、及び前記第２撮像画素の少なくともいずれか一方を用いて、前記測定対象物の形状を測定する形状測定部と、を備える、
   三次元形状測定装置。
2. 前記投影部は、同じ方向に縞が延びる前記パターンを含む複数の前記投影画像を前記測定対象物に投影し、
   前記線特定部は、前記第２撮像部と前記投影部との配置に基づいて、前記第２撮像画素に対応する前記投影画像の第２エピポーラ線を特定し、且つ、前記第１撮像部と前記投影部との配置に基づいて、前記第１撮像画素に対応する前記投影画像の第３エピポーラ線を特定し、
   前記判定部は、前記第１撮像画素及び前記第２撮像画素の前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標を有し且つ当該第１撮像画素に対応する前記投影画像の前記第３エピポーラ線上に位置する前記投影画素と、当該第２撮像画素に対応する前記投影座標を有し且つ当該第２撮像画素に対応する前記投影画像の前記第２エピポーラ線上に位置する前記投影画素との間の距離に基づいて、前記第１撮像画素又は前記第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する、
   請求項１に記載の三次元形状測定装置。
3. 前記投影部は、同じ方向に縞が延びる前記パターンを含む複数の前記投影画像を前記測定対象物に投影し、
   前記線特定部は、前記第２撮像部と前記投影部との配置に基づいて、前記第２撮像画素に対応する前記投影画像の第２エピポーラ線を特定し、且つ、前記第１撮像部と前記投影部との配置に基づいて、前記第１撮像画素に対応する前記投影画像の第３エピポーラ線を特定し、
   前記判定部は、前記第１撮像画素及び前記第２撮像画素の前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標を有し且つ当該第１撮像画素に対応する前記投影画像の前記第３エピポーラ線上に位置する前記投影画素と、前記第２エピポーラ線及び前記第３エピポーラ線の交点に位置する前記投影画素との間の距離に基づいて、前記第１撮像画素又は前記第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する、
   請求項１に記載の三次元形状測定装置。
4. 前記投影部は、縞の前記パターンを含む複数の前記投影画像であって、前記パターンに含まれる当該縞の延びる方向が互いに異なる当該複数の投影画像を前記測定対象物に投影する、
   請求項１に記載の三次元形状測定装置。
5. 前記第１座標特定部は、縞の延びる方向が互いに異なる前記複数の投影画像ごとに、前記第１撮像画素に対応する前記投影座標をそれぞれ特定し、
   前記第２座標特定部は、縞の延びる方向が互いに異なる前記複数の投影画像ごとに、前記第２撮像画素に対応する前記投影座標をそれぞれ特定し、
   前記判定部は、前記関係特定部が特定した前記第１撮像画素と前記第２撮像画素との前記組み合わせにおいて縞の延びる方向が互いに異なる前記複数の投影画像ごとに、当該第１撮像画素に対応する前記投影座標と当該第２撮像画素に対応する前記投影座標との比較値を求め、求めた前記比較値に基づいた評価値により、当該第１撮像画素又は当該第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する、
   請求項４に記載の三次元形状測定装置。
6. 前記第１座標特定部は、縞の延びる方向が互いに異なる前記複数の投影画像ごとに、前記第１撮像画素に対応する前記投影座標を特定し、
   前記三次元形状測定装置は、
   前記関係特定部が特定した前記第１撮像画素及び前記第２撮像画素の前記組み合わせを取得し、取得した当該組み合わせにおいて当該第２撮像画素から所定範囲内の複数の前記第２撮像画素を対応候補画素として取得する取得部と、
   縞の延びる方向が互いに異なる前記投影画像ごとに、前記複数の対応候補画素に対応する前記投影座標をそれぞれ特定する候補座標特定部と、
   縞の伸びる方向が互いに異なる前記投影画像ごとに、前記第１撮像画素に対応する前記投影座標と、前記対応候補画素に対応する前記投影座標との比較値を求め、前記投影画像ごとに求めた複数の前記比較値に基づく評価値を前記対応候補画素ごとに求める評価部とをさらに備え、
   前記関係特定部は、前記評価部が求めた前記評価値に基づいて、前記複数の対応候補画素のうち、いずれかの前記対応候補画素と、前記取得部が取得した組み合わせにおける前記第１撮像画素とを新たな組み合わせとして特定する、
   請求項４又は５に記載の三次元形状測定装置。
7. 前記関係特定部は、前記第１撮像画像に含まれる複数の前記第１撮像画素と、前記第２撮像画像に含まれる複数の前記第２撮像画素との複数の前記組み合わせを特定し、
   前記判定部は、前記関係特定部が特定した前記第１撮像画素及び前記第２撮像画素の前記複数の組み合わせのそれぞれにおいて、当該第１撮像画素に対応する前記投影座標を有する前記投影画像の投影画素と、当該第２撮像画素に対応する前記投影座標を有する前記投影画像の投影画素との距離を示す評価値を求め、前記複数の組み合わせごとに当該評価値を求め、求めた複数の前記評価値の統計量が基準値を超えている場合に、前記第１撮像部、前記第２撮像部及び前記投影部のいずれかの配置に不具合が生じたと判定する、
   請求項１から６のいずれか一項に記載の三次元形状測定装置。
8. 投影座標を特定するためのパターンを含む投影画像を測定対象物に投影する投影部と、
   前記測定対象物に投影された前記投影画像を撮像することにより第１撮像画像を生成する第１撮像部と、
   前記測定対象物に投影された前記投影画像を撮像することにより第２撮像画像を生成する第２撮像部と、
   前記第１撮像画像に含まれる前記パターンに基づいて、前記第１撮像画像の第１撮像画素に対応する前記投影座標を特定する第１座標特定部と、
   前記第２撮像画像に含まれる前記パターンに基づいて、前記第２撮像画像の第２撮像画素に対応する前記投影座標を特定する第２座標特定部と、
   前記第１撮像部と前記投影部との配置に基づいて、前記第１撮像画素に対応する前記投影画像のエピポーラ線を特定し、前記投影部と前記第２撮像部との配置に基づいて、前記投影画像の投影画素に対応する前記第２撮像画像のエピポーラ線を特定する線特定部と、
   前記第１撮像画素と、当該第１撮像画素に対応する前記投影座標を有し且つ当該第１撮像画素に対応する前記投影画像の前記エピポーラ線上に位置する前記投影画像の投影画素との組み合わせを特定する関係特定部と、
   前記第１撮像画素及び前記投影画素との前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標と同じ前記投影座標に対応する前記第２撮像画素である主第２撮像画素と、当該投影画素の前記投影座標に対応し、且つ、当該投影座標に対応する前記第２撮像画像のエピポーラ線上に位置する前記第２撮像画素である副第２撮像画素との間の距離に基づいて、前記第１撮像画素、主第２撮像画素又は副第２撮像画素の少なくともいずれかが不良画素であるか否かを判定する判定部と、
   前記第１撮像画素、前記主第２撮像画素及び前記副第２撮像画素が不良画素でないと判定された前記組み合わせに対応する前記第１撮像画素、前記主第２撮像画素又は前記副第２撮像画素の少なくともいずれかを用いて、前記測定対象物の形状を測定する形状測定部と、を備える、
   三次元形状測定装置。
9. 前記投影部は、２値の縞の前記パターンを含む前記投影画像と、正弦波状の輝度分布を有する縞の前記パターンを含む前記投影画像とを前記測定対象物に投影する、
   請求項１から８のいずれか一項に記載の三次元形状測定装置。
10. 前記投影部は、縞の周期が互いに異なる正弦波状の輝度分布を有する縞の前記パターンを含む複数の前記投影画像を順次投影する、
    請求項１から９のいずれか一項に記載の三次元形状測定装置。
11. 前記投影部は、前記投影画像に含まれる複数の画素のうち、前記判定部が不良画素であると判定した前記第１撮像画素及び前記第２撮像画素のいずれかに対応する前記投影座標を有する前記投影画素を全て除いた投影画像を前記測定対象物に再び投影する、
    請求項１から１０のいずれか一項に記載の三次元形状測定装置。
12. 前記投影部は、前記投影画像に含まれる複数の前記投影画素のうち、前記判定部が不良画素であると判定した前記第１撮像画素又は前記第２撮像画素に対応する前記投影座標を有する前記投影画素のみを含む投影画像を前記測定対象物に再び投影する、
    請求項１から１１のいずれか一項に記載の三次元形状測定装置。
13. 投影座標を特定するためのパターンを含む投影画像を測定対象物に投影するステップと、
    前記測定対象物に投影された前記投影画像を第１撮像部により撮像することによって第１撮像画像を生成するステップと、
    前記測定対象物に投影された前記投影画像を第２撮像部により撮像することによって第２撮像画像を生成するステップと、
    前記第１撮像画像に含まれる前記パターンに基づいて、前記第１撮像画像の第１撮像画素に対応する前記投影座標を特定するステップと、
    前記第２撮像画像に含まれる前記パターンに基づいて、前記第２撮像画像の第２撮像画素に対応する前記投影座標を特定するステップと、
    前記第１撮像部と前記第２撮像部との配置に基づいて、前記第１撮像画素に対応する前記第２撮像画像のエピポーラ線を特定するステップと、
    前記第１撮像画素と、当該第１撮像画素に対応する前記投影座標と同じ前記投影座標に対応し且つ当該第１撮像画素に対応する前記第２撮像画像の前記エピポーラ線上に位置する前記第２撮像画素との組み合わせを特定するステップと、
    前記第１撮像画素及び前記第２撮像画素の前記組み合わせごとに、当該第１撮像画素に対応する前記投影座標を有する前記投影画像の投影画素と、当該第２撮像画素に対応する前記投影座標を有する前記投影画像の投影画素との間の距離に基づいて、前記第１撮像画素又は前記第２撮像画素の少なくともいずれかが不良画素であるか否かを判定するステップと、
    前記第１撮像画素及び前記第２撮像画素が前記不良画素でないと判定された前記組み合わせに対応する第１撮像画素、及び前記第２撮像画素の少なくともいずれか一方を用いて、前記測定対象物の形状を測定するステップと、を備える、
    三次元形状測定方法。
    
    
    

Images