JP7279596B2 - 三次元計測装置 - Google Patents

Description

位相シフト法で計測対象物の三次元形状を計測する三次元計測装置に関する。

計測対象物の三次元形状等を計測する三次元計測装置として、位相シフト法を用いる装置が知られている。位相シフト法は位相をずらした複数枚の縞パターン画像を投影し三角測量を行う手法である。

特許文献１は、三次元計測装置を用いた三次元形状の計測に要する時間の短縮を図る手法を開示している。特許文献１に開示されている三次元計測装置は、各位相の縞を異なる波長の光（例として赤、緑、青）に割り当て、これを合成した縞パターン画像を計測対象物に投影する。この縞パターン画像を投影している計測対象物をカラーカメラで撮影する。そして、撮影した画像から、各色成分を抽出することで１回の撮影で位相算出を行う。

カメラは、受光面に縦横に複数の光検出素子を備えている。また、各光検出素子の光到来方向にはＲＧＢカラーフィルタが設けられている。ＲＧＢカラーフィルタが配置されていることで、各光検出素子には、その光検出素子の光到来方向に配置されたカラーフィルタに対応する色の光が主として検出される。

しかし、一般的なカラーフィルタは、そのカラーフィルタに対応する色とは異なる色を完全には遮断しない。よって、各光検出素子には、カラーフィルタに対応する色以外の色の光も検出されてしまう。

特許文献２には、各光検出素子に検出される光が、赤、緑、青のうち目的とする色以外の色の光を含みにくくするために、透過波長を狭く設計した専用のフィルタを設ける技術が開示されている。

特許第３７２３０５７号公報 特許第６０７２３６３号公報

特許文献２のように、専用のフィルタを設けると、三次元計測装置が高価になる。

本開示は、この事情に基づいて成されたものであり、その目的は、専用のフィルタを設けることなく、各色に対応した輝度値を決定することができる三次元計測装置を提供することにある。

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、開示した技術的範囲を限定するものではない。

上記目的を達成するための請求項１に係る三次元計測装置は、
複数の単色縞パターン画像が合成された合成縞パターン画像を投影するプロジェクタ（２０）と、
計測対象物に投影された合成縞パターン画像をカラーで撮影するカメラ（３０）とを備え、
カメラが撮影した画像に基づいて、位相シフト法により計測対象物の三次元形状を計測する三次元計測装置であって、
カメラが単色画像を撮影した場合に、カメラが備える複数色のカラーフィルタにそれぞれ対応した色画素により検出される輝度値の比を示す輝度値比を、色画素別に表した輝度値比テーブルを記憶するテーブル記憶部（１１）と、
プロジェクタから計測対象物に向けて合成縞パターン画像を投影させる投影制御部（Ｓ１１）と、
合成縞パターン画像が計測対象物に投影されている状態をカメラが撮影した撮影画像の輝度値であって、色画素別の撮影画像の輝度値を取得する撮影画像取得部（Ｓ１２）と、
撮影画像取得部が取得した色画素別の撮影画像の輝度値と、輝度値比テーブルが示す輝度値比とに基づいて、色画素別の撮影画像の輝度値から他色成分の輝度値を除去する補正をする補正部（Ｓ１３）と、
補正部が算出した色画素別の補正後の輝度値に基づいて、画素別に輝度値の位相を算出する位相算出部（Ｓ１４）と、
位相算出部が算出した位相に基づいて、計測対象物の三次元座標を決定する座標決定部（Ｓ１５、Ｓ１６）とを備え、
輝度値比テーブルは、
色画素に対応した単色で形成された補正用単色画像であって、プロジェクタの画素座標の一方向の変化に対して輝度が連続的に変化する単色グラデーションパターン画像である補正用単色画像を、プロジェクタから投影面に投影し、投影面に投影された補正用単色画像をカメラで撮影する画像撮影工程（Ｓ２１）と、
カメラが撮影した単色グラデーションパターン画像をもとに、輝度値に対する、複数の色画素間の輝度値比の変化が許容できる許容輝度範囲を決定する許容輝度決定工程（Ｓ２３）と、
画像撮影工程でカメラが撮影した補正用単色画像の輝度値をもとに、許容輝度範囲内の輝度値比を用いて、輝度値比テーブルを決定する輝度値比決定工程（Ｓ２６）と、
を色画素が示す色別に行うことによって生成されており、
合成縞パターン画像は、単色縞パターン画像の輝度値変化範囲を許容輝度範囲に補正し、補正後の単色縞パターン画像を複数合成する合成縞パターン画像生成工程（Ｓ２７）によって生成されている。

上記三次元計測装置によれば、カメラが、複数の単色縞パターン画像が合成された合成縞パターン画像を撮影していても、位相を算出する補正後の輝度値は、各色画素に受光されてしまう他色の投影画像の影響を受ける程度が軽減されている。よって、各色の撮影画像の輝度値をもとにして計測する計測対象物の三次元形状の精度が向上する。

また、このように補正により、色画素別の撮影画像の輝度値から他色成分の輝度値を除去する。よって、カメラが備えるカラーフィルタに、透過波長を狭く設計した専用のフィルタを設ける必要もない。

加えて、輝度値比テーブルを決定するために単色グラデーションパターン画像を投影する。単色グラデーションパターン画像は輝度値が変化する画像であるので、単色グラデーションパターン画像をもとに輝度値比を決定すると、輝度値の変化に対する輝度値比の変化を決定できる。そこで、許容輝度決定工程において、輝度値に対する輝度値比の変化が許容できる許容輝度範囲を決定する。輝度値比テーブルは、この許容輝度範囲内の輝度値比を用いて決定する。このようにすることで、ばらつきの大きい輝度値比を輝度値比テーブルに格納する輝度値比に決定してしまうことが防止される。

さらに、単色縞パターン画像の輝度値変化範囲を許容輝度範囲に補正し、補正後の単色縞パターン画像をもとに合成縞パターン画像を生成する。よって、合成縞パターン画像も、許容輝度範囲外が除外された輝度の画像になっている。したがって、合成縞パターン画像において用いられている輝度範囲と、輝度値比テーブルに格納されている輝度値比を算出した輝度範囲とが整合する。そのため、輝度値比テーブルに格納された輝度値比を用いて補正した補正後輝度値は、他色成分の影響がよく除去される。よって、補正後輝度値から算出する位相や、その位相から算出する計測対象物の三次元形状の精度も向上する。

実施形態の三次元計測装置１の構成を示す図である。 標準縞パターン画像を示す図である。 単色縞パターン画像を撮影したときのｘ画素座標に対する輝度値の変化を示す図である。 標準縞ターン画像を撮影したときのｘ画素座標に対する輝度値の変化を示す図である。 第１実施形態において実行する輝度値比テーブル生成方法を示す図である。 図５のステップＳ２で決定する輝度値比の一例を示す図である。 図５のステップＳ５で生成する輝度値比テーブルの一例を示す図である。 輝度値比テーブルを用いた補正による効果を示す図である。 三次元形状を計測する処理を示す図である。 位相θと高さ座標ｚ_ｍとの関係を示すグラフである。 水平座標（ｘ_ｍ、ｙ_ｍ）の算出方法を説明する図である。 第２実施形態において実行する輝度値比テーブル生成方法を示す図である。 単色グラデーションパターン画像の一例を示す図である。 赤の単色グラデーションパターン画像を撮影したときの輝度値比の変化を示す図である。 緑の単色グラデーションパターン画像を撮影したときの輝度値比の変化を示す図である。 青の単色グラデーションパターン画像を撮影したときの輝度値比の変化を示す図である。 図１２のステップＳ２６で生成する輝度値比テーブルの一例を示す図である。

＜第１実施形態＞
以下、実施形態を図面に基づいて説明する。図１は、実施形態の三次元計測装置１の構成を示す図である。三次元計測装置１は、制御装置１０と、プロジェクタ２０と、カメラ３０とを備えている。三次元計測装置１は、作業台２の上に置かれた計測対象物５の三次元形状を位相シフト法により計測する。作業台２の上面は平面であり、作業台２の任意の位置に計測対象物５が位置する。三次元計測装置１は、たとえば、ロボットにピッキング、組付け作業、製品検査等を行わせる際のロボットの目として利用する。

制御装置１０は、コンピュータを備えたものとすることができる。制御装置１０は、プロジェクタ２０が投影する画像のデータとなる画像データを生成してプロジェクタ２０へ出力する。プロジェクタ２０が投影する画像には、縞パターン画像がある。

また、制御装置１０は、プロジェクタ２０から縞パターン画像が計測対象物５に投影された状態で、カメラ３０が撮影した画像を表す画像データを取得する。そして、その画像データをもとに位相シフト法により、計測対象物５の三次元形状を計測する。

三次元形状を計測するために、プロジェクタ２０が計測対象物５に投影する縞パターン画像は、図２に示す標準縞パターン画像である。標準縞パターン画像は、赤、緑、青ともに、０から２５５までの輝度範囲で輝度を変化させた３色の単色縞パターン画像を合成した縞パターン画像である。標準縞パターン画像は、合成縞パターン画像の一例である。

単色縞パターン画像は、赤、緑、青のいずれか１色の輝度が画像の一方向には正弦波状に変化し、その一方向と直交する方向は輝度が一定である画像である。また、標準縞パターン画像は、３色の単色縞パターン画像の位相が所定の角度だけずれている。

一例としては、赤色の単色縞パターン画像の位相が最も進んでおり、緑色の単色縞パターン画像の位相がそれよりもπ／２遅れている。青色の単色縞パターン画像は、緑色の単色縞パターン画像よりもさらにπ／２だけ位相が遅れている。標準縞パターン画像は、赤、緑、青の単色縞パターン画像が均等に含まれる画像であるため、ｘ画素座標の変化に伴い虹状に色が変化する。

制御装置１０は、テーブル記憶部１１を備えている。テーブル記憶部１１は書き込み可能な不揮発性の記憶部である。テーブル記憶部１１には、図５を実行して生成した輝度値比テーブルが記憶される。

プロジェクタ２０は、カラー画像を投影可能なプロジェクタである。カメラ３０は、カラー画像を撮影可能なカメラである。カメラ３０は、デジタルカメラであって、フォトダイオードなどの光検出素子を受光面に縦横に多数備えている。１つ１つの光検出素子が１画素に相当する。

光検出素子の光到来方向にはＲＧＢカラーフィルタが設けられている。ＲＧＢカラーフィルタは、赤と緑と青のいずれかのカラーフィルタが各光検出素子の光到来方向に配置されたものである。赤と緑と青のカラーフィルタの配列は、一般にベイヤ配列に従っている。プロジェクタ２０とカメラ３０との間の距離は、事前に計測されている。

図３に、プロジェクタ２０から赤、緑、青の単色縞パターン画像を作業台２の表面に投影し、カメラ３０でその単色縞パターン画像を撮影したときの、ｘ画素座標に対する各色画素が検出した輝度値の変化を示す。なお、本実施形態では、プロジェクタ２０が投影する画像のｘ方向とカメラ３０が撮影する画像のｘ方向は一致させているものとする。

色画素は、赤の光を検出する画素、緑の光を検出する画素、青の光を検出する画素のいずれか、または、それらの総称を意味する。また、図３において、赤画素はＲ画素、緑画素はＧ画素、青画素はＢ画素と表記している。図４以降の図でも同じ表記をしている。図３に示す３つの波形は、それぞれ正弦波に近い波形になっている。

図４も、ｘ画素座標に対する各色画素が検出した輝度値の変化を示す図である。ただし、図４は、プロジェクタ２０から標準縞パターン画像を作業台２の表面に投影し、カメラ３０でその標準縞パターン画像を撮影したときの図である。

図４に示す各波形は、正弦波からかなりずれた波形になっている。この理由は、カメラ３０が備える赤フィルタ、緑フィルタ、青フィルタは、赤、緑、青の光のみを透過するのではなく、他の色の光も少しは透過してしまうからである。また、プロジェクタ２０がカラーフィルタを備えた構成の場合、プロジェクタ２０が備えるカラーフィルタにおいても、各カラーフィルタは、他の色の光も少しは透過してしまう。よって、プロジェクタ２０がカラーフィルタを備えた構成の場合には、プロジェクタ２０が画像を投影する際にも、赤、緑、青のそれぞれの色の光に、他の色の光が重畳してしまう。

［輝度値比テーブル生成方法の説明］
そこで、本実施形態では、図５に示す輝度値比テーブル生成方法を実行して、各色画素が検出した輝度値を補正するための輝度値比テーブルを生成する。図５は、輝度値比テーブル生成方法の各工程を示すフローチャートである。図５の説明では、各工程をステップと記載している。輝度値比テーブル生成方法は、プロジェクタ２０とカメラ３０との組み合わせが変わるごとに１度、実行する。また、輝度値比テーブル生成は、作業台２に計測対象物５が載っていない状態で実行する。作業台２に計測対象物５が載っていないので、プロジェクタ２０は平面である作業台２の表面を投影面として画像を投影し、カメラ３０はその投影面を撮影する。

前補正用画像撮影工程であるステップＳ１では、プロジェクタ２０から、投影画像の全部が単色であって輝度が全面均一である均一輝度画像を投影し、カメラ３０で、その均一輝度画像を撮影する。均一輝度画像は輝度値比テーブルを作成するための補正用単色画像である。

均一輝度画像の色は、カメラ３０が備えるカラーフィルタに対応して、赤と緑と青である。一度のステップＳ１においては、これら３色のうち、いずれか１つの色の均一輝度画像を用いる。用いる色の順番は予め設定されている。

ステップＳ２では、カメラ３０から、画素毎の輝度値を取得する。取得する輝度値は、赤画素、緑画素、青画素、それぞれの画素別の輝度値である。これら取得した輝度値から、色画素の輝度値比を決定する。たとえば、ステップＳ１で投影した均一輝度画像の色が赤であれば、赤画素が出力する輝度値が最も大きい値になる。そこで、赤画素が出力する輝度値を１００％として、他の色画素が出力する輝度値の輝度値比を決定する。

図６には、ステップＳ２で決定する輝度値比の一例を示している。図６において、波長Ｒ、波長Ｇ、波長Ｂは、それぞれ、プロジェクタ２０が投影した均一輝度画像の色が赤、緑、青であることを意味する。図７における波長Ｒ、波長Ｇ、波長Ｂも同じ意味である。

図６に示す例では、赤の均一輝度画像を投影したときでも、緑画素は赤画素の６０％もの大きさの輝度値を検出し、青画素も赤画素の１０％の大きさの輝度値を検出している。

ステップＳ３では、３色とも均一輝度画像を投影したか否か判断する。ステップＳ３の判断結果がＮＯであれば、ステップＳ４に進む。ステップＳ４では、色を、赤、緑、青のうち均一輝度画像を投影していない色に変更する。色を変更後、ステップＳ１以下を実行する。

ステップＳ３の判断結果がＹＥＳになった場合にはステップＳ５に進む。輝度値比決定工程であるステップＳ５では、輝度値比テーブルを生成する。生成した輝度値比テーブルは、テーブル記憶部１１に記憶する。図７に輝度値比テーブルの一例を示す。

図６に示した各輝度値比は、プロジェクタ２０から均一輝度画像を投影して求めている。均一輝度画像は単色画像である。図６に示した各輝度値比は、その均一輝度画像を、カメラ３０で撮影したときに、各色画素により検出される輝度値の比である。図７に示す輝度値比テーブルは、図６に示した各輝度値比をテーブル化したものである。

図８には、輝度値比テーブルを用いた補正による効果を示している。図８において、一点鎖線は、標準縞パターン画像を投影したときに、カメラ３０の赤画素が出力する輝度値である。実線は、一点鎖線で示した輝度値を輝度値比テーブルで補正した後の輝度値である。点線は、赤の単色縞パターン画像を投影したときにカメラ３０の赤画素が出力する輝度値である。

赤画素であっても他の色の光を検出してしまうので、標準縞パターン画像を撮影したときの赤画素の輝度値は、たとえば、ｘ画素座標が４３０付近などで、他の色の光の影響による輝度値の増加が観測できる。しかし、補正後の波形は、赤の単色縞パターン画像を撮影したときの波形とよく似ている。したがって、補正により、他色成分の輝度が除去されていることが分かる。

補正後の輝度値は、以下に示す方程式を解くことにより得られる。下記式において、Ｒ_ｄ、Ｇ_ｄ、Ｂ_ｄは、それぞれ、補正前の各色画素が出力する輝度値であり、Ｒ、Ｇ、Ｂが補正後の輝度値である。Ｒ_ｄ、Ｇ_ｄ、Ｂ_ｄは、一組のＲ画素、Ｇ画素、Ｂ画素が検出した値である。なお、ベイヤ配列では、Ｇ画素は一組の画素セットに２画素ある。これら２画素が検出した輝度値を平均して用いてもよいし、いずれか一方のみを用いてもよい。α_ＲＧ、α_ＲＢ、α_ＧＲ、α_ＧＢ、α_ＢＲ、α_ＢＧは、それぞれ輝度値比テーブルに示した値である。

上記連立方程式は未知数がＲ、Ｇ、Ｂの３つのみである。したがって、連立方程式を解くことで、補正後輝度値であるＲ、Ｇ、Ｂを得ることができる。

［三次元形状を計測する処理］
次に、三次元形状を計測する処理を説明する。図９に三次元形状を計測する処理を示している。図９に示す処理は、ユーザの操作に基づき、制御装置１０が実行する。投影制御部としての処理であるステップＳ１１では、標準縞パターン画像を計測対象物５に投影し、カメラ３０により、そのときの計測対象物５の画像を撮影する。

撮影画像取得部としての処理であるステップＳ１２では、赤、緑、青の３色について、色別の撮影画像の輝度値を取得する。これは、色画素別に輝度値を示すデータを取得することを意味する。色画素が出力するデータはＲＡＷデータと呼ばれることもある。

補正部としての処理であるステップＳ１３では、Ｓ１２で取得した各色の撮影画像の輝度値と、テーブル記憶部１１に記憶されている輝度値比テーブルが示す輝度値比とに基づいて、色画素別の撮影画像の輝度値から他色成分の輝度値を除去する補正をする。具体的には、Ｓ１２で取得した各色の撮影画像の輝度値を式１のＲ_ｄ、Ｇ_ｄ、Ｂ_ｄとし、輝度値比テーブルが示す輝度値比を、それぞれ、式１の係数αとして式１のＲ、Ｇ、Ｂを算出する。

位相算出部としての処理であるステップＳ１４では、各画素座標（ｘ、ｙ）の色画素別の補正後輝度値をもとに、式２から、各画素座標（ｘ、ｙ）における位相θ（ｘ、ｙ）を算出する。

なお、式２において、Ｎは位相シフト総回数、ｎは色別に取得した撮影画像の位相シフト回数である。縞パターン画像において最も早い位相とした色のｎが０、次に位相が早い色のｎが１、最も位相が遅い色のｎが２である。位相シフト総回数Ｎは３である。また、ａ（ｘ、ｙ）は輝度振幅、ｂ（ｘ、ｙ）は背景輝度、θ（ｘ、ｙ）はｎ＝０での位相θである。

式２において、未知数は、ａ（ｘ、ｙ）、ｂ（ｘ、ｙ）、θ（ｘ、ｙ）の３つである。したがって、Ｓ１３で補正した色別の各座標（ｘ、ｙ）の補正輝度値を用いれば、位相θを含む、３つの未知数、ａ（ｘ、ｙ）、ｂ（ｘ、ｙ）、θ（ｘ、ｙ）を算出することができる。

ステップＳ１５とステップＳ１６は座標決定部としての処理である。ステップＳ１５では、ステップＳ１４で算出した各画素座標（ｘ、ｙ）の位相θ（ｘ、ｙ）から、座標計測点Ｐの高さ座標ｚ_ｍを決定する。座標計測点Ｐは、計測対象物５あるいは作業台２の表面上の点である。

高さ座標ｚ_ｍは、プロジェクタ２０とカメラ３０とを含む平面から物体までの距離である。高さ座標ｚ_ｍは、図１０に示す位相θと高さ座標ｚ_ｍとの関係を示すグラフと、ステップＳ１４で算出した位相θとを用いて決定する。図１０に示すグラフは、プロジェクタ２０の座標、カメラ３０の座標、高さ座標ｚ_ｍ、基準面における縞パターン画像の１周期分の長さが分かれば作成することができるグラフである。なお、基準面は、作業台２の表面である投影面に平行であって、プロジェクタ２０およびカメラ３０までの距離がｚ_ｍとなっている面である。

プロジェクタ２０とカメラ３０を固定すれば、プロジェクタ２０の座標、カメラ３０の座標は既知になる。また、基準面までの高さ座標ｚ_ｍは与える値である。さらに、基準面までの高さ座標ｚ_ｍが決まれば、その基準面における縞パターン画像の１周期分の長さも決まる。よって、図１０に示すグラフは事前に求めることができる。

図１０に示すグラフを事前に求めておき、ステップＳ１５では、事前に求めた図１０に示すグラフに、ステップＳ１４で算出した位相θ（ｘ、ｙ）を当てはめて、各座標計測点Ｐの高さ座標ｚ_ｍを決定する。なお、位相θが何周期目であるかが不明だと、高さ座標ｚ_ｍも決定することができない。しかし、ある座標計測点Ｐにおける高さ座標ｚ_ｍは、その座標計測点Ｐに隣接する座標計測点Ｐの高さ座標ｚ_ｍに対して連続的な変化をする。したがって、位相θが何周期目であるかが不明でも計測対象物５の三次元形状を計測することはできる。また、作業台２の高さ座標ｚ_ｍは既知であるので、作業台２の高さ座標ｚ_ｍと比較をすることで、座標計測点Ｐの高さ座標ｚ_ｍを決定してもよい。

ステップＳ１６では、ステップＳ１５で高さ座標ｚ_ｍを決定した座標計測点Ｐについて、水平座標（ｘ_ｍ、ｙ_ｍ）を決定する。ステップＳ１５において決定した高さ座標ｚ_ｍは、画素座標（ｘ、ｙ）には対応付けられている。画素座標（ｘ、ｙ）が決まると、カメラ３０に対する方向（α_ｘ、α_ｙ）は定まる。なお、α_ｘは、図１１に示すように、カメラ３０から座標計測点Ｐに向かう方向のうち、ｘ_ｍｚ_ｍ平面におけるｚ_ｍ軸との間の角度である。α_ｙは図１１には図示していないが、α_ｙはカメラ３０から座標計測点Ｐに向かう方向のうち、ｙ_ｍｚ_ｍ平面におけるｚ_ｍ軸との間の角度である。図１１から分かるように、水平座標（ｘ_ｍ、ｙ_ｍ）は、高さ座標ｚ_ｍとα_ｍ、α_ｙから幾何学計算により算出することができる。

ステップＳ１４からステップＳ１６までの処理を各画素位置（ｘ、ｙ）に対して実行することで、計測対象物５の三次元形状を計測することができる。

［第１実施形態のまとめ］
以上、説明した本実施形態の三次元計測装置１は、テーブル記憶部１１に輝度値比テーブル（図７）を記憶している。この輝度値比テーブルは、単色画像である均一輝度画像を撮影したときの、カメラ３０が備える３色の色画素により検出される輝度値の比を示している。

計測対象物５の三次元形状を計測する際には、色画素別の撮影画像の輝度値を、この輝度値比テーブルを用いて、色画素別の撮影画像の輝度値から他色成分の輝度値を除去する補正をする（Ｓ１３）。そして、補正後輝度値をもとに位相θを算出する（Ｓ１４）。

カメラ３０が、３つの単色縞パターン画像が合成された標準縞パターン画像を撮影していても、位相θを算出する補正後輝度値は、色画素に受光されてしまう他色の投影画像の影響を受ける程度が軽減されている。よって、各色の撮影画像の輝度値をもとにして計測する計測対象物の三次元形状の精度が向上する。

また、補正により、色画素別の撮影画像の輝度値から他色成分の輝度値を除去する。よって、カメラ３０が備えるカラーフィルタに、透過波長を狭く設計した専用のフィルタを設ける必要もない。

＜第２実施形態＞
次に、第２実施形態を説明する。この第２実施形態以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。

第２実施形態では、制御装置１０は、図５に代えて図１２に示す輝度値比テーブル生成方法を実行する。図１２に示す方法では、各色画素が検出した輝度値を補正するための輝度値比テーブルを生成することに加えて、合成縞パターン画像も決定する。

ステップＳ２１では、プロジェクタ２０から、単色グラデーションパターン画像を投影し、カメラ３０で、その単色グラデーションパターン画像を撮影する。単色グラデーションパターン画像は、単色であるが輝度変化はある画像である。単色グラデーションパターン画像の輝度は、図１３に示すように、プロジェクタ２０の画素座標の一方向の変化、具体的にはｘ画素座標の変化に対して、最大値である２５５から最小値である０まで連続的に変化する。

単色グラデーションパターン画像の色は、カメラ３０が備えるカラーフィルタに対応して、赤と緑と青である。一度のステップＳ２１においては、これら３色のうち、いずれか１つの色の単色グラデーションパターン画像を用いる。用いる色の順番は予め設定されている。

ステップＳ２２では、カメラ３０から、画素毎の輝度値を取得する。取得する輝度値は、赤画素、緑画素、青画素、それぞれの画素別の輝度値である。これら取得した輝度値から、色画素の輝度値比のｘ画素座標に対する変化を決定する。図１４に、ステップＳ２１で赤の単色グラデーションパターン画像を投影した後に、ステップＳ２２で決定した、ｘ画素座標に対する輝度値比の変化を示す。単色グラデーションパターン画像の色が赤であるので、図１４に示す輝度値比は赤を基準としている。図１４では、緑と青は、ともに、ｘ画素座標が小さい側、すなわち、輝度値が高い側では、輝度値比が略一定である。しかし、輝度値が低くなると、輝度値比が大きくなり、かつ、輝度値比のばらつきが大きくなっている。

図１５には、ステップＳ２１で緑の単色グラデーションパターン画像を投影した後に、ステップＳ２２で決定した、ｘ画素座標に対する輝度値比の変化を示す。単色グラデーションパターン画像の色が緑であるので、図１５に示す輝度値比は緑を基準としている。図１６には、ステップＳ２１で青の単色グラデーションパターン画像を投影した後に、ステップＳ２２で決定した、ｘ画素座標に対する輝度値比の変化を示す。単色グラデーションパターン画像の色が青であるので、図１６に示す輝度値比は青を基準としている。

図１５、図１６も、図１４と同様、基準となる色以外の輝度値比は、ｘ画素座標が小さい側、すなわち、輝度値が高い側では、輝度値比が略一定である。しかし、基準となる色以外の輝度値比は、輝度値が低くなると、ばらつきが大きくなっている。

輝度値比のばらつきが大きいと、その輝度値比をもとにした補正の精度が低下する恐れがある。よって、輝度値比のばらつきが大きくなる輝度範囲は、位相θの算出に用いない方が好ましい。そこで、許容輝度決定工程であるステップＳ２３では、色画素間の輝度値比の変化が許容できる許容輝度範囲を決定する。

図１４をもとに、赤を基準とした緑および青の輝度値比が許容できる輝度範囲を決定する。図１５をもとに、緑を基準とした赤および青の輝度値比が許容できる輝度範囲を決定する。図１６をもとに、青を基準とした赤および緑の輝度値比が許容できる輝度範囲を決定する。輝度値比の変化が許容できる範囲は、輝度値が変化しても輝度値比が略一定とみなすことができる輝度範囲である。

図１４、図１５、図１６に、それぞれ破線の左向き矢印で、輝度値比の変化が許容できるｘ画素座標の範囲を示している。図１４において輝度値比の変化が許容できるｘ画素座標の範囲は０～４００である。図１５において輝度値比の変化が許容できるｘ画素座標の範囲は０～４１０である。図１６において輝度値比の変化が許容できるｘ画素座標の範囲は０～４６０である。このｘ画素座標の範囲を、単色グラデーションパターン画像におけるｘ画素座標と輝度値との関係をもとに輝度範囲に変換すると、許容輝度範囲が決定できる。たとえば、赤を基準とした緑および青の輝度値比が許容できる輝度範囲は、輝度値２５５～１０２の範囲になる。

ステップＳ２４では、３色とも、単色グラデーションパターン画像を投影したか否かを判断する。ステップＳ２４の判断結果がＮＯであれば、ステップＳ２５に進む。ステップＳ２５では、色を、赤、緑、青のうち単色グラデーションパターン画像を投影していない色に変更する。色を変更後、ステップＳ２１以下を実行する。

ステップＳ２４の判断結果がＹＥＳになった場合にはステップＳ２６に進む。輝度値比決定工程であるステップＳ２６では、ステップＳ２３で決定した許容輝度範囲内の輝度値比を用いて、輝度値比テーブルを生成する。前述したように、許容輝度範囲は、輝度値が変化しても輝度値比が略一定とみなすことができる範囲である。この略一定とみなせる輝度値比を、輝度値比テーブルに格納する輝度値比とする。生成した輝度値比テーブルは、テーブル記憶部１１に記憶する。

図１７に、図１４、図１５、図１６をもとに生成した輝度値比テーブルを示す。図１７に示す輝度値比テーブルに格納されている各値は、図７に示した輝度値比テーブルに格納されている各値とは異なっている。この理由は、機種あるいは固体が異なると、輝度値比が変化するからである。

合成縞パターン画像生成工程であるステップＳ２７では、計測対象物５の三次元形状を計測する際に計測対象物５に投影する合成縞パターン画像を生成する。まず、単色縞パターン画像の輝度値変化範囲を、ステップＳ２３でそれぞれ決定した許容輝度範囲に補正する。補正前の単色縞パターン画像は、図２に示した標準縞パターン画像を生成する画像である。この単色縞パターン画像は輝度が０から２５５まで変化する。

ステップＳ２３で決定した輝度許容範囲が、たとえば、輝度値２５５～１０２の範囲であれば、補正後の単色縞パターン画像は、ｘ画素座標に対する輝度値を示す波形を、輝度振幅を２５５から１５３に変更する。輝度値振幅は２５５－１０２＝１０３となるからである。また、最小値を輝度値が１０２となる正弦波波形に補正する。３色とも単色縞パターン画像の輝度値変化範囲を補正した後、補正後の３色の単色縞パターン画像を合成して、合成縞パターン画像とする。合成縞パターン画像は、図９を用いて説明した三次元形状を計測する処理において、標準縞パターン画像に代えて用いる。

この第２実施形態では、輝度値比テーブルを決定するために、単色グラデーションパターン画像を投影する。単色グラデーションパターン画像は輝度値が変化する画像である。そのため、単色グラデーションパターン画像をもとに輝度値比を決定すると、輝度値の変化に対する輝度値比の変化を決定できる（Ｓ２２）。そこで、この輝度値の変化に対する輝度値比の変化から、輝度値に対する輝度値比の変化が許容できる許容輝度範囲を決定する（Ｓ２３）。

そして、輝度値比テーブルは、この許容輝度範囲内の輝度値比を用いて決定している（Ｓ２６）。このようにすることで、ばらつきの大きい輝度値比を輝度値比テーブルに格納する値にしてしまうことが防止される。

さらに、第２実施形態では、単色縞パターン画像の輝度値変化範囲を許容輝度範囲に補正し、補正後の単色縞パターン画像をもとに合成縞パターン画像を生成している（Ｓ２７）。よって、合成縞パターン画像も、許容輝度範囲外が除外された輝度の画像になっている。したがって、合成縞パターン画像において用いられている輝度範囲と、輝度値比テーブルに格納されている輝度値比を算出した輝度範囲とが整合する。そのため、輝度値比テーブルに格納された輝度値比を用いて補正した補正後輝度値は、他色成分の影響がよく除去される。よって、補正後輝度値から算出する位相θや、その位相θから算出する計測対象物５の三次元形状の精度も向上する。

以上、実施形態を説明したが、開示した技術は上述の実施形態に限定されるものではなく、次の変形例も開示した範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。

＜変形例１＞
実施形態では、補正用単色画像として、均一輝度画像と単色グラデーションパターン画像を説明した。しかし、補正用単色画像は実施形態で説明した画像に限られない。たとえば、補正用単色画像として、単色縞パターン画像を用いてもよい。

＜変形例２＞
実施形態のステップＳ１３では、ステップＳ１２で取得した輝度値を式１のＲ_ｄ、Ｇ_ｄ、Ｂ_ｄに代入した後に、その式１の連立方程式を解いて、補正後輝度値であるＲ、Ｇ、Ｂを得ていた（Ｓ１３）。しかし、Ｒ_ｄ、Ｇ_ｄ、Ｂ_ｄに値を代入する前に、式１に示した連立方程式をＲ、Ｇ、Ｂについて解いておき、そのＲ、Ｇ、Ｂについて解いた式に、ステップＳ１２で取得した輝度値を代入してもよい。

１：三次元計測装置 ２：作業台 ５：計測対象物 １０：制御装置 １１：テーブル記憶部 ２０プロジェクタ ３０：カメラ Ｓ１１：投影制御部 Ｓ１２：撮影画像取得部 Ｓ１３：補正部 Ｓ１４：位相算出部 Ｓ１５、Ｓ１６：座標決定部 Ｓ１、Ｓ２１：画像撮影工程 Ｓ５、Ｓ２６：輝度値比決定工程 Ｓ２３：許容輝度決定工程 Ｓ２７：合成縞パターン画像生成工程

Claims (1)

1. 複数の単色縞パターン画像が合成された合成縞パターン画像を投影するプロジェクタ（２０）と、
   計測対象物に投影された前記合成縞パターン画像をカラーで撮影するカメラ（３０）とを備え、
   前記カメラが撮影した画像に基づいて、位相シフト法により前記計測対象物の三次元形状を計測する三次元計測装置であって、
   前記カメラが単色画像を撮影した場合に、前記カメラが備える複数色のカラーフィルタにそれぞれ対応した色画素により検出される輝度値の比を示す輝度値比を、前記色画素別に表した輝度値比テーブルを記憶するテーブル記憶部（１１）と、
   前記プロジェクタから前記計測対象物に向けて前記合成縞パターン画像を投影させる投影制御部（Ｓ１１）と、
   前記合成縞パターン画像が前記計測対象物に投影されている状態を前記カメラが撮影した撮影画像の輝度値であって、前記色画素別の前記撮影画像の輝度値を取得する撮影画像取得部（Ｓ１２）と、
   前記撮影画像取得部が取得した前記色画素別の前記撮影画像の輝度値と、前記輝度値比テーブルが示す前記輝度値比とに基づいて、前記色画素別の前記撮影画像の輝度値から他色成分の輝度値を除去する補正をする補正部（Ｓ１３）と、
   前記補正部が算出した前記色画素別の補正後の輝度値に基づいて、画素別に輝度値の位相を算出する位相算出部（Ｓ１４）と、
   前記位相算出部が算出した位相に基づいて、前記計測対象物の三次元座標を決定する座標決定部（Ｓ１５、Ｓ１６）と、を備え、
   前記輝度値比テーブルは、
   前記色画素に対応した単色で形成された補正用単色画像であって、前記プロジェクタの画素座標の一方向の変化に対して輝度が連続的に変化する単色グラデーションパターン画像である前記補正用単色画像を、前記プロジェクタから投影面に投影し、前記投影面に投影された前記補正用単色画像を前記カメラで撮影する画像撮影工程（Ｓ２１）と、
   前記カメラが撮影した前記単色グラデーションパターン画像をもとに、輝度値に対する、複数の前記色画素間の前記輝度値比の変化が許容できる許容輝度範囲を決定する許容輝度決定工程（Ｓ２３）と、
   前記画像撮影工程で前記カメラが撮影した前記補正用単色画像の輝度値をもとに、前記許容輝度範囲内の前記輝度値比を用いて、前記輝度値比テーブルを決定する輝度値比決定工程（Ｓ２６）と、
   を前記色画素が示す色別に行うことによって生成されており、
   前記合成縞パターン画像は、前記単色縞パターン画像の輝度値変化範囲を前記許容輝度範囲に補正し、補正後の前記単色縞パターン画像を複数合成する合成縞パターン画像生成工程（Ｓ２７）によって生成されている、三次元計測装置。

Images