JP6170281B2 - 三次元計測装置、三次元計測装置の制御方法、およびプログラム - Google Patents

Description

本発明は、三次元計測装置、三次元計測装置の制御方法、およびプログラムに関し、特に明部と暗部が任意の幅で配置されたパターン光を投影して空間変調を生成する空間符号化法を用いた三次元計測装置、三次元計測装置の制御方法、およびプログラムに関する。

三次元計測として、投影装置と撮像装置を既知の関係に配置し、投影装置からパターン光を投影した被写体を撮像し、投影装置と撮像装置の関係から三角測量の原理を用いて被写体までの距離を求めるという測定方法が良く知られている。

特許文献１では、明部と暗部が任意の幅で交互に配置された第1の明暗パターン光と、第１の明暗パターン光の位相をずらした第２の明暗パターン光とをそれぞれ投影して、各々撮像した画像の階調分布を取得し、第１と第２の明暗パターン光の交点の撮像素子上の位置を算出することにより三次元計測を行う方法が開示されている。

特開2007-192608号公報

前述した第１と第２の明暗パターン光から算出した交点が撮像素子上のどの位置に存在するかを算出することが測距において基本であるが、第１と第２の明暗パターン光の交点位置の絶対値以上に、その交点間隔を正しく求めることが重要である。

なぜならば交点の絶対値は、被検物の絶対位置を算出する場合に必要であるが、三次元計測においては被検物の形状を計測することが主体であり、この場合は各交点の相対的位置関係が正確に求まれば良いためである。被検物の絶対位置の算出は、絶対位置の既知な指標を用意し、これとの被検物の相対関係を計測するキャリブレーションにより達成される。

従来の交点検出手法は、第１と第２の明暗パターン光の撮像素子上の階調分布を撮像画素でサンプリングし、各々のパターン光のサンプリング点を直線近似して交点を求めている。測定対象物に投影したパターンの１周期を比較的少ない撮像素子画素でサンプリングする場合、従来の方法で交点を求めると、交点には直線近似によるサンプリング誤差が含まれる。そのため、その交点から交点間隔を算出すると、交点間隔には誤差が発生する。特に、パターン光の１周期を撮像素子の奇数画素近傍でサンプリングした場合はその誤差の発生が顕著になる。パターン光の１周期を撮像素子の多くの画素でサンプリングすれば、交点の誤差を小さくすることができ、交点間隔の誤差も抑えることができるが、解像度が高い撮像素子が必要となり、装置が大型化しコストが高くなるという問題が発生する。

一方、外光などの影響により第一の明暗パターン光もしくは第二の明暗パターン光のいずれか一方の輝度値が全体的に高くなることがある。この場合、解像度が高い撮像素子を用いたとしても、第一の明暗パターン光と第二の明暗パターン光との交点にずれが発生し、上記交点算出の際に誤差が発生する。

上記の課題に鑑み、本発明は、交点間隔の誤差を低減し、三次元計測の精度を向上することを目的とする。

上記の目的を達成する本発明に係る三次元計測装置は、
明部と暗部とが交互に配置された第１の明暗パターンが投影された対象物を複数の画素を有する撮像素子を用いて撮像して取得される第１の撮像画像と、当該第１の明暗パターンの明部と暗部とが反転した第２の明暗パターンが投影された当該対象物を複数の画素を有する撮像素子を用いて撮像して取得される第２の撮像画像とを取得する画像取得手段と、
所定の方向における前記第１の撮像画像の各画素における階調値を直線で結んだ線と前記第２の撮像画像の各画素における階調値を直線で結んだ線との複数の交点位置を検出する検出手段と、
前記検出手段により検出された複数の交点位置のうち隣接する２つの交点位置の間の中点位置を求め、隣接する２つの前記中点位置の間の距離を求め、前記距離に基づいて前記対象物の三次元位置を計測する計測手段と、
を備えることを特徴とする。

本発明によれば、交点間隔の誤差を低減し、三次元計測の精度を向上することができる。

本発明に係る三次元計測装置の基本構成を示す図。 測定対象物面上における明暗パターン光と、ＣＣＤカメラの画素との関係を示す図。 サンプリング数を５とした際の撮像した画像データから取得した階調値を示す図。 交点Ｃから算出した交点間隔を示す図。 交点Ｔから算出した交点間隔を示す図。 サンプリング数を５．０４とした際の従来の方法で算出した交点間隔を示す図。 サンプリング数５．０４とした際の本発明の方法で算出した交点間隔を示す図。 測定対象物面上における明暗パターン光の１周期と、ＣＣＤカメラの画素でサンプリングしたときの交点間隔の誤差量とを示す図。

（第１実施形態）
図１を参照して、本発明に係る三次元計測装置の基本構成を説明する。三次元計測装置は、投影部１０２と、撮像部１０３と、コンピュータ１０４と、コンピュータ１０５とを備え、測定対象物１０１の三次元位置を計測する。投影部１０２は、測定対象物１０１へ明暗パターン光を投影するプロジェクタである。撮像部１０３は、例えばＣＣＤカメラである。コンピュータ１０４は、投影部１０２へ画像を入力する。コンピュータ１０５は、撮像した画像データの値、すなわち階調値を取得して測定対象物１０１の三次元位置を計算する。

また本実施形態で使用する明暗パターン光の例として、明部と暗部とが交互に配置された第１の明暗パターン光１０５ａと、第１の明暗パターン光の位相をずらした第２の明暗パターン光１０５ｂとが示される。ただし、第１の明暗パターン光と、第２の明暗パターン光とは、図に示される構成と異なっていても構わない。

以下、測定対象物１０１の位置の算出方法について説明する。第１の明暗パターン光１０５ａと、第２の明暗パターン光１０５ｂとを、コンピュータ１０４から投影部１０２へ信号として送出する。投影部１０２を通じて明暗パターン光１０５ａ、明暗パターン光１０５ｂを測定対象物１０１へ投影し、明暗パターン光が投影された測定対象物１０１上の輝度分布を撮像部１０３により撮影する。そしてデジタル画像データとしてコンピュータ１０５に取り込む。

以降、第１の明暗パターン光１０５ａと第２の明暗パターン光１０５ｂとの各々の画像データ（第１の画像データ、第２の画像データ）の値を階調値と称する。画像データのうち、あるＣＣＤ画素の断面を取り、その断面において第１の明暗パターン光１０５ａと第２の明暗パターン光１０５ｂとの階調値を各々結ぶと、図３を参照して後述するように、第１の明暗パターン光１０５ａと第２の明暗パターン光１０５ｂとの各階調値を結んだ線が交差する。

次に図２を参照して、図１に示した測定対象物１０１に投影した明暗パターン光の強度分布と、撮像部１０３によってサンプリング制御された撮像後の階調分布との関係を説明する。図２の実線１０は撮像部１０３（ＣＣＤカメラ）の各画素に対応する測定対象物１０１上の範囲を示しておりその撮像間隔をＳとする。測定対象物１０１上における明暗パターン光の１周期（明部と暗部の１組）をＰとし、サンプリング数Ｑ画素分を、Ｐ＝Ｑ×Ｓ（Ｑ＞０）を満たすＱ（正の実数）として定義する。第１実施形態では、Ｑ＝５（奇数画素）が成り立つように投影部１０２と、撮像部１０３とを構成している。

以下、図３を参照して、第１の明暗パターン光と第２の明暗パターン光とに対応する画像データから階調値を取得して、第１の明暗パターン光と第２の明暗パターン光との境界を検出する方法を説明する。

図３において、横軸はＣＣＤ画素の方向、縦軸は画像データから取得された階調値を表している。曲線Ｖ、曲線Ｗは、それぞれ測定対象物１０１に投影された第１の明暗パターン光、第２の明暗パターン光の撮像素子上の強度分布を示す曲線であり、点列Ｄは該強度分布Ｖ,Ｗを示す曲線の交点の列である。点列Ａ、点列Ｂは、強度分布を示す曲線Ｖ、曲線Ｗのそれぞれを撮像画素でサンプリングして得られた階調分布の点列である。点列Ｃは、点列Ａを直線で結んで得られる線と、同じく点列Ｂを直線で結んで得られる線との交点で構成される点列である。また、点列Ｌ１、Ｌ２…は、点列Ｃの隣接二点間距離を示した数値列であり、従来の方法で算出した交点間隔の値である。

図４に、交点間隔Ｌと交点間隔の値との関係を示す。測定対象物１０１上に投影された明暗パターン光の１周期を撮像素子５画素分になるように構成しているため、交点間隔の真値はその半分の２．５となるが、図４から数値列Ｌ１、Ｌ２…は真値（２．５）を境にして反転しながら分布していることが分かる。

点列Ｃのうち隣接２点を第１の交点および第２の交点とし、その中点を第３の点として算出したものが図３における点列Ｔ１、Ｔ２、...であり、本発明に係る第３の点を示す点列である。点列Ｏ１、Ｏ２、...は、点列Ｔの隣接２点間距離を示した数値列であり、本発明を適用して求められる交点間隔の値である。

図５に交点間隔Ｏと交点間隔の値との関係を示す。明暗パターン光の１周期を撮像素子の奇数画素５画素でサンプリングしているため、交点間隔の真値はその半分の２．５であり、求めた数値列Ｏも２．５で一定に分布している。

このように、第３の点を算出して交点間隔を求めると、交点間隔を真値に近づけることができる。交点間隔を正しく求めることで、正しい交点位置からのずれ量を既知の指標に基づいて補正しやすくなり、例えば空間符号化法を用いた三次元計測を精度良く行うことができる。

また、本実施形態における手法は、外光などの影響により第一の明暗パターン光もしくは第二の明暗パターン光のいずれか一方の輝度値が全体的に高くなり、交点算出の際に誤差が発生した場合にも有効である。よって、外光を検知する検出部を本実施形態における三次元測定装置に設け、外光の影響が所定値以上の場合に、本実施形態における手法を用いるようにしてもよい。

（第２実施形態）
図６は、明暗パターン光の１周期を撮像素子の５．０４画素（奇数近傍）でサンプリングし、従来の方法で算出した交点間隔の値を示している。測定対象物１０１に投影した明暗パターン光の１周期を撮像素子５．０４画素で撮影するように構成しているため、交点間隔の真値はその半分の２．５２となるが、図６では交点間隔は真値２．５２を境にして反転しながら分布していることが分かる。

図７は、本発明に係る第３の点を、第１の交点位置と第２の交点位置との中点として求め、第３の点を用いて算出した交点間隔の値を示す。図７において、交点間隔の真値２．５２を境にして反転しながら分布しているが、図６に示した従来の方法で算出した交点間隔の誤差に比べて、本発明の方法では分布の幅を半分以下に低減させ、真値に近づけることができる。そのため、従来に比べて本発明の方が精度良く三次元計測を行うことができる。

図８は、測定対象物１０１に投影した明暗パターン光の１周期を撮像素子のＱ画素でサンプリングを行った場合の交点間隔の誤差量を計算した結果である。図８において、横軸はサンプリング数Ｑ、縦軸は明暗パターン光の１周期に対する誤差量（単位：％）である。

従来の方法で求めた交点間隔の誤差量を線Ｂ、本発明の方法で求めた第３の点から算出した交点間隔の誤差量を線Ａで示している。

従来の方法で算出した交点間隔の誤差に比べて、本発明で算出した交点間隔の誤差の方が全体的に低減させることができ、サンプリング数Ｑが偶数近傍、奇数近傍においては、真値に近い値を取得できる。

特に、サンプリング数Ｑが奇数近傍においては、従来の方法で求めた交点間隔の誤差量に比べて半分以下に低減させることができる。明暗パターン光の１周期を撮像素子のＱ画素でサンプリングして撮像する時、Ｑが、
Ｎ−０．２≦Ｑ≦Ｎ＋０．２（Ｎは自然数） ・・・（１）
を満たす範囲において、特に交点間隔が真値に近づき、誤差は０に近くなる。サンプリング数Ｑが１０より大きいときは、プロジェクタの投影画像の１周期を多くのＣＣＤ画素で撮影していることになるため、Ｑの値が大きくなればなる程従来の方法も各交点間隔の誤差が小さくなる。

しかし、Ｑが１０以下の場合は、式（１）を満たさない場合は交点間隔の誤差が大きくなるため、取得した値を真値に近づけるように補正することが難しく、三次元計測から取得した位置の精度が落ちてしまう。そのため、式（１）のＱが１０以下のときは、より三次元計測を精度良く求めることに効果を発揮する。

以上のように、第１の明暗パターン光と第２の明暗パターン光の、第１の交点と、当該第１の交点と隣接する第２の交点とから第３の点を求め、求められた複数の第３の点から交点間隔を求めると、交点間隔を真値に近づけることができる。特に、サンプリング数が奇数近傍においては、従来の交点を求める手法に比べて交点間隔の誤差を大きく低減することができ、精度良く三次元計測を行うことができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 明部と暗部とが交互に配置された第１の明暗パターンが投影された対象物を複数の画素を有する撮像素子を用いて撮像して取得される第１の撮像画像と、当該第１の明暗パターンの明部と暗部とが反転した第２の明暗パターンが投影された当該対象物を複数の画素を有する撮像素子を用いて撮像して取得される第２の撮像画像とを取得する画像取得手段と、
   所定の方向における前記第１の撮像画像の各画素における階調値を直線で結んだ線と前記第２の撮像画像の各画素における階調値を直線で結んだ線との複数の交点位置を検出する検出手段と、
   前記検出手段により検出された複数の交点位置のうち隣接する２つの交点位置の間の中点位置を求め、隣接する２つの前記中点位置の間の距離を求め、前記距離に基づいて前記対象物の三次元位置を計測する計測手段と、
   を備えることを特徴とする三次元計測装置。
2. 前記第１の明暗パターンまたは前記第２の明暗パターンを前記対象物に投影する投影手段と、
   前記第１の明暗パターンまたは前記第２の明暗パターンが投影された前記対象物を前記第１の撮像画像または前記第２の撮像画像として撮像する撮像手段と、
   をさらに備えることを特徴とする請求項１に記載の三次元計測装置。
3. 前記第１の撮像画像と前記第２の撮像画像は、明暗パターンの明部と暗部との１組を１周期とした場合に、前記１周期を、前記撮像素子のＱ画素分（Ｑ；実数）で撮像して得られる画像であり、Ｎ−０．２≦Ｑ≦Ｎ＋０．２（Ｎ；自然数）を満たすことを特徴とする請求項１に記載の三次元計測装置。
4. 前記Ｎが奇数であることを特徴とする請求項３に記載の三次元計測装置。
5. 前記Ｑが奇数であることを特徴とする請求項３に記載の三次元計測装置。
6. 前記第１の撮像画像と前記第２の撮像画像のいずれか一方が、外光によって輝度値が他方よりも全体的に高い、ことを特徴とする請求項１乃至５の何れか１項に記載の三次元計測装置。
7. 画像取得手段と、検出手段と、計測手段とを備える三次元計測装置の制御方法であって、
   前記画像取得手段が、明部と暗部とが交互に配置された第１の明暗パターンが投影された対象物を複数の画素を有する撮像素子を用いて撮像して取得される第１の撮像画像と、当該第１の明暗パターンの明部と暗部とが反転した第２の明暗パターンが投影された当該対象物を複数の画素を有する撮像素子を用いて撮像して取得される第２の撮像画像とを取得する画像取得工程と、
   前記検出手段が、所定の方向における前記第１の撮像画像の各画素における階調値を直線で結んだ線と前記第２の撮像画像の各画素における階調値を直線で結んだ線との複数の交点位置を検出する検出工程と、
   前記計測手段が、前記検出工程により検出された複数の交点位置のうち隣接する２つの交点位置の間の中点位置を求め、隣接する２つの前記中点位置の間の距離を求め、前記距離に基づいて前記対象物の三次元位置を計測する計測工程と、
   を備えることを特徴とする三次元計測装置の制御方法。
8. 三次元計測装置の制御方法の各工程をコンピュータに実行させるためのプログラムであって、前記各工程は、
   明部と暗部とが交互に配置された第１の明暗パターンが投影された対象物を複数の画素を有する撮像素子を用いて撮像して取得される第１の撮像画像と、当該第１の明暗パターンの明部と暗部とが反転した第２の明暗パターンが投影された当該対象物を複数の画素を有する撮像素子を用いて撮像して取得される第２の撮像画像とを取得する画像取得工程と、
   所定の方向における前記第１の撮像画像の各画素における階調値を直線で結んだ線と前記第２の撮像画像の各画素における階調値を直線で結んだ線との複数の交点位置を検出する検出工程と、
   前記検出工程により検出された複数の交点位置のうち隣接する２つの交点位置の間の中点位置を求め、隣接する２つの前記中点位置の間の距離を求め、前記距離に基づいて前記対象物の三次元位置を計測する計測工程と、
   を有することを特徴とするプログラム。