JP6975106B2

JP6975106B2 - ３次元形状計測システム、３次元形状計測方法、及び３次元形状計測プログラム

Info

Publication number: JP6975106B2
Application number: JP2018143917A
Authority: JP
Inventors: 信一住吉
Original assignee: Denso IT Laboratory Inc
Current assignee: Denso IT Laboratory Inc
Priority date: 2018-07-31
Filing date: 2018-07-31
Publication date: 2021-12-01
Anticipated expiration: 2038-07-31
Also published as: JP2020020640A

Description

本発明は、対象物にパターン画像を投影して、パターン画像が投影された対象物を撮影することで当該対象物の３次元形状を計測する３次元形状計測システム、３次元形状計測方法、３次元形状計測プログラムに関する。

従来より、対象物の３次元形状を計測する技術は、例えば生産現場において、対象物であるワークの傷や変形の検査したり、アームロボットでワークを把持したりするために用いられる。３次元形状を計測するための１つの手法として、プロジェクタを用いてパターン画像を投影し、対象物からの反射光（反射パターン）を撮影して解析することで、当該対象物の３次元形状を計測する手法（以下、「プロカム」ともいう。）が知られている。この手法は、ワークへの侵襲が小さいため、工業的な応用価値が高い。

プロカムの具体的な手法として、グレイコード法と位相シフト法とを組み合わせた手法（非特許文献１、２参照）や、特殊な投影パターンを用いた高速計測手法（例えば、非特許文献３）等が知られている。

非特許文献１〜３のような従来手法では、対象物の材質がランバート反射をするという仮定をおいているため、鏡面性が強い対象物（例えば、金属）の計測が困難である。対象物の表面の鏡面性が強い場合には、対象物においてランバート反射をする成分が比較的少なくなり、鏡面反射する成分が比較的多くなる。

例えば、図１１に示すような凹部を有する対象物Ｗの３次元形状計測をすると、凹部において鏡面反射による相互反射が生じる。従来手法のプロカムでは、この相互反射が原因となって、プロジェクタから投影されるパターン画像（プロジェクタ画像）上の同一のエピポーラ線上の２つの投影光が別の経路を辿って、カメラで撮影される画像（撮像画像）上の１点に重畳してしまい、正確な３次元形状計測ができなくなってしまう。

この相互反射の問題に対して、プロカムを用いて投影光を直接反射成分と相互反射成分に分離して、直接反射成分の画像のみを用いて正しい対応付けを可能とする手法が提案されている（例えば、非特許文献４〜６）。これらの手法では、時間方向と空間方向にバイナリのパターンを埋め込んだ多数のパターン画像を投影することで、直接反射成分と相互反射成分とに光分離することが可能である。しかしながら、これらの手法では、多数のパターン画像を必要とし、計測時間がプロジェクタのフレームレートより大きくなってしまうという問題がある。

一方、ＤＬＰ（ＤｉｇｉｔａｌＬｉｇｈｔＰｒｏｃｅｓｓｉｎｇ）プロジェクタを用いて、３次元形状を計測する手法が提案されている（例えば、非特許文献７）。ＤＬＰプロジェクタは、その内部にＤＭＤ（ＤｉｇｉｔａｌＭｉｒｒｏｒＤｅｖｉｃｅ）というマイクロミラーを集積した高速駆動デバイスを有し、プロジェクタ光源からの光を高速にオン／オフして輝度を変調する。これにより、パターン画像は、投影デバイスのフレームレートよりも高速に変化する。

非特許文献７の手法では、ＤＭＤによって高速に輝度が変化するプロジェクタ画像を対象物に投影して、対象物を高速度カメラにて撮影し、撮像画像上で投影光の復号化を行って、プロジェクタ画像と撮像画像の対応付けをする。この符号化方式をＴＤＣ（ＴｅｍｐｏｒａｌＤｉｔｈｅｒｉｎｇＣｏｄｉｎｇ）法とここでは呼ぶ。

また、プロカムを用いて投影光を直接反射成分と相互反射成分に分離して、直接反射成分の画像のみを用いて正しい対応付けを可能とする手法として、符号化パターンがＭ系列の特性を持つようにプロジェクタのＤＭＤの動きや個体差と投影パターンとが整合するように調整し、撮影した画像のうちの任意の領域における、プロジェクタ画像と撮像画像との間のパターンのマッチング度を相関で算出する手法が知られている（例えば、特許文献１）。

特許文献１の手法では、プロジェクタ画像をチェッカーパターンとして、そのプロジェクタ画像自体の相関を高いものとして、プロジェクタ画像中の複数のチェッカーパターンのうちから最も相関の高いパターンを直接反射光のパターンとして決定している。

Brenner, C., Boehm, J. and Guehring, J.: Photogrammetric calibration and accuracy evaluation of a cross-pattern stripe projector, Videometrics VI, Vol. 3641, International Society for Optics and Photonics, pp. 164{173(1998). Sato, K. and Inokuchi, S.: Three-dimensional surface measurement by space encoding range imaging, Journal of Robotic Systems, Vol. 2, pp. 27{39 (1985). Sagawa, R., Furukawa, R. and Kawasaki, H.: Dense 3D reconstruction from high frame-rate video using a static grid pattern, IEEE transactions on pattern analysis and machine intelligence, Vol. 36, No. 9, pp. 1733{1747 (2014). Nayar, S. K., Krishnan, G., Grossberg, M. D. and Raskar, R.: Fast separation of direct and global components of a scene using high frequency illumination, ACM Transactions on Graphics (TOG), Vol. 25, No. 3, pp. 935{944(2006). O'Toole, M., Mather, J. and Kutulakos, K. N.: 3d shape and indirect appearance by structured light transport, Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on, IEEE, pp. 3246{3253 (2014). 古瀬達彦，日浦慎作，佐藤宏介：スリット光の変調による相互反射と表面下散乱に頑健な三次元形状計測，計測自動制御学会論文集，Vol. 46, No. 10, pp. 589{597 (2010). Narasimhan, S. G., Koppal, S. J. and Yamazaki, S.: Temporal dithering of illumination for fast active vision, European Conference on Computer Vision, Springer, pp. 830{844 (2008).

特開２０１６−２１７８３３号公報

しかしながら、特許文献１の手法では、空間的なパターンの変化の相関でマッチングを行っているので、撮像画像においてパターンが不連続になる物体のエッジ部分等ではうまく相関が得られず、直接反射光の弁別が困難になる。

本発明は、ＴＤＣ法を応用して、鏡面性の強い対象物における相互反射光がある場合にも３次元形状を計測できる３次元形状計測システム、３次元形状計測方法、及び３次元形状計測プログラムを提供することを目的とする。

本発明の一態様の３次元形状計測システムは、複数種類の符号化パターン画像からなる符号化パターン画像列を順に投影する投影部と、前記投影部にて前記符号化パターン画像が投影される対象物を順に撮像して、複数の撮像画像からなる撮像画像列を取得する撮像部と、前記符号化パターン画像列及び前記撮影画像列を用いて、相互反射に対応した復号化を行う復号化部と、前記復号化部における復号化の結果及び前記投影部と前記撮像部との幾何的関係を用いて、前記符号化パターン画像と前記撮影画像との対応付けを行うことで前記対象物の３次元形状を計測する計測部とを備えた構成を有している。

この構成により、順に投影された符号化パターン画像列と順に撮像された撮影画像列とを用いて相互反射に対応した復号化を行うので、直接反射光と相互反射光とが重畳している場合にもそれらを分離して復号化することができ、鏡面性の強い対象物における相互反射光がある場合にも３次元形状を計測できる。

上記の３次元形状計測システムにおいて、前記符号化パターン画像列は、各画素がｋ種類の輝度変化パターンのいずれかで輝度変化するＮ種類の符号化パターン画像からなるものであってよく、前記復号化部は、前記符号化パターン画像列における各画素の前記ｋ種類の輝度変化パターンと、前記ｋ種類の輝度変化パターンの任意の組み合わせによる輝度変化パターンとを記憶しており、前記撮影画像列における各画素の輝度変化パターンと、記憶した輝度変化パターンとのマッチングを行うことにより、相互反射に対応した復号化を行ってよい。

この構成により、各画素がｋ種類の輝度変化パターンのいずれかで輝度変化するＮ種類の符号化パターン画像からなる符号化パターン画像列が投影され、復号化部は、前記符号化パターン画像列における各画素の前記ｋ種類の単色輝度変化パターンと、前記ｋ種類の輝度変化パターンの任意の組み合わせによる合成輝度変化パターンとを用いて、各画素の輝度変化パターンとのマッチングを行うので、直接反射光と相互反射光とが重畳している場合にも好適にそれらを分離して復号化することができる。

上記の３次元形状計測システムにおいて、前記計測部は、前記復号化部にて、相互反射であると判断された画素について、組み合わされた複数の輝度変化パターンのそれぞれを用いて前記対象物の複数とおりの３次元形状を計測し、それらの３次元形状のうちの再投影誤差が小さい３次元形状を採用してよい。

この構成により、直接反射光と相互反射光とが重畳している領域において、復号化により直接反射光と相互反射光の復号化情報が得られた場合に、直接反射光による３次元形状の計測を行うことができる。

上記の３次元形状計測システムにおいて、前記符号化パターン画像は、縞模様であってよい。

この構成により、エピポーラ幾何を用いて対象物の３次元形状を計測できる。

上記の３次元形状計測システムにおいて、前記符号化パターン画像列の各画素の輝度は、任意の他の画素の輝度と重なった場合にも前記撮像部の感度限界を超えない大きさであってよい。

この構成により、直接反射光と相互反射光とが重畳する領域についても、有効な撮影画像を得ることができる。

前記投影部は、ＤＭＤにより前記符号化パターン画像列を生成して投影してよい。

この構成により、高速で符号化パターン画像列を投影できる。

上記の３次元形状計測システムは、前記投影部による前記符号化パターン画像の投影と、前記撮像部による撮像とを同期させる同期制御部をさらに備えていてよい。

上記の３次元形状計測システムは、前記計測部で計測された前記３次元形状の情報を出力する出力部をさらに備えていてよい。

この構成により、出力された３次元形状の情報を用いて対象物のピッキング等の仕事を行うことができる。

本発明の一態様の３次元形状計測方法は、投影部にて、複数種類の符号化パターン画像からなる符号化パターン画像列を順に投影する投影ステップと、撮影部にて、前記投影ステップにて前記符号化パターン画像が投影される対象物を順に撮像して、複数の撮像画像からなる撮像画像列を取得する撮像ステップと、前記符号化パターン画像列及び前記撮影画像列を用いて、相互反射に対応した復号化を行う復号化ステップと、前記復号化部における復号化の結果及び前記投影部と前記撮像部との幾何的関係を用いて、前記符号化パターン画像と前記撮影画像との対応付けを行うことで前記対象物の３次元形状を計測する計測ステップとを備えた構成を有している。

この構成によっても、順に投影された符号化パターン画像列と順に撮像された撮影画像列とを用いて相互反射に対応した復号化を行うので、直接反射光と相互反射光とが重畳している場合にもそれらを分離して復号化することができ、鏡面性の強い対象物における相互反射光がある場合にも３次元形状を計測できる。

本発明の一態様の３次元形状計測プログラムは、複数種類の符号化パターン画像からなる符号化パターン画像列を順に投影する投影部、及び前記投影部にて前記符号化パターン画像が投影される対象物を順に撮像して、複数の撮像画像からなる撮像画像列を取得する撮像部と接続される情報処理部に、前記符号化パターン画像列及び前記撮影画像列を用いて、相互反射に対応した復号化を行う復号化ステップと、前記復号化部における復号化の結果及び前記投影部と前記撮像部との幾何的関係を用いて、前記符号化パターン画像と前記撮影画像との対応付けを行うことで前記対象物の３次元形状を計測する計測ステップとを実行させる構成を有している。

本発明によれば、順に投影された符号化パターン画像列と順に撮像された撮影画像列とを用いて相互反射に対応した復号化を行うので、直接反射光と相互反射光とが重畳している場合にもそれらを分離して復号化することができ、鏡面性の強い対象物における相互反射光がある場合にも３次元形状を計測できる。

図１は、本発明の実施の形態の３次元形状計測システムの応用シーンを示す図である。図２は、本発明の実施の形態の３次元形状計測システムにおける機能構成を示すブロック図である。図３は、本発明の実施の形態の映像投影部によって投影される符号化パターン画像列を示す図である。図４は、本発明の実施の形態の符号化パターン画像列における各色の輝度値の変化を示す図である。図５は、本発明の実施の形態の符号化パターン画像がＤＬＰプロジェクタ（映像投影部）から対象物に向けて投影される様子を示す図である。図６は、本発明の実施の形態の撮像画像上で復号化を行った結果を示す図である。図７は、本発明の実施の形態の撮像画像上で３次元形状の計測を行った例を示す図である。図８は、本発明の実施の形態の３次元形状計測システムのフローチャートである。図９は、本実施の形態の映像投影部のフローチャートである。図１０は、本実施の形態の相互反射対応復号化部のフローチャートである。図１１は、凹部を有する対象物の３次元形状計測を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

本発明の実施の形態の３次元形状計測システムは、ＴＤＣ法を応用するため、ＤＬＰプロジェクタと高速度カメラを用いる。ＤＬＰプロジェクタからは、相互反射に対応可能なプロジェクタ画像を投影して高速に符号化を行う。高速度カメラでは、投影されたプロジェクタ画像を撮像して撮像画像を得る。３次元形状計測装置は、この撮像画像からの直接反射光の復号化情報と相互反射光の復号化情報とを分離して取得する。そして、３次元形状計測装置では、これらの復号化情報と幾何制約とを用いることで、相互反射がある場合にも正確な３次元形状を計測する。

図１は、本発明の実施の形態の３次元形状計測システムの応用シーンを示す図である。３次元形状計測システム１００は、ＤＬＰプロジェクタ１０と、高速度カメラ２０と、３次元形状計測装置３０とを含んで構成される。ＤＬＰプロジェクタ１０は、所定のフレームレートで変化する符号化パターン画像を投影する。高速度カメラ２０は、３次元形状計測の対象物であるワークＷを撮影するように設置される。高速度カメラ２０は、ＤＬＰプロジェクタ１０によって投影されてワークＷで反射したプロジェクタ画像を所定のフレームレートで撮影して、撮像画像を生成する。

ＤＬＰプロジェクタ１０と高速度カメラ２０との幾何的関係、即ち位置及び姿勢の関係は、運用時には固定されており、この幾何的関係は３次元形状計測装置３０において既知である。また、ＤＬＰプロジェクタ１０及び高速度カメラ２０は、いずれも３次元形状計測装置３０に有線又は無線で通信可能に接続されている。

３次元形状計測装置３０は、ＤＬＰプロジェクタ１０が投影した符号化パターン画像と、高速度カメラ２０が撮影した撮影画像とに基づいて、ワークＷの位置情報を含む３次元形状を計測する。３次元形状計測装置３０は、例えば、汎用のコンピュータが本実施の形態の３次元形状計測プログラムを実行することで実現されてよい。

図１の例では、３次元形状計測装置３０は、アームロボット４０に接続されている。アームロボット４０は、複数の関節を有するアームを備え、ワークに対して仕事をする。３次元形状計測装置３０にて得られたワークＷの３次元形状計測の結果は、アームロボット４０に与えられる。アームロボット４０は、ワークＷの位置情報及び３次元形状情報に基づいて動作する。これにより、アームロボット４０は、目的とするワークＷに対して適切に仕事をすることができ、例えばワークＷを適切にピッキングすることが可能となる。

図２は、本発明の実施の形態の３次元形状計測システムにおける機能構成を示すブロック図である。３次元形状計測システム１００は、高速撮影部１と、映像投影部２と、同期制御部３と、高速符号化パターン画像生成部４と、情報処理部５と、３次元情報出力部６とを備えている。

高速撮像部１は、高速度カメラ２０によって実現される。映像投影部２は、ＤＬＰプロジェクタ１０によって実現される。同期制御部３、高速符号化パターン画像生成部４、情報処理部５、及び３次元情報出力部６は、３次元形状計測装置３０によって実現されてもよく、あるいは、その一部のみが３次元形状計測装置３０によって実現され、他の一部はＤＬＰプロジェクタ１０若しくは高速カメラ２０、又は３次元形状計測装置３０に接続された装置において実現されてもよい。

高速撮像部１は、撮像を行って撮像画像を得る。高速撮像部１は、１０００〜３０００ｆｐｓ程度の高いフレームレートで連続的に撮像を行って連続する複数の撮像画像からなる撮像画像列を得る。本実施の形態では、高速撮像部１は、入射する光の輝度値のみを検出して、撮像画像としてモノクロ画像を生成する。

映像投影部２は、高速符号化パターン画像生成部４で生成された情報に基づいてＤＭＤを駆動して、光源の光を変調して符号化パターン画像を生成して投影する。映像投影部２は、５０００Ｈｚ程度の高いフレームレートで変化する複数の符号化パターン画像からなる符号化パターン画像列を生成して投影する。

高速符号化パターン画像生成部４は、符号化パターン画像生成情報を生成して、映像投影部２に供給する。図３は、本発明の実施の形態の映像投影部によって投影される符号化パターン画像列を示す図である。図３に示すように、符号化パターン画像は、縦方向に延びる帯が横方向に並んだ縞模様である。

高速符号化パターン画像生成部４は、Ｎ種類（本実施の形態ではＮ＝２２とする。）の符号化パターン画像生成情報を順に繰り返し出力する。すなわち、高速符号化パターン画像生成部４は、ｔ＝１のタイムフレーム用の符号化パターン画像の生成情報、ｔ＝２のタイムフレーム用の符号化パターン画像の生成情報、ｔ＝３のタイムフレーム用の符号化パターン画像の生成情報、・・・、ｔ＝Ｎのタイムフレーム用の符号化パターン画像の生成情報を順に生成し、これを繰り返す。

各タイムフレームの符号化パターン画像には、ｋ種類（本実施の形態ではｋ＝９とする。）の色が使用される。図３に拡大して示すように、ｋ種類の色は符号化パターン画像の各帯に割り当てられて横方向に順に並んでおり、それらの順列が繰り返されて配置されている。なお、本実施の形態では、符号化パターン画像における各帯の色はＮ種類のタイムフレームのすべてにおいて固定であるが、タイムフレームごとに各帯の色が異なっていてもよい。また、ｋ種類の色の並びはランダムであってよく、色の配置に繰り返しがなくてもよい（周期的でなくてもよい）。

図４は、本発明の実施の形態の符号化パターン画像列における各色の輝度値の変化を示す図である。各色のグラフにおいて、横軸はタイムフレーム（ｔ＝１〜２２）であり、縦軸は当該色の輝度値である。図４に示すように、各色の輝度値はタイムフレームの推移に応じて異なる変化パターンを有する。よって、符号化パターン画像としては、図３に示すように、タイムフレームごとに異なるパターンの縞模様が形成される。これにより、Ｎ（＝２２）種類の符号化パターン画像において、各画素はｋ（＝９）種類の輝度変化パターンのいずれかで輝度変化することになる。

ＴＤＣ法で用いるＤＬＰプロジェクタ１０のＤＭＤの駆動パターンはユーザが設計できないので、非特許文献７に記載の従来手法では、正規化相互相関（ＮＣＣ：ＮｏｒｍａｌｉｚｅｄＣｒｏｓｓＣｏｒｒｅｌａｔｉｏｎ）が相対的に低い輝度変化パターンが発生する色を選別して符号化に用いている。この手法では、対象物がランバート反射する物体であると仮定しているため、基本的にはこの条件のみで復号化が可能である。

しかしながら、プロカムを用いた反射光による３次元形状計測（以下、「３次元形状復元」ないし単に「復元」ともいう。）には、拡散反射成分の観測が重要であるが、本実施の形態で想定する対象物の材質は金属であるため、鏡面反射方向以外の反射は少なく、拡散反射成分が小さくなってしまう。そのため、投影する符号化パターン画像は高い輝度値に設定する必要がある。一方で、本実施の形態では、符号化パターン画像が一部において重畳することも想定しているため、輝度変化パターン（単色輝度変化パターン）の任意の組み合わせによる輝度変化パターン（合成輝度変化パターン）の最大輝度が高速撮像部１の感度限界を上回らないように設計する必要がある。

そこで、本実施の形態では、高速符号化パターン画像生成部４は、以下の条件を満たす符号化パターン画像が生成されるように符号化パターン画像生成情報を出力する。第１に、採用するｋ種類の色として、各色の輝度変化パターン（即ち、図４の各グラフの輝度変化パターン）のＮＣＣ値が相対的に低い色を採用する。第２に、ｋ種類の色として、可能な限り、ＲＧＢの輝度値が高い色を採用する。第３に、可能な限り、合成輝度変化パターンの最大輝度が高速撮像部１の感度限界を超えないようにする。

第２の条件は、本実施の形態で想定する対象物の材質が金属であって鏡面性の高い材質であるために考慮すべき条件である。高速撮像部１に入射する直接反射費有は、金属表面の鏡面性の強さのため、鏡面反射方向以外では小さいと仮定し、ここではＲＧＢの値（２５６諧調）のうち少なくとも１つが１８０以上となるランダムな色を生成し、上記の条件を満たす色を選別する。

第３の条件は、直接反射光と相互反射光とが重畳する領域における投影光の復号化情報を、直接反射光の復号化情報と相互反射光の復号化情報に分離するために課される条件である。投影光の反射経路は対象物の形状に依存し、撮影画像の特定の領域に２重に重畳したり、３重に重畳したりするが、本実施の形態では２重までの重畳のみを仮定して、２つの輝度変化パターンが合成された場合に、高速撮像部１の感度限界を超えないように設計する。

第１〜第３の条件を満たして生成された符号化パターン画像列が、図４に示したように時系列で変化する符号化パターン画像列である。このような符号化パターン画像列によれば、撮影画像において直接反射成分と相互反射成分との分離度が高くなる。

同期制御部３は、高速撮像部１と映像投影部２との同期をとる。これにより、高速撮像部１において、映像投影部２で時系列に変化する符号化パターン画像列の各タイムフレームの画像を確実に撮像することができる。

図５は、本発明の実施の形態の符号化パターン画像がＤＬＰプロジェクタ（映像投影部）から対象物に向けて投影される様子を示す図である。

高速撮像部１では、図３に示したｔ＝１〜Ｎのタイムフレームの撮像画像が順に得られる。情報処理部５は、高速撮像部１で得られた時系列に並ぶ複数の撮像画像からなる撮像画像列と、高速符号化パターン画像生成部４で生成された時系列に並ぶ複数の符号化パターン画像生成情報を取得する。なお、情報処理部５が高速符号化パターン画像生成部４から取得する符号化パターン画像生成情報を特に、キャリブレーションデータともいう。情報処理部５は、撮像画像と符号化パターン画像生成情報（キャリブレーションデータ）とに基づいて、対象物Ｗの３次元形状を計測する。情報処理部５は、相互反射対応復号化部５１と、３次元形状計測部５２とを備えている。

相互反射対応復号化部５１は、符号化パターン画像列と撮像画像列とに基づいて、投影光が重畳している領域については、画素ごとに復号化情報を直接反射成分と相互反射成分とを分離する。ここで、上述のように、本実施の形態では、時系列に従って変化する符号化パターン画像を投影しているので、２２のタイムフレームに対応する２２枚の撮像画像によって、画素ごとに２２ステップで変化する輝度変化パターンが得られる。

相互反射対応復号化部５１は、符号化パターン画像列における各画素の９種類の単色輝度変化パターンと、９種類の輝度変化パターンの任意の２つの組み合わせによる３６種類の合成輝度変化パターンとを記憶している。相互反射対応復号化部５１は、撮影画像列における各画素の輝度変化パターンと、記憶した４５種類の輝度変化パターン（単色輝度変化パターン及び合成輝度変化パターン）とのマッチングを行うことにより、相互反射に対応した復号化を行う。

相互反射対応復号化部５１は、２つの輝度変化パターンの正規化相互相関を計算することでマッチングを行う。相互反射対応復号化部５１は、撮影画像の各画素の輝度変化パターンについて、記憶された４５種類の輝度変化パターンのうちの正規化相互相関の値が最大である輝度変化パターンを採用して、復号化する。そして、相互反射対応復号化部５１は、復号化の結果が１種類の信号である場合には、その復号化結果を復号化情報として取得し、復号化の結果が２種類の合成信号である場合には、その画素の輝度値を２種類の復号化情報、即ち直接反射成分の復号化情報と相互反射成分の復号化情報とに分離して取得する。

図６は、本発明の実施の形態の撮像画像上で復号化を行った結果を示す図である。相互反射対応復号化部５１は、撮像画像における投影光の重畳領域を検出して、２種類の復号化情報を分離する。

３次元形状計測部５２は、分離された復号化結果とエピポーラ幾何とを用いて、撮像画像と符号化パターン画像との画素の対応付けを行うことで、対象物Ｗの３次元形状を計測する（３次元復元を行う）。このとき、エピポーラ幾何だけでは、２つに分離された復号化情報のどちらが直接反射光による復号化情報であるかが不定となる。そのため、３次元形状計測部５２は、２種類の復号化情報が得られた場合にはそれらのそれぞれについて３次元形状計測を行い、それらのうち再投影誤差が小さい方を採用して復元する。その結果、直接反射光の３次元復元結果のみを残した復元を行うことができる。

図７は、本発明の実施の形態の撮像画像上で３次元形状の計測を行った例を示す図である。この例では、手前側にはアルミ製のＬ字アングルがあり、その奥に直方体形状の物体がある。アルミ製のＬ字アングルでは凹部にて相互反射が生じているが、図７に示すように概ね正解形状が復元できている。

３次元情報出力部６は、３次元形状計測部５２で復元された３次元形状を出力する。

図８は、本発明の実施の形態の３次元形状計測システムのフローチャートである。まず、復号化に関するキャリブレーションと幾何的なキャリブレーションとを実施して、各パラメタを取得する（ステップＳ８１）。ここで、復号化に関するキャリブレーションパターンとは、上述のように、各色の輝度変化パターンを設定することを指し、幾何的なキャリブレーションとは、プロジェクタ１０（映像投影部２）と高速度カメラ２（高速撮像部１）との幾何的な位置姿勢関係を設定することを指す。

次に、高速符号化パターン画像生成部４が符号化パターン画像列の生成情報を映像投影部２に入力し、映像投影部２がこの生成情報に従って符号化パターン画像列を投影する（ステップＳ８２）。そして、投影された符号化パターン画像列を高速撮像部１で所定のフレームレートで連続的に複数枚撮影して、撮像画像列を得て、これを入力データとして情報処理部５に入力する（ステップＳ８３）。

相互対反射対応復号化部５１は、入力データとしての撮像画像上で相互反射現象に対応した復号化を行うことで、１色であるか２色の混合色であるか、２色である場合にはいずれの色の混合色であるかを判定する（ステップＳ８４）。そして、３次元形状計測部５２は、復号化で得られた高速撮像１の撮像画像と映像投影部２の符号化パターン画像との対応付け情報に基づいて、３次元形状を計測する処理を行う（ステップＳ８５）。

最後に、３次元情報出力部６は、最終的に得られた３次元形状（３次元復元結果）を出力する（ステップＳ８６）。

図９は、本実施の形態の映像投影部のフローチャートである。映像投影部２は、高速符号化パターン画像生成部４から入力された符号化パターン画像生成情報に従って、各画素の色に対応する輝度変化の信号を生成する（ステップＳ９１）。そして、生成した信号に従ってＤＭＤを駆動することにより、高速に変化する符号化パターン画像を投影する（ステップＳ９２）。

図１０は、本実施の形態の相互反射対応復号化部のフローチャートである。相互反射対応復号化部５１は、まず、高速符号化パターン画像生成部４からキャリブレーションデータとして、各画素の輝度変化パターンの情報を取得し、それらの混合色の輝度変化パターンを生成して、記憶する（ステップＳ１０１）。映像投影部２にて符号化パターン画像が投影されると、高速撮像部１が撮像を行い、相互反射対応復号化部５１は、高速撮像部で生成された撮像画像列を入力データとして入力する（ステップＳ１０２）。

次に、相互反射対応復号化部５１は、撮像画像の各画素において輝度変化に対応する信号を取得し（ステップＳ１０３）、各画素で得られた信号とキャリブレーションデータの信号との正規化相互相関を算出する（ステップＳ１０４）。そして、相互反射対応復号化部５１は、正規化相互相関の値が最大である信号を採用して復号化する（ステップＳ１０５）。

相互反射対応復号化部５１は、復号化の結果が２種類の合成信号であるか、即ち当該画素が２色の混合色であるか否かを判断する（ステップＳ１０６）。２色の混合色でない場合（ステップＳ１０６でＮＯ）、即ち１色の信号である場合には、当該画素の復号結果を１種類の復号化情報として取得する（ステップＳ１０７）。２種類の混合色である場合には（ステップＳ１０６でＹＥＳ）、当該画素の復号結果を２種類の復号化情報として取得する（ステップＳ１０８）。

以上のように、本実施の形態によれば、映像投影部２により経時的に高速に変化する符号化パターン画像列を対象物に投影して、それを高速撮像部１で高速撮像して撮像画像列を取得し、情報処理部５は、符号化パターン画像列の輝度変化の情報と（キャリブレーションデータ）正規化相互相関をとってマッチングを行う。ここで、映像投影部２は、符号化パターン画像列として、縦縞模様の各帯において輝度が変化する画像を投影するので、情報処理部５は、画素ごとに復号化をすることができる。よって、撮像画像において投影された符号化パターン画像が不連続になっている箇所（例えば対象物のエッジ部）においても正確に３次元形状を計測できる。

（変形例１）
上記の実施の形態では、対象物に投影された符号化パターン画像を高速度カメラ２０（高速撮像部１）で撮像しているが、この高速度カメラ２０に代えて、イベントカメラを用いてもよい。イベントカメラは輝度値の変化量に応じて、画素ごとにイベントを検出することが可能なカメラである。イベントカメラは、高速度カメラよりも小型かつ省メモリで利用できる点で有利である。

（変形例２）
上記の実施の形態では、符号化パターン画像として、９種類の色を用いた縦縞模様のパターンを採用しているが、ＤＬＰプロジェクタによっては、効果的な符号化列の生成条件も変化する。よって、ＤＬＰプロジェクタにおける符号化列の生成条件に従って、符号化パターン画像は、９種類以上の色を用いたり、横縞模様、ドット柄、チェッカー柄等の別の模様であってもよい。

（変形例３）
上記の実施の形態では、ＤＬＰプロジェクタ１０と高速度カメラ２０とをそれぞれ１つずつ用いて３次元形状計測システム１００を構成したが、ＤＬＰプロジェクタ１０や高速度カメラ２０は、複数であってもい。例えば、１台のＤＬＰプロジェクタと複数台の高速度カメラ２０の組み合わせ、複数台のＤＬＰプロジェクタ１０と１台の高速度カメラ２０との組み合わせ、複数台のＤＬＰプロジェクタ１０と複数台のＤＬＰプロジェクタ１０と複数台の高速度カメラ２０との組み合わせで３次元形状計測システム１００を構成してもよい。

ＤＬＰプロジェクタ１０が複数ある場合には、それぞれのＤＬＰプロジェクタ１０が独自の符号化パターン画像列を投影し、かつ、それぞれが発生させる符号化の信号のＮＣＣが相対的に低い場合には、復号化情報の分離が可能となる。

（変形例４）
上記の実施の形態では、一般的なＤＬＰプロジェクタを用いることを想定したが、高速符号化パターン画像を自前で設計できる特殊なＤＬＰプロジェクタを用いて、符号化と復号化の分離性能を向上させてよい。

信号のＮＣＣが相対的に低くなる符号化パターン画像列を事前に設計しておいて、対象物に投影して撮像することで、投影光の重畳が２重の場合だけでなく、３重以上の場合にも復号化結果を分離できる。さらに、その効果によって、金属のような物だけでなく、対象物がより複雑な光学現象が起きる透明、半透明の物でも計測できる可能性が高くなる。

あるいは復号化の効率を上げられるため、符号化に用いるフレーム数を減らし、より対照シーンを高速に３次元形状測定することができる。

本発明は、直接反射光と相互反射光とが重畳している場合にもそれらを分離して復号化することができ、鏡面性の強い対象物における相互反射光がある場合にも３次元形状を計測できるという効果を有し、対象物にパターン画像を投影して、パターン画像が投影された対象物を撮影することで当該対象物の３次元形状を計測する３次元形状計測システム等として有用である。

１高速撮像部
２映像投影部
３同期制御部
４高速符号化パターン画像生成部
５情報処理部
５１相互反射対応復号化部
５２３次元形状計測部
６３次元形状出力部
１０ＤＬＰプロジェクタ
２０高速度カメラ
３０３次元形状計測装置
１００３次元形状計測システム
Ｗワーク（対象物）

Claims

複数種類の符号化パターン画像からなる符号化パターン画像列を順に投影する投影部と、
前記投影部にて前記符号化パターン画像が投影される対象物を順に撮像して、複数の撮像画像からなる撮像画像列を取得する撮像部と、
前記符号化パターン画像列及び前記撮影画像列を用いて、相互反射に対応した復号化を行う復号化部と、
前記復号化部における復号化の結果及び前記投影部と前記撮像部との幾何的関係を用いて、前記符号化パターン画像と前記撮影画像との対応付けを行うことで前記対象物の３次元形状を計測する計測部と、
を備えた、３次元形状計測システム。
前記符号化パターン画像列は、各画素がｋ種類の輝度変化パターンのいずれかで輝度変化するＮ種類の符号化パターン画像からなり、
前記復号化部は、前記符号化パターン画像列における各画素の前記ｋ種類の輝度変化パターンと、前記ｋ種類の輝度変化パターンの任意の組み合わせによる輝度変化パターンとを記憶しており、前記撮影画像列における各画素の輝度変化パターンと、記憶した輝度変化パターンとのマッチングを行うことにより、相互反射に対応した復号化を行う、
請求項１に記載の３次元形状計測システム。
前記計測部は、前記復号化部にて、相互反射であると判断された画素について、組み合わされた複数の輝度変化パターンのそれぞれを用いて前記対象物の複数とおりの３次元形状を計測し、それらの３次元形状のうちの再投影誤差が小さい３次元形状を採用する、請求項２に記載の３次元形状計測システム。
前記符号化パターン画像は、縞模様である、請求項１〜３のいずれかに記載の３次元形状計測システム。
前記符号化パターン画像列の各画素の輝度は、任意の他の画素の輝度と重なった場合にも前記撮像部の感度限界を超えない大きさである、請求項１〜４のいずれか一項に記載の３次元形状計測システム。
前記投影部は、ＤＭＤにより前記符号化パターン画像列を生成して投影する、請求項１〜５のいずれか一項に記載の３次元形状計測システム。
前記投影部による前記符号化パターン画像の投影と、前記撮像部による撮像とを同期させる同期制御部をさらに備えた、請求項１〜６のいずれか一項に記載の３次元形状計測システム。
前記計測部で計測された前記３次元形状の情報を出力する出力部をさらに備えた、請求項１〜７のいずれか一項に記載の３次元形状計測システム。
投影部にて、複数種類の符号化パターン画像からなる符号化パターン画像列を順に投影する投影ステップと、
撮影部にて、前記投影ステップにて前記符号化パターン画像が投影される対象物を順に撮像して、複数の撮像画像からなる撮像画像列を取得する撮像ステップと、
前記符号化パターン画像列及び前記撮影画像列を用いて、相互反射に対応した復号化を行う復号化ステップと、
前記復号化部における復号化の結果及び前記投影部と前記撮像部との幾何的関係を用いて、前記符号化パターン画像と前記撮影画像との対応付けを行うことで前記対象物の３次元形状を計測する計測ステップと、
を備えた、３次元形状計測方法。
複数種類の符号化パターン画像からなる符号化パターン画像列を順に投影する投影部、及び前記投影部にて前記符号化パターン画像が投影される対象物を順に撮像して、複数の撮像画像からなる撮像画像列を取得する撮像部と接続される情報処理部に、
前記符号化パターン画像列及び前記撮影画像列を用いて、相互反射に対応した復号化を行う復号化ステップと、
前記復号化部における復号化の結果及び前記投影部と前記撮像部との幾何的関係を用いて、前記符号化パターン画像と前記撮影画像との対応付けを行うことで前記対象物の３次元形状を計測する計測ステップと、
を実行させる、３次元形状計測プログラム。