JP5732424B2

JP5732424B2 - ３次元形状計測装置とそのキャリブレーション方法

Info

Publication number: JP5732424B2
Application number: JP2012084149A
Authority: JP
Inventors: 玲子有賀; 篤彦前田; 裕千明; 小林　稔; 稔小林
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-04-02
Filing date: 2012-04-02
Publication date: 2015-06-10
Anticipated expiration: 2032-04-02
Also published as: JP2013214206A

Description

本発明は、アクティブステレオ法を用いて対象物体の全周３次元形状を計測する３次元形状計測装置とそのキャリブレーション方法に関する。

近年、対象物体の３次元形状モデルを作成するために、対象物体の３次元形状を全周に渡って計測する装置が提案されている。この装置は、対象物体を回転させながら撮像する、計測装置自体を対象物体の周りを移動させながら撮像する、複数台の撮像装置で同時に複数方向から撮像する、といった手法で対象物体全周の画像を取得し、その全周画像から３次元形状モデルを作成する構成となっている（例えば特許文献１参照）。

特開２００１−２４３４９７号公報：３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体

従来の３次元形状計測装置では、対象物体をシステムで囲って計測を行う場合が考えられているが、万が一撮影装置や投影装置などの内部の光学構成にずれが生じると、３次元形状計測を正確に行うことができない。そこで、光学構成がずれた際には、撮影装置における座標系と世界座標系の対応関係を表すカメラパラメータのキャリブレーション、及び投影装置における座標系と世界座標系の対応関係を表すプロジェクタパラメータのキャリブレーションを行う必要がある。しかしながら、その作業にはキャリブレーションキューブ等の特別な装置を用いる必要があり、煩雑な作業となっている。

本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、キャリブレーション時に特別なマーカーを配置する必要なく、３次元形状計測装置の内部構造のみを利用してプロジェクタパラメータとカメラパラメータのキャリブレーションを行うことのできる３次元形状計測装置とそのキャリブレーション方法を提供することにある。

本発明に係る３次元形状計測装置は以下のような態様の構成とする。
（１）パネルを四方に配置して接合することで底面が開放された箱形であり、前記パネルの内側を平面鏡とし、天面側から見て前記平面鏡の全部または一部が天面方向に傾斜され、前記底面側から対象物体を被せて使用するスタジオ装置と、前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に指定のパターン映像を投影する投影装置と、前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部を撮影する撮影装置と、前記投影装置でパターン映像を投影した状態で前記撮影装置により撮影されたスタジオ装置内の画像から前記スタジオ装置内に配置される対象物体の上面から見た形状及び各パネルの鏡面に映る前後左右の形状を３次元情報として取得し、この３次元情報に基づいて全周３次元画像を作成する画像処理手段と、前記画像処理手段で作成された全周３次元画像を表示する表示手段とを具備し、前記スタジオ装置は、前記四方の平面鏡それぞれの一部にスクリーンを配備し、前記スタジオ装置は、前記四方の平面鏡のそれぞれにキャリブレーションで利用されるマーカーが貼付され、前記投影装置は、キャリブレーション用パターン画像を前記スタジオ装置内に投影し、前記撮影装置は、前記キャリブレーション用パターン画像が投影された前記スタジオ装置内を撮影し、前記画像処理手段は、前記撮影装置により撮影されたスタジオ装置内の画像において、前記鏡面上のスクリーンに投影されるパターン画像と前記マーカーを認識して前記投影装置及び撮影装置それぞれのパラメータのキャリブレーションを行う態様とする。

また、本発明に係る３次元形状計測装置のキャリブレーション方法は以下のような態様の構成とする。
（２）パネルを四方に配置して接合することで底面が開放された箱形であり、前記パネルの内側を平面鏡とし、天面側から見て前記平面鏡の全部または一部が天面方向に傾斜され、前記平面鏡の一部にスクリーンが配備され、前記底面側から対象物体を被せて使用するスタジオ装置と、前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に指定のパターン映像を投影する投影装置と、前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部を撮影する撮影装置と、前記投影装置でパターン映像を投影した状態で前記撮影装置により撮影されたスタジオ装置内の画像から前記スタジオ装置内に配置される対象物体の上面から見た形状及び各パネルの鏡面に映る前後左右の形状を３次元情報として取得し、この３次元情報に基づいて全周３次元画像を作成する画像処理手段と、前記画像処理手段で作成された全周３次元画像を表示する表示手段とを具備する３次元形状計測装置に適用され、前記スタジオ装置内の平面鏡に向かって前記投影装置からキャリブレーション用パターン画像を投影し、前記撮影装置により前記スタジオ装置内を撮影して前記キャリブレーション用パターンをカメラ画像中から検出してカメラ座標を求め、前記底面の基台部分に投影されたパターンのある点の世界座標を前記カメラ座標から相対的に算出し、前記スクリーンに投影されたパターンのある点の世界座標を前記カメラ座標から相対的に算出し、前記基台部分及びスクリーンそれぞれの世界座標と前記カメラ座標を対応づけて前記投影装置のプロジェクタパラメータを算出する態様とする。

（３）パネルを四方に配置して接合することで底面が開放された箱形であり、前記パネルの内側を平面鏡とし、天面側から見て前記平面鏡の全部または一部が天面方向に傾斜され、前記平面鏡の一部にスクリーン及びキャリブレーション用マーカーが配備され、前記底面側から対象物体を被せて使用するスタジオ装置と、前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に指定のパターン映像を投影する投影装置と、前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部を撮影する撮影装置と、前記投影装置でパターン映像を投影した状態で前記撮影装置により撮影されたスタジオ装置内の画像から前記スタジオ装置内に配置される対象物体の上面から見た形状及び各パネルの鏡面に映る前後左右の形状を３次元情報として取得し、この３次元情報に基づいて全周３次元画像を作成する画像処理手段と、前記画像処理手段で作成された全周３次元画像を表示する表示手段とを具備する３次元形状計測装置に適用され、基台に向かって前記投影装置からキャリブレーション用パターン画像を投影し、前記撮影装置により前記スタジオ装置内を撮影して前記キャリブレーション用パターンをカメラ画像中から検出してカメラ座標を求め、前記平面鏡に映り込んだ前記マーカーの頂点のカメラ座標を求め、前記底面の基台部分に投影されたパターンのある点の世界座標を前記カメラ座標から相対的に算出し、前記キャリブレーション用マーカーと前記キャリブレーション用パターンのそれぞれの世界座標と前記カメラ座標から前記撮影装置のカメラパラメータを算出する態様とする。

本発明によれば、平面鏡に貼付されたキャリブレーション用マーカー、スクリーン並びに投影装置によってキャリブレーション用パターンを投影する手段は、キャリブレーション用の基準物体をシステム内部に埋め込み、不変量である平面鏡の長さ等を利用して自動的に世界座標を算出することにより、キャリブレーション時に特別なマーカーを配置する必要なく、３次元計測装置の内部構造のみを利用してプロジェクタパラメータとカメラパラメータのキャリブレーションを行うことを可能にする。

以上のように、本発明によれば、対象物体の全周３次元形状モデルの計測に必要な情報を瞬時に取得することができ、これによって短時間に対象物体の全周３次元形状モデルを表示することのできる３次元形状計測装置を提供することができる。

本発明の実施形態に係る３次元形状計測装置の構成を示す概念図である。図１の平面鏡の内面側の構成を示す概念図である。図１の計測処理装置の具体的な構成を示すブロック図である。図１の３次元情報の取得処理（計測プロセス）を示すフローチャートである。図１の３次元形状モデルの作成処理（復元プロセス）を示すフローチャートである。図１の計測処理装置を用いて対象物体を計測するときの設置状態と計測状況を示す概念図である。図１の実施形態において、３次元座標算出のための投影パターン画像と撮影取得画像を示す図である。図１の実施形態において、テクスチャ情報取得のための投影パターン画像と撮影取得画像を示す図である。図１の実施形態において、波長分割による反射光混合防止を実現する復元プロセスにおける処理の流れを示すフローチャートである。図１の実施形態において、時分割による反射光混合防止を実現する計測プロセスにおける処理の流れを示すフローチャートである。図１の計測処理装置を用いて、投影装置におけるプロジェクタパラメータのキャリブレーションを行う状況を示す概念図である。図１１のプロジェクタパラメータのキャリブレーションを行う過程を説明するための計測状況を示す概念図である。図１２のキャリブレーションの様子を撮影装置から見たカメラ画像を示す図である。図１３の透視投影変換後の画像において基台に投影されたパターンの座標を求める様子を示す概念図である。図１の計測処理装置を用いて、撮影装置におけるカメラパラメータのキャリブレーションを行うときの撮像装置から見たカメラ画像を示す図である。図１の実施形態において、プロジェクタパラメータのキャリブレーションプロセスのフローチャートである。図１の実施形態において、カメラパラメータのキャリブレーションプロセスのフローチャートである。

添付の図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は本発明の構成の例であり、本発明は、以下の実施の形態に制限されるものではない。
図１は本実施形態に係る３次元形状計測装置の構成を示すブロック図である。この装置は、スタジオ装置１０と計測処理装置１１とで構成される。まず、スタジオ装置１０は、パネルの一方面を鏡面加工した平面鏡１０１〜１０４を鏡面が内側になるようにして接合することで、少なくとも底面が開放された箱状となっており、基台に載置した対象物体の上から被せることで、対象物体を撮影するためのスタジオを形成する。天面は天板を備えていてもよいが、その場合には撮影用の穴を形成しておく。側面の平面鏡１０１〜１０４は天面に対して角度φmだけ内方向に狭まるように傾斜するようになされている。なお、図２に示すように、平面鏡１０１〜１０４の内面下方部に、小型スクリーンＳ１〜Ｓ４を配備し、内面両側部にはキャリブレーション用三角マーカーを貼付しておく。

一方、計測処理装置１１は、周辺機器の制御及び３次元形状モデルの計測を行う演算制御装置１１１を備える。周辺機器として、スタジオ装置１０の天面側に配置され、スタジオ内部の対象物体に任意の画像を投影する投影装置（プロジェクタ）１１２及びスタジオ内部全体を撮影する撮影装置１１３、演算制御装置１１１で計測された３次元形状モデルを表示する表示装置１１４を備える。

図３は上記計測処理装置１１の具体的な構成を示すブロック図である。この計測処理装置１１は、上記演算制御装置１１１のバス上に、投影装置１１２、撮影装置１１３及び表示装置１１４をそれぞれインターフェース（図示せず）を介して接続したものである。演算制御装置１１１は、本装置の制御及び情報処理を実行するＣＰＵ（演算処理装置）１１１Ａ、ＣＰＵ１１１Ａの処理プログラムを格納するためのプログラムメモリ１１１Ｂ、情報処理の作業空間及び取得データ及び演算結果を格納する記憶装置１１１Ｃを備え、図４に示す３次元情報の取得処理（計測プロセス）と、図５に示す３次元形状モデルの作成処理（復元プロセス）を実行する。これらの処理については後述する。

図６は、対象物体Ｔを計測するときの設置状態と計測状況を示す概念図である。まず、図６（ａ）に示すように、スタジオ装置１０を底面の開口から対象物体Ｔに被せ、スタジオ内部のほぼ中央に対象物体Ｔを配置し、天面中央部に投影装置１１２及び撮影装置１１３を配置する。投影装置１１２はスタジオ内部に向けて指定の画像を投影する。このときの投影の最大広がり角はφp で表される。撮影装置１１３は、対象物体Ｔの実像と共に各平面鏡１０１〜１０４の反射による対象物体Ｔの虚像を含む５つの像を同時に撮影する。演算制御装置１１１は撮影装置１１３で得られた多面画像から３次元形状モデルを計測する。

ここで、天面の鉛直方向から角度φmだけ傾斜された一つの平面鏡１０４について投影装置１１２からの光路を見ると、図６（ｂ）に示すように、鏡面から距離Ｌp に投影装置１１２から照射された光線のうち、底面から高さｈ0 で反射した光線は、鏡面から距離ｄだけ離れた場所では高さｈとなるので、計測可能な物体の最大サイズは、距離ｄにおいては高さｈとなる。この高さｈは次式によって求められる。

上記構成において、図７（ａ），（ｂ）に３次元座標算出のためのパターン画像と取得画像を示し、図８（ａ），（ｂ）にテクスチャ情報取得のためのパターン画像と取得画像を示し、これらの図と図９及び図１０を参照して、以下に上記実施形態の動作を詳細に説明する。なお、図９、図１０は、それぞれ図５、図４の詳細を示すフローチャートである。

まず、ユーザが対象物体に筐体部１０を被せ、本装置を起動すると、演算制御装置１１１ではプログラムメモリ１１２に格納された図４に示す計測プロセス（３次元情報の取得処理）のプログラムをロードしてＣＰＵ１１１Ａにそのプログラムを実行させる。

この計測プロセスでは、まず、投影装置１１２に図７（ａ）に示すストライプ状のパターン画像Ｐ１をスタジオ内部に投影させ（ステップＳ１１）、そのときのスタジオ内部全体を撮影装置１１３により撮影させる（ステップＳ１２）。これにより、図７（ｂ）に示すように、対象物体Ｔの平面鏡１０１〜１０４による４つの虚像領域Ａ１１〜Ａ１４及び実像領域Ａ１５を含む画像、すなわちスタジオ内部に配置され、ストライプ状のパターン画像Ｐ１が投影された対象物体Ｔを前後左右上方から同時に見た画像Ａ１が得られる。この画像Ａ１は３次元情報として記憶装置１１１Ｃに蓄積される。

次に、投影装置１１２に投影画像の切換を指示し（ステップＳ１３）、投影装置１１２に図８（ａ）に示す白色画像Ｐ２をスタジオ内部に投影させ（ステップＳ１４）、そのときのスタジオ内部全体を撮影装置１１３に撮影させる（ステップＳ１５）。これにより、図８（ｂ）に示すように、対象物体Ｔの平面鏡１０１〜１０４による４つの虚像領域Ａ２１〜Ａ２４及び実像領域Ａ２５を含む画像、すなわちスタジオ内部に配置され、対象物体Ｔを前後左右上方から同時に見た画像Ａ２が得られる。この場合、平面鏡１０１〜１０４によって白色画像を内側に反射させ、対象物体を前後左右上方から照らすようにしているため、これを撮影することにより、影のないテクスチャ画像を得ることができる。この画像Ａ２はテクスチャ情報として記憶装置１１１Ｃに蓄積される（ステップＳ１６）。

上記計測プロセスが完了すると、演算制御装置１１１ではプログラムメモリ１１１Ｂに格納された図５に示す復元プロセス（３次元形状モデルの作成・表示）のプログラムをロードしてＣＰＵ１１１Ａにそのプログラムを実行させる。
この復元プロセスでは、まず、記憶装置１１１Ｃから領域Ａ１ｎ，Ａ２ｎの３次元情報及びテクスチャ情報を読み出す（ステップＳ２１）。この時点で、カウントｎをいったん０にリセットし（ステップＳ２２）、さらにカウントｎにｎ＋１をセットして（ステップＳ２３）、領域Ａ１ｎ，Ａ２ｎそれぞれで得られた情報より、方向ｎ＝１すなわち領域Ａ１１，Ａ２１に映る対象物体Ｔの３次元形状を算出する（ステップＳ２４）。このステップＳ２４の処理をｎがｎ＞５となるまで繰り返し（ステップＳ２５）、これによって領域Ａ１２，Ａ１３，Ａ１４，Ａ２２，Ａ２３，Ａ２４それぞれに映る対象物体Ｔの３次元形状（虚像）と領域Ａ１５，Ａ２５の上方から見た対象物体Ｔの３次元形状（実像）とが得られる。上記の各領域における３次元形状が取得されると、その５方向の形状を統合して全周３次元モデルを作成し（ステップＳ２６）、表示装置１１４に表示する（ステップＳ２７）。

上記ステップＳ２４，Ｓ２６による全周３次元モデルの作成方法としては、３次元形状情報とテクスチャ情報の対応する各領域Ａ１ｎ，Ａ２ｎに対して、それぞれ３次元座標を求める。このとき、３次元形状の復元アルゴリズムは、スリット光投影法や空間コード化法などのアクティブステレオ法を用いるものとする。各方向から見た対象物体の３次元座標が求まったら、これを統合する。予め各領域Ａ１ｎ，Ａ２ｎに関してキャリブレーションが行われているため、３次元座標を統合する際に各領域間で位置合わせを行う必要はない。統合された全周３次元座標において、３次元ドロネー分割などを用いてテクスチャマッピングを行うことで、全周３次元モデルを得る。

また、ステップＳ２７における３次元モデルの表示には、モニタやタッチパネル等の２次元ディスプレイを用いればよいが、ＡＲ（Augmented Reality）ディスプレイやＨＭＤ（Head Mounted Display）で閲覧してもよいし、３次元ディスプレイで表示してもよい。

ここで、上記復元プロセスまたは計測プロセスにおいて、隣り合う鏡面の反射光の混合を波長分割または時分割によって防ぐことも可能である。
まず、復元プロセスにおいて、波長分割によって反射光の混合を防止する場合について説明する。図９は波長分割による反射光混合防止を実現する復元プロセスにおける処理の流れを示すフローチャートであり、図５に示すフローチャートと異なる点は領域ｎ毎に対応する波長を抽出する処理（ステップＳ２８）を追加した点にある。この場合、計測プロセスにおいて、図４のステップＳ１１で投影するパターンの波長を、図７における虚像領域Ａ１１及びＡ１３に対応する領域ではλ_Ａ、虚像領域Ａ１２及びＡ１４に対応する領域ではλ_Ｂ、実像領域に対応する領域Ａ１５ではλ_Ｃとする。そして、λ_Ａ、λ_Ｂ、λ_Ｃを同時に投影したものを撮影し（ステップＳ１５）、３次元形状情報として格納する（ステップＳ１６）。この前提の元で、復元プロセスは第１の実施形態と基本的に同じ処理を行うが、図９に示すように、３次元形状を算出するステップＳ２４に入る前に、３次元座標算出のための取得画像から、領域に対応する波長λ_Ａ、λ_Ｂ、λ_ＣをＲＧＢの明度値や彩度または色相によってフィルタリングして抽出する（ステップＳ２８）。これにより、隣り合う平面鏡による反射光及び上方からの直接光を波長で切り分けることができる。

次に、計測プロセスにおいて、時分割によって反射光の混合を防止する場合について説明する。図１０は時分割による反射光混合防止を実現する計測プロセスにおける処理の流れを示すフローチャートであり、図４に示すフローチャートと異なる点は、パターン画像投影処理Ｓ１１と撮影処理Ｓ１２を領域別に複数回に分けて行うようにした点にある。この場合、まず、虚像領域Ａ１１とＡ１３にパターン画像を投影して撮影を行う（Ｓ１１１、Ｓ１２１）。次に、虚像領域Ａ１２とＡ１４にパターン画像を投影して撮影を行う（Ｓ１１２，Ｓ１２２）。さらに、実像領域Ａ１５にパターン画像を投影して撮影を行う（Ｓ１１３、Ｓ１２３）。このあとの処理は第１の実施形態と同様である。隣り合う平面鏡による反射光のパターン及び上方からの直接光によるパターンを異なるフレームで撮影することにより、これらのパターンが混合することを防ぐことができる。

尚、アクティブステレオ法で３次元形状計測を行う際には、世界座標とカメラ座標の対応付けを行うカメラパラメータのキャリブレーションと、世界座標と投影座標の対応付けを行うプロジェクタパラメータのキャリブレーションの両方を行う必要がある。キャリブレーションキューブ等の特別な基準物体を設置することなく、システムの内部の不変量を用いてカメラパラメータ及びプロジェクタパラメータのキャリブレーションを自動的に行う過程を以下に示す。

まず、プロジェクタパラメータのキャリブレーションについて説明する。
図１１は上記計測処理装置１１を用いて、投影装置１１２におけるプロジェクタパラメータのキャリブレーションを行う状況を示す概念図である。図１６はプロジェクタパラメータのキャリブレーションプロセスのフローチャートである。計測には各平面鏡からの反射光を用いるので、反射光を用いてキャリブレーションを行う。

具体的に、図１２を参照して平面鏡１０１に対してプロジェクタパラメータのキャリブレーションを行う過程を以下に示す。世界座標の原点ならびにＸ軸、Ｙ軸、Ｚ軸は図１１に示すように取る。スタジオ装置１０を基台に設置する。平面鏡１０１に向かって投影装置１１２から図１２（ｂ）に示すキャリブレーション用パターン画像を投影する（Ｓ５１）。図１２（ａ）に示すように、平面鏡１０１により投影画像は反射され、平面鏡１０１と向かい合う平面鏡１０３に設置された小型スクリーンＳ３と基台にキャリブレーション用パターン画像が投影される。

図１３は、その様子を撮影装置から見たカメラ画像である。キャリブレーション用パターンをカメラ画像中から検出する（Ｓ５２）。ここで、開放領域を構成する平面鏡１０１〜１０４の底辺の長さはＬ、また、平面鏡１０１〜１０４に設置した小型スクリーンＳ１〜Ｓ４の高さはＳで、それぞれ既知で不変量であるので、平面ａｂｃｄ及び平面ｄｃｅｆ上にある点の世界座標は、カメラ座標から相対的に算出することができる（Ｓ５３）。すなわち、図１３のように、画像領域ａｂｃｄに対して、高さｐｈピクセル、幅がｐｗピクセルの長方形ａ’ｂ’ｃ’ｄ’となるように透視投影変換を行い、透視投影変換後の画像において基台に投影されたパターンの座標を求める（図１４）。このとき、ｐｈ、ｐｗは任意とする。透視投影変換後の画像において座標（ｕ’，ｖ’）にパターンがあるのであれば、それは世界座標では以下の式で表される。

また、平面鏡に設置した小型スクリーンに投影されたパターンの世界座標は、頂点ｄｃｅｆに対して、高さｐｈピクセル、幅がｐｗピクセルの長方形ｄ’ｃ’ｅ’ｆ’となるように透視投影変換を行い、透視投影変換後の座標においてキャリブレーション用パターンを検出して座標（ｕ’，ｖ’）を求める。このとき、ｐｈ、ｐｗは任意とする。小型スクリーンＳの高さと幅L、及び小型スクリーンの基台に対する角度(π/2 - φm)は既知であり、不変量であることから、小型スクリーンに投影されたパターンの、小型スクリーン上における座標は以下の式で算出できる（Ｓ５３）。

これを、頂点ａが原点のシステムの座標系に変換し、世界座標とする。
こうして求めた平面ａｂｃｄと平面ｄｃｅｆ上に投影されたパターンの世界座標と、それに対応するプロジェクタ座標から、プロジェクタパラメータを算出する（Ｓ５４）。この処理を、鏡面１０２〜１０４に対しても同様に行う。

実像領域Ａ１５のプロジェクタパラメータのキャリブレーションでは、計測に直接投影したパターン光を用いるので、小型スクリーン及び基台に直接キャリブレーション用パターンを投影してキャリブレーションを行う。すなわち、平面鏡１０１〜１０４に貼付した小型スクリーンと領域Ａ１５の基台部分にキャリブレーション用パターンを投影装置により投影する。上記の手順と同様にして、小型スクリーンＳ１〜Ｓ４及び領域ａｂｃｄに投影されたキャリブレーション用パターンの世界座標と、各キャリブレーション用パターンのプロジェクタ座標を対応付けて算出し、プロジェクタパラメータを算出する。

次に、撮影装置１１３におけるカメラパラメータのキャリブレーションについて説明する。
平面鏡１０１を用いた３次元計測を行う際に必要なカメラパラメータのキャリブレーションを行う過程を以下に示す。カメラパラメータのキャリブレーションには、向かい合う平面鏡の平面と、平面鏡の平面と４枚の平面鏡に囲まれた基台の平面を用いる。図１５はカメラ画像である。図１７は、カメラパラメータのキャリブレーションプロセスのフローチャートである。

まず、平面鏡１０１に映り込んだ平面鏡１０３に設置されたキャリブレーション用マーカーのカメラ座標を求める（Ｓ５５）。具体的には、撮影装置で撮影したカメラ画像から、三角形の輪郭を抽出して二値化する。二値化画像に対してハフ変換等の線分検出アルゴリズムを用いて三角形の辺を表す直線の式を求める。直線の交点より、三角形の頂点のカメラ座標を導出する。キャリブレーション用マーカーの世界座標は既知で不変量である。キャリブレーション用マーカーのカメラ座標と世界座標を、カメラ座標のx座標、y座標の大小関係等から対応付ける。以上のようにして、平面鏡１０３が成す面におけるキャリブレーション用の点を検出する。

次に、基台におけるキャリブレーション用の点の検出方法を示す。投影装置から基台に向かってキャリブレーション用パターンを投影する。基台に投影されたキャリブレーション用パターンが平面鏡１０１に映り込んだ様子を撮影したカメラ画像が図１５である。鏡像領域Ａ１１において、格子点検出のアルゴリズム等を用いて、キャリブレーション用パターンの交点を算出し、キャリブレーション用パターンのカメラ座標を求める（Ｓ５５）。画像領域ａｂｃｄに対して、高さｐｈピクセル、幅がｐｗピクセルの長方形ａ’ｂ’ｃ’ｄ’となるように透視投影変換を行う。プロジェクタパラメータを求めた際と同様にして平面鏡の一辺の長さが既知であることを利用して、カメラ座標から相対的に世界座標を求め、頂点ａが原点となるように変換する（Ｓ５６）。以上のようにして、平面ａｂｃｄにおけるキャリブレーション用の点を検出する。

こうして求めたキャリブレーション用マーカーの頂点のカメラ座標と世界座標から、カメラパラメータを求める（Ｓ５７）。このとき、キャリブレーション用マーカーの形状は、画像処理で検出できるのであれば三角形以外に点群や矩形等でも構わない。同じ操作を他の虚像領域Ａ１２〜Ａ１４に対して行う。

実像領域Ａ１５のカメラパラメータのキャリブレーションは、平面鏡１０１〜１０４に貼付したキャリブレーション用マーカーの世界座標と、各キャリブレーション用マーカーのカメラ座標を対応づけてカメラパラメータを算出する。尚、基台にキャリブレーション用パターンを投影して、これをキャリブレーション用の情報として加えてもよい。

したがって、上記実施形態のアクティブステレオ法を用いた３次元形状計測システムによれば、平面鏡に貼付されたキャリブレーション用マーカー、小型スクリーン並びに投影装置によってキャリブレーション用パターンを投影するため、キャリブレーション用の基準物体をシステム内部に埋め込み、不変量である平面鏡の長さ等を利用して自動的に世界座標を算出することにより、キャリブレーション時に特別なマーカーを配置する必要なく、３次元計測装置の内部構造のみを利用してプロジェクタパラメータとカメラパラメータのキャリブレーションを行うことができる。

尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成を削除してもよい。さらに、異なる実施形態例に亘る構成要素を適宜組み合わせてもよい。

１０…スタジオ装置、１０１〜１０４…平面鏡、１１…計測処理装置、１１１…演算制御装置、１１２…投影装置、１１３…撮影装置、１１４…表示装置、１１１Ａ…ＣＰＵ、１１１Ｂ…プログラムメモリ、１１１Ｃ…記憶装置、Ｓ１〜Ｓ４…小型スクリーン。

Claims

パネルを四方に配置して接合することで底面が開放された箱形であり、前記パネルの内側を平面鏡とし、天面側から見て前記平面鏡の全部または一部が天面方向に傾斜され、前記底面側から対象物体を被せて使用するスタジオ装置と、
前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に指定のパターン映像を投影する投影装置と、
前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部を撮影する撮影装置と、
前記投影装置でパターン映像を投影した状態で前記撮影装置により撮影されたスタジオ装置内の画像から前記スタジオ装置内に配置される対象物体の上面から見た形状及び各パネルの鏡面に映る前後左右の形状を３次元情報として取得し、この３次元情報に基づいて全周３次元画像を作成する画像処理手段と、
前記画像処理手段で作成された全周３次元画像を表示する表示手段と
を具備し、
前記スタジオ装置は、前記四方の平面鏡それぞれの一部にスクリーンを配備し、
前記スタジオ装置は、前記四方の平面鏡のそれぞれにキャリブレーションで利用されるマーカーが貼付され、
前記投影装置は、キャリブレーション用パターン画像を前記スタジオ装置内に投影し、
前記撮影装置は、前記キャリブレーション用パターン画像が投影された前記スタジオ装置内を撮影し、
前記画像処理手段は、前記撮影装置により撮影されたスタジオ装置内の画像において、前記鏡面上のスクリーンに投影されるパターン画像と前記マーカーを認識して前記投影装置及び撮影装置それぞれのパラメータのキャリブレーションを行うことを特徴とする３次元形状計測装置。
パネルを四方に配置して接合することで底面が開放された箱形であり、前記パネルの内側を平面鏡とし、天面側から見て前記平面鏡の全部または一部が天面方向に傾斜され、前記平面鏡の一部にスクリーンが配備され、前記底面側から対象物体を被せて使用するスタジオ装置と、
前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に指定のパターン映像を投影する投影装置と、
前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部を撮影する撮影装置と、
前記投影装置でパターン映像を投影した状態で前記撮影装置により撮影されたスタジオ装置内の画像から前記スタジオ装置内に配置される対象物体の上面から見た形状及び各パネルの鏡面に映る前後左右の形状を３次元情報として取得し、この３次元情報に基づいて全周３次元画像を作成する画像処理手段と、
前記画像処理手段で作成された全周３次元画像を表示する表示手段と
を具備する３次元形状計測装置に適用され、
前記スタジオ装置内の平面鏡に向かって前記投影装置からキャリブレーション用パターン画像を投影し、
前記撮影装置により前記スタジオ装置内を撮影して前記キャリブレーション用パターンをカメラ画像中から検出してカメラ座標を求め、
前記底面の基台部分に投影されたパターンのある点の世界座標を前記カメラ座標から相対的に算出し、
前記スクリーンに投影されたパターンのある点の世界座標を前記カメラ座標から相対的に算出し、
前記基台部分及びスクリーンそれぞれに投影された前記キャリブレーション用パターンの世界座標と前記カメラ座標を対応づけて前記投影装置のプロジェクタパラメータを算出することを特徴とする３次元形状計測装置のキャリブレーション方法。
パネルを四方に配置して接合することで底面が開放された箱形であり、前記パネルの内側を平面鏡とし、天面側から見て前記平面鏡の全部または一部が天面方向に傾斜され、前記平面鏡の一部にスクリーン及びキャリブレーション用マーカーが配備され、前記底面側から対象物体を被せて使用するスタジオ装置と、
前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に指定のパターン映像を投影する投影装置と、
前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部を撮影する撮影装置と、
前記投影装置でパターン映像を投影した状態で前記撮影装置により撮影されたスタジオ装置内の画像から前記スタジオ装置内に配置される対象物体の上面から見た形状及び各パネルの鏡面に映る前後左右の形状を３次元情報として取得し、この３次元情報に基づいて全周３次元画像を作成する画像処理手段と、
前記画像処理手段で作成された全周３次元画像を表示する表示手段と
を具備する３次元形状計測装置に適用され、
前記基台に向かって前記投影装置からキャリブレーション用パターン画像を投影し、
前記撮影装置により前記スタジオ装置内を撮影して前記キャリブレーション用パターンをカメラ画像中から検出してカメラ座標を求め、
前記平面鏡に映り込んだ前記マーカーの頂点のカメラ座標を求め、
前記底面の基台部分に投影されたパターンのある点の世界座標を前記カメラ座標から相対的に算出し、
前記基台部分に投影されたキャリブレーション用パターン及び平面鏡に貼付されたキャリブレーション用マーカーそれぞれの世界座標と前記カメラ座標から前記撮影装置のカメラパラメータを算出することを特徴とする３次元形状計測装置のキャリブレーション方法。