JP5663464B2

JP5663464B2 - ３次元形状計測システム

Info

Publication number: JP5663464B2
Application number: JP2011281813A
Authority: JP
Inventors: 玲子有賀; 篤彦前田; 小林　稔; 稔小林; 裕千明
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2011-12-22
Filing date: 2011-12-22
Publication date: 2015-02-04
Anticipated expiration: 2031-12-22
Also published as: JP2013130535A

Description

本発明は、対象物体の全周３次元形状を計測する３次元形状計測システムに関する。

近年、対象物体を立体的に認識可能とするために、対象物体の３次元形状を全周に渡って計測する３次元形状計測システムが提案されている。このシステムは、対象物体を回転させながら撮像する、計測装置自体を対象物体の周りを移動させながら撮像する、複数台の撮像装置で同時に複数方向から撮像する、といった手法で対象物体全周の画像を取得し、その全周画像から３次元形状モデルを作成する構成となっている（例えば特許文献１参照）。

特開２００１−２４３４９７号公報

従来の３次元形状計測システムにおいて、複数の鏡面を用いて、対象物体を同時に多方面から見た映像を取得する場合が考えられているが、複数の鏡面を用いて３次元形状計測を行う際に、計測に用いる投影装置からの光源の反射波が、対象物体をすりぬけて特定の鏡面と向かい合う鏡面において再帰反射した場合、その特定鏡面と向かい合う鏡面に映る対象物体の側面に投影され、本来特定鏡面に映る対象物体の側面を計測するための特定鏡面から反射された光と、特定鏡面と向かい合う鏡面に映る対象物体の側面を計測するための特定鏡面と向かい合う鏡面から反射された光が、特定鏡面１０ｎと向かい合う鏡面に映る対象物体の表面上で混合され、３次元形状計測を正確に行うことができない。

また、複数の鏡面を用いて３次元形状計測を行う際に、全平面鏡に同時に光やパターン光を投影した場合、隣り合う平面鏡による反射光と上方からの直接光は、互いから共通して投影できる領域に物体が存在した場合、対象物体の表面上で混合され、３次元形状計測を正確に行うことができない。

本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、複数の鏡面を用いる場合に、対象物体への多重投影を防止して対象物体の３次元形状を正しく算出することのできる３次元形状計測システムを提供することにある。

本発明に係る３次元形状計測システムは以下のような態様の構成とする。
（１）平面状の鏡面を有する鏡面板を四方に配置して接合することで底面が開放された箱形であり、天面側から見て前記鏡面板の全部または一部が天面方向に傾斜され、前記底面側から対象物体を被せて使用するスタジオ装置と、前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に指定のパターン映像を投影する投影装置と、前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部を撮影する撮影装置と、前記投影装置でパターン映像を投影した状態で前記撮影装置により撮影されたスタジオ装置内の画像から前記スタジオ装置内に配置される対象物体の上面から見た形状及び各鏡面板に映る前後左右の形状を３次元情報として取得し、この３次元情報に基づいて全周３次元画像を作成する画像処理手段と、前記画像処理手段で作成された全周３次元画像を表示する表示手段とを具備し、前記四方に配置される鏡面板は、互いに対向する鏡面それぞれの前面に透過軸が互いに直交する偏光手段を備える態様とする。

（２）（１）の構成において、前記鏡面板は、平面鏡の前面に透過型偏光板を配置してなる態様とする。
（３）（１）において、前記鏡面板は、反射型偏光板である態様とする。
（４）（１）において、前記鏡面板は、反射面の前面に反射防止フィルムを配置してなる態様とする。

（５）平面状の鏡面を有する鏡面板を四方に配置して接合することで底面が開放された箱形であり、天面側から見て前記鏡面板の全部または一部が天面方向に傾斜され、前記底面側から対象物体を被せて使用するスタジオ装置と、前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に指定のパターン映像を投影する投影装置と、前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部を撮影する撮影装置と、前記投影装置でパターン映像を投影した状態で前記撮影装置により撮影されたスタジオ装置内の画像から前記スタジオ装置内に配置される対象物体の上面から見た形状及び各鏡面板に映る前後左右の形状を３次元情報として取得し、この３次元情報に基づいて全周３次元画像を作成する画像処理手段と、前記画像処理手段で作成された全周３次元画像を表示する表示手段と、前記四方に配置される鏡面板の隣り合う鏡面の反射光の混合を波長分割または時分割によって防止する反射光混合防止手段とを具備する態様とする。

（６）（５）において、前記反射光混合防止手段は、前記投影装置に対して前記四方に配置される鏡面板の隣り合う鏡面の領域に異なる波長のパターンを投影させ、前記撮影装置の撮影結果から波長別に映像を抽出する態様とする。
（７）（５）において、前記反射光混合防止手段は、前記四方に配置される鏡面板の隣り合う鏡面板をそれぞれ異なるフレームで順次撮影する態様とする。

本発明によれば、複数の鏡面を用いる場合でも、投影装置からの光源の反射波の再帰反射を防止して、対象物体の３次元形状を正しく算出することのできる３次元形状計測システムを提供することができる。

本発明の第１の実施形態に係る３次元形状計測システムの構成を示すブロック図である。第１の実施形態のスタジオ部の具体的な構成を示す分解斜視図である。第１の実施形態において、光の進む経路の具体例を示す断面図である。第１の実施形態の計測処理装置の具体的な構成を示すブロック図である。第１の実施形態の３次元情報の取得処理（計測プロセス）を示すフローチャートである。第１の実施形態の３次元形状モデルの作成処理（復元プロセス）を示すフローチャートである。第１の実施形態の計測処理装置を用いて対象物体を計測するときの設置状態と計測状況を示す概念図である。第１の実施形態において、３次元座標算出のための投影パターン画像と撮影取得画像を示す図である。第１の実施形態において、テクスチャ情報取得のための投影パターン画像と撮影取得画像を示す図である。本発明の第２の実施形態に係る３次元形状計測システムにおいて、波長分割による復元プロセスの処理の流れを示すフローチャートである。本発明の第２の実施形態に係る３次元形状計測システムにおいて、時分割による計測プロセスの処理の流れを示すフローチャートである。

添付の図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は本発明の構成の例であり、本発明は、以下の実施の形態に制限されるものではない。
（第１の実施形態）
図１は第１の実施形態に係る３次元形状計測システムの構成を示すブロック図である。このシステムは、スタジオ装置１０と計測処理装置１１とで構成される。まず、スタジオ装置１０は、パネルの一方面を鏡面加工した平面鏡１０１〜１０４を鏡面が内側になるようにして接合することで、少なくとも底面が開放された箱状となっており、基台に載置した対象物体の上から被せることで、対象物体を撮影するためのスタジオを形成する。天面は天板を備えていてもよいが、その場合には撮影用の穴を形成しておく。側面の平面鏡１０１〜１０４は天面に対して角度φmだけ内方向に狭まるように傾斜するようになされている。

一方、計測処理装置１１は、周辺機器の制御及び３次元形状モデルの計測を行う演算制御装置１１１を備える。周辺機器として、スタジオ装置１０の天面側に配置され、スタジオ内部の対象物体に任意の画像を投影する投影装置１１２及びスタジオ内部全体を撮影する撮影装置１１３、演算制御装置１１１で計測された３次元形状モデルを表示する表示装置１１４を備える。

図２は第１の実施形態のスタジオ装置１０の具体的な構成を示す図である。図２（ａ）に示すように、平面鏡１０ｉ（本実施形態ではｉ＝４とする）の鏡面の手前に偏光板２０ｉを装着する。そして、偏光板２０ｉが装着された平面鏡１０ｉを４枚用意し、図２（ｂ）に示すように対象物体配置部の四方を囲むように配置する。このとき、互いに対向する平面鏡１０１，１０３の鏡面には偏光板２０１，２０３をその透過軸が直交するように配置する。同様に、平面鏡１０２，１０４の鏡面には、偏光板２０２，２０４をその透過軸が直交するように配置する。

図３は光の進む経路を平面鏡１０２と平面鏡１０４を例にとって具体的に示したものである。透過軸を水平方向に調節した偏光板２０４を設置した平面鏡１０４の鏡面に入射した光は、偏光板２０４によって水平方向成分のみを持つ直線偏光となり、平面鏡１０４に入射する。鏡面で反射した光も偏光が保たれ、偏光板２０４を再び通り抜ける。水平方向に偏光を持つ反射波が物体上に投影されずに物体をすり抜けて、鏡面１０４に向かい合う鏡面、すなわち平面鏡１０２に達した場合、平面鏡１０２の手前に設置されている透過軸が垂直方向の偏光板２０２によって遮断される。

逆を考えても同じで、平面鏡１０２に投影装置１１２から投影された光は垂直方向成分のみを持つ直線偏光で、平面鏡１０４の鏡面に入射すると鏡面１０４の手前に設置された透過軸が水平方向の偏光板２０４によって遮断される。平面鏡１０１の鏡面と平面鏡１０３の鏡面の組みにおいても同様である。このようにして向かい合わせの鏡の間で生じる再帰反射を防ぎ、結局、撮影装置から見て平面鏡１０ｉに映る対象物体の側面には、平面鏡１０ｉと向かい合う平面鏡に投影したパターンが投影されることを防ぐ。

ここで、用いる偏光板には透過型偏光板を用いても良いし、平面鏡と鏡を組み合わせる代わりに、反射型偏光板を用いて良い。また、鏡面または反射型偏光板の手前に反射防止フィルムを配置することにより、プロジェクタからのパターン光を高効率で利用することも可能である。

図４は上記計測処理システム１１の具体的な構成を示すブロック図である。この計測処理システム１１は、上記演算制御装置１１１のバス上に、投影装置１１２、撮影装置１１３及び表示装置１１４をそれぞれインターフェース（図示せず）を介して接続したものである。演算制御装置１１１は、本装置の制御及び情報処理を実行するＣＰＵ（演算処理装置）１１１Ａ、ＣＰＵ１１１Ａの処理プログラムを格納するためのプログラムメモリ１１１Ｂ、情報処理の作業空間及び取得データ及び演算結果を格納する記憶装置１１１Ｃを備え、図５に示す３次元情報の取得処理（計測プロセス）と、図６に示す３次元形状モデルの作成処理（復元プロセス）を実行する。これらの処理については後述する。

図７は上記計測処理システム１１を用いて対象物体Ｔを計測するときの設置状態と計測状況を示す概念図である。まず、図７（ａ）に示すように、スタジオ装置１０を底面の開口から対象物体Ｔに被せ、スタジオ内部のほぼ中央に対象物体Ｔを配置し、天面中央部に投影装置１１２及び撮影装置１１３を配置する。投影装置１１２はスタジオ内部に向けて指定の画像を投影する。このときの投影の最大広がり角はφp で表される。撮影装置１１３は、対象物体Ｔの実像と共に各平面鏡１０１〜１０４の反射による対象物体Ｔの虚像を含む５つの像を同時に撮影する。演算制御装置１１１は撮影装置１１３で得られた多面画像から３次元形状モデルを計測する。

ここで、天面の鉛直方向から角度φmだけ傾斜された一つの平面鏡１０４について投影装置１１２からの光路を見ると、図７（ｂ）に示すように、鏡面から距離Ｌp に投影装置１１２から照射された光線のうち、底面から高さｈ0 で反射した光線は、鏡面から距離ｄだけ離れた場所では高さｈとなるので、計測可能な物体の最大サイズは、距離ｄにおいては高さｈとなる。この高さｈは次式によって求められる。

上記構成において、図８（ａ），（ｂ）に３次元座標算出のためのパターン画像と取得画像を示し、図９（ａ），（ｂ）にテクスチャ情報取得のためのパターン画像と取得画像を示し、これらの図と図５及び図６を参照して、以下に上記実施形態の動作を詳細に説明する。

まず、ユーザが対象物体に筐体部１０を被せ、本装置を起動すると、演算制御装置１１１ではプログラムメモリ１１２に格納された図３に示す計測プロセス（３次元情報の取得処理）のプログラムをロードしてＣＰＵ１１１Ａにそのプログラムを実行させる。

この計測プロセスでは、まず、投影装置１１２に図８（ａ）に示すストライプ状のパターン画像Ｐ１をスタジオ内部に投影させ（ステップＳ１１）、そのときのスタジオ内部全体を撮影装置１１３により撮影させる（ステップＳ１２）。これにより、図８（ｂ）に示すように、対象物体Ｔの平面鏡１０１〜１０４による４つの虚像領域Ａ１１〜Ａ１４及び実像領域Ａ１５を含む画像、すなわちスタジオ内部に配置され、ストライプ状のパターン画像Ｐ１が投影された対象物体Ｔを前後左右上方から同時に見た画像Ａ１が得られる。この画像Ａ１は３次元情報として記憶装置１１１Ｃに蓄積される。

尚、予め、虚像領域Ａ１１〜Ａ１４に関しては、鏡面越しに投影されるパターン画像Ｐ１と鏡面越しに撮影される周面画像を用いて、また、実像領域Ａ１５に関しては、直接投影装置１１２から投影されるパターン画像Ｐ１と直接撮影装置１１３で撮影される上面画像を用いて、投影装置１１２と撮影装置１１３の間のキャリブレーションをしておくものとする。

次に、投影装置１１２に投影画像の切換を指示し（ステップＳ１３）、投影装置１１２に図９（ａ）に示す白色画像Ｐ２をスタジオ内部に投影させ（ステップＳ１４）、そのときのスタジオ内部全体を撮影装置１１３に撮影させる（ステップＳ１５）。これにより、図９（ｂ）に示すように、対象物体Ｔの平面鏡１０１〜１０４による４つの虚像領域Ａ２１〜Ａ２４及び実像領域Ａ２５を含む画像、すなわちスタジオ内部に配置され、対象物体Ｔを前後左右上方から同時に見た画像Ａ２が得られる。この場合、平面鏡１０１〜１０４によって白色画像を内側に反射させ、対象物体を前後左右上方から照らすようにしているため、これを撮影することにより、影のないテクスチャ画像を得ることができる。この画像Ａ２はテクスチャ情報として記憶装置１１１Ｃに蓄積される（ステップＳ１６）。

上記計測プロセスが完了すると、演算制御装置１１１ではプログラムメモリ１１１Ｂに格納された図６に示す復元プロセス（３次元形状モデルの作成・表示）のプログラムをロードしてＣＰＵ１１１Ａにそのプログラムを実行させる。
この復元プロセスでは、まず、記憶装置１１１Ｃから領域Ａ１ｎ，Ａ２ｎの３次元情報及びテクスチャ情報を読み出す（ステップＳ２１）。この時点で、カウントｎをいったん０にリセットし（ステップＳ２２）、さらにカウントｎにｎ＋１をセットして（ステップＳ２３）、領域Ａ１ｎ，Ａ２ｎそれぞれで得られた情報より、方向ｎ＝１すなわち領域Ａ１１，Ａ２１に映る対象物体Ｔの３次元形状を算出する（ステップＳ２４）。このステップＳ２４の処理をｎがｎ＞５となるまで繰り返し（ステップＳ２５）、これによって領域Ａ１２，Ａ１３，Ａ１４，Ａ２２，Ａ２３，Ａ２４それぞれに映る対象物体Ｔの３次元形状（虚像）と領域Ａ１５，Ａ２５の上方から見た対象物体Ｔの３次元形状（実像）とが得られる。上記の各領域における３次元形状が取得されると、その５方向の形状を統合して全周３次元モデルを作成し（ステップＳ２６）、表示装置１１４に表示する（ステップＳ２７）。

上記ステップＳ２４，Ｓ２６による全周３次元モデルの作成方法としては、３次元形状情報とテクスチャ情報の対応する各領域Ａ１ｎ，Ａ２ｎに対して、それぞれ３次元座標を求める。このとき、３次元形状の復元アルゴリズムは、スリット光投影法や空間コード化法などのアクティブステレオ法を用いるものとする。各方向から見た対象物体の３次元座標が求まったら、これを統合する。予め各領域Ａ１ｎ，Ａ２ｎに関してキャリブレーションが行われているため、３次元座標を統合する際に各領域間で位置合わせを行う必要はない。統合された全周３次元座標において、３次元ドロネー分割などを用いてテクスチャマッピングを行うことで、全周３次元モデルを得る。

また、ステップＳ２７における３次元モデルの表示には、モニタやタッチパネル等の２次元ディスプレイを用いればよいが、ＡＲ（Augmented Reality）ディスプレイやＨＭＤ（Head Mounted Display）で閲覧してもよいし、３次元ディスプレイで表示してもよい。

さらに、上記実施形態では、投影装置１１２をプロジェクタとし、パターンを投影する３次元計測手段の例として述べたが、投影装置１１２を点光源や面光源として、陰影の情報（shape from shading）やシルエットの情報（shape from silhouette）から３次元計測を行うようにしても良い。

（第２の実施形態）
次に、第２の実施形態に係る３次元形状計測システムについて説明する。尚、このシステムの構成は、第１の実施形態に係る３次元形状計測システムの構成と同様であり、また、計測する際の装置の設置状況と計測状況を示す概念図も第１の実施形態の場合と同様であるので、ここではその説明を省略する。

第２の実施形態に係るシステムの特徴とする点は、隣り合う鏡面の反射光の混合を、復元プロセスまたは計測プロセスにおいて波長分割または時分割によって防ぐことにある。
まず、復元プロセスにおいて、波長分割によって反射光の混合を防止する場合について説明する。図１０は波長分割による反射光混合防止を実現する復元プロセスにおける処理の流れを示すフローチャートであり、図６に示すフローチャートと異なる点は領域ｎ毎に対応する波長を抽出する処理（ステップＳ２８）を追加した点にある。この場合、計測プロセスにおいて、図５のステップＳ１１で投影するパターンの波長を、図８における虚像領域Ａ１１及びＡ１３に対応する領域ではλ_Ａ、虚像領域Ａ１２及びＡ１４に対応する領域ではλ_Ｂ、実像領域に対応する領域Ａ１５ではλ_Ｃとする。そして、λ_Ａ、λ_Ｂ、λ_Ｃを同時に投影したものを撮影し（ステップＳ１５）、３次元形状情報として格納する（ステップＳ１６）。この前提の元で、復元プロセスは第１の実施形態と基本的に同じ処理を行うが、図１０に示すように、３次元形状を算出するステップＳ２４に入る前に、３次元座標算出のための取得画像から、領域に対応する波長λ_Ａ、λ_Ｂ、λ_ＣをＲＧＢの明度値や彩度または色相によってフィルタリングして抽出する（ステップＳ２８）。これにより、隣り合う平面鏡による反射光及び上方からの直接光を波長で切り分けることができる。

次に、計測プロセスにおいて、時分割によって反射光の混合を防止する場合について説明する。図１１は時分割による反射光混合防止を実現する計測プロセスにおける処理の流れを示すフローチャートであり、図５に示すフローチャートと異なる点は、パターン画像投影処理Ｓ１１と撮影処理Ｓ１２を領域別に複数回に分けて行うようにした点にある。この場合、まず、虚像領域Ａ１１とＡ１３にパターン画像を投影して撮影を行う（Ｓ１１１、Ｓ１２１）。次に、虚像領域Ａ１２とＡ１４にパターン画像を投影して撮影を行う（Ｓ１１２，Ｓ１２２）。さらに、実像領域Ａ１５にパターン画像を投影して撮影を行う（Ｓ１１３、Ｓ１２３）。このあとの処理は第１の実施形態と同様である。隣り合う平面鏡による反射光のパターン及び上方からの直接光によるパターンを異なるフレームで撮影することにより、これらのパターンが混合することを防ぐことができる。

以上のように、上記実施形態１，２に係る３次元形状計測システムによれば、投影装置からの光源の反射波の再帰反射または隣り合う反射面での混合を防止することができるので、複数の鏡面を用いても、対象物体への多重投影を防止することができ、これによって対象物体の３次元形状を正しく算出することができる。

尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成を削除してもよい。さらに、異なる実施形態例に亘る構成要素を適宜組み合わせてもよい。

１０…スタジオ装置、１０１〜１０４…平面鏡、２０１〜２０４…偏光板、１１…計測処理装置、１１１…演算制御装置、１１４…表示装置、１１１Ａ…ＣＰＵ、１１１Ｂ…プログラムメモリ、１１１Ｃ…記憶装置。

Claims

平面状の鏡面を有する鏡面板を四方に配置して接合することで底面が開放された箱形であり、天面側から見て前記鏡面板の全部または一部が天面方向に傾斜され、前記底面側から対象物体を被せて使用するスタジオ装置と、
前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に指定のパターン映像を投影する投影装置と、
前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部を撮影する撮影装置と、
前記投影装置でパターン映像を投影した状態で前記撮影装置により撮影されたスタジオ装置内の画像から前記スタジオ装置内に配置される対象物体の上面から見た形状及び各鏡面板に映る前後左右の形状を３次元情報として取得し、この３次元情報に基づいて全周３次元画像を作成する画像処理手段と、
前記画像処理手段で作成された全周３次元画像を表示する表示手段と
を具備し、
前記四方に配置される鏡面板は、互いに対向する鏡面それぞれの前面に透過軸が互いに直交する偏光手段を備えることを特徴とする３次元形状計測システム。
前記鏡面板は、平面鏡の前面に透過型偏光板を配置してなることを特徴とする請求項１記載の３次元形状計測システム。
前記鏡面板は、反射型偏光板であることを特徴とする請求項１記載の３次元形状計測システム。
前記鏡面板は、反射面の前面に反射防止フィルムを配置してなることを特徴とする請求項１記載の３次元形状計測システム。
平面状の鏡面を有する鏡面板を四方に配置して接合することで底面が開放された箱形であり、天面側から見て前記鏡面板の全部または一部が天面方向に傾斜され、前記底面側から対象物体を被せて使用するスタジオ装置と、
前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に指定のパターン映像を投影する投影装置と、
前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部を撮影する撮影装置と、
前記投影装置でパターン映像を投影した状態で前記撮影装置により撮影されたスタジオ装置内の画像から前記スタジオ装置内に配置される対象物体の上面から見た形状及び各鏡面板に映る前後左右の形状を３次元情報として取得し、この３次元情報に基づいて全周３次元画像を作成する画像処理手段と、
前記画像処理手段で作成された全周３次元画像を表示する表示手段と、
前記四方に配置される鏡面板の隣り合う鏡面の反射光の混合を波長分割または時分割によって防止する反射光混合防止手段と
を具備することを特徴とする３次元形状計測システム。
前記反射光混合防止手段は、前記投影装置に対して前記四方に配置される鏡面板の隣り合う鏡面の領域に異なる波長のパターンを投影させ、前記撮影装置の撮影結果から波長別に映像を抽出することを特徴とする請求項５記載の３次元形状計測システム。
前記反射光混合防止手段は、前記四方に配置される鏡面板の隣り合う鏡面板をそれぞれ異なるフレームで順次撮影することを特徴とする請求項５記載の３次元形状計測システム。