JP6027952B2 - 拡張現実画像生成システム、３次元形状データ生成装置、拡張現実提示装置、拡張現実画像生成方法、及びプログラム - Google Patents

Description

この発明は、例えば、実空間を撮影した画像に仮想的な画像を表示する拡張現実画像生成システム、３次元形状データ生成装置、拡張現実提示装置、拡張現実画像生成方法、及びプログラムに関する。

対象物体を回転させたり、計測装置自体を移動させて、複数の方向から対象物体を撮影し、撮影画像と対象物体の概略形状から対象物体の３次元形状モデルを取得する手法が提案されている（例えば、特許文献１を参照）。また、複数台のカメラを用いて３次元形状モデルを得る技術も提案されている。

特開２００１−２４３４９７号公報

上記のような手法によって取得された３次元形状モデルは、画面上で閲覧されるが、その際、アプリケーションのビュアーに表示されたり、ＡＲ（Augmented Reality）技術を用いて指定されたマーカに表示される。しかし、３次元形状モデルとはそれぞれ別の撮影系で収集されていたため、システムとして見たときに両方の画像を対応付ける作業が面倒であった。また、実空間に存在する任意の物体をその場で撮影し、マーカとして利用することはできなかった。

この発明は上記事情に着目してなされたもので、その目的とするところは、マーカ画像の撮影のために別の撮影系を用意する必要がなく、任意の物体をマーカとして利用可能な拡張現実画像生成システム、３次元形状データ生成装置、拡張現実提示装置、拡張現実画像生成方法、及びプログラムを提供することにある。

上記目的を達成するためにこの発明の第１の態様は、複数の平面鏡を鏡面が内側になるように接合することで底面が開放された箱形であり、上記複数の平面鏡が天面に対して一定の角度だけ内方向に狭まるように傾斜され、物体に被せて使用するスタジオ装置と、上記スタジオ装置の天面側に配置され、上記スタジオ装置の内部に３次元情報取得のための第１のパターン画像とテクスチャ情報取得のための第２のパターン画像とを切り替えて投影する投影装置と、上記スタジオ装置の天面側に配置され、上記スタジオ装置の内部に配置される上記物体の上面から見た実像及び各平面鏡に映る虚像を含む画像を撮影する撮影装置と、上記スタジオ装置の内部に第１の物体を配置し、上記投影装置で上記第１のパターン画像を投影した状態で上記撮影装置により撮影される画像から上記第１の物体の３次元情報を取得し、上記投影装置で上記第２のパターン画像を投影した状態で上記撮影装置により撮影される画像から上記第１の物体のテクスチャ情報を取得し、上記３次元情報と上記テクスチャ情報とに基づいて上記第１の物体の３次元形状モデルを生成する３次元形状モデル生成手段と、上記スタジオ装置の内部に第２の物体を配置し、上記投影装置で上記第２のパターン画像を投影した状態で上記撮影装置により撮影される画像から上記第２の物体の特徴量を抽出する第１の特徴量抽出手段と、上記スタジオ装置の座標系を基準にして上記第１の物体と上記第２の物体との間の空間的な位置関係情報を算出する位置関係算出手段と、上記第１の物体の３次元形状モデル、上記第２の物体の特徴量、および上記空間的な位置関係情報を対応付けてデータ記憶部に格納する手段と、外部の撮影装置で第３の物体を含む現実空間を撮影した画像から前記第３の物体の特徴量を抽出する第２の特徴量抽出手段と、上記第３の物体の特徴量を、上記データ記憶部に記憶される上記第２の物体の特徴量と比較することにより上記第３の物体と類似度の高い上記第２の物体を認識する画像認識手段と、上記画像認識手段で認識された上記第２の物体の特徴量に対応付けられている上記第１の物体の３次元形状モデルおよび上記空間的な位置関係情報を上記データ記憶部から取得し、当該空間的な位置関係情報に基づいて上記第１の物体の３次元形状モデルを上記第３の物体の撮影位置に応じて表示した拡張現実画像を生成する画像生成手段とを備える拡張現実画像生成システムと、これに対応する３次元形状データ生成装置、拡張現実提示装置、拡張現実画像生成方法、及びプログラムを提供する。

上記第１の態様によれば、拡張現実として表示する第１の物体とマーカとして利用する第２の物体とをスタジオ装置を使用して同一の撮影系で撮影し、第１の物体と第２の物体の対応付けを行うようにする。これにより、マーカ画像の撮影のために別の撮影系を用意する必要がなく、任意の物体をマーカとして利用することが可能となる。

また、この発明の第２の態様は、上記スタジオ装置の内部に上記第１の物体と上記第２の物体とを配置する場合に、上記投影装置で上記第２のパターン画像を投影した状態で上記撮影装置により撮影される上記第１の物体と上記第２の物体とを同時に撮影した画像から上記特徴量抽出手段で上記第２の物体の特徴量を抽出する領域を判別する判別手段をさらに備えるものである。
上記第２の態様によれば、第１の物体と第２の物体とを同時に撮影することで、マーカ位置に対する拡張現実画像の生成位置を撮影時に確定できるようになる。

また、この発明の第３の態様は、上記判別手段は、上記３次元形状モデル生成手段で取得される前記３次元情報の高さ情報に基づいて上記第２の物体の特徴量を抽出する領域を判別するものである。
上記第３の態様によれば、第１の物体と第２の物体とを同時に撮影した場合でも、第１の物体と第２の物体とを適切に判別することが可能になる。

すなわちこの発明によれば、マーカ画像の撮影のために別の撮影系を用意する必要がなく、任意の物体をマーカとして利用可能な拡張現実画像生成システム、３次元形状データ生成装置、拡張現実提示装置、方法、及びプログラムを提供することができる。

第１の実施形態に係る拡張現実画像生成システムの構成図。 図１の拡張現実画像生成システムの具体的な構成を示すブロック図。 ３次元形状計測装置を用いて対象物体を計測する場合の撮影状況を示す概念図。 ３次元形状計測装置を用いてマーカまたは自然特徴量を検出する場合の撮影状況を示す概念図。 拡張現実提示装置を用いて拡張現実提示を行うときの状況を示す概念図。 ３次元情報取得のためのパターン画像と取得画像を示す図。 テクスチャ情報取得のためのパターン画像と取得画像を示す図。 ３次元形状計測装置の計測プロセスを示すフローチャート。 ３次元形状計測装置の検出プロセスを示すフローチャート。 ３次元形状計測装置の復元プロセスを示すフローチャート。 拡張現実提示装置における表示プロセスを示すフローチャート。 第２の実施形態に係る拡張現実画像生成システムの具体的な構成を示すブロック図。 第２の実施形態に係る３次元形状計測装置を用いて対象物体の計測とマーカまたは自然特徴量の検出とを同時に行う場合の撮影状況を示す概念図。 第２の実施形態の動作を示すフローチャート。 第２の実施形態において拡張現実提示装置を用いて拡張現実提示を行うときの状況を示す概念図。

以下、図面を参照してこの発明に係る実施形態を説明する。
（第１の実施形態）
図１は、第１の実施形態に係る拡張現実画像生成システムの構成図である。この拡張現実画像生成システムは、スタジオ装置１０と、３次元形状計測装置１１と、拡張現実提示装置１２とを備える。

先ず、スタジオ装置１０は、パネルの一方面を鏡面加工した平面鏡１０１〜１０４を鏡面が内側になるように四方に配置して接合することで、少なくとも底面が開放された箱形に形成される。このスタジオ装置１０を基台に載置した対象物体の上から被せることで、対象物体を撮影するためのスタジオとして使用する。スタジオ装置１０の天面は天板を備えていてもよいが、その場合には撮影用の穴を形成しておく。側面の平面鏡１０１〜１０４は天面に対して一定の角度だけ内方向に狭まるように傾斜している。なお、平面鏡１０１〜１０４は４面が必須ではなく、対象物体を立体的に捉えることが可能であれば、２面または３面の構成であっても良い。

３次元形状計測装置１１は、周辺機器の制御及び対象物体の３次元形状モデルの計測及び特徴量（マーカまたは自然特徴量）の検出を行う演算制御装置１１１を備える。周辺機器として、スタジオ装置１０の天面側に配置され、スタジオ内部の対象物体に任意のパターン画像または光を投影する投影装置１１２、スタジオ内部全体を撮影する撮影装置１１３、及び拡張現実提示装置１２との間のデータ送受信を行う通信部１１４を備える。

拡張現実提示装置１２は、周辺機器の制御及び特徴量の検出を行う演算制御装置１２１を備える。周辺機器として、撮影装置１２２と、撮影装置１２２で撮影された画像に３次元形状計測装置１１で計測された３次元形状モデルを表示する表示装置１２３と、３次元形状計測装置１１との間のデータ送受信を行う通信部１２４とを備える。

図２は、上記３次元形状計測装置１１の内部にある演算制御装置１１１（３次元形状データ生成装置）と、拡張現実提示装置１２の内部にある演算制御装置１２１の具体的な構成を示すブロック図である。
演算制御装置１１１は、３次元形状モデルの生成および特徴量データの抽出を行うものであり、パターン画像１４１、白色画像１４２、測定画像記憶部１４３、撮影画像記憶部１４４、３次元形状モデル生成部１４５、特徴量抽出部１４６、位置関係算出部１４７、およびデータ記憶部１４８を含む。

拡張現実提示装置１２の内部にある演算制御装置１２１は、データ記憶部１５１、画像入力部１５２、特徴量抽出部１５３、画像認識部１５４、および画像生成出力部１５５を含む。演算制御装置１２１は、演算制御装置１１１で生成された３次元形状モデルおよび抽出された特徴量データを取得して、撮影装置１２２で撮影した現実空間のマーカ用画像をもとに、３次元形状モデルを表示装置１２３に表示する。これらの処理の詳細については後述する。

図３は、上記３次元形状計測装置１１を用いて対象物体Ｔを計測する場合の撮影状況を示す概念図である。まず、図３に示すように、スタジオ装置１０を底面の開口から対象物体Ｔに被せ、スタジオ内部のほぼ中央に対象物体Ｔを配置し、天面中央部に投影装置１１２及び撮影装置１１３を配置する。投影装置１１２は、スタジオ内部に向けて任意のパターン画像または光を投影する。撮影装置１１３は、対象物体Ｔの実像と共に、各平面鏡１０１〜１０４の反射による対象物体Ｔの虚像を含む５つの像を同時に撮影する。演算制御装置１１１は、撮影装置１１３で得られた多面画像から３次元形状モデルを計測する。

図４は、上記３次元形状計測装置１１を用いて対象物体Ｍ（マーカまたは自然特徴量）を検出する場合の撮影状況を示す概念図である。ここで、自然特徴量と呼称するものは、現実の環境に自然に存在する木目や布地などの物体の輪郭情報や、物体表面のテクスチャ情報に相当する特徴量を意味する。ここで、３次元形状モデルを提示させる実空間の位置の指定先や物体としては、マーカ（特殊な２次元パターン）でも良いし、自然特徴量を多く含む台や床でも良い。

まず、図４に示すように、スタジオ装置１０を底面の開口から対象物体Ｍ（マーカまたは自然特徴量を含む面）に被せ、スタジオ内部のほぼ中央に対象物体Ｍを配置し、天面中央部に撮影装置１１３を配置する。撮影装置１１３は、対象物体Ｍの実像を撮影する。演算制御装置１１１は撮影装置１１３で得られた画像から、対象物体Ｍの特徴量を検出する。演算制御装置１１１で計測された３次元形状モデルの情報と検出された特徴量情報とを通信部１１４にて拡張現実提示装置１２の通信部１２４へ送信する。

図５は、拡張現実提示装置１２を用いて拡張現実提示を行うときの状況を示す概念図である。上記拡張現実提示装置１２の通信部１２４にて特徴量情報が受信されると、演算制御装置１２１において、撮影装置１２２で撮影される画像の中に当該特徴量が存在するか探索される。撮影装置１２２で撮影された画像の中に当該特徴量が検出されると、３次元形状モデルをもとに拡張現実画像が生成され、拡張現実提示装置１２における表示装置１２３に表示される。

上記構成において、図６（ａ），（ｂ）に３次元情報取得のためのパターン画像Ｐ１（パターン画像１４１）と取得画像Ａ１の一例を示す。なお、パターン画像Ｐ１は図６（ａ）に限定されるものではなく、格子状の画像、市松模様の画像、あるいは白黒のモザイク画像などの、スタジオ内部に配置した対象物体Ｔの位置情報（３次元座標）の測定に利用できるものであれば、任意のパターン画像または光源を利用可能とする。

図７（ａ），（ｂ）にテクスチャ情報取得のためのパターン画像Ｐ２（白色画像１４２）と取得画像Ａ２の一例を示す。これらの図と図８〜図１１を参照して、以下に第１実施形態の動作を詳細に説明する。
［計測プロセス］
最初に、演算制御装置１１１（３次元形状データ生成装置）の動作を示す。

まず、ユーザが対象物体にスタジオ装置１０を被せ、本装置を起動すると、演算制御装置１１１では、計測プロセス（３次元情報の取得処理）のプログラムをロードして実行する。そのフローチャートを図８に示す。
この計測プロセスでは、まず、パターン画像１４１と投影装置１１２を接続し、また、撮影装置１１３と測定画像記憶部１４３を接続する。次に、パターン画像１４１から得た図６（ａ）に示すストライプ状のパターン画像Ｐ１を投影装置１１２を用いてスタジオ内部に投影させ（ステップＳ１１）、そのときのスタジオ内部全体を撮影装置１１３により撮影させる（ステップＳ１２）。これにより、図６（ｂ）に示すように、対象物体Ｔの平面鏡１０１〜１０４による４つの虚像領域Ａ１１〜Ａ１４及び実像領域Ａ１５を含む画像、すなわちスタジオ内部に配置され、ストライプ状のパターン画像Ｐ１が投影された対象物体Ｔを前後左右上方から同時に見た画像Ａ１が得られる。この画像Ａ１は３次元情報として測定画像記憶部１４３に蓄積される。

次に、白色画像１４２と投影装置１１２を接続して投影画像を切り替え（ステップＳ１３）、撮影装置１１３と測定画像記憶部１４４ならびに特徴量抽出部１４６を接続する。投影装置１１２には図７（ａ）に示すパターン画像Ｐ２（白色画像１４２）をスタジオ内部に投影させ（ステップＳ１４）、そのときのスタジオ内部全体を撮影装置１１３に撮影させる（ステップＳ１５）。これにより、図７（ｂ）に示すように、対象物体Ｔの平面鏡１０１〜１０４による４つの虚像領域Ａ２１〜Ａ２４及び実像領域Ａ２５を含む画像、すなわちスタジオ内部に配置され、対象物体Ｔを前後左右上方から同時に見た画像Ａ２が得られる。この場合、平面鏡１０１〜１０４によって白色画像を内側に反射させ、対象物体を前後左右上方から照らすようにしているため、これを撮影することにより、影のないテクスチャ画像を得ることができる。この画像Ａ２はテクスチャ情報として撮影画像記憶部１４４に蓄積される（ステップＳ１６）。

［復元プロセス］
上記計測プロセスが完了すると、演算制御装置１１１では復元プロセス（３次元形状モデルの作成・表示）を実行する。そのフローチャートを図９に示す。
この復元プロセスでは、まず、３次元形状モデル生成部１４５において、測定画像記憶部１４３および撮影画像記憶部１４４から領域Ａ１ｎ，Ａ２ｎの３次元情報及びテクスチャ情報をそれぞれ読み出す（ステップＳ２１）。この時点で、カウントｎをいったん０にリセットし（ステップＳ２２）、さらにカウントｎにｎ＋１をセットして（ステップＳ２３）、領域Ａ１ｎ，Ａ２ｎそれぞれで得られた情報より、方向ｎ＝１すなわち領域Ａ１１，Ａ２１に映る対象物体Ｔの３次元形状を算出する（ステップＳ２４）。

このステップＳ２３，Ｓ２４の処理をｎがｎ＞５となるまで繰り返し（ステップＳ２５）、これによって領域Ａ１２，Ａ１３，Ａ１４，Ａ２２，Ａ２３，Ａ２４それぞれに映る対象物体Ｔの３次元形状（虚像）と領域Ａ１５，Ａ２５の上方から見た対象物体Ｔの３次元形状（実像）とが得られる。上記の各領域における３次元形状が取得されると、この５方向の形状を統合して３次元形状モデルを作成し（ステップＳ２６）、３次元形状モデル生成部１４５に格納する（ステップＳ２７）。なお、３次元形状モデル生成部１４５では一定閾値を超える高さがない対象物体Ｔについては、３次元形状モデルの生成および格納を行わないこととしても良い。

上記ステップＳ２４，Ｓ２６による３次元形状モデルの作成方法としては、３次元形状情報とテクスチャ情報の対応する各領域Ａ１ｎ，Ａ２ｎに対して、それぞれ３次元座標を求める。このとき、３次元形状の復元アルゴリズムは、スリット光投影法や空間コード化法などのアクティブステレオ法を用いるものとする。各方向から見た対象物体の３次元座標が求められたら、これを統合する。
上記復元プロセスが終了すると、ユーザは対象物体Ｔに被せていたスタジオ装置１０を取り外す。

［検出プロセス］
次に、ユーザが復元結果を提示させたい実空間の位置または実空間に存在する物体（対象物体Ｍ）にスタジオ装置１０を被せ、演算制御装置１１１では検出プロセス（マーカまたは自然特徴量検出）のプログラムを実行する。そのフローチャートを図１０に示す。

この検出プロセスでは、投影装置１１２により図７（ａ）に示すパターン画像Ｐ２（白色画像）をスタジオ内部に投影させ（ステップＳ３１）、撮影装置１１３により対象物体Ｍを含めた装置内全体を撮影する（ステップＳ３２）。この場合、平面鏡１０１〜１０４によって白色画像を内側に反射させ、対象物体を前後左右上方から照らすようにしているため、これを撮影することにより、影のないテクスチャ画像を得ることができる。この画像が特徴量抽出対象情報として特徴量抽出部１４６へ送られる。（ステップＳ３３）。

特徴量抽出部１４６では、対象物体Ｍの特徴量抽出対象情報の上記実像領域Ａ２５に対して特徴量抽出を行う（ステップＳ３４）。このとき、自然特徴量抽出には、パターンマッチングやＳＩＦＴ、ＳＵＲＦなどの特徴量検出アルゴリズムを用いるものとする。得られた特徴量は、位置関係算出部１４７において、スタジオ装置１０の座標系を基準にして、先に３次元形状モデル生成部１４５で得た対象物体Ｔの３次元形状モデルとの間で位置関係を算出することができる（ステップＳ３５）。つまり、同一のスタジオ装置１０を用いて対象物体Ｍと対象物体Ｔとを撮影することで、同一の３次元座標系を基準することができ、例えば、対象物体Ｍに対する対象物体Ｔの３次元の相対座標を求めることができる。この結果、対象物体Ｍの特徴量に対し、対象物体Ｔの３次元形状モデルと、対象物体Ｍと対象物体Ｔとの位置関係情報の３つの情報を対応付けた形で、データ記憶部１４８へ保存する（ステップＳ３６）。

［表示プロセス］
上記検出プロセスが終了し、対象物体Ｍの特徴量と、対象物体Ｔの３次元形状モデルと、対象物体Ｍと対象物体Ｔとの位置関係情報の３つの情報が対応付けて保存されると、次は拡張現実提示装置１２の動作となる。
実空間の位置または実空間に存在する対象物体Ｍをマーカとして拡張現実画像を取り出す方法は以下の通りである。そのフローチャートを図１１に示す。

データ記憶部１４８に保存されたデータは、通信部１１４および通信部１２４を介して送信され、拡張現実提示装置１２のデータ記憶部１５１で受信される（ステップＳ４１）。ユーザが撮影装置１２２を用いて、対象物体Ｍに相当する画像を撮影し、その画像（静止画像または動画像）を、画像入力部１５２へ送出する（ステップＳ４２）。その画像に対して、特徴量抽出部１５３において特徴量抽出が行われる（ステップＳ４３）。自然特徴量抽出の方法は、特徴量抽出部１４６と同一である。

特徴量抽出部１５３で得られた特徴量は、画像認識部１５４において、データ記憶部１５１に記憶されている複数の対象物体Ｍの特徴量と比較され、最も類似度の高い対象物体Ｍが特定される（ステップＳ４４）。特定された対象物体Ｍには、対象物体Ｔの拡張現実画像と、対象物体ＭとのＴとの位置関係が対応付けられていることから、これらの情報を取得し（ステップＳ４５）、対象物体Ｍの撮影位置に応じて、拡張現実画像の生成が可能となる（ステップＳ４６）。その結果、画像生成出力部１５５において対象物体Ｔの拡張現実画像（３次元形状モデル）が生成され、表示装置１２３にて拡張現実提示される（ステップＳ４７）。

以上述べたように第１の実施形態では、拡張現実として表示する対象物体Ｔとマーカとして利用する対象物体Ｍとをスタジオ装置１０を使用して同一の座標系で撮影し、対象物体Ｔと対象物体Ｍの対応付けを行うようにする。これにより、マーカ画像の撮影のために別の撮影系を用意する必要がなく、任意の物体をマーカとして利用することが可能となる。なお、データ記憶部１５１は演算制御装置１１１のデータ記憶部１４８と同一であっても構わない。また、拡張現実提示装置１２は、撮影装置１２２と表示装置１２３とが一体化していない構成（ＰＣとウェブカメラ等）であっても良い。

（第２の実施形態）
第２の実施形態は、物体の形状を計測するプロセスにおいて、ＡＲ表示に必要なマーカや自然特徴量を含む台の上に拡張現実画像として３次元形状モデルを生成したい対象物体を設置して計測することにより、３次元形状計測と特徴量検出を同時に行う拡張現実画像生成システムである。

第２の実施形態におけるシステム構成図は、上記第１の実施形態と同様であるため省略し、図１２に拡張現実画像生成システムの具体的な構成を示すブロック図を示す。第２の実施形態では、第１の実施形態の演算制御装置１１１の構成にマーカ判別部１４９を追加する。マーカ判別部１４９は、撮影装置１１３で撮影した画像を撮影画像記憶部１４４から取得し、３次元形状モデル生成部１４５で取得される３次元情報の高さ情報に基づいてマーカや自然特徴量を抽出する領域を判別する。

図１３は、第２の実施形態に係る３次元形状計測装置を用いて対象物体の計測とマーカまたは自然特徴量の検出とを同時に行う場合の撮影状況を示す概念図である。図１４は、第２の実施形態の動作を示すフローチャートである。
まず、図１３に示すように、ユーザが拡張現実画像としたい対象物体Ｔと、マーカの代用として機能させたい対象物体または自然特徴量を含む平面Ｍが同時に存在する状態で、スタジオ装置１０を被せ、本装置を起動すると、演算制御装置１１１では図８に示す計測プロセス（３次元情報の取得処理）のプログラムを実行する（ステップＳ５１）。上記計測プロセスが完了すると、演算制御装置１１１では図９に示す復元プロセス（３次元形状モデルの作成・表示）のプログラムを実行する（ステップＳ５２）。ここで、計測プロセス及び復元プロセスは、第１の実施形態と同様であるので、詳細は省略する。

［検出プロセス］
上記復元プロセスが終了すると、続いて検出プロセスに移る。この第２の実施形態での検出プロセスでは、まずマーカ判別部１４６において、撮影画像記憶部１４４から撮影した画像を取得し、特徴量抽出対象情報の実像領域Ａ２５のうち、上記計測プロセスで平面であると計測された領域（例えば、復元プロセスの結果、高さが所定の閾値以下であることから、３次元形状モデルの復元対象である対象物体Ｔではないと判定された領域）を判定し、この領域情報を特徴量抽出部１４６へ送出する（ステップＳ５３）。

特徴量抽出部１４６では、マーカ判別部１４６で判別された領域に限定し、撮影装置１１３から得られた特徴量抽出対象情報を取得し（ステップＳ５４）、特徴量抽出を行う（ステップＳ５５）。このとき、自然特徴量抽出には、パターンマッチングやＳＩＦＴ、ＳＵＲＦなどの特徴量検出アルゴリズムを用いるものとする。得られた対象物体Ｍの特徴量は、位置関係算出部１４７において、スタジオ装置１０の座標系を基準にして、先に３次元形状モデル生成部１４５で得た対象物体Ｔの３次元形状モデルとの間で位置関係を算出する（ステップＳ５６）。この対象物体Ｍの特徴量に対し、３次元形状モデル生成部１４５で予め得た対象物体Ｔの３次元形状モデルと、位置関係算出部１４７で得た対象物体Ｍと対象物体Ｔとの位置関係情報の３つの情報を対応付けた形で、データ記憶部１４８に保存する（ステップＳ５７）。そして、通信部１１４にて拡張現実提示装置１２の通信部１２４に３次元形状モデル情報と特徴量情報を送信する。

［表示プロセス］
上記検出プロセスが終了すると、ユーザは対象物体Ｍと対象物体Ｔに被せていたスタジオ装置１０を取り外し、対象物体Ｔを取り除く。
上記検出プロセスを完了後、拡張現実画像を取り出す方法は、上記第１の実施形態における図１１のフローチャートと同一である。すなわち、特徴量情報を上記拡張現実提示装置１２の通信部１２４が受信し、（ステップＳ４１）、ユーザが撮影装置１２２を用いて対象物体Ｍに相当する画像を撮影し、その撮影画像を画像入力部１５２に送出する（ステップＳ４２）と、演算制御装置１２１において当該撮影画像から特徴量が抽出される（ステップＳ４３）。続いて、当該特徴量を探索するプログラムが実行され、その結果、復元された３次元形状モデルが表示装置１２３にて拡張現実提示される（ステップＳ４４〜Ｓ４７）。すなわち、図１５に示すように実の対象物体Ｔが取り除かれた空間に、復元された３次元形状モデルが表示される。

以上述べたように、第２の実施形態では、対象物体Ｔと対象物体Ｍとを同時に撮影することで、マーカ位置に対する拡張現実画像の生成位置を撮影時に確定できるようになる。また、３次元形状モデルの計測プロセスで取得される３次元情報の高さ情報に基づいて対象物体Ｔと対象物体Ｍとを識別し、特徴量を抽出する領域を判別することで、対象物体Ｔと対象物体Ｍとを同時に撮影した場合でも、対象物体Ｔと対象物体Ｍとを適切に判別することが可能になる。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１０…スタジオ装置、１０１〜１０４…平面鏡、１１…３次元形状計測装置、１１１…演算制御装置（３次元形状データ生成装置）、１１２…投影装置、１１３…撮影装置、１１４…通信部、１２…拡張現実提示装置、１２１…演算制御装置（拡張現実提示装置）、１２２…撮影装置、１２３…表示装置、１２４…通信部、１４１…パターン画像、１４２…白色画像、１４３…測定画像記憶部、１４４…撮影画像記憶部、１４５…３次元形状モデル生成部、１４６…特徴量抽出部、１４７…位置関係算出部、１４８…データ記憶部、１４９…マーカ判別部、１５１…データ記憶部、１５２…画像入力部、１５３…特徴量抽出部、１５４…画像認識部、１５５…画像生成出力部。

Claims (7)

1. 複数の平面鏡を鏡面が内側になるように接合することで底面が開放された箱形であり、前記複数の平面鏡が天面に対して一定の角度だけ内方向に狭まるように傾斜され、物体に被せて使用するスタジオ装置と、
   前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に３次元情報取得のための第１のパターン画像とテクスチャ情報取得のための第２のパターン画像とを切り替えて投影する投影装置と、
   前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に配置される前記物体の上面から見た実像及び各平面鏡に映る虚像を含む画像を撮影する撮影装置と、
   前記スタジオ装置の内部に第１の物体を配置し、前記投影装置で前記第１のパターン画像を投影した状態で前記撮影装置により撮影される画像から前記第１の物体の３次元情報を取得し、前記投影装置で前記第２のパターン画像を投影した状態で前記撮影装置により撮影される画像から前記第１の物体のテクスチャ情報を取得し、前記３次元情報と前記テクスチャ情報とに基づいて前記第１の物体の３次元形状モデルを生成する３次元形状モデル生成手段と、
   前記スタジオ装置の内部に第２の物体を配置し、前記投影装置で前記第２のパターン画像を投影した状態で前記撮影装置により撮影される画像から前記第２の物体の特徴量を抽出する第１の特徴量抽出手段と、
   前記スタジオ装置の座標系を基準にして前記第１の物体と前記第２の物体との間の空間的な位置関係情報を算出する位置関係算出手段と、
   前記第１の物体の３次元形状モデル、前記第２の物体の特徴量、および前記空間的な位置関係情報を対応付けてデータ記憶部に格納する手段と、
   外部の撮影装置で第３の物体を含む現実空間を撮影した画像から前記第３の物体の特徴量を抽出する第２の特徴量抽出手段と、
   前記第３の物体の特徴量を、前記データ記憶部に記憶される前記第２の物体の特徴量と比較することにより前記第３の物体と類似度の高い前記第２の物体を認識する画像認識手段と、
   前記画像認識手段で認識された前記第２の物体の特徴量に対応付けられている前記第１の物体の３次元形状モデルおよび前記空間的な位置関係情報を前記データ記憶部から取得し、当該空間的な位置関係情報に基づいて前記第１の物体の３次元形状モデルを上記第３の物体の撮影位置に応じて表示した拡張現実画像を生成する画像生成手段と
   を具備することを特徴とする拡張現実画像生成システム。
2. 複数の平面鏡を鏡面が内側になるように接合することで底面が開放された箱形であり、前記複数の平面鏡が天面に対して一定の角度だけ内方向に狭まるように傾斜され、物体に被せて使用するスタジオ装置と、前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に３次元情報取得のための第１のパターン画像とテクスチャ情報取得のための第２のパターン画像とを切り替えて投影する投影装置と、前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に配置される前記物体の上面から見た実像及び各平面鏡に映る虚像を含む画像を撮影する撮影装置とを備える拡張現実画像生成システムに用いられる３次元形状データ生成装置であって、
   前記スタジオ装置の内部に第１の物体を配置し、前記投影装置で前記第１のパターン画像を投影した状態で前記撮影装置により撮影される画像から前記第１の物体の３次元情報を取得し、前記投影装置で前記第２のパターン画像を投影した状態で前記撮影装置により撮影される画像から前記第１の物体のテクスチャ情報を取得し、前記３次元情報と前記テクスチャ情報とに基づいて前記第１の物体の３次元形状モデルを生成する３次元形状モデル生成手段と、
   前記スタジオ装置の内部に第２の物体を配置し、前記投影装置で前記第２のパターン画像を投影した状態で前記撮影装置により撮影される画像から前記第２の物体の特徴量を抽出する特徴量抽出手段と、
   前記スタジオ装置の座標系を基準にして前記第１の物体と前記第２の物体との間の空間的な位置関係情報を算出する位置関係算出手段と、
   前記第１の物体の３次元形状モデル、前記第２の物体の特徴量、および前記空間的な位置関係情報を対応付けてデータ記憶部に格納する手段と
   を具備することを特徴とする３次元形状データ生成装置。
3. 前記スタジオ装置の内部に前記第１の物体と前記第２の物体とを配置する場合に、
   前記投影装置で前記第２のパターン画像を投影した状態で前記撮影装置により撮影される前記第１の物体と前記第２の物体とを同時に撮影した画像から前記特徴量抽出手段で前記第２の物体の特徴量を抽出する領域を判別する判別手段をさらに具備することを特徴とする請求項２に記載の３次元形状データ生成装置。
4. 前記判別手段は、前記３次元形状モデル生成手段で取得される前記３次元情報の高さ情報に基づいて前記第２の物体の特徴量を抽出する領域を判別することを特徴とする請求項３に記載の３次元形状データ生成装置。
5. 複数の平面鏡を鏡面が内側になるように接合することで底面が開放された箱形であり、前記複数の平面鏡が天面に対して一定の角度だけ内方向に狭まるように傾斜され、物体に被せて使用するスタジオ装置と、前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に３次元情報取得のための第１のパターン画像とテクスチャ情報取得のための第２のパターン画像とを切り替えて投影する投影装置と、前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に配置される前記物体の上面から見た実像及び各平面鏡に映る虚像を含む画像を撮影する撮影装置とを備える拡張現実画像生成システムに用いられる拡張現実提示装置であって、
   前記スタジオ装置の内部に第１の物体を配置し、前記投影装置で前記第１のパターン画像を投影した状態で前記撮影装置により撮影される画像から前記第１の物体の３次元情報を取得し、前記投影装置で前記第２のパターン画像を投影した状態で前記撮影装置により撮影される画像から前記第１の物体のテクスチャ情報を取得し、前記３次元情報と前記テクスチャ情報とに基づいて生成された前記第１の物体の３次元形状モデル、前記スタジオ装置の内部に第２の物体を配置し、前記投影装置で前記第２のパターン画像を投影した状態で前記撮影装置により撮影される画像から抽出された前記第２の物体の特徴量、および前記スタジオ装置の座標系を基準にして算出された前記第１の物体と前記第２の物体との間の空間的な位置関係情報を対応付けてデータ記憶部に格納する手段と、
   外部の撮影装置で第３の物体を含む現実空間を撮影した画像から前記第３の物体の特徴量を抽出する第２の特徴量抽出手段と、
   前記第３の物体の特徴量を、前記データ記憶部に記憶される前記第２の物体の特徴量と比較することにより前記第３の物体と類似度の高い前記第２の物体を認識する画像認識手段と、
   前記画像認識手段で認識された前記第２の物体の特徴量に対応付けられている前記第１の物体の３次元形状モデルおよび前記空間的な位置関係情報を前記データ記憶部から取得し、当該空間的な位置関係情報に基づいて前記第１の物体の３次元形状モデルを上記第３の物体の撮影位置に応じて表示した拡張現実画像を生成する画像生成手段と
   を具備することを特徴とする拡張現実提示装置。
6. 複数の平面鏡を鏡面が内側になるように接合することで底面が開放された箱形であり、前記複数の平面鏡が天面に対して一定の角度だけ内方向に狭まるように傾斜され、物体に被せて使用するスタジオ装置と、前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に３次元情報取得のための第１のパターン画像とテクスチャ情報取得のための第２のパターン画像とを切り替えて投影する投影装置と、前記スタジオ装置の天面側に配置され、前記スタジオ装置の内部に配置される前記物体の上面から見た実像及び各平面鏡に映る虚像を含む画像を撮影する撮影装置とを備える拡張現実画像生成システムに用いられる拡張現実提示方法であって、
   前記スタジオ装置の内部に第１の物体を配置し、前記投影装置で前記第１のパターン画像を投影した状態で前記撮影装置により撮影される画像から前記第１の物体の３次元情報を取得し、前記投影装置で前記第２のパターン画像を投影した状態で前記撮影装置により撮影される画像から前記第１の物体のテクスチャ情報を取得し、前記３次元情報と前記テクスチャ情報とに基づいて前記第１の物体の３次元形状モデルを生成する３次元形状モデル生成ステップと、
   前記スタジオ装置の内部に第２の物体を配置し、前記投影装置で前記第２のパターン画像を投影した状態で前記撮影装置により撮影される画像から前記第２の物体の特徴量を抽出する第１の特徴量抽出ステップと、
   前記スタジオ装置の座標系を基準にして前記第１の物体と前記第２の物体との間の空間的な位置関係情報を算出する位置関係算出ステップと、
   前記第１の物体の３次元形状モデル、前記第２の物体の特徴量、および前記空間的な位置関係情報を対応付けてデータ記憶部に記憶するデータ記憶ステップと、
   外部の撮影装置で第３の物体を含む現実空間を撮影した画像から前記第３の物体の特徴量を抽出する第２の特徴量抽出ステップと、
   前記第３の物体の特徴量を、前記データ記憶部に記憶される前記第２の物体の特徴量と比較することにより前記第３の物体と類似度の高い前記第２の物体を認識する画像認識ステップと、
   前記画像認識ステップで認識された前記第２の物体の特徴量に対応付けられている前記第１の物体の３次元形状モデルおよび前記空間的な位置関係情報を前記データ記憶部から取得し、当該空間的な位置関係情報に基づいて前記第１の物体の３次元形状モデルを前記第３の物体の撮影位置に応じて表示した拡張現実画像を生成する画像生成ステップと
   を有することを特徴とする拡張現実画像生成方法。
7. 請求項２乃至４のいずれか１項に記載の３次元形状データ生成装置が備える各手段、または請求項５に記載の拡張現実提示装置が備える各手段として、コンピュータを機能させるプログラム。

Images