JP6340017B2 - 被写体と３次元仮想空間をリアルタイムに合成する撮影システム - Google Patents

Description

本発明は，カメラによって撮影された被写体の画像とコンピュータグラフィックスで描かれた３次元仮想空間とをリアルタイムに合成して出力する撮影システムに関する。

従来から，カメラを定位置に設置して被写体の画像（静止画及び動画を含む。以下同じ）を撮影し，この被写体の画像と３次元仮想空間を合成した合成画像を生成することが知られている（特許文献１）。例えば，このような合成画像の生成方法は，テレビ番組を制作する際などによく利用されている。

特開平１１−２６１８８８号公報

ところで，従来の合成画像の生成方法は，予め決められた位置にカメラを設置し，カメラの位置を動かさずに被写体を撮影しなければ，被写体と３次元仮想空間の合成画像を作成することができなかった。すなわち，従来の合成画像の生成手法では，３次元仮想空間を特定するワールド座標系において，カメラ位置（視点）の位置を固定しておかなければ，カメラ座標系に基づく投影平面に合成画像をレンダリングすることができない。このため，従来の手法は，カメラ（視点）の位置を動かしてしまうと，移動後のカメラ座標を再度設定し直さなければ，被写体と３次元仮想空間とを適切に合成することができないものとなっていた。

しかしながら，カメラの位置が変わる度にカメラ座標系を設定し直す必要があると，被写体がカメラの撮影範囲を越えて活発に動くような場合に，その被写体をカメラで捉え続けることが難しくなる。従って，従来の方法では，合成画像を生成する際に，被写体の動きを制限する必要があった。また，カメラの位置が変わらないということは，３次元仮想空間内の背景の位置及び向きが全く変わらないということを意味する。このため，そのような３次元仮想空間に被写体の画像を合成しても，リアリティ（現実感）や没入感を得られないものとなっていた。

従って，本発明は，よりリアリティと没入感の高い合成画像を生成することのできる撮影システムを提供することを目的としている。具体的には，本発明は，カメラの位置と向きを変えて被写体を撮影し続けることができ，しかもカメラの向きに応じて３次元仮想空間の背景がリアルタイムに変化する合成画像の撮影システムを提供する。

本発明の発明者は，上記の従来発明の問題点を解決する手段について鋭意検討した結果，カメラの位置及び向きを検出するためのトラッカーを設け，このトラッカーによって検出したカメラの位置及び向きに応じて，３次元仮想空間のワールド座標系におけるカメラ座標系を特定することにより，被写体と３次元仮想空間画像の画像をリアルタイムに合成することができるようになるという知見を得た。そして，本発明者は，上記知見に基づけばよりリアリティと没入感の高い合成画像を生成可能であることに想到し，本発明を完成させた。具体的に説明すると，本発明は以下の構成を有する。

本発明は，被写体と３次元仮想空間の画像をリアルタイムに合成する撮影システムに関する。
本発明の撮影システムは，カメラ１０と，トラッカー２０と，空間画像記憶部３０と，描画部４０と，を備える。
カメラ１０は，被写体を撮影するためのデバイスである。トラッカー２０は，カメラ１０の位置及び向きを検出するためのデバイスである。空間画像記憶部３０は，３次元仮想空間の画像を記憶している。描画部４０は，カメラ１０によって撮影された被写体の画像と空間画像記憶部３０に記憶されている３次元仮想空間の画像とを合成した合成画像を生成する。描画部４０は，ワールド座標系（Ｘ，Ｙ，Ｚ）により特定される３次元仮想空間を，カメラのカメラ座標系（Ｕ，Ｖ，Ｎ）を基準としたスクリーン座標（Ｕ，Ｖ）に投影し，このスクリーン座標（Ｕ，Ｖ）により特定される画面（ＵＶ平面）において，３次元仮想空間と被写体の画像を合成する。
ここで，カメラ座標系Ｕ，Ｖ，Ｎは，トラッカー２０によって検出されたカメラ１０の位置及び向きに基づいて設定される

上記構成のように，トラッカー２０によって常にカメラ１０の位置及び向きを把握しておくことで，ワールド座標系（Ｘ，Ｙ，Ｚ）内においてカメラ座標系（Ｕ，Ｖ，Ｎ）がどのように変化したかを把握することできる。すなわち，「カメラ１０の位置」は，３次元仮想空間を特定するためのワールド座標系におけるカメラ座標の原点に相当する。また，「カメラ１０」の向きは，ワールド座標系におけるカメラ座標の各座標軸（Ｕ軸，Ｖ軸，Ｎ軸）の方向に相当する。このため，カメラの位置及び向きを把握することで，３次元仮想空間が存在するワールド座標系をカメラ座標系に視野変換（幾何学的変換）することができるようになる。従って，カメラの位置及び向きを把握し続けることで，カメラの向きが変わった場合でも，リアルタイムに被写体と３次元仮想空間の画像を合成できる。さらに，カメラの向き（カメラ座標系）に応じて，３次元仮想空間内の背景の向きも変わる。従って，実際に被写体が３次元仮想空間内に存在するかのようなリアリティ（現実感）のある合成画像をリアルタイムに生成することができる。

本発明の撮影システムは，さらに，モニタ５０を備えることが好ましい。このモニタ５０は，カメラ１０によって撮影されている状態において，人である被写体が視認可能な位置に設置されている。この場合に，描画部４０は，合成画像をモニタ５０へと出力する。

上記構成のように，被撮影者が視認できる位置にモニタ５０を設置しておき，このモニタ５０によって被撮影者と３次元仮想空間の合成画像を表示することで，被撮影者は合成画像を確認しながら撮影を受けることができる。このため，被撮影者は自らが３次元仮想空間に存在しているかのような体験をすることができる。これにより，より没入感の高い撮影システムを提供することができる。

本発明の撮影システムは，さらに，モーションセンサ６０と，コンテンツ記憶部７０と，を備えることが好ましい。モーションセンサ６０は，被写体（被撮影者）の動作を検出するためのデバイスである。コンテンツ記憶部７０は，被写体の動作に関する情報に関連付けて，画像を含むコンテンツを記憶している。この場合に，描画部４０は，モーションセンサ６０によって検出された被写体の動作に関連付けられているコンテンツを，画面において，３次元仮想空間の画像と被写体の画像と共に合成して，これらの合成画像をモニタ５０へと出力することが好ましい。

上記構成のように，モーションセンサ６０によって被撮影者の動作を検出するようにすることで，被撮影者が特定のポーズを取ったときに，そのポーズに応じたコンテンツ画像を３次元仮想空間と被写体の画像にさらに合成することができるようになる。例えば，被写体が魔法を出すポーズを取ると，そのポーズに応じた魔法がエフェクト画像として表示される。従って，被撮影者に対して，アニメーションの世界に入り込んだような没入感を与えることができる。

本発明の撮影システムにおいて，描画部４０は，カメラ１０から被写体までの距離，及びカメラ１０に対する被写体の角度の両方又はいずれか一方を求める演算を行うことが好ましい。例えば，描画部４０は，トラッカー２０により検出されたカメラ１０の位置及び向きと，モーションセンサ６０により特定された被写体の位置とに基づいて，カメラ１０から被写体までの距離や角度を求めることができる。また，描画部４０は，カメラ１０によって撮影された被写体の画像を解析して，カメラ１０から被写体までの距離や角度を求めることも可能である。また，描画部４０は，トラッカー２０とモーションセンサ６０のいずれか一方を利用して，カメラ１０から被写体までの距離や角度を求めることとしてもよい。
そして，描画部４０は，上記の演算結果に応じて，コンテンツを変化させることが好ましい。例えば，描画部４０は，コンテンツのサイズや，位置，向き，色，数，表示速度，表示時間，透明度などの各種の条件を変化させることができる。また，描画部４０は，カメラ１０から被写体までの距離や角度に応じて，コンテンツ記憶部７０から読み出してモニタ５０に表示するコンテンツの種類を変化させることとしてもよい。

上記構成のように，カメラ１０から被写体までの距離や角度に応じてコンテンツを変化させることで，コンテンツをよりリアリティ高く表示することができる。例えば，カメラ１０から被写体までの距離が遠い場合にはコンテンツを小さく表示したり，カメラ１０から被写体までの距離が近い場合にはコンテンツを大きく表示することで，被写体とコンテンツのサイズを合わせることができる。また，カメラ１０と被写体の距離が近い場合においてサイズの大きいコンテンツを表示するときには，そのコンテンツの透明度を高めて被写体が透けるように表示することで，被写体がコンテンツの裏に隠れてしまうことを防止できる。

本発明の撮影システムは，さらに，ミラー型ディスプレイ８０を備えることとしてもよい。このミラー型ディスプレイ８０は，カメラ１０によって撮影されている状態において，人である被写体（被撮影者）が視認可能な位置に設置されている。
ミラー型ディスプレイ８０は，画像を表示可能なディスプレイ８１と，このディスプレイ８１の表示面側に配置されたハーフミラー８２を有する。ハーフミラー８２は，ディプレイ８１が表示した画像の光を透過すると共に，ディスプレイ８１とは反対側から入射した光の一部又は全部を反射する。

上記構成のように，被撮影者が視認可能な位置にミラー型ディスプレイ８０を配置しておき，このミラー型ディスプレイ８０に画像を表示することで，臨場感や没入感を高めることができる。また，例えば，ミラー型ディスプレイ８０に，コンテンツを表示するためのポーズの見本やダンスの見本などを表示することで，被撮影者は，それらの見本と自分のポーズやダンスとを見比べることができるため，効果的に練習を行うことができる。

本発明の撮影システムは，さらに，第２の描画部９０を備えていてもよい。この第２の描画部９０は，空間画像記憶部３０に記憶されている３次元仮想空間の画像を，ミラー型ディスプレイ８０のディスプレイ８１に出力する。なお，ここでは便宜的に，描画部（第１の描画部）４０と第２の描画部９０とを区別しているが，両者は同じ装置によって構成されているものであってもよいし，異なる装置によって構成されていてもよい。
ここで，第２の描画部９０は，ワールド座標系（Ｘ，Ｙ，Ｚ）により特定される３次元仮想空間を，カメラのカメラ座標系（Ｕ，Ｖ，Ｎ）を基準としたスクリーン座標（Ｕ，Ｖ）に投影する。このとき，カメラ座標系（Ｕ，Ｖ，Ｎ）は，トラッカー２０によって検出されたカメラの位置及び向きに基づいて設定される。

上記構成のように，ディスプレイ８１には，カメラ１０によって撮影された被写体の画像は表示されないが，このカメラ１０の位置及び向きに応じたカメラ座標系（Ｕ，Ｖ，Ｎ）を基準とした３次元仮想空間画像が表示される。このため，モニタ５０に表示される３次元仮想空間画像とディスプレイ８１に表示される３次元仮想空間画像をある程度一致させることができる。すなわち，ミラー型ディスプレイ８０に表示される３次元仮想空間画像の背景も，現実のカメラ１０の位置や向きに応じて変化させることができるため，より臨場感を高めることができる。

本発明の撮影システムにおいて，第２の描画部９０は，モーションセンサ６０によって検出された被写体の動作に関連付けられているコンテンツをコンテンツ記憶部７０から読み出して，ディスプレイ８１へと出力することとしてもよい。

上記構成のように，例えば被撮影者が特定のポーズをとったときに，そのポーズに応じたコンテンツをミラー型ディスプレイ８０にも表示させる。これにより，被写体に対してより高い没入感を提供することができる。

本発明の撮影システムは，カメラの位置と向きを変えて被写体を撮影し続けることができ，しかもカメラの向きに応じて３次元仮想空間の背景がリアルタイムに変化させることができる。従って，本発明によれば，よりリアリティと没入感の高い合成画像を提供することができる。

図１は，本発明に係る撮影システムの概要を示している。図１は，撮影システムが備え付けられた撮影スタジオの例を模式的に示した斜視図である。 図２は，本発明に係る撮影システムの構成の例を示したブロック図である。 図３は，本発明における座標系の概念を示した模式図である。 図４は，本発明に係る撮影システムのモニタの表示例を示している。 図５は，撮影スタジオの機材配置例を示した平面図である。

以下，図面を用いて本発明を実施するための形態について説明する。本発明は，以下に説明する形態に限定されるものではなく，以下の形態から当業者が自明な範囲で適宜修正したものも含む。

図１は，本発明に係る撮影システム１００が備え付けられた撮影スタジオの例を示している。また，図２は，本発明に係る撮影システム１００のブロック図を示している。図１及び図２に示されるように，撮影システム１００は，被写体の画像を撮影するためのカメラ１０を備える。ここにいう「画像」は，静止画であってもよいし動画であってもよい。カメラ１０は，静止画及び／又は動画を撮影可能な公知のものを用いればよい。本発明の撮影システムにおいて，カメラ１０は被写体の撮影位置や撮影の向きを自由に変えることができる。このため，カメラ１０の配置位置は固定されていなくてもよい。

また，図１に示されるように，被写体は人であることが好ましい。本願明細書では人である被写体を「被撮影者」と称している。被撮影者は，例えば撮影用のステージの上で撮影を受ける。ステージは，一般的にグリーンバックやブルーバックと呼ばれるような画像合成処理を行いやすい色とされていることが好ましい。

撮影システム１００は，カメラ１０の位置及び向きを検出するための複数のトラッカー２０を備える。図１に示されるように，トラッカー２０は，スタジオの上方であって，カメラ１０を捕捉可能な位置に固定されている。複数台のトラッカー２０のうち，少なくとも２台以上のトラッカー２０がカメラ１０の位置及び向きを常時捕捉していることが好ましい。本発明では，トラッカー２０とカメラ１０の相対的な位置関係によって，カメラ１０の位置及び向きを把握する。このため，トラッカー２０の位置が動いてしまうと，カメラ１０の位置及び向きを適切に把握できない。このため，本発明では，トラッカー２０の固定位置は不動であることが好ましい。

トラッカー２０は，物体の動きや位置を検出する公知のデバイスを利用することができる。例えば，トラッカー２０としては，光学式，磁気式，ビデオ式，機械式など，公知の方式のものを利用すればよい。光学式は，複数のレーザを対象物（カメラ）に照射しその反射光などを検出することで，対象物の位置及び動作を特定する方式である。光学式のトラッカー２０は，対象物に取り付けられたマーカーからの反射光を検出することもできる。また，磁気式は，複数のマーカーを対象物に設置し，このマーカーの位置を磁気センサによって把握することで，対象物の位置及び動作を特定する方式である。また，ビデオ式は，ビデオカメラで撮影された対象物の映像を解析して，３Ｄモーションファイルとして取り込み対象物の動作を特定する方式である。機械式は，対象物にジャイロセンサや加速度センサを取り付けて，これらのセンサによる検出結果に基づき対象物の動作を特定する方式である。上記いずれの方式によっても，被写体を撮影するカメラの位置及び向きを把握することができる。本発明においては，カメラ１０の位置を適切かつ高速に検出するために，カメラ１０にマーカー１１を取り付けておき，複数のトラッカー２０によってこのマーカー１１を追跡するようにすることが好ましい。

図２に示されるように，カメラ１０は被写体（被撮影者）の画像を取得し，複数のトラッカー２０はカメラ１０の位置及び向きに関する情報を取得する。そして，カメラ１０によって撮影された画像と，トラッカー２０により検出されたカメラ１０の位置及び向きの情報は，第１の描画部４０へと入力される。

第１の描画部４０は，基本的に，コンピュータグラフィックスによって生成された３次元仮想空間の画像に，カメラ１０によって撮影された被写体の画像をリアルタイムに合成する描画処理を行う機能ブロックである。図２に示されるように，第１の描画部４０は，ＰＣ（Personal Computer）などの制御装置１１０を構成するデバイスの一部により実現される。具体的には，第１の描画部４０は，制御装置１１が備えるＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）によって構成することができる。

第１の描画部４０は，被写体の画像と合成するための３次元仮想空間の画像を，空間画像記憶部３０から読み出す。空間画像記憶部３０には，一種類又は複数種類の３次元仮想空間の画像が記憶されている。３次元仮想空間としては，屋外，室内，空，海，森，宇宙，ファンタジー世界などの多種多様な背景をコンピュータグラフィックスによって予め生成して，空間画像記憶部３０に記憶しておくことができる。また，空間画像記憶部３０には，これらの背景の他に，その３次元仮想空間内に存在する複数のオブジェクトが記憶されていてもよい。オブジェクトは，３次元空間内に配置されるキャラクタや，図形，建造物，自然物などの３次元画像であり，ポリゴンなどの公知のＣＧ処理によって予め生成されて，空間画像記憶部３０に記憶されている。図１には，星型のオブジェクトが例として示されている。

第１の描画部４０は，空間画像記憶部３０から３次元仮想空間の画像を読み出し，その３次元仮想空間を特定するためのワールド座標系（Ｘ，Ｙ，Ｚ）において，実際のカメラ１０の位置及び向きを決定する。その際に，第１の描画部４０は，複数のトラッカー２０によって検出した実際のカメラ１０の位置及び向きに関する情報を参照する。つまり，カメラ１０は，固有のカメラ座標系（Ｕ，Ｖ，Ｎ）を有している。そこで，第１の描画部４０は，トラッカー２０によって検出した実際のカメラ１０の位置及び向きに関する情報に基づいて，ワールド座標系（Ｘ，Ｙ，Ｚ）内にカメラ座標系（Ｕ，Ｖ，Ｎ）を設定する処理を行う。

具体的に説明すると，図３には，ワールド座標系（Ｘ，Ｙ，Ｚ）とカメラ座標系（Ｕ，Ｖ，Ｎ）の関係性が模式的に示されている。ワールド座標系は，直交するＸ軸，Ｙ軸，及びＺ軸を有する。ワールド座標系（Ｘ，Ｙ，Ｚ）は，３次元仮想空間内の座標点を特定するものである。３次元仮想空間内には，一又は複数のオブジェクト（例：星型のオブジェクト）が存在している。各オブジェクトは，ワールド座標系における固有の座標点（Ｘｏ，Ｙｏ，Ｚｏ）に配置されている。また，本発明のシステムには，複数のトラッカー２０が備わっている。各トラッカー２０が取り付けられている位置は既知であり，各トラッカー２０の座標点は，ワールド座標系（Ｘ，Ｙ，Ｚ）によって特定されている。例えば，トラッカー２０の座標点は，（Ｘ１，Ｙ１，Ｚ１）及び（Ｘ２，Ｙ２，Ｚ２）で表されている。

他方，カメラ１０は固有のカメラ座標系（Ｕ，Ｖ，Ｎ）を有する。カメラ座標系（Ｕ，Ｖ，Ｎ）は，そのカメラ１０から見た左右方向がＵ軸となり，上下方向がＶ軸となり，奥行方向がＮ軸となる。これらのＵ軸，Ｖ軸，及びＮ軸は直交している。また，カメラ１０によって撮影される画面の２次元の範囲が，スクリーン座標系（Ｕ，Ｖ）となる。スクリーン座標系は，モニタやディスプレイなどの表示装置に表示される３次元仮想空間の範囲を示している。スクリーン座標系（Ｕ，Ｖ）は，カメラ座標系のＵ軸及びＶ軸に相当するものである。スクリーン座標系（Ｕ，Ｖ）は，カメラ１０によって撮影された空間に対して，射影変換（透視変換）を適用した後の座標となる。

第１の描画部４０は，ワールド座標系（Ｘ，Ｙ，Ｚ）により特定されている３次元仮想空間を，カメラ１０のカメラ座標系（Ｕ，Ｖ，Ｎ）を基準としたスクリーン座標（Ｕ，Ｖ）に投影する。カメラ１０は，ワールド座標系（Ｘ，Ｙ，Ｚ）における３次元仮想空間の一部を切り出して画面に表示するものである。このため，カメラ１０の撮影範囲の空間は，前方クリップ面と後方クリップ面で区切られたビューボリューム（視錐台）と呼ばれる範囲となる。このビューボリューム内に属する空間が切り出されて，スクリーン座標（Ｕ，Ｖ）によって特定される画面に表示される。また，３次元仮想空間内にはオブジェクトが存在している。オブジェクトは，固有の奥行き値を有している。オブジェクトのワールド座標系における座標点（Ｘｏ，Ｙｏ，Ｚｏ）は，カメラ１０のビューボリューム（撮影範囲）に入ったときに，カメラ座標系（Ｕ，Ｖ，Ｎ）に変換される。カメラ座標系（Ｕ，Ｖ，Ｎ）において，被写体の画像やオブジェクトの画像の平面座標（Ｕ，Ｖ）が重なった場合，その奥行き値（Ｎ）が手前の画像が画面に表示され，奥行き値（Ｎ）が奥の画像は隠面消去される。

また，第１の描画部４０は，スクリーン座標（Ｕ，Ｖ）により特定される画面において，３次元仮想空間の画像と，カメラ１０が実際に撮影した被写体（被撮影者）の画像とを合成する。ただし，その際に，図３に示されるように，ワールド座標系（Ｘ，Ｙ，Ｚ）において，カメラ座標系（Ｕ，Ｖ，Ｎ）の位置（原点）やその向きを特定する必要がある。そこで，本発明では，ワールド座標系（Ｘ，Ｙ，Ｚ）における既知の座標点を持つトラッカー２０によってカメラ１０の位置及び向きを検出し，トラッカー２０とカメラ１０の相対的な関係から，ワールド座標系（Ｘ，Ｙ，Ｚ）におけるカメラ１０の位置及び向きを特定することとしている。

具体的に説明すると，複数のトラッカー２０はそれぞれ，カメラ１０の複数の測定点（例えばマーカー１１）の位置を検出する。例えば，図２に示した例では，カメラ１０に３つのマーカー１１が取り付けられている。カメラ１０にマーカー１１を３つ以上（少なくとも２つ以上）取り付けることで，カメラ１０の向きを把握しやすくなる。このようにカメラ１０に取り付けられたマーカー１１の位置を，複数のトラッカー２０によって検出する。トラッカー２０は，それぞれワールド座標系（Ｘ，Ｙ，Ｚ）における座標点を有しており，そのトラッカー２０の座標点は既知である。このため，複数のトラッカー２０によってカメラ１０のマーカー１１の位置を検出することで，例えば三角測量のような単純なアルゴリズムによって，各マーカー１１のワールド座標系（Ｘ，Ｙ，Ｚ）における座標点を特定することができる。そして，各マーカー１１のワールド座標系（Ｘ，Ｙ，Ｚ）における座標点が決定すれば，そのマーカー１１の座標点に基づいて，カメラ１０のワールド座標系（Ｘ，Ｙ，Ｚ）における座標点とその向きを特定することができる。カメラ１０のワールド座標系（Ｘ，Ｙ，Ｚ）における座標点とその向きが決まれば，その座標点と向きに基づいて，カメラ座標系（Ｕ，Ｖ，Ｎ）を設定することができる。このようにして，トラッカー２０により検出したカメラ１０の位置及び向きの情報に基づいて，ワールド座標系（Ｘ，Ｙ，Ｚ）におけるカメラ座標系（Ｕ，Ｖ，Ｎ）の相対的な位置関係を特定することが可能となる。例えば，図３に示されるように，カメラ座標系（Ｕ，Ｖ，Ｎ）の原点の座標は，ワールド座標系（Ｘ，Ｙ，Ｚ）において，（Ｘｃ，Ｙｃ，Ｚｃ）となる。従って，トラッカー２０によってカメラ１０の位置及び向きを検出することにより，カメラ１０の位置や向きが変化した場合であっても，ワールド座標系（Ｘ，Ｙ，Ｚ）におけるカメラ座標系（Ｕ，Ｖ，Ｎ）をリアルタイムに把握し続けることができる。

このように，第１の描画部４０は，ワールド座標系で定義されている３次元仮想空間を，カメラ座標系へと視野変換（幾何学的変換）する。ワールド座標系上で定義された３次元仮想空間の中で，カメラ１０の位置が変化するということは，ワールド座標系に対するカメラ座標系の位置が変化することを意味する。このため，第１の描画部４０は，トラッカー２０によって特定されるカメラ１０の向きが変わる度に，ワールド座標系からカメラ座標系への視野変換処理を行う。

そして，第１の描画部４０は，上記のようにしてワールド座標系（Ｘ，Ｙ，Ｚ）とカメラ座標系（Ｕ，Ｖ，Ｎ）の相対的な位置関係を求めることで，最終的には，スクリーン座標（Ｕ，Ｖ）により特定される２次元の画面において，３次元仮想空間の画像とカメラ１０によって撮影された被写体の画像を合成することができる。つまり，カメラ１０のビューボリューム内に被写体（被撮影者）が属していると，その被写体の一部又は全部が画面に表示される。また，カメラ１０のビューボリューム内に映り込む三次元仮想空間の背景画像やオブジェクト画像が画面に表示される。これにより，画像合成を行うことで，３次元仮想空間の背景の中に被写体が存在している画像を得ることができる。また，画像合成の際に，カメラ座標系（Ｕ，Ｖ，Ｎ）において，３次元仮想空間に存在するオブジェクトが被写体の画像よりも前側に存在する場合には，被写体の画像の一部又は全部を隠面消去する。また，被写体がオブジェクトの前に存在する場合には，オブジェクトの一部又は全部を隠面消去する。

図４には，本発明の撮影システム１００により生成される合成画像の一例が示されている。例えば，図４に示されるように，被写体が撮影用のステージ内を動き回るような場合において，この被写体をカメラ１０の撮影範囲内に捉え続けるためには，このカメラ１０の位置も被写体の動きに合わせて移動させる必要がある。このとき，被写体の３次元仮想空間の画像をリアルタイムに合成して表示しようとする場合に，カメラ１０の位置や向きに応じて３次元仮想空間の背景画像が変化しなければ，非常に不自然な合成画像（映像）となってしまう。そこで，本発明では，上述したとおり，複数のトラッカー２０によってカメラ１０の位置及び向きを常に検出し続けて，そのカメラ１０の位置及び向きに応じて，合成する３次元仮想空間の背景画像を変化させる。これにより，カメラ１０の位置及び向きに応じて背景画像を変化させながら，リアルタイムに被写体の撮影画像との合成することができる。従って，あたかも被写体が３次元仮想空間内に入り込んだかのような没入感の高い合成画像を得ることができる。

図２に示されるように，第１の描画部４０は，上記のように生成した合成画像を，モニタ５０に出力する。モニタ５０は，図１に示されるように，カメラ１０によって撮影されている状態の被写体（被撮影者）が視認可能な位置に配置される。モニタ５０は，第１の描画部４０によって生成された合成画像をリアルタイムに表示する。このため，被写体は，ステージの上を動きまわりながらモニタ５０を確認することで，自分が三次元仮想空間に入り込んだかのような体験をすることができる。本発明では，被写体を追従するようにカメラ１０を動かすことができ，このカメラ１０の位置や向きによって合成画像の背景が移り変わっていく。従って，より臨場感を高めることができる。また，被写体はモニタ５０を確認することで，どのような合成画像が生成されているかをすぐに確認することができる。

また，図２に示されるように，第１の描画部４０は，合成画像をメモリ３１に出力することもできる。メモリ３１は，合成画像を記憶するための記憶装置であり，例えば制御装置１１０から取り外すことのできる外部記憶装置であってもよい。また，メモリ３１は，ＣＲやＤＶＤなどのような情報記憶媒体であってもよい。これにより，メモリ３１に合成画像を記憶しておくことができ，また，このメモリ３１を被撮影者に受け渡すこともできる。

図２に示されるように，撮影システム１００は，さらに，モーションセンサ６０とコンテンツ記憶部７０を有していてもよい。モーションセンサ６０は，被写体（被撮影者）の動作を検出するためのデバイスである。図１に示されるように，モーションセンサ６０は被撮影者の動作を特定可能な位置に設置される。モーションセンサ６０としては，例えば，光学式，磁気式，ビデオ式，機械式など，公知の方式のものを利用すればよい。モーションセンサ６０とトラッカー２０は，物体の動作を検出する方式が同一であってもよいし異なっていてもよい。また，コンテンツ記憶部７０は，被撮影者の動作に関する情報に関連付けて，画像を含むコンテンツを記憶している。コンテンツ記憶部７０に記憶されているコンテンツは，静止画や動画であってもよいし，ポリゴン画像であってもよい。また，コンテンツは，音楽や音声などの音に関する情報であってもよい。コンテンツ記憶部７０には，複数のコンテンツが記憶されおり，それぞれのコンテンツが被撮影者の動作に関する情報と関連付けられている。

図２に示されるように，被撮影者が特定の動作（ポーズ）を行うと，モーションセンサ６０が被撮影者の動作を検出し，その検出した動作情報を第１の描画部４０に伝達する。第１の描画部４０は，動作情報を受けると，その動作情報に基づいてコンテンツ記憶部７０を検索する。これにより，第１の描画部４０は，コンテンツ記憶部７０から動作情報に関連付けられている特定のコンテンツを読み出す。そして，第１の描画部４０は，コンテンツ記憶部７０から読み出したコンテンツを，カメラ１０によって撮影された被撮影者の画像と，３次元仮想空間の画像と共に合成し，これらの合成画像を生成する。第１の描画部４０によって生成された合成画像は，モニタ５０やメモリ３１に出力される。これにより，被撮影者の動作に応じて，その動作に応じたコンテンツをリアルタイムにモニタ５０に表示することができる。例えば，被撮影者が呪文を唱えるようなポーズをとったときには，その呪文に応じた魔法のエフェクト画像が３次元仮想空間上に描画されるようになる。これにより，被撮影者は，あたかも魔法が使える世界（３次元仮想空間）に入り込んだような没入感を得ることができる。

また，第１の描画部４０は，カメラ１０から被撮影者までの距離や，カメラ１０に対する被撮影者の角度を求める演算を行って，求めた距離や角度などの演算結果に基づいて，コンテンツを変化させる処理を行ってもよい。例えば，第１の描画部４０は，トラッカー２０により検出されたカメラ１０の位置及び向きと，モーションセンサ６０により特定された被撮影者の位置及び向きに基づいて，カメラ１０から被撮影者までの距離や角度を求めることができる。また，第１の描画部４０は，カメラ１０によって撮影された被撮影者の画像を解析して，カメラ１０から被写体までの距離や角度を求めることも可能である。また，描画部４０は，トラッカー２０とモーションセンサ６０のいずれか一方を利用して，カメラ１０から被写体までの距離や角度を求めることとしてもよい。その後，第１の描画部４０は，上記の演算結果に応じて，コンテンツを変化させる。例えば，第１の描画部４０は，コンテンツのサイズや，位置，向き，色，数，表示速度，表示時間，透明度などの各種の条件を変化させることができる。また，第１の描画部４０は，カメラ１０から被写体までの距離や角度に応じて，コンテンツ記憶部７０から読み出してモニタ５０に表示するコンテンツの種類を変化させることもできる。

上記のように，カメラ１０から被撮影者までの距離や角度に合わせて，コンテンツの表示条件を調整することで，コンテンツをよりリアリティ高く表示することができる。例えば，カメラ１０から被撮影者までの距離が遠い場合にはコンテンツを小さく表示したり，カメラ１０から被撮影者までの距離が近い場合にはコンテンツを大きく表示することで，被撮影者とコンテンツのサイズを合わせることができる。また，カメラ１０と被撮影者の距離が近い場合においてサイズの大きいコンテンツを表示するときには，そのコンテンツの透明度を高めて被写体が透けるように表示することで，被写体がコンテンツの裏に隠れてしまうことを防止できる。また，例えば，被撮影者の手の位置をカメラ１０やモーションセンサ６０によって認識し，その手の位置に合わせてコンテンツを表示することも可能である。

図１に示されるように，撮影システム１００は，さらにミラー型ディスプレイ８０を備えていることが好ましい。ミラー型ディスプレイ８０は，カメラ１０によって撮影されている状態において，被撮影者が視認可能な位置に設置されている。より具体的には，ミラー型ディスプレイ８０は，被撮影者の鏡像を被撮影者に視認させることが可能な位置に配置される。

図１及び図２に示されるように，ミラー型ディスプレイ８０は，画像を表示可能なディスプレイ８１と，このディスプレイ８１の表示面側に配置されたハーフミラー８２によって構成されている。ハーフミラー８２は，ディスプレイ８１が表示した画像の光を透過すると共に，このディスプレイ８１とは反対側から入射した光を反射するものである。このため，被撮影者は，ミラー型ディスプレイ８０の前面に立つと，ディスプレイ８１によって表示される画像と，ハーフミラー８２によって反射された自らの鏡像とを同時に視認することとなる。このため，ディスプレイ８１によって，ダンスやポーズの見本映像を表示することで，被撮影者は，ハーフミラー８２によって映しだされる自分の姿と見比べながらダンスやポーズの練習を行うことができるようになる。また，モーションセンサ６０を利用して，被撮影者の動作（ポーズやダンス）を検出し，その動作の採点を行うこともできる。例えば，制御装置１１０は，モーションセンサ６０によって検出した被撮影者の動作を解析し，見本となるポーズやダンスとの一致度を求める演算を行う。これにより，被撮影者のポーズやダンスがどの程度上達したかを，数値として表すことができる。

また，図２に示されるように，撮影システム１００は，ミラー型ディスプレイ８０のディスプレイ８１に表示する画像を生成するための第２の描画部９０を有していてもよい。図２に示した例において，第２の描画部９０は，ディスプレイ８１に表示する画像を生成するものであるのに対し，第１の描画部４０は，モニタ５０に表示する画像を生成するものである。このため，第１の描画部４０と第２の描画部９０は異なる機能を持つものであるため，図２では別々の機能ブロックとして示している。ただし，第１の描画部４０と第２の描画部９０は，同一のデバイス（ＣＰＵやＧＰＵ）によって構成されていてもよい。また，第１の描画部４０と第２の描画部９０は，別々のデバイスによって構成されていてもよい。

第２の描画部９０は，基本的に，空間画像記憶部３０から３次元仮想空間の画像（背景及びオブジェクト）を読み出して，ディスプレイ８１に表示させる。このとき，第２の描画部９０がディスプレイ８１に表示させる３次元仮想空間の画像は，第１の描画部４０がモニタ５０に表示させる３次元仮想空間の画像と同じ種類のものであることが好ましい。これにより，モニタ５０とディスプレイ８１を同時に視認する被撮影者は，同じ３次元仮想空間を見ることとなるため，より没入感を得ることができる。特に，図１に示されるように，ディスプレイ８１の前面には，ハーフミラー８２が設置されており，被撮影者は，ハーフミラー８２に映り込む自分の姿が，あたかもディスプレイ８１に表示されている３次元仮想空間に入り込んでいるかのような体験をすることができる。これにより，モニタ５０とディスプレイ８１に同じ３次元空間の画像を表示することで，より大きな臨場感を被撮影者に与えることができる。

また，図１に示されるように，ディスプレイ８１には，カメラ１０によって撮影された被撮影者の画像は表示されないことが好ましい。つまり，ディスプレイ８１の前面には，ハーフミラー８２が設置されているため，被撮影者はこのハーフミラー８２に映る自分の姿を見ることができる。もし，ディスプレイ８１にカメラ１０による撮影画像を表示すると，被撮影者の画像と鏡像が重なって見えてしまい，却って臨場感を損なうこととなる。なお，上述したとおり，カメラ１０によって撮影された被撮影者の画像はモニタ５０に表示されているため，被撮影者はどのような合成画像が生成されているかを十分に確認することができる。

また，第２の描画部９０は，ワールド座標系（Ｘ，Ｙ，Ｚ）により特定される３次元仮想空間を，カメラ１０のカメラ座標系（Ｕ，Ｖ，Ｎ）を基準としたスクリーン座標（Ｕ，Ｖ）に投影したうえで，スクリーン座標（Ｕ，Ｖ）によって特定される３次元仮想空間の画像を，ディスプレイ８１に出力することが好ましい。このとき，カメラ１０のカメラ座標系（Ｕ，Ｖ，Ｎ）は，トラッカー２０によって検出されたカメラ１０の位置及び向きに基づいて設定される。つまり，第２の描画部９０は，カメラ１０によって撮影されている範囲の３次元仮想空間の画像を，ディスプレイ８１に表示することとなる。

図２に示されるように，各トラッカー２０による検出情報は，第１の描画部４０に伝達され，第１の描画部４０はこの検出情報に基づいて，ワールド座標系（Ｘ，Ｙ，Ｚ）におけるカメラ１０のカメラ座標系（Ｕ，Ｖ，Ｎ）を設定している。そこで，第１の描画部４０は，このワールド座標系（Ｘ，Ｙ，Ｚ）におけるカメラ座標系（Ｕ，Ｖ，Ｎ）の位置に関する情報を，第２の描画部９０へと送出する。そして，第２の描画部９０は，このワールド座標系（Ｘ，Ｙ，Ｚ）におけるカメラ座標系（Ｕ，Ｖ，Ｎ）の位置に関する情報基づいて，ディスプレイ８１に出力する３次元仮想空間の画像を生成する。これにより，モニタ５０とディスプレイ８１には，同じ３次元仮想空間の画像が表示されることとなる。上述したとおり，カメラ１０の視点位置が変わると，モニタ５０に表示される３次元仮想空間の画像が変化する。同様の現象を，ディスプレイ８１においても実現させることができる。つまり，カメラ１０の視点位置が移動すると，その移動に伴って，ディスプレイ８１に表示される３次元仮想空間の画像が変化する。このように，ミラー型ディスプレイ８０のディスプレイ８１の画像をも変化させることで，被撮影者に対してより臨場感の高い体験を提供することができる。

また，図２に示されるように，第２の描画部９０は，第１の描画部４０と同様に，モーションセンサ６０によって検出した被撮影者の動作に関連するコンテンツをコンテンツ記憶部７０から読み出して，ディスプレイ８１に出力することとしてもよい。これにより，モニタ５０だけでなく，ミラー型ディスプレイ８０のディスプレイ８１にも，被撮影者の動作に関連するエフェクト画像などのコンテンツを表示することができる。

図５は，本発明の撮影システム１００を構成する機材の配置例を示した平面図である。図５のように，撮影スタジオを構築して，そのスタジオ内に撮影システム１００を構成する機材を配置することが好ましい。ただし，図５は機材の配置の一例を示すものに過ぎず，本発明の撮影システム１００は図示されたものに限定されない。

以上，本願明細書では，本発明の内容を表現するために，図面を参照しながら本発明の実施形態の説明を行った。ただし，本発明は，上記実施形態に限定されるものではなく，本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。

本発明は，被写体と３次元仮想空間をリアルタイムに合成する撮影システムに関する。本発明の撮影システムは，例えば写真や動画を撮影するスタジオにおいて，好適に利用することができる。

１０…カメラ １１…マーカー
２０…トラッカー ３０…空間画像記憶部
３１…メモリ ４０…第１の描画部
５０…モニタ ６０…モーションセンサ
７０…コンテンツ記憶部 ８０…ミラー型ディスプレイ
８１…ディスプレイ ８２…ハーフミラー
９０…第２の描画部 １００…撮影システム
１１０…制御装置

Claims (7)

1. 被写体を撮影するカメラ（１０）と，
   前記カメラ（１０）に取り付けられたマーカー（１１）と，
   前記マーカー（１１）を追跡することで前記カメラ（１０）の位置及び向きを検出するためのトラッカー（２０）と，
   ３次元仮想空間の画像を記憶した空間画像記憶部（３０）と，
   前記カメラ（１０）によって撮影された被写体の画像と前記空間画像記憶部（３０）に記憶されている３次元仮想空間の画像とを合成した合成画像を生成する描画部（４０）と，を備え，
   前記描画部（４０）は，
   ワールド座標系（Ｘ，Ｙ，Ｚ）により特定される前記３次元仮想空間を，前記カメラ（１０）のカメラ座標系（Ｕ，Ｖ，Ｎ）を基準としたスクリーン座標（Ｕ，Ｖ）に投影し，
   前記スクリーン座標（Ｕ，Ｖ）により特定される画面において，前記３次元仮想空間と前記被写体の画像を合成するものであり，
   前記カメラ座標系（Ｕ，Ｖ，Ｎ）は，前記トラッカー（２０）によって検出された前記カメラ（１０）の位置及び向きに基づいて設定される
   撮影システム。
2. 前記カメラ（１０）によって撮影されている状態において人である被写体が視認可能な位置に設置されたモニタ（５０）を，さらに備え，
   前記描画部（４０）は，前記合成画像を前記モニタ（５０）へと出力する
   請求項１に記載の撮影システム。
3. 前記被写体の動作を検出するためのモーションセンサ（６０）と，
   前記被写体の動作に関する情報に関連付けて，画像を含むコンテンツを記憶したコンテンツ記憶部（７０）と，をさらに備え，
   前記描画部（４０）は，
   前記モーションセンサ（６０）によって検出された被写体の動作に関連付けられているコンテンツを，前記画面において，前記３次元仮想空間の画像と前記被写体の画像と共に合成して，これらの合成画像を前記モニタ（５０）へと出力する
   請求項２に記載の撮影システム。
4. 前記描画部（４０）は，前記カメラ（１０）から前記被写体までの距離，及び前記カメラ（１０）に対する前記被写体の角度の両方又はいずれか一方を求める演算を行い，当該演算結果に応じて前記コンテンツを変化させる
   請求項３に記載の撮影システム。
5. 前記カメラ（１０）によって撮影されている状態において人である被写体が視認可能な位置に設置されたミラー型ディスプレイ８０を，さらに備え
   前記ミラー型ディスプレイ８０は，
   画像を表示可能なディスプレイ（８１）と，
   前記ディスプレイ（８１）の表示面側に配置され，前記ディプレイ（８１）が表示した画像の光を透過すると共に，前記ディスプレイ（８１）とは反対側から入射した光を反射するハーフミラー（８２）と，を有する
   請求項１から請求項３のいずれかに記載の撮影システム。
6. 前記空間画像記憶部（３０）に記憶されている３次元仮想空間の画像を前記ディスプレイ（８１）に出力する第２の描画部（９０）をさらに備え，
   前記第２の描画部（９０）は，
   ワールド座標系（Ｘ，Ｙ，Ｚ）により特定される前記３次元仮想空間を，前記カメラ（１０）のカメラ座標系（Ｕ，Ｖ，Ｎ）を基準としたスクリーン座標（Ｕ，Ｖ）に投影するものであり，
   前記カメラ座標系（Ｕ，Ｖ，Ｎ）は，前記トラッカー（２０）によって検出された前記カメラ（１０）の位置及び向きに基づいて設定される
   請求項５に記載の撮影システム。
7. 前記第２の描画部（９０）は，
   前記モーションセンサ（６０）によって検出された被写体の動作に関連付けられているコンテンツを前記コンテンツ記憶部（７０）から読み出して，前記ディスプレイ（８１）へと出力する
   請求項５又は請求項６に記載の撮影システム。

Images