JP7616079B2 - 制御装置、撮影システム、および３ｄモデルデータ生成方法 - Google Patents

Description

本技術は、制御装置、撮影システム、および３Ｄモデルデータ生成方法に関し、特に、動画像から被写体を適切に抽出することができるようにした制御装置、撮影システム、および３Ｄモデルデータ生成方法に関する。

多視点で撮影された動画像から被写体の３Ｄモデルを生成し、任意の視点位置に応じた３Ｄモデルの仮想視点画像を生成することで自由な視点の画像を提供する技術がある。このような技術は、ボリューメトリックキャプチャ技術などとも呼ばれている。

例えば、特許文献１には、異なる方向から撮影して得られた複数の撮影画像に基づいて被写体の３次元形状の削り出しを行うVisual Hull等の手法を用いて、３Ｄモデルを生成する技術が記載されている。

国際公開第２０１８／１５０９３３号

３Ｄモデルの生成では、多視点で撮影されたそれぞれの撮影画像に写る被写体と背景を分離する必要がある。例えば、背景のみを事前に撮影して得られた背景画像と、人物などの被写体が実際に存在する状態で撮影して得られた撮影画像との差分を取ることによって、それぞれの撮影画像に写る被写体と背景が分離される。

ところで、３Ｄモデルを生成するための撮影において、被写体となる人物が演技の内容を確認するため動画像を表示装置に表示したり、台詞や歌詞をプロンプタに表示したりして参照する状況が考えられる。

しかしながら、人物が存在する状態での本番の撮影時に、背景の撮影時に存在しなかったものが撮影空間にある場合、そのもの自体も被写体として扱われてしまう。例えば、撮影空間に配置された表示装置に動画像が表示される場合、その動画像の表示も、人物とともに被写体として分離され、３Ｄモデルの生成に用いられてしまう。したがって、本番の撮影時、被写体となる人物が表示装置の表示を参考にして演技の内容を確認したり、プロンプタの表示を参考にして台詞や歌詞を確認したりすることが困難であった。

本技術はこのような状況に鑑みてなされたものであり、動画像から被写体を適切に抽出することができるようにするものである。

本技術の一側面の制御装置は、撮像装置が撮影を行う撮影タイミングと、前記撮像装置の撮影範囲に位置する表示装置が第１動画像を表示する表示タイミングとを同期させる制御を行う制御部と、第１タイミングで前記撮像装置により撮影された第２動画像と、前記第１タイミングと異なるタイミングである第２タイミングで前記撮像装置により撮影された第３動画像とに基づいて前景背景差分処理を行う画像処理部とを備え、前記第２動画像および前記第３動画像は、前記第２動画像および前記第３動画像で前記表示タイミングが同期された前記第１動画像の少なくとも一部を共に含む制御装置である。

本技術の一側面の撮影システムは、複数台の撮像装置と、少なくとも１台の表示装置と、前記複数台の撮像装置が撮影を行う撮影タイミングと、前記複数台の撮像装置のうちの少なくとも１つの撮像装置の撮影範囲に位置する前記表示装置が第１動画像を表示する表示タイミングとを同期させる制御を行う制御部と、第１タイミングで前記撮像装置により撮影された第２動画像と、前記第１タイミングと異なるタイミングである第２タイミングで前記撮像装置により撮影された第３動画像とに基づいて前景背景差分処理を行う画像処理部とを備え、前記第２動画像および前記第３動画像は、前記第１動画像の少なくとも一部を共に含む撮影システムである。

本技術の一側面の３Ｄモデルデータ生成方法は、複数台の撮像装置が撮影を行う撮影タイミングと、前記複数台の撮像装置の少なくとも１つの撮像装置の撮影範囲に位置する表示装置が第１動画像を表示する表示タイミングとを同期させて前記複数台の撮像装置で撮影し、第１タイミングで前記撮像装置により撮影された第２動画像と、前記第１タイミングと異なるタイミングである第２タイミングで前記撮像装置により撮影された第３動画像とに基づいて前景背景差分処理を行うことによって差分データを生成し、前記差分データに基づいて３Ｄモデルデータを生成する３Ｄモデルデータ生成方法である。

本技術の一側面の制御装置においては、撮像装置が撮影を行う撮影タイミングと、前記撮像装置の撮影範囲に位置する表示装置が第１動画像を表示する表示タイミングとを同期させる制御が行われ、第１タイミングで前記撮像装置により撮影された第２動画像と、前記第１タイミングと異なるタイミングである第２タイミングで前記撮像装置により撮影された第３動画像とに基づいて前景背景差分処理が行われる。前記第２動画像および前記第３動画像には、前記第２動画像および前記第３動画像で前記表示タイミングが同期された前記第１動画像の少なくとも一部が共に含まれる。

本技術の一側面の撮影システムにおいては、前記複数台の撮像装置が撮影を行う撮影タイミングと、前記複数台の撮像装置のうちの少なくとも１つの撮像装置の撮影範囲に位置する前記表示装置が第１動画像を表示する表示タイミングとを同期させる制御が行われ、第１タイミングで前記撮像装置により撮影された第２動画像と、前記第１タイミングと異なるタイミングである第２タイミングで前記撮像装置により撮影された第３動画像とに基づいて前景背景差分処理が行われる。前記第２動画像および前記第３動画像には、前記第１動画像の少なくとも一部が共に含まれる。

本技術の一側面の３Ｄモデルデータの生成方法においては、複数台の撮像装置が撮影を行う撮影タイミングと、前記複数台の撮像装置の少なくとも１つの撮像装置の撮影範囲に位置する表示装置が第１動画像を表示する表示タイミングとを同期させて前記複数台の撮像装置で撮影が行われ、第１タイミングで前記撮像装置により撮影された第２動画像と、前記第１タイミングと異なるタイミングである第２タイミングで前記撮像装置により撮影された第３動画像とに基づいて、前景背景差分処理を行うことによって、差分データが生成され、前記差分データに基づいて３Ｄモデルデータが生成される。

本技術を適用した撮影システムの構成例を示す図である。 制御装置で実行される３Ｄモデル生成の概要を示す図である。 Ｎ＝８とした撮影システムが背景撮影を行う時の状況の例を示す平面図である。 Ｎ＝８とした撮影システムが本番撮影を行う時の状況の例を示す平面図である。 同期信号に基づく撮影タイミングと表示タイミングの制御の例を示す図である。 前景背景差分処理の例を示す図である。 撮影システムの構成例を示すブロック図である。 制御装置の同期動画像生成処理について説明するフローチャートである。 動画像撮影処理について説明するフローチャートである。 制御装置による被写体の３Ｄモデルデータ生成処理について説明するフローチャートである。 前景背景差分処理の詳細について説明するフローチャートである。 モニタリング表示を行う場合の撮影システムの構成例を示すブロック図である。 モニタリング表示を行う場合の制御装置の同期動画像生成処理について説明するフローチャートである。 撮影システムの他の構成例を示す図である。 Ｎ＝８とした図１４の撮影システムにおける本番撮影時の状況を示す平面図である。 撮影システムのさらに他の構成例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．撮影システムの概要
２．撮影システムの構成
３．撮影システムの動作
４．モニタリング表示を行う場合の処理について
５．変形例
６．コンピュータの構成例

＜１．撮影システムの概要＞
図１は、本技術を適用した撮影システム１の構成例を示す図である。

図１の撮影システム１は、制御装置１１、Ｎ台（Ｎ＞１）のカメラ１２－１乃至１２－Ｎ、およびモニタ１３により構成される。カメラ１２－１乃至１２－Ｎとモニタ１３は、撮影スタジオなどの同じ空間に配置される。

制御装置１１は、例えば、コンピュータやサーバ装置などにより構成され、カメラ１２－１乃至１２－Ｎが撮影を行う撮影タイミングと、モニタ１３が動画像を表示する表示タイミングとを制御する。

具体的には、制御装置１１は、同期信号を生成し、カメラ１２－１乃至１２－Ｎとモニタ１３のそれぞれに供給する。制御装置１１から供給された同期信号に基づいて、カメラ１２－１乃至１２－Ｎが撮影を行う撮影タイミングと、モニタ１３が動画像を表示する表示タイミングとが制御される。また、制御装置１１は、モニタ１３に表示される動画像の再生も行う。

さらに、制御装置１１は、カメラ１２－１乃至１２－Ｎのそれぞれから供給される複数の撮影動画像から、例えば、被写体として写る人物をオブジェクトとする、オブジェクトの３Ｄモデルを生成する。

オブジェクトの３Ｄモデルのデータは、例えば、カメラ１２－１乃至１２－Ｎにより得られた撮影動画像から生成される、オブジェクトの動画像データと、オブジェクトの３Ｄ形状を表した３Ｄ形状データとで構成される。３Ｄ形状データは、例えば、複数のカメラ１２－１乃至１２－Ｎで撮影された撮影動画像に対応するデプス画像や、オブジェクトの３次元位置を点の集合で表したポイントクラウド、頂点（Vertex）と頂点間のつながりで表したポリゴンメッシュなどで表される。

カメラ１２－１乃至１２－Ｎは、制御装置１１による制御に従って、オブジェクトとして抽出される対象となる被写体と、その背景を撮影する撮像装置である。カメラ１２－１乃至１２－Ｎは、撮影によって得られる撮影動画像を制御装置１１に供給する。カメラ１２－１乃至１２－Ｎは、同じ被写体を撮影するように、例えば被写体を囲むように配置される。カメラ１２－１乃至１２－Ｎから供給される撮影動画像は、被写体を撮影する視点が異なる複数の撮影動画像から構成される多視点動画像となる。

以下の説明において、カメラ１２－１乃至１２－Ｎのそれぞれを区別する必要がない場合、単にカメラ１２と称して説明する。複数設けられる他の構成についても同様とする。

モニタ１３は、制御装置１１による制御に従って、第１動画像としての参考動画像を表示する表示装置である。参考動画像は、被写体となる人物が本番の撮影時に参考とする動画像である。例えば、本番の撮影時に、被写体である人物の動作の手本となる動画像が、参考動画像として、モニタ１３に表示される。

また、モニタ１３は、モニタリング画像を参考動画像として表示するモニタリング表示を行うこともできる。モニタリング画像は、カメラ１２－１乃至１２－Ｎのうちのいずれかによってリアルタイムに撮影されている撮影動画像である。モニタリング表示では、被写体となる人物は、自身の動きを確認しながら所定の動作をとることができる。

また、モニタ１３には、参考動画像として、台詞や歌詞を表す動画像を表示することもできる。台詞や歌詞を表す動画像が表示されることにより、被写体となる人物は、台詞を確認しながら演じたり、歌詞を確認しながら歌ったりすることができる。

なお、モニタ１３は、ディスプレイを備えるスマートフォンやタブレット端末（携帯端末）などの装置により構成されるようにしてもよい。

制御装置１１とカメラ１２－１乃至１２－Ｎとの間の通信、および、制御装置１１とモニタ１３との間の通信は、ケーブルなどを介して直接行われるようにしてもよいし、LAN(Local Area Network)、インターネットなどの所定のネットワークを介して行われるようにしてもよい。また、通信は、有線通信でもよいし、無線通信でもよい。

次に、図２を参照して、制御装置１１で実行される３Ｄモデル生成の概要を説明する。

図２には、３台のカメラ１２を用いて、所定の動作を行っている人物を被写体Ｏｂ１として撮影が行われている例が示されている。図２の左側に示すように、被写体Ｏｂ１を囲むように配置された３台のカメラ１２－１乃至１２－３は、被写体Ｏｂ１を撮影する。

異なる位置に配置された複数のカメラ１２から得られた撮影動画像を用いて、３Ｄモデリングが制御装置１１により行われ、図２の中央に示すように、被写体Ｏｂ１の３ＤモデルＭＯ１が生成される。３ＤモデルＭＯ１は、例えば、異なる方向から被写体Ｏｂ１を撮影して得られた撮影動画像を用いて、３次元形状の切り出しを行うVisual Hullなどの手法により生成される。

以上のようにして生成された被写体の３Ｄモデルのデータ（３Ｄモデルデータ）が再生側の装置に伝送され、再生される。すなわち、再生側の装置において、３Ｄモデルのレンダリングが３Ｄモデルデータに基づいて行われることにより、視聴デバイスに３Ｄ形状映像が表示される。図２においては、視聴者が使用する視聴デバイスとして、ディスプレイＤ１や、ヘッドマウントディスプレイ（HMD）Ｄ２が示されている。

ところで、３Ｄモデルの生成では、各撮影動画像に写る被写体と背景を分離し、被写体のみのデータを抽出する必要がある。被写体のみのデータを抽出する手法としては、グリーンバック背景を利用したキーイングが知られている。また、背景のみを撮影した動画像である背景動画像と、被写体および背景を撮影した動画像である本番動画像との差分を前景背景差分処理によって求めることで、被写体と背景の分離を行うことができる。

図１の撮影システム１は、背景動画像の撮影である背景撮影と、本番動画像の撮影である本番撮影とを行い、背景動画像と本番動画像との差分を前景背景差分処理によって求めることで、被写体と背景の分離を行う。ここで、本番撮影は、被写体が存在する状況での撮影であるのに対し、背景撮影は、被写体が存在しない状況での撮影である。本番動画像は、所定の第１タイミング（本番撮影のタイミング）でカメラ１２により撮影された第２動画像であり、背景動画像は、第１タイミングと異なるタイミングである第２タイミング（背景撮影のタイミング）でカメラ１２により撮影された第３動画像である。

図３は、Ｎ＝８とした撮影システム１が背景撮影を行う時の状況の例を示す平面図である。

図３の例では、部屋のような撮影空間の中央部に向けて、８台のカメラ１２－１乃至１２－８が略等間隔で環状に配置されている。カメラ１２－１とカメラ１２－５、カメラ１２－２とカメラ１２－６、カメラ１２－３とカメラ１２－７、およびカメラ１２－４とカメラ１２－８は、それぞれ対向した状態で配置されている。

カメラ１２－５とカメラ１２－６の間には、モニタ１３が正面を中央に向けて配置されている。ここでは、モニタ１３は、カメラ１２－２の撮影範囲に位置する。吹き出し＃１に示すように、モニタ１３には、人が踊っている様子が写る動画像が参考動画像として表示されている。

このように、背景撮影は、被写体が存在しない状態で行われる。カメラ１２－１乃至１２－８のそれぞれによって撮影された背景動画像には、画角内に存在する他のカメラ１２、モニタ１３、撮影空間の壁、天井、床などが背景として写ることになる。

例えば、吹き出し＃２に示すように、カメラ１２－２により撮影された背景動画像においては、カメラ１２－６が中央近傍に写り、モニタ１３がカメラ１２－６の左側に写り込む。背景撮影時のモニタ１３には参考動画像が表示されているから、カメラ１２－２により撮影された背景動画像に写るモニタ１３にも、人が踊っている様子が写る参考動画像が表示されることになる。

図４は、Ｎ＝８とした撮影システム１が本番撮影を行う時の状況の例を示す平面図である。

図４に示すように、本番撮影時におけるカメラ１２－１乃至１２－８、およびモニタ１３の配置は、図３を参照して説明した背景撮影時における配置と同様である。

本番撮影は、被写体Ｏｂ１１としての人物が撮影空間の中央部に存在する状況で行われる。カメラ１２－１乃至１２－８のそれぞれによって撮影された本番動画像には、画角内に存在する被写体Ｏｂ１１と背景が写ることになる。なお、本番撮影時、吹き出し＃１１に示すように、モニタ１３には、背景撮影時に表示されていた動画像と同じ動画像が参考動画像として表示される。

吹き出し＃１２に示すように、カメラ１２-２により撮影された本番動画像においては、被写体Ｏｂ１１が中央近傍に写り、モニタ１３が被写体Ｏｂ１１の左奥側の位置に写り込む。本番撮影時のモニタ１３には参考動画像が表示されているから、カメラ１２－２により撮影された本番動画像に写るモニタ１３にも、人が踊っている様子が写る参考動画像が表示されることになる。

このように、本番撮影は、被写体を撮影空間の中央部に配置して撮影する以外は、背景撮影と同様に行われる。

前景背景差分処理によって被写体と背景の分離を行う場合、本番撮影時に、背景撮影時に存在しなかったものが撮影空間にある場合、そのもの自体も被写体として扱われてしまう。

例えば、本番撮影時と背景撮影時とで、カメラ１２－２により撮影された本番動画像に写り込むモニタ１３の参考動画像が、背景撮影時のモニタ１３に表示された参考動画像と異なる場合に、本番動画像に写り込むモニタ１３の参考動画像も、被写体として抽出されてしまう。

そこで、撮影システム１の制御装置１１は、同期信号を生成してカメラ１２－１乃至１２－８およびモニタ１３に供給することにより、カメラ１２－１乃至１２－８の撮影タイミングとモニタ１３の表示タイミングとが同期するように制御する。

図５は、同期信号に基づく撮影タイミングと表示タイミングの制御の例を示す図である。

背景撮影と本番撮影のそれぞれの撮影時には、例えば、図５の上側に示すような同期信号がカメラ１２とモニタ１３それぞれに供給される。図５に示す同期信号は、所定の周期で０（Low）と１（High）を交互に繰り返すパルス信号であり、図５の例では、時刻ｔ１，ｔ３，ｔ５，ｔ７，・・・で立ち上がり、時刻ｔ２，ｔ４，ｔ６，ｔ８，・・・で立ち下がる。

カメラ１２は、同期信号の立ち上がりの時刻である時刻ｔ１，ｔ３，ｔ５，ｔ７のそれぞれのタイミングで、動画像（本番動画像または背景動画像）を構成するフレーム画像を取得するための露光（撮影）を行う。

また、モニタ１３は、同期信号の立ち上がりの時刻である時刻ｔ１，ｔ３，ｔ５，ｔ７のそれぞれのタイミングで、参考動画像を構成する１以上のフレーム画像を順に表示する。参考動画像の表示は、上述したように、本番撮影と背景撮影のそれぞれの撮影時に行われる。

なお、制御装置１１は、モニタ１３に表示されるフレーム画像の更新のタイミング（表示タイミング）に先行して、フレーム画像のデコードを行う。例えば、図５に示すように、時刻ｔ１のタイミングで表示されるフレーム画像は、時刻ｔ１よりも前にデコードされる。時刻ｔ３，ｔ５，ｔ７のそれぞれのタイミングで表示されるフレーム画像についても同様に、それぞれのタイミングよりも前にデコードされる。

本番撮影時と背景撮影時のそれぞれにおいて、制御装置１１が同期信号を生成してカメラ１２－１乃至１２－８およびモニタ１３に供給することにより、本番動画像と背景動画像の同じフレーム番号のフレーム画像に、参考動画像の同じフレーム画像の少なくとも一部が写り込むことになる。

本番動画像と背景動画像の同じフレーム番号のフレーム画像には参考動画像の同じフレーム画像が写り込んでいることから、前景背景差分処理によって被写体と背景の分離を行う際に、本番動画像内のモニタ１３に表示されている参考動画像の領域を背景として扱うことができる。これにより、本番動画像に写り込むモニタ１３の参考動画像が被写体として抽出されることを防止することが可能となる。その結果、撮影システム１では、３Ｄモデル生成の撮影において、被写体となる人物に対して参考動画像を提供しながら撮影を行うことが可能となる。

なお、上述した例では、同期信号の立ち上がりのタイミングでカメラ１２による撮影とモニタ１３による参考動画像の表示を行うようにしたが、同期信号の立ち下がりのタイミングで、カメラ１２による撮影とモニタ１３による参考動画像の表示が行われるようにしてもよい。

図６は、前景背景差分処理の例を示す図である。

図６の左側に示す本番動画像は、図４を参照して説明したカメラ１２－２により撮影された本番動画像である。また、図６の中央に示す背景動画像は、図３を参照して説明したカメラ１２－２により撮影された背景動画像である。

制御装置１１は、本番動画像と背景動画像との差分を求めることで、図６の右側に示すように、被写体Ｏｂ１１が写る領域のデータを差分データとして抽出する。

具体的には、制御装置１１は、本番動画像を構成する画素と、その画素と同じ画素位置の背景動画像の画素との画素値を比較し、画素値の差分が所定の閾値以上となる本番動画像内の画素を、前景の画素として抽出する。本番動画像を構成する全ての画素を対象としてこのような画素値の比較が行われ、前景の画素、すなわち被写体を構成する画素が差分データとして生成される。

画素値の比較は、RGB値を比較することによって行われるようにしてもよいし、RGB値を変換して得られたHSV(Hue,Saturation,Value)値を比較することによって行われるようにしてもよい。HSV値を用いた比較では、影の有無など、色（色相）は変化せずに、明度のみが変化するような画素値の変化を、変化有りとして抽出しないような制御が可能となる。また、比較対象の１画素だけでなく、比較対象の画素の周辺画素も含めて画素値の比較を行うことにより差分データが生成されるようにしてもよい。前景の画素を判断するために用いられる閾値は、撮影環境に応じて適宜設定されるようにすることができる。

以上のような前景背景差分処理が、複数のカメラ１２で撮影された本番動画像と背景動画像について行われ、カメラ１２ごとに、動画像の差分データが生成される。

以上のように、撮影システム１によれば、参考動画像を表示しているモニタ１３が写り込む本番動画像から、被写体を適切に抽出することが可能となる。モニタ１３に表示される画像が撮影中に変化したとしても、その影響を受けることなく前景背景差分処理を行うことが可能となる。

＜２．撮影システムの構成＞
図７は、撮影システム１の構成例を示すブロック図である。

撮影システム１は、制御装置１１、Ｎ台のカメラ１２－ｎ（ｎ＝１乃至Ｎ）、およびモニタ１３を含む。カメラ１２－ｎには、撮影部５１が設けられている。また、モニタ１３には、表示部５２が設けられている。

制御装置１１は、操作部３１、制御部３２、再生部３３、同期信号生成部３４、記憶制御部３５、記憶部３６、および画像処理部３７により構成される。

操作部３１は、タッチパネルモニタ、キーボード、マウス、コントローラ、遠隔操作機器などにより構成される。操作部３１は、撮影者や被写体となる人物による操作を検出し、検出された操作の内容を表す情報を制御部３２に供給する。

例えば、操作部３１は、背景撮影を開始するための操作、本番撮影を開始するための操作、３Ｄモデルデータを生成するための操作などを検出する。背景撮影時と本番撮影時にモニタ１３に表示される参考動画像を指定するための操作が操作部３１により検出されるようにしてもよい。

制御部３２は、操作部３１から供給される情報に基づいて、制御装置１１の各構成、およびカメラ１２－ｎを制御する。

例えば、本番撮影または背景撮影を開始するための操作が操作部３１により検出された場合、制御部３２は、カメラ１２－ｎの撮影部５１を制御し、動画像のフレームレートや解像度の設定などの各種の設定を行う。また、制御部３２は、所定の参考動画像をモニタ１３に表示させるための制御を再生部３３に対して行う。さらに、制御部３２は、同期信号を生成させるための制御を同期信号生成部３４に対して行う。

一方、３Ｄモデルデータを生成するための操作が操作部３１により検出された場合、制御部３２は、３Ｄモデルデータ生成処理を行わせるための制御を画像処理部３７に対して行う。

再生部３３は、記憶部３６に記憶されている参考動画像の中から、制御部３２により指定された参考動画像を取得し、再生する。再生部３３は、モニタ１３の表示タイミングに先行して参考動画像のデコードを行い、デコードを行うことによって得られた参考動画像を表示部５２に供給する。参考動画像のデコードは、記憶部３６に記憶される際の符号化方式に対応する方式で行われる。なお、参考動画像のフレームレートは、撮影部５１が本番撮影または背景撮影を行う際のフレームレートと同一であるとする。

同期信号生成部３４は、制御部３２による制御に従って、図５を参照して説明した同期信号を生成し、撮影部５１と表示部５２にそれぞれ供給する。

記憶制御部３５は、撮影部５１から供給される動画像を、例えば、MPEG2方式やAVC方式などの所定の符号化方式でエンコードし、記憶部３６に記憶させる。

記憶部３６は、半導体メモリなどの内部または外部のストレージを含む補助記憶装置により構成される。記憶部３６は、再生用データ記憶部４１と撮影用データ記憶部４２を有する。

再生用データ記憶部４１には、再生部３３により再生される参考動画像が記憶される。

撮影用データ記憶部４２には、記憶制御部３５から供給される背景動画像および本番動画像が記憶される。撮影用データ記憶部４２には、背景動画像および本番動画像とともに、動画像の撮影に用いられるカメラ１２－ｎに関する情報も記憶される。カメラ１２－ｎに関する情報は、例えば、カメラ１２－ｎの内部パラメータおよび外部パラメータを含む。

なお、再生用データ記憶部４１と撮影用データ記憶部４２は、別々の記憶部として、制御装置１１内に設けられるようにしてもよい。

画像処理部３７は、制御部３２による制御に従って、被写体の３Ｄモデルデータを生成する。画像処理部３７は、前景背景差分処理部４３と３Ｄモデルデータ生成部４４を有する。

前景背景差分処理部４３は、本番動画像と背景動画像をカメラ１２ごとに記憶部３６から取得する。前景背景差分処理部４３は、本番動画像と背景動画像を用いて前景背景差分処理を行い、差分データを生成する。前景背景差分処理部４３により生成された差分データは、３Ｄモデルデータ生成部４４に供給される。

３Ｄモデルデータ生成部４４は、記憶部３６から各カメラ１２に関する情報を取得する。３Ｄモデルデータ生成部４４は、前景背景差分処理部４３から供給されたカメラ１２ごとの差分データと各カメラ１２に関する情報とに基づいて、Visual Hullなどの手法を用いて、被写体の３Ｄモデルデータを生成する。３Ｄモデルデータ生成部４４により生成された被写体の３Ｄモデルデータは、記憶部３６に記憶されたり、外部の装置に出力されたりする。

なお、画像処理部３７は、制御装置１１の一部ではなく、制御装置１１とは別の画像処理装置として設けられるようにしてもよい。

カメラ１２－ｎの撮影部５１は、同期信号生成部３４から供給される同期信号に基づく撮影タイミングで、本番動画像または背景動画像の撮影を行う。本番動画像または背景動画像の撮影により取得される動画像は、制御装置１１の記憶制御部３５に供給される。

モニタ１３の表示部５２は、同期信号生成部３４から供給される同期信号に基づく表示タイミングで、再生部３３から供給される参考動画像を表示する。

＜３．撮影システムの動作＞
次に、図８乃至図１１のフローチャートを参照して、撮影システム１の動作について説明する。

はじめに、図８のフローチャートを参照して、制御装置１１の同期動画像生成処理について説明する。

図８の同期動画像生成処理は、背景動画像と本番動画像を撮影するための一連の処理である。この処理は、例えば、背景撮影を開始するための操作が操作部３１により検出されたときに開始される。

ステップＳ１において、制御装置１１は、背景動画像撮影処理を行う。背景動画像撮影処理は、後述する図９の動画像撮影処理を、撮影空間に被写体が存在しない状態で行う処理である。背景動画像撮影処理により、背景動画像が生成され、記憶部３６に記憶される。

次に、本番撮影を開始するための操作が操作部３１により検出されると、ステップＳ２において、制御装置１１は、本番動画像撮影処理を行う。本番動画像撮影処理は、後述する図９の動画像撮影処理を、撮影空間に被写体が存在する状態で行う処理である。本番動画像撮影処理により、本番動画像が生成され、記憶部３６に記憶される。記憶部３６に、背景動画像と本番動画像が記憶されると、同期動画像生成処理は終了する。

次に、図９のフローチャートを参照して、図８のステップＳ１またはステップＳ２の処理として実行される動画像撮影処理について説明する。

ステップＳ１１において、制御部３２は、カメラ１２とモニタ１３の準備を行う。具体的には、制御部３２は、撮影部５１を制御し、動画像のフレームレートや解像度の設定などの各種の設定を行う。また、制御部３２は、参考動画像をモニタ１３に表示させるための制御を再生部３３に対して行う。再生部３３は、制御部３２により指定された参考動画像を取得して、参考動画像のデコードを行い、参考動画像のフレーム画像を表示部５２に適宜供給する。

ステップＳ１２において、制御部３２は、同期信号生成部３４に、同期信号の生成を開始させる。同期信号生成部３４は、制御部３２の制御に従い、同期信号を生成して、各カメラ１２の撮影部５１と表示部５２に供給する。

ステップＳ１３において、各カメラ１２の撮影部５１は、同期信号生成部３４から供給された同期信号に基づいて、背景動画像または本番動画像の撮影を行う。これと同時に、表示部５２は、同期信号生成部３４から供給された同期信号に基づいて、参考動画像の表示を行う。

ステップＳ１４において、制御部３２は、同期信号生成部３４に、同期信号の生成を停止させる。例えば、撮影を終了するための操作が操作部３１により検出された場合、ステップＳ１４の処理が行われる。同期信号の生成が開始されてから所定の時間が経過した場合、ステップＳ１４の処理が行われるようにしてもよい。

ステップＳ１５において、制御部３２は、撮影部５１から供給される撮影の終了通知を受け取る。

ステップＳ１６において、記憶制御部３５は、各カメラ１２で撮影された動画像を記憶部３６に保存する。すなわち、記憶制御部３５は、ステップＳ１３の処理で撮影部５１により撮影されて供給されてくる背景動画像または本番動画像を、例えば、MPEG2方式やAVC方式などの所定の符号化方式でエンコードし、記憶部３６に記憶させる。

以上により、図８のステップＳ１またはステップＳ２の処理として実行される動画像撮影処理は終了する。図８のステップＳ１の背景動画像撮影処理と、ステップＳ２の本番動画像撮影処理との違いは、撮影空間に被写体が存在する状態で行うか否かである。

次に、図１０のフローチャートを参照して、制御装置１１による被写体の３Ｄモデルデータ生成処理について説明する。この処理は、例えば、被写体の３Ｄモデルデータを生成するための操作が操作部３１により検出されたときに開始される。

はじめに、ステップＳ３１において、前景背景差分処理部４３は、それぞれのカメラ１２により撮影された本番動画像ごとに前景背景差分処理を行う。前景背景差分処理により、カメラ１２ごとの動画像の差分データが生成される。なお、前景背景差分処理の詳細については、図１１のフローチャートを参照して後述する。

ステップＳ３２において、３Ｄモデルデータ生成部４４は、カメラ１２ごとの動画像の差分データに基づいて被写体の３Ｄモデルデータを生成する。

図１１のフローチャートを参照して、図１０のステップＳ３１において行われる前景背景差分処理の詳細について説明する。

ステップＳ４１において、前景背景差分処理部４３は、本番動画像を構成する複数のフレーム画像のうち、所定の１枚のフレーム画像を記憶部３６から読み込む。例えば、前景背景差分処理部４３は、後述するように繰り返し実行されるステップＳ４１の処理において、本番動画像を構成する複数のフレーム画像を、先頭のフレーム画像から、順番に１フレームずつ読み込む。

ステップＳ４２において、前景背景差分処理部４３は、背景動画像を構成する複数のフレーム画像のうち、ステップＳ４１で読み込んだ本番動画像のフレーム画像のフレーム番号と同じフレーム番号となる、背景動画像のフレーム画像を記憶部３６から読み込む。

ステップＳ４３において、前景背景差分処理部４３は、記憶部３６から読み込んだ本番動画像のフレーム画像を構成する複数画素のうちの所定の画素を処理対象画素に設定し、その処理対象画素と、背景動画像のフレーム画像を構成する画素のうちの、処理対象画素に対応する画素との画素値の差分を算出する。そして、前景背景差分処理部４３は、算出した画素値の差分が所定の閾値以上であるか否かを判定する。

ステップＳ４３において画素値の差分が所定の閾値以上であると判定された場合、処理はステップＳ４４に進み、前景背景差分処理部４３は、処理対象画素を前景の画素に設定する。

一方、ステップＳ４３において画素値の差分が所定の閾値未満であると判定された場合、処理はステップＳ４５に進み、前景背景差分処理部４３は、処理対象画素を背景の画素に設定する。

ステップＳ４６において、前景背景差分処理部４３は、ステップＳ４１で読み込んだ本番動画像のフレーム画像の各画素のなかで、処理対象画素に設定する次の画素があるか否かを判定する。ステップＳ４６では、ステップＳ４１で読み込んだ本番動画像のフレーム画像の全ての画素を処理対象画素に設定した場合、処理対象画素に設定する次の画素はないと判定され、全ての画素をまだ処理対象画素に設定していない場合、処理対象画素に設定する次の画素があると判定される。

ステップＳ４６において次の画素があると判定された場合、処理はステップＳ４３に戻り、まだ処理対象画素に設定していない画素を処理対象画素に設定して、それ以降の処理が行われる。

一方、ステップＳ４６において次の画素がないと判定された場合、処理はステップＳ４７に進み、前景背景差分処理部４３は、前景のみのフレーム画像を生成する。すなわち、ステップＳ４７では、ステップＳ４１で読み込んだ本番動画像のフレーム画像のうち、前景の画素に設定された画素のみを集めたフレーム画像が生成される。背景の画素と設定された画素には、例えば、０などの固定の画素値が格納される。

次に、ステップＳ４８において、前景背景差分処理部４３は、次のフレーム画像があるか、すなわち、本番動画像のなかで、前景のみのフレーム画像の生成をまだ行っていないフレーム画像があるか否かを判定する。

ステップＳ４８において次のフレーム画像があると判定された場合、処理はステップＳ４１に戻り、前景のみのフレーム画像の生成をまだ行っていない本番動画像のフレーム画像が、次のフレーム画像として読み込まれて、それ以降の処理が行われる。

一方、ステップＳ４８において次のフレーム画像がないと判定された場合、処理はステップＳ４９に進み、前景背景差分処理部４３は、動画像の差分データを生成する。すなわち、前景背景差分処理部４３は、繰り返し実行されたステップＳ４７の処理で生成された前景のみのフレーム画像を、本番動画像のフレーム画像と同じ順番に配列することで、動画像の差分データを生成する。

以上で、図１１の前景背景差分処理は終了する。図１１の前景背景差分処理は、複数のカメラ１２により撮影された本番動画像のそれぞれに対して行われる。各カメラ１２に対応する本番動画像を１つずつ順番に選択して前景背景差分処理を実行してもよいし、２つ以上または全ての本番動画像を同時に選択して前景背景差分処理を実行してもよい。全てのカメラ１２に対応する全ての本番動画像に対して動画像の差分データが生成された後、図１０のステップＳ３１に戻り、それ以降の処理が行われる。

以上の撮影システム１によれば、被写体となる人物が本番撮影時にモニタ１３に表示された参考動画像を確認しながら、撮影することが可能となり、その際にモニタ１３に表示される動画像が被写体として抽出されることを防止することができる。

＜４．モニタリング表示を行う場合の処理について＞
次に、撮影システム１が、モニタリング表示を行いながら、動画像の撮影を行う場合について説明する。

撮影システム１がモニタリング表示を行う場合、上述したように、カメラ１２で撮影されている動画像が、参考動画像としてリアルタイムにモニタ１３に表示される。すなわち、本番撮影時には、撮影中の本番動画像が参考動画像としてモニタ１３にそのまま表示されることになる。

この場合、背景撮影時には、モニタ１３に参考動画像として表示される本番動画像が必要となることから、背景撮影より前に本番撮影が行われ、本番撮影の後に背景撮影が行われる。背景撮影時には、本番撮影時にモニタ１３に表示され、制御装置１１に記憶されている本番動画像が参考動画像として表示される。

＜撮影システム１の構成＞
図１２は、モニタリング表示を行う場合の撮影システム１の構成例を示すブロック図である。

図１２において、図７の撮影システム１の構成と同じ構成には同じ符号を付してあり、重複する説明については適宜省略する。

図１２に示す撮影システム１の構成は、カメラ１２－ｍにより得られる本番動画像が表示部５２に供給される点で、図７を参照して説明した撮影システム１の構成と異なる。

カメラ１２－ｍ（ｍは１乃至Ｎのいずれか）は、モニタ１３に表示される参考動画像としての本番動画像の撮影を行うカメラである。カメラ１２－ｍに対しては、カメラ１２－ｎ（ｎはｍを除いた１乃至Ｎ）と同じ同期信号が同期信号生成部３４から供給される。

カメラ１２－ｍには、カメラ１２－ｎと同様に、撮影部５１－ｍが設けられている。撮影部５１－ｍは、同期信号生成部３４から供給される同期信号に基づく撮影タイミングで本番動画像または背景動画像の撮影を行う。本番撮影時、撮影部５１－ｍにより撮影された本番動画像は、記憶制御部３５と表示部５２に供給される。背景撮影時、撮影部５１－ｍにより撮影された背景動画像は、表示部５２には供給されずに記憶制御部３５に供給される。

本番撮影時、表示部５２は、同期信号生成部３４から供給される同期信号に基づく表示タイミングで、撮影部５１－ｍから供給される本番動画像を参考動画像として表示する。一方、背景撮影時、表示部５２は、同期信号生成部３４から供給される同期信号に基づく表示タイミングで、再生部３３から供給される参考動画像を表示する。再生部３３から供給される参考動画像は、本番撮影時に撮影部５１－ｍから供給される本番動画像と同一である。

制御部３２は、操作部３１から供給される情報に基づいて、カメラ１２－ｍをカメラ１２－ｎと同様に制御する。本番撮影または背景撮影を開始するための操作が操作部３１により検出された場合、制御部３２は、撮影部５１－ｍおよび撮影部５１－ｎを制御し、動画像のフレームレートや解像度の設定などの各種の設定を行う。

また、制御部３２は、本番撮影時には、撮影部５１－ｍで撮影された本番動画像が参考動画像としてモニタ１３に表示されるため、再生部３３に所定の動画像の再生を行わせない。換言すれば、制御部３２は、本番撮影時には、再生部３３が所定の動画像の再生を行わないように制御する。一方、制御部３２は、背景撮影時には、本番撮影時にモニタ１３に表示された本番動画像を参考動画像としてモニタ１３に再度表示させるための制御を再生部３３に対して行う。

再生部３３は、本番撮影時には、制御部３２による制御に従って、所定の動画像の再生を行わない。一方、再生部３３は、背景撮影時には、記憶部３６に記憶されている本番動画像の中から、制御部３２により指定された本番動画像（撮影部５１－ｍで撮影された本番動画像）を取得し、再生する。再生部３３が、モニタ１３の表示タイミングに先行して参考動画像のデコードを行って、参考動画像としての本番動画像を表示部５２に供給する点は、図７と同様である。

記憶制御部３５は、撮影部５１－ｍおよび撮影部５１－ｎから供給された動画像を所定の符号化方式でエンコードし、記憶部３６に記憶させる。

再生用データ記憶部４１には、撮影部５１－ｍにより撮影された本番動画像が参考動画像として記憶される。

＜制御装置１１の動作＞
次に、図１３のフローチャートを参照して、モニタリング表示を行う場合の制御装置１１の同期動画像生成処理について説明する。

図１３の同期動画像生成処理は、例えば、本番撮影を開始するための操作が操作部３１により検出されたときに開始される。

はじめに、ステップＳ１０１において、制御装置１１は、本番動画像撮影処理を行う。ステップＳ１０１の処理では、カメラ１２－ｍにより撮影されている本番動画像がモニタ１３に表示され、撮影空間に被写体が存在する状態で、図９の動画像撮影処理が行われる。本番動画像撮影処理により、各カメラ１２で撮影された本番動画像が記憶部３６に記憶される。

次に、背景撮影を開始するための操作が操作部３１により検出されると、ステップＳ１０２において、制御装置１１は、背景動画像撮影処理を行う。ステップＳ１０２の処理では、ステップＳ１０１の処理でモニタ１３に表示された本番動画像が参考動画像としてモニタ１３に表示され、撮影空間に被写体が存在しない状態で、図９の動画像撮影処理が行われる。背景動画像撮影処理により、各カメラ１２で撮影された背景動画像が記憶部３６に記憶される。

図１３の同期動画像生成処理により生成された本番動画像と背景動画像とを用いて、被写体の３Ｄモデルデータが生成される。なお、被写体の３Ｄモデルデータを生成する処理は、図１０に示した被写体の３Ｄモデルデータ生成処理と同様であるため、その説明は省略する。

以上の撮影システム１によれば、被写体となる人物が本番撮影時に自身の動きを確認しながら、３Ｄモデルデータの生成に必要な動画像を生成することが可能となり、その際にモニタ１３に表示される動画像が被写体として抽出されることを防止することができる。

＜５．変形例＞
＜タイムコードが表示される例＞
本番撮影と背景撮影のそれぞれの撮影時、制御部３２は、モニタ１３に、参考動画像とともに、タイムコードを示す情報が表示されるように制御することができる。

この場合、カメラ１２により撮影された動画像自体のタイムコードと、カメラ１２により撮影された動画像内に写り込んでいるタイムコードとが一致しているかを確認することができる。これにより、カメラ１２の撮影タイミングとモニタ１３の表示タイミングの同期を確認することが容易に可能となる。

＜複数台のモニタ１３を配置する例＞
被写体として複数人の人物が存在する状態で本番撮影が行われる場合や、被写体となる人物が様々な方向を向いて本番撮影が行われる場合がある。この場合、複数台のモニタ１３が撮影空間に配置されることが好ましい。

図１４は、撮影システム１の他の構成例であり、複数台のモニタ１３を撮影空間に配置するようにした場合の撮影システム１の構成例を示す図である。

図１４の撮影システム１は、制御装置１１、Ｎ台のカメラ１２－１乃至１２－Ｎ、およびＮ台のモニタ１３－１乃至１３－Ｎにより構成される。カメラ１２－１乃至１２－Ｎとモニタ１３－１乃至１３－Ｎは、同じ撮影空間に配置される。

モニタ１３－１乃至１３－Ｎのそれぞれには、異なる参考動画像が表示されるようにしてもよいし、同じ参考動画像が表示されるようにしてもよい。

複数台のモニタ１３が設けられる場合においても、制御装置１１により生成される同期信号に基づいて、カメラ１２－１乃至１２－Ｎの撮影タイミングと、モニタ１３－１乃至１３－Ｎの表示タイミングとが同期するように制御される。

図１５は、Ｎ＝８とした図１４の撮影システム１における本番撮影時の状況を示す平面図である。

図１５の例では、８台のカメラ１２－１乃至１２－８と８台のモニタ１３－１乃至１３－８が交互に並ぶようにして環状に配置されている。

モニタ１３－１乃至１３－８は、正面を中央に向けて、カメラ１２－１とカメラ１２－２の間、カメラ１２－２とカメラ１２－３の間、カメラ１２－３とカメラ１２－４の間、カメラ１２－４とカメラ１２－５の間、カメラ１２－５とカメラ１２－６の間、カメラ１２－６とカメラ１２－７の間、カメラ１２－７とカメラ１２－８の間、およびカメラ１２－８とカメラ１２－１の間にそれぞれ配置されている。

なお、図１４および図１５の例では、カメラ１２の台数と同じ台数のモニタ１３が撮影システム１に設けられる例を示したが、撮影システム１に設けられるモニタ１３の台数はカメラ１２の台数と異なっていてもよい。

以上のように、複数台のモニタ１３が設けられる場合においても、制御装置１１は、本番動画像と背景動画像を用いて前景背景差分処理を行うことによって、被写体として想定している例えば人物のみを前景として本番動画像から分離することが可能となる。この際、同期信号に基づいて、カメラ１２－１乃至１２－Ｎの撮影タイミングと、モニタ１３－１乃至１３－Ｎの表示タイミングとが同期するように制御されることにより、本番動画像に写り込むモニタ１３－１乃至１３－Ｎの参考動画像が被写体として抽出されることを防止することが可能となる。

＜同期信号生成装置が設けられる例＞
図７の撮影システム１においては、同期信号生成部３４が制御装置１１内に設けられるものとしたが、同期信号生成部３４の機能については、制御装置１１の外部の装置において実現されるようにしてもよい。

図１６は、撮影システム１のさらに他の構成例であって、同期信号生成部３４の機能を別装置とした場合の撮影システム１の構成例を示す図である。

図１６に示す撮影システム１は、制御装置１１Ａ、カメラ１２－１乃至１２－Ｎ、モニタ１３、および同期信号生成装置１０１がそれぞれ直接またはネットワークを介して接続されることによって構成される。

同期信号生成装置１０１には、図７の同期信号生成部３４の構成が設けられる。すなわち、同期信号生成装置１０１は、制御装置１１による制御に従って、同期信号を生成し、カメラ１２－１乃至１２－Ｎとモニタ１３にそれぞれ供給する。制御装置１１Ａは、図７の制御装置１１から同期信号生成部３４を除いた構成とされる。

このように、制御装置１１に設けられる一部の構成が制御装置１１の外部に設けられるようにしてもよい。

＜フレームレート変換を行う例＞
上述した各実施の形態では、カメラ１２が本番撮影または背景撮影を行う際のフレームレートと、再生部３３が参考動画像を再生する際のフレームレートが同一である前提で説明したが、参考動画像のフレームレートが、カメラ１２が撮影を行うフレームレートと異なる場合もあり得る。その場合、制御部３２は、再生部３３にフレームレートを指定し、再生部３３は、制御部３２から指定された参考動画像を、指定されたフレームレートに変換して再生し、表示部５２に供給することができる。

また、例えば、参考動画像としてモニタ１３に表示させたい台詞や歌詞が動画像ではなく、１枚以上の静止画像で構成される場合には、再生部３３は、その静止画像を、制御部３２から指定されたフレームレートの動画像に変換して、表示部５２に供給することができる。

＜６．コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

CPU(Central Processing Unit)３０１、ROM(Read Only Memory)３０２、RAM(Random Access Memory)３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、およびドライブ３１０が接続されている。

入力部３０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部３０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部３０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体３１１を駆動する。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを入出力インタフェース３０５およびバス３０４を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。

なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

（１）
撮像装置が撮影を行う撮影タイミングと、前記撮像装置の撮影範囲に位置する表示装置が第１動画像を表示する表示タイミングとを同期させる制御を行う制御部と、
第１タイミングで前記撮像装置により撮影された第２動画像と、前記第１タイミングと異なるタイミングである第２タイミングで前記撮像装置により撮影された第３動画像とに基づいて前景背景差分処理を行う画像処理部とを備え、
前記第２動画像および前記第３動画像は、前記第２動画像および前記第３動画像で前記表示タイミングが同期された前記第１動画像の少なくとも一部を共に含む
制御装置。
（２）
前記第２動画像は、被写体および背景を含む動画像である本番動画像であり、
前記第３動画像は、前記背景を含む動画像である背景動画像であり、
前記画像処理部は、前記背景動画像と前記本番動画像とを用いて前記前景背景差分処理を行う
前記（１）に記載の制御装置。
（３）
前記第１動画像は、前記本番動画像の撮影時に参考とする参考動画像であり、
前記制御部は、前記参考動画像を前記表示装置に表示させる制御をさらに行う
前記（２）に記載の制御装置。
（４）
前記参考動画像は、所定の記憶部から読み出されて再生された動画像である
前記（３）に記載の制御装置。
（５）
前記所定の記憶部に記憶されている前記参考動画像を再生する再生部をさらに備え、
前記再生部は、前記表示装置の表示タイミングに先行して、前記参考動画像のデコードを行う
前記（４）に記載の制御装置。
（６）
前記参考動画像は、前記本番動画像の撮影において前記撮像装置で撮影された動画像である
前記（３）に記載の制御装置。
（７）
前記制御部は、前記第１タイミングおよび前記第２タイミングにおいて、同一の前記参考動画像を前記表示装置に表示させる
前記（３）乃至（６）のいずれかに記載の制御装置。
（８）
前記制御部は、前記本番動画像および前記背景動画像の撮影を行う際、前記本番動画像および前記背景動画像の同じフレーム番号において、同一の前記参考動画像のフレーム画像を前記表示装置に表示させる
前記（７）に記載の制御装置。
（９）
前記制御部は、同期信号を生成させ、前記同期信号の立ち上がりまたは立ち下がりのタイミングで、前記撮像装置に撮影を行わせるとともに、前記表示装置に前記第１動画像を表示させる
前記（１）乃至（８）のいずれかに記載の制御装置。
（１０）
前記制御部は、複数台の前記撮像装置が撮影を行う撮影タイミングと、複数台の前記表示装置が前記第１動画像を表示する表示タイミングとを同期させる制御を行う
前記（１）乃至（９）のいずれかに記載の制御装置。
（１１）
前記制御部は、複数台の前記表示装置にそれぞれ異なる前記第１動画像を表示させる
前記（１０）に記載の制御装置。
（１２）
前記制御部は、タイムコードを示す情報を、前記第１動画像とともに前記表示装置に表示させる制御をさらに行う
前記（１）乃至（１１）のいずれかに記載の制御装置。
（１３）
前記制御部の制御に基づいて、前記同期信号を生成する同期信号生成部をさらに備える
前記（９）に記載の制御装置。
（１４）
前記画像処理部は、前記撮像装置により撮影された前記第２動画像と前記第３動画像との前景背景差分処理を行うことにより差分データを生成し、前記差分データに基づいて３Ｄモデルデータをさらに生成する
前記（１）乃至（１３）のいずれかに記載の制御装置。
（１５）
複数台の撮像装置と、
少なくとも１台の表示装置と、
前記複数台の撮像装置が撮影を行う撮影タイミングと、前記複数台の撮像装置のうちの少なくとも１つの撮像装置の撮影範囲に位置する前記表示装置が第１動画像を表示する表示タイミングとを同期させる制御を行う制御部と、
第１タイミングで前記撮像装置により撮影された第２動画像と、前記第１タイミングと異なるタイミングである第２タイミングで前記撮像装置により撮影された第３動画像とに基づいて前景背景差分処理を行う画像処理部と
を備え、
前記第２動画像および前記第３動画像は、前記第１動画像の少なくとも一部を共に含む
撮影システム。
（１６）
複数台の撮像装置が撮影を行う撮影タイミングと、前記複数台の撮像装置のうちの少なくとも１つの撮像装置の撮影範囲に位置する表示装置が第１動画像を表示する表示タイミングとを同期させて前記複数台の撮像装置で撮影し、
第１タイミングで前記撮像装置により撮影された第２動画像と、前記第１タイミングと異なるタイミングである第２タイミングで前記撮像装置により撮影された第３動画像とに基づいて、前景背景差分処理を行うことによって差分データを生成し、
前前記差分データに基づいて３Ｄモデルデータを生成する
３Ｄモデルデータ生成方法。

１１ 制御装置， １２－１乃至１２－Ｎ カメラ， １３ モニタ， ３１ 操作部， ３２ 制御部， ３３ 再生部， ３４ 同期信号生成部， ３５ 記憶制御部， ３６ 記憶部， ３７ 画像処理部， ４１ 再生用データ記憶部， ４２ 撮影用データ記憶部， ４３ 前景背景差分処理部， ４４ ３Ｄモデルデータ生成部， ５１ 撮影部， ５２ 表示部，１０１ 同期信号生成装置

Claims (16)

1. 撮像装置が撮影を行う撮影タイミングと、前記撮像装置の撮影範囲に位置する表示装置が第１動画像を表示する表示タイミングとを同期させる制御を行う制御部と、
   第１タイミングで前記撮像装置により撮影された第２動画像と、前記第１タイミングと異なるタイミングである第２タイミングで前記撮像装置により撮影された第３動画像とに基づいて前景背景差分処理を行う画像処理部とを備え、
   前記第２動画像および前記第３動画像は、前記第２動画像および前記第３動画像で前記表示タイミングが同期された前記第１動画像の少なくとも一部を共に含む
   制御装置。
2. 前記第２動画像は、被写体および背景を含む動画像である本番動画像であり、
   前記第３動画像は、前記背景を含む動画像である背景動画像であり、
   前記画像処理部は、前記背景動画像と前記本番動画像とを用いて前記前景背景差分処理を行う
   請求項１に記載の制御装置。
3. 前記第１動画像は、前記本番動画像の撮影時に参考とする参考動画像であり、
   前記制御部は、前記参考動画像を前記表示装置に表示させる制御をさらに行う
   請求項２に記載の制御装置。
4. 前記参考動画像は、所定の記憶部から読み出されて再生された動画像である
   請求項３に記載の制御装置。
5. 前記所定の記憶部に記憶されている前記参考動画像を再生する再生部をさらに備え、
   前記再生部は、前記表示装置の表示タイミングに先行して、前記参考動画像のデコードを行う
   請求項４に記載の制御装置。
6. 前記参考動画像は、前記本番動画像の撮影において前記撮像装置で撮影された動画像である
   請求項３に記載の制御装置。
7. 前記制御部は、前記第１タイミングおよび前記第２タイミングにおいて、同一の前記参考動画像を前記表示装置に表示させる
   請求項３に記載の制御装置。
8. 前記制御部は、前記本番動画像および前記背景動画像の撮影を行う際、前記本番動画像および前記背景動画像の同じフレーム番号において、同一の前記参考動画像のフレーム画像を前記表示装置に表示させる
   請求項７に記載の制御装置。
9. 前記制御部は、同期信号を生成させ、前記同期信号の立ち上がりまたは立ち下がりのタイミングで、前記撮像装置に撮影を行わせるとともに、前記表示装置に前記第１動画像を表示させる
   請求項１に記載の制御装置。
10. 前記制御部は、複数台の前記撮像装置が撮影を行う撮影タイミングと、複数台の前記表示装置が前記第１動画像を表示する表示タイミングとを同期させる制御を行う
    請求項１に記載の制御装置。
11. 前記制御部は、複数台の前記表示装置にそれぞれ異なる前記第１動画像を表示させる
    請求項１０に記載の制御装置。
12. 前記制御部は、タイムコードを示す情報を、前記第１動画像とともに前記表示装置に表示させる制御をさらに行う
    請求項１に記載の制御装置。
13. 前記制御部の制御に基づいて、前記同期信号を生成する同期信号生成部をさらに備える
    請求項９に記載の制御装置。
14. 前記画像処理部は、前記撮像装置により撮影された前記第２動画像と前記第３動画像との前景背景差分処理を行うことにより差分データを生成し、前記差分データに基づいて３Ｄモデルデータをさらに生成する
    請求項１に記載の制御装置。
15. 複数台の撮像装置と、
    少なくとも１台の表示装置と、
    前記複数台の撮像装置が撮影を行う撮影タイミングと、前記複数台の撮像装置のうちの少なくとも１つの撮像装置の撮影範囲に位置する前記表示装置が第１動画像を表示する表示タイミングとを同期させる制御を行う制御部と、
    第１タイミングで前記撮像装置により撮影された第２動画像と、前記第１タイミングと異なるタイミングである第２タイミングで前記撮像装置により撮影された第３動画像とに基づいて前景背景差分処理を行う画像処理部と
    を備え、
    前記第２動画像および前記第３動画像は、前記第１動画像の少なくとも一部を共に含む
    撮影システム。
16. 複数台の撮像装置が撮影を行う撮影タイミングと、前記複数台の撮像装置のうちの少なくとも１つの撮像装置の撮影範囲に位置する表示装置が第１動画像を表示する表示タイミングとを同期させて前記複数台の撮像装置で撮影し、
    第１タイミングで前記撮像装置により撮影された第２動画像と、前記第１タイミングと異なるタイミングである第２タイミングで前記撮像装置により撮影された第３動画像とに基づいて、前景背景差分処理を行うことによって差分データを生成し、
    前記差分データに基づいて３Ｄモデルデータを生成する
    ３Ｄモデルデータ生成方法。

Images