JP2024014517A - 情報処理システム、情報処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】 撮影した画像を編集する際に、撮影時に入力された３次元仮想オブジェクトを適切なタイミングで表示する。【解決手段】 情報処理システムは、撮像装置により撮像される画像に合成される３次元仮想オブジェクトと、撮像した画像のタイムコードとを対応付けて記憶し、タイムコードに対応する３次元仮想オブジェクトを含む仮想視点画像を生成する。【選択図】 図１

Description

本開示は、仮想視点画像を生成する情報処理システム、情報処理方法及びコンピュータプログラム等に関するものである。

複数の撮像装置の撮像により得られた複数の画像を用いて、指定された仮想視点からの仮想視点画像を生成する技術が注目されている。特許文献１には、複数の撮像装置を異なる位置に配置して被写体を撮影し、撮影により得られた複数の撮像画像から推定される被写体の３次元形状を用いて、仮想視点画像を生成する方法について記載されている。

一方、背景用のＣＧや被写体の動きに合わせたエフェクト等の３次元仮想オブジェクトを撮像画像に合成して合成画像を生成することが行われている。このような合成画像を作成する場合、撮影の進捗や被写体の動きに合わせて３次元仮想オブジェクトを表示する必要があるため、３次元仮想オブジェクトの制御が手動の入力にならざるを得ない場合がある。そのため、撮影時刻と３次元仮想オブジェクトの表示時刻は対応付けて記録されていない。

特開２０１９－０５０５９３号公報

しかしながら、撮影終了後に仮想視点画像を生成する場合、再度３次元仮想オブジェクトの入力を行う必要があり、入力操作のタイミングが撮影時と合わず、撮影時の画像と異なるタイミングの画像で３次元仮想オブジェクトが表示される場合があった。

本開示は、仮想視点画像に３次元仮想オブジェクトを適切なタイミングで表示することを目的としている。

本開示の１つ実施態様の情報処理システムは、
撮像装置により撮像される画像に合成される３次元仮想オブジェクトと、前記画像の再生時間において、前記３次元仮想オブジェクトが合成された画像が表示される表示時刻と、が対応付けられた３次元仮想オブジェクト情報を保存する保存手段と、
仮想視点の位置および仮想視点からの視線方向を含む視点情報を取得する取得手段と、
前記３次元仮想オブジェクト情報と、前記視点情報とに基づいて、前記表示時刻に対応する時刻において前記３次元仮想オブジェクトを含む仮想視点画像を生成する生成手段と、
を有することを特徴とする。

本開示によれば、仮想視点画像に３次元仮想オブジェクトを適切なタイミングで表示することができる。

実施形態１に係る情報処理システムの装置構成の１例を示す図である。 実施形態１に係る情報処理システムのハードウェア構成を示す図である。 実施形態１の確認用画像生成装置で実行される処理フローを示す図である。 実施形態１の３次元仮想オブジェクトが記録されるテーブルを示す図である。 実施形態１の仮想視点画像生成装置で実行される処理フローを示す図である。 実施形態１の撮影の収録の様子を示す図である。 実施形態２の３次元仮想オブジェクト記憶部に記憶された３次元仮想オブジェクトを編集する様子を示す図である。

以下、図面を参照して本開示の実施形態を説明する。ただし、本開示は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

＜実施形態１＞
図１は、本実施形態に係る仮想視点画像を生成する情報処理システムの装置構成の一例である。本システムは例えば撮像部１０１、同期部１０２、３次元形状推定部１０３、蓄積部１０４、３次元仮想オブジェクト記憶部１０５、確認用撮像部１１５、仮想視点画像生成装置１１６、確認用画像生成装置１１７を含んで構成される。仮想視点画像生成装置１１６は、視点指示部１０６、被写体画像生成部１０７、背景画像生成部１０８、画像合成部１０９、出力画像表示部１１０を含む装置等であって、例えば、タブレット端末やスマートフォン、ジョイスティックを有する画像生成装置である。確認用画像生成装置１１７は、３次元仮想オブジェクト操作部１１１，確認用背景画像生成部１１２、クロマキー合成部１１３，確認用表示部１１４を含む装置であって、例えば、タブレット端末やスマートフォン、ノートパソコン等である。

なお、本システムは、１つの電子機器によって構成されてもよいし、複数の電子機器によって構成されてもよい。

情報処理システムは、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの光景を表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点画像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

仮想視点画像の生成に用いられる視点情報は、仮想視点の位置及び向き（視線方向）を示す情報である。具体的には、視点情報は、仮想視点の３次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。

情報処理システムは、撮像領域を複数の方向から撮像する複数の撮像装置を有する。撮像領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数の撮像装置は、このような撮像領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の周囲の一部にのみ設置されていてもよい。また、本実施形態では、本システムを３６０度のグリーンバックで構成された仮想視点画像を撮影するスタジオで用いている前提として説明する。また、望遠カメラと広角カメラなど機能が異なる撮像装置が設置されていてもよい。

仮想視点画像は、例えば以下のような方法で生成される。まず、複数の撮像装置によりそれぞれ異なる方向から撮像することで複数の画像（複数視点画像）が取得される。次に、複数視点画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。また、所定のオブジェクトの３次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成され、競技場などの背景の３次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。ただし、仮想視点画像の生成方法はこれに限定されず、３次元モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。

前景画像とは、撮像装置により撮像されて取得された撮像画像から、オブジェクトの領域（前景領域）を抽出した画像である。前景領域として抽出されるオブジェクトとは、時系列で同じ方向から撮像を行った場合において動きのある（その絶対位置や形が変化し得る）動的オブジェクト（動体）を指す。オブジェクトは、例えば、競技において、それが行われるフィールド内にいる選手や審判などの人物、例えば球技であればボールなど、またコンサートやエンタテイメントにおける歌手、演奏者、パフォーマー、司会者などである。

背景画像とは、少なくとも前景となるオブジェクトとは異なる領域（背景領域）の画像である。具体的には、背景画像は、撮像画像から前景となるオブジェクトを取り除いた状態の画像である。また、背景は、時系列で同じ方向から撮像を行った場合において静止している、又は静止に近い状態が継続している撮像対象物を指す。このような撮像対象物は、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、フィールド、などである。ただし、背景は少なくとも前景となるオブジェクトとは異なる領域であり、撮像対象としては、オブジェクトと背景の他に、別の物体等が含まれていてもよい。

仮想カメラとは、撮像領域の周囲に実際に設置された複数の撮像装置とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮像領域に関連付けられる仮想空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。また本実施形態では、経時的な仮想視点の変遷の内容を、仮想カメラパスと表記する。ただし、本実施形態の構成を実現するために仮想カメラの概念を用いることは必須ではない。すなわち、少なくとも空間内における特定の位置を表す情報と向きを表す情報とが設定され、設定された情報に応じて仮想視点画像が生成されればよい。

撮像部１０１は、それぞれが独立した筐体を有し単一の視点で撮像可能なカメラであるものとする。ただしこれに限らず、２以上の撮像装置が同一の筐体内に構成されていてもよい。例えば、複数のレンズ群と複数のセンサを備えており複数視点から撮像可能な単体のカメラが、複数の撮像装置として設置されていてもよい。また、撮像部１０１は、レンズを有さず、撮像素子を有する構成であってもよい。この場合、撮像部１０１に交換式レンズを用いて、被写体を撮像素子に撮像してもよい。

同期部１０２は、撮像部１０１と確認用撮像部１１５とがそれぞれの画像を撮像するタイミングを同期させる制御を行う。言い換えれば、撮像部１０１と確認用撮像部１１５の撮影時刻を同期させる制御を行う。

３次元形状推定部１０３は、撮像部１０１により撮像された複数の画像を用いて、被写体の３次元モデルデータを生成する。具体的には、３次元形状推定部１０３は、公知の表現方法で表される３次元モデルデータを生成する。３次元モデルデータは、点で構成される点群データや、ポリゴンで構成されるメッシュデータや、ボクセルで構成されるボクセルデータであってもよい。

蓄積部１０４は、仮想視点画像を生成するために用いられる素材として以下の素材データを蓄積する。本実施形態では、仮想視点画像を生成するためのデータであって、撮像装置によって撮像された撮像画像、および該撮像画像に基づいて生成されるデータのことを、素材データと表記する。撮像画像に基づいて生成される素材データは、例えば、撮像画像から抽出した前景画像のデータ、仮想空間におけるオブジェクトの形状を表す３次元モデルデータ、および３次元モデルに色付けするためのテクスチャデータ等である。本実施形態において、３次元モデルデータは、３次元形状推定部１０３にて生成された３次元モデルデータを想定しているが、予め作成された３次元モデルであってもよい。なお、素材データは仮想視点画像を生成するためのデータであれば、その種類は限定されない。例えば、撮像画像を取得する撮像装置の撮像条件を表すカメラパラメータが素材データに含まれていてもよい。また、上記では３次元モデルを生成することにより仮想視点画像を生成する手法を用いる場合の素材データの例について記載したが、これに限定されない。３次元モデルを用いないイメージベースドレンダリングの手法を用いて仮想視点画像を生成する場合、仮想視点画像の生成に必要なデータは上記の素材データの例と異なる場合がある。このように、仮想視点画像の生成手法に応じて素材データが異なっていてもよい。素材データは撮像部１０１にて生成される撮影時刻と対応付けられて蓄積される。

３次元仮想オブジェクト記憶部１０５は、予め作成された３次元仮想オブジェクトを記憶する。３次元仮想オブジェクトは、背景用のＣＧ（背景モデル）やエフェクト等であって、仮想空間上に配置される位置および向きが予め指定されている。また、３次元仮想オブジェクトは時間経過により、形状や色彩が変化するオブジェクトも含む。具体的には、常に背景画像として表示される背景を示す３次元仮想オブジェクト（背景モデル）と、一時的に表示されるエフェクトを示す３次元仮想オブジェクト（エフェクト）が記憶されている。３次元仮想オブジェクトが一連の撮影において表示される時刻は、後述する図３の処理フローにて指定される。本実施形態では、図３の処理フローが実行される前は、３次元仮想オブジェクトが表示される時刻は指定されていないものとする。また、本実施形態では、ユーザが背景モデルおよびエフェクト等を含む３次元仮想オブジェクトを任意のタイミングで変化させる撮影を想定している。これにより、ユーザが３次元仮想オブジェクト操作部１１１を通して、３次元仮想オブジェクトを切り替える指示を入力し、撮影画像に反映することができる。また、これに限定されず、背景用のＣＧである３次元仮想オブジェクトを蓄積部１０４に蓄積しても構わない。その場合、背景はユーザの操作によって変化しない背景モデルである。

視点指示部１０６は、例えば、ジョイスティックやタッチパネルなどの物理的なユーザインターフェースである仮想視点を操作する視点操作部である。視点操作部の入力に基づき仮想視点情報を生成し、生成した仮想視点情報を被写体画像生成部１０７及び背景画像生成部１０８に出力する。本実施形態における仮想視点情報とは、仮想視点の位置および姿勢などのカメラの外部パラメータに相当する情報と、焦点距離や画角といったカメラの内部パラメータに相当する情報と、撮像部１０１で撮像された撮像画像の撮影時刻を指定する時刻情報からなる。撮像部１０１で撮像された撮像画像は、仮想視点画像を生成するための画像であって、撮影時刻はタイムコードに該当する。なお、タイムコードに限定されず、撮影時のフレーム数であってもよい。

被写体画像生成部１０７は、入力された仮想視点情報に含まれる時刻情報に基づき、蓄積部１０４から該当撮影時刻のデータを取得する。被写体画像生成部１０７は取得したデータのうち、被写体の３次元モデルを仮想空間上に配置し、入力された仮想視点における被写体を描画した被写体画像を生成し画像合成部１０９に出力する。なお、仮想視点の位置及び視線方向が撮像部１０１と一致している場合は、撮像部１０１が撮像した撮像画像から抽出された前景画像を画像合成部１０９に出力してもよい。このとき出力する被写体画像は被写体以外の部分を透過とした画像とする。

背景画像生成部１０８は、入力された仮想視点情報に含まれる時刻情報に基づき、３次元仮想オブジェクト記憶部１０５から当該撮影時刻のデータを取得する。取得したデータから、３次元仮想オブジェクトを仮想空間上に配置し、視点指示部１０６により指定された仮想視点から仮想空間を見た画像である背景画像を画像合成部１０９に出力する。

画像合成部１０９は、入力された被写体画像と背景画像を合成する。この時の合成には、被写体画像の背景部分が透過となっているのでこれを利用し合成し出力画像表示部９に出力する。また、被写体画像及び、背景画像に対して仮想視点からの距離情報を付与し、これを用いて仮想視点から近いほうを描画するという合成処理を行ってもよい。被写体画像および背景画像は、仮想視点から見た画像であるため、画像合成部１０９の合成画像は、２つの仮想視点画像を合成した合成画像である。

出力画像表示部１１０は、画像合成部１０９にて合成された合成画像を表示する。

３次元仮想オブジェクト操作部１１１は、例えば、タッチパネルやキーボード等を有する操作部である。操作部への入力を受け付けることで、確認用撮像部１１５から取得される画像に３次元仮想オブジェクト記憶部１０５に記憶されている３次元仮想オブジェクトを合成する指示を出力する。具体的には、３次元仮想オブジェクト記憶部１０５から特定の３次元仮想オブジェクトを指定し、確認用撮像部１１５から取得される画像に合成する指示を確認用背景画像生成部１０８に送信する。この時、複数の３次元仮想オブジェクトを同時に指定しても構わない。また、３次元仮想オブジェクトを合成する位置を指定してもよい。本実施形態では、３次元仮想オブジェクト記憶部に記憶される３次元仮想オブジェクトには、予め仮想空間上の位置情報が定められているものとするが、３次元仮想オブジェクトの位置を指定する操作に応じて、記憶されている位置情報が更新してもよい。

確認用背景画像生成部１１２は、３次元仮想オブジェクト操作部１１１からの入力を受け付け、３次元仮想オブジェクト記憶部１０５から該当する３次元仮想オブジェクトを受信する。なお、３次元仮想オブジェクト次に、受信した３次元仮想オブジェクトを仮想空間上に配置し、確認用撮像部１１５の位置および向きを、仮想空間上に変換した位置および向きから撮影した確認用背景画像を生成する。生成した確認用背景画像はクロマキー合成部１１３に送信される。

クロマキー合成部１１３は、確認用撮像部１１５から受け取った撮像画像と、確認用背景画像生成部１１２から受け取った確認用背景画像とでクロマキー合成を行う。生成した合成画像は確認用表示部１１４に出力する。

確認用表示部１１４は、クロマキー合成部１１３から受け取った合成画像を表示する。３次元仮想オブジェクト操作部からの入力が無い場合は、確認用撮像部１１５から受け取った撮像画像を表示する。なお、確認用撮像部１１５から撮像画像を直接受け取らず、クロマキー合成部１１３を経由しても構わない。

確認用撮像部１１５は、単一の視点で撮像可能なカメラであるものとする。本実施形態では、撮像部１０１と異なるカメラであるものとするが、これに限定されない。複数の撮像部１０１のうち、特定の１台を確認用撮像部１１５としてもよい。

仮想視点画像生成装置１１６は、例えばジョイスティックやジョグダイヤルなどの物理的なユーザインターフェースである仮想視点を操作する視点操作部を有する装置であり、視点操作部から出力される仮想視点情報をもとに仮想視点画像を生成および表示する。

確認用画像生成装置１１７は、ユーザにより指定された３次元仮想オブジェクトを確認用撮像部１１５から受け取った撮像画像に合成して表示する装置である。例えば、ノートパソコンやタブレット端末であって、撮影を監督するユーザが、確認用撮像部１１５で撮像されている撮像画像を見ながら、適切なタイミングで３次元仮想オブジェクトを合成する指示を行うための装置である。本実施形態では、確認用画像はユーザが３次元仮想オブジェクトを合成するための指示を行うための画像として扱うがこれに限定されない。確認用画像を配信用の画像として用いることもできる。

なお、仮想視点画像生成装置１１６および確認用画像生成装置１１７は上記構成に限定されない。例えば、仮想視点画像生成装置１１６は蓄積部１０４を有してもよいし、確認用画像生成装置１１７は３次元仮想オブジェクト操作部１１１を有さなくてもよい。仮想視点画像生成装置１１６は、視点指示部１０６を有さず、他装置から仮想視点情報を受信してもよい。また、仮想視点画像生成装置１１６および確認用画像生成装置１１７がそれぞれ３次元仮想オブジェクト記憶部１０５を有してもよい。

図２は、仮想視点画像生成装置１１６のハードウェア構成を示す図である。仮想視点画像生成装置１１６は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。なお、確認用画像生成装置１１７も同様のハードウェア構成であるため、説明は省略する。

ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて仮想視点画像生成装置１１６の全体を制御することで、図１に示す仮想視点画像生成装置１１６の各機能を実現する。なお、仮想視点画像生成装置１１６がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが仮想視点画像生成装置１１６を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。ＣＰＵ２１１は、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作する。通信Ｉ／Ｆ２１７は、仮想視点画像生成装置１１６の外部の装置との通信に用いられる。例えば、仮想視点画像生成装置１１６が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。仮想視点画像生成装置１１６が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、仮想視点画像生成装置１１６の各部をつないで情報を伝達する。

本実施形態では表示部２１５と操作部２１６が仮想視点画像生成装置１１６の内部に存在するものとするが、表示部２１５と操作部２１６との少なくとも一方が仮想視点画像生成装置１１６の外部に別の装置として存在していてもよい。

図３は、確認用画像生成装置１１７で実行される処理フローを示す図である。本処理フローは撮影が終了するまで毎フレーム実行される。

ステップＳ３０１において、確認用画像生成装置１１７は、３次元仮想オブジェクト操作部１１１から入力情報を受け取ったか判定する。入力情報は、３次元仮想オブジェクト記憶部１０５に予め記憶されている複数の３次元仮想オブジェクトから、特定の３次元仮想オブジェクトを指定する入力と、その３次元仮想オブジェクトを撮像画像に表示する入力である。本実施形態では、特定の３次元仮想オブジェクトは時間経過により形状や色彩が変化するエフェクトで説明するが、これに限定されない。特定の３次元仮想オブジェクトが背景モデルの場合は、背景モデルが切り替わるタイミングを入力情報として受け取る。また、特定の３次元仮想オブジェクトがユーザ操作により形状や色彩が変化する背景モデルやエフェクトの場合は、その形状や色彩が変化するタイミングを入力情報として受け取る。なお、本実施形態では、ユーザにより３次元仮想オブジェクト操作部１１１が操作され、入力情報を受け取る。入力情報を受け取っていない場合は、ステップＳ３０２へ進む。入力情報を受け取った場合は、ステップＳ３０３に進む。

ステップＳ３０２において、確認用画像生成装置１１７は、確認用撮像部１１５から受け取った撮影画像を表示する。その後、ステップＳ３０８に進む。

ステップＳ３０３において、確認用画像生成装置１１７は、ステップＳ３０１で受け取った入力情報に基づいて、３次元仮想オブジェクト記憶部１０５から特定の３次元仮想オブジェクトの３次元モデルを受信し、仮想空間上に配置する。

ステップＳ３０４において、確認用画像生成装置１１７は、確認用撮像部１１５から確認用撮像部１１５の位置および姿勢の情報を受け取る。受け取った情報を基に、確認用撮像部１１５の位置および姿勢を、仮想空間上の位置および姿勢に変換し、確認用撮影部１１４の仮想空間上に対応する位置および姿勢から、３次元仮想オブジェクトを見た画像を生成する。

ステップＳ３０５において、確認用画像生成装置１１７は、Ｓ３０４で作成した画像をクロマキー合成部１１３に送信し、確認用撮像部１１５から取得される撮像画像と合成する。具体的には、本実施形態ではグリーンバックで構成されたスタジオで撮像される画像を合成することを想定しているため、確認用撮像部１１５から取得される撮像画像の緑色の部分を、Ｓ３０４で作成した画像と合成して合成画像を作成する。合成画像は確認表示部１１２に送信される。

ステップＳ３０６において、確認用画像生成装置１１７は、Ｓ３０５で合成した合成画像を表示する。

ステップＳ３０７において、確認用画像生成装置１１７は、Ｓ３０１において、指定された３次元仮想オブジェクトと、指定された時刻に対応する撮影時刻を対応付けて３次元仮想オブジェクト記憶部１０５に記憶する。なお、指定された３次元仮想オブジェクトと対応付けて３次元仮想オブジェクト記憶部１０５に記憶する情報は、これに限定されず、３次元仮想オブジェクト操作部１１１から入力情報を受け取った時刻でもよい。または、３次元仮想オブジェクト操作部１１１が操作情報を受信した時刻でもよいし、クロマキー合成部１１３により合成画像が作成された時刻でもよい。ユーザにより指示が行われた時刻でもよいし、合成画像が表示された表示時刻でもよい。確認用撮像部１１５によって撮像された撮像画像に対応付けられたタイムコードであってもよい。指定された３次元仮想オブジェクトと、上述の時刻またはタイムコードとの対応関係を示す３次元仮想オブジェクト情報を３次元仮想オブジェクト記憶部１０５に記憶する。その後、Ｓ３０８に進む。

ステップＳ３０８において、確認用画像生成装置１１７は、撮影を終了するか否かを判定する。撮影を終了する場合、上記処理を終了する。撮影を終了しない場合、Ｓ３０１に進む。このループ処理を撮影が終了するまで、全フレーム実行する。

本処理により、３次元仮想オブジェクトと撮影時刻とが対応付けられて、３次元仮想オブジェクト記憶部１０５に記憶される。また、確認用背景画像を表示する際に、確認用撮像部１１５でスタジオ内の被写体を撮影し、この撮影した画像と確認用背景画像をクロマキー合成部１１３でクロマキー合成を行い、確認用表示部１１４へ表示する。

図６は、上記処理を用いる撮影の収録の様子を示す図である。本実施形態では、スタジオ内に表示装置６０１を配置する。表示装置６０１に表示される画像は、確認用表示部１１４に表示される画像と同じ画像である。このようにすることにより、被写体（演者）自身が、自分が今現在どのような３次元仮想オブジェクトと合成されており、どのようなエフェクトが加えられているかなどをリアルタイムで確認することができる。

図４は、図３記載の処理により、３次元仮想オブジェクトと撮影時刻とが対応付けられて、３次元仮想オブジェクト記憶部１０５に記憶されるデータの一例を示す図である。本実施形態では、常に背景画像として表示される背景を示す３次元仮想オブジェクト（背景モデル）と、一時的に表示されるエフェクトを示す３次元仮想オブジェクトが記憶されている。背景モデルは、ユーザによる３次元仮想オブジェクト操作部１１１への操作により、撮影時刻と対応付けて記憶される。言い換えれば、ユーザによって他の背景モデルと切り替わる時刻が記憶される。エフェクトも、ユーザによる３次元仮想オブジェクト操作部１１１への操作により、撮影時刻と対応付けて記憶される。なお、複数のエフェクトが同じ撮影時刻に対応付けられてもよい。また、エフェクトはそれぞれ表示時間を有しており、ユーザの操作により対応付けられた撮影時刻から、表示時間の間、表示される。図４の例では１２：１１：００に背景モデル１から背景モデル２へ切り替えが行われ、１１：３０：００から０．５秒間エフェクト１が表示、１３：２０：０３から３秒間エフェクト２が表示されるデータを示している。ここでのエフェクトは爆発表現や、そのほかにクイズの正解／不正解の画像表現なども含まれる。なお、エフェクトには仮想空間における位置および向きが予め定められているものとする（不図示）。

図５は、仮想視点画像生成装置１１６で実行される処理フローを示す図である。本処理フローは、図３記載の処理フローにより、３次元仮想オブジェクト記憶部１０５に、３次元仮想オブジェクトと撮像時刻とが対応付けて記憶された後に行う処理である。

ステップＳ５０１において、仮想視点画像生成装置１１６は、視点指示部１０６から受信した仮想視点情報に基づき、３次元仮想オブジェクト記憶部から、撮影時刻に対応する３次元仮想オブジェクトを検索する。

ステップＳ５０２において、仮想視点画像生成装置１１６は、撮影時刻に対応する３次元仮想オブジェクトを３次元仮想オブジェクト記憶部１０５から受信し、仮想空間上に配置する。次に、仮想空間において、視点指示部１０６から受信した仮想視点からの見えを表す仮想視点画像（背景画像）を生成する。生成した背景画像は、画像合成部１０９に送信される。

ステップＳ５０３において、仮想視点画像生成装置１１６は、蓄積部１０４から受信した素材データから、被写体を表す前景モデルを仮想空間上に配置し、視点指示部１０６から受信した仮想視点から見た仮想視点画像（被写体画像）を生成する。生成した被写体画像は、画像合成部１０９に送信される。

ステップＳ５０４において、仮想視点画像生成装置１１６は、被写体画像生成部１０７から受信した被写体画像と、背景画像生成部１０８から受信した背景画像とを合成し、仮想視点画像を生成する。生成した仮想視点画像は出力画像表示部１１０に送信される。

ステップＳ５０５において、仮想視点画像生成装置１１６は、画像合成部１０９から受信した仮想視点画像を表示する。

ステップＳ５０６において、仮想視点画像生成装置１１６は、仮想視点画像を生成する編集処理を終了するか判定する。仮想視点画像を生成する処理が終了する場合、本処理を終了する。終了しない場合、Ｓ５０１に戻る。Ｓ５０１からＳ５０５を編集処理が終了するまで繰り返し行う。

上記図５記載の処理により、図３記載の処理によって撮像時刻と対応付けられた３次元仮想オブジェクトを仮想視点画像に表示することができる。

以上のように、撮影時に入力された３次元仮想オブジェクトを、撮影時と同じタイミングで仮想視点画像に表示することができる。

＜実施形態２＞
本実施形態では、表示部を備える第２の３次元仮想オブジェクト操作部（不図示）を背景画像生成部１０８に接続する構成とし、第２の３次元仮想オブジェクト操作部７００に３次元仮想オブジェクトに関する情報を表示する。第２の３次元仮想オブジェクト操作部は、３次元仮想オブジェクト記憶部に記憶されたデータを編集して仮想視点画像を生成するための操作部である。

図７に、３次元仮想オブジェクトを操作するためのグラフィカルユーザインターフェースを第二の背景操作部に表示する。具体的には、図７の下部に示すような時系列に伸びたタイムライン７０１があり、その中に、編集処理によって現在再生中の時刻（フレーム）を示すシークバー７０２がある。そしてこのタイムライン７０１は３次元仮想オブジェクトの分類ごとに列で区切られており、実際に３次元仮想オブジェクトと対応付けられた撮影時刻をキーフレーム７０３として、表示されるようにしてもよい。このとき３次元仮想オブジェクトの分類とは例えば、背景モデル、エフェクトのパターンなどで分類わけしたものを示す。

また、図７に示すように、タイムライン７０１の列ごとにチェックボックス７０４を設け、分類ごとに再生時に適用するか否かを選択できるようにしてもよい。また、キーフレーム７０３として表示されている撮影時刻をシークし、３次元仮想オブジェクト記憶部１０５に記憶された撮影時刻を後から編集してもよい。また、キーフレームごとに有効無効の切り替えや、削除などを行えるユーザインターフェースを備えてもよい。

本実施形態において、被写体画像生成部１０７は、被写体画像の背景部分を透過とすると説明したが必ずしもこれに限定するものではない。例えば、被写体画像の背景部分も単一の色例えばグリーンにしたうえで画像合成部１０９において、クロマキー合成処理を用いて合成する構成としてもよい。

本実施形態において、被写体画像を生成する被写体画像生成部１０７と、背景画像を生成する背景画像生成部１０８を異なる構成部として表現し、画像合成部１０９で合成する形態としたがこれに限定するものではない。被写体画像生成部１０７と背景画像生成部１０８が一つの画像生成部で実現してもよい。その場合、画像合成部１０９は不要となる。

本実施形態において、蓄積部１０４と３次元仮想オブジェクト記憶部１０５を異なる構成部として説明したが単一の蓄積部としてもよい。

本実施形態において、仮想視点画像の出力先を出力画像表示部１１０としたが必ずしも表示装置である必要はなく、例えば、画像記録装置や画像配信装置などに対して仮想視点画像を出力する構成としてもよい。

背景画像生成部１０８と確認用背景画像生成部１１２で用いる３次元仮想オブジェクトを３次元仮想オブジェクト記憶部１０５に記憶された同一の３次元仮想オブジェクトとするとしたが、必ずしもこれに限定するものではない。確認用はあくまでも確認用途であるため、オブジェクトの配置やエフェクトの表示などが確認できればよく、簡易な３次元仮想オブジェクト背景を用いてもよい。

本実施形態において、確認用撮影部１１４で撮影した画像と確認用背景画像をクロマキー合成部１１３で合成し、確認用表示部１１４で表示する構成として説明したが必ずしもこれに限定するものではない。例えば、確認用背景画像生成部１１２の確認用背景画像をそのまま確認用表示部１１４へと表示する構成としてもよい。

本実施形態において、３次元仮想オブジェクト操作部１１１を用いてユーザが３次元仮想オブジェクトの操作を行う構成として説明したが、必ずしもこれに限定するものではない。例えば３次元仮想オブジェクト操作部１１１の代わりに、外部信号入力を受け付ける３次元仮想オブジェクト操作情報入力部（不図示）としてもよい。この場合、例えば音響機材と接続し、音響機材でＳＥ（サウンドエフェクト）の出力を行うとともに、３次元仮想オブジェクト操作入力部に何らか信号を入力することで、ＳＥに合わせた背景の操作を実現する構成としてもよい。ここでは音響機材としたが、その他照明機材など接続する機材を本開示においては限定しない。

尚、本実施形態における制御の一部又は全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して情報処理システム等に供給するようにしてもよい。そしてその情報処理システム等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読みだして実行するようにしてもよい。その場合、そのプログラム、および該プログラムを記憶した記憶媒体は本開示を構成することとなる。

尚、本実施形態の開示は、以下の構成、方法およびプログラムを含む。

（構成１）撮像装置により撮像される画像に合成される３次元仮想オブジェクトと、前記画像に対応付けられたタイムコードと、の対応関係を示す３次元仮想オブジェクト情報を記憶する記憶手段と、
仮想視点画像を生成するための画像に対応付けられたタイムコードと、仮想視点の位置と、仮想視点からの視線方向とを示す視点情報を取得する取得手段と、
前記３次元仮想オブジェクト情報と前記視点情報とに基づいて、前記視点情報に示されるタイムコードに対応する３次元仮想オブジェクトを含む仮想視点画像を生成する生成手段とを有することを特徴とするシステム。

（構成２）更に、前記３次元仮想オブジェクトを前記撮像装置により撮像される画像に表示する入力を行う入力手段を有し、
前記３次元仮想オブジェクト情報は、ユーザにより入力装置に入力される操作情報に基づいて取得されることを特徴とする構成１に記載のシステム。

（構成３）前記３次元仮想オブジェクト情報は、表示時間を示す情報を有することを特徴とする構成１または２に記載のシステム。

（構成４）前記３次元仮想オブジェクト情報は、仮想空間上の位置を示す位置情報を有することを特徴とする構成１乃至３のいずれか１項に記載のシステム。

（構成５）更に、前記記憶手段により記憶された前記３次元仮想オブジェクト情報および前記３次元仮想オブジェクトの位置情報の少なくとも何れかを変更する変更手段を有することを特徴とする構成４に記載のシステム。

（構成６）更に、前記撮像装置により撮像される画像と前記３次元仮想オブジェクトとを表示する表示手段を有することを特徴とする構成１乃至５のいずれか１項に記載のシステム。

（構成７）前記表示手段は、前記記憶手段により記憶された３次元仮想オブジェクトを表示することを特徴とする構成６に記載のシステム。

（構成８）前記表示手段は、前記記憶手段により記憶された前記３次元仮想オブジェクトと対応関係にある前記画像に対応付けられたタイムコードを変更するためのシークバーを表示することを特徴とする構成６または７に記載のシステム。

（構成９）前記表示手段は、前記３次元仮想オブジェクトを前記仮想視点画像に表示するか否かを設定するためのユーザインターフェースを有することを特徴とする構成６乃至８のいずれか１項に記載のシステム。

（構成１０）前記３次元仮想オブジェクトは、背景用のＣＧまたはエフェクトであること特徴とする構成１乃至９のいずれか１項に記載のシステム。

（構成１１）前記３次元仮想オブジェクトは、ユーザにより入力装置に入力される操作情報に基づいて、形状および色彩の少なくとも何れかが変更されることを特徴とする構成１乃至１０のいずれか１項に記載のシステム。

（構成１２）前記仮想視点画像は、複数の撮像装置により経時的に撮像される複数の画像に基づいて生成されることを特徴とする構成１乃至１１に記載のシステム。

（構成１３）撮像装置により撮像される画像に合成される３次元仮想オブジェクトおよび前記３次元仮想オブジェクトを表示する入力を受け付けた撮影時刻が対応付けられた３次元仮想オブジェクト情報と、仮想視点画像を生成する時刻と、仮想視点の位置および仮想視点からの視線方向と、を含む視点情報を取得する取得手段と、
前記３次元仮想オブジェクト情報と前記視点情報とに基づいて、前記仮想視点画像を生成する時刻に該当する前記撮影時刻と対応付けられた前記３次元仮想オブジェクトを含む仮想視点画像を生成する生成手段とを有することを特徴とする装置。

（方法）撮像装置により撮像される画像に合成される３次元仮想オブジェクトと、前記画像に対応付けられたタイムコードと、の対応関係を示す３次元仮想オブジェクト情報を記憶する記憶工程と、
仮想視点画像を生成するための画像に対応付けられたタイムコードと、仮想視点の位置と、仮想視点からの視線方向とを示す視点情報を取得する取得工程と、
前記３次元仮想オブジェクト情報と前記視点情報とに基づいて、前記視点情報に示されるタイムコードに対応する３次元仮想オブジェクトを含む仮想視点画像を生成する生成工程とを有することを特徴とする方法。

（プログラム）コンピュータを、構成１乃至１２の何れか１項に記載のシステムの各手段として機能させるためのプログラム。

１０１ 撮像部
１０５ 視点指示部
１０７ 背景画像生成部
１１０ ３次元仮想オブジェクト操作部
１１３ ３次元仮想オブジェクト記憶部
１１４ 確認用撮像部

Claims (15)

1. 撮像装置により撮像される画像に合成される３次元仮想オブジェクトとタイムコードとの対応関係を示す３次元仮想オブジェクト情報を記憶する記憶手段と、
   仮想視点画像を生成するための画像に対応付けられたタイムコードと、仮想視点の位置と、仮想視点からの視線方向とを示す視点情報を取得する取得手段と、
   前記３次元仮想オブジェクト情報と前記視点情報とに基づいて、前記視点情報に示されるタイムコードに対応する３次元仮想オブジェクトを含む仮想視点画像を生成する生成手段と、
   を有することを特徴とする情報処理システム。
2. 更に、前記３次元仮想オブジェクトを前記撮像装置により撮像される画像に表示する入力を行う入力手段を有し、
   前記３次元仮想オブジェクト情報は、ユーザにより入力装置に入力される操作情報に基づいて取得されることを特徴とする請求項１に記載の情報処理システム。
3. 前記３次元仮想オブジェクト情報は、表示時間を示す情報を有することを特徴とする請求項１に記載の情報処理システム。
4. 前記３次元仮想オブジェクト情報は、仮想空間上の位置を示す位置情報を有することを特徴とする請求項１に記載の情報処理システム。
5. 更に、前記記憶手段により記憶された前記３次元仮想オブジェクト情報および前記３次元仮想オブジェクトの位置情報の少なくとも何れかを変更する変更手段を有することを特徴とする請求項４に記載の情報処理システム。
6. 更に、前記撮像装置により撮像される画像と前記３次元仮想オブジェクトとを表示する表示手段を有することを特徴とする請求項１に記載の情報処理システム。
7. 前記表示手段は、前記記憶手段により記憶された３次元仮想オブジェクトを表示することを特徴とする請求項６に記載の情報処理システム。
8. 前記表示手段は、前記記憶手段により記憶された前記３次元仮想オブジェクトと対応関係にある前記画像に対応付けられたタイムコードを変更するためのシークバーを表示することを特徴とする請求項６に記載の情報処理システム。
9. 前記表示手段は、前記３次元仮想オブジェクトを前記仮想視点画像に表示するか否かを設定するためのユーザインターフェースを有することを特徴とする請求項６に記載の情報処理システム。
10. 前記３次元仮想オブジェクトは、背景用のＣＧまたはエフェクトであること特徴とする請求項１に記載の情報処理システム。
11. 前記３次元仮想オブジェクトは、ユーザにより入力装置に入力される操作情報に基づいて、形状および色彩の少なくとも何れかが変更されることを特徴とする請求項１に記載の情報処理システム。
12. 前記仮想視点画像は、複数の撮像装置により経時的に撮像される複数の画像に基づいて生成されることを特徴とする請求項１に記載の情報処理システム。
13. 撮像装置により撮像される画像に合成される３次元仮想オブジェクトおよび前記３次元仮想オブジェクトを表示する入力を受け付けた撮影時刻が対応付けられた３次元仮想オブジェクト情報と、仮想視点画像を生成する時刻と、仮想視点の位置および仮想視点からの視線方向と、を含む視点情報を取得する取得手段と、
    前記３次元仮想オブジェクト情報と前記視点情報とに基づいて、前記仮想視点画像を生成する時刻に該当する前記撮影時刻と対応付けられた前記３次元仮想オブジェクトを含む仮想視点画像を生成する生成手段と
    を有することを特徴とする情報処理装置。
14. 撮像装置により撮像される画像に合成される３次元仮想オブジェクトと、前記画像に対応付けられたタイムコードと、の対応関係を示す３次元仮想オブジェクト情報を記憶する記憶工程と、
    仮想視点画像を生成するための画像に対応付けられたタイムコードと、仮想視点の位置と、仮想視点からの視線方向とを示す視点情報を取得する取得工程と、
    前記３次元仮想オブジェクト情報と前記視点情報とに基づいて、前記視点情報に示されるタイムコードに対応する３次元仮想オブジェクトを含む仮想視点画像を生成する生成工程と、
    を有することを特徴とする情報処理方法。
15. コンピュータを、請求項１乃至１３の何れか１項に記載の情報処理システムの各手段として機能させるためのプログラム。

Images