JP7493542B2

JP7493542B2 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: JP7493542B2
Application number: JP2022013581A
Authority: JP
Inventors: 望糟谷; 厚伊達
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2022-01-31
Filing date: 2022-01-31
Publication date: 2024-05-31
Anticipated expiration: 2042-01-31
Also published as: JP2023111639A; US20230245411A1; EP4220569A1

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関し、特に仮想視点映像の生成技術に関する。

複数の撮像装置を異なる位置に設置し、同期撮像を行い、この撮像により得られた複数の画像を用いて仮想視点映像を生成する技術が注目されている。例えば、複数の撮像装置により撮像された画像がサーバ等の情報処理装置に集約され、そして画像処理装置が三次元モデル生成及びレンダリング等の処理を行うことにより、仮想視点映像が生成される。生成された仮想視点映像は閲覧のためにユーザ端末に伝送することができる。

このような仮想視点映像は、撮像画像群に基づいて撮像空間を再構成し、この撮像空間を仮想的なカメラで撮像した場合の仮想的な映像として生成することができる。非特許文献１では、高精細な仮想視点映像の生成を実現するために、仮想視点映像に対する色付けを行うために、仮想視点から近い撮像装置によって撮像された画像を仮想視点映像に投影している。

W. Matusik et al. "Polyhedral Visual Hulls for Real-Time Rendering", Proceedings of Eurographics Workshop on Rendering 2001, pp.115-125, 2001.

仮想視点映像においては、仮想視点が移動することがある。このような場合、非特許文献１に記載の方法では、仮想視点から近い撮像装置が切り替わった際に、仮想視点映像上の被写体のテクスチャに急激な変化がおき、この切り替えが目立ってしまう可能性がある。

本開示は、ユーザに与える違和感が軽減された仮想視点画像の生成技術を提供することを目的とする。

本開示の一実施形態に係る情報処理装置は以下の構成を有する。すなわち、
被写体を撮像することによって得られた撮像画像に基づいて生成される前記被写体を含む仮想視点映像に対応する仮想視点の動き、又は前記被写体の動きに基づいて、前記仮想視点映像における前記被写体の色の決定方法を選択する選択手段と、
前記被写体を含む前記仮想視点映像を生成する生成手段であって、前記選択手段によって選択された決定方法で前記仮想視点映像における前記被写体の色を決定する、生成手段と、
を有し、
前記選択手段は、前記仮想視点映像に映る前記被写体のフレーム間での移動量又は形状変化量に応じて前記決定方法を選択する。

本開示によれば、ユーザに与える違和感が軽減された想視点画像を生成することができる。

一実施形態に係る映像生成システムの概略構成の一例を示す図。一実施形態に係るレンダリング装置のハードウェア構成例を示す図。一実施形態に係るレンダリング装置の機能構成例を示す図。一実施形態に係る情報処理方法の処理フローを示す図。一実施形態に係るレンダリング方法の処理フローを示す図。三次元モデルへのレンダリング結果の投影を説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

本開示の一実施形態に係る情報処理装置は、被写体を複数の位置から撮像することによって得られた撮像画像に基づいて、仮想視点から見た場合の被写体を含む仮想視点映像を生成する。まず、このような情報処理装置を備える、仮想視点映像を生成するためのシステムについて説明する。

図１は、一実施形態に係る仮想視点映像生成システムの全体構成の一例を示す。映像生成システム１は、撮像システム１０ａ～１０ｎ、スイッチングハブ２０、制御装置３０、モデリング装置４０、データベース５０、レンダリング装置６０、視点入力装置７０、及び表示装置８０を有する。以下では、Ｎ個の撮像システム１０ａ～１０ｎは、特別な説明がない場合には区別せず、撮像システム１０と記載する。なお、撮像システム１０の数は、２台以上であればいくつでもよい。

Ｎ個の撮像システム１０ａ～１０ｎは、それぞれ、撮像装置１１ａ～１１ｎ及び画像処理装置１２ａ～１２ｎを有する。撮像装置１１ａ～１１ｎ及び画像処理装置１２ａ～１２ｎも、以下では区別せずに撮像装置１１及び画像処理装置１２と記載する。撮像装置１１は、制御装置３０からの命令をスイッチングハブ２０を介して受信し、この命令に従って撮像を行う。画像処理装置１２は、撮像により得られた画像から被写体の領域内の画像を抽出し、抽出した画像をスイッチングハブ２０を介してモデリング装置４０に送信する。ここで、撮像システム１０ａ～１０ｎは同期して撮像を行う。撮像システム１０ａ～１０ｎの動作は、撮像タイミングのずれが生じないように同期させることができる。撮像システム１０は、仮想視点映像に含める被写体を複数の方向から撮像するように配置される。撮像装置１１及び画像処理装置１２は、例えば、カメラ及びカメラのプロセッサであってもよい。なお、被写体は前景オブジェクトには限られず、背景であってもよい。

モデリング装置４０は、撮像システム１０から伝送された情報に基づいて被写体の三次元形状推定を行い、被写体の三次元形状を示す三次元モデルをデータベース５０に書き込む。モデリング装置４０は、撮像システム１０によって得られた撮像画像を用いて被写体の三次元形状推定を行うことができる。推定方法としては、例えば、非特許文献１に記載のＶｉｓｕａｌＨｕｌｌ法を用いることができる。さらに、モデリング装置４０は、仮想視点映像生成に必要な情報をさらにデータベース５０に書き込むことができる。仮想視点映像生成に必要な情報とは、例えば、モデルの見えを表現するためのテクスチャ画像、並びにテクスチャ画像を撮像した撮像装置の位置姿勢、焦点距離を示すパラメータ、及び撮像時刻などが挙げられる。なお、テクスチャ画像としては、撮像システム１０による撮像画像を用いることができる。

本開示の一実施形態に係る情報処理装置であるレンダリング装置６０は、被写体を複数の位置から撮像することによって得られた撮像画像に基づいて、仮想視点からの被写体を含む仮想視点映像を生成する。レンダリング装置６０は、視点入力装置７０から、仮想視点を指定する仮想視点情報を取得することができる。仮想視点の指定は、時間に係る情報を含むことができる。例えば、時間に係る情報は、フレームごとのレンダリング対象の撮像時刻（以下、レンダリング時刻と呼ぶ）であってもよい。すなわち、仮想視点映像のフレームごとにレンダリング対象の撮像時刻を指定することができる。この場合、指定された撮像時刻における撮像画像を用いて、この撮像時刻における被写体を含む仮想視点映像を生成することができる。このような構成によって生成された仮想視点映像は、複数のフレームにわたって同じ時刻の被写体が映っているために被写体が静止しているセグメントを含むことができる。

また、時間に係る情報は、フレームごとの仮想視点の位置を示す情報であってもよい。すなわち、仮想視点を移動させることができ、言い換えれば、仮想視点映像のフレームごとに異なる仮想視点を設定することができる。仮想視点の指定は、仮想視点に相当するカメラの経時的な動きを示すカメラパスとして与えられてもよい。そして、レンダリング装置６０は、受け付けた視点に基づいて、データベース５０から必要な情報を読み出し、レンダリング処理を行うことにより仮想視点映像を生成する。レンダリング処理により得られた仮想視点映像は、表示装置８０に送信される。

視点入力装置７０は、例えばキーボード又はマウスのような入力装置でありうる。また、表示装置８０は、例えばディスプレイであってもよい。図１には、モデリング装置４０、レンダリング装置６０、視点入力装置７０、及び表示装置８０は別々の装置として示されている。一方で、これらの装置のうち２つ以上が１つの装置に統合されていてもよい。例えば、レンダリング装置６０が、視点入力装置７０又は表示装置８０の機能を兼ねていてもよい。一例として、レンダリング装置６０はタッチパネルディスプレイを有するタブレットコンピュータであってもよく、このようなレンダリング装置６０は、視点入力装置７０及び表示装置８０としても動作することができる。例えば、タブレットコンピュータのディスプレイに仮想視点映像が表示されてもよく、ユーザはディスプレイに触れることで仮想視点の位置姿勢を操作してもよい。この場合、後述するＣＰＵ、ＲＡＭ、ＲＯＭ、及び通信部が連携することで、タブレットコンピュータは仮想視点映像を生成することができる。また、レンダリング装置６０はモデリング装置４０の機能を有していてもよく、この場合レンダリング装置６０は被写体の三次元モデルを生成することができる。

図２は、本実施形態のレンダリング装置６０のハードウェア構成の一例を示す図である。レンダリング装置６０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、通信Ｉ／Ｆ２０５、及びバス２０６を有する。なお、モデリング装置４０も同様のハードウェアを用いて実現することができる。また、レンダリング装置６０は、例えばネットワークを介して接続された複数の情報処理装置によって構成されていてもよい。

ＣＰＵ２０１は、ＲＯＭ２０２又はＲＡＭ２０３に格納されているコンピュータプログラム又はデータを用いてレンダリング装置６０の全体を制御することで、図３に示すレンダリング装置６０が有する各処理部の機能を実現する。なお、レンダリング装置６０は、ＣＰＵ２０１とは異なる１又は複数の専用のハードウェアを有していてもよく、この場合ＣＰＵ２０１による処理の少なくとも一部を専用のハードウェアが実行できる。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、及びＤＳＰ（デジタルシグナルプロセッサ）などが挙げられる。

ＲＯＭ２０２は、変更を必要としないプログラムなどを格納するメモリである。ＲＡＭ２０３は、補助記憶装置２０４から供給されるプログラム又はデータ、及び通信Ｉ／Ｆ２０５を介して外部から供給されるデータなどを一時記憶するメモリである。補助記憶装置２０４は、例えばハードディスクドライブ等のストレージで構成され、画像データ又は音声データなどの種々のデータを記憶する。通信Ｉ／Ｆ２０５は、レンダリング装置６０の外部の装置との通信に用いられる。例えば、レンダリング装置６０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２０５に接続される。レンダリング装置６０が外部の装置と無線通信する場合には、通信Ｉ／Ｆ２０５はアンテナを備える。バス２０６は、レンダリング装置６０の各部をつないで情報を伝達する。

図３は、レンダリング装置６０のレンダリング処理に係る機能構成の一例を示す図である。レンダリング装置６０は、選択部３０２、第１画像生成部３０４、及び第２画像生成部３０５を有する。また、レンダリング装置６０は、視点取得部３０１、データ取得部３０３、及び合成部３０６を有することができる。

視点取得部３０１は、視点入力装置７０から仮想視点情報を取得する。上述のように、仮想視点情報は時間情報を含むことができる。仮想視点情報は、仮想視点の位置姿勢を示す外部パラメータ、及び仮想視点の焦点距離などを示す内部パラメータを含むことができる。仮想視点情報はまた、被写体ごとのレンダリング時刻を含むことができる。

選択部３０２は、被写体を撮像することによって得られた撮像画像に基づいて生成される被写体を含む仮想視点映像に対応する仮想視点の動き、又は被写体の動きに基づいて、仮想視点映像における被写体の色の決定方法を選択する。例えば、選択部３０２は、フレーム間の仮想視点又は被写体の動き量に基づいてレンダリング方法を選択する。ここで選択部３０２は、フレーム間の仮想視点又は被写体の動き量が閾値を超える場合に色の第１の決定方法（第１のレンダリング方法）を選択し、動き量が閾値以下である場合に色の第２の決定方法（第２のレンダリング方法）を選択することができる。ここで、第１のレンダリング方法としては後述する仮想視点依存のレンダリングを、第２のレンダリング方法としては後述する仮想視点非依存のレンダリングを、それぞれ行うことができる。

本実施形態においては、選択部３０２は、仮想視点映像に映る被写体の撮像時刻がフレーム間で変化するか否かに応じてレンダリング方法を選択する。具体的には、被写体の時刻が停止しているときには仮想視点非依存のレンダリングが、そうでない場合には仮想視点依存のレンダリングが行われる。以下の例では、選択部３０２は、レンダリング時刻が変化していれば第１画像生成部３０４を、変化していなければ第２画像生成部３０５を選択する。なお、選択部３０２は、被写体ごとにレンダリング方法を選択することができる。すなわち、仮想視点映像は複数の被写体を含んでいてもよく、選択部３０２は複数の被写体のそれぞれについてレンダリング方法を選択することができる。ここで、複数の被写体のそれぞれは、人物又は車のような独立した物体であってもよいし、人物の頭又は手のような物体の一部であってもよい。

データ取得部３０３は、被写体の三次元モデル及び撮像画像を取得する。本実施形態におけるデータ取得部３０３は、選択部３０２が選択した画像生成部が用いるデータをデータベース５０から取得し、選択された画像生成部にデータを渡すことができる。画像生成部が用いるデータとしては、オブジェクトの三次元モデル（三次元形状を示す情報）、複数視点における撮像画像、及び撮像装置毎の外部／内部パラメータなどが挙げられる。

第１画像生成部３０４及び第２画像生成部３０５は、被写体を含む仮想視点映像を生成する。仮想視点映像は、三次元モデル及び撮像画像に基づいて、概略以下のようにレンダリングすることができる。すなわち、仮想視点の位置姿勢等のパラメータに従って、仮想視点映像上の各画素に映る三次元モデルの構成要素（例えば点又はポリゴン）を特定することができる。また、撮像装置による撮像画像上でこの構成要素が映る画素は、撮像装置の位置姿勢等のパラメータに従って特定することができる。したがって、撮像画像において構成要素が映っている画素の色に基づいて、構成要素の色、及び仮想視点映像においてこの構成要素が映る画素の色を決定することができる。ここで、仮想視点映像の各画素の色を決定する際に用いられる撮像画像（又はこの撮像画像を撮像した撮像装置）は、の撮像画像（又は撮像装置１１）の中から選択することができる。一実施形態において、第１画像生成部３０４及び第２画像生成部３０５による撮像画像（又は撮像装置）の選択方法は、互いに異なっている。

ここで、第１画像生成部３０４及び第２画像生成部３０５は、選択部３０２によって選択されたレンダリング方法で撮像画像に基づいて仮想視点映像上の被写体の色を決定する。本実施形態の場合、選択部３０２によって選択された画像生成部が、それぞれに設定されたレンダリング方法により、視点取得部３０１が取得した仮想視点情報と、データ取得部３０３が取得したデータとに基づいて仮想視点画像を生成する。

第１画像生成部３０４は、仮想視点映像の被写体の色が仮想視点の位置に応じて決定される第１のレンダリング方法を用いて、仮想視点映像上の被写体の色を決定し、仮想視点映像を生成する。例えば、第１画像生成部３０４は、仮想視点映像における被写体の色を決定するために用いる撮像画像を、仮想視点の位置に応じて選択することができる。この方法によれば、仮想視点の位置姿勢に依存して被写体の色情報が決定されるため、仮想視点が動くと被写体の色が変化する。このようなレンダリング方法を、本明細書においては仮想視点依存レンダリングと呼ぶ。なお、仮想視点映像における被写体の色は、複数の撮像画像によってそれぞれ撮像された撮像画像における被写体の色を重み付け合成することにより決定することもできる。この場合に用いる撮像装置又は撮像画像の組み合わせを変更すること、及びこの場合に用いる重み付け合成の重みを変更することも、本明細書における撮像装置又は撮像画像の選択に含まれる。

仮想視点依存レンダリングにおいては、仮想視点からの被写体の観察方向と、撮像装置からの被写体の観察方向とが近くなるように、１又は複数の撮像装置が選択される。例えば、撮像画像を撮像した複数の撮像装置のうち、撮像装置から被写体への視線方向が、仮想視点から被写体への視線方向により近い撮像装置によって撮像された撮像画像が、仮想視点映像における被写体の色を決定するために選択される。そして、こうして選択された撮像装置による撮像画像に基づいて、被写体の色が決定される。こうして選択された撮像装置からの被写体の見えは、仮想視点からの被写体の見えに近いことが期待されるため、仮想視点依存レンダリングによれば高精細な仮想視点映像を生成できることができる。一方で、選択される撮像装置が切り替わる際に、仮想視点映像における被写体の色の変化が目立つ可能性がある。

第２画像生成部３０５は、仮想視点映像における被写体の色が仮想視点の位置にかかわらず決定される第２のレンダリング方法を用いて、仮想視点映像上の被写体の色を決定し、仮想視点映像を生成する。例えば、第２画像生成部３０５は、仮想視点映像における被写体の色を決定するために用いる撮像画像を、仮想視点の位置にかかわらず選択することができる。この方法によれば、仮想視点の位置姿勢に依存せずに被写体の色情報が決定されるため、仮想視点が動いても被写体の色は変化しない。このようなレンダリング方法を本明細書においては仮想視点非依存レンダリングと呼ぶ。

仮想視点非依存レンダリングの方法としては、例えば、被写体の三次元モデルの小領域ごとに法線を判定し、この法線に最も近い撮像装置による撮像画像に基づいて被写体の各小領域の色を決定する方法が挙げられる。そして、こうして判定された被写体の各小領域の色に基づいて、仮想視点映像を生成することができる。また、第２画像生成部３０５は、三次元モデル及び撮像画像を用いるこのような手法により、三次元モデルに色情報を付与することもできる。そして、第２画像生成部３０５は、三次元モデルに付された色情報を用いて仮想視点映像上の被写体の色を決定することができる。このように、第２画像生成部３０５、被写体の三次元モデルに対して色付けを行い、色付けされた三次元モデルをレンダリングすることにより仮想視点映像を生成してもよい。

さらに、三次元モデルに対する色付けをレンダリング装置６０が行うことは必須ではない。この例において三次元モデルの色は仮想視点に非依存であるため、モデリング装置４０が三次元モデルに対する色付けを行い、色情報をデータベース５０に書き込むこともできる。この場合、第２画像生成部３０５は、モデリング装置４０がデータベース５０に書き込んだ三次元モデルの色情報に基づいて仮想視点画像を生成することができる。

以上のように、仮想視点依存レンダリングにおいては、仮想視点の位置姿勢に応じて複数の撮像装置から色を決定するために用いる撮像装置を選択することができる。一方で、仮想視点非依存レンダリングにおいては、仮想視点の位置姿勢とは無関係に複数の撮像装置から色を決定するために用いる撮像装置を選択することができる。この結果、仮想視点依存レンダリングにおいては、仮想視点映像の同一の被写体（例えば同じレンダリング時刻における同一形状の被写体）の色が仮想視点の位置に応じてフレーム間で変化する。一方で、仮想視点非依存レンダリングにおいては、仮想視点映像における同一の被写体の色が仮想視点の位置にかかわらずフレーム間で一定である。

上記のように、選択部３０２は被写体ごとに画像生成部を選択し、それぞれの被写体のレンダリングは被写体ごとに第１画像生成部３０４又は第２画像生成部３０５によって行われる。合成部３０６は、複数のレンダリング方法により得られたレンダリング結果を合成する。例えば、合成部３０６は、被写体ごとに生成された仮想視点映像を合成することにより、複数の被写体を含む仮想視点映像を生成することができる。また、合成部３０６は、得られた仮想視点映像を表示装置８０に送信する。

図４は、本実施形態に係る仮想視点映像の生成処理の流れを示すフローチャートである。図４に示すフローチャートは、ＲＯＭ２０２に格納された制御プログラムがＲＡＭ２０３に読み出され、ＣＰＵ２０１がこれを実行することにより実現できる。

Ｓ４００１はレンダリング装置６０が初期化される。ここでは、各部が用いるパラメータを設定することができる。

Ｓ４００２で視点取得部３０１は、視点入力装置７０からの入力を受け付ける待機状態に入る。視点取得部３０１は、視点入力装置７０からネットワークを介して情報を受信してもよいし、ファイルを読み込んでもよい。仮想視点情報を受信しない場合、又は終了命令を受信した場合、処理は終了する。

Ｓ４００３で視点取得部３０１は、視点入力装置７０から仮想視点情報を取得する。上述のとおり、仮想視点情報はレンダリング時刻の情報を含むことができるが、レンダリング時刻の形式は特に限定されない。例えば、レンダリング時刻は、時刻又はフレームＩＤにより特定することができる。このフレームＩＤは、撮像システム１０が撮像した映像のうち、レンダリング時刻に撮像されたフレームを特定する情報であってもよい。ここで、視点取得部３０１が視点入力装置７０から仮想視点情報を取得するごとに、Ｓ４００４～Ｓ４００８により仮想視点映像の１フレームが生成されてもよい。また、視点入力装置７０には、各フレームにおける経時的な仮想視点情報が入力されてもよい。この場合、Ｓ４００２～Ｓ４００８において、各フレームにおける仮想視点情報の取得と、この仮想視点情報に基づく各フレームの生成とを繰り返すことにより、複数フレームで構成される仮想視点映像を生成することができる。以下、Ｓ４００４～Ｓ４００８の１回の処理で生成するフレームのことを、現在生成中のフレーム（又は現フレーム）と呼ぶ。

Ｓ４００４で選択部３０２は、Ｓ４００３で受信した仮想視点情報に従ってレンダリング方式を選択する。本実施形態において選択部３０２は、レンダリング時刻情報に基づいてレンダリング方式を選択する。上述のように、複数の被写体をレンダリングする際には、選択処理は被写体ごとに行うことができる。具体的には、現フレームにおける被写体のレンダリング時刻が、現フレームの直前のフレーム（単純に前フレームと呼ぶ）における被写体のレンダリング時刻と異なる場合には、選択部３０２は第１画像生成部３０４を選択することができる。また、現フレームにおける被写体のレンダリング時刻が、前フレームにおける被写体のレンダリング時刻と同一である場合には、選択部３０２は第２画像生成部３０５を選択することができる。なお、選択部３０２は、現フレームにおける被写体のレンダリング時刻と、現フレームの直後のフレーム（単に次フレームと呼ぶ）における被写体のレンダリング時刻とに基づいて、レンダリング方式を選択してもよい。この場合、２フレーム分の仮想視点情報を取得するまで処理を待機してもよい。

Ｓ４００５でデータ取得部３０３は、Ｓ４００４で選択された画像生成部が用いるデータをデータベース５０から取得する。取得するデータに関しては後述する。

Ｓ４００６では、Ｓ４００４で選択された第１画像生成部３０４又は第２画像生成部３０５が、Ｓ４００５で取得されたデータを用いて、Ｓ４００４で選択された方式に合わせたレンダリングを行う。第１画像生成部３０４は、データ取得部３０３から、被写体の三次元モデル、各撮像装置からの撮像画像、並びに撮像装置毎の外部及び内部パラメータを取得する。そして、第１画像生成部３０４は、これらの情報に加えて、Ｓ４００３で取得された仮想視点情報を用いて、仮想視点依存レンダリングを行うことにより、現フレームにおける被写体の仮想視点画像を生成する。

一方で、第２画像生成部３０５は、データ取得部３０３から、被写体の三次元モデル及びその色情報を取得し、Ｓ４００３で取得された仮想視点情報に基づいて仮想視点非依存レンダリングを行うことにより、被写体の仮想視点画像を生成する。なお、データベース５０に三次元モデルの色情報がない場合には、第２画像生成部３０５は、各撮像装置からの撮像画像、並びに撮像装置毎の外部及び内部パラメータを取得する。そして、第２画像生成部３０５は、これらの情報に加えてＳ４００３で取得された仮想視点情報を用いて仮想視点非依存レンダリングを行うことにより、被写体の仮想視点画像を生成することができる。この際に第２画像生成部３０５は、既に説明したように三次元モデルに対する色付けを行ってもよい。ここで、第２画像生成部３０５は、三次元モデルのうち現フレームにおいて仮想視点映像に映る部分に色情報を付与することができ、現フレームにおいて仮想視点映像に映らない部分には色情報を付与しなくてもよい。

Ｓ４００７で選択部３０２は、第１画像生成部３０４又は第２画像生成部３０５によるレンダリング処理の記録を保存する。本実施形態において、選択部３０２は、各被写体のレンダリング時刻を記録する。この記録は、次フレームにおいてレンダリング方式を選択するために使用できる。また、Ｓ４００６で第２画像生成部３０５が三次元モデルに対する色付けを行っている場合、選択部３０２は、三次元モデルに対する色付けの結果を示す色情報を、レンダリング処理の記録として保存することができる。この場合、第２画像生成部３０５は、次フレームを生成する際に、過去のフレームのレンダリング処理の際に記録された三次元モデルの色情報を用いて、次フレームをレンダリングすることができる。なお、現フレームに映る三次元モデルの構成要素に色付けがされていない場合には、第２画像生成部３０５はこの構成要素の色情報を、上述のような仮想視点非依存レンダリングにより決定することができる。すなわち、第２画像生成部３０５は、三次元モデルの仮想視点映像に映る部分のうち、色情報が既に付与されている部分についてはこの色情報を用いて被写体の色を決定することができる。一方で、第２画像生成部３０５は、色情報が付与されていない部分については撮像画像に基づいて被写体の色を決定することができる。選択部３０２は、この記録を、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、又はデータベース５０に書き込むことができる。

Ｓ４００８で合成部３０６は、第１画像生成部３０４又は第２画像生成部３０５が生成した被写体の仮想視点画像を合成することで、仮想視点映像の現フレームを生成する。そして、合成部３０６は、得られたフレームを表示装置８０に送信する。なお、レンダリング対象の被写体が１つであるなど、合成が不要な場合には、合成部３０６は第１画像生成部３０４又は第２画像生成部３０５が生成した仮想視点画像を合成処理を行わずに表示装置８０へ送信することができる。その後、処理はＳ４００２に戻り、次フレームを生成することができる。

以上の実施形態によれば、被写体の動き量に基づいてレンダリング方法が選択され、とりわけレンダリング対象となる被写体のレンダリング時刻が停止しているかに応じてレンダリング方式が選択された。レンダリング時刻が変化しないために被写体が停止している場合、仮想視点依存レンダリングを用いると被写体の色を決定するために用いる撮像装置の切り替わりによる被写体の色の変化が目立つ可能性がある。しかしながら、上記の実施形態においては、このような場合には仮想視点非依存レンダリングが用いられるため、このような色の変化を抑制できる。一方で、レンダリング時刻が変化する場合には、仮想視点依存レンダリングを行うことにより高精細な仮想視点映像を生成することができる。

既に述べたように、Ｓ４００６で第２画像生成部３０５は、過去のフレームのレンダリング処理の際に記録された三次元モデルの色情報を用いて、現フレームをレンダリングすることができる。ところで、現フレームに映る三次元モデルの構成要素に色付けがされていない場合に、第２画像生成部３０５はこの構成要素の色情報を、仮想視点依存レンダリングにより決定してもよい。言い換えれば、過去のフレームにおいて色が決定されているか否かに応じてレンダリング方法を決定することができる。すなわち、過去のフレームにおいて色が決定されている部分についてはこの結果を用いたレンダリング方法を用いることができる。一方で、過去のフレームにおいて色が決定されていない部分については、撮像画像に基づくレンダリング方法（例えば仮想視点依存レンダリング方法）を用いることができる。このような方法によっても、被写体の前フレームに映っている部分の色は現フレームにおいても維持されるため、被写体の色の変化を抑制することができる。

また、第２画像生成部３０５は、過去のフレーム（例えば前フレーム）のレンダリング結果に基づいて仮想視点映像上の被写体の色を決定することで、現フレームのレンダリングを行ってもよい。このような処理方法について図５を参照して説明する。図５に示す処理方法は、Ｓ４００６において第２画像生成部３０５が行うことができる。Ｓ５００１で第２画像生成部３０５は、前フレームのレンダリング結果を取得する。Ｓ５００２で第２画像生成部３０５は、取得した前フレームのレンダリング結果を、現フレームにおける三次元モデル６０１に投影することで、三次元モデル６０１の色情報を生成する。すなわち、第２画像生成部３０５は、前フレームでの仮想視点６１１からレンダリング結果を投影することで、可視部６０２（実線部分）の色情報を付与する。

Ｓ５００３～Ｓ５００７のループは、現フレームの仮想視点６１２からの仮想視点画像の各画素について行われる。Ｓ５００４で第２画像生成部３０５は、処理対象の画素に対応する仮想視点６１２からの光線上に、Ｓ５００２で前フレームのレンダリング結果を投影することにより付与された色情報を持つ三次元モデルの構成要素があるかどうかを判定する。このような構成要素がある場合（図６の可視部６０２）、処理はＳ５００５へ進み、ない場合（図６の点線部６０３）、処理はＳ５００６へ移行する。

Ｓ５００５で第２画像生成部３０５は、Ｓ５００２において付与された色情報を、現フレームの処理対象画素の色情報として使用する。Ｓ５００６で第２画像生成部３０５は、処理対象画素の色情報が存在しないため、第１画像生成部３０４と同様に仮想視点依存レンダリング方式に従って、処理対象画素の色情報を決定する。Ｓ５００３～Ｓ５００７のループを繰り返すことにより、仮想視点映像の現フレームが生成される。

このように、第２画像生成部３０５が前フレームでのレンダリング結果に基づいて色情報を付与することによっても、被写体の前フレームに映っている部分の色が現フレームにおいて維持されるため、被写体の色の変化を抑制することができる。

一方で、被写体の動き量に基づくレンダリング方法の選択方法は、上記の方法に限られない。例えば、選択部３０２は、仮想視点映像に映る被写体のフレーム間での移動量又は形状変化量に応じてレンダリング方法を選択してもよい。具体的には、被写体の移動速度又は変化速度に応じてレンダリング方法を選択することができる。すなわち、被写体が動いていない又はゆっくり動いている場合にも、仮想視点依存レンダリングを用いると被写体の色の変化が目立つ可能性がある。そこで、選択部３０２は、被写体の移動若しくはその他の動きの速度に応じて、例えば速度が閾値より速い場合に第１画像生成部３０４による視点依存レンダリングを選択してもよい。また、選択部３０２は、速度が閾値以下である場合には第２画像生成部３０５による視点非依存レンダリングを選択することができる。一方で、選択部３０２は、フレーム間での被写体の形状変化に応じて、例えば変化量が閾値より大きい場合に第１画像生成部３０４による視点依存レンダリングを選択してもよい。また、選択部３０２は、変化量が閾値以下である場合には第２画像生成部３０５による視点非依存レンダリングを選択することができる。

具体例として、選択部３０２は、前フレームと現フレームとの間の被写体の変化を判定し、一定以上の変化が存在する場合に第１画像生成部３０４による視点依存レンダリングを選択してもよい。変化量の推定方法としては、被写体の形状をトラッキングすることで変化量を計算してもよい。別の方法として、１つ以上の撮像装置で撮像された画像において被写体のオプティカルフローを計算し、オプティカルフローの長さを変化量として用いてもよい。この場合、１つの被写体について同じレンダリング方式を選択するのではなく、被写体の領域ごとにレンダリング方式を選択してもよい。

さらなる別の例として、選択部３０２は、フレーム間の仮想視点の動き量に基づいてレンダリング方法を選択することができる。例えば、選択部３０２は、仮想視点のフレーム間での移動量に応じてレンダリング方法を選択してもよい。すなわち、仮想視点の移動速度が速いほど、仮想視点映像の変化が大きくなるため、被写体の色の変化が目立ちにくいと考えられる。例えば、仮想視点が高速に移動している場合には、被写体が停止しているとしても、被写体の色の変化が目立ちにくいと考えられる。そこで、選択部３０２は、仮想視点の動きの速度に応じて、例えば速度が閾値より速い場合に第１画像生成部３０４による視点依存レンダリングを選択してもよい。また、選択部３０２は、速度が閾値以下である場合には第２画像生成部３０５による視点非依存レンダリングを選択することができる。仮想視点の移動速度は、２つのフレームに対応する仮想視点それぞれの位置どうしの差異に基づいて決定することができる。また、仮想視点の移動速度は、２つのフレームに対応する仮想視点からの視線方向どうしの差異に基づいて決定することもできる。あるいは、仮想視点の移動速度は、それら２つのパラメータに基づいて決定することもできる。

なお、このように仮装視点の動き量又は被写体の動き量に応じてレンダリング方法を選択する場合、Ｓ４００６で第２画像生成部３０５は、被写体の形状が前フレームから変化しているか否かを判定してもよい。被写体の形状が前フレームから変化していない場合、第２画像生成部３０５は、以前のレンダリング処理の記録、例えば以前にＳ４００７で記録された被写体の三次元モデルの色情報を用いてレンダリングを行うことができる。一方で、被写体の形状が前フレームから変化している場合、第２画像生成部３０５は、三次元モデルへの色情報の付与をやり直すことができる。

被写体の動き量に応じたレンダリング方法の選択と、仮想視点の動き量に応じたレンダリング方法の選択とは、組み合わせて用いることもできる。例えば、上記のように被写体の動き量に応じてレンダリング方法を選択する一方で、仮想視点の移動速度が一定以上である場合には、被写体の動き量にかかわらず、第１画像生成部３０４による視点依存レンダリングを選択してもよい。

ところで、被写体が指向性反射領域を有している場合、視点非依存レンダリングを行うことで仮想視点映像を生成すると、仮想視点位置が変わっても指向性反射が再現されず、映像の再現性が低下する。指向性反射領域とは、均一な拡散反射が生じるのではなく、反射光の強度が反射方向により変化する領域のことを指す。そこで、選択部３０２は、被写体が指向性反射領域を有するか否かにさらに基づいてレンダリング方法を選択してもよい。例えば、選択部３０２は、指向性反射領域を有する被写体については、仮想視点又は被写体の動き量にかかわらず、仮想視点映像における被写体の色が前記仮想視点の位置に応じて決定されるレンダリング方法を選択するができる。例えば、被写体のうち、指向性反射領域に対しては視点依存レンダリングを行うように、レンダリング方法を選択してもよい。

このような実施形態においては、Ｓ４００３でデータ取得部３０３がデータベース５０から指向性反射領域を示す情報を取得する。なお、モデリング装置４０は、被写体のうち各撮像装置から見える色が異なる領域を、指向性反射領域としてデータベースに登録しておくことができる。例えば、モデリング装置４０は、三次元モデルの構成要素に、指向性反射領域に属することを示すフラグを付加してもよい。

また、Ｓ４００４で選択部３０２は、仮想視点又は被写体の動き量に加えて、Ｓ４００３で取得した指向性反射領域を示す情報に基づいて画像生成部を選択する。具体的には、指向性反射領域のレンダリングを行う場合には、選択部３０２は仮想視点又は被写体の動き量とは無関係に第１画像生成部３０４を用いた視点依存レンダリングを選択することができる。一方で、指向性反射領域以外の領域のレンダリングを行う場合には、選択部３０２は上述のように仮想視点又は被写体の動き量に応じてレンダリング方法を選択することができる。このような構成によれば、指向性反射領域を含む被写体の仮想視点映像において、再現性を高めることができる。

なお、レンダリング方法は、仮想視点の動きに応じて変更されてもよい。例えば、仮想視点が被写体の周りを、被写体を中心に回るような動きをする場合と、そうでない場合とで、レンダリング方法が変更されてもよい。より具体的には、仮想視点が被写体の周りを、被写体を中心に回るような動きをする場合には、視点非依存レンダリングにより仮想視点映像の被写体の色を決定するようにしてもよい。また、例えば、仮想視点が被写体にある方向から近づいたり、遠ざかったりするような直線的な移動をする場合には、視点依存レンダリングにより、仮想視点映像の被写体の色を決定してもよい。

また、レンダリング方法は、被写体の動きに応じて変更されてもよい。被写体が自転するような動きの場合と、そうでない場合とで、レンダリング方法が変更されてもよい。あるいは被写体が止まっている場合（つまり、動きがない場合）と被写体が動いている場合とで、レンダリング方法が変更されてもよい。

また、仮想視点の動きと被写体の動きの両方によって、レンダリング方法が変更されてもよい。例えば、仮想視点が固定されており、被写体が動いている場合と、仮想視点が動いていて、被写体が静止している場合で、レンダリング方法が変更されてもよい。

（その他の実施例）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

６０：レンダリング装置、３０１：視点取得部、３０２：選択部、３０３：データ取得部、３０４：第１画像生成部、３０５：第２画像生成部、３０６：合成部

Claims

被写体を撮像することによって得られた撮像画像に基づいて生成される前記被写体を含む仮想視点映像に対応する仮想視点の動き、又は前記被写体の動きに基づいて、前記仮想視点映像における前記被写体の色の決定方法を選択する選択手段と、
前記被写体を含む前記仮想視点映像を生成する生成手段であって、前記選択手段によって選択された決定方法で前記仮想視点映像における前記被写体の色を決定する、生成手段と、
を有し、
前記選択手段は、前記仮想視点映像に映る前記被写体のフレーム間での移動量又は形状変化量に応じて前記決定方法を選択することを特徴とする情報処理装置。
前記選択手段は、前記仮想視点映像の同一の被写体の色が前記仮想視点の位置に応じてフレーム間で変化する第１の決定方法と、前記仮想視点映像における同一の被写体の色が前記仮想視点の位置にかかわらずフレーム間で一定である第２の決定方法と、から決定方法を選択することを特徴とする、請求項１に記載の情報処理装置。
前記選択手段は、前記仮想視点映像の被写体の色が前記仮想視点の位置に応じて決定される第１の決定方法と、前記仮想視点映像における被写体の色が前記仮想視点の位置にかかわらず決定される第２の決定方法と、から決定方法を選択することを特徴とする、請求項１に記載の情報処理装置。
前記第１の決定方法においては、前記仮想視点映像における被写体の色を決定するために用いる撮像画像が前記仮想視点の位置に応じて選択され、前記第２の決定方法においては、前記仮想視点映像における被写体の色を決定するために用いる撮像画像が前記仮想視点の位置にかかわらず選択されることを特徴とする、請求項２又は３に記載の情報処理装置。
前記第１の決定方法においては、前記撮像画像を撮像した複数の撮像装置のうち、前記撮像装置から前記被写体への視線方向が、前記仮想視点から前記被写体への視線方向により近い撮像装置によって撮像された撮像画像を、前記仮想視点映像における被写体の色を決定するために用いることを特徴とする、請求項４に記載の情報処理装置。
前記第２の決定方法においては、前記被写体の三次元モデルに付された色情報を用いて前記仮想視点映像における前記被写体の色を決定することを特徴とする、請求項２から５のいずれか１項に記載の情報処理装置。
前記生成手段は、前記三次元モデル及び前記撮像画像に基づいて前記三次元モデルに色情報を付与することを特徴とする、請求項６に記載の情報処理装置。
前記生成手段は、前記三次元モデルの前記仮想視点映像に映る部分に色情報を付与することを特徴とする、請求項７に記載の情報処理装置。
前記生成手段は、前記三次元モデルの前記仮想視点映像に映る部分のうち、色情報が既に付与されている部分については当該色情報を用いて前記被写体の色を決定し、色情報が付与されていない部分については前記撮像画像に基づいて前記被写体の色を決定することを特徴とする、請求項６から８のいずれか１項に記載の情報処理装置。
前記第２の決定方法においては、過去のフレームのレンダリング結果に基づいて前記仮想視点映像における前記被写体の色を決定することを特徴とする、請求項２から５のいずれか１項に記載の情報処理装置。
前記選択手段は、フレーム間の前記仮想視点の動き量又は前記被写体の動き量が閾値を超える場合に前記第１の決定方法を選択し、前記動き量が閾値以下である場合に前記第２の決定方法を選択することを特徴とする、請求項２から１０のいずれか１項に記載の情報処理装置。
被写体を撮像することによって得られた撮像画像に基づいて生成される前記被写体を含む仮想視点映像に対応する仮想視点の動き、又は前記被写体の動きに基づいて、前記仮想視点映像における前記被写体の色の決定方法を選択する選択手段と、
前記被写体を含む前記仮想視点映像を生成する生成手段であって、前記選択手段によって選択された決定方法で前記仮想視点映像における前記被写体の色を決定する、生成手段と、
を有し、
前記選択手段は、前記仮想視点映像に映る前記被写体の撮像時刻がフレーム間で変化するか否かに応じて前記決定方法を選択することを特徴とする情報処理装置。
前記選択手段は、前記仮想視点のフレーム間での移動量に応じて前記決定方法を選択することを特徴とする、請求項１から１１のいずれか１項に記載の情報処理装置。
前記仮想視点映像は複数の被写体を含み、
前記選択手段は、複数の被写体のそれぞれについて決定方法を選択することを特徴とする、請求項１から１３のいずれか１項に記載の情報処理装置。
前記生成手段は、複数の決定方法により決定された色を合成することを特徴とする、請求項１４に記載の情報処理装置。
前記選択手段は、前記被写体が指向性反射領域を有するか否かにさらに基づいて前記決定方法を選択することを特徴とする、請求項１から１５のいずれか１項に記載の情報処理装置。
前記選択手段は、前記指向性反射領域を有する被写体については、前記仮想視点又は前記被写体の動き量にかかわらず、前記仮想視点映像における被写体の色が前記仮想視点の位置に応じて決定される決定方法を選択することを特徴とする、請求項１６に記載の情報処理装置。
情報処理装置が行う情報処理方法であって、
被写体を撮像することによって得られた撮像画像に基づいて生成される前記被写体を含む仮想視点映像に対応する仮想視点の動き、又は前記被写体の動きに基づいて、前記仮想視点映像における前記被写体の色の決定方法を選択する工程と、
前記被写体を含む前記仮想視点映像を生成する工程であって、選択された前記決定方法で前記仮想視点映像における前記被写体の色を決定する、工程と、
を有し、
前記選択する工程では、前記仮想視点映像に映る前記被写体のフレーム間での移動量又は形状変化量に応じて前記決定方法を選択することを特徴とする情報処理方法。
情報処理装置が行う情報処理方法であって、
被写体を撮像することによって得られた撮像画像に基づいて生成される前記被写体を含む仮想視点映像に対応する仮想視点の動き、又は前記被写体の動きに基づいて、前記仮想視点映像における前記被写体の色の決定方法を選択する工程と、
前記被写体を含む前記仮想視点映像を生成する工程であって、選択された前記決定方法で前記仮想視点映像における前記被写体の色を決定する、工程と、
を有し、
前記選択する工程では、前記仮想視点映像に映る前記被写体の撮像時刻がフレーム間で変化するか否かに応じて前記決定方法を選択することを特徴とする情報処理方法。
コンピュータを、請求項１から１７のいずれか１項に記載の情報処理装置として機能させるためのプログラム。