JP7451291B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、仮想視点画像を生成する画像処理技術に関するものである。

複数台の撮像装置で撮像して得られた画像を用いて、３次元空間内に仮想的に配置した仮想的な視点（仮想視点）からの映像を再現する技術として、仮想視点画像生成技術がある。

仮想視点画像は、例えば以下のような方法で生成される。まず、複数の撮像装置によりそれぞれ異なる方向からオブジェクトを撮像することで複数の画像（複数視点画像）が取得される。次に、複数視点画像から、前景画像と背景画像が取得される。前景画像とは、人物やボールなどの移動する所定のオブジェクト（動体）に対応する前景オブジェクト領域とその影領域を抽出した画像である。背景画像とは、競技場などの移動しない前景オブジェクト領域および影領域以外（不動体）の背景領域を抽出した画像である。また、前景の三次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成される。同様に、背景の三次元形状を表す背景モデルと背景の三次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、視点情報を示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。

仮想視点画像の生成には、前景オブジェクトが光源からの光に照らされて生じた影の描画も含まれるが、この影の描画に関して、特許文献１では、以下の方法が開示されている。仮想視点に基づき、背景画像から生成した背景変換画像と前景画像から生成した前景変換画像、及び撮像画像と背景画像の差分画像（影画像）から生成した影変換画像を合成することで影の描画を行う。これにより、撮像装置の個体差や、視点による見え方の違いによって、複数視点画像が異なる明るさや色の画像を含んでいても、不自然な色の変化を抑えつつ、影を含む背景領域の仮想視点画像データを生成することができる。

特開２０１９－６１５５８号公報

しかしながら、特許文献１では、影変換画像に前景画像及び背景画像を使用するため、画像の高解像度化や撮像装置の台数が増加すると、仮想視点画像の生成に係るデータ量が増大する。

そこで、本発明は、仮想視点画像の生成において影を描画するためのデータ量を抑制することを目的とする。

本開示の技術は、複数の撮像装置で撮像して得られた複数の画像に基づく背景画像を取得する第１の取得手段と、前記複数の撮像装置で撮像して得られた複数の画像に基づく複数の前景画像から影領域を抽出した複数の影マスク画像を取得する第２の取得手段と、前記前景画像から前記影領域を除去することにより影無し前景画像を取得する第３の取得手段と、仮想視点に関する情報を取得する第４の取得手段と、前記仮想視点に関する情報および前記影無し前景画像に基づく仮想視点前景画像を生成する第１の生成手段と、前記仮想視点に関する情報および前記背景画像に基づく仮想視点背景画像を生成する第２の生成手段と、前記複数の影マスク画像に基づき、前記仮想視点背景画像に対して影を描画した影付き仮想視点背景画像を生成する第３の生成手段と、前記仮想視点前景画像と前記影付き仮想視点背景画像とに基づき、仮想視点画像を生成する第４の生成手段と、を備え、前記影付き仮想視点背景画像における影の濃さは、前記複数の影マスク画像に基づき決定される、ことを特徴とする。

本開示の技術によれば、仮想視点画像の生成において影を描画するためのデータ量を抑制することができる。

画像処理装置のハードウェア構成の一例を示す図である。 画像処理装置の機能構成の一例を示す図である。 仮想視点画像の生成方法を示す概略図である。 影付き仮想視点背景画像の生成方法を示す概略図である。 影の濃さの算出方法を示す概略図である。 画像処理の一例を示すフローチャートである。 画像処理装置のハードウェア構成の一例を示す図である。 画像処理装置の機能構成の一例を示す図である。 画像処理の一例を示すフローチャートである。

以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［実施形態１］
実施形態１では、複数台の撮像装置から得られた撮像画像に基づき影マスク画像を生成し、その影マスク画像を用いて、仮想視点画像に前景の影を描画する処理を説明する。なお、本実施形態では、影マスク画像を二値画像として扱うが、これに限らず、多値画像、例えばグレースケール画像などでも良い。

＜画像処理システムのハードウェア構成＞
図１（ａ）は、本実施形態に係る、画像処理システム１０の全体構成の一例を示す図である。なお、仮想視点画像とは、３次元空間内に仮想的に配置した、実際には存在しない撮像装置の視点（仮想視点）からの見えを表す画像であり、ユーザ及び／又は選任のオペレータ等が自由に仮想視点の位置及び姿勢を操作することによって生成される画像である。この仮想視点画像は、自由視点画像や任意視点画像などとも呼ばれる。また、特に断りがない限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。すなわち、画像処理システム１０は、静止画及び動画の何れについても処理可能である。

画像処理システム１０は、撮像システム１０１、画像処理装置１０２、情報処理装置１０３から構成され、仮想視点画像を生成することが可能である。

撮像システム１０１は、複数の撮像装置を異なる位置に配置し、同一のオブジェクトを多視点から同期撮像して複数視点画像を取得する。撮像システム１０１は、取得した複数視点画像を、画像処理装置１０２に送信する。

画像処理装置１０２は、受信した複数視点画像を元に、指定された仮想視点から見た仮想視点画像を生成する。画像処理装置１０２は、撮像システム１０１が有するどの撮像装置とも異なる視点から見た画像、つまり仮想視点画像を生成することができる。仮想視点は、後述する情報処理装置１０３が決定するカメラパラメータによって表現される。画像処理装置１０２は、受信した複数視点画像から順次仮想視点画像を生成し、生成した仮想視点画像を情報処理装置１０３に送信する。

情報処理装置１０３は、仮想視点を制御するためのコントローラと、仮想視点の状態などを表示する表示部を有する。コントローラは、キーボードやマウスといったユーザが入力操作を行うための一般的な入力デバイスの他、仮想視点を操縦するためのジョイスティック、つまみ、ジョグダイヤル等を含む。表示部は、ユーザに必要な情報を表示するための１又は複数の表示デバイス（以下、「モニタ」と表記）である。表示デバイスとして例えばタッチパネルディスプレイを採用した場合は、タッチパネルが上述のコントローラを兼ねることもできる。モニタには仮想視点画像又は仮想視点制御用のＵＩ画面が表示され、ユーザはモニタを見ながら仮想視点の操作量、つまり移動方向、向き（姿勢）、回転、移動距離や移動速度などを指示する。情報処理装置１０３は、ユーザにより指示された操作量から仮想視点の仮想視点パラメータを決定し、それを画像処理装置１０２に送信する。仮想視点パラメータは、位置、姿勢、またはズームの少なくとも何れか１つを指定するためのパラメータを含んでもよい。仮想視点パラメータにより指定される仮想視点の位置は、３次元座標を示すものであってもよい。また、仮想視点パラメータにより指定される位置は、Ｘ軸、Ｙ軸、Ｚ軸の３軸の直交座標系の座標により示されてもよい。なお、原点は３次元空間内の任意の位置としてもよい。仮想視点パラメータにより指定される仮想視点の姿勢は、パン、チルト、ロールの３軸とのなす角度により示されてもよい。仮想視点パラメータにより指定される仮想視点のズームは、例えば、焦点距離の１軸により示される。情報処理装置１０３はこれらのパラメータを制御可能である。なお、仮想視点パラメータは他の要素を規定するパラメータを含んでもよいし、上述したパラメータの全てを含まなくてもよい。また、情報処理装置１０３は、画像処理装置１０２が生成した仮想視点画像を受信しモニタに表示することができる。

図１（ｂ）は、画像処理装置１０２のハードウェア構成の一例を示す図である。画像処理装置１０２は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、通信部１１４で構成される。ＣＰＵ１１１は、ＲＡＭ１１２をワークメモリとして、ＲＯＭ１１３に格納されたプログラムを実行し、画像処理装置１０２の各構成部を統括的に制御するプロセッサである。これにより、ＣＰＵ１１１が、各種プログラムを実行することで、後述の図２に示す各処理部の機能が実現される。ＲＡＭ１１２は、ＲＯＭ１１３から読みだされたコンピュータプログラムや計算の途中結果などを一時的に記憶する。ＲＯＭ１１３は、変更を必要としないコンピュータプログラムやデータを保持する。またＲＯＭ１１３は、撮像装置のカメラパラメータ、背景モデル、図５の閾値１や閾値２などの影マスク画像から仮想視点画像に影を描画する上で必要なデータなどを格納する。通信部１１４は、ＥｔｈｅｒｎｅｔやＵＳＢなどの通信手段を有し、撮像システム１０１及び情報処理装置１０３との通信を行う。

＜画像処理装置の機能構成＞
図２は、画像処理装置１０２の、影マスク画像を用いた影描画処理に係る機能構成の一例を示す図である。

画像処理装置１０２は、通信制御部１００１、仮想視点前景画像生成部１００２、仮想視点背景画像生成部１００３、影マスク画像生成部１００４、影付き仮想視点背景画像生成部１００５、及び合成画像生成部１００６で構成される。

通信制御部１００１は、通信部１１４を用いて、撮像システム１０１から複数視点画像、及び情報処理装置１０３から仮想視点パラメータなどの情報を受信する。そして通信制御部１００１は、受信した情報を仮想視点前景画像生成部１００２、仮想視点背景画像生成部１００３、及び影マスク画像生成部１００４に出力する。また、通信制御部１００１は、合成画像生成部１００６から仮想視点画像を受信し、情報処理装置１０３に送信する。

仮想視点前景画像生成部１００２は、通信制御部１００１から受信した複数視点画像と仮想視点パラメータに基づき、仮想視点から見た影の無い前景の画像である仮想視点前景画像を生成する。仮想視点前景画像生成部１００２は、大別して、複数視点画像から前景画像を生成する処理および前景画像から影を除去する処理と、前景画像と仮想視点パラメータとに基づいて仮想視点から見た仮想視点前景画像を生成する処理とに分かれる。まず、仮想視点前景画像生成部１００２は、複数視点画像に対して前景背景分離処理を行って前景画像を生成する。前景画像とは、撮像装置によりオブジェクトを撮像して得られた撮像画像から、動きのある領域（前景オブジェクト領域とその影領域）を抽出した画像である。抽出される動きのある領域とは、固定した撮像装置で同じ方向から撮像を行って得られた複数の撮像画像において、時系列上で隣接する撮像画像間で所定の大きさ以上の動きのある（その絶対位置や形が変化し得る）領域を指す。撮像装置が動きながら撮像した場合は、撮像画像間で動きのあるオブジェクトのうち、撮像装置の動き分を差し引いた動きが所定の大きさ以上のものを動的オブジェクト、すなわち前景オブジェクトとする。前景オブジェクトには、例えば、競技が行われるフィールド内にいる選手や審判などの人物、球技であればボールなど、またコンサートやエンタテイメントにおける歌手、演奏者、パフォーマー、司会者などがなり得る。

次に、仮想視点前景画像生成部１００２は、前景画像から影領域を除去した影無し前景画像を生成する。光源が前景オブジェクトを照らすことで発生する前景オブジェクトの影も動体ではあるが、本実施形態では前景オブジェクトとその影とを区別して扱う。前景オブジェクトとその影の区別の仕方は後述する。

次に、仮想視点前景画像生成部１００２は、影無し前景画像と予めＲＯＭ１１３に記憶している撮像装置のカメラパラメータに基づき、前景オブジェクトの三次元形状を表す前景モデルと前景モデルに色付けするための前景テクスチャデータとを生成する。そして、仮想視点パラメータに基づき、前景モデルに対して前景テクスチャデータをマッピングすることで仮想視点前景画像を生成する。仮想視点前景画像生成部１００２は、生成した仮想視点前景画像を合成画像生成部１００６に出力する。なお、仮想視点前景画像の生成方法はこれに限定されず、前景モデルを用いずに影無し前景画像の射影変換により仮想視点前景画像を生成する方法など、種々の方法を用いることができる。

仮想視点背景画像生成部１００３は、通信制御部１００１から受信した複数視点画像と仮想視点パラメータに基づき、仮想視点から見た背景の画像である仮想視点背景画像を生成する。仮想視点背景画像生成部１００３は、大別して、複数視点画像から背景画像を生成する処理と、背景画像と仮想視点パラメータとに基づいて仮想視点から見た仮想視点背景画像を生成する処理とに分かれる。まず、仮想視点背景画像生成部１００３は、複数視点画像に対して前景背景分離処理を行って背景画像を生成する。背景画像とは、撮像画像から前景オブジェクト及び前景オブジェクトの影の領域を取り除いた画像である。この背景画像に写る背景オブジェクトは、固定した撮像装置で同じ方向から撮像を行って得られた複数の撮像画像において、時系列上で隣接する撮像画像間で動きが所定の大きさ未満のオブジェクトを指す。すなわち背景オブジェクトは、静止している、又は静止に近い状態が継続しているオブジェクトを指す。撮像装置が動きながら撮像した場合は、撮像画像間で動きのあるオブジェクトのうち、撮像装置の動き分を差し引いた動きが所定の大きさ未満であるものを背景オブジェクトとする。このような背景オブジェクトは、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、フィールド、などである。ただし、背景オブジェクトは、少なくとも前景オブジェクトやその影とは異なるオブジェクトであり、上記オブジェクトの他に、別の物体等が含まれていてもよい。

尚、背景画像については、前景オブジェクトが存在しない状況で背景オブジェクトのみを撮像して得られた複数視点画像を用いてもよく、この場合、前景背景分離の処理は省略できる。

次に、仮想視点背景画像生成部１００３は、背景画像と予めＲＯＭ１１３に記憶し取得した撮像装置のカメラパラメータ及びスタジアムなどの背景の三次元形状を表す背景モデルに基づき、背景モデルに色付けするための背景テクスチャデータを生成する。そして仮想視点背景画像生成部１００３は、背景モデルに背景テクスチャデータをマッピングすることで仮想視点背景画像を生成する。仮想視点背景画像生成部１００３は、生成した仮想視点背景画像を影付き仮想視点背景画像生成部１００５に出力する。なお、仮想視点背景画像の生成方法は、仮想視点前景画像と同様に射影変換による方法など、これに限定されない。

影マスク画像生成部１００４は、受信した複数視点画像から影マスク画像を生成する。影マスク画像生成部１００４は、まず複数視点画像から前景オブジェクトとその影の両方を含む動体が映った動体領域と不動体が映った不動体領域を抽出し、前者を前景画像、後者を背景画像とする。尚、仮想視点前景画像生成部１００２および仮想視点背景画像生成部１００３で生成された前景画像および背景画像を取得してもよい。次に、前景画像を前景領域と影領域とに分離する。分離方法としては、例えば、撮像装置毎に、撮像範囲内の画素領域が不動体領域である別の撮像画像の画素値を予め保存しておく。そして、ＲＧＢ空間において、各撮像画像の動体領域の画素値と、予め保存しておいた画素領域が不動体領域である別の撮像画像の画素値との差分を計算し、その差分値がある閾値以上であれば前景オブジェクト領域、閾値未満であれば影領域とする。この分離方法では、動体領域のうち、前景オブジェクトに比べて背景の不動体領域の色に一定程度類似する領域を影領域として検出することが可能である。

そして影マスク画像生成部１００４は、動体領域を含む撮像画像の影領域を二値化し、影マスク画像を生成する。なお、影マスク画像の生成方法はこれに限らない。影マスク画像生成部１００４は、生成した影マスク画像を影付き仮想視点背景画像生成部１００５に出力する。ただし、前述したが、影マスク画像は二値画像に限らず多値画像でもよい。また、影マスク画像の情報量をより削減するため、影マスク画像から影領域のみを抽出してもよく、その場合、抽出した影マスク画像と撮像画像に対する抽出領域の位置を示す情報とを影付き仮想視点背景画像生成部１００５に出力する。

影付き仮想視点背景画像生成部１００５は、受信した仮想視点背景画像、影マスク画像、及び仮想視点パラメータに基づいて、仮想視点背景画像に影を描画する。仮想視点パラメータは、仮想視点背景画像生成部１００３又は影マスク画像生成部１００４を介して通信制御部１００１から受信される。影マスク画像による仮想視点背景画像への影描画方法の詳細は、図４と図５を用いて後述する。影付き仮想視点背景画像生成部１００５は、生成した影付き仮想視点背景画像を合成画像生成部１００６に出力する。

合成画像生成部１００６は、仮想視点前景画像生成部１００２、影付き仮想視点背景画像生成部１００５から入力した仮想視点前景画像と影付き仮想視点背景画像を合成することで前景、背景、影が描画された仮想視点画像を生成する。合成画像生成部１００６は、生成した仮想視点画像を通信制御部１００１に送信する。

ここで、図３（ａ）～（ｅ）を用いて仮想視点画像の生成手順を簡単に説明する。図３（ａ）は、撮像装置群３０１がそれぞれ異なる方向からオブジェクトを撮像し、仮想視点３０２がどの撮像装置とも異なる位置及び姿勢でオブジェクトの方向を向いている様子を示す概略図である。撮像装置群３０１は、撮像システム１０１の一部を構成し、複数視点画像を画像処理装置１０２に送信する。仮想視点３０２の制御は、ユーザが情報処理装置１０３を操作することで行われる。情報処理装置１０３は、ユーザ入力に基づき仮想視点パラメータを決定し、決定した仮想視点パラメータを画像処理装置１０２に送信する。また、情報処理装置１０３は、画像処理装置１０２から仮想視点画像を受信し、モニタに映すことで、ユーザが仮想視点画像を見ることを可能とする。図３（ｂ）は、仮想視点前景画像生成部１００２が生成する仮想視点前景画像３０３である。仮想視点前景画像３０３は、撮像装置群３０１から送信された複数視点画像から生成された前景画像のうち影領域を除いた前景オブジェクト領域に基づき生成された前景モデル、前景テクスチャデータ、及び仮想視点パラメータに基づき生成される。図３（ｃ）は、仮想視点背景画像生成部１００３が生成する仮想視点背景画像３０４である。仮想視点背景画像３０４は、撮像装置群３０１から送信された複数視点画像から生成された背景画像に基づき生成された背景モデル、背景テクスチャデータ、及び仮想視点パラメータに基づき生成される。図３（ｄ）は、影付き仮想視点背景画像生成部１００５が生成する影付き仮想視点背景画像３０５である。影付き仮想視点背景画像３０５は、撮像装置群３０１から送信された複数視点画像から影マスク画像生成部１００４が生成した影マスク画像、背景モデル、及び仮想視点パラメータに基づき生成される。図３（ｅ）は、合成画像生成部１００６が生成する仮想視点画像３０６である。仮想視点画像３０６は、仮想視点前景画像３０３と影付き仮想視点背景画像３０５を合成することで生成される。

以上の手順により、影マスク画像を用いて、前景オブジェクトの影を描画した最終的な仮想視点画像を生成することが可能となる。

＜影マスク画像を用いた影付き仮想視点背景画像の描画方法＞
ここで、複数の影マスク画像を用いて影付き仮想視点背景画像を描画する方法を図４と図５を用いて説明する。図４は、影描画方法の処理手順を説明する図である。処理４０１～処理４０６は、影描画のために必要な処理項目を表している。処理項目への矢印は入力データを、処理項目から外向きへの矢印は出力データを表している。

処理４０１は、仮想視点パラメータと背景モデルを入力とし、仮想視点から仮想視点背景画像の各画素に映るオブジェクトまでの距離データを算出して出力する。距離データは、Ｚバッファ法などを用いることで、点群やポリゴンなどの形状モデルデータから算出される。

処理４０２～処理４０６は、仮想視点背景画像の対象画素毎に行い、仮想視点背景画像に含まれる画素数分だけ繰り返す。

処理４０２は、対象画素の距離データと仮想視点パラメータを入力とし、距離データをワールド座標系の座標値に変換し出力する。ワールド座標系は、撮像装置が撮像するオブジェクトが位置する３Ｄ空間全体を表す座標系であり、Ｘ軸、Ｙ軸、Ｚ軸の３軸の直交座標系の座標により示される。処理４０３～処理４０４は、対象とする撮像装置毎に行い、撮像装置の台数分だけ繰り返す。

処理４０３は、座標値と対象とする撮像装置のカメラパラメータ、及び対象とする撮像装置の仮想視点背景画像と撮像時刻が同一の撮像画像から生成した影マスク画像を入力とする。そして処理４０３は、座標値をカメラパラメータに基づき影マスク画像に投影し、座標値が投影された影マスク画像上の画素領域と影マスク画像の影領域とが一致したか否かを判定し、その判定結果を出力する。

処理４０４は、判定結果を入力とし、座標値が投影された影マスク画像上の画素領域と影マス画像の影領域とが一致したと判定した回数（影判定回数）を出力する。したがって、全ての撮像装置が同一の影領域を撮像していた場合、影判定回数は撮像装置の台数と等しくなる。ただし、複数の撮像装置が同一の影を撮像していても、撮像画像から影領域を抽出したり、しなかったりすると、影判定回数は当該影を撮像した撮像装置の台数より減少する。また、同一の影でも色の濃い領域と薄い領域で影領域の検出率が異なる場合、影判定回数は色の濃い領域ほど増加する。

処理４０５は、影判定回数を入力とし、影の濃さを出力する。影の濃さをｗとし、ｗは０．０から１．０までの範囲の値をとる。ｗが０．０であれば影がない状態、１であれば影を濃く描画、０．５であれば１の場合と比較して影の濃さが半分になる。影の濃さｗの算出方法の詳細は後述する。

処理４０６は、影の濃さｗと仮想視点背景画像の対象画素の画素値ＲＧＢ_backgroundを入力として、影付き仮想視点背景画像の対象画素の画素値ＲＧＢ_shadowを出力する。影付き仮想視点背景画像の対象画素の画素値は、例えば、下記式１により算出する。式１により、仮想視点背景画像に黒色をブレンドし、影に相当する部分を暗くすることができる。なお、ａｌｐｈａは黒色を混ぜる量を定義し、０．０から１．０の範囲の値を持つ。

ここで影の濃さｗの算出方法を、図５を用いて説明する。図５のグラフ５０１は、横軸を影判定回数、縦軸を影の濃さとする。影の濃さｗは、影判定回数、閾値１、及び閾値２により制御される。影判定回数が閾値２以上であれば、処理４０２で算出した座標値が多くの影マスク画像上に投影されていることから、当該座標値は影である確度が高いと考えられる。そのため、影の濃さｗを１とする。影判定回数が閾値１以上かつ閾値２未満であれば、撮像装置の視点によっては、影領域でない可能性が高くなるため、影の濃さを線形的に変化させる。つまり、影判定回数に応じて影に濃淡を付けて描画することができる。影判定回数が閾値１未満の場合は、複数視点画像から影マスク画像を生成する際に影領域を誤検出した可能性が高いため、影の描画をしない。つまり、ノイズ除去が可能となる。

以上により、影マスク画像を用いて仮想視点背景画像に濃淡のついた影を描画することが可能となる。また、閾値１や閾値２のパラメータを設定することで、撮像装置と光源の位置関係による影の見え方の違いや撮像装置間の露出などの設定の違いによる影の映り方の違い等の影響を低減した自然な影を描画することができる。なお、本実施形態では、全ての撮像装置に関して影マスク画像が存在する場合はその影マスク画像を用いて影の濃さｗを算出している。しかし、この算出方法に限定されず、例えば仮想視点から近い一部の撮像装置の撮像画像から生成された影マスク画像のみを使用して影の濃さｗを算出してもよく、その場合はより影情報のデータ量を削減できる。また、影マスク画像がグレースケール画像の場合は、影マスク画像の濃淡情報を影の濃さｗに反映してもよく、影の濃さｗの算出方法は上記の方法に限らない。

さらに、上記の方法は、仮想視点背景画像の画素毎の仮想視点からの距離データをワールド座標系に変換し、それを各撮像装置の影マスク画像に投影したが、逆も可能である。すなわち、影マスク画像の画素毎の撮像装置から影までの距離データをワールド座標系に変換し、各影マスク画像の座標値を仮想視点背景画像に投影してもよい。その場合、仮想視点背景画像の同一画素に座標値が投影された回数で影の濃淡を決めてもよく、同一画素に座標値が投影された回数が多いほど影を濃く描画する。

＜影マスク画像による影描画の制御＞
図６は、本実施形態に係る、仮想視点画像への影マスク画像による影描画を制御する処理の流れを示すフローチャートである。図６に示すフローは、ＲＯＭ１１３に格納された制御プログラムがＲＡＭ１１２に読み出され、ＣＰＵ１１１がこれを実行することによって実現される。画像処理装置１０２が撮像システム１０１からの複数視点画像、及び情報処理装置１０３からの仮想視点パラメータを受信すると、図６のフローの実行が開始される。図６のフローの実行開始は、通信制御部１００１による仮想視点前景画像生成部１００２、仮想視点背景画像生成部１００３、及び影マスク画像生成部１００４への受信データの送信をトリガとしてもよい。

Ｓ６０１では、仮想視点前景画像生成部１００２が、通信制御部１００１からの入力データに基づき、仮想視点前景画像を生成する。生成した仮想視点前景画像は、合成画像生成部１００６に出力される。

Ｓ６０２では、仮想視点背景画像生成部１００３が、通信制御部１００１からの入力データに基づき、仮想視点背景画像を生成する。生成した仮想視点背景画像は、影付き仮想視点背景画像生成部１００５に渡される。

Ｓ６０３では、影マスク画像生成部１００４が、通信制御部１００１からの入力データに基づき、影マスク画像を生成する。生成した影マスク画像は、影付き仮想視点背景画像生成部１００５に渡される。

Ｓ６０４では、影付き仮想視点背景画像生成部１００５が、仮想視点背景画像生成部１００３、影マスク画像生成部１００４から受け取った仮想視点背景画像、影マスク画像、仮想視点パラメータに基づき、影付き仮想視点背景画像を生成する。生成した影付き仮想視点背景画像は、合成画像生成部１００６に出力される。

Ｓ６０５では、合成画像生成部１００６が、仮想視点前景画像生成部１００２、影付き仮想視点背景画像生成部１００５から受信した仮想視点前景画像と影付き仮想視点背景画像を合成することで仮想視点画像を生成する。生成した仮想視点画像は通信制御部１００１に送信され、本フローは終了する。

本フローが終了した後、通信制御部１００１は受信した仮想視点画像を情報処理装置１０３に送信する。

なお、図６に示すＳ６０１～Ｓ６０３は、逐次処理されるように記載しているが、これらは並列処理されてもよい。

以上説明したように、本実施形態では、複数視点画像から影マスク画像を生成し、生成した影マスク画像を用いて仮想視点画像に前景オブジェクトの影を描画する。このように、前景オブジェクトと前景オブジェクトの影とを別々に描画するための影情報を影マスク画像の重なり数として扱うことで、例えば影のカラー画像と比較して影の描画に関するデータ量および処理量を削減することが可能となる。

［実施形態２］
実施形態１では、１つの画像処理装置内で、複数視点画像から影マスク画像を生成し、その影マスク画像に基づいて、仮想視点画像に影を描画する処理を説明した。次に、画像処理装置が２つある状況下において、第１の画像処理装置で前景画像、背景画像、影マスク画像を生成し、第２の画像処理装置でそれら画像を用いて仮想視点画像を生成する態様を、実施形態２として説明する。なお、ハードウェア構成やソフトウェア構成において実施形態１と共通する部分は説明を省略ないしは簡略化し、以下では差異点を中心に説明を行うものとする。

図７は、本実施形態に係る、画像処理システム２０の全体構成の一例を示す図である。

画像処理システム２０は、撮像システム２０１、第１の画像処理装置２０２、第２の画像処理装置２０３、情報処理装置２０４から構成される。なお、撮像システム２０１と情報処理システム２０４はそれぞれ、図１の撮像システム１０１と情報処理装置１０３と同じである。

第１の画像処理装置２０２は、複数視点画像に基づいて、各撮像装置から得られた撮像画像から、影無し前景画像、背景画像、及び影マスク画像を生成する。第１の画像処理装置２０２は、それら画像を外部装置である第２の画像処理装置２０３に送信する。

第２の画像処理装置２０３は、外部装置である第１の画像処理装置２０２から受信した影無し前景画像、背景画像、及び影マスク画像と、情報処理装置２０４から受信した仮想視点パラメータに基づき、仮想視点画像を生成する。第２の画像処理装置２０３は、生成した仮想視点画像を情報処理装置２０４に送信する。

第１の画像処理装置及び第２の画像処理装置のハードウェア構成は図１（ｂ）の画像処理装置１０２と同じである。

図８（ａ）、（ｂ）はそれぞれ、第１の画像処理装置２０２と第２の画像処理装置２０３の機能構成の一例を示す図である。

通信制御部２０１１は、撮像システム２０１から複数視点画像を受信し、前景画像生成部２０１２、背景画像生成部２０１３、影マスク画像生成部２０１４に送信する。また、通信制御部２０１１は、前景画像生成部２０１２、背景画像生成部２０１３、影マスク画像生成部２０１４からそれぞれが生成した画像を受信し、第２の画像処理装置２０３に送信する。

影無し前景画像生成部２０１２、背景画像生成部２０１３、影マスク画像生成部２０１４はそれぞれ、受信した複数視点画像から前景画像、背景画像、影マスク画像を生成する。それぞれの画像の生成方法は、実施形態１で述べた方法と同様である。前景画像生成部２０１２、背景画像生成部２０１３、影マスク画像生成部２０１４はそれぞれ、生成した画像を通信制御部２０１１に送信する。

通信制御部２０２１は、第１の画像処理装置２０２から受信した影無し前景画像、背景画像、影マスク画像と、情報処理装置２０４から受信した仮想視点パラメータを仮想視点画像生成部２０２２に送信する。また、通信部２０２１は、仮想視点画像生成部２０２２から仮想視点画像を受信し、情報処理装置２０４に送信する。

仮想視点画像生成部２０２２は、通信制御部２０２１から受信した影無し前景画像、背景画像、影マスク画像、仮想視点パラメータに基づき仮想視点画像を生成する。仮想視点画像の生成方法は実施形態１と同様である。まず、影無し前景画像から仮想視点前景画像を生成し、次に背景画像から仮想視点背景画像を生成する。そして、影マスク画像を用いて仮想視点背景画像に影を描画した影付き仮想視点背景視点画像を生成する。最後に、仮想視点前景画像と影付き仮想視点背景画像を合成することで仮想視点画像を生成する。ただし、上記の画像の生成には、仮想視点パラメータや、ＲＯＭ１１３から取得した撮像装置のカメラパラメータ又は背景モデルを適宜使用されるものとする。生成された仮想視点画像は、通信制御部２０２１に送信される。

図９は、本実施形態に係る、２つの画像処理装置によって影マスク画像を用いて仮想視点画像に影を描画する処理の流れの一例を示すフローチャートである。図９に示すフローは、第１の画像処理装置２０２及び第２の画像処理装置２０３により実行される。図９のフローは、第１の画像処理装置２０２が受信したデータを、撮像システム２０１から複数視点画像を受信し、影無し前景画像生成部２０１２、背景画像生成部２０１３、影マスク画像生成部２０１４に送信したことをトリガとして実行が開始される。

Ｓ９０１では、影無し前景画像生成部２０１２が、通信制御部２０１１からの入力データに基づき、複数視点画像から前景画像と背景画像とに分離し、さらに前景画像の前景オブジェクト領域と影領域とを分離して影無し前景画像を生成する。生成した影無し前景画像は、通信制御部２０１１に送信される。

Ｓ９０２では、背景画像生成部２０１３が、通信制御部２０１１からの入力データに基づき、複数視点画像から背景画像を生成する。生成した背景画像は、通信制御部２０１１に送信される。

Ｓ９０３では、影マスク画像生成部２０１４が、通信制御部２０１１からの入力データに基づき、影マスク画像を生成する。影マスク画像は、実施形態１と同様に、複数視点画像を前景画像と背景画像とに分離し、前景画像を前景オブジェクト領域と影領域とを分離し、さらに影領域を二値化処理することで生成する。生成した影マスク画像は、通信制御部２０１１に送信される。

Ｓ９０４では、通信制御部２０１１が、影無し前景画像生成部２０１２、背景画像生成部２０１３、影マスク画像生成部２０１４から受信した各画像を第２の画像処理装置２０３に送信する。

Ｓ９０５では、通信制御部２０２１が、第１の画像処理装置２０２から影無し前景画像、背景画像、影マスク画像を受信する。受信した各画像は、仮想視点画像生成部２０２２に送信される。

Ｓ９０６では、通信制御部２０２１が、情報処理装置２０４から仮想視点パラメータを受信する。受信した仮想視点パラメータは、仮想視点画像生成部２０２２に送信される。

Ｓ９０７では、仮想視点画像生成部２０２２が、通信制御部２０２１から受信した影マスク画像を用いて影を描画した仮想視点画像を生成する。仮想視点画像は、実施形態１と同様に、仮想視点前景画像および仮想視点背景画像を生成し、影マスク画像を用いて影付き仮想視点背景画像を生成し、仮想視点前景画像と影付き仮想視点背景画像とを合成して生成される。生成した仮想視点画像は、通信制御部２０２１に送信され、図９のフローが終了する。

図９のフローが終了した後、通信制御部２０２１は受信した仮想視点画像を情報処理装置２０４に送信する。なお、図９に示すＳ９０１～Ｓ９０３は、逐次処理されるように記載しているが、これらは並列処理されてもよい。

本実施形態によれば、２つの画像処理装置で仮想視点画像を生成する際に、一方で複数視点画像から影無し前景画像、背景画像、影マスク画像を生成し、もう一方でそれら画像に基づき仮想視点画像を生成する。その際に、画像処理装置間でデータ伝送が生じるが、影情報を影マスク画像とすることで、影情報をカラー画像とした場合に比べてデータ伝送量の削減が可能となる。なお、本実施形態では、２つの画像処理装置に限定して説明したが、前景画像、背景画像、影マスク画像を生成する画像処理装置をそれぞれ用意してもよく、画像処理装置は２つに限らない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００２ 仮想視点前景画像生成部
１００３ 仮想視点背景画像生成部
１００４ 影マスク画像生成部
１００５ 影付き仮想視点背景画像生成部
１００６ 合成画像生成部

Claims (19)

1. 複数の撮像装置で撮像して得られた複数の画像に基づく背景画像を取得する第１の取得手段と、
   前記複数の撮像装置で撮像して得られた複数の画像に基づく複数の前景画像から影領域を抽出した複数の影マスク画像を取得する第２の取得手段と、
   前記前景画像から前記影領域を除去することにより影無し前景画像を取得する第３の取得手段と、
   仮想視点に関する情報を取得する第４の取得手段と、
   前記仮想視点に関する情報および前記影無し前景画像に基づく仮想視点前景画像を生成する第１の生成手段と、
   前記仮想視点に関する情報および前記背景画像に基づく仮想視点背景画像を生成する第２の生成手段と、
   前記複数の影マスク画像に基づき、前記仮想視点背景画像に対して影を描画した影付き仮想視点背景画像を生成する第３の生成手段と、
   前記仮想視点前景画像と前記影付き仮想視点背景画像とに基づき、仮想視点画像を生成する第４の生成手段と、
   を備え、
   前記影付き仮想視点背景画像における影の濃さは、前記複数の影マスク画像に基づき決定される、
   ことを特徴とする画像処理装置。
2. 前記第２の取得手段は、前記撮像装置の数に応じた数の前記複数の影マスク画像を取得し、
   前記第３の生成手段は、前記仮想視点背景画像の対象画素の位置が前記複数の影マスク画像の影領域と一致する回数に基づいて、前記対象画素に影を描画する際の画素値を決定する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第３の生成手段は、前記仮想視点背景画像の画素値を、前記仮想視点背景画像の距離データが投影された位置が前記複数の影マスク画像の影領域と一致した回数に基づき変化させることにより前記影付き仮想視点背景画像を生成する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第３の生成手段は、前記仮想視点背景画像の距離データが投影された位置が前記複数の影マスク画像の影領域と一致した回数が所定の閾値以上である画素について、当該画素の画素値を変更する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記第３の生成手段は、前記影付き仮想視点背景画像の前記影の濃さを、前記仮想視点背景画像の距離データが投影された位置が前記複数の影マスク画像の影領域と一致した回数に基づき設定する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第３の生成手段は、前記影付き仮想視点背景画像の前記影の濃さを、前記複数の影マスク画像の画素値に基づき設定する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第３の生成手段は、前記仮想視点背景画像の距離データが投影された位置が前記複数の影マスク画像の影領域と一致した回数は、前記仮想視点背景画像が生成された撮像画像と撮像時刻が同一の撮像画像から生成された前記複数の影マスク画像を対象として数えた回数である、
   ことを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
8. 前記複数の影マスク画像は、グレースケール画像である、
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記複数の影マスク画像は、二値画像である、
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 複数の撮像装置で撮像して得られた複数の画像に基づく背景画像を取得し、
    前記複数の撮像装置で撮像して得られた複数の画像に基づく複数の前景画像から影領域を抽出した複数の影マスク画像を取得し、
    前記前景画像から前記影領域を除去することにより影無し前景画像を取得し、
    仮想視点に関する情報を取得し、
    前記仮想視点に関する情報および前記影無し前景画像に基づく仮想視点前景画像を生成し、
    前記仮想視点に関する情報および前記背景画像に基づく仮想視点背景画像を生成し、
    前記複数の影マスク画像に基づき、前記仮想視点背景画像に対して影を描画した影付き仮想視点背景画像を生成し、
    前記仮想視点前景画像と前記影付き仮想視点背景画像とに基づき、仮想視点画像を生成し、
    前記影付き仮想視点背景画像における影の濃さは、前記複数の影マスク画像に基づき決定される、
    ことを特徴とする画像処理方法。
11. 前記撮像装置の数に応じた数の前記複数の影マスク画像を取得し、
    前記仮想視点背景画像の対象画素の位置が前記複数の影マスク画像の影領域と一致する回数に基づいて、前記対象画素に影を描画する際の画素値を決定する、
    ことを特徴とする請求項１０に記載の画像処理方法。
12. 前記仮想視点背景画像の画素値を、前記仮想視点背景画像の距離データが投影された位置が前記複数の影マスク画像の影領域と一致した回数に基づき変化させることにより前記影付き仮想視点背景画像を生成する、
    ことを特徴とする請求項１０又は１１に記載の画像処理方法。
13. 前記仮想視点背景画像の距離データが投影された位置が前記複数の影マスク画像の影領域と一致した回数が所定の閾値以上である画素について、当該画素の画素値を変更する、
    ことを特徴とする請求項１２に記載の画像処理方法。
14. 前記影付き仮想視点背景画像の前記影の濃さを、前記仮想視点背景画像の距離データが投影された位置が前記複数の影マスク画像の影領域と一致した回数に基づき設定する、
    ことを特徴とする請求項１０乃至１３のいずれか１項に記載の画像処理方法。
15. 前記影付き仮想視点背景画像の前記影の濃さを、前記複数の影マスク画像の画素値に基づき設定する、
    ことを特徴とする請求項１０乃至１４のいずれか１項に記載の画像処理方法。
16. 前記仮想視点背景画像の距離データが投影された位置が前記複数の影マスク画像の影領域と一致した回数は、前記仮想視点背景画像が生成された撮像画像と撮像時刻が同一の撮像画像から生成された前記複数の影マスク画像を対象として数えた回数である、
    ことを特徴とする請求項１２乃至１４のいずれか１項に記載の画像処理方法。
17. 前記複数の影マスク画像は、グレースケール画像である、
    ことを特徴とする請求項１０乃至１６のいずれか１項に記載の画像処理方法。
18. 前記複数の影マスク画像は、二値画像である、
    ことを特徴とする請求項１０乃至１６のいずれか１項に記載の画像処理方法。
19. コンピュータを請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images