JP7051457B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、複数の視点に対応する撮像装置で撮像した画像に基づいて、仮想視点画像を生成する技術に関するものである。

複数の撮像装置を異なる位置に設置し、各撮像装置で撮像された複数の画像を用いて３次元モデルや仮想視点画像を生成する技術が注目されている。

高画質な仮想視点画像を生成するには、高精度の３次元モデルや高解像度の仮想視点画像をレンダリングして生成する必要があり、仮想視点画像の生成に多くの処理時間を要することになる。このため、所望する仮想視点に関する情報をユーザが入力してから、その情報が反映された仮想視点画像が表示されるまでの遅延時間（レイテンシ）が大きくなる。一方で、ユーザには、できる限り低遅延のリアルタイムで仮想視点画像を見たいという要望がある。この要望に応えるには、仮想視点画像の生成処理の時間を削減する必要がある。

特許文献１では、被写体を動画撮像して得られる画像フレームから、注視点を含む領域の高解像度の画像と画像フレームの全体領域を表す低解像度の画像とを生成し、画像の横一列分の行ごとに出力する構成が開示されている。

特開２０１６－６３５３７号公報

しかしながら、特許文献１は、仮想視点画像をレンダリングする際の処理負荷を考慮した技術ではない。例えば、仮想視点画像のレンダリングには、前景となるオブジェクトを抽出し、３次元モデルを導出する処理が含まれる。一例として、前景となるオブジェクトの割合が多いほど、レンダリングに要する処理負荷も大きくなり、遅延が大きくなる。このような遅延に対して、単純に処理量を低下させると、作成される仮想視点画像の画質が劣化し得る。例えば、処理量を低下させる仮想視点画像では、サッカーなどのスポーツのシーンで選手の顔や背番号などが認識できない仮想視点画像が生成されてしまう恐れがある。

本発明は、仮想視点画像のレンダリングに起因する遅延の低減と過度の仮想視点画像の画質の劣化の低減とを両立させるための技術を提供することを目的とする。

本発明の一態様に係る画像処理装置は、仮想視点からの見えを表す仮想視点画像を生成する画像処理装置であって、複数の撮像装置の撮像に基づく複数の画像を取得する第1取得手段と、仮想視点を特定するための情報を取得する第２取得手段と、前記第２取得手段により取得された情報により特定される仮想視点に対応する仮想視点画像の生成に係る処理時間が閾値を超えないように、前記仮想視点画像の生成に係る処理におけるパラメータを、前記複数の撮像装置により撮像される撮像領域内のオブジェクトに基づいて決定する決定手段と、前記決定手段により決定されたパラメータと、前記第1取得手段により取得された複数の画像とに基づいて、前記第２取得手段により取得された情報により特定される仮想視点に対応する仮想視点画像を生成する生成手段と、を有することを特徴とする。

本発明によれば、仮想視点画像のレンダリングに起因する遅延の低減と過度の仮想視点画像の画質の劣化の低減とを両立させる技術を提供することができる。

画像処理システムの構成の一例を示す図である。 画像処理装置の構成の一例を示す図である。 仮想視点画像の概略図である。 画像処理の一例を示すフローチャートである。 仮想視点画像の概略図である。 画像処理の一例を示すフローチャートである。 色づけに用いるカメラ台数を変更する概略図である。 画像処理の一例を示すフローチャートである。 仮想視点画像生成用のＵＩの概略図である。

以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜＜実施形態１＞＞
実施形態１では、仮想視点画像をレンダリングするために必要な処理負荷に応じて、仮想視点画像を構成するモデルの領域ごとに解像度を変化させて仮想視点画像を生成する処理を説明する。

＜システム構成＞
図１は、画像処理システムの構成を示す図である。画像処理システム１は、仮想視点画像をレンダリングする処理負荷を示す処理負荷情報を取得し、処理負荷情報に応じてレンダリングに係るパラメータを変化させて仮想視点画像を生成し出力する。画像処理システム１は、画像処理装置１０、カメラ群２０、入力装置３０、及び表示装置４０を有する。

画像処理装置１０は、カメラ情報取得部１００、仮想視点情報取得部１１０、処理負荷情報取得部１２０、仮想視点画像生成部１３０、及び出力部１４０を有する。画像処理装置１０は、カメラ群２０、入力装置３０、及び表示装置４０と接続している。

カメラ情報取得部１００は、カメラ群２０から、各カメラで撮像して得られた撮像画像データ、各カメラの外部パラメータ及び内部パラメータ等を含むカメラ情報を入力して取得する。カメラ情報取得部１００は、取得したカメラ情報を処理負荷情報取得部１２０と仮想視点画像生成部１３０とに出力する。カメラの外部パラメータとは、カメラの位置姿勢を示すパラメータ（例えば回転行列及び位置ベクトル等）である。カメラの内部パラメータとは、カメラ固有の内部パラメータであり、例えば、焦点距離、画像中心、及びレンズ歪みパラメータ等である。

仮想視点情報取得部１１０は、操作者が入力装置３０を通じて入力した仮想視点情報を取得し、仮想視点情報を処理負荷情報取得部１２０と仮想視点画像生成部１３０とに出力する。仮想視点情報には、仮想視点の位置姿勢を示す情報が含まれる。また、仮想視点情報には、後述する実施形態４（図９）で説明するＵＩ画面を通じて操作者によって指定された指定パラメータなどが含まれてもよい。

処理負荷情報取得部１２０は、カメラ情報取得部１００から入力したカメラ情報、及び、仮想視点情報取得部１１０から入力した仮想視点情報に基づき、仮想視点画像をレンダリングするために必要な処理負荷を示す処理負荷情報を取得する。処理負荷情報取得部１２０は、取得した処理負荷情報を仮想視点画像生成部１３０へ出力する。処理負荷情報の取得方法は、後述するフローチャートの処理で説明する。

仮想視点画像生成部１３０は、カメラ情報取得部１００から取得したカメラ情報と仮想視点情報取得部１１０から取得した仮想視点情報とに基づいて、仮想視点画像をレンダリングして仮想視点画像データを生成する。生成した仮想視点画像データは、出力部１４０に出力される。仮想視点画像生成部１３０は、パラメータ決定部１３１、３次元（３Ｄ）モデル生成部１３２、背景３Ｄモデル取得部１３３、３Ｄモデル色づけ処理部１３４、及び背景３Ｄモデル色づけ処理部１３５を有する。３Ｄモデル生成部１３２、背景３Ｄモデル取得部１３３、３Ｄモデル色づけ処理部１３４、及び背景３Ｄモデル色づけ処理部１３５は、レンダリング処理部として機能する。

仮想視点画像のレンダリングは、入力した仮想視点情報とカメラ情報とに基づいて、前景となるオブジェクトの３次元形状を生成し、その３次元形状および背景３Ｄモデルを色づけすることにより行われる。前景となるオブジェクト（以下、「前景オブジェクト」という）は、例えば、カメラ群２０の撮像範囲内に存在する人物や動体などである。

また、仮想視点画像生成部１３０は、処理負荷情報取得部１２０から入力した処理負荷情報に基づき、レンダリングに係るパラメータを変化させて画質の異なる仮想視点画像を生成する。仮想視点画像生成部１３０では、入力したカメラ情報および仮想視点情報に応じて仮想視点画像をレンダリングする処理時間が増減する。

表示装置４０に表示されている画像を見ている操作者が、リアルタイム（低遅延）の仮想視点画像の表示を要望する場合がある。このような場合、仮想視点画像の生成を所定の閾値以下の時間にする必要が生じる。仮想視点画像生成部１３０は、仮想視点画像の生成処理が所定の閾値以下の時間に収まるかを判定する。そして、仮想視点画像の生成を所定の閾値以下の時間に収めるため、パラメータ決定部１３１において決定されるレンダリングに係るパラメータを、処理負荷に応じて変化させる。この結果、仮想視点画像生成部１３０は、仮想視点画像の生成処理を簡略化した仮想視点画像を出力する。この仮想視点画像は、変化する前のパラメータで生成される仮想視点画像とは、画質が異なるものとなる。なお、本実施形態における遅延とは、操作者が入力装置３０に仮想視点情報を入力してから、その情報が反映された仮想視点画像が表示装置４０で表示されるまでの時間と対応する。ただし遅延の定義はこれに限らず、例えばカメラ群２０による撮像が行われてからその撮像に基づく仮想視点画像が表示されるまでの時間と対応してもよい。

パラメータ決定部１３１は、処理負荷情報取得部１２０から入力した、仮想視点画像をレンダリングするために必要な処理負荷を示す処理負荷情報に基づき、レンダリングに係るパラメータを決定する。例えば、パラメータ決定部１３１は、前景オブジェクトの３次元形状（３Ｄモデル）の生成もしくは色づけ、または、背景３Ｄモデルの色づけを行うためのパラメータを決定する。決定されたパラメータは、３Ｄモデル生成部１３２、３Ｄモデル色づけ処理部１３４、および背景３Ｄモデル色づけ処理部１３５のうちの対応する生成部または処理部に出力される。パラメータ決定部１３１は、解像度変更部１３６、レンダリング省略部１３７、及び物理カメラ数決定部１３８を有する。解像度変更部１３６、レンダリング省略部１３７、及び物理カメラ数決定部１３８の詳細については、後述するフローチャートで説明する。

３Ｄモデル生成部１３２は、パラメータ決定部１３１から入力したパラメータに基づき、前景オブジェクトの３次元形状を推定し（３Ｄモデルを生成し）、３Ｄモデル色づけ処理部１３４に出力する。３次元形状の推定は、例えば次のように行われる。先ずカメラ情報取得部１００から入力した前景オブジェクトを含む撮像画像と、予め取得した各カメラに対応する背景画像との差分を導出する。これにより、撮像画像内の前景オブジェクトに対応する部分（前景領域）が抽出されたシルエット画像が生成される。そして各カメラに対応するシルエット画像と各カメラのパラメータ（内部パラメータおよび外部パラメータ）とを用いて、前景オブジェクトの３次元形状を推定して３Ｄモデル（以下、「前景モデル」という）を生成する。３次元形状の推定には、たとえばＶｉｓｕａｌ Ｈｕｌｌ手法が用いられる。この処理の結果、前景オブジェクトの３次元形状を表現した３Ｄ点群（３次元座標を持つ点の集合）が得られる。なお、３Ｄモデルは、３Ｄ点郡での表現に限らず、線分、面など他の情報により表現されてもよい。上述した３Ｄモデル生成部１３２の処理で用いられる、パラメータ決定部１３１から入力するパラメータは、例えば、Ｖｉｓｕａｌ Ｈｕｌｌで処理するボクセルのサイズや、３次元形状の推定に用いるカメラ台数等である。なお、撮像画像からオブジェクトの３次元形状を導出する方法はこれに限らない。他の方法で３次元形状を導出する場合には、その方法に対応するパラメータを用いれば良い。

背景３Ｄモデル取得部１３３は、背景３Ｄモデル（以下、「背景モデル」という）を取得し、背景３Ｄモデル色づけ処理部１３５に出力する。背景モデルは、例えば、カメラ群２０が設置されている競技場などのＣＧ（Computer Graphics）モデルであり、予め作成されて画像処理システム１内に保存されている（例えば、後述する図２の二次記憶装置２０４に保存されている）。

３Ｄモデル生成部１３２で生成された前景モデルおよび背景３Ｄモデル取得部１３３で取得された背景モデルは、既存のＣＧレンダリング方法によりレンダリングされる。この結果、前景モデルや背景モデルをそれぞれ所定の色（例えば単一色）で表示することが可能となる。

３Ｄモデル色づけ処理部１３４は、パラメータ決定部１３１から入力したパラメータに基づき、３Ｄモデル生成部１３２から入力した前景モデルに色を付ける処理を行う。前景の色づけ処理は、例えば前景モデルを構成する３Ｄ点群の点の可視性判定処理と色の導出処理とを含むものである。可視性判定処理では、仮想視点における３Ｄ点群内の各点とカメラ群２０に含まれる複数のカメラとの位置関係から、各点について撮像可能なカメラを特定することができる。色の導出処理では、例えば、仮想視点における３Ｄ点群内のある点を着目点とする。着目点を撮像可能なカメラの撮像画像に、着目点を射影する。その射影先の画素の色を、その着目点の色とする。なお、着目点が複数のカメラにより撮像可能な場合、複数のカメラの撮像画像のそれぞれに着目点を射影し、射影先の画素値を取得し、画素値の平均を算出することで、着目点の色が決定される。このような処理を、着目点を変えながら行うことで、仮想視点から見た色の付いた前景モデルを生成することができる。パラメータ決定部１３１から入力するパラメータは、例えば、前景モデルの解像度や、低解像度にする範囲、色を付ける範囲、色づけに用いるカメラ台数等である。前景モデルの解像度を変更するには、例えば、３Ｄ点群の全ての点で色の導出をするのではなく、ある一点の色を導出し、その点と別の点との距離が一定範囲内の場合に同じ色を付ける方法などがある。

背景３Ｄモデル色づけ処理部１３５は、パラメータ決定部１３１から入力したパラメータに基づき、背景３Ｄモデル取得部１３３から入力した背景モデルに色を付ける処理を行う。背景モデルに色を付ける方法の一例としては、まず背景モデルの頂点（例えば競技場の端に対応する点）が設定され、そしてこれらの頂点が、仮想視点に近い２台のカメラ（第１カメラ及び第２カメラとする）の座標系と仮想視点の座標系とに射影される。また、仮想視点と第１カメラとの対応点、及び、仮想視点と第２カメラとの対応点を用いて、仮想視点と第１カメラとの間の第１射影行列、及び、仮想視点と第２カメラとの間の第２射影行列が算出される。そして、第１射影行列と第２射影行列を用いて、背景画像の各画素が第１カメラの撮像画像と第２カメラの撮像画像に射影され、射影先の２つの画素値の平均を算出することで、背景画像の画素値が決定される。なお、同様の方法により、３台以上のカメラの撮像画像から背景画像の画素値を決定してもよい。このようにして、仮想視点から見た色つきの背景モデルを生成することができる。パラメータ決定部１３１から入力するパラメータは、例えば、背景モデルの解像度や、低解像度にする範囲、色を付ける範囲、色づけに用いるカメラ台数等である。

出力部１４０は、仮想視点画像生成部１３０から入力した仮想視点画像データを、表示装置４０へ出力する。また、出力部１４０は、後述する図９で示すＵＩ画面を表示装置４０に表示させる制御を行う。

カメラ群２０は、複数のカメラを含み、各カメラはそれぞれ異なる方向から（すなわち、複数の視点から）前景オブジェクトを撮像する。そして各カメラの撮像画像、外部パラメータ、及び内部パラメータなどが画像処理装置１０に送信される。

入力装置３０は、仮想視点画像を生成するための仮想視点の指定を受け付け、指定に応じた情報を画像処理装置１０に送信する。例えば、入力装置３０はジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどの入力部を有し、仮想視点を指定する操作者は、入力部を操作することで仮想視点の位置姿勢を指定する。指定された仮想視点の位置姿勢の情報は、仮想視点情報として画像処理装置１０に送信される。

本実施形態では、仮想視点画像の視聴者と仮想視点情報の操作者とが、同一のユーザである場合を例に挙げて説明するが、これに限らず、視聴者と操作者とが異なるユーザでもよい。また、入力装置３０が送信する情報は、仮想視点の位置姿勢情報に限らず、後述する図９で示すＵＩ画面を通じてユーザが指定した仮想視点画像を生成するための指定パラメータでもよい。

表示装置４０は、画像処理装置１０により生成され出力された仮想視点画像データに基づいて仮想視点画像を表示する。表示される仮想視点画像は、例えば入力装置３０によって仮想視点情報が入力された結果、画像処理装置１０によって生成された仮想視点画像である。例えば、初期状態においては、入力装置３０に予め保存されている（又は、前回終了時の）仮想視点情報を初期情報として画像処理装置１０は、（解像度を低くするなどした）仮想視点画像Ｐ１を生成する。表示装置４０は、このような仮想視点画像Ｐ１を初期状態では表示する。その後、操作者は、表示装置４０に表示された仮想視点画像Ｐ１を見て、入力装置３０を通じて次の仮想視点情報を指定する。この指定に応じて生成された仮想視点画像Ｐ２が、表示装置４０に表示される。このように、操作者は、表示装置４０に表示された仮想視点画像を見ながら入力装置３０を使用し、仮想視点の指定を行うことができる。なお、本実施形態では仮想視点画像を表示する表示装置４０を見た操作者が入力装置３０を用いて仮想視点を画像処理装置１０に送信することを想定するが、これに限らず、入力装置３０と表示装置４０を操作する操作者は同一でなくてもよい。

＜画像処理装置のハードウェア構成＞
図２は、本実施形態の画像処理装置１０のハードウェア構成の一例を示す図である。本実施形態の画像処理装置１０は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、二次記憶装置２０４、入力インターフェース２０５、出力インターフェース２０６を含む。画像処理装置１０の各構成部は、システムバス２０７によって相互に接続されている。また、画像処理装置１０は、入力インターフェース２０５を介してカメラ群２０および入力装置３０に接続されており、出力インターフェース２０６を介して表示装置４０に接続されている。

ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして、ＲＯＭ２０３に格納されたプログラムを実行し、システムバス２０７を介して画像処理装置１０の各構成部を統括的に制御するプロセッサである。これにより、ＣＰＵ２０１が、図１で示す画像処理装置１０の各部として機能する。

二次記憶装置２０４は、画像処理装置１０で取り扱われる種々のデータを記憶する記憶装置であり、本実施形態ではＨＤＤが用いられる。ＣＰＵ２０１は、システムバス２０７を介して二次記憶装置２０４へのデータの書き込みおよび二次記憶装置２０４に記憶されたデータの読出しを行うことができる。なお、二次記憶装置２０４にはＨＤＤの他に、光ディスクドライブやフラッシュメモリなど、様々な記憶デバイスを用いることが可能である。

入力インターフェース２０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。外部装置から画像処理装置１０へのデータや命令等の入力は、入力インターフェース２０５を介して行われる。画像処理装置１０は、入力インターフェース２０５を介して、カメラ群２０および入力装置３０からカメラ情報および仮想視点情報を取得する。なお、入力インターフェース２０５には、不図示のマウスやボタンなどの入力デバイスも接続可能である。出力インターフェース２０６は、入力インターフェース２０５と同様にＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースを備える。その他に、例えばＤＶＩおよびＨＤＭＩ等の映像出力端子を用いることも可能である。画像処理装置１０から外部装置へのデータ等の出力は、出力インターフェース２０６を介して行われる。画像処理装置１０は、出力インターフェース２０６を介して表示装置４０（液晶ディスプレイなどの各種画像表示デバイス）に、仮想視点画像データを出力することで、仮想視点画像の表示が行われる。なお、画像処理装置１０の構成要素は上記以外にも存在し得るが、ここでは説明を省略する。また、画像処理装置１０は、単一の装置で構成されている形態を例に挙げて説明したが、これに限られない。複数の装置が分散して図１に示す各部が実現されてもよい。

＜処理負荷の説明＞
図３は、仮想視点画像を構成するモデルの領域ごとに解像度を変えて生成した仮想視点画像の概略図である。仮想視点画像を用いると、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。図３は、サッカーのシーンにおける仮想視点画像の概略図を示している。図３（ａ）および図３（ｂ）は、同じシーンの画像である。ただし、図３（ｂ）は、図３（ａ）よりも、仮想視点を前景オブジェクト３０１に寄った（あるいはズームした）場合の視点の画像である。図３（ａ）および図３（ｂ）においてレンダリング対象の領域は、前景オブジェクト３０１および背景３０２である。なお、本明細書において共通の構成の説明をする場合には、符号の末尾の枝番（図３の例では、ａまたはｂ）を省略する場合がある。図３では、ハッチングされているモデルが前景オブジェクトであり、その他が背景モデルである。

本実施形態においては、仮想視点画像をレンダリングするために必要な処理負荷を、前景オブジェクトが仮想視点画像に占める割合（以下、「前景率」という）と仮定する。前景率が増加するに従い、仮想視点画像のレンダリングの処理時間が増加する。前景オブジェクトが増えるほど、３Ｄモデル生成部１３２および３Ｄモデル色づけ処理部１３４の処理負荷が増えるからである。図３（ａ）は、処理負荷情報取得部１２０で取得した処理負荷情報（前景率）に基づいて、仮想視点画像生成部１３０が、仮想視点画像を所定の閾値以下の時間で生成完了可能と判定する場合の例を示している。このため、パラメータ決定部１３１は、前景オブジェクト３０１ａと背景３０２ａとを共に高解像度でレンダリングするパラメータを決定する。これに応じて、前景オブジェクト３０１ａと背景３０２ａとが高解像度でレンダリングされた仮想視点画像が表示される。一方、図３（ｂ）は、図３（ａ）よりも、仮想視点を前景オブジェクト３０１に寄った（あるいはズームした）場合の視点の画像であるので、前景率が図３（ａ）の場合よりも高くなっている。図３（ｂ）の場合、処理負荷情報取得部１２０で取得した処理負荷情報（前景率）に基づいて、仮想視点画像生成部１３０が、仮想視点画像を所定の閾値以下の時間で生成ができないと判定する。そして、パラメータ決定部１３１は、前景オブジェクト３０１ｂを高解像度でレンダリングするパラメータを決定する一方、背景３０２ｂを低解像度でレンダリングするパラメータを決定する。これに応じて、前景オブジェクト３０１ｂが高解像度でレンダリングされ、背景３０２ｂが低解像度でレンダリングされた仮想視点画像が表示される。このような処理の結果、背景のレンダリングが高速に処理され、仮想視点画像を所定の閾値以下の時間で生成して表示装置４０で表示することが可能となる。

なお、図３の例では、解像度を変えてレンダリングする領域は、前景オブジェクトと背景である場合を例に挙げて説明したが、これに限らない。電子公告エリアや他ＣＧオブジェクト等を、解像度を変えてレンダリングする領域に加えてもよいし、３次元空間上における任意の範囲や仮想カメラから距離に応じた範囲等を解像度を変えてレンダリングする領域としてもよい。また、本実施形態では、レンダリングするために必要な処理負荷の例として前景率を用いたが、これに限らず、ＣＰＵやメモリの使用率をウォッチし、その使用率をレンダリングするために必要な処理負荷としてもよい。また、例えば、処理負荷は、前景となるオブジェクトの個数または前景となるオブジェクトの形状の複雑さなど他の情報を用いて判定されてもよい。

＜フローチャート＞
図４は、実施形態１の処理の流れを説明したフローチャートである。図４に示す処理は、ＲＯＭ２０３に格納されたプログラムがＲＡＭ２０２に読み出され、ＣＰＵ２０１によって実行されることによって実現される。なお、後述する各フローチャートの各ステップの一部またはすべてを専用のハードウェアにより実現してもよい。専用のハードウェアは、例えば、ＡＳＩＣ、ＦＰＧＡまたはＧＰＵなどであってもよい。

ステップＳ４０１でカメラ情報取得部１００は、カメラ群２０から各カメラで撮像された撮像画像データ、並びに、各カメラの内部パラメータ及び外部パラメータなどのカメラ情報を取得する。

ステップＳ４０２で仮想視点情報取得部１１０は、入力装置３０から仮想視点の位置姿勢、及び、仮想視点画像を生成するための指定パラメータ（実施形態４で後述）などの仮想視点情報を取得する。

ステップＳ４０３で処理負荷情報取得部１２０は、取得したカメラ情報と仮想視点情報とに基づいて、前景オブジェクトが仮想視点画像に占める割合（前景率）を導出する。前景率を導出する方法は、例えば、カメラ情報取得部１００から少数のカメラ情報のみを取得し、全カメラを用いた場合に比べ、粒度の荒い前景オブジェクトの３Ｄ点群を短時間で生成する。そして、仮想視点情報取得部１１０から仮想視点情報を取得し、粒度の荒い前景オブジェクトの３Ｄ点群を、仮想視点情報で特定される仮想視点に対応する仮想視点画像に投影し、画像上で前景オブジェクトの３Ｄ点群の面積を求める。このように、一部のカメラのカメラ情報を用いて前景率を求めることで、全カメラを用いて３Ｄ点群を生成した場合の前景の割合を概算することできる。すなわち、仮想視点画像をレンダリングする処理負荷を推定し、取得することが可能となる。

ステップＳ４０４で仮想視点画像生成部１３０は、処理負荷が所定の閾値以下か否かを判定する。例えば、前景率が所定の閾値以下か否かを判定する。所定の閾値以下の場合、ステップＳ４０５に進み、所定の閾値以下でない場合、ステップＳ４０６に進む。

ステップＳ４０５またはステップＳ４０６で解像度変更部１３６は、処理負荷情報取得部１２０から取得した、仮想視点画像をレンダリングするために必要な処理負荷情報に応じて、背景の解像度のパラメータを決定する。そして決定したパラメータが、背景３Ｄモデル色づけ処理部１３５に出力される。前景率が所定の閾値以下の場合、ステップＳ４０５で解像度変更部１３６は、背景を高解像度でレンダリング（描画）するようにパラメータを決定する。背景３Ｄモデル取得部１３３は、背景モデルを取得し、背景３Ｄモデル色づけ処理部１３５に送る。背景３Ｄモデル色づけ処理部１３５は、パラメータ決定部１３１から出力された、高解像度でレンダリングするパラメータに基づいて、背景を高解像度でレンダリングする。そして、ステップＳ４０７に進む。一方、前景率が所定の閾値以下ではない場合、ステップＳ４０６で解像度変更部１３６は、背景を低解像度でレンダリングするようにパラメータを決定する。背景３Ｄモデル取得部１３３は、背景モデルを取得し、背景３Ｄモデル色づけ処理部１３５に送る。背景３Ｄモデル色づけ処理部１３５は、パラメータ決定部１３１から出力された、低解像度でレンダリングするパラメータに基づいて、背景を低解像度でレンダリングする。そして、ステップＳ４０７に進む。

ステップＳ４０７で３Ｄモデル生成部１３２は、パラメータ決定部１３１からオブジェクトの３次元形状の推定に係るパラメータを取得し、前景モデルを生成する。そして、３Ｄモデル色づけ処理部１３４は、パラメータ決定部１３１から前景モデルの色づけに係るパラメータを取得し、そのパラメータに基づいて前景を色づけする。

以上説明したように、本実施形態では、仮想視点画像のレンダリングするために必要な処理負荷情報を取得し、仮想視点画像を構成するモデルの領域ごとに解像度を変化させる処理が行われる。このような処理によれば、所定の閾値以下の処理時間で仮想視点画像の生成を完了させることが可能となる。

なお、本実施形態では、解像度変更部１３６が、背景の解像度を変化させる形態を説明したが、これに限らない。例えば、前景オブジェクトを低解像度にレンダリングしてもよい。あるいは、前景オブジェクトを第１の解像度に変化させ、かつ、背景の解像度を第１の解像度よりも低い第２の解像度に変化させてもよい。また、視点からの距離で前景オブジェクトや背景の解像度を変えてもよい。また、過度に大きい前景オブジェクトを低解像度にするなどしてもよい。また、顔や背番号を識別して、顔や背番号を高解像度にレンダリングし、顔や背番号以外を低解像度にレンダリングしてもよい。また、これらを組み合わせてもよい。前景モデルの解像度を変更するには、前述したように、例えば、３Ｄ点群の全ての点で色の算出するのではなく、ある一点の色を算出し、その点と別の点の距離が一定範囲内の場合に同じ色を付ける方法がある。背景モデルの解像度を変更するには、前述したように、色を付ける範囲を変えたり、色づけに用いるカメラ台数等を変更したりする方法がある。

このように、仮想視点画像を構成するモデルの領域ごとに解像度を変化させることで、操作者が所望する領域を高解像度でレンダリングし、かつ、仮想視点画像の生成に要する時間を所定の閾値以下に抑えることができる。また、処理量に対応する解像度の仮想視点画像を生成するため、遅延を低減しつつ、過度の仮想視点画像の画質の劣化を低減することができる。

＜＜実施形態２＞＞
実施形態１では、解像度変更部１３６が解像度を変化させたパラメータを出力し、出力されたパラメータに従ってレンダリングが行われることで、処理の遅延を抑制する形態を例に挙げて説明した。本実施形態では、仮想視点画像をレンダリングするために必要な処理負荷に応じて、仮想視点画像を構成するモデルの領域ごとにレンダリングを省略して、仮想視点画像を生成する方法を説明する。処理負荷は、実施形態１と同様、前景オブジェクトが仮想視点画像に占める割合と仮定する。また、レンダリングする領域も、実施形態１と同様である。

図５は、仮想視点画像を構成するモデルの領域ごとにレンダリングを省略して生成した仮想視点画像の概略図である。図５（ａ）は、実施形態１の図３（ａ）と同様である。図５（ｂ）は、図５（ａ）よりも、仮想視点を前景オブジェクト５０１に寄った（あるいはズームした）場合の視点の画像であり、前景率が図５（ａ）よりも高くなっている。図５（ｂ）は、処理負荷情報取得部１２０で取得した処理負荷情報に基づいて、仮想視点画像生成部１３０が、仮想視点画像の生成処理に所定の閾値を超える時間が必要だと判定した場合の図である。この場合、仮想視点画像生成部１３０は、前景オブジェクト５０１ｂをレンダリングするのに対し、背景５０２のレンダリングを省略する。背景のレンダリングを省くことで、仮想視点画像を所定の閾値以下の時間で生成することが可能となる。

図６は、本実施形態の処理の流れを説明したフローチャートである。ステップＳ６０１乃至ステップＳ６０３は、実施形態１のステップＳ４０１乃至ステップＳ４０３と同様である。また、ステップＳ６０７は、実施形態１のステップＳ４０７と同様である。

ステップＳ６０４で仮想視点画像生成部１３０は、処理負荷情報取得部１２０から取得した処理負荷情報が示す処理負荷が、所定の閾値以下か否かを判定する。例えば、ステップＳ６０３で得られた、前景オブジェクトが仮想視点画像に占める割合（前景率）が、所定の閾値以下であるか否かを判定する。所定の閾値以下である場合、ステップＳ６０５に進み、そうでない場合、ステップＳ６０６に進む。ステップＳ６０５でパラメータ決定部１３１は、背景のパラメータを決定する。そして決定したパラメータが、背景３Ｄモデル色づけ処理部１３５に出力される。背景３Ｄモデル取得部１３３は、背景モデルを取得し、背景３Ｄモデル色づけ処理部１３５に送る。背景３Ｄモデル色づけ処理部１３５は、パラメータ決定部１３１から出力されたパラメータに基づいて背景をレンダリングする。そして、ステップＳ６０７に進む。一方、ステップＳ６０６でレンダリング省略部１３７は、背景のレンダリングを省略する指示を出力する。背景３Ｄモデル色づけ処理部１３５は、この指示に応じて、背景のレンダリングを省略する。そして、ステップＳ６０７に進む。

なお、本実施形態では、レンダリング省略部１３７は背景のレンダリングを省略したが、これに限らない。例えば、仮想視点画像のレンダリングが所定の閾値以下の時間内に終わらなければ所定の閾値の時間に達した時点で全てのレンダリングを中断してもよい。また、画面中心や操作者の注視点付近から先にレンダリングし、レンダリングが所定の閾値以下の時間内に終わらなければレンダリングを中断してもよい。レンダリングを中断した場合、中断した時点までで生成されている仮想視点画像が出力部１４０に送られる。また、前景オブジェクトのうち、顔や背番号を識別して、顔や背番号を高解像度にレンダリングし、顔や背番号以外の色づけを省略してもよい。

以上説明したように、本実施形態においては、仮想視点画像をレンダリングするために必要な処理負荷に応じて、仮想視点画像を構成するモデルの領域ごとにレンダリングを省略させる処理が行われる。このような処理によれば、所定の閾値以下の処理時間で仮想視点画像の生成を完了させることが可能となる。

＜＜実施形態３＞＞
実施形態３では、仮想視点画像をレンダリングするために必要な処理負荷に応じて、前景の色づけ処理を簡略化する方法を説明する。処理負荷は、実施形態１と同様、前景オブジェクトが仮想視点画像に占める割合であると仮定する。また、前景オブジェクトの色づけ処理は、カメラの台数が増加するに従い、その処理時間が増加すると仮定する。

図７は、前景オブジェクトの色づけに用いるカメラ台数を変更する概略図である。カメラ７０１乃至カメラ７１０は、カメラ群２０の各カメラであり、各カメラの撮像画像は前景の色づけに用いられる。図７（ａ）は、処理負荷情報に基づいて、仮想視点画像生成部１３０が、仮想視点画像の生成を所定の閾値以下の時間で完了すると判定した場合の図である。すなわち、図７（ａ）に示すように、前景オブジェクトの色づけ処理が、全てのカメラを用いて行われる。一方、図７（ｂ）は、処理負荷情報に基づいて、仮想視点画像生成部１３０が、仮想視点画像の生成を所定の閾値を超えた時間が必要だと判定した場合の図である。図７（ｂ）では、全カメラではなく、カメラ７０１ｂ、７０７ｂ、及び７０９ｂ以外のカメラで前景オブジェクトの色づけ処理が行われる。なお、省略するカメラは、一例に過ぎず、図７（ｂ）に示す例に限られるものではない。このように、前景オブジェクトの色づけ処理を全てのカメラを用いて行うのではなく、使用するカメラの台数を削減することで、前景の色づけ処理時間を短縮することができる。この結果、仮想視点画像を所定の閾値以下の時間で生成することが可能となる。

図８は、実施形態３の処理の流れを説明したフローチャートである。ステップＳ８０１およびステップＳ８０２は、実施形態１のステップＳ４０１およびステップＳ４０２と同様である。ステップＳ８０３は、実施形態２のステップＳ６０５と同様である。ステップＳ８０４は、実施形態１のステップＳ４０３と同様である。

ステップＳ８０５で仮想視点画像生成部１３０は、処理負荷情報取得部１２０から取得した処理負荷情報が示す処理負荷が、所定の閾値以下か否かを判定する。例えば、ステップＳ８０４で得られた、前景オブジェクトが仮想視点画像に占める割合（前景率）が、所定の閾値以下であるか否かを判定する。所定の閾値以下である場合、ステップＳ８０６に進み、そうでない場合、ステップＳ８０７に進む。

ステップＳ８０６において物理カメラ数決定部１３８は、前景オブジェクトの色づけに使用するカメラの台数として、全カメラの台数を使用することを決定する。そして、その指示を３Ｄモデル色づけ処理部１３４に出力する。３Ｄモデル色づけ処理部１３４は、前景の色づけに全カメラを使用して色づけ処理を行う。一方ステップＳ８０７において物理カメラ数決定部１３８は、前景オブジェクトの色づけに使用するカメラの台数として、少数のカメラの台数を使用することを決定する。そして、その指示を３Ｄモデル色づけ処理部１３４に出力する。３Ｄモデル色づけ処理部１３４は、前景の色づけに、指示された少数のカメラを使用して色づけ処理を行う。

なお、本実施形態では、物理カメラ数決定部１３８は前景オブジェクトの色づけに用いる物理カメラの台数を変化させたが、これに限らない。例えば、前景オブジェクトの３次元形状の推定に用いるカメラの台数を変化させてもよい。また、背景の色づけに用いるカメラの台数を変化させるなどしてもよい。また、顔や背番号を識別して、顔や背番号を多数のカメラで色づけを行い、顔や背番号以外を少数のカメラで色づけをしてもよい。

以上説明したように、本実施形態においては、仮想視点画像をレンダリングするために必要な処理負荷に応じて、前景オブジェクトの色づけに用いるカメラを変更する処理が行われる。このような処理によれば、所定の閾値以下の処理時間で仮想視点画像の生成を完了させることが可能となる。

＜＜実施形態４＞＞
実施形態４では、仮想視点画像のレンダリングに係るパラメータの変更が、操作者による指示に応じて行われる形態を説明する。

図９は、操作者が仮想視点画像のレンダリングに係るパラメータの変更を行うユーザインタフェース（ＵＩ）画面９００の概略図である。ＵＩ画面９００は、画像処理装置１０による表示制御に従って表示装置４０に表示される。ＵＩ画面９００は、出力部１４０から出力された仮想視点画像９０１が表示される領域が含まれる。またＵＩ画面９００には、許容遅延時間９０２、レンダリング順序９０３、レンダリング優先位置９０４、及び使用カメラ９０５の設定項目が含まれる。ただし、これに限らず、ＵＩ画面９００では、仮想カメラの焦点距離等のパラメータ調節などを設定する項目または機能を備えていても良い。操作者は、表示装置４０に表示される仮想視点画像９０１を見ながら、入力装置３０で仮想視点の位置姿勢を決定し、画像処理装置１０に仮想視点画像の生成を指示する。すなわち、入力装置３０から仮想視点情報が画像処理装置１０に出力される。図９の仮想視点画像９０１においてレンダリングされる対象は、前景オブジェクト９０６と背景９０７とする。

操作者は、許容遅延時間９０２の項目において、操作者が許容可能な遅延時間を指定することができる。許容遅延時間９０２で操作者が入力した時間に応じて、画像処理装置１０は、仮想視点画像のレンダリングに係るパラメータを動的に変化させて、許容遅延時間以内で仮想視点画像を生成する。

操作者は、仮想視点画像９０１のレンダリングに係るパラメータとして、レンダリング順序９０３、レンダリング優先位置９０４、及び使用カメラ９０５のそれぞれの設定を指定することができる。なお、操作者が指定するパラメータは、これに限らず、例えば仮想カメラの焦点距離などでもよい。

レンダリング順序９０３の設定項目において操作者は、仮想視点画像を生成する上で、前景モデル（単一色）、前景色、背景モデル（単一色）、及び背景色をレンダリングする順番を指定することができる。仮想視点画像生成部１３０は、許容遅延時間９０２で指定した許容時間までに仮想視点画像を生成することができるか否かを処理負荷情報取得部１２０が取得した処理負荷情報に基づいて判定する。仮想視点画像を生成できないと判定した場合は、レンダリング省略部１３７は、レンダリング順序９０３で設定された処理の最後尾から順にレンダリングを省略する指示を送る。例えば、処理負荷情報取得部１２０が取得した前景率が、所定の値Ｐであった場合を想定する。仮想視点画像生成部１３０は、前景率Ｐに応じて前景モデルの生成にＴ１時間、前景色づけ処理にＴ２時間を要することを決定する。また、仮想視点画像生成部１３０は、背景モデル取得にＴ３時間、背景モデル色づけ処理にＴ４時間を要することを決定する。そして、仮想視点画像生成部１３０は、レンダリング順序９０３で指定された順序で各処理時間を積算し、許容遅延時間９０２で指定された許容時間を超えるか否かを判定する。許容時間を超えた場合、レンダリング省略部１３７は、レンダリング順序９０３で指定された当該処理項目以降の順序の処理項目の処理を省略する指示を送る。

レンダリング優先位置９０４の設定項目において操作者は、仮想視点画像をレンダリングし始める場所を指定することができる。画面中心優先が指定された場合、例えば、３Ｄモデル色づけ処理部１３４、または背景３Ｄモデル色づけ処理部１３５は、仮想視点画像９０１の画面中心付近９０８の内側を、外側より先にレンダリングする。そして、許容遅延時間９０２で指定した時間までに仮想視点画像が生成できない場合は、レンダリング省略部１３７は、画面中心付近９０８の外側のレンダリングを省略することができる。あるいは、解像度変更部１３６が、画面中心付近９０８の外側を低解像度でレンダリングする指示を３Ｄモデル色づけ処理部１３４、または背景３Ｄモデル色づけ処理部１３５に送信してもよい。注視点優先が指定された場合、例えば仮想視点画像９０１上で操作者が指定した箇所を注視点とし、その注視点近傍のレンダリングが優先的に行われる。あるいは、入力装置３０が操作者の目線の情報を入力することが可能である場合、操作者の目線の情報を用いて注視点の位置が決定されてもよい。

使用カメラ９０５の設定項目において操作者は、前景オブジェクト９０６を色づけに使用するカメラを指定することができる。許容遅延時間９０２で指定された時間までに、仮想視点画像を生成できない場合に、物理カメラ数決定部１３８は使用するカメラを削減し、３Ｄモデル色づけ処理部は削減したカメラで前景モデルの色づけを行う。

なお、レンダリング順序９０３、レンダリング優先位置９０４、および使用カメラ９０５の設定項目で指定された項目は、連動した動作が可能である。例えば、レンダリング優先位置９０４で指定された位置において、使用カメラ９０５で指定された使用カメラを用いたレンダリングを、レンダリング順序９０３で指定された順序で行うことができる。操作者によって指定された項目のみを連動させてもよい。

このようにＵＩ画面９００を通じて指定された各指定パラメータは、入力装置３０から画像処理装置１０に出力される。仮想視点情報取得部１１０は、このように送られた、ＵＩ画面９００を通じて指定された指定パラメータを仮想視点情報として取得する。そして、実施形態１から３においては、この指定パラメータに従って、例えば解像度を変更するモデルの領域を決定したり、レンダリング処理を省略するモデルの領域を決定したり、使用するカメラの台数を決定したりする処理が行われて良い。

以上説明したように、本実施形態においては、リアルタイム（低遅延）で仮想視点画像を見たいユーザの要件に応え、仮想視点画像の画質に影響するレンダリングに係るパラメータを操作者自身が変更することができる。このような処理によれば、操作者が望む仮想視点画像を生成することが可能となる。

＜＜その他の実施形態＞＞
上述の各実施形態を適宜組み合わせてもよい。例えば、画像処理装置１０は、仮想視点画像の生成に要する処理負荷に応じて、仮想視点画像の解像度を変更し、モデルの領域ごとのレンダリングを省略し、かつ、前景の色付け処理を簡略化してもよい
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０ 画像処理装置
１００ カメラ情報取得部
１１０ 仮想視点情報取得部
１２０ 処理負荷情報取得部
１３０ 仮想視点画像生成部
１４０ 出力部

Claims (19)

1. 仮想視点からの見えを表す仮想視点画像を生成する画像処理装置であって、
   複数の撮像装置の撮像に基づく複数の画像を取得する第1取得手段と、
   仮想視点を特定するための情報を取得する第２取得手段と、
   前記第２取得手段により取得された情報により特定される仮想視点に対応する仮想視点画像の生成に係る処理時間が閾値を超えないように、前記仮想視点画像の生成に係る処理におけるパラメータを、前記複数の撮像装置により撮像される撮像領域内のオブジェクトに基づいて決定する決定手段と、
   前記決定手段により決定されたパラメータと、前記第1取得手段により取得された複数の画像とに基づいて、前記第２取得手段により取得された情報により特定される仮想視点に対応する仮想視点画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、前記撮像領域内のオブジェクトの３次元位置に基づいて、前記パラメータを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記第２取得手段により取得された情報により特定される仮想視点と、前記撮像領域内のオブジェクトの３次元位置とに基づいて、前記パラメータを決定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記決定手段は、前記仮想視点に対応する視界内に位置する第１オブジェクトに対するパラメータと、前記第１オブジェクトよりも前記視界の中心から遠くに位置する第２オブジェクトに対するパラメータとを、互いに異なるように決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記複数の撮像装置の位置及び方向を特定する情報を取得する第３取得手段をさらに有し、
   前記決定手段は、前記第３取得手段により取得された情報と、前記撮像領域内のオブジェクトの３次元位置とに基づいて、前記パラメータを決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記決定手段は、前記撮像領域内のオブジェクトの種別に基づいて、前記パラメータを決定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記オブジェクトの種別には、前景オブジェクトと、背景オブジェクトとが含まれることを特徴とする請求項６に記載の画像処理装置。
8. 前記決定手段は、前記第２取得手段により取得された情報により特定される仮想視点に対応する視界内に含まれるオブジェクトの数と大きさの少なくとも何れかに基づいて、前記パラメータを決定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記パラメータは、前記仮想視点画像におけるオブジェクトの解像度に係るパラメータであることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記パラメータは、前記第1取得手段により取得された画像に基づいて生成されるオブジェクトの３次元形状を示すモデルの生成の処理に係るパラメータであることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記パラメータは、前記モデルの構成要素のサイズを特定するためのパラメータであることを特徴とする請求項１０に記載の画像処理装置。
12. 前記パラメータは、前記モデルの生成の処理に用いられる撮像装置の数を特定するためのパラメータであることを特徴とする請求項１０又は１１に記載の画像処理装置。
13. 前記生成手段は、前記パラメータと前記複数の画像とに基づいてオブジェクトの３次元形状を示すモデルを生成し、生成された当該モデルに基づいて仮想視点画像を生成することを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理装置。
14. 前記パラメータは、前記仮想視点画像におけるオブジェクトの表示の有無を制御するパラメータであることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
15. 前記生成手段により生成される前記仮想視点画像内の前景オブジェクトが占める領域の大きさが所定の閾値より大きい場合における前記仮想視点画像内の背景オブジェクトの解像度は、前記生成手段により生成される前記仮想視点画像内の１以上の前景オブジェクトが占める領域の大きさが前記所定の閾値より小さい場合における前記仮想視点画像内の背景オブジェクトの解像度よりも低いことを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. ユーザによる操作に基づいて処理時間の閾値を設定する設定手段を、さらに有し、
    前記決定手段は、前記仮想視点画像の生成に係る処理時間が前記設定手段により設定された閾値を超えないように、前記パラメータを決定することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 前記パラメータを決定するためのオブジェクトに関する条件を指定するための画像を表示手段に表示させる表示制御手段をさらに有することを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
18. 仮想視点からの見えを表す仮想視点画像を生成する画像処理方法であって、
    複数の撮像装置の撮像に基づく複数の画像を取得する第1取得工程と、
    仮想視点を特定するための情報を取得する第２取得工程と、
    前記第２取得工程により取得された情報により特定される仮想視点に対応する仮想視点画像の生成に係る処理時間が所定時間を超えないように、前記仮想視点画像の生成に係る処理におけるパラメータを、前記複数の撮像装置により撮像される撮像領域内のオブジェクトに基づいて決定する決定工程と、
    前記決定工程により決定されたパラメータと、前記第1取得工程により取得された複数の画像とに基づいて、前記第２取得工程により取得された情報により特定される仮想視点に対応する仮想視点画像を生成する生成工程と、
    を有することを特徴とする画像処理方法。
19. コンピュータを、請求項１乃至１７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images