JP7408298B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本開示の技術は、複数の撮影画像データを用いて仮想視点画像データを生成する技術に関する。

昨今、複数のカメラを異なる位置に設置し、それら複数のカメラで複数視点から同期撮影して得られた複数の撮影画像データ（複数視点画像データ）を用いて仮想視点からの見えを表す仮想視点画像データを生成する技術が注目されている。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高い臨場感を与えることが出来る。

特許文献１には、複数のカメラから得られた撮影画像データからオブジェクト（被写体）の３次元モデル（３次元形状データ）を導出し、その３次元モデルに撮影画像データを用いてレンダリングすることで仮想視点画像データを生成する方法が開示されている。

特開２０１７－２１２５９２号公報

しかしながら、従来の方法で仮想視点画像データを生成した場合に、次の課題があった。例えば撮影対象となるフィールド周辺に設置される電子看板には、ＬＥＤディスプレイなど、表示面に指向性の高い光源を用いた表示装置が使用される場合がある。また、自ら光を発しないが、反射光が高い指向性を持つような表面を有するオブジェクトが撮影領域に存在する場合がある。こうした視野角の制限が強い面を有するオブジェクトに対し、その視野角の外側に位置するカメラから得られた撮影画像データを主に用いて仮想視点画像データを生成した場合、次のような課題があった。すなわち、そのような場合、仮想視点画像データにおける当該オブジェクトの表示面や表面が暗く描画され視認性が低下するという課題があった。

そのため本開示の技術は、仮想視点画像データにおける所定のオブジェクトの視認性の低下を抑制することを目的とする。

本開示に係る画像処理装置は、複数の撮像装置の位置及び向きを特定するための撮像情報、及び前記複数の撮像装置に含まれる１又は複数の撮像装置により撮像される表示装置の位置及び当該表示装置の表示面に対する法線方向を特定するための表示装置情報を取得する取得手段と、前記取得された撮像情報と前記取得された表示装置情報とに基づいて、前記複数の撮像装置による撮像に基づく複数の画像のうち、仮想視点に対応する仮想視点画像であって前記表示装置を含む仮想視点画像の生成に用いる画像を決定する決定手段と、前記決定された画像に基づいて、前記表示装置を含む仮想視点画像を生成する生成手段と、を有することを特徴とする。

本開示の技術によれば、仮想視点画像データにおける所定のオブジェクトの視認性の低下を抑制することができる。

実施形態１におけるシステム構成図である。 実施形態１におけるハードウェア構成図である。 実施形態１における画像生成装置の処理フローを示す図である。 実施形態１におけるカメラ配置を示す図である。 実施形態１におけるカメラの撮影画像例である。 実施形態１における本発明の適用の有無による仮想視点画像を比較した図である。 実施形態２におけるシステム構成図である。 実施形態２における画像生成装置の処理フローを示す図である。 実施形態２におけるカメラ毎の優先度を示す図である。 実施形態３におけるＬＥＤディスプレイの配光特性を示す図である。 実施形態３におけるカメラ毎の優先度を示す図である。 実施形態４におけるＬＥＤディスプレイの輝度のヒストグラムを示す図である。

［実施形態１］
本実施形態では、サッカースタジアムに複数のカメラを設置し、それら複数のカメラによる撮影により得られた複数の撮影画像データを用いて仮想視点画像データを生成するシステムについて述べる。さらに、フィールド上のＬＥＤディスプレイの法線方向とカメラ配置情報（カメラの位置および方向に関する情報）に基づいて仮想視点画像データを生成する方法について説明する。

図１に、仮想視点画像を生成するシステム構成を示す。複数のカメラ１１０は、フィールド上のオブジェクトを多視点から撮影するように設置され、ネットワークを介してカメラ配置情報および撮影画像データをサーバ１３０へ送信する。なお、複数のカメラ１１０は同一符号を用いて説明するが、性能や機種が異なっていてもよい。

サーバ１３０は、複数のカメラ１１０から受信したカメラ配置情報および撮影画像データを用いてカメラ１１０のキャリブレーションを行い、キャリブレーション後のカメラ配置情報を不図示の記憶部に記憶する。

また、サーバ１３０は、複数のカメラ１１０から受信した撮影画像データとカメラ配置情報を用いて、前景オブジェクト（プレーヤーやボール）を抽出する。そしてサーバ１３０は、ステレオ計測の原理から抽出した前景オブジェクトの３次元モデル（３次元形状データ）を生成し、不図示の記憶部に記憶する。

また、サーバ１３０は、レーザースキャナの計測により得られる背景オブジェクト（サッカースタジアム、フィールド、ＬＥＤディスプレイ、サッカーゴールなど）の３次元モデルを不図示の記憶部に予め記憶する。このとき、ＬＥＤディスプレイなど、指向性の高い光を発する、視野角の制限が強い所定のオブジェクトの３次元モデルには、後述する視野角情報を関連付けてさらに記憶する。なお、本開示において視野角とは、物体表面に正対したときのその物体表面の見えを基準としたとき、その基準とする見えが維持される、物体表面上の正対した位置での法線方向と視線方向とのなす角度である。

コントローラ１２０は、ユーザの操作に基づき仮想視点の位置、姿勢、焦点距離を指定する仮想視点情報を生成するためのＵＩである。またコントローラ１２０は、画像処理装置２００とネットワークを介して接続され、生成した仮想視点情報を画像処理装置２００中のレンダリング部２５０に送信する。

画像処理装置２００は、後述するＣＰＵ２０１がプログラムを実行することにより、カメラ配置情報取得部２１０、視野角情報取得部２２０、仮想視点情報取得部２３０、優先度算出部２４０、レンダリング部２５０の各機能構成部を実現する。また画像処理装置２００は、コントローラ１２０、サーバ１３０、及び表示装置３００とネットワークを介して接続している。

カメラ配置情報取得部２１０は、通信部２０５およびネットワークを介して、サーバ１３０からカメラ配置情報を取得する。

視野角情報取得部２２０は、通信部２０５およびネットワークを介して、サーバ１３０から視野角情報を取得する。

仮想視点情報取得部２３０は、通信部２０５およびネットワークを介して、コントローラ１２０から仮想視点情報を取得する。

優先度算出部２４０は、カメラ配置情報取得部２１０が取得したカメラ配置情報と、視野角情報取得部２２０が取得した視野角情報とに基づき優先度を算出する。

レンダリング部２５０は、サーバ１３０から撮影画像データ、前景オブジェクトおよび背景オブジェクトの３次元モデルを取得する。レンダリング部２５０は、カメラ配置情報取得部２１０からカメラ配置情報を取得し、仮想視点情報取得部２３０から仮想視点情報を取得し、優先度算出部２４０から優先度を取得する。レンダリング部２５０は、前景オブジェクトおよび背景オブジェクトの３次元モデルについて、撮影画像データを用いてレンダリング処理を行い、仮想視点情報で指定された仮想視点からの見えを表す仮想視点画像データを生成する。

表示装置３００は、画像処理装置２００とネットワークまたはＳＤＩなどの映像伝送経路を介して接続され、レンダリング部２５０でレンダリング処理された仮想視点画像データを表示する。なお、画像処理装置２００により仮想視点画像データが出力される先は表示装置３００に限らず、仮想視点画像データを記憶する記憶装置などであってもよい。

図２は、本実施形態における画像処理装置２００のハードウェア構成図である。画像処理装置２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、記憶装置２０４、及び通信部２０５を有する。

ＣＰＵ２０１は、画像処理装置２００の全体を制御する中央演算ユニットであり、画像処理装置２００の処理シーケンスを統括的に制御する。ＲＯＭ２０２及び記憶装置２０４は、後述する処理フローを実現するためのプログラムやデータを格納する。ＲＡＭ２０３は、データの一時保存やプログラムのロードに使用される。通信部２０５は、ネットワーク２０６を介した外部装置とのデータの送受信を行う。通信部２０５は、例えば、画像処理装置２００によって画像合成を行った仮想視点画像データを、ネットワーク２０６を介して表示装置３００に送信する。画像処理装置２００の各構成要素は、バス２０７を介して相互に接続されている。

次に図３に示すフローチャートを用いて、画像処理装置２００の各構成部による処理フローを説明する。なお、本フローチャートで示す処理に係るプログラムは画像処理装置２００の記憶装置に格納されており、ＲＯＭ２０２によって呼び出され、ＣＰＵ２０１によって実行される。

ステップＳ３０１では、カメラ配置情報取得部２１０が、キャリブレーション済みのカメラ配置情報を取得する。カメラ配置情報は、各カメラの位置Ｔ＝（ｔ_x，ｔ_y，ｔ_z）と、光軸方向Ｒ_opt＝（ｒ_x，ｒ_y，ｒ_z）とが記述されたデータである。キャリブレーション済みのカメラ配置情報は、特許文献１に示すようにサーバ１３０において予めカメラ１１０から受信したカメラ配置情報および撮影画像データを用いてキャリブレーション処理によって算出しておく。なお、以降、単にカメラ配置情報と記載した場合は、キャリブレーション済みのカメラ配置情報を指すものとする。

ステップＳ３０２では、視野角情報取得部２２０が、視野角情報を取得する。視野角情報は、ＬＥＤディスプレイ６の表示面上の位置Ｔ_led＝（ｘ，ｙ，ｚ）と、位置T_ledにおけるＬＥＤディスプレイ６の表示面の法線方向Ｎ＝（ｎ_x，ｎ_y，ｎ_z）とが記述されたデータである。

ステップＳ３０３では、優先度算出部２４０が、カメラ配置情報および視野角情報に基づき、レンダリング処理で用いる撮影画像データの優先度を算出する。

図４に、複数のカメラ１１０のカメラ配置を示す。全てのカメラ１１０ａ～１１０ｐは、サッカースタジアム４内を囲うように配置され、フィールド５およびその周囲にあるＬＥＤディスプレイ６などを含む撮影領域を撮影する。また、フィールド５内にプレーヤー７がおり、仮想視点（仮想カメラ）１０からの仮想視点画像には、フィールド５、ＬＥＤディスプレイ６、およびプレーヤー７が写ることになる。

仮想視点画像に写るオブジェクトのうち、指向性の高い光源を用いたＬＥＤディスプレイ６の表示面は視野角外からの視認性は著しく低下する。そのため、本実施形態では、ＬＥＤディスプレイ６の表示面の表示が明瞭に写っている撮影画像データをＬＥＤディスプレイ６のレンダリングに使用する。

本実施形態では、ＬＥＤディスプレイ６の表示面の表示が明瞭に写っている撮影画像データが得られるカメラ１１０を、下記式（１）により算出される優先度Ｐに基づき判定する。

ここでカメラ１１０の光軸方向Ｒ_optとＬＥＤディスプレイ６の表示面の法線方向Ｎとはベクトルの大きさが１になるよう正規化されているものとする。この優先度Ｐは、ＬＥＤディスプレイ６との配置関係が最も正対に近いカメラ１１０で最大となる。図４の例では、カメラ１１０ｄの優先度Ｐが最大となる。

ステップＳ３０４では、仮想視点情報取得部２３０が、コントローラ１２０から仮想視点情報を取得する。仮想視点情報は、コントローラ１２０におけるユーザ操作によって得られた仮想視点の位置、姿勢、焦点距離に関する情報を含む。

ステップＳ３０５では、レンダリング部２５０が、サーバ１３０からカメラ１１０の撮影画像データ、前景オブジェクトおよび背景オブジェクトの３次元モデルを取得する。

ステップＳ３０６では、レンダリング部２５０が、撮影画像データ、前景オブジェクトおよび背景オブジェクトの３次元モデル、優先度および仮想視点情報に基づき、設定された仮想視点１０からの見えを表す仮想視点画像データをレンダリングする。

視野角情報が関連付けられていないＬＥＤディスプレイ６以外のオブジェクトをレンダリングする際は、仮想視点１０に近いカメラ１１０ｉの撮影画像データから順に用いる。一方、視野角情報が関連付けられているＬＥＤディスプレイ６をレンダリングする際は、優先度Ｐの大きいカメラ１１０の撮影画像データを優先的に用いる。レンダリング部２５０でのレンダリングには、特許文献１に示すイメージベースレンダリングまたはモデルベースレンダリングを用いることができる。

ＬＥＤディスプレイ６をレンダリングする際には、例えば、優先度が最も高いカメラ１１０の撮影画像データが用いられてもよい。また例えば、優先度が閾値以上である複数のカメラ１１０の中から各カメラ１１０の位置や向きに基づいて選択されたカメラ１１０の撮影画像データが用いられてもよい。レンダリングに使用する撮影画像の決定における優先度の使用方法は、これらの例に限定されない。

また、ＬＥＤディスプレイ６の一部または全部を撮影できていないカメラ１１０の撮影画像データは、ＬＥＤディスプレイ６のレンダリングに用いなくてもよい。例えば、あるカメラ１１０の位置とＬＥＤディスプレイ６の位置を結ぶ線上に選手が位置する場合、そのカメラ１１０の撮影画像データにおいてＬＥＤディスプレイ６の少なくとも一部が選手により遮蔽されてしまう。そのような撮影画像データをレンダリングに用いると、ＬＥＤディスプレイ６のモデルに選手の色を用いた誤った色付けがされてしまう。そこで、レンダリング部２５０は、ＬＥＤディスプレイ６全部を撮影できているカメラ１１０のうち優先度の高いカメラ１１０の撮影画像データを用いて、ＬＥＤディスプレイ６のレンダリングを行ってもよい。あるいはレンダリング部２５０は、ＬＥＤディスプレイ６の部分ごとに、その部分を撮影できているカメラ１１０のうち優先度の高いカメラ１１０の撮影画像データを用いてレンダリングを行ってもよい。すなわち、あるカメラ１１０から見てＬＥＤディスプレイ６の一部が遮蔽されている場合、遮蔽されていない部分のレンダリングにはそのカメラ１１０の撮影画像データを用いるようにしてもよい。またその場合、遮蔽されている部分のレンダリングにはそのカメラ１１０の撮影画像データを用いないようにしてもよい。

図５に、カメラ１１０ｄおよび１１０ｉの撮影画像データの模式図を示す。図５（ａ）はカメラ１１０ｄから得られた撮影画像データを示しており、ＬＥＤディスプレイ６を正面側から撮影しているためＬＥＤディスプレイ６に表示される文字「Ｆｏｏｔｂａｌｌ」が鮮明に撮影されている。一方、図５（ｂ）はカメラ１１０ｉから得られた撮影画像データを示しており、ＬＥＤディスプレイ６を表示面の視野角の外側から撮影しているため、表示面に表示される文字が暗く見えづらく撮影されている。

図６に、本開示の技術を用いたレンダリング結果の差異を示す。図６（ａ）はＬＥＤディスプレイ６をその他のオブジェクトと同じく優先度Ｐを考慮せずにレンダリングした結果を示し、図６（ｂ）は優先度Ｐを考慮してレンダリングした結果を示す。

図６（ａ）では、ＬＥＤディスプレイ６が、その側面側から撮影したカメラ１１０ｉの撮影画像データを用いているため暗く見えづらくレンダリングされる。一方で図６（ｂ）では、ＬＥＤディスプレイ６が、ＬＥＤディスプレイ６の正面側から撮影したカメラ１１０ｄの画像データを用いているため鮮明にレンダリングされる。

以上のようにレンダリングした結果は、仮想視点画像データとして記憶装置２０４に記憶するか、仮想視点画像データを通信部２０５およびネットワーク２０６を介して表示装置３００に送信して表示することができる。

このように、オブジェクトの表示面の法線とカメラの光軸との関係から優先度を算出し、その優先度Ｐの高いカメラの撮影画像データを優先して用いてレンダリングすることにより、オブジェクトの視認性が低下する仮想視点を低減することができる。

なお、本実施形態では、ＬＥＤディスプレイ６全体を１つのオブジェクトとしたが、ＬＥＤディスプレイ６を構成する各要素を１つのオブジェクトとしてもよい。例えば、ＬＥＤディスプレイ６を表す複数のボクセルの各々を１つのオブジェクトとしてもよい。そして、各要素に対して視野角情報を設定し、要素ごとに設定された視野角情報に基づき優先度を算出してもよい。このような場合、ＬＥＤディスプレイ６に対して複数の視野角情報が設定でき、視野角情報が設定された要素ごとに優先度の高い撮影画像データを用いてＬＥＤディスプレイ６をレンダリングすることができる。

また、視野角情報を設定するオブジェクトとしては、ＬＥＤディスプレイの他に、液晶ディスプレイや、表面に光沢のある物体、フィールドの芝など、見る角度によって視認性や見え方が変化するオブジェクトであれば、本実施形態と同様の効果を奏する。

また、視野角情報を設定するオブジェクトは、ユーザが指定してもよいし、サーバ１３０や他の画像処理装置がカメラごとの撮影画像データを比較して画質の変化量に基づき指定してもよい。視野角情報も、ユーザが設定してもよいし、サーバ１３０や他の画像処理装置が画質の変化量に基づき設定してもよい。

［実施形態２］
実施形態１では、カメラ配置情報と視野角情報とに基づき優先度を算出した。本実施形態では、さらに仮想視点とカメラの配置を加味して優先度を算出する方法について説明する。

本実施形態の構成、処理フローは、以下に記載するステップＳ３０２、ステップＳ３０６以外は実施形態１と同様である。そのため以下、実施形態１と同様の構成、処理フローについては説明を省略する。

図７にシステム構成を示す。また図８に、本実施形態における画像処理装置２００の各構成部による処理フローを示す。

ステップＳ８０１では、仮想視点情報取得部２３０が、コントローラ１２０からネットワーク経由で仮想視点情報を取得する。

ステップＳ８０２では、優先度算出部２４０が、仮想視点情報取得部２３０により取得された仮想視点情報を考慮した優先度Ｐ_mを算出する。まず、仮想視点１０の視線方向Ｒ_vir＝（ｒｖ_x，ｒｖ_y，ｒｖ_z）とカメラ１１０の光軸方向Ｒ_optとの内積を用いて、仮想視点を考慮した優先度Ｐ_virを下記式（２）により算出する。

そして優先度Ｐと優先度Ｐ_virとを掛け合わせたカメラの優先度Ｐ_mを下記式（３）により算出する。

図９に、図４に示す例におけるカメラごとの優先度Ｐ，Ｐ_vir，Ｐ_mの算出結果を示す。Ｐ_mの値は、仮想視点１０に近くかつＬＥＤディスプレイ６の正面側を撮影しているという条件を満たすカメラ１１０ｇが最大となる。

ステップＳ３０６では、レンダリング部２５０がレンダリングする際、ＬＥＤディスプレイ６には優先度Ｐ_mの高いカメラの撮影画像データを優先的に用いる。

以上述べたように、仮想視点とカメラの配置に基づく優先度Ｐ_virを加味した優先度Ｐ_mを用いることで、ＬＥＤディスプレイ６を正面側から撮影しているカメラの中でもより仮想視点に近いカメラ１１０ｇの撮影画像データを優先してレンダリングする。これによりＬＥＤディスプレイ６を見やすくしながら、仮想視点からの見え方により近い仮想視点画像データを生成することができる。

［実施形態３］
本実施形態では視野角情報としてＬＥＤディスプレイの配光特性を加味して優先度を算出する方法について説明する。

本実施形態の構成、処理フローは、以下に記載するステップＳ３０２、ステップＳ３０３以外は実施形態１と同様である。そのため以下では、実施形態１と同様の構成、処理フローについては説明を省略する。

ステップＳ３０２では、視野角情報取得部２２０が、視野角情報としてオブジェクトの位置Ｔ_led、表示面の法線方向Nに加えて配光特性Ｉ_led（θ）を取得する。この配光特性Ｉ_led（θ）は、ＬＥＤディスプレイ６から発する光の強度の分布を表す、発光面の法線方向からの角度θの関数であり、予め測定して求めておく。そして、配光特性Ｉ_led（θ）を視野角情報の一部として、サーバ１３０に予め記憶しておく。

図１０に、ＬＥＤディスプレイ６の典型的な配光特性Ｉ_led（θ）の例を示す。θ＝０のときに最大となり、θが大きくなるにつれて値は小さくなる。なお、最大値が１となるようにＩ_led（θ）の値を正規化しておく。

ステップＳ３０３では、優先度算出部２４０が、ＬＥＤディスプレイ６から発する光のうち、カメラ１１０に向かう光の強度に基づき優先度を算出する。そのため、まずＬＥＤディスプレイ６の表示面の法線方向Nと、カメラ１１０に向かう方向との角度θ_cを下式（４）により求める。

ここで、Tは各カメラの位置、Ｔ_ledはＬＥＤディスプレイ６の位置、ＮはＬＥＤディスプレイ６の表示面の法線方向である。したがって、ＬＥＤディスプレイ６からカメラ方向θ_cに発せられる光の強度は、配光特性Ｉ_led（θ_c）となる。

これらから本実施形態では、配光特性を考慮した優先度Ｐ_lを下式（５）から求める。

図１１に、カメラ１１０ごとの優先度Ｐ_lを示す。光の強度が最大となる方向はＬＥＤディスプレイ６の表示面の法線方向となるため、カメラ１１０ｄの優先度Ｐ_lが最大となる。

ステップＳ３０６では、レンダリング部２５０がレンダリングする際、ＬＥＤディスプレイ６には優先度Ｐ_lの高いカメラの撮影画像データを優先的に用いる。

以上述べたように、ＬＥＤディスプレイ６の配光特性を用いて算出された優先度に基づき決定したカメラの撮影画像データを優先的に用いてレンダリングすることにより、ＬＥＤディスプレイ６をより明るい仮想視点画像データを生成することができる。

［実施形態４］
本実施形態では、視野角情報としてカメラから撮影したＬＥＤディスプレイの像の輝度のヒストグラムに基づき優先度を算出する方法について説明する。

本実施形態の構成、処理フローは、以下に記載するステップＳ３０２、ステップＳ３０３以外は実施形態１と同様である。そのため以下、実施形態１と同様の構成、処理フローについては説明を省略する。

ステップＳ３０２では、視野角情報取得部２２０が、視野角情報として、カメラ１１０の各々の撮影画像データ中のＬＥＤディスプレイ６に対応する画素領域の輝度の中央値でカメラ１１０を分類したヒストグラムを取得する。なお、画素領域の輝度の中央値に替えて、画素領域の輝度の平均値や最頻値、標準偏差など他の値を使用してもよい。

図１２に、図４の例において、横軸にＬＥＤディスプレイ６に対応する画素領域の輝度の中央値、縦軸にカメラ数をとったヒストグラムを示す。ＬＥＤディスプレイ６に対応する画素領域の輝度値が比較的高い撮影画像データが得られたカメラ群Ａは、ＬＥＤディスプレイ６を正面側から撮影しているため、輝度値の高い撮影画像データが得られたと考えられる。ＬＥＤディスプレイ６に対応する画素領域の輝度値が比較的低い撮影画像データが得られたカメラ群Ｂは、ＬＥＤディスプレイ６を側面側、あるいは裏側から撮影しているため輝度値の低い撮影画像データが得られたと考えられる。

ステップＳ３０３では、優先度算出部２４０が、視野角情報として取得したヒストグラムに基づき優先度Ｐ_hを算出する。まず撮影画像データにおけるＬＥＤディスプレイ６に対応する画素領域の輝度値が最上位（輝度値２２６～２５０）のビンから順に、ビンの数に応じた優先度を割り振る。図１２に示す例では、ビンの数を１０とし、各ビンに１．０、０．９、０．８、・・・、０．１と優先度を割り振る。すなわち輝度値２２６～２５０のビンは優先度１．０、輝度値２０１～２２５のビンは優先度０．９、・・・、輝度値０～２５のビンは優先度０．１とする。

さらに同じビンに属するカメラ間の優先度の差が、各ビンの優先度の幅の中で等しくなるよう、カメラ１１０の各々の優先度Ｐ_hを設定する。すなわち、輝度値２２６～２５０のビンにカメラ１１０のうちの２つが含まれる場合、撮影画像データにおける対象画素領域の輝度値が大きい方からそれぞれ優先度Ｐ_hに１．０、０．９５を設定する。また、輝度値２０１～２２５のビンにカメラ１１０のうちの５つが含まれる場合、撮影画像データにおける対象画素領域の輝度値の大きい方からそれぞれ優先度Ｐ_hに０．９、０．８８、０．８６、０．８４、０．８２を設定する。同様にカメラ１１０のうちの残りのカメラに対しても優先度Ｐ_hを設定する。なお、ＬＥＤディスプレイ６が写っていない撮影画像データが得られないカメラは優先度０とする。

ステップＳ３０６では、レンダリング部２５０がレンダリングする際、ＬＥＤディスプレイ６には優先度Ｐ_hに基づき決定したカメラの撮影画像データを優先的に用いる。

以上述べたように、本実施形態では、視野角情報として撮影画像データ中のＬＥＤディスプレイ６に対応する画素領域の輝度値でカメラを分類したヒストグラムに基づく優先度の高いカメラの撮影画像データを優先的にレンダリングに用いる。これにより、本実施形態では、ＬＥＤディスプレイ６がより明るくレンダリングされた仮想視点画像データを生成することができる。

なお、撮影画像内におけるオブジェクトに対応する画素領域の輝度値に基づいてカメラの優先度を決定する方法は上記に限定されない。例えば、図１２に示すヒストグラムにおいて輝度値が閾値以上となるビン（輝度値が２５１～２５５のビンなど）に属するカメラについては、優先度を低く設定してもよい。輝度値が大きすぎる画素を含む撮影画像は白飛びが発生しており、そのような撮影画像をレンダリングに使用すると仮想視点画像の画質が低下する虞があるためである。このような方法によれば、表面に光沢があり反射率が高いオブジェクト（例えばガラス面など）を含む仮想視点画像の生成において、反射光が強く入射するカメラの撮影画像がレンダリングに用いられることによる仮想視点画像の画質低下を抑制できる。

なお、実施形態１～４においては、それぞれ異なる優先度を用いたが、これらの優先度は個別に使用しても、それらを掛け合わせたり、足し合わせたりして複数の優先度を同時に使用してもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ カメラ
１２０ コントローラ
１３０ サーバ

Claims (12)

1. 複数の撮像装置の位置及び向きを特定するための撮像情報、及び前記複数の撮像装置に含まれる１又は複数の撮像装置により撮像される表示装置の位置及び当該表示装置の表示面に対する法線方向を特定するための表示装置情報を取得する取得手段と、
   前記取得された撮像情報と前記取得された表示装置情報とに基づいて、前記複数の撮像装置による撮像に基づく複数の画像のうち、仮想視点に対応する仮想視点画像であって前記表示装置を含む仮想視点画像の生成に用いる画像を決定する決定手段と、
   前記決定された画像に基づいて、前記表示装置を含む仮想視点画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記決定された画像に対応する撮像装置の向きに応じた光軸方向と前記表示装置の表示面に対する法線方向との差は、前記仮想視点からの視線方向と前記表示装置の表示面に対する法線方向との差よりも小さい、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記表示面は発光面であり、
   前記表示装置の表示面に対する法線方向は、前記発光面に垂直な方向である、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記決定された画像に対応する撮像装置は、撮像装置の向きに応じた光軸方向と前記表示装置の表示面に対する法線方向との差が、前記複数の撮像装置の中で最も小さい、ことを特徴とする請求項１に記載の画像処理装置。
5. 前記決定手段は、
   前記取得された撮像情報及び前記取得された表示装置情報に基づいて、前記複数の撮像装置に含まれる各撮像装置に対し優先度を設定し、
   前記設定された優先度に基づいて、前記仮想視点画像の生成に使用する画像を決定する、
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記決定手段は、撮像装置の向きに応じた光軸方向と、前記表示装置の表示面に対する法線方向との差が小さいほど、前記優先度を高く設定し、
   前記生成手段は、前記優先度が高く設定された撮像装置に対応する撮像画像を優先的に用いて前記仮想視点画像を生成する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記撮像情報、前記表示装置情報、および前記仮想視点の位置および前記仮想視点からの視線方向を特定するための視点情報に基づいて、前記優先度を設定する、ことを特徴とする請求項５に記載の画像処理装置。
8. 前記表示装置情報は、前記表示面の輝度を特定するための特性情報を含み、
   前記決定手段は、前記特性情報から、前記仮想視点画像の生成に用いる画像をさらに決定する、
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記決定された画像は、前記表示装置の3次元モデルの描画色を決定するために使用される、ことを特徴とする請求項１に記載の画像処理装置。
10. 前記取得手段は、前記複数の撮像装置による撮像に基づく複数の画像、及び前記仮想視点の位置および前記仮想視点からの視界方向を特定するための仮想視点情報をさらに取得し、
    前記生成手段は、前記取得された複数の画像のうち前記決定された画像と、前記取得された視点情報とに基づいて、前記仮想視点画像を生成する、
    ことを特徴とする請求項１に記載の画像処理装置。
11. 複数の撮像装置の位置及び向きを特定するための撮像情報、及び前記複数の撮像装置に含まれる１又は複数の撮像装置により撮像される表示装置の位置及び当該表示装置の表示面に対する法線方向を特定するための表示装置情報を取得する取得ステップと、
    前記取得された撮像情報と前記取得された表示装置情報とに基づいて、前記複数の撮像装置による撮像に基づく複数の画像のうち、仮想視点に対応する仮想視点画像であって前記表示装置を含む仮想視点画像の生成に用いる画像を決定する決定ステップと、
    前記決定された画像に基づいて、前記表示装置を含む仮想視点画像を生成する生成ステップと、
    を含むことを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images