JP7462668B2 - シーンを表す画像信号 - Google Patents

Description

本発明は、シーンを表す画像信号に関し、特に、ただしこれに限られないが、シーンを表す画像信号の生成、及びこの画像信号からの仮想現実アプリケーションの一部としての画像のレンダリングに関する。

画像及び映像アプリケーションの種類及び範囲が近年大幅に増加しており、それと共に映像を利用及び消費する新しいサービス及び方式が継続的に開発・導入されている。

例えば、人気が増々高まりつつあるサービスの１つは、視聴者が能動的且つ動的にシステムと対話してレンダリングのパラメータを変更することができるような形で画像シーケンスを提供するものである。多くのアプリケーションにおける非常に魅力的な機能の一つは、視聴者の有効な視認位置及び視認方向を変更して、例えば視聴者が提示されるシーンの中を移動して「見て回る」ことのできる能力である。

そのような機能は特に、仮想現実体験がユーザに提供されることを可能にすることができる。それにより、ユーザは、例えば仮想環境内を（比較的）自由に動き回り、自分の位置及びどこを見ているかを動的に変更することができる。通例、そのような仮想現実アプリケーションは、シーンの３次元モデルに基づいており、このモデルが動的に評価されて特定の要求されるビューを提供する。この手法は、例えばコンピュータ及びコンソール向けの１人称視点の射撃ゲームのカテゴリなどのゲームアプリケーションからよく知られている。

また、特に仮想現実アプリケーションには、提示される画像が３次元画像であることも望ましい。実際、視聴者の没入感を最適化するために、通例は、ユーザが提示されたシーンを３次元のシーンとして体験することが好まれる。実際、仮想現実体験は、好ましくは、ユーザが自分自身の位置、カメラ視点、及び仮想世界に対する時間の瞬間を選択できるようにすべきである。

通例、仮想現実アプリケーションは、予め決められたシーンのモデル、通例は仮想世界の人工モデルに基づくという点で本質的に制限がある。しばしば、仮想体験が現実世界のキャプチャに基づいて提供されることが望まれる。しかし、多くの場合、そのような手法は、制約があるか、又は現実世界の仮想モデルが現実世界のキャプチャから構築されることを必要とする傾向がある。そして、仮想現実体験は、このモデルを評価することによって生成される。

しかし、現在の手法は、最適には及ばない傾向があり、しばしば高い計算若しくは通信リソース要件を有し、及び／又は、例えば低下した品質や制約された自由度など最適以下のユーザ体験を提供する。

多くのシステムでは、特に現実世界のシーンに基づく場合などに、シーンの画像表現が提供され、画像表現は、シーン内の１つ又は複数のキャプチャ点／視点に対応する画像及び奥行きを含む。画像に奥行きを加えた表現は、特に現実世界シーンの非常に効率的な特徴付けを提供し、この特徴付けは、現実世界シーンのキャプチャによって生成するのが比較的容易であるだけでなく、キャプチャされたもの以外の視点についてのビューを合成するレンダラに非常に適する。例えば、レンダラは、現在のローカルな視聴者の姿勢に一致するビューを動的に生成するように構成されることがある。例えば、視聴者の姿勢が動的に決定され、画像及び例えば奥行きマップに基づいてその視聴者の姿勢に一致するように動的に生成されたビューが提供される。

しかし、そのような画像表現は、結果として所与の画像品質に対して非常に高いデータレートになる傾向がある。シーンの良好なキャプチャを提供し、特にオクルージョン現象に対処するために、シーンが、互いに近く且つ広い範囲の位置をカバーするキャプチャ位置からキャプチャされることが望まれる。よって、比較的多数の画像が要求される。さらに、カメラのキャプチャビューポートはしばしば互いと重なり合い、したがって画像のセットは多量の冗長な情報を含む傾向がある。そのような問題は、特定のキャプチャ構成、特に線形のキャプチャ構成が使用されるか、又は例えば円形のキャプチャ構成が使用されるかとは無関係である傾向がある。

よって、従来の画像表現及び形式の多くは、多くの用途及びサービスで良好な性能を提供するが、少なくとも一部の状況では最適以下である傾向がある。

したがって、シーンの画像表現を含む画像信号を処理及び生成するための改良された手法があれば有利である。特に、改良された動作、増大された柔軟性、改良された仮想現実体験、低減されたデータレート、増大された効率性、容易にされた配布、低減された複雑性、容易にされた実施、低減された記憶要件、向上した画像品質、改良されたレンダリング、改良されたユーザ体験、画像品質とデータレートとの間の改良されたトレードオフ、並びに／又は改良された性能及び／若しくは動作を可能にするシステム及び／又は手法があれば有利である。

したがって、本発明は、上述した不都合点の１つ又は複数を単独で又は任意の組み合わせで、好ましくは軽減、緩和、又は解消しようとするものである。

本発明の一態様によれば、画像信号を生成するための装置が提供され、装置は、異なるビュー姿勢からのシーンを表す複数のソース画像を受け取るための受信器と、ソース画像から複数の組み合わせ画像を生成するための組み合わせ画像生成器であって、各組み合わせ画像は、複数のソース画像のうち少なくとも２つのソース画像のセットから導出され、組み合わせ画像の各ピクセルは、光線姿勢に対するシーンを表し、各組み合わせ画像に対する光線姿勢は少なくとも２つの異なる位置を含み、ピクセルに対する光線姿勢は、ピクセルに対するビュー位置から且つピクセルに対するビュー方向における光線に対する姿勢を表す、組み合わせ画像生成器と、複数のソース画像の要素についての予測品質尺度を決定するための評価器であって、第１のソース画像の要素についての予測品質尺度は、要素内のピクセルに対する第１のソース画像内のピクセル値と、要素内のピクセルに対する予測ピクセル値との間の差を示し、予測ピクセル値は、複数の組み合わせ画像から要素内のピクセルを予測した結果得られるピクセル値である、評価器と、予測品質尺度が閾値を超える差を示す要素を含むソース画像のセグメントを決定するための決定器と、組み合わせ画像を表す画像データとソース画像のセグメントを表す画像データとを備える画像信号を生成するための画像信号生成器と、を備える。

本発明は、シーンの改良された表現を提供し、多くの実施形態及びシナリオで画像信号のデータレートに対してレンダリング画像の改良された画像品質を提供する。多くの実施形態では、より効率的なシーンの表現が提供されることが可能であり、所与の品質が、低減されたデータレートで実現できるようになる。この手法は、シーンの画像をレンダリングするためのより柔軟性が高く効率的な手法を提供し、例えばシーンの性質への改良された適合を可能にする。

この手法は、多くの実施形態で、柔軟性が高く、効率的で、高性能の仮想現実（ＶＲ）アプリケーションに適したシーンの画像表現を用いる。多くの実施形態では、画像品質とデータレートとの間のトレードオフが大幅に改善されたＶＲアプリケーションを許容又は可能にする。多くの実施形態では、改良された知覚画像品質及び／又は低減されたデータレートを可能にする。

この手法は、例えば受信側での動き及び頭部の回転への適合をサポートするブロードキャスト映像サービスに適する。

ソース画像は、具体的には、奥行きマップなどの関連付けられた奥行き情報を有する光強度画像であってよい。

この手法は、特に、組み合わせ画像が前景情報及び背景情報それぞれについて最適化されることを可能にし、特に該当する場合にはセグメントが追加的なデータを提供する。

画像信号生成器は、セグメントの符号化よりも効率的な組み合わせ画像の符号化を使用するように構成される。しかし、セグメントは通例、組み合わせ画像のデータのうち比較的小さい割合を表す。

本発明の任意選択の特徴によれば、組み合わせ画像生成器は、複数のソース画像からの第１の組み合わせ画像のピクセルのビュー合成により、複数の組み合わせ画像のうち少なくとも第１の組み合わせ画像を生成するように構成され、第１の組み合わせ画像の各ピクセルは、光線姿勢に対するシーンを表し、第１の画像に対する光線姿勢は、少なくとも２つの異なる位置を含む。

これは、多くの実施形態で特に有利な動作を提供し、例えば、ビュー姿勢に対して組み合わせ画像が生成されることを可能にし、それらは（通例は組み合わさって）シーンの特に有利な表現を提供する。

本発明の任意選択の特徴によれば、垂直方向ベクトルとピクセル外積ベクトルとの間の内積が、第１の組み合わせ画像のピクセルの少なくとも９０％について非負であり、ピクセルのピクセル外積ベクトルは、ピクセルに対する光線方向と、異なるビュー姿勢に対する中心点からピクセルに対する光線位置へのベクトルとの間の外積である。

これは、多くの実施形態で、組み合わせ画像の特に効率的で有利な生成を提供する。それは、特に、横向きのビューに向かうようにバイアスされるビューを提供する傾向により、背景データの有利な表現を提供する組み合わせ画像を決定するための低複雑性の手法を提供する。

本発明の任意選択の特徴によれば、組み合わせ画像生成器は、複数のソース画像からの第２の組み合わせ画像のピクセルのビュー合成により、複数の組み合わせ画像のうち第２の組み合わせ画像を生成するように構成され、第２の組み合わせ画像の各ピクセルは、光線姿勢に対するシーンを表し、第２の画像に対する光線姿勢は、少なくとも２つの異なる位置を含み、垂直方向ベクトルとピクセル外積ベクトルとの間の内積が、第２の組み合わせ画像のピクセルの少なくとも９０％について非正である。

これは、多くの実施形態で組み合わせ画像の特に効率的で有利な生成を提供する。それは、特に、異なる横向きのビューに向かうようにバイアスされるビューを提供する傾向により、背景データの有利な表現を提供する組み合わせ画像を決定するための低複雑性の手法を提供する。

本発明の任意選択の特徴によれば、第１の組み合わせ画像の光線姿勢は、複数のソース画像の異なるビュー姿勢を含む領域の境界に近接するように選択される。

これは、多くの実施形態で有利な動作を提供し、また例えば画像信号により改良された背景情報を提供し、それにより、画像信号に基づくビュー合成を容易化及び／又は改良する。

本発明の任意選択の特徴によれば、第１の組み合わせ画像の光線姿勢の各々は、複数のソース画像の異なるビュー姿勢を含む領域の境界から第１の距離未満になるように決定され、第１の距離は、境界上の点間の最大内部距離の５０％以下である。

これは、多くの実施形態で有利な動作を提供し、また例えば画像信号により改良された背景情報を提供し、それにより、画像信号に基づくビュー合成を容易化及び／又は改良する。いくつかの実施形態では、第１の距離は、最大内部距離の２５％以下又は１０％である。

いくつかの実施形態では、組み合わせ画像の少なくとも１つのビュー姿勢は、複数のソース画像の異なるビュー姿勢を含む領域の境界から第１の距離未満になるように決定され、第１の距離は、異なるビュー姿勢の２つのビュー姿勢間の最大距離の２０％以下、１０％、又は５％ですらある。

いくつかの実施形態では、組み合わせ画像の少なくとも１つのビュー姿勢は、少なくとも、異なるビュー姿勢の中心点から最小距離になるように決定され、最小距離は、中心点から、中心点及び当該少なくとも１つのビュー姿勢を通る線に沿った複数のソース画像の異なるビュー姿勢を含む領域の境界までの距離の少なくとも５０％、７５％、又は９０％ですらある。

本発明の任意選択の特徴によれば、組み合わせ画像生成器は、複数の組み合わせ画像のうち第１の組み合わせ画像の各ピクセルに対して、対応するピクセルが存在するビューソース画像の各々の中で対応するピクセルを決定することであって、対応するピクセルは、第１の組み合わせ画像のピクセルと同じ光線方向を表すピクセルである、決定することと、第１の組み合わせ画像のピクセルに対するピクセル値を、対応するピクセルが異なるビュー姿勢に対する中心点から最大の距離を有する光線を表すビューソース画像内の対応するピクセルに対するピクセル値として選択することであって、最大の距離は、対応するピクセルに対する光線方向に垂直な第１の軸に沿った第１の方向にある、選択することと、を行うように構成される。

これは、多くの実施形態で組み合わせ画像の特に効率的で有利な生成を提供する。それは、特に、横向きのビューに向かうようにバイアスされるビューを提供する傾向により、背景データの有利な表現を提供する組み合わせ画像を決定するための低複雑性の手法を提供する。

本発明の任意選択の特徴によれば、対応するピクセルを決定することが、各ソース画像を、ビュー姿勢を囲むビュー球体の表面の少なくとも一部を表す画像表現に再サンプリングすることと、対応するピクセルを、画像表現中で同じ位置を有するピクセルとして決定することとを有する。

これは、対応するピクセルの特に効率的で正確な決定をもたらす。

ビュー球体表面は、例えば正距円筒図法（equirectangular）又は立方体のマップ表現によって表される。ビュー球体の各ピクセルは、光線方向を有し、ソース画像の再サンプリングは、ビュー球体のピクセル値を、光線方向が同じであるソース画像のピクセル値に設定することを含む。

本発明の任意選択の特徴によれば、組み合わせ画像生成器は、第２の組み合わせ画像内の各ピクセルに対して、第２の組み合わせ画像内のピクセルに対するピクセル値を、対応するピクセルが第１の方向の反対方向において中心点から最大の距離を有する光線を表す、ビューソース画像内の対応するピクセルに対するピクセル値として選択するように構成される。

これは、多くの実施形態で組み合わせ画像の特に効率的で有利な生成を提供する。それは、特に、横向きのビューに向かうようにバイアスされるビューを提供する傾向により、背景データの有利な表現を提供する組み合わせ画像を決定するための低複雑性の手法を提供する。さらに、第２の組み合わせ画像は、反対方向からの横向きビューを提供し、それにより第１の組み合わせ画像と組み合わさって、シーンの、具体的には背景情報の特に有利な表現を提供することにより、第１の組み合わせ画像を補完する。

本発明の任意選択の特徴によれば、組み合わせ画像生成器は、第３の組み合わせ画像内の各ピクセルについて、第３の組み合わせ画像内のピクセルに対するピクセル値を、対応するピクセルが中心点から最小の距離を有する光線を表す、ビューソース画像内の対応するピクセルに対するピクセル値として選択するように構成される。

これは、多くの実施形態で組み合わせ画像の特に効率的で有利な生成を提供する。第３の組み合わせ画像は、シーン内の前景オブジェクトの改良された表現を提供するシーンのより正面寄りのビューを提供することにより、第１（及び第２の）組み合わせ画像を補完する。

本発明の任意選択の特徴によれば、組み合わせ画像生成器は、第４の組み合わせ画像の各ピクセルについて、第４の組み合わせ画像内のピクセルに対するピクセル値を、対応するピクセルが、対応するピクセルの光線方向に垂直な第２の軸に沿った第２の方向において中心点から最大の距離を有する光線を表す、ビューソース画像内の対応するピクセルに対するピクセル値として選択するように構成され、第１の軸と第２の軸とが異なる方向を有する。

これは、多くの実施形態で組み合わせ画像の特に効率的で有利な生成を提供し、シーンの改良された表現を提供する。

本発明の任意選択の特徴によれば、組み合わせ画像生成器は、第１の組み合わせ画像に対する起源データを生成するように構成され、起源データは、ソース画像のどれが第１の組み合わせ画像の各ピクセルの起源であるかを示し、画像信号生成器は、起源データを画像信号に含めるように構成される。

これは、多くの実施形態で特に有利な動作を提供する。

本発明の任意選択の特徴によれば、画像信号生成器は、画像信号にソースビュー姿勢データを含めるように構成され、ソースビュー姿勢データは、ソース画像に対する異なるビュー姿勢を示す。

これは、多くの実施形態で特に有利な動作を提供する。

本発明の一態様によれば、画像信号を受け取るための装置が提供され、装置は、画像信号を受け取るための受信器であって、画像信号が、複数の組み合わせ画像であって、各組み合わせ画像は、異なるビュー姿勢からのシーンを表す複数のソース画像のうち少なくとも２つのソース画像のセットから導出された画像データを表し、組み合わせ画像の各ピクセルは、光線姿勢に対するシーンを表し、各組み合わせ画像に対する光線姿勢は少なくとも２つの異なる位置を含み、ピクセルに対する光線姿勢は、ピクセルに対するビュー位置から且つピクセルに対するビュー方向における光線に対する姿勢を表す、複数の組み合わせ画像と、複数のソース画像のセグメントのセットについての画像データであって、第１のソース画像のセグメントは、複数の組み合わせ画像からのセグメントの予測に関する予測品質尺度が閾値未満である、第１のソース画像の少なくとも１つのピクセルを備える、画像データとを含む、受信器と、画像信号を処理するためのプロセッサとを備える。

本発明の一態様によれば、画像信号を生成する方法が提供され、方法は、異なるビュー姿勢からのシーンを表す複数のソース画像を受け取るステップと、ソース画像から複数の組み合わせ画像を生成するステップであって、各組み合わせ画像は、複数のソース画像のうち少なくとも２つのソース画像のセットから導出され、組み合わせ画像の各ピクセルは、光線姿勢に対するシーンを表し、各組み合わせ画像に対する光線姿勢は少なくとも２つの異なる位置を含み、ピクセルに対する光線姿勢は、ピクセルに対するビュー位置から且つピクセルに対するビュー方向における光線に対する姿勢を表す、生成するステップと、複数のソース画像の要素についての予測品質尺度を決定するステップであって、第１のソース画像の要素についての予測品質尺度は、要素内のピクセルに対する第１のソース画像内のピクセル値と、要素内のピクセルに対する予測ピクセル値との間の差を示し、予測ピクセル値は、複数の組み合わせ画像から要素内のピクセルを予測した結果得られるピクセル値である、決定するステップと、予測品質尺度が閾値を超える差を示す要素を含むソース画像のセグメントを決定するステップと、組み合わせ画像を表す画像データと、ソース画像のセグメントを表す画像データとを備える画像信号を生成するステップと、を有する。

本発明の一態様によれば、画像信号を処理する方法が提供され、方法は、画像信号を受け取るステップであって、画像信号が、複数の組み合わせ画像であって、各組み合わせ画像は、異なるビュー姿勢からのシーンを表す複数のソース画像のうち少なくとも２つのソース画像のセットから導出された画像データを表し、組み合わせ画像の各ピクセルは、光線姿勢に対するシーンを表し、各組み合わせ画像に対する光線姿勢は少なくとも２つの異なる位置を含み、ピクセルに対する光線姿勢は、ピクセルに対するビュー位置から且つピクセルに対するビュー方向における光線に対する姿勢を表す、複数の組み合わせ画像と、複数のソース画像のセグメントのセットについての画像データであって、第１のソース画像のセグメントは、複数の組み合わせ画像からのセグメントの予測に関する予測品質尺度が閾値未満である第１のソース画像の少なくとも１つのピクセルを備える、画像データと、を含む、受け取るステップと、画像信号を処理するステップと、を有する。

本発明の一態様によれば、画像信号が提供され、この画像信号は、複数の組み合わせ画像であって、各組み合わせ画像は、異なるビュー姿勢からのシーンを表す複数のソース画像のうち少なくとも２つのソース画像のセットから導出された画像データを表し、組み合わせ画像の各ピクセルは、光線姿勢に対するシーンを表し、各組み合わせ画像に対する光線姿勢は少なくとも２つの異なる位置を含み、ピクセルに対する光線姿勢は、ピクセルのビュー位置から且つピクセルに対するビュー方向における光線に対する姿勢を表す、複数の組み合わせ画像と、複数のソース画像のセグメントのセットについての画像データであって、第１のソース画像のセグメントは、複数の組み合わせ画像からのセグメントの予測に関する予測品質尺度が閾値未満である第１のソース画像の少なくとも１つのピクセルを備える、画像データと、を含む。

本発明のこれら及び他の態様、特徴及び利点は、以下に説明される実施形態の参照から明らかになり、またそれから明らかにされる。

本発明の実施形態について、図面を参照しながら例としてのみ説明する。

仮想現実体験を提供するための構成の例を示す図である。 シーンのキャプチャ構成の例を示す図である。 シーンのキャプチャ構成の例を示す図である。 本発明のいくつかの実施形態による装置の要素の例を示す図である。 本発明のいくつかの実施形態による装置の要素の例を示す図である。 本発明のいくつかの実施形態によるピクセル選択の例を示す図である。 本発明のいくつかの実施形態によるピクセル選択の例を示す図である。 本発明のいくつかの実施形態により生成される組み合わせ画像のための光線姿勢構成の要素の例を示す図である。 本発明のいくつかの実施形態により生成される組み合わせ画像のための光線姿勢構成の要素の例を示す図である。 本発明のいくつかの実施形態により生成される組み合わせ画像のための光線姿勢構成の要素の例を示す図である。 本発明のいくつかの実施形態により生成される組み合わせ画像のための光線姿勢構成の要素の例を示す図である。 本発明のいくつかの実施形態により生成される組み合わせ画像のための光線姿勢構成の要素の例を示す図である。 本発明のいくつかの実施形態により生成される組み合わせ画像のための光線姿勢構成の要素の例を示す図である。

ユーザが仮想世界の中を動き回ることができる仮想体験は人気が高まりつつあり、そのような需要を満たすサービスが開発されている。しかし、効率的な仮想現実サービスの提供は、特に体験が完全に仮想的に生成された人工世界ではなく現実世界環境のキャプチャに基づく場合には非常に難しい。

多くの仮想現実アプリケーションでは、シーン内での仮想視聴者の姿勢を反映する視聴者の姿勢入力が決定される。仮想現実装置／システム／アプリケーションは、次いで、その視聴者姿勢に対応する視聴者に対するシーンのビュー及びビューポートに対応する１つ又は複数の画像を生成する。

通例、仮想現実アプリケーションは、左目と右目それぞれのための別個のビュー画像の形態で３次元の出力を生成する。それらが次いで、典型的にはＶＲヘッドセットの個々の左目及び右目ディスプレイなどの適切な手段によってユーザに提示される。他の実施形態では、画像は、オートステレオスコピック・ディスプレイ上で提示され（その場合、視聴者姿勢に対して多数のビュー画像が生成され得る）、又は実際、一部の実施形態では、１つのみの２次元画像が生成されることもある（例えば従来の２次元ディスプレイを使用して）。

視聴者姿勢入力は、異なるアプリケーションでは異なる方式で決定される。多くの実施形態では、ユーザの身体の動きが直接追跡される。例えば、ユーザエリアを監視するカメラが、ユーザの頭部（又はさらには目）を検出して追跡する。多くの実施形態では、ユーザは、外部及び／又は内部の手段によって追跡可能なＶＲヘッドセットを着用する。例えば、ヘッドセットは加速度計及びジャイロスコープを備えて、ヘッドセット、したがって頭部の動き及び回転についての情報を提供する。一部の例では、ＶＲヘッドセットは、信号を送信するか、又は外部センサがＶＲヘッドセットの動きを決定できるようにする（例えば視覚的な）識別子を備える。

一部のシステムでは、視聴者姿勢は、手動の手段によって、例えばユーザがジョイスティック又は同様の手動入力装置を手動で制御することによって提供される。例えば、ユーザが、一方の手で第１のアナログジョイスティックを制御し、他方の手で第２のアナログジョイスティックを手動で動かすことによって仮想視聴者が見ている方向を手動で制御することにより、シーン内で仮想視聴者を手動で動き回らせる。

一部のアプリケーションでは、手動の手法と自動化された手法との組み合わせを使用して、入力視聴者姿勢を生成する。例えば、ヘッドセットが頭部の向きを追跡し、シーン内での視聴者の動き／位置はユーザがジョイスティックを使用することにより制御される。

画像の生成は、仮想世界／環境／シーンの適切な表現に基づく。一部のアプリケーションでは、シーンのための完全な３次元モデルが提供され、そのモデルを評価することによって特定の視聴者姿勢からのシーンのビューを決定することができる。

多くの実際のシステムでは、シーンは、画像データからなる画像表現によって表される。画像データは、通例、１つ又は複数のキャプチャ姿勢又はアンカー姿勢に関連付けられた画像を含み、特に、１つ又は複数のビューポートについての画像が含まれ、各ビューポートは特定の姿勢に対応する。１つ又は複数の画像からなる画像表現が使用されることがあり、各画像は、所与のビュー姿勢に対する所与のビューポートのビューを表す。画像データが提供されるそのようなビュー姿勢又は位置は、しばしば、アンカー姿勢若しくは位置又はキャプチャ姿勢若しくは位置と呼ばれる（この理由は、画像データは通例、キャプチャ姿勢に対応する位置及び向きでシーン内に位置するカメラによってキャプチャされるか又はキャプチャされることになる画像に対応するためである）。

多くの典型的なＶＲアプリケーションは、そのような画像表現に基づいて、続いて現在の視聴者姿勢についてのシーンのビューポートに対応するビュー画像を提供し、画像は、視聴者姿勢の変化を反映するように動的に更新され、画像は、（可能性としては）仮想のシーン／環境／世界を表す画像データに基づいて生成される。アプリケーションは、当業者に知られているように、ビュー合成及びビューシフトアルゴリズムを行うことによってこれを行う。

当分野では、配置及び姿勢という用語は、位置及び／又は方向／向きを表す一般的な用語として使用される。例えばオブジェクト、カメラ、頭部、又はビューの位置及び方向／向きの組み合わせが、姿勢又は配置と呼ばれる。よって、配置又は姿勢の指示は、６つの値／成分／自由度を備え、各値／成分は通例、対応するオブジェクトの位置／場所又は向き／方向の個々の性質を記述する。無論、多くの状況では、配置又は姿勢は、それよりも少ない成分で検討又は表現され、例えば、１つ又は複数の成分が固定されている又は関係しないと考えられる場合（例えば、すべてのオブジェクトが同じ高さにあり、ある水平方向の向きを有すると考えられる場合には、４つの成分でオブジェクトの姿勢の完全な表現を提供することができる）がある。以下では、姿勢という用語は、１～６個の値（最大の可能な自由度に対応する）で表され得る位置及び／又は向きを指すために使用される。

多くのＶＲアプリケーションは最大の自由度を有する姿勢に基づいており、すなわち、位置及び向きの各々に３自由度があり、その結果、合計で６自由度となる。よって、姿勢は、６自由度を表す６個の値のセット又はベクトルによって表され、よって、姿勢ベクトルは、３次元の位置及び／又は３次元の方向の指示を提供することができる。しかし、他の実施形態では、姿勢はそれよも少ない値で表され得ることが認識されよう。

姿勢は、向き及び位置の少なくとも一方であってよい。姿勢値は、向きの値及び位置の値の少なくとも一方を示してよい。

最大の自由度を視聴者に提供することに基づくシステム又はエンティティは、通例、６自由度（６ＤｏＦ）を有すると称される。多くのシステム及びエンティティは、向き又は位置のみを提供し、それらは通例、３自由度（３ＤｏＦ）を有するとして知られる。

一部のシステムでは、ＶＲアプリケーションは、例えば、リモートのＶＲデータ又は処理を使用しない、又はさらにはそれらへのアクセスを全く有さないスタンドアロンデバイスによって、視聴者にローカルに提供される。例えば、ゲームコンソールなどのデバイスは、シーンデータを記憶するためのストア、視聴者姿勢を受け取る／処理するための入力、及びシーンデータから対応する画像を生成するためのプロセッサを備える。

他のシステムでは、ＶＲアプリケーションは、視聴者からリモートで実施及び実行される。例えば、ユーザにとってローカルのデバイスが動き／姿勢データを検出し／受け取り、それがリモートのデバイスに送信され、リモートのデバイスがそのデータを処理して視聴者姿勢を生成する。リモートのデバイスは次いで、シーンを記述するシーンデータに基づいて、視聴者姿勢に適するビュー画像を生成する。ビュー画像は、次いで、それらが提示される視聴者にローカルのデバイスに送信される。例えば、リモートのデバイスが、映像ストリーム（通例は立体／３Ｄの映像ストリーム）を直接生成し、それがローカルのデバイスによって直接提示される。よって、そのような例では、ローカルのデバイスは、動きデータを送信し、受信した映像データを提示することを除いては、ＶＲ処理を全く行わない可能性がある。

多くのシステムでは、機能は、ローカルのデバイス及びリモートのデバイスに分散される。例えば、ローカルのデバイスは、受け取った入力及びセンサデータを処理して、リモートのＶＲデバイスに連続的に送信される視聴者姿勢を生成する。リモートのＶＲデバイスは、次いで、対応するビュー画像を生成し、それらを提示のためにローカルのデバイスに送信する。他のシステムでは、リモートのＶＲデバイスは、ビュー画像を直接生成することはせず、関連するシーンデータを選択し、それをローカルのデバイスに送信し、そしてローカルのデバイスが提示されるビュー画像を生成する。例えば、リモートのＶＲデバイスが、最も近いキャプチャ点を特定し、対応するシーンデータ（例えばキャプチャ点からの球体画像及び奥行きデータ）を抽出し、それをローカルのデバイスに送信する。ローカルのデバイスは、次いで、受信したシーンデータを処理して、特定の現在のビュー姿勢のための画像を生成する。ビュー姿勢は、通例は頭部姿勢に対応し、ビュー姿勢への参照は、通例、頭部姿勢への参照に等価に対応するものとみなされる。

多くのアプリケーション、特にブロードキャストサービスでは、ソースが、視聴者姿勢に依存しないシーンの画像（映像を含む）表現の形態でシーンデータを送信する。例えば、単一のキャプチャ位置に対応する単一のビュー球体の画像表現が、複数のクライアントに送信される。そして、個々のクライアントが、現在の視聴者姿勢に対応するビュー画像をローカルで合成する。

特に関心を集めているアプリケーションは、限られた量の動きがサポートされて、提示されるビューが、実質的に静止している視聴者がごく小さな頭部の動き及び頭部の回転を行うことに対応する小さな動き及び回転に追従するように更新されるものである。例えば、座っている視聴者が、自身の頭部を回し、わずかに動かすと、提示されるビュー／画像がそれらの姿勢変化に追従するように適合される。そのような手法は、没入感の高い、例えば映像体験を提供する。例えば、スポーツイベントを見ている視聴者が、アリーナ内の特定の場所にいるように感じ得る。

そのような限られた自由度のアプリケーションは、改良された体験を提供するという利点を有し、一方で、多くの異なる位置からのシーンの正確な表現を必要とせず、それによりキャプチャ要件を大幅に低減する。同様に、レンダラに提供される必要のあるデータの量を大幅に減らすことができる。実際、多くのシナリオでは、単一の視点に対応する画像と、通例は奥行きデータとが提供されればよく、ローカルのレンダラが、それから所望のビューを生成することができる。この手法は、特に、例えばブロードキャスト又はクライアント・サーバアプリケーションなど、データが、帯域に制限がある通信チャネルを通じてソースから行先まで通信される必要のあるアプリケーションに非常に適する。

図１は、そのようなＶＲシステムの例を示し、ここではリモートのＶＲクライアントデバイス１０１が、例えばインターネットなどのネットワーク１０５を介して、ＶＲサーバ１０３とつながっている。サーバ１０３は、多数である場合もあるクライアントデバイス１０１を同時にサポートするように構成される。

ＶＲサーバ１０３は、例えば、該当する姿勢に対応するビュー画像をローカルで合成するためにクライアントデバイスによって使用できる画像データの形態で画像表現を含む画像信号を送信することにより、ブロードキャスト体験をサポートする。

図１のものなどの多くのアプリケーションでは、したがって、シーンをキャプチャして、画像信号に効率的に含めることができる効率的な画像表現を生成することが望ましい。そして、画像信号が様々なデバイスに送信され、各デバイスは、キャプチャ姿勢以外のビュー姿勢のビューをローカルで合成することができる。それを行うために、画像表現は通例、奥行き情報を含み、例えば関連付けられた奥行きを有する画像が提供される。例えば、ずれの推定と組み合わせて立体キャプチャを使用して、又はレンジセンサを使用して、奥行きマップを得ることができ、それらの奥行きマップが光強度画像と共に提供される。

しかし、そのような手法に特有の問題は、ビュー姿勢を変更するとオクルージョン特性が変わり、その結果、所与のキャプチャ画像内で見えない背景セグメントが、異なるビュー姿勢には見えるようになることである。

これに対処するために、しばしば、比較的多数のカメラを使用してシーンをキャプチャする。図２は、円形の８ビューカメラリグ（rig）によるキャプチャの例を示す。この例では、カメラは外側を向いている。見て取れるように、異なるカメラ、よって異なるキャプチャ／ソース画像は、シーンのうち異なる部分の視認性を有し得る。例えば、背景領域１は、カメラ２からしか見えない。しかし、これも見て取れるように、シーンの多くは複数のカメラから見ることができ、よって、多大な量の冗長な情報が作成される。

図３は、カメラの線形のセットの例を示す。ここでも、各カメラはシーンのうち異なる部分の情報を提供し、例えば、ｃ１は領域２をキャプチャする唯一のカメラであり、ｃ３は領域４をキャプチャする唯一のカメラであり、ｃ４は領域３をキャプチャする唯一のカメラである。同時に、シーンのいくつかの部分は、カメラのうち２つ以上によってキャプチャされる。例えば、すべてのカメラが前景オブジェクトｆｇ１及びｆｇ２の正面をキャプチャし、一部のカメラは他のカメラよりも良好なキャプチャを提供する。図３は、４つのカメラの例Ａ及び２つのカメラの例Ｂを示す。見て取れるように、４つのカメラの設定は、シーンの一部（背景ｂｇの領域４）をキャプチャすることを含め、より良好なキャプチャを提供するが、無論、より多くの冗長なデータを含む多量のデータをも生成する。

単一の中央ビューに対する複数ビューキャプチャの不都合点は、明らかに、画像データの量が増加することである。別の不都合点は、莫大な量のピクセル、すなわち、処理される必要があり、デコーダが生成する必要のあるピクセルレートが生成されることである。これにより、再生時のビュー合成のために増大した複雑性及びリソースの使用量も必要となる。

以下では、キャプチャされたビューのより効率的で冗長性が低い画像表現を使用する特定の手法が説明される。それは、画像データの何らかの空間的及び時間的な整合性を保存して、映像コーダがより効率的になることを可能にしようとするものである。それにより、再生の場所におけるビットレート、ピクセルレート、及びビュー合成の複雑性を低減する。

この表現は複数の組み合わせ画像からなり、画像の各々はソース画像（具体的には、例えば画像に奥行きマップを加えたものとして表された、キャプチャされた３Ｄ画像）の２つ以上から生成され、通例は、ソース画像の各々の一部のみが考慮される。組み合わせ画像は、ビュー合成の基準を提供し、実質的なシーン情報を提供する。組み合わせ画像は、シーンのより外側のビューに向かって、具体的にはキャプチャ領域の境界に向かって、バイアスされるように生成される。いくつかの実施形態では、１つ又は複数の中央の組み合わせ画像も提供される。

多くの実施形態では、組み合わせ画像の各々は、異なるビュー位置からのビューを表し、すなわち、各画像は、少なくとも異なるビュー／キャプチャ／アンカー姿勢に対応するピクセルからなる。具体的には、組み合わせ画像の各ピクセルは、その起点／位置からその方向／向きに向けられ、そのピクセルに対するピクセル値によって表されるシーンの点／オブジェクトの上で終わる光線に対する起点／位置及び方向／向きに対応する光線の姿勢を表す。一つの組み合わせ画像の少なくとも２つのピクセルは、それぞれ異なる光の起点／位置を有し得る。例えば、いくつかの実施形態では、組み合わせ画像のピクセルがＮ個のグループに分割され、一つのグループ内のすべてのピクセルが、同じ光線起点／位置を有するが、これは個々のグループごとに異なる。Ｎは２以上であってよい。いくつかの実施形態では、Ｎは、一行にある水平方向ピクセルの最大数（及び／又は組み合わせ画像内の列の数）に等しく、実際いくつかの実施形態では、Ｎはピクセル数に等しく、すなわち、すべてのピクセルが、一意の光線起点／姿勢を有する。

よって、あるピクセルについての光線姿勢は、起点／位置、及び／又は当該起点／位置とそのピクセルによって表されるシーン点との間の光線の向き／方向を表す。起点／位置は、具体的にはピクセルに対するビュー位置であり、向き／方向は、ピクセルに対するビュー方向である。それは、実質的に、そのピクセルに対する光線方向から当該光線位置でキャプチャされるであろう光線を表し、よって、ピクセル値によって表される光線を反映する。

よって、各ピクセルは、あるビュー位置からあるビュー方向に見られたシーンを表す。そのため、ビュー位置及びビュー方向は光線を定める。各ピクセルは、そのピクセルに対するビュー位置からそのピクセルに対するビュー方向への、関連付けられた視認光線を有する。各ピクセルは、そのピクセルに対する視点／位置からビュー方向への光線の姿勢である（ビュー）光線姿勢に対するシーンを表す。ピクセルは、具体的には、ビュー光線がシーンオブジェクト（背景を含む）と交差するシーン点（シーン内の点）を表す。ピクセルは、あるシーン点からビュー位置への、且つビュー方向にある光線を表す。ビュー光線は、ビュー位置からそのシーン点と交差する方向への光線である。

加えて、組み合わせ画像は、組み合わせ画像からは十分によく予測されないと特定されたキャプチャビューのセグメント又はフラグメントによって補完される。よって、ある数の、通例は比較的多数の、通例は小さいセグメントが定義され、含められて、キャプチャされた画像の個々の部分を具体的に表し、それが、組み合わせ画像によって十分に表されないシーンの要素についての情報を提供する。

この表現の利点は、送信される画像データの異なる部分にそれぞれ異なる符号化が提供され得ることである。例えば、組み合わせ画像は画像信号の最も大きい部分を構成する傾向があるため、組み合わせ画像には、効率的で複雑な符号化及び圧縮が適用されるのに対し、セグメントにはそれほど効率的でない符号化が適用されることが多い。さらに、組み合わせ画像は、例えば従来の画像と似るように生成されて、それにより効率的な画像符号化手法を使用できるようにすることにより、効率的な符号化に非常に適するように生成することができる。それに対して、セグメントの性質は、画像の特有の特性により多く依存して変動し、よって、効率的に符号化するのがより難しいことがある。しかし、これは、セグメントが提供する画像データははるかに少ない傾向があるため、問題とならない。

図４は、上記で説明したように異なるソースビュー姿勢（アンカー姿勢）からシーンの複数のソース画像の表現を含む画像信号を生成するための装置の例を示す。装置は、画像信号送信器４００とも呼ばれる。画像信号送信器４００は、例えば、図１のＶＲサーバ１０３に備えられる。

図５は、シーンの複数の画像の表現を含む受信画像信号に基づいてビュー画像をレンダリングするための装置の例を示す。装置は、具体的には、図４の装置によって生成された画像データ信号を受信し、続いて特定のビュー姿勢についての画像をレンダリングするためにそれを処理する。図５の装置は、画像信号受信器５００とも呼ばれる。画像信号受信器５００は、例えば、図１のクライアントデバイス１０１に備えられる。

画像信号送信器４００は、シーンの複数のソース画像を受信するように構成された画像ソース受信器４０１を備える。ソース画像は、異なるビュー姿勢からのシーンのビューを表す。ソース画像は、通例、例えばカメラリグのカメラによってキャプチャされたキャプチャ画像である。ソース画像は、例えば、等距離のキャプチャカメラの列から、又はカメラの環からの画像を備える。

多くの実施形態では、ソース画像は、関連付けられた奥行き情報を有する２Ｄ画像からなる３Ｄ画像である。２Ｄ画像は、具体的には、対応するキャプチャ姿勢からのシーンのビューポートについてのビュー画像であり、２Ｄ画像は、当該２Ｄ画像のピクセル各々の奥行き値を備える奥行き画像又はマップを伴う。２Ｄ画像は、テクスチャマップであってよい。２Ｄ画像は、光強度画像であってよい。

奥行き値は、例えばｚ座標によって示される、ずれ値又は距離値である。いくつかの実施形態では、ソース画像は、関連付けられた３Ｄメッシュを伴うテクスチャマップの形態の３Ｄ画像である。いくつかの実施形態では、そのようなテクスチャマップ及びメッシュ表現は、画像信号送信器４００によってさらに処理される前に、画像ソース受信器によって画像に奥行きを加えた表現に変換される。

そのため、画像ソース受信器４０１は、異なるソースビュー姿勢からのシーンを特徴付けて表す複数のソース画像を受信する。そのようなソース画像のセットは、当業者に知られているように、ビューシフトなどのアルゴリズムを使用して他の姿勢のビュー画像が生成されることを可能にする。それに応じて、画像信号送信器４００は、ソース画像についての画像データを含む画像信号を生成して、このデータをローカルのレンダリングのためにリモートのデバイスに送信するように構成される。しかし、すべてのソース画像をそのまま送信することは、実現不可能なほど高いデータレートを必要とし、多量の冗長な情報を含むことになる。画像信号送信器４００は、先に説明したような画像表現を使用することによりデータレートを低減するように構成される。

具体的には、入力ソース受信器４０１は、複数の組み合わせ画像を生成するように構成された組み合わせ画像生成器４０３に結合される。組み合わせ画像は、複数のソース画像から導出された情報を備える。組み合わせ画像を導出するための厳密な手法は、異なる実施形態ごとに異なり、具体例が後により詳細に説明される。いくつかの実施形態では、異なるソース画像からのピクセルの選択により、組み合わせ画像が生成される。他の実施形態では、組み合わせ画像が、代替的に又は追加的に、ソース画像からのビュー合成によって組み合わせ画像の１つ又は複数を追加的に生成する。

しかし、各組み合わせ画像は、ソース画像のうち少なくとも２つ、多くの場合はそれより多くからの寄与を含むのに対し、通例は、各組み合わせ画像に対して個々のソース画像の一部のみが考慮される。よって、所与の組み合わせ画像を生成するために使用される各ソース画像につき、除外／破棄されるいくらかのピクセルがある。よって、特定の組み合わせ画像のために生成されるピクセル値は、そのようなピクセルに対するピクセル値に依存しない。

組み合わせ画像は、各画像が、１つのみのビュー／キャプチャ／アンカー位置を表すのではなく、２つ又はそれ以上のビュー／キャプチャ／アンカー位置を表すように生成されてよい。具体的には、１つの組み合わせ画像の中の少なくとも一部のピクセルについての光線起点／位置は異なり、よって、１つの組み合わせ画像は、異なる方向からのシーンのビューを表し得る。

そのため、組み合わせ画像生成器４０３は、ソース画像から複数の組み合わせ画像を生成するように構成され、各組み合わせ画像は、少なくとも２つのソース画像のセットから導出され、通例、第１の組み合わせ画像の導出は、それら少なくとも２つのソース画像の各々の一部のみを含む。さらに、所与の組み合わせ画像の各ピクセルは、ある光線姿勢に対するシーンを表し、各組み合わせ画像の光線姿勢は少なくとも２つの異なる位置を含む。

組み合わせ画像生成器４０３は、組み合わせ画像及びソース画像を供給される評価器４０５に結合されている。評価器４０５は、ソース画像の要素についての予測品質尺度を決定するように構成される。要素は、個々のピクセルであってよく、評価器４０５は、各ソース画像の各ピクセルについての予測品質尺度を決定するように構成される。他の実施形態では、要素は複数のピクセルを備え、各要素は、ピクセルのグループである。例えば、予測品質尺度は、例えば４×４又は１６×１６のピクセルのブロックのブロックに対して決定される。これは、決定されるセグメント又はフラグメントの粒度を低下させるが、処理の複雑性及びリソース使用量を大幅に低減することができる。

所与の要素についての予測品質尺度は、当該要素内のピクセルに対応する第１のソース画像内のピクセル値と、当該要素内のピクセルの予測ピクセル値との間の差を示すように生成される。よって、一つの要素は、１つ又は複数のピクセルからなり、その要素の予測品質尺度は、元のソース画像中にあるピクセルに対するピクセル値と、組み合わせ画像からの予測から生じるであろうピクセルに対するピクセル値との間の差を示す。

異なる実施形態では予測品質尺度を決定するための種々の手法が使用され得ることが認識されよう。具体的には、多くの実施形態では、評価器４０５は、続いて組み合わせ画像からソース画像各々の予測を実際に行う。次いで、個々の画像及び個々のピクセルごとに、元のピクセル値と予測ピクセル値との間の差を決定する。例えば、単純な絶対差や、例えば多色チャネルのピクセル値成分に適用される根二乗和差等の、任意の適切な差尺度を使用できることが認識されよう。

そのような予測は、よって、ソース画像のビュー姿勢についてのビューを生成するために画像信号受信器５００によって行われ得る予測／ビュー合成を模倣し得る。予測品質尺度は、よって、組み合わせ画像の受信者が、組み合わせ画像だけに基づいてどれほどうまく元のソース画像を生成することができるかを反映する。

組み合わせ画像からのソース画像の予測画像は、組み合わせ画像からのビュー合成によって生成されるソース画像のビュー姿勢に対応する画像であってよい。ビュー合成は、通例、ビュー姿勢のシフト、通例はビュー位置のシフトを含む。ビュー合成は、ビューシフト画像合成であってよい。

第２の画像からの第１の画像の予測は、具体的には、第２の画像（及びそのビュー姿勢）に基づく、第１の画像のビュー姿勢での画像のビュー合成である。よって、第２の画像から第１の画像を予測する予測動作は、第２の画像に関連付けられたビュー姿勢から第１の画像のビュー姿勢への、第２の画像のビュー姿勢のシフトである。

異なる実施形態ではビュー合成及び予測のために異なる方法及びアルゴリズムが使用され得ることが認識されよう。多くの実施形態では、合成画像が生成されるべき合成ビュー姿勢と、異なるビュー姿勢に各々が関連付けられた複数の入力画像とを入力とするビュー合成／予測アルゴリズムが使用される。ビュー合成アルゴリズムは、次いで、通例はテクスチャマップと奥行きの両方を含む入力画像に基づいて、このビュー姿勢のための合成画像を生成する。

いくつかのそのようなアルゴリズムが知られており、本発明から逸脱することなく任意の適切なアルゴリズムが使用され得る。そのような手法の一例として、はじめに中間合成／予測画像が入力画像ごとに生成される。これは、例えば、はじめに画像の奥行きマップに基づいて入力画像のメッシュを生成することによって実現される。メッシュは次いで、幾何学的計算に基づいて、入力画像のビュー姿勢から合成ビュー姿勢へと歪められる／シフトされる。次いで、それにより得られたメッシュの頂点が中間合成／予測画像に投影され、テクスチャマップがその画像の上に重ねられる。そのような処理は、例えば標準的なグラフィックパイプラインから知られる頂点処理及びフラグメントシェーダを使用して実施される。

このようにして、合成ビュー姿勢についての中間合成／予測画像（以後は単に中間予測画像）が、入力画像各々に生成される。

中間予測画像は次いで、例えば重み付き組み合わせ／加算又は選択組み合わせにより、互いと組み合わせられる。例えば、いくつかの実施形態では、合成ビュー姿勢の合成／予測画像の各ピクセルは、最も前にある中間予測画像からのピクセルを選択することによって生成されるか、又は、ピクセルは、すべての中間予測画像の対応するピクセル値の重み付き加算によって生成され、その場合、所与の中間予測画像の重みは、そのピクセルに決定される奥行きに依存する。組み合わせ動作は、ブレンド動作としても知られる。

いくつかの実施形態では、予測品質尺度は、完全な予測を行わずに行われてよく、予測品質の間接的な尺度が使用される。

予測品質尺度は、例えば、ビューシフトに関連するプロセスのパラメータを評価することにより間接的に決定される。例えば、ビュー姿勢シフトを行うときにプリミティブ（通例は三角形）に生じる幾何学的歪み（伸張）の量。幾何学的歪みが大きいほど、このプリミティブによって表される任意のピクセルの予測品質尺度が低くなる。

評価器４０５は、よって、複数のソース画像の要素についての予測品質尺度を決定してよく、その場合、第１のソース画像の要素についての予測品質尺度は、複数の組み合わせ画像から予測される要素内のピクセルに対する予測ピクセル値と、要素内のピクセルに対する第１のソース画像内のピクセル値との間の差を示す。

評価器４０５は決定器４０７に結合され、決定器４０７は、予測品質尺度が差が閾値を超えることを示す／予測品質尺度が予測品質が閾値未満であることを示す要素を含むソース画像のセグメントを決定するように構成される。

セグメントは、評価器４０５によって決定され、且つ予測品質尺度が品質閾値未満である個々の要素に対応する。しかし、多くの実施形態では、決定器４０７は、そのような要素をグループ化することによってセグメントを生成するように構成され、実際、そのグループ化は、予測品質尺度が閾値を超えるいくらかの要素も含んでよい。

例えば、いくつかの実施形態では、決定器４０７は、品質閾値未満である予測品質尺度を有するすべての隣接する要素をグループ化することによりセグメントを生成するように構成される（以後ではそれぞれ低予測品質尺度及び低品質要素と呼ぶ）。

他の実施形態では、決定器４０７は、例えば、所与のサイズ及び形状のセグメントを、それらが可能な限り多くの低品質要素を含むように、画像にフィッティングするように構成される。

そのため、決定器４０７は、低品質要素を含み、よって組み合わせ画像から十分に正確に予測されることができないセグメントのセットを生成する。通例、これらのセグメントは、ソース画像のうち少ない割合に対応し、よって、比較的少量の画像データ及びピクセルに対応する。

決定器４０７及び組み合わせ画像生成器４０３は、組み合わせ画像及びセグメントを受け取る画像信号生成器４０９に結合されている。画像信号生成器４０９は、組み合わせ画像を表す画像データ及びセグメントを表す画像データを含む画像信号を生成するように構成される。

画像信号生成器４０９は、具体的には、組み合わせ画像及びセグメントを符号化し、具体的には、これをそれぞれ異なるように行い、組み合わせ画像とセグメントとに対してそれぞれ異なるアルゴリズム及び符号化規格を使用する。

通例、組み合わせ画像は、高効率の画像符号化アルゴリズム及び規格を使用して、又は画像が映像信号のフレームである場合には高効率の映像符号化アルゴリズム及び規格を使用して符号化される。

セグメントの符号化は、通例、効率がより低い。例えば、セグメントは、組み合わされてセグメント画像とされ、各画像は通例、複数のソース画像からのセグメントを含む。そのような組み合わされたセグメント画像は、次いで、標準的な画像又は映像符号化アルゴリズムを使用して符号化される。しかし、混合され、部分的であるというそのような組み合わせられたセグメント画像の性質のために、符号化は通例、通常の完全な画像よりも効率が低くなる。

別の例として、セグメントの疎な性質のために、それらは完全なフレーム／画像として記憶されないことがある。いくつかの実施形態では、セグメントは、例えば、ＶＲＭＬ（仮想現実モデリング言語）を使用して、３Ｄ空間内でメッシュとして表される。

セグメントの画像データは、通例、例えば元の画像の座標やカメラ／ソース画像の起源などの、セグメントの起源を示すメタデータを伴う。

画像信号は、この例では、ＶＲクライアントデバイス１０１の一部である画像信号受信器５００に送信される。画像信号受信器５００は、画像信号送信器４００から画像信号を受信する画像信号受信器５０１を備える。画像信号受信器５０１は、受信された画像信号を復号して、組み合わせ画像及びセグメントを復元するように構成される。

画像信号受信器５０１は画像プロセッサ５０３に結合されており、画像プロセッサ５０３は、画像信号、具体的には組み合わせ画像及びセグメント、を処理するように構成されている。

多くの実施形態では、画像プロセッサ５０３は、組み合わせ画像及びセグメントに基づいて、異なるビュー姿勢のためのビュー画像を合成するように構成されてよい。

いくつかの実施形態では、画像プロセッサ５０３は、続いて、まずソース画像を合成する。合成されたソース画像のうち、画像信号にセグメントが含まれている部分が、次いで、提供されたセグメントの画像データに置き換えられる。その結果得られたソース画像が、次いで、従来の画像合成に使用される。

他の実施形態では、組み合わせ画像及びセグメントは、はじめにソース画像を復元することなく、直接使用されてよい。

画像信号送信器４００及び画像信号受信器５００は、画像信号を符号化、変調、送信、受信等するための機能を含む、画像信号を通信するための必要な機能を備えることが認識されよう。そのような機能は、個々の実施形態の選好及び要件に依存すること、及びそのような技術は当業者に知られており、したがって明瞭と簡潔のために本明細書ではこれ以上論じられないことが認識されよう。

組み合わせ画像を生成するために異なる実施形態では異なる手法が使用されてよい。

いくつかの実施形態では、組み合わせ画像生成器４０３は、ソース画像からのピクセルの選択により組み合わせ画像を生成するように構成される。例えば、組み合わせ画像内のピクセルごとに、組み合わせ画像生成器４０３は、ソース画像の１つの中で１つのピクセルを選択する。

画像及び／又は奥行きマップは、ある光線起点（位置）からある光線方向（向き）を有する光線に沿った、シーンの対応する画像性質（光強度又は奥行き）を表すと考えられる値を有するピクセルを備える。光線起点は、通例は、画像の画像ビュー姿勢であるが、表現によっては、ピクセルごとに変動する（例えば、Ｏｍｎｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｓｔｅｒｅｏでは、そのようなものとしての画像が、Ｏｍｎｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｓｔｅｒｅｏ円の中心に対応するビュー姿勢を有するものと考えられるが、各ピクセルは、Ｏｍｎｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｓｔｅｒｅｏ円上の位置に対応する個々のビュー姿勢を有する）。光線方向は、通例、ピクセルごとに変動し、特にすべてのピクセルが同じ光線起点を有する（すなわち単一の共通の画像ビュー姿勢がある）画像の場合にそうである。光線起点及び／又は方向は、しばしば、光線姿勢又は光線投影姿勢とも呼ばれる。

よって、各ピクセルは、光線／直線の起点である位置に紐付けられる。各ピクセルはさらに、起点からの光線／直線の方向である方向に紐付けられる。それに応じて、各ピクセルは、位置／起点と、この位置／起点からの方向とによって定められる光線／直線に紐付けられる。ピクセル値は、ピクセルに対する光線と、シーンオブジェクト（背景を含む）との最初の交差点におけるシーンに該当する性質によって与えられる。よって、ピクセル値は、光線起点位置を起点とし当該ピクセルに関連付けられた光線方向を有する光線／直線に沿ったシーンの性質を表す。ピクセル値は、そのピクセルの光線姿勢を有する光線に沿ったシーンの性質を表す。

組み合わせ画像生成器４０３は、よって、生成される組み合わせ画像内の所与の第１のピクセルに対して、ソース画像内の対応するピクセルを、同じ光線方向を表すピクセルとして決定する。そのため、対応するピクセルは、同じ光線方向を表すが、ソース画像が異なる位置に対応することがあるために異なる位置を有し得るピクセルとなり得る。

よって、原則として、組み合わせ画像生成器４０３は、組み合わせ画像の所与のピクセルに対して、光線方向を決定してから、ソース画像内の（所与の類似度の要件内で）同じ光線方向を有するすべてのピクセルを決定し、それらを対応するピクセルとみなす。よって、対応するピクセル同士は、通例、同じ光線方向を有するが、光線位置／起点は異なる。

異なるソースビュー姿勢画像からのビューは、例えば対応する画像座標が対応する光線方向を有するように、再サンプリングされる。例えば、ソースビューが部分的な正距円筒図法投影形式で表される場合、それらは完全な３６０°／１８０°のバージョンに再サンプリングされる。例えば、ビューソース構成全体を囲むビュー球体が定義される。このビュー球体がピクセルに分割され、各ピクセルは光線方向を有する。所与のソース画像について、各ピクセルは、同じ光線方向を有するソースビュー内のピクセルに対するピクセル値に設定された所与の光線方向に対応するビュー球体ピクセルの値により、ビュー球体表現に再サンプリングされる。

完全なビュー球体表面表現上へのソース画像の再サンプリングは、通例、個々の画像が通例は限られたビューポートを有することからＮ個の部分的に埋められた画像を生じ、Ｎはソース画像の数である。しかし、ビューポートは重なり合っている傾向があり、そのため、ビュー球体表面表現のセットは、任意の与えられた方向に対して複数のピクセル値を提供する傾向がある。

組み合わせ画像生成器４０３は、続いて、対応するピクセル間から選択することにより、少なくとも１つの、ただし通例は複数の組み合わせ画像を生成する。

具体的には、第１の組み合わせ画像は、シーンの一部をカバーするように生成される。例えば、所定のサイズを有する組み合わせ画像が、ビュー球体表現内のピクセルの特定のエリアをカバーし、それによりシーンのこの区画を記述するように生成される。いくつかの実施形態では、組み合わせ画像の各々が、シーン全体をカバーし、ビュー球体表面全体を含む。

第１の組み合わせ画像内の各ピクセルに対して、組み合わせ画像生成器４０３は、次いでビュー球体表現内の対応するピクセルを検討し、続いてそれらピクセルの１つを選択する。組み合わせ画像生成器４０３は、具体的には、中心点から対応するピクセルに対する光線方向に垂直な第１の軸に沿った第１の方向に最大の距離を有する光線を対応するピクセルが表す、ビューソース画像内の対応するピクセルに対するピクセル値として、組み合わせ画像のピクセル値を選択することによって、第１の組み合わせ画像を生成する。

中心点からある光線方向までの距離は、中心点の光線と、組み合わせ画像のそのピクセルに対する対応するピクセルの光線との間の距離として決定される。

この選択が図６によって例示され、図６は、中心点Ｃを有する円形のソースビュー姿勢構成の例に基づく。

この例では、光線方向ｒｃを有する組み合わせ画像のピクセルの決定が考察される。カメラ／ソースビュー１～４がこの方向をキャプチャし、よって４つの対応するピクセルが存在する。これら対応するピクセルの各々は、図示されるように、異なる姿勢を表し、そのため、異なる位置を起点とする光線を表す。そのため、各光線と、組み合わせ画像の光線ｒｃとの間にオフセット距離ｐ１～ｐ４があり、これは、中心点Ｃと、（軸６０１と交差するように）後ろに延長されたときの各光線との間の距離に対応する。

図６は、光線ｒｃに垂直な方向／軸６０１も示す。第１の組み合わせ画像に対して、組み合わせ画像生成器４０３は、次いで、この方向における光線距離が最大である対応するピクセルを選択する。よって、この場合、ｐ１がこの方向で最大の距離であるため、組み合わせ画像のピクセル値が、カメラ／ビュー１のピクセル値として選択されることになる。

組み合わせ画像生成器４０３は通例、続いて、同じ動作を行うことにより、ただし反対方向で最大の距離を有する対応するピクセルを選択することにより、第２の組み合わせ画像をさらに決定する（軸と同じ方向にあるときに距離が正として測定され、もう一方の方向にあるときに負として測定される場合、第１及び第２の組み合わせ画像の生成は、第１の方向に対して最大の正及び負の距離をそれぞれ選択することによると考えることができる）。よって、この場合、組み合わせ画像生成器４０３は、ｐ４がこの方向で最大の距離であるため、組み合わせ画像のピクセル値をカメラ／ビュー４のピクセル値として選択する。

多くの実施形態では、組み合わせ画像生成器４０３はさらに続いて、同じ動作を行うことにより、ただし任意の方向で最小の距離（最小の絶対距離）を有する対応するピクセルを選択することにより、第３の組み合わせ画像を生成する。よって、この場合、ｐ３が最小の距離であるため、組み合わせ画像生成器４０３は、組み合わせ画像のピクセル値をカメラ／ビュー３のピクセル値として選択する。

このようにして、組み合わせ画像生成器４０３は、シーンのうち同じ部分に対して（場合によってはシーン全体に対して）３つの組み合わせ画像を生成する。それら画像の１つは、ある方向からのシーンの最も横向きのビューを提供するピクセルの選択に対応し、１つは、その反対方向からのシーンの最も横向きのビューを表し、１つは、シーンの最も中央寄りのビューを表す。これが図７によって例示され、同図は、中央の組み合わせ画像及び２つの横向きの組み合わせ画像それぞれに対する各ビュー／カメラから選択されたビュー方向を示す。

その結果生じる画像は、よって、シーンの非常に効率的な表現を提供し、１つの組み合わせ画像が、通例は前景オブジェクトについての最良の表現を提供し、その他の２つが組み合わさって背景の合焦したデータを提供する。

いくつかの実施形態では、組み合わせ画像生成器４０３は、光線方向に垂直であるが前に使用された軸方向とは異なる軸方向に従って対応するピクセルを選択することにより、１つ又は複数の組み合わせ画像をさらに生成するように構成される。この手法は、非平面のソースビュー姿勢構成（すなわち３次元構成）に適することがある。例えば、球形のソースビュー姿勢構成には、２つより多い平面が考慮される。例えば、０、６０、１２０度にある平面が考慮されるか、又は２つの直交する平面が考慮される（例えば左右の平面及び上下の平面）。

いくつかの実施形態では、組み合わせ画像は、ソース画像からのビュー合成／予想によって生成される。画像生成器１０３は、具体的には、異なるビュー位置からの、具体的にはソース画像のビュー位置とは異なるビュー位置からの、シーンのビューを表す組み合わせ画像を生成する。さらに、従来の画像合成と異なり、組み合わせ画像は、単一のビュー／キャプチャ位置からのシーンのビューを表すように生成されるのではなく、同じ組み合わせ画像内であっても異なるビュー位置からのシーンを表す。よって、組み合わせ画像は、ソース画像からのビュー合成／予測により、ただし異なるビュー位置を表すピクセル値を用いて、組み合わせ画像のピクセルに対するピクセル値を生成することによって生成される。

具体的には、組み合わせ画像内の所与のピクセルに対して、ビュー合成／予測を行ってそのピクセルに対する特定の光線姿勢に対応するピクセル値を決定する。これが、組み合わせ画像のすべてのピクセルに対して繰り返されるが、ピクセルの少なくとも一部は、異なる位置を有する光線姿勢を有する。

例えば、単一の組み合わせ画像が、例えば、ソースビュー姿勢構成全体を囲むビュー球体の表面に対応するシーンの３６０°表現を提供する。しかし、シーンの異なる部分の各ビューは、同じ組み合わせ画像の中の異なる位置から表されてよい。図８は、組み合わせ画像が、２つの異なる光線位置（よってピクセルビュー位置）、すなわち、一方の半球を表すピクセルに使用される第１の光線起点８０１及びもう一方の半球を表す第２の光線起点８０３、を表すピクセルを含む例を示す。それら光線位置／起点の各々に対して、矢印で示されるように各ピクセルに異なる光線方向が与えられる。この特定の例では、ソースビュー姿勢構成は、８個のソースビュー（１～８）を円形の構成で備える。各カメラビューは、例えば９０°のビューなどの部分的なビューのみを提供するが、ビュー間に重なりがある。組み合わせ画像内の所与のピクセルに対して、関連付けられた光線姿勢があってよく、この光線姿勢のピクセル値は、ソースビューからのビュー合成／予測によって決定される。

原則として、組み合わせ画像の各ピクセルは個々に合成されるが、多くの実施形態では、複数のピクセルに対して組み合わせられた合成が行われる。例えば、ビューソース画像からの第１の位置８０１に対して単一の１８０°画像が合成され（例えば位置２、１、８、７、６、５、４を使用する）、ビューソース画像からの第２の位置８０３に対して単一の１８０°が合成される（例えば位置６、５、４、３、２、１、８を使用する）。組み合わせ画像は、次いでこれらを組み合わせることによって生成される。別々に合成された画像同士が重なり合っている場合、組み合わせ又はブレンドを使用して組み合わせ画像を生成してよい。代替として、組み合わせ画像のうち重なり合っている部分を、例えば逆にした色又は奥行き値を割り当てることにより、ぼかす。それにより、映像符号化効率を向上させる。

多くの実施形態では、組み合わせ画像の１つ又は複数は、シーンのより横向きの見た目を提供する視点からシーンを表すように生成される。例えば、図８では、ビュー円の中心は、ソースビュー姿勢の中心点と、組み合わせ画像の光線起点の位置の中心とに対応する。しかし、所与の光線起点８０１、８０３についての光線方向は、主として半径方向にあるのではなく、シーンの横向きのビューを提供する。具体的には、この例において、第１の光線起点８０１及び第２の起点８０３は両方とも、左側の方向におけるビューを提供し、すなわち、両者の光線方向は、中心点から光線起点８０１、８０３の方を向いたときに左側にある。

画像生成器１０３は続いて、シーンの異なるビューを表す第２の組み合わせ画像を生成し、具体的には、第１のビューに相補的であるが反対方向を見たシーンの第２のビューを生成することがしばしば有利である。例えば、画像生成器１０３は、同じ光線起点を使用するが光線方向が反対方向である第２の組み合わせ画像を生成する。例えば、画像生成器１０３は、図９の構成に対応する第２の組み合わせ画像を生成する。

２つの画像は、非常に有利で相補的なシーンの表現を提供し、通例は、シーンの背景部分の改良された表現を提供する。

多くの実施形態では、組み合わせ画像は、例えば図１０の構成に対応するものなどの、より正面寄りのビューを提供するように生成された１つ又は複数の画像も含んでよい。そのような例は、多くの実施形態において前景オブジェクトの正面の改良された表現を提供し得る。

異なる実施形態で異なる光線起点構成が使用されてよく、具体的にはより多くの起点が使用され得ることが認識されよう。例えば、図１１及び図１２は、横の方を見た組み合わせ画像を生成するための２つの相補的な構成の例を示し、ここでは、光線起点が曲線（具体的には円）上に分散されており、曲線は、この場合、ビューソース構成を囲んでいる（しばしばそのような曲線はソースビュー姿勢構成に緊密にフィットするように選択される）。各図は、円／曲線の一部についての起点及び姿勢のみを示しており、多くの実施形態では、完全な球体すなわち３６０°のビューが生成されることが認識されよう。

図７は、実際、中心点の周りの円上の８個の光線位置に基づいて３つの組み合わせ画像が生成される別の例示的構成を示すものと考えられてよい。第１の組み合わせ画像には、円の半径の周りの方向が選択され、第２の画像には、右側の９０°の角度の周りの光線方向が選択され、第３の画像には、左側の９０°の角度の周りの光線方向が選択される。そのような組み合わせ画像の組み合わせは、シーンの高効率の組み合わせられた表現を提供する。

いくつかの実施形態では、画像生成器１０３は、よって、ソース画像からのビュー合成により、特定の光線姿勢についての組み合わせ画像のピクセル値を生成するように構成される。光線姿勢は、異なる組み合わせ画像に対して異なるように選択されてよい。

具体的には、多くの実施形態では、ある画像に対する光線姿勢は、光線起点からのシーンの横向きビューを提供するように選択され、別の画像の光線姿勢は、相補的な横向きビューを提供するように選択される。

具体的には、第１の組み合わせ画像のための光線姿勢は、垂直方向ベクトルと、ピクセル外積ベクトルとの間の内積が、第１の組み合わせ画像のピクセルの少なくとも９０％（時には９５％、又はさらにはすべて）に対して非負になるようなものである。ピクセルのピクセル外積ベクトルは、あるピクセルの光線方向と、異なるソースビュー姿勢の中心点から当該ピクセルの光線位置へのベクトルとの間の外積として決定される。

ソースビュー姿勢の中心点は、ソースビュー姿勢の平均又は平均値位置として生成されてよい。例えば、各座標（例えばｘ、ｙ、ｚ）が個々に平均され、その結果得られた平均座標が中心点となってよい。ある構成についての中心点は、ソースビュー姿勢を含む最小の円／球体の中心に（必ずしも）ないことが留意されるべきである。

中心点から所与のピクセルの光線起点へのベクトルは、よって、中心点からそのピクセルのビュー位置までの距離及び方向を定義するシーン空間内のベクトルとなる。光線方向は、同じ方向を有する（任意の）ベクトルによって表され、すなわち、光線起点からそのピクセルによって表されるシーン点に向かうベクトルであってよい（よってシーン空間内のベクトルであってもよい）。

そのような２つのベクトル間の外積は、両者に対して垂直になる。水平方向の平面（シーンの座標系において）については、（中心点から見て）左に向かう光線方向は、結果として、上向きの成分を有する、すなわちｘ，ｙ，ｚシーン座標系内で正のｚ成分を有する外積ベクトルを生じ、ここでｚは高さを表す。外積ベクトルは、光線起点に関係なくどの左向きビューに対しても上向きとなり、例えば、図８のすべてのピクセル／光線姿勢に対して上向きになる。

逆に、右向きビューの場合、外積ベクトルは、すべての光線姿勢に対して下向きになり、例えば、図９のすべてのピクセル／光線姿勢に負のｚ座標が生じる。

シーン空間内の垂直方向ベクトルと、正のｚ座標を有するすべてのベクトルとの内積は同じになり、具体的には、上向きの垂直方向ベクトルについては正になり、下向きの垂直方向ベクトルについては負になる。逆に、負のｚ座標の場合、内積は、上向きの垂直方向ベクトルについては負になり、下向きの垂直方向ベクトルについては正になる。それに応じて、内積は、右向きの光線姿勢に対しては同じ符号を有し、すべての左向きの光線姿勢に対しては反対の符号を有することになる。

一部のシナリオでは、ヌルのベクトル又は内積が（例えばビュー円上の極点に対して）生じ、そのような光線姿勢には、符号は、左向きビューとも右向きビューとも異ならない。

上記の考慮事項は、例えば光線起点が球体上に位置している場合など、３次元表現にも、必要な変更を加えて当てはまることが認識されよう。

よって、いくつかの実施形態では、組み合わせ画像の少なくとも９０％、そしていくつかの実施形態では少なくとも９５％、又はさらにはすべてのピクセルが、異なる符号を有さない内積を生じ、すなわち、少なくともそれほど多くのピクセルが、同じ側への横向きビューを有することになる。

いくつかの実施形態では、組み合わせ画像はガードバンドを有するように生成され、例えば、いくらかの特定のエッジピクセルには、内積が要件を満たさない可能性がある特定の状況があり得る。しかし、ピクセルの大半に対しては、要件が満たされ、ピクセルは対応する横向きビューを提供する。

さらに、多くの実施形態では、少なくとも２つの組み合わせ画像がこれらの要件を満たすが、内積の符号が反対になる。よって、ある組み合わせ画像に対して、ピクセルの少なくとも９０％が右向きビューを表し、別の組み合わせ画像に対して、ピクセルの少なくとも９０％が左向きビューを表す。

組み合わせ画像は、シーンの特に有利なビューを提供する姿勢に対して生成される。本発明者らは、多くのシナリオでは、シーンの主要部分のより横向きのビューを生じさせるビュー姿勢の組み合わせ画像を生成することが特に有利であること、さらに、ソースビューの所与の構成に対して、構成の中心に近いのではなく構成の末端位置に近いビューを少なくともいくつか生成することが有利であり得ることに気づいた。

よって、多くの実施形態では、組み合わせ画像のうち少なくとも１つ、通例は少なくとも２つが、ソースビュー姿勢構成に対応する領域の境界に近接する光線姿勢に対して生成される。

その領域は、具体的には、ビュー位置のうち少なくとも一部を多角形の直線の頂点として使用して形成され得る最も大きい多角形によって境界が定められる、空間の一領域（空間内の点の集まり又はセット）である。多角形は、輪になって閉じて閉じられたチェーン又は回路を形成する直線線分の有限のチェーンによって境界が定められる平面図形であってよく、これは、図２Ａのような１次元構成を含んでよい（縮退ポリゴンとしても知られる）。３次元構成の場合、領域は、ソースビュー位置の少なくとも一部によって形成される、可能な最も大きい多面体に対応してよい。よって、領域は、ソースビュー位置の少なくとも一部を多角形又は多面体の線の頂点として使用して形成され得る最も大きい多角形又は多面体であってよい。

代替として、複数のソース画像の異なるビュー姿勢を含む領域は、すべてのビュー位置を含む最小の線、円、又は球体であってよい。領域は、具体的には、すべてのソースビュー位置を含む最小の球体であってよい。

よって、多くの実施形態では、組み合わせ画像のうち少なくとも１つの光線姿勢は、ソースビュー姿勢構成を含む領域の境界に近くなるように選択される。

多くの実施形態では、組み合わせ画像の少なくとも１つの光線位置が、領域の境界から第１の距離未満になるように決定され、この第１の距離は、領域の境界上の点間の最大（内部）距離の５０％以下、又は多くの場合には２５％若しくは１０％である。よって、ビュー姿勢の位置から、境界までの最小距離は、境界までの最大距離の５０％以下、２５％、又は１０％である。

これは、黒い点で示されるソース視点の例を示す図１３によって例示される。図１３はさらに、各ビュー姿勢を含む最小の球体に対応する領域を示す。この例では、ビュー構成は平面の２次元構成であり、球体を検討することは、円１３０１を検討することに相当する。図１３はさらに、球体／円／領域の境界に近接した組み合わせ画像の光線姿勢１３０３を示す。具体的には、領域の境界／エッジまでの最小距離ｄｍｉｎは、領域の境界／エッジまでの最大距離ｄｍａｘよりもはるかに小さい（その約１０％）。

いくつかの実施形態では、組み合わせ画像の光線姿勢は、領域の境界から第１の距離未満になるように決定され、この第１の距離は、２つのソースビュー姿勢間の最大距離の２０％以下、又はしばしば１０％若しくは５％ですらある。領域が、すべてのソースビュー姿勢を含む最小の球体／円として決定される例では、２つのビュー姿勢間の最大距離はその球体／円の直径に等しく、よって、組み合わせ画像のビュー姿勢は、最小距離ｄｍｉｎがこの要件を満たすように選択される。

いくつかの実施形態では、組み合わせ画像の光線姿勢は、少なくとも、異なるビュー姿勢の中心点から最小距離になるように決定され、最小距離は、中心点から中心点及び光線姿勢を通る線に沿った境界までの距離の少なくとも５０％、多くの場合は７５％又は９０％ですらある。

いくつかの実施形態では、組み合わせ画像についての２つのビュー姿勢は、それらの間の距離が、それら２つのビュー姿勢を通る線と交差する境界の２つの点の間の最大距離の少なくとも８０％、時には９０％又は９５％にすらなるように選択される。例えば、２つの姿勢を通る線が引かれた場合、それら２つの姿勢の間の距離は、線が円と交差する点間の距離の少なくとも８０％、９０％、又は９５％である。

いくつかの実施形態では、第１の組み合わせ画像の光線姿勢のうち２つの間の最大距離は、複数のソース画像の異なるビュー姿勢を含む領域の境界の点間の最大距離の少なくとも８０％である。

本発明者らは、ソースビュー姿勢を含む領域の境界／エッジに近い位置について組み合わせ画像を生成する手法は、シーン内の背景オブジェクトについての増加した情報を提供する傾向があるため、特に有利であるという洞察を得た。大半の背景データは、通例、中心の視点に対して最も大きい横方向への距離を有するカメラ又は画像エリアによってキャプチャされる。これは前景オブジェクトについての改良された画像情報を提供する傾向があるため、これは、より中心寄りの組み合わせ画像と組み合わせられると有利である。

多くの実施形態では、画像信号生成器４０９は、生成された画像データのメタデータをさらに含めるように構成されてよい。具体的には、組み合わせ画像生成器４０３は、組み合わせ画像について起源データを生成してよく、起源データは、ソース画像のどれが組み合わせ画像内の個々のピクセルの起源であるかを示す。次いで、画像信号生成器４０９が、このデータを生成された画像信号に含める。

多くの実施形態では、画像信号生成器４０９は、ソース画像のビュー姿勢を示すソースビュー姿勢データを含める。このデータは、具体的には、各ソース画像／ビューの位置及び方向を定義するデータを含む。

画像信号は、それに応じて、可能性としては各ピクセルに対して個々に、ピクセル値が提供される位置及び方向、すなわち光線姿勢の指示、を示すメタデータを備える。それに応じて、画像信号受信器５００は、このデータを処理して、例えばビュー合成を行うように構成される。

例えば、対応するピクセルの選択によって生成された３つのビューの各ピクセルについて、ソースビューの識別を示すメタデータが含められる。この結果、３つのラベルマップが得られ、１つは中央のビュー、２つは横向きのビューのものである。ラベルは次いで、例えばカメラの光学系及びリグの幾何学構造を含む、特定のビュー姿勢データに紐付けられる。

上記の説明は、明瞭のために、種々の機能回路、ユニット、及びプロセッサを参照して本発明の実施形態を説明したことが認識されよう。しかし、本発明から逸脱することなく、種々の機能回路、ユニット、又はプロセッサ間の機能の任意の適切な分散が使用されてよいことが明らかであろう。例えば、別々のプロセッサ又はコントローラによって行われるものと説明された機能が同じプロセッサ又はコントローラによって行われてもよい。したがって、特定の機能ユニット又は回路の言及は、厳格な論理的又は物理的構造又は編成を示すのではなく、記載される機能を提供するための適切な手段の言及としてのみ見られるべきである。

本発明は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせを含む任意の適切な形態で実施することができる。本発明は、任意で、少なくとも部分的に、１つ又は複数のデータプロセッサ及び／又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして実施されてもよい。本発明の実施形態の要素及び構成要素は、物理的、機能的、又は論理的に任意の適切な方式で実施されてよい。実際、機能は、単一のユニットとして、複数のユニットとして、又は他の機能ユニットの一部として実施されてよい。そのため、本発明は、単一のユニットとして実施されても、又は種々のユニット、回路、及びプロセッサ間に物理的及び機能的に分散されてもよい。

本発明は、いくつかの実施形態との関係で説明したが、本明細書に述べられる特定の形態に制限されるものではない。むしろ、本発明の範囲は、添付の特許請求の範囲のみによって制限される。また、特徴は、特定の実施形態との関係で説明されるように見えるが、当業者であれば、記載される実施形態の各種特徴は本発明に従って組み合わせられてよいことを認識されよう。特許請求の範囲では、「～を備える／含む」という用語は、他の要素又はステップの存在を排除しない。

さらに、別個に列挙されるが、複数の手段、要素、回路、又は方法のステップは、例えば単一の回路、ユニット、又はプロセッサによって実施されてよい。また、個々の特徴が異なる請求項に含まれることがあるが、それらは、有利に組み合わせられる可能性があり、異なる請求項に含まれることは、特徴同士の組み合わせが実現可能でない、及び／又は有利でないことを示唆するものではない。また、あるカテゴリの請求項に特徴が含まれることは、そのカテゴリへの限定を示唆するものではなく、その特徴が適宜他の請求項カテゴリにも等しく適用可能であることを意味する。さらに、請求項における特徴の順序は、それら特徴が作用されなければならない特定の順序を示唆するものではなく、特に方法クレームにおける個々のステップの順序は、それらステップがその順序で行われなければならないことを示唆するものではない。むしろ、ステップは任意の適切な順序で行われてよい。また、単数形の言及は複数を排除しない。よって、「一つの（ａ、ａｎ）」、「第１の」、「第２の」等の言及は、複数を除外しない。請求項中の参照符号は、単に明瞭化のための例として与えられ、特許請求の範囲を制限するものとは決して解釈されるべきでない。

説明された手法は以下を提供する。

画像信号を生成するための装置であって、装置が、
異なるビュー姿勢からのシーンを表す複数のソース画像を受け取るための受信器（４０１）と、
ソース画像から複数の組み合わせ画像を生成するための組み合わせ画像生成器（４０３）であって、各組み合わせ画像は、複数のソース画像のうち少なくとも２つのソース画像のセットから導出され、組み合わせ画像の各ピクセルは、光線姿勢に対するシーンを表し、各組み合わせ画像に対する光線姿勢は少なくとも２つの異なる位置を含む、組み合わせ画像生成器（４０３）と、
複数のソース画像の要素についての予測品質尺度を決定するための評価器（４０５）であって、第１のソース画像の要素についての予測品質尺度は、要素内のピクセルに対する第１のソース画像内のピクセル値と、要素内のピクセルに対する予測ピクセル値との間の差を示し、予測ピクセル値は、複数の組み合わせ画像から要素内のピクセルを予測した結果得られるピクセル値である、評価器（４０５）と、
予測品質尺度が閾値以上の差を示す要素を含むソース画像のセグメントを決定するための決定器（４０７）と、
組み合わせ画像を表す画像データと、ソース画像のセグメントを表す画像データとを備える画像信号を生成するための画像信号生成器（４０９）とを備える、装置。

画像信号を受け取るための装置であって、装置が、
画像信号を受け取るための受信器（５０１）であって、画像信号が、
複数の組み合わせ画像であって、各組み合わせ画像は、異なるビュー姿勢からのシーンを表す複数のソース画像のうち少なくとも２つのソース画像のセットから導出された画像データを表し、組み合わせ画像の各ピクセルは、光線姿勢に対するシーンを表し、各組み合わせ画像に対する光線姿勢は少なくとも２つの異なる位置を含む、複数の組み合わせ画像と、
複数のソース画像のセグメントのセットについての画像データであって、第１のソース画像のセグメントは、複数の組み合わせ画像からのセグメントの予測に関する予測品質尺度が閾値未満である、第１のソース画像の少なくとも１つのピクセルを備える、画像データと、を含む受信器と、
画像信号を処理するためのプロセッサ（５０３）と、を備える装置。

画像信号を生成する方法であって、方法が、
異なるビュー姿勢からのシーンを表す複数のソース画像を受け取るステップと、
ソース画像から複数の組み合わせ画像を生成するステップであって、各組み合わせ画像は、複数のソース画像のうち少なくとも２つのソース画像のセットから導出され、組み合わせ画像の各ピクセルは、光線姿勢に対するシーンを表し、各組み合わせ画像に対する光線姿勢は少なくとも２つの異なる位置を含む、生成するステップと、
複数のソース画像の要素についての予測品質尺度を決定するステップであって、第１のソース画像の要素についての予測品質尺度は、要素内のピクセルに対する第１のソース画像内のピクセル値と、要素内のピクセルに対する予測ピクセル値との間の差を示し、予測ピクセル値は、複数の組み合わせ画像から要素内のピクセルを予測した結果得られるピクセル値である、決定するステップと、
予測品質尺度が閾値を超える差を示す要素を含むソース画像のセグメントを決定するステップと、
組み合わせ画像を表す画像データと、ソース画像のセグメントを表す画像データとを備える画像信号を生成するステップとを有する、方法。

画像信号を処理する方法であって、方法が、
画像信号を受け取るステップであって、画像信号が、
複数の組み合わせ画像であって、各組み合わせ画像は、異なるビュー姿勢からのシーンを表す複数のソース画像のうち少なくとも２つのソース画像のセットから導出された画像データを表し、組み合わせ画像の各ピクセルは、光線姿勢に対するシーンを表し、各組み合わせ画像に対する光線姿勢は少なくとも２つの異なる位置を含む、複数の組み合わせ画像と、複数のソース画像のセグメントのセットについての画像データであって、第１のソース画像のセグメントは、複数の組み合わせ画像からのセグメントの予測に関する予測品質尺度が閾値未満である第１のソース画像のピクセルを少なくとも１つ備える、画像データと、を含む、受け取るステップと、
画像信号を処理するステップとを有する、方法。

複数の組み合わせ画像であって、各組み合わせ画像は、異なるビュー姿勢からのシーンを表す複数のソース画像のうち少なくとも２つのソース画像のセットから導出された画像データを表し、組み合わせ画像の各ピクセルは、光線姿勢に対するシーンを表し、各組み合わせ画像に対する光線姿勢は少なくとも２つの異なる位置を含む、複数の組み合わせ画像と、複数のソース画像のセグメントのセットについての画像データであって、第１のソース画像のセグメントは、複数の組み合わせ画像からのセグメントの予測に関する予測品質尺度が閾値未満である第１のソース画像のピクセルを少なくとも１つ備える、画像データとを含む、画像信号。

下位請求項の特徴は、それらの手法に適用される。

Claims (17)

1. 画像信号を生成するための装置であって、前記装置は、
   異なるビュー姿勢からのシーンを表す複数のソース画像を受け取るための受信器と、
   前記ソース画像から複数の組み合わせ画像を生成するための組み合わせ画像生成器であって、各組み合わせ画像は、前記複数のソース画像のうち少なくとも２つのソース画像のセットから導出され、組み合わせ画像の各ピクセルは、光線姿勢に対する前記シーンを表し、各組み合わせ画像に対する前記光線姿勢は少なくとも２つの異なる位置を含み、ピクセルに対する光線姿勢は、前記ピクセルに対するビュー位置から且つ前記ピクセルに対するビュー方向における光線に対する姿勢を表す、組み合わせ画像生成器と、
   前記複数のソース画像の要素についての予測品質尺度を決定するための評価器であって、第１のソース画像の要素についての予測品質尺度は、前記要素内のピクセルに対する前記第１のソース画像内のピクセル値と、前記要素内のピクセルに対する予測ピクセル値との間の差を示し、前記予測ピクセル値は、前記複数の組み合わせ画像から前記要素内のピクセルを予測した結果得られるピクセル値である、評価器と、
   前記予測品質尺度が閾値を超える差を示す要素を含む前記ソース画像のセグメントを決定するための決定器と、
   前記組み合わせ画像を表す画像データと、前記ソース画像の前記セグメントを表す画像データとを備える画像信号を生成するための画像信号生成器と、
   を備える、装置。
2. 前記組み合わせ画像生成器は、前記複数のソース画像からの第１の組み合わせ画像のピクセルのビュー合成により、前記複数の組み合わせ画像のうち少なくとも前記第１の組み合わせ画像を生成し、前記第１の組み合わせ画像の各ピクセルは、光線姿勢に対する前記シーンを表し、前記第１の組み合わせ画像に対する前記光線姿勢は少なくとも２つの異なる位置を含む、請求項１に記載の装置。
3. 垂直方向ベクトルとピクセル外積ベクトルとの間の内積が、前記第１の組み合わせ画像のピクセルの少なくとも９０％について非負であり、ピクセルに対するピクセル外積ベクトルは、ピクセルに対する光線方向と、前記異なるビュー姿勢に対する中心点から前記ピクセルに対する光線位置へのベクトルとの間の外積である、請求項２に記載の装置。
4. 前記組み合わせ画像生成器は、前記複数のソース画像からの第２の組み合わせ画像のピクセルのビュー合成により、前記複数の組み合わせ画像のうち前記第２の組み合わせ画像を生成し、前記第２の組み合わせ画像の各ピクセルは、光線姿勢に対する前記シーンを表し、前記第２の組み合わせ画像に対する前記光線姿勢は少なくとも２つの異なる位置を含み、
   前記垂直方向ベクトルと、ピクセル外積ベクトルとの間の内積が、前記第２の組み合わせ画像のピクセルの少なくとも９０％について非正である、請求項３に記載の装置。
5. 前記第１の組み合わせ画像の前記光線姿勢は、前記複数のソース画像の前記異なるビュー姿勢を含む領域の境界に近接するように選択される、請求項２に記載の装置。
6. 前記第１の組み合わせ画像の前記光線姿勢の各々は、前記複数のソース画像の前記異なるビュー姿勢を含む領域の境界から第１の距離未満になるように決定され、前記第１の距離は、前記境界上の点間の最大内部距離の５０％以下である、請求項２又は３に記載の装置。
7. 前記組み合わせ画像生成器は、前記複数の組み合わせ画像のうち第１の組み合わせ画像の各ピクセルに対して、
   対応するピクセルが存在するビューソース画像の各々の中で対応するピクセルを決定することであって、対応するピクセルは、前記第１の組み合わせ画像の前記ピクセルと同じ光線方向を表すピクセルである、決定することと、
   前記第１の組み合わせ画像の前記ピクセルに対するピクセル値を、前記対応するピクセルが前記異なるビュー姿勢に対する中心点から最大の距離を有する光線を表す、前記ビューソース画像内の前記対応するピクセルに対するピクセル値として選択することであって、前記最大の距離は、前記対応するピクセルに対する光線方向に垂直な第１の軸に沿った第１の方向にある、選択することと、
   を行う、請求項１から６のいずれか一項に記載の装置。
8. 前記対応するピクセルを前記決定することが、各ソース画像を、前記ビュー姿勢を囲むビュー球体の表面の少なくとも一部を表す画像表現に再サンプリングすることと、対応するピクセルを、前記画像表現中で同じ位置を有するピクセルとして決定することとを有する、請求項７に記載の装置。
9. 前記組み合わせ画像生成器が、第２の組み合わせ画像内の各ピクセルに対して、
   前記第２の組み合わせ画像内の前記ピクセルに対するピクセル値を、前記対応するピクセルが前記第１の方向の反対方向において前記中心点から最大の距離を有する光線を表す、前記ビューソース画像内の前記対応するピクセルに対するピクセル値として選択する、請求項７又は８に記載の装置。
10. 前記組み合わせ画像生成器が、
    第３の組み合わせ画像の各ピクセルに対して、
    前記第３の組み合わせ画像内の前記ピクセルに対するピクセル値を、前記対応するピクセルが前記中心点から最小の距離を有する光線を表す、前記ビューソース画像内の前記対応するピクセルに対するピクセル値として選択する、請求項７から９のいずれか一項に記載の装置。
11. 前記組み合わせ画像生成器が、
    第４の組み合わせ画像内の各ピクセルに対して、
    前記第４の組み合わせ画像内の前記ピクセルに対するピクセル値を、前記対応するピクセルが、前記対応するピクセルの光線方向に垂直な第２の軸に沿った第２の方向において前記中心点から最大の距離を有する光線を表す、前記ビューソース画像内の前記対応するピクセルに対するピクセル値として選択し、前記第１の軸と前記第２の軸とが異なる方向を有する、請求項７から１０のいずれか一項に記載の装置。
12. 前記組み合わせ画像生成器が、前記第１の組み合わせ画像に対する起源データを生成し、前記起源データは、前記ソース画像のどれが前記第１の組み合わせ画像の各ピクセルの起源であるかを示し、前記画像信号生成器は、前記起源データを前記画像信号に含める、請求項７から１１のいずれか一項に記載の装置。
13. 前記画像信号生成器が、前記画像信号にソースビュー姿勢データを含め、前記ソースビュー姿勢データは、前記ソース画像に対する前記異なるビュー姿勢を示す、請求項１から１２のいずれか一項に記載の装置。
14. 画像信号を受け取るための装置であって、前記装置は、
    画像信号を受け取るための受信器であって、前記画像信号が、
    複数の組み合わせ画像であって、各組み合わせ画像は、異なるビュー姿勢からのシーンを表す複数のソース画像のうち少なくとも２つのソース画像のセットから導出された画像データを表し、組み合わせ画像の各ピクセルは、光線姿勢に対する前記シーンを表し、各組み合わせ画像に対する前記光線姿勢は少なくとも２つの異なる位置を含み、ピクセルに対する光線姿勢は、前記ピクセルに対するビュー位置から且つ前記ピクセルに対するビュー方向における光線に対する姿勢を表す、複数の組み合わせ画像と、
    前記複数のソース画像のセグメントのセットについての画像データであって、第１のソース画像のセグメントは、前記複数の組み合わせ画像からの前記セグメントの予測に関する予測品質尺度が閾値未満である、前記第１のソース画像の少なくとも１つのピクセルを備える、画像データとを含む、受信器と、
    前記画像信号を処理するためのプロセッサと、
    を備える、装置。
15. 画像信号を生成する方法であって、前記方法は、
    異なるビュー姿勢からのシーンを表す複数のソース画像を受け取るステップと、
    前記ソース画像から複数の組み合わせ画像を生成するステップであって、各組み合わせ画像は、前記複数のソース画像のうち少なくとも２つのソース画像のセットから導出され、組み合わせ画像の各ピクセルは、光線姿勢に対する前記シーンを表し、各組み合わせ画像に対する前記光線姿勢は少なくとも２つの異なる位置を含み、ピクセルに対する光線姿勢は、前記ピクセルに対するビュー位置から且つ前記ピクセルに対するビュー方向における光線に対する姿勢を表す、生成するステップと、
    前記複数のソース画像の要素についての予測品質尺度を決定するステップであって、第１のソース画像の要素についての予測品質尺度は、前記要素内のピクセルに対する前記第１のソース画像内のピクセル値と、前記要素内のピクセルに対する予測ピクセル値との間の差を示し、前記予測ピクセル値は、前記複数の組み合わせ画像から前記要素内のピクセルを予測した結果得られるピクセル値である、決定するステップと、
    前記予測品質尺度が閾値を超える差を示す要素を含む前記ソース画像のセグメントを決定するステップと、
    前記組み合わせ画像を表す画像データと、前記ソース画像の前記セグメントを表す画像データとを備える画像信号を生成するステップと、
    を有する、方法。
16. 画像信号を処理する方法であって、前記方法は、
    画像信号を受け取るステップであって、前記画像信号が、
    複数の組み合わせ画像であって、各組み合わせ画像は、異なるビュー姿勢からのシーンを表す複数のソース画像のうち少なくとも２つのソース画像のセットから導出された画像データを表し、組み合わせ画像の各ピクセルは、光線姿勢に対する前記シーンを表し、各組み合わせ画像に対する前記光線姿勢は少なくとも２つの異なる位置を含み、ピクセルに対する光線姿勢は、前記ピクセルに対するビュー位置から且つ前記ピクセルに対するビュー方向における光線の姿勢を表す、複数の組み合わせ画像と、
    前記複数のソース画像のセグメントのセットについての画像データであって、第１のソース画像のセグメントは、前記複数の組み合わせ画像からの前記セグメントの予測に関する予測品質尺度が閾値未満である前記第１のソース画像の少なくとも１つのピクセルを備える、画像データと、を含む、受け取るステップと、
    前記画像信号を処理するステップと、
    を有する、方法。
17. プログラムがコンピュータ上で実行されたときに、前記コンピュータに、請求項１５又は１６に記載の方法のすべてのステップを行わせるコンピュータプログラムコード手段を備えた、コンピュータプログラム。

Images