JP6517245B2 - 三次元画像を生成するための方法及び機器 - Google Patents

Description

本発明は、三次元画像の処理に関し、排他的にではないが具体的には、オートステレオスコピックディスプレイ上に提示するための三次元画像の生成に関する。

三次元（３Ｄ：Three dimensional）ディスプレイは益々注目されており、視聴者に三次元の知覚を与える方法について著しい研究が行われている。３Ｄディスプレイは、視聴シーンの異なるビューを視聴者の２つの目に与えることによって視聴体験に第三次元を加える。異なるビューを与えることは、表示される２つのビューを分けるためのメガネを利用者に装着させることによって実現され得る。しかし、メガネを装着することは利用者にとって比較的不便であるため、異なるビューを直接生成し、それらを利用者の目に投影するオートステレオスコピックディスプレイを使用することが多くのシナリオで望ましい。実際にしばらくの間、様々な企業が三次元画像のレンダリングに適したオートステレオスコピックディスプレイを積極的に開発してきた。オートステレオスコピック装置は、専用のヘッドギア及び／又はメガネを必要とすることなしに３Ｄの印象を視聴者に与えることができる。

オートステレオスコピックディスプレイは、一般に異なる視角ごとに異なるビューを与える。このようにして、視聴者の左目用の第１の画像及び右目用の第２の画像が生成され得る。適切な、即ち左右の目それぞれの観点から適切な画像を表示することにより、視聴者に３Ｄの印象を伝えることができる。

オートステレオスコピックディスプレイは、ビューを分けるために、及びそれらのビューが利用者の目に個々に到達するようにそれらのビューを異なる方向に送るために、レンチキュラレンズ又はパララックスバリア／バリアマスク等の手段を使用する傾向がある。ステレオディスプレイでは２つのビューが必要であるが、殆どのステレオスコピックディスプレイは概して更に多くのビュー（例えば９個のビュー等）を利用する。

３Ｄ画像効果への要求を満たすために、捕捉シーンの３Ｄの側面を記述するデータを含むようにコンテンツが作成される。例えばコンピュータグラフィックスでは、所与の視聴位置からの画像を計算するために三次元モデルが開発され、使用され得る。かかる手法は、例えば３Ｄ効果を提供するコンピュータゲームで頻繁に使用される。

別の例として、映画又はテレビ番組等のビデオコンテンツが、幾らかの３Ｄ情報を含むように益々生成されている。かかる情報は、僅かにずれたカメラ位置から２つの同時画像を捕捉し、それにより立体画像を直接生成する専用の３Ｄカメラを使用して捕捉され得、又は例えば奥行も捕捉できるカメラによって捕捉され得る。

典型的には、オートステレオスコピックディスプレイはビューの「円錐域」を作り出し、各円錐域はシーンの異なる視角に対応する複数のビューを含む。隣接する（又は場合によっては更に隔てられた）ビュー間の視角差は、利用者の右目と左目との視角差に対応するように生成される。従って、左右の目が２つの適切なビューを見る利用者は３Ｄ効果を知覚することになる。視覚円錐域内に９個の異なるビューが生成されるかかるシステムの一例が図１に示されている。

多くのオートステレオスコピックディスプレイは、多数のビューを作成することができる。例えば、９個のビューを作成するオートステレオスコピックディスプレイも珍しくない。かかるディスプレイは、例えば数名の視聴者がディスプレイを同時に見ることができ、全員が３Ｄ効果を体験するマルチビューワーシナリオに適している。例えば２８個の異なるビューを提供可能なディスプレイを含め、更に多数のビューを有するディスプレイも開発されている。かかるディスプレイは往々にして比較的狭いビュー円錐域を使用し、視聴者の目が複数のビューからの光を同時に受け付けることになり得る。更に、（図１の例にあるように）左右の目が典型的には隣接していないビュー内に位置する。

図２は、複数のサブピクセルから（３つのカラーチャネルを有する）３Ｄ画素を形成する一例を示す。この例では、ｗは水平サブピクセルのピッチであり、ｈは垂直サブピクセルのピッチであり、Ｎは単色パッチごとの平均サブピクセル数である。レンチキュラレンズがｓ＝ｔａｎθだけ傾けられ、水平方向に測定されるピッチはサブピクセルピッチを単位にしてｐである。３Ｄ画素内で、太線は色が異なるパッチ間の分離を示し、細線はサブピクセル間の分離を示す。別の有用な量は、サブピクセルアスペクト比：ａ＝ｗ／ｈである。その場合、Ｎ＝ａ／ｓが成立する。ＲＧＢストライプパターン上の一般的な傾斜１／６のレンズでは、ａ＝１／３及びｓ＝１／６、そのためＮ＝２である。

従来の２Ｄディスプレイでは、殆どの用途で画質が３Ｄディスプレイにとって最も重要であり、とりわけ例えば３Ｄテレビ又はモニタ等の消費者市場にとって非常に重要である。しかし、異なるビューを表現することは更なる複雑さ、及び潜在的な画像劣化をもたらす。

とりわけ、配信し処理するデータ量を管理可能な量に保つために、３Ｄコンテンツは概して非常に少数の２Ｄ画像に基づく形式で提供される。例えば３Ｄ画像データは、画素ごとの奥行を示す奥行マップによって支援される１つの視角に対応する単一の２Ｄ画像によって提供され得る。別の一般的な表現は２つの２Ｄ画像を提供し、２Ｄ画像の一方は視聴者の左目用であり、もう一方は視聴者の右目用である。

従って、三次元画像情報は典型的には圧縮形式で提供され、比較的少数の異なる視点画像によって一般に表される。従って、オートステレオスコピックディスプレイのそれぞれの視方向のビュー画像を提供するために、受信データに対してかなりの処理を施す必要がある。とりわけ、オートステレオスコピックディスプレイのビュー画像を生成するために、典型的にはレンダリング更には（３Ｄ）画像処理を行う必要がある。例えば追加のビューを生成するために、奥行情報に基づく視点のシフトがしばしば必要である。

別の例として、例えば３Ｄモデルに基づいて画像データを生成することによって等、一部の応用例では３Ｄ画像データが３Ｄモデルを評価することによって直接生成される。モデルは例えばOpenGLグラフィックス標準に準拠することができ、肌理と組み合わせて三角形及び／又はメッシュを含み得る。従って一部の応用例では、三次元シーンの３Ｄグラフィカルモデルを評価することによって特定の視角の画像が生成され得る。

３Ｄ描写のためにオートステレオスコピックディスプレイを使用する場合、典型的には９個、１５個、２９個のビュー等、異なる視角に対応する比較的多数の個々のビューが投影される。従って、異なる視角に対応する多数の画像が生成されなければならない。多数の画像を生成することは、入力３Ｄ画像データの３Ｄ処理をビューごとに行うことによって果たされ得る。例えばビューごとに、既定の視角に対応する入力画像を処理して所望の視角の対応するビューを生成する。この３Ｄ処理は、とりわけ画素の奥行に応じて画素を視差シフトすること、デオクルード領域を埋めること等を含む。

同様に、３Ｄモデルを評価することに基づく一部のシステムでは、その視角に対応する画像を生成するためにモデルがビューごとに評価され得る。

従って一部のシステムでは、オートステレオスコピックディスプレイの各ビューの画像を生成するために３Ｄ処理が行われる。しかし、かかる手法の不利益は、かかる手法が非常に計算的に多くを求め、多くの計算資源を必要とすることである。このことは、例えば実時間処理を必要とする動画像列又はゲームの一部である３Ｄ画像にとって特に重大であり得る。

計算的な複雑さを減らすために、オートステレオスコピックディスプレイに必要な画像のサブセットのみをレンダリングすることが提案されている。例えば、３Ｄ処理は１５ビューの画像に対して８個の画像のみを生成する場合がある。かかるシステムでは、ビューの視角に最も近い視角に対応する生成画像を選択することによってビューごとの画像が生成され得る。一部のシステムでは、例えば現在のビュー画像を取り囲む（即ち各方向に最も近い視角を有する画像に対応する）２つのレンダリング画像間の単純な線形補間によって所与のビュー画像が生成され得る。

実際に現在、オートステレオスコピック３Ｄディスプレイのコンテンツがレンダリングされる場合、典型的な手法は、固定された視角に対応する一定数の画像をレンダリングすることである。その後、オートステレオスコピックディスプレイの画素ごとに所要の出力視角が決定され、最も近い視角についてレンダリング画像内の対応する画素を選択することによって、又は最も近い視角を有する画像の画素の加重和によって画素が生成される。

しかし、かかる手法は全体的な計算資源使用量を減らすことはできるが、幾つかの不利益を発生させる傾向もある。具体的には、この手法は知覚画質を低下させる傾向があり、多くのアーティファクトを発生させる。

例えば、比較的少数の画像が３Ｄ処理によってレンダリングされる場合、知覚される３Ｄ画像内のエッジがゴースティング効果を示す傾向がある（例えばオブジェクトエッジの僅かにずれた複数の複製がしばしば体験される）。更に、視聴者の目がビュー円錐域の複数のビューを通過するように利用者がディスプレイに対して移動する場合、視聴者の目がビュー間を行き来するときに画像オブジェクトが適切な位置で飛び越すように又は揺らぐように見える場合がある比較的不均一な体験がもたらされる。

従って、高画質をもたらすために、多数の画像がレンダリングされることが望ましい。しかし、それは複雑さ及び資源使用量を増やし、従って品質と複雑さとの間には固有のトレードオフがあり、そのトレードオフは従来技術のシステムでは最適以下の傾向にある。

従って、ビュー画像を生成するための改善された手法が有利であり、とりわけ柔軟性の向上、画質の改善、複雑さの低下、資源需要の低減、複雑さと知覚画質との間のトレードオフの改善、及び／又は性能の改善を可能にする手法が有利である。

従って、本発明は上記の不利益を単独で又は任意の組合せで好ましくは軽減し、緩和し、又はなくそうとするものである。

本発明の一態様によれば、出力三次元画像を生成するための機器が提供され、この機器は、中間三次元画像を生成するための第１の画像生成ユニットであって、中間三次元画像は中間三次元画像の空間的副区分である複数の領域を含み、その複数の領域の画素値の或る数の画像ブロックを生成するように第１の画像生成ユニットが構成され、画像ブロックの数は複数の領域のうちの少なくとも２つの領域について異なり、及び各画像ブロックは視方向に対応する画素群の画素値を含む、第１の画像生成ユニットと、幾つかのビュー画像を含む出力三次元画像を中間三次元画像から生成するための第２の画像生成ユニットであって、幾つかのビュー画像のそれぞれは視方向に対応する、第２の画像生成ユニットと、中間三次元画像及び三次元シーン表現であって、第１の画像生成ユニットがそれから中間三次元画像を生成するように構成される三次元シーン表現の少なくとも一方の特性に応じて、複数の領域のうちの少なくとも第１の領域について異なる視方向を有する画像ブロックの数を適合させるためのアダプタとを含む。

本発明は、多くの実施形態において改善された三次元画像を提供することができ、かかる三次元画像はオートステレオスコピックディスプレイ等の三次元ディスプレイ上に表示されるとき、知覚画質の改善をもたらすことができる。多くの実施形態において、この手法は、例えばオートステレオスコピックディスプレイ上に第２の三次元画像が提示されるとき、例えば知覚されるクロストーク効果の減少をもたらし得る。この手法は多くの実施形態において、画像劣化及びアーティファクトの知覚的影響が減らされた三次元画像を生成することができる。表示されるとき、視聴者は見た目がより自然な三次元シーンを知覚することができる。この手法は、多くの実施形態において、とりわけ利用者がオートステレオスコピックディスプレイのビュー円錐域を通過して移動するとき、よりスムーズな体験を提供することができる。

本発明は、多くの実施形態において複雑さを減らすことができる。この手法は多くのシナリオにおいて、画像データの三次元処理の必要量を大幅に減らすことができる。この手法は多くの実施形態において、使用可能な計算資源のより効率的な使用を可能にすることができ、又は例えば必要な計算資源を減らすことができる。処理の複雑さを下げることは、出力三次元画像の広域にわたって実現され得る。計算資源使用量が大幅に減らされ得る。この手法は、例えば比較的計算能力が低い装置でも比較的多数のビュー画像を生成できるようにし得る。

本発明は多くの実施形態及びシナリオにおいて、計算資源対画質のトレードオフの改善をもたらし得る。とりわけこの手法は、使用可能な計算資源が三次元画像の最も重要な部分に充てられることを可能にし得る。従って、三次元画像の特性に基づいて第１の画像生成ユニットによって生成される画像ブロックによって表されるビューの数の適合は、利用者の目をひく可能性が最も高い箇所の画質を改善するために、使用可能な処理能力を適合させることができる。とりわけこの手法は、アーティファクトが生じる可能性が最も高い領域又はアーティファクトが最も人目をひく可能性が高い領域にアーティファクトの低減及び軽減を集中させることを可能にし得る。

具体的には、アダプタは、第１の画像生成ユニットによってレンダリングされるビューの数の局所的適合を行うことができ、この適合は局所的画像特性に基づき得る。従って、システム内で、中間画像の異なる領域が異なる数の画像ブロックによって表され得、各画像ブロックは異なる視角に対応する。従って、各領域内の画像ブロック／視角の数は局所的画像特性に依存する。

三次元画像は、三次元シーンの任意の表現とすることができ、且つとりわけ視覚的情報及び（関連する）奥行情報を与える任意のデータであり得る。三次元画像は、例えば或るシーンの異なる視点に対応する２つ以上の（ことによると部分的な）画像であり得る。三次元画像は、例えば左目ビュー及び右目ビューに対応する２つの２Ｄ画像であり得る。一部のシナリオでは、三次元画像が３個以上のビューによって、例えばオートステレオスコピックディスプレイの９個又は２８個のビューに関する２Ｄ画像等によって表され得る。一部のシナリオでは、（例えば視差又は変位データとして与えられる）奥行情報が三次元画像の一部として提供され得る。一部の実施形態では、三次元画像が例えば関連する奥行情報と共に単一の画像として提供され得る。一部のシナリオでは、三次元画像が、オクルージョンデータ及び奥行きデータと共に所与の視方向からの２Ｄ画像として提供され得る。例えば三次元画像は、Ｚスタック表現及び場合により関連する奥行マップとして提供され得る。例えばＺスタックは、所与の視点のフル画像に対応するトップレイヤを含み得る。従って、二次元ディスプレイはこの画像を直接レンダリングすることができる。画像は様々な奥行における画素を含む（例えば一部は背景画素であり、他の画素は様々な奥行にある様々な前景オブジェクトに対応する）ため、トップレイヤ画像は関連する奥行マップを有し得る。Ｚスタックの第２のレイヤは、トップレイヤ用のオクルージョン情報を含み得る。とりわけトップレイヤの画素ごとに、第２のレイヤは、トップレイヤ内の対応する画素によって表される画像オブジェクトがない場合に見えることになるものを表す画素を含み得る。対応する画素が既に背景画素である（従ってオクルージョンがない）場合、第２のレイヤはその画素について画素値を一切含まないことができる。この手法は、Ｚスタックの任意の更なるレイヤについて繰り返され得る。一部の実施形態では、Ｚスタックのレイヤごとに奥行マップが与えられ得る。

一部の実施形態では、第１の画像生成ユニットが、入力三次元画像を処理することによって中間三次元画像を生成することができる。かかる実施形態では、第１の画像生成ユニットは、少なくとも一部の領域について入力画像よりも多くのビューの画像データを含むように中間三次元画像を生成することができる。一部の実施形態では、第１の画像生成ユニットは、特定の視方向についてシーンの三次元グラフィカルモデルを評価することによって中間三次元画像の画像データを生成することができる。

一部の実施形態では、第１の画像生成ユニットは、三次元モデルを評価することによって中間三次元画像を生成することができる。

第１の画像生成ユニットは、三次元画像処理を使用して中間三次元画像を生成するように構成され得、三次元画像処理は処理される少なくとも１つの画像画素の奥行に依存するプロセスを含む。第１の画像生成ユニットは、奥行ベースの／奥行に依存する画像処理を使用して中間三次元画像を生成するように構成され得る。第２の画像生成ユニットは、処理される如何なる画像画素の奥行にも依存しないプロセスを使用して出力三次元画像を生成するように構成され得る。第２の画像生成ユニットは、非奥行ベースの／奥行に依存しない画像処理を使用して中間三次元画像から出力三次元画像を生成するように構成され得る。従って、第１の画像生成ユニットは中間三次元画像を生成するときに奥行／視差情報を考慮し得るのに対し、第２の画像生成ユニットは出力三次元画像を生成するときに奥行／視差情報を考慮しない。

とりわけ第２の画像生成ユニットは、中間三次元画像の画像ブロックの加重線形結合に応じて出力三次元画像を生成するように構成され得る。例えば、出力三次元画像の各ビュー画像の画素ごとに、中間三次元画像の画像ブロック内の対応する画素の加重線形結合として画素値が決定され得、重みは画像ブロックの視角に対するビューの視角に依存する。

第１の画像生成ユニットは、入力三次元画像を奥行に基づいて処理することによって中間三次元画像を生成することができる。かかる処理は、少なくとも一部の領域について、入力三次元画像内で画像データが与えられない視角に対応する画像ブロックを生成することを含み得る。従って入力三次元画像の処理は、画像の視角をシフトすることを含み得る。このシフトは、画素の変位、デオクルード領域を埋めること等を含み得る。

領域は、中間三次元画像の任意の空間的副区分に対応し得る。

中間三次元画像は、中間三次元画像の領域ごとの画像ブロックの組によって形成され得、画像ブロックの各組は１つ又は複数の画像ブロックを含み、画像ブロックの１つの組の各画像ブロックは異なる視角に対応する。多くの実施形態において、画像ブロックの各組は異なる視角ごとに最小限、例えば２個、３個、又は５個の画像ブロックを含む。多くの実施形態において、１つ又は複数の視方向の画像ブロックが画像ブロックの全ての組に含まれる。従って、中間三次元画像は（視角にそれぞれ関連する）幾つかの完全な画像を含み得る。例えば中間三次元画像は、異なる視角にそれぞれ対応するＮの完全なビュー画像によって表され得、及び加えて、画像ブロックの組のサブセットが更なる視角に関する１つ又は複数の画像ブロックを含み得る。所与の組／領域の更なる画像ブロック／更なる視角の数は、その組の領域の近傍内の画像特性に基づいてアダプタによって決定される。更なる画像ブロック／更なる視角の数は、異なる領域間で異なり得る。

出力三次元画像は所定数のビュー画像を含み得る。各ビュー画像は完全な画像とすることができ、及び従って画像の全領域の画像データを含み得る。出力三次元画像は、Ｍ画像の組として生成され得、Ｍ画像のそれぞれはオートステレオスコピックディスプレイの１つのビューの画像として直接生成される。出力三次元画像はＭビュー画像のみによって表され得、例えば奥行マップ又は視差マップを一切含まないことができる。出力三次元画像は、別々のビュー画像の組として表され得、又は例えばインタリーブされたビュー画像を含むウィーブ画像によって表され得る。一部の実施形態又はシナリオでは、ビュー画像の１つ又は複数が部分画像であり得る。

画像ブロックは、視覚的画素値が与えられる画像領域又は画素群に対応し得る。従って、画像ブロックは画素群の画素値によって形成され得る。画素値は、例えば輝度、彩度、及び／又はクロミナンス値等の視覚的画素値であり得る。第１の画像生成ユニットは、画素群の画素値を生成することによって画像ブロックを生成することができる。所与の視方向について、中間三次元画像は画素値が決定されていない領域（画像内の空領域又は隙間）、及び画素値が第１の画像生成ユニットによって生成されている画像ブロックを含み得る。画像ブロックは、画素群の画素値の組であり得る。

ビュー画像は、所与の視方向の画像であり得る。ビュー画像は、空領域がない完全な画像であり得る。

特性は、第１の領域の近傍の／近傍内の画像特性であり得る。近傍は、中間三次元画像又は入力三次元画像内の近傍であり得る。

一部の実施形態では、例えば中間三次元画像内の第１の領域の奥行及び／又はコントラスト等、中間三次元画像の特性に応じて複数の領域のうちの第１の領域の画像ブロックの数が適合され得る。

一部の実施形態では、三次元シーン表現から中間三次元信号が生成される。

三次元シーンは、例えば一部の実施形態では入力三次元画像によって表され得、及び中間三次元画像は入力三次元画像から生成され得る。一部の実施形態では、例えば入力三次元画像内の第１の領域の奥行及び／又はコントラスト等、入力三次元画像の特性に応じて複数の領域のうちの第１の領域の画像ブロックの数が適合され得る。

三次元シーンは、例えば一部の実施形態では三次元モデル（例えば肌理及び光源のモデリングを含む）によって表され得る。かかる実施形態では、中間三次元画像が三次元モデルから生成され得る。一部の実施形態では、例えば入力／中間三次元画像内の第１の領域に対応するモデルオブジェクトの奥行及び／又はコントラストの測度等、三次元モデルの特性に応じて複数の領域のうちの第１の領域の画像ブロックの数が適合され得る。

従って多くの実施形態において、アダプタは、中間三次元画像、入力三次元画像であって、第１の画像生成ユニットがそれに応じて中間画像を生成するように構成される入力三次元画像、及び三次元モデルであって、第１の画像生成ユニットがそれに応じて中間画像を生成するように構成される三次元モデルのうちの少なくとも１つの特性に応じて、複数の領域のうちの少なくとも第１の領域について異なる視方向を有する画像ブロックの数を適合させるように構成され得る。

本発明の任意選択的特徴によれば、特性は奥行の測度である。

特性は、とりわけ近傍の奥行の測度であり得る。アダプタは、第１の領域の近傍の奥行の測度に応じて第１の領域の画像ブロックの数を決定するように構成され得る。近傍は、第１の領域に属する少なくとも１つの画素を含む領域であり得る。アダプタは、第１の領域の少なくとも１つの画素を含む領域の奥行の測度に応じて第１の領域の画像ブロックの数を決定するように構成され得る。

アダプタは、この操作を複数の領域の全領域について行うように構成され得る。画像ブロックの数の決定は領域ごとに独立に行われ得る。

この手法は、多くの実施形態及びシナリオにおいて、画質対計算資源使用量の改善をもたらし得る。画像生成機器の計算資源がとりわけ奥行の測度に応じて画像にわたって不均一に分散され得、及び特にレンダリング資源は基準面からの著しい奥行のずれを有する領域に集中され得る。

奥行の測度は、例えば領域の近傍内の画素の奥行値を反映する平均奥行値又は加重奥行値等、奥行のレベルを示すことができる。一部の実施形態では、奥行の測度は、とりわけ（異なるビューの画像間のゼロ視差に対応する）画面レベルの奥行であり得る基準奥行からの領域内の奥行のずれを示し得る。

本発明の任意選択的特徴によれば、画像特性は近傍のコントラストの測度である。

特性は、とりわけ近傍のコントラストの測度であり得る。アダプタは、第１の領域の近傍のコントラストの測度に応じて第１の領域の画像ブロックの数を決定するように構成され得る。近傍は、第１の領域に属する少なくとも１つの画素を含む領域であり得る。アダプタは、第１の領域の少なくとも１つの画素を含む領域のコントラストの測度に応じて第１の領域の画像ブロックの数を決定するように構成され得る。

アダプタは、この操作を複数の領域の全領域について行うように構成され得る。画像ブロックの数の決定は領域ごとに独立に行われ得る。

この手法は、多くの実施形態及びシナリオにおいて、画質対計算資源使用量の改善をもたらし得る。画像生成機器の計算資源がとりわけコントラストの測度に応じて画像にわたって不均一に分散され得、及び特にレンダリング資源は相当な局所的コントラストを示す領域に集中され得る。

コントラストの測度は、領域の近傍内のコントラストの程度を示すことができ、及び例えば近傍内の輝度／明度／強度の変化の程度を示し得る。一部の実施形態では、コントラストの測度は、近傍内の画像オブジェクトエッジの遷移を示し得る。

一部の実施形態では、コントラストの測度は水平なコントラストの測度である。

多くの実施形態において、画像の特性は（近傍の）奥行の測度及び（近傍の）コントラストの測度の少なくとも一方である。アダプタは、第１の領域の近傍のコントラストの測度及び奥行の測度の少なくとも一方に応じて第１の領域の画像ブロックの数を決定するように構成され得る。アダプタは、この操作を複数の領域の全領域について行うように構成され得る。画像ブロックの数の決定は領域ごとに独立に行われ得る。

本発明の任意選択的特徴によれば、アダプタは、第１の画像生成ユニットの計算資源の可用性に応じて第１の領域の画像ブロックの数を決定するように更に構成される。

本発明は、使用可能な計算資源について、例えば画質の適合及び多くの場合に最適化の改善をもたらし得る。とりわけこの手法は、例えば結果として生じる画質に対する影響が最適化される領域に限られた可用資源が充てられ得るように、画像レンダリングの適合を可能にし得る。

本発明の任意選択的特徴によれば、複数の領域は少なくとも１つの画素行によって形成される領域を含む。

このことは多くの実施形態において、高度に柔軟な資源の標的化を依然として可能にしながら、複雑さの低下及び操作の単純化をもたらし得る。更にこの手法は、多くのシナリオにおいて、画像劣化の許容できない増加及び／又は各領域を処理するのに必要な処理の許容できない増加を招くことなしに、画像を領域に分けるための計算資源を減らすことができる。

多くのシナリオにおいて、複数の領域の全領域が１つ又は複数の画素行によって形成される。

本発明の任意選択的特徴によれば、複数の領域のうちの少なくとも１つの領域が画素行の画素のサブセットのみを含む。

このことは、多くの実施形態において資源の標的化の改善をもたらすことができ、及びとりわけ第１の画像生成ユニットの計算資源のより正確な割当を提供し得る。

本発明の任意選択的特徴によれば、第１の画像生成ユニットは、第１の数の視方向について、複数の領域の全領域の画像ブロックを生成するように構成され、及びアダプタは、第１の数の視角に関する各領域の画像ブロック間の視差に応じて少なくとも１つの更なる視方向の画像ブロックを生成する、複数の領域のうちの領域のサブセットを後で選択するように構成される。

本発明は、多くの実施形態及びシナリオにおいて、計算資源対画質のトレードオフの改善をもたらし得る。この手法は、複雑度が低く且つ資源をあまり必要としない制御及び割当手法が使用されることを可能にしながら、資源の正確な割当を可能にする効率的操作をもたらし得る。この手法は、容易にされ且つ／又は低減された実装及び／又は操作を提供し得る。

本発明の任意選択的特徴によれば、アダプタは、視差の測度が閾値を上回ることに応じて、少なくとも１つの更なる視角の画像ブロックを生成する領域を選択するように構成され、視差の測度は、更なる視角に隣接する２つの視角の２つの画像ブロックの視差の測度である。

本発明は、多くの実施形態及びシナリオにおいて、計算資源対画質のトレードオフの改善をもたらし得る。この手法は、複雑度が低く且つ資源をあまり必要としない制御及び割当手法が使用されることを可能にしながら、資源の正確な割当を可能にする効率的操作をもたらし得る。この手法は、容易にされ且つ／又は低減された実装及び／又は操作を提供し得る。

本発明の任意選択的特徴によれば、アダプタは、奥行の測度が閾値を下回る領域のサブセットを決定し、及びそのサブセットの各領域内の画像ブロックの数を１に設定するように構成される。

領域のサブセット内の領域ごとに、第１の画像生成ユニットは２Ｄ画像情報のみを生成することができる。

このことは、領域のサブセットの計算資源を減らし、それにより他の領域向けの資源割当を空けることができる。一部の実施形態では、それにより画質の改善がもたらされ得る。

一部の実施形態では、第１の画像生成ユニットは、入力三次元画像から中間三次元画像を生成するように構成され、入力三次元画像は、異なる視角に対応する複数の二次元画像の組及び関連する奥行マップを有する二次元画像の少なくとも一方によって表される。

一部の実施形態では、第１の画像生成ユニットは、グラフィカル三次元モデルを評価することによって中間三次元画像を生成するように構成される。

一部の実施形態では、特性は非空間特性とすることができ、とりわけ非奥行特性とすることができる。

本発明の任意選択的特徴によれば、特性は視覚的特性である。

このことは、多くの実施形態において性能の改善をもたらし得る。特性は、とりわけ第１の領域の少なくとも１つの画素の近傍の視覚的特性であり得る。アダプタは、第１の領域の近傍の視覚的特性に応じて第１の領域の画像ブロックの数を決定するように構成され得る。（第１の領域の）近傍は、第１の領域に属する少なくとも１つの画素を含む領域であり得る。アダプタは、第１の領域の少なくとも１つの画素を含む領域の視覚的特性に応じて第１の領域の画像ブロックの数を決定するように構成され得る。

アダプタは、この操作を複数の領域の全領域について行うように構成され得る。画像ブロックの数の決定は領域ごとに独立に行われ得る。

視覚的特性は、領域の近傍内の視覚的特性を示すことができ、例えば近傍内の輝度／明度／強度の変化の程度を示し得る。

本発明の任意選択的特徴によれば、特性は明度の特性及び色の特性の少なくとも一方を示す。

このことは、多くの実施形態において性能の改善をもたらし得る。特性は、とりわけ第１の領域の少なくとも１つの画素の近傍の明度の特性及び色の特性の少なくとも一方を示し得る。アダプタは、第１の領域の近傍の明度の特性及び色の特性の少なくとも一方に応じて第１の領域の画像ブロックの数を決定するように構成され得る。（第１の領域の）近傍は、第１の領域に属する少なくとも１つの画素を含む領域であり得る。アダプタは、第１の領域の少なくとも１つの画素を含む領域の視覚的特性に応じて第１の領域の画像ブロックの数を決定するように構成され得る。

アダプタは、この操作を複数の領域の全領域について行うように構成され得る。画像ブロックの数の決定は領域ごとに独立に行われ得る。

例えば明度及び／又は色の変化に依存することを含め、明度値及び色値の少なくとも一方に値を依存させることにより、又はそこから値を少なくとも部分的に導出可能にすることにより、特性は明度の特性及び色の特性の少なくとも一方を示し得る。

本発明の任意選択的特徴によれば、第１の画像生成ユニットは、三次元シーンの三次元モデルに基づいて中間三次元画像を生成するように構成され、及びアダプタは、三次元モデルの特性に応じて画像ブロックの数を適合させるように構成される。

本発明の一態様によれば、中間三次元画像を生成するための第１の画像生成ユニットであって、中間三次元画像は複数の領域を含み、その複数の領域の視方向に対応する画素値の或る数の画像ブロックを生成するように第１の画像生成ユニットが構成され、画像ブロックの数は複数の領域のうちの少なくとも２つの領域について異なる、第１の画像生成ユニットと、第２の数のビュー画像を含む出力三次元画像を中間三次元画像から生成するための第２の画像生成ユニットであって、第２の数のビュー画像のそれぞれは視方向に対応する、第２の画像生成ユニットと、三次元画像を表示するためのディスプレイ構成部と、出力三次元画像を表示するためにディスプレイ構成部を駆動するためのディスプレイドライバと、中間三次元画像及び第１の画像生成ユニットへの三次元入力画像の少なくとも一方の特性に応じて、複数の領域のうちの少なくとも第１の領域について異なる視方向を有する画像ブロックの数を適合させるためのアダプタとを含む、オートステレオスコピック三次元ディスプレイが提供される。

本発明の一態様によれば、出力三次元画像を生成する方法が提供され、この方法は、複数の領域の視方向に対応する画素値の或る数の画像ブロックを生成することによって複数の領域を含む中間三次元画像を生成するステップであって、画像ブロックの数は複数の領域のうちの少なくとも２つの領域について異なる、ステップと、第２の数のビュー画像を含む出力三次元画像を中間三次元画像から生成するステップであって、第２の数のビュー画像のそれぞれは視方向に対応する、ステップと、中間三次元画像及び中間三次元画像を生成するために使用される三次元入力画像の少なくとも一方の特性に応じて、複数の領域のうちの少なくとも第１の領域について異なる視方向を有する画像ブロックの数を適合させるステップとを含む。

本発明のこれらの及び他の態様、特徴、及び利点が以下に記載の実施形態から明らかになり、かかる実施形態に関して説明される。

本発明の実施形態が例としてのみ図面に関して説明される。

オートステレオスコピックディスプレイから生成されるビューの一例を示す。 オートステレオスコピックディスプレイの表示パネルにオーバレイするレンチキュラスクリーンの一例を示す。 オートステレオスコピックディスプレイ装置の要素の概略的遠近図を示す。 オートステレオスコピックディスプレイ装置の要素の断面図を示す。 本発明の一部の実施形態によるディスプレイシステムの一例を示す。 オートステレオスコピックディスプレイからの投影ビュー画像の一例を示す。 ２つのオブジェクトを有する三次元シーンの一例を示す。 本発明の一部の実施形態に従って出力三次元画像を生成するための一例示的手法の側面を示す。 ２つのオブジェクトを有する三次元シーンの一例を示す。 本発明の一部の実施形態に従って出力三次元画像を生成するための一例示的手法の側面を示す。 本発明の一部の実施形態に従って出力三次元画像を生成するための一例示的手法の側面を示す。

以下の説明は、三次元画像を表示するために使用されるオートステレオスコピックディスプレイに適用可能な本発明の実施形態に焦点を当てる。但し、本発明はこの用途に限定されず、例えばビュー分離メガネに基づくステレオスコピックディスプレイを含む他の多くの用途に適用され得ることが理解されよう。

オートステレオスコピックディスプレイ構成部３０１は、表示パネル３０３を含む。例えばディスプレイがＬＣＤ式のディスプレイの場合、ディスプレイ構成部３０１は光源３０７を含み得るが、例えばＯＬＥＤ式のディスプレイには光源は不要である。

ディスプレイ構成部３０１は、ビュー形成機能を果たす、表示パネル３０３の表示面上に配置されるレンチキュラシート形式のビュー形成光学素子３０９も含む。ビュー形成光学素子３０９は、互いに平行に延びるレンチキュラレンズ３１１の行を含み、明瞭にするためにそのうちの１つのみが誇張された寸法で図示されている。レンチキュラレンズ３１１は、ビュー形成機能を果たすビュー形成要素としての役割を果たす。図３のレンチキュラレンズ３１１は、表示パネルから見て外側に向く凸面を有する。凸面側を表示パネルに向けてレンチキュラレンズを形成することもできる。

レンチキュラレンズ３１１は、凸円柱要素の形態を取ることができ、表示パネル３０３からディスプレイ構成部３０１の前に位置する利用者の目に様々な画像又はビューを与えるための光出力方向付け手段としての役割を果たす。

図３に示されているオートステレオスコピックディスプレイ構成部３０１は、異なる方向に幾つかの異なる遠近感のビューを与えることができる。具体的には、各レンチキュラレンズ３１１は、各行内のディスプレイサブピクセル３０５の小さいグループ上に重なる。レンチキュラ要素３１１は、幾つかの異なるビューを形成するために、グループの各ディスプレイサブピクセル３０５を異なる方向に投影する。利用者の頭が左から右に動くと、その利用者の目は幾つかのビューのうちの異なるビューを順に受け付ける。

図５は、本発明の一部の実施形態によるオートステレオスコピックディスプレイを示す。このオートステレオスコピックディスプレイは、図３及び図４に関して説明されたようなオートステレオスコピックディスプレイ構成部３０１を含む。加えてこのオートステレオスコピックディスプレイは、三次元画像を提示できるようにオートステレオスコピックディスプレイ構成部３０１を駆動するための駆動信号を生成するように構成されるディスプレイドライバ５０１を含む。

三次元画像は、典型的には三次元画像によって表されるシーンの（同時に存在する）視覚情報及び奥行情報を提供する任意のデータとすることができる。典型的には、三次元画像の少なくとも一部の画素が奥行の指示及び光出力の指示の両方によって表される。奥行の指示は、例えば直接奥行値又は視差値であり得る。光出力の指示は、典型的には少なくとも１つの輝度値及び／又は彩度値を含む値の組であり得る。

三次元画像は、例えば異なるビュー／視角に対応するＮ画像の組であり得る。別の例として、三次元画像は、右目用の１つの二次元画像及び左目用の１つの二次元画像を有する立体画像であり得る。別の例として、三次元画像は、関連する（例えば単一画像の画素ごとに視差値又は奥行値を与える）奥行マップを有する単一の二次元画像であり得る。更に別の例として、三次元画像は関連する奥行マップを有するＺスタックであり得る。三次元画像の１つ又は複数（場合により全て）の二次元画像は部分画像であり得る。従って、三次元画像の異なる二次元画像が異なる区域／領域の画像データを含み得る。

ディスプレイドライバ５０１は、中間三次元画像を生成するように構成される第１の画像生成ユニット５０３を含む。第１の画像生成ユニット５０３は、第１の画像生成ユニット５０３から受信される三次元画像データセットから出力三次元画像を生成するように構成される第２の画像生成ユニット５０５に結合される。

第２の画像生成ユニット５０５は、オートステレオスコピックディスプレイ構成部３０１向けの適切な駆動信号を生成するように構成されるドライバ５０７に結合される。とりわけ、ドライバ５０７は第２の画像生成ユニット５０５から出力三次元画像を受信し、続けて、オートステレオスコピックディスプレイ構成部３０１に駆動信号が供給されるとき、出力三次元画像をレンダリングさせる駆動信号を生成する。

出力三次元画像は幾つかのビュー画像を含み、各ビュー画像は（異なる）視方向に対応する。各ビュー画像は、所与の視方向からのシーンの完全な画像を提供し得る。とりわけ、出力三次元画像は異なる視方向からの、特に異なる視角からのシーンの複数の画像を含み得る。多くの実施形態において、出力三次元画像は、オートステレオスコピックディスプレイのビューごとに１つのビュー画像を含み得る。例えば、オートステレオスコピックディスプレイは９ビューディスプレイとすることができ、第２の画像生成ユニット５０５は出力三次元画像を９つの画像として生成することができ、各画像はオートステレオスコピックディスプレイのビューの１つの視角に対応する。

第１の画像生成ユニット５０３は、複数の二次元画像ブロックを含むように中間三次元画像を生成することができ、各画像ブロックは所与の視方向について生成される。画像ブロックは部分画像とすることができ、即ち各画像ブロックは画像の一部／断片であり得る。画像ブロックは、視覚的値が与えられる画素群、とりわけ彩度値及び／又は輝度値等の光出力の指示が与えられる画素群であり得る。画像データはとりわけ画素値であり得る。

各画像ブロックは、視角に対応し、その視角に対応する完全な二次元画像の一部を表すことができる。中間三次元画像は、所与の視方向について複数の画像ブロックを含み得る。一部の視角では、完全な画像を形成するのに画像ブロックが十分であり得る。従って、各画像が所与の視方向に対応し、ことによると部分画像でありながら、複数の二次元画像を含むように中間三次元画像が生成され得る。多くの実施形態において、二次元画像のサブセットがフル画像であるのに対し、他は部分画像に過ぎない（与えられる画像データ量は概して異なる）。

典型的には、二次元画像は１９２０×１０８０画素等の所与の画素領域／分解能に対応する。三次元画像では、所与の視方向に対応する各二次元画像は所与の画素領域／分解能によって表され、概してそれは三次元画像内の全ての画像について同じである。図５の例では、第１の画像生成ユニット５０３が、複数の視角の画像データを含むように中間三次元画像を生成することができる。視角ごとに同じ画素領域／分解能が割り当てられる。しかし、第１の画像生成ユニット５０３は完全な画像であるように画像の全てを生成しないことができ、即ち画像データは画像の一部についてのみ与えられ得る。従って、所与の視方向について、中間三次元画像は画像情報を含む１つ又は複数の画像ブロックを含むことができ、画像情報が提供されない空領域も含み得る。従って各画像ブロックはビュー画像の一部であり得る。例えば、画素領域が複数の領域に分割され得るが、画像データはそれらの領域のサブセットのみに与えられる場合がある。

多くの実施形態において、第１の画像生成ユニット５０３は、１つ又は複数の視角に関する完全な画像ブロックの組を含むように中間三次元画像を生成することができる。従って、それらの視角について完全なビュー画像が与えられる。しかし、他の視角では、領域のサブセットについてのみ画像データが生成され得る。

画像ブロックの数、位置、範囲、形状、大きさ等は、異なる視角ごとに異なり得る。従って、中間三次元画像内で画像データが与えられる視角は、画像の異なる区域／領域ごとに異なり得る。

実際に、第１の画像生成ユニット５０３は、（例えばオートステレオスコピックディスプレイのビュー画像ごとの画像分解能に対応する）所与の大きさの画像キャンバスに基づいて中間三次元画像を生成することができる。所与の領域（領域は例えば単一画素又は画素群であり得る）について、中間三次元画像は幾つかの異なる視角の画像データを含み得る。この画像データは画像ブロック単位で与えられる。画像データが与えられる、即ち画像ブロックが生成される視角の数は異なる領域ごとに（例えば異なる画素又は画素群ごとに）異なり得る。

同等に、中間三次元画像は、幾つかの二次元視方向画像によって形成されると見なされ得、各視方向画像は１つの視方向に対応する。二次元視方向画像は部分的であり得る。従って、画像の一部を形成する画像ブロック単位で画像データが与えられ得る。二次元視方向画像の他の部分は空であり得る。画像ブロックの特性は異なる視方向画像ごとに異なる場合があり、とりわけ所与の視方向画像内に含まれる画像ブロックの大きさ及び／又は位置は視方向画像間で異なり得る。例えば、一部の視方向画像では含まれる画像ブロックが完全な画像をもたらすことができ、即ち一部の視方向について隙間／空領域がない場合がある。他の視方向では、視方向画像が１つの又は少数の小さい画像ブロックのみを含む場合がある。従って、一部の視方向画像はほぼ完全に空であり得る。

多くの実施形態及びシナリオにおいて、少なくとも一部の画像ブロックが１０画素、１００画素、１０００画素、又は１０００画素を超える大きさを有することができ、即ち一部の画像ブロックは少なくとも１０画素、１００画素、１０００画素、又は１０００画素の群によって形成され得る。

第２の画像生成ユニット５０５は、中間三次元画像を処理して出力三次元画像を生成するように構成される。この処理は、オートステレオスコピックディスプレイ構成部３０１のビューのそれぞれについて１つの全体の／完全なビュー画像が与えられるように、完全なビュー画像の組を生成することを概して含む。

第１の画像生成ユニット５０３は、三次元処理に基づいて中間三次元画像を生成するように構成される。第１の画像生成ユニット５０３は、所与の視方向の画像ブロックを生成するためのアルゴリズムを適用し、そのアルゴリズムはシーン／画像内の様々なオブジェクトの奥行の検討を含む。とりわけ第１の画像生成ユニット５０３は、オブジェクトの奥行に応じて、異なるオブジェクトを表す画素の位置を生成するように構成される。

一部の実施形態では、第１の画像生成ユニット５０３は、入力三次元画像から中間三次元画像を生成するように構成され得る。入力三次元画像は、例えば左目ビュー及び右目ビューに対応する２つの三次元画像に対応することができ、又は例えば関連する奥行マップを有する単一の画像又はｚスタック等、例えば比較的低データ速度の表現であり得る。

入力三次元画像は、ローカルメモリ、記憶媒体、遠隔ネットワークサーバ、無線放送等、任意の適切な内部情報源又は外部情報源から受信され得る。一部の実施形態では、入力三次元画像（実際は中間三次元画像及び出力三次元画像）が単一の静止画像であり得る。他の実施形態では、入力三次元画像（実際は中間三次元画像及び出力三次元画像）が三次元動画像列の単一の画像（単一のフレーム）であり得る。

かかる実施形態では、第１の画像生成ユニット５０３が、当業者に知られるビューシフト、デオクルージョン、画素シフト等を含む三次元処理を行うことによって入力三次元画像から画像ブロックを生成するように構成され得る。

例えば、単一の二次元画像及び奥行マップによって形成される入力三次元画像に基づいて所与の視角の画像ブロックを生成するために、第１の画像生成ユニット５０３は、特定の領域に対応する二次元画像の画素を選択することができる。次いで、視角及び奥行マップ内に示される画素の奥行から水平画素シフトが画素ごとに計算される。その後、計算された量だけ画素がシフトされ、シフトによって引き起こされる任意の隙間が適切なデオクルージョン手法（補間法又は外挿法等）を使用して埋められる。その結果生じる決定された画素値は、視角の画像ブロックに対応する。

一部の実施形態では、第１の画像生成ユニット５０３がシーン及び関連する肌理及び光源等の三次元モデル（幾何学的形状）を評価することによって中間三次元画像が生成され得る。例えばゲーム用途では、第１の画像生成ユニット５０３は三次元要素を評価し、異なる視角の画像データを計算することができる。かかる例では、中間三次元画像は第１の画像生成ユニット５０３によって然るべく合成され得、入力画像に基づかない。

特定の領域について画像ブロックが生成される視角の量は、異なる領域ごとに異なり得る。例えば、オートステレオスコピックディスプレイ構成部３０１のビューの視角のサブセットについて、適切な奥行ベースの技法を使用して完全な画像が入力画像から計算され得る。例えば、９ビューのオートステレオスコピックディスプレイでは、第１の画像生成ユニット５０３が、例えば視角の５つについて完全な画像に対応する画像ブロックを生成することができる。

奥行ベースの処理は概して非常に計算集約的であり、かなりの計算能力を必要とする。従って、所要のビュー画像のサブセットのみを計算することが有利である。

フル画像に加えて、第１の画像生成ユニット５０３は幾つかの追加の視角について画像ブロックを更に計算することができ、とりわけオートステレオスコピックディスプレイの残りの４つのビューに対応する視角の１つ又は複数の画像ブロックを計算することができる。従ってこれらの画像ブロックは、追加のビュー画像の１つ又は複数の部分画像を提供し得る。

第２の画像生成ユニット５０５は、ビュー画像を含む出力三次元画像を生成するように構成され、とりわけオートステレオスコピックディスプレイの全てのビュー画像を生成することができる。この具体例では、第２の画像生成ユニット５０５が、中間三次元画像に基づいて９つ全てのビュー画像の生成に進むことができる。

図５の第２の画像生成ユニット５０５の処理は、中間三次元画像の奥行情報を一切考慮しない。むしろ、第２の画像生成ユニット５０５は、中間三次元画像内の如何なるオブジェクト又は画素の奥行にも依存しない出力三次元画像を生成するための処理を行うことができる。この処理は、低複雑度をもたらす画像の二次元処理であり得る。

とりわけ第２の画像生成ユニット５０５は、異なる視角の中間三次元画像の画像ブロックの組合せに応じて、出力三次元画像の少なくとも一部を生成することができる。組合せは、とりわけ或る領域の画像ブロックの画像データ間の補間であり得る。補間は、典型的にはデータが計算される視方向の周囲の２つの最寄りの視方向に対応する２つの画像ブロック間であり得る。補間は線形補間とすることができ、従って組合せは直接の線形加重和であり得る。

具体例として、第１の画像生成ユニット５０３は、例えば（図１に関する）ビュー−３、０及び３の画像方向に対応するフル画像を生成することができる。次に第２の画像生成ユニット５０５は、ビュー２の画像データの生成に進むことができる。所与の領域について他の画像ブロックが与えられていない場合、その領域の画像データは、ビュー０及び３のビュー画像の画像データ間の補間によって生成され得る。しかし、別の領域では、中間三次元画像がビュー１の画像ブロックも含み得る。その場合、第１の画像生成ユニット５０３は、ビュー１とビュー３との間の補間によってビュー２の画像データの生成に進むことができる。

従って第２の画像生成ユニット５０５は、比較的複雑度が低く計算的に多くを求めないプロセスを使用することができる。とりわけ、計算的要求は第１の画像生成ユニット５０３の計算的要求よりも概して大幅に低い。しかし、非奥行ベースの処理により、このプロセスは典型的にはビューの正しい画像への近似のみをもたらし、とりわけ奥行を考慮しないことによる三次元アーティファクトを取り込む傾向がある。

従って、画質の観点からは第１の画像生成ユニット５０３の奥行ベースの処理を使用して画像データを生成することが望ましいが、計算資源の観点からは、第２の画像生成ユニット５０５の非奥行処理を使用して画像データを生成することが望ましい。

図５のオートステレオスコピックディスプレイは、中間三次元画像及び第１の画像生成ユニット５０３がそこから中間画像を生成するように構成される三次元シーン表現の少なくとも一方の特性に応じて、第１の領域内で第１の画像生成ユニット５０３によって生成される画像ブロックの数を適合させるように構成されるアダプタ５０９を更に含む。表現は、とりわけそこから中間三次元画像が生成される入力画像又は三次元モデルであり得る。一部の実施形態では、アダプタ５０９が、第１の画像生成ユニットへの入力画像、及びとりわけ第１の領域の近傍の画像特性に応じて画像ブロックの数を適合させるように構成され得る。

以下の説明では、中間三次元画像又は入力三次元画像の少なくとも一方における特性（とりわけコントラスト又は奥行等の画像特性）に応じて画像ブロックの数が適合される実施形態にまず焦点を当てる。

第１の領域は、例えば中間三次元画像の二次元（基準）画像内の空間領域として、又は同等に中間三次元画像の二次元（基準）画像内の画素群（又はサブピクセル）として定められる空間領域であり得る。

第１の画像領域は基準画像の一部とすることができ、典型的には総画像領域の例えば５０％、２５％、又は１０％未満であり得る。第１の画像領域は基準画像の一部とすることができ、典型的には総画像領域の例えば０．１％、０．５％、１％、５％、又は１０％を上回り得る。多くの実施形態において、画像は複数の画像領域（多くの場合、少なくとも５個若しくは１０個の画像領域、及び／又は多くの場合５０個、１００個、若しくは５００個以下の領域）に分割され得る。

多くの実施形態において、第１の領域は基準画像の１０画素、１００画素、１０００画素、更には１０００画素を超える大きさを有し得る。

明瞭且つ簡潔にするために、以下の説明は適合が複数の領域について行われる手法に焦点を当てる。第１の領域はそれらの領域の何れかであり得ることが理解されよう。

従って図５のシステムでは、中間三次元画像内で表される視角の数が動的且つ局所的に適合され得る。視角の数は、異なる領域ごとに異なり得る。とりわけ所与の領域では、中間三次元画像が異なる視方向／視角に対応する或る数の画像ブロックを含み得る。所与の領域の画像ブロックの数は、画像特性に基づいて、とりわけその領域の近傍の画像特性に基づいてアダプタ５０９によって適合され得る。従って第１の画像生成ユニット５０３によって画像情報が生成される視角の数は、局所的画像特性に基づいて適合される。

局所的画像特性に基づいて第１の画像生成ユニット５０３によって生成される画像ブロックの数を適合させることは、概して計算資源使用量と画質との間のトレードオフの動的且つ局所化された適合をアダプタ５０９が行うことを可能にする。第１の画像生成ユニット５０３によってレンダリングされる画像ブロックが多いほど、完全な奥行ベースの計算に基づくより多くの画像情報を入手できるため、その結果生じる第２の画像生成ユニット５０５によって生成されるビュー画像の質が高くなる。しかし、或る領域についてレンダリングされる画像ブロックが少ないほど、欠落情報を生成するための第２の画像生成ユニット５０５による処理が完全な奥行ベースの処理よりもはるかに少ない計算資源を概して必要とするため、計算資源は少なくなる。以下、第１の画像生成ユニット５０３による奥行ベースのレンダリングもレンダリングと呼ぶ。

従って、アダプタ５０９は、第１の画像生成ユニット５０３の奥行ベースのレンダリングに基づいて所与のビュー画像の画像データを計算することと、第２の画像生成ユニット５０５の非奥行ベースの処理に基づいて所与のビュー画像の画像データを計算することとの間のトレードオフの局所化された適合を行うことができる。

例えば、幾つかの領域が中間三次元画像について、及び同等に入力三次元画像について決定され得る。

アダプタ５０９は、例えば中間三次元画像を幾つかの領域に分割することができ、領域の近傍における中間三次元画像の局所的画像特性を領域ごとに決定することができる。領域の大きさ及び／又は形状は様々な実施形態において異なることができ、例えば画像特性に応じて動的に変わり得る。

例えば一部の実施形態では、アダプタ５０９が中間三次元画像を様々な画像セグメントに（例えば当業者に知られているように色及び／又は輝度に基づいて）区分化することができる。この区分化は、様々な画像オブジェクトの識別情報を直接与えることができ、又は一部の実施形態では決定されたセグメントが例えば画像オブジェクトへと組み合わせられ得る。

別の例として、第１の三次元画像が所定の大きさ及び位置の領域へと分割され得る。例えば画像は、所定の大きさの矩形画像領域の格子へと分割され得る。実際に多くの実施形態において、各領域は単一の画素に対応し得る。

領域は、例えば中間三次元画像の１つの二次元画像に対して定められ得る。例えば領域は、中間三次元画像の中央ビュー画像に対して定められ得る。この画像（又は画像キャンバス）内では、領域が画素群として定められ得る。実際に、各画素が領域と見なされ得る。一部の実施形態では、かかる基準画像が、例えば矩形画素群の格子への所定の一定分割によって画素領域へと分割され得る。

次いでアダプタは、領域ごとに適切な画像特性を決定することに進むことができ、画像特性は領域の近傍内で決定される。画像特性は、基準画像を解析することによって決定され得、又は例えば中間三次元画像の他の画像の対応する部分を解析することによって生成され得る。

例えば一部の実施形態では、アダプタ５０９は、中間三次元画像の基準画像を矩形画素群の格子へと分割することができる。例えば１９２０×１０８０画素は、それぞれ２４０×１３５画素によって形成される６４個の領域に分割され得る。それらの領域のそれぞれについて、アダプタ５０９は領域の近傍内の画素の主要な色範囲を決定することができる。近傍は、とりわけ領域に直接対応することができ、従って領域ごとに決定される画像特性は、例えば領域内の基準画像の画素の中央彩度値又は平均彩度値（例えばＹＵＶ色表現の平均ＵＶ値）であり得る。一部のシナリオでは、彩度分散値（chroma variance）も決定され得る。

この平均彩度（及び任意選択的に分散値）に基づき、アダプタ５０９は領域の画像ブロックの数、即ち第１の画像生成ユニット５０３によって領域の画像データが生成される異なる視角の数を決定することができる。例えば、アダプタ５０９は、平均彩度が人間の肌の色合いに一致すると考えられる範囲内にあるかどうかを評価することができる。人間の肌の色合いに一致すると考えられる範囲内にある場合、且つ彩度分散値が十分低い場合、アダプタ５０９はその領域を潜在的な人間の皮膚領域として指定する。

次いでアダプタ５０９は、潜在的な人間の皮膚領域として指定されているかどうかに応じて、或る領域のために生成する画像ブロックの数を選択することができる。例えば、潜在的な人間の皮膚領域では、オートステレオスコピックディスプレイ構成部３０１の全ての視角について画像ブロックが生成され得る。しかし、他の全ての領域では、視角のサブセットについてのみ画像ブロックが生成される。例えば、９ビューのオートステレオスコピックディスプレイの各視角に対応する９個の画像ブロックが潜在的な人間の皮膚領域のために生成され得るのに対し、他の領域では例えばビュー−３、０及び＋３に対応する３個の画像ブロックのみが生成される。

このようにして、計算資源を犠牲にして、人間の皮膚に対応する可能性が高い領域について品質向上が実現される。このことは、全体的な計算資源使用量を依然として低く抑えつつ、例えば人間の顔の画質及び三次元認識を改善することができる。

画像特性が決定される近傍の大きさ及び／又は形状は、様々な実施形態及びシナリオごとに異なることができ、それぞれの実施形態の特定の要件及び選択に依存することが理解されよう。

例えば画像特性は、領域よりも大きい、且つ場合により大幅に大きい近傍内の例えばコントラストの測度又は奥行の測度であるとしばしば決定され得る。例えば各画素が領域に対応する場合、画素の周りの領域内の画素を検討することによってコントラストの測度が決定され得る。領域は、例えばソフト遷移をもたらす加重空間フィルタによって決定され得る。

多くの実施形態において、領域の近傍は、領域の画素まで例えば５０画素、１００画素、２５０画素、又は５００画素以下の距離を有する画素群であり得る。多くの実施形態において、領域の近傍は、領域の画素まで中間三次元画像の垂直寸法の５％、１０％、又は例えば２０％以下の垂直距離を有し、領域の画素まで中間三次元画像の水平寸法の５％、１０％、又は例えば２０％以下の水平距離を有する画素群であり得る。垂直寸法及び水平寸法は、例えば垂直又は水平の画素分解能として、即ち画像の画素行又は画素列の総数として測定され得る。

第１の領域の近傍は、第１の画素に属する少なくとも１つの画素を含む領域であり得る。

画像特性の決定は中間三次元画像に基づくことができ、中間三次元画像のためにどの画像ブロックが生成されるのかを適合させるために画像特性が使用され得ることが理解されよう。従って、例えば中間三次元画像の一部（中央画像又は別の基準画像等）が最初に生成される反復的手法が使用され得る。この画像に基づき、１つ又は複数の領域の画像特性が生成され得る。その結果生じる画像特性に基づき、アダプタ５０９はどの追加の画像ブロックを生成するのかを決定することができる。

上記の説明では、画像特性が中間三次元画像に基づいて決定された。しかし、領域の画像特性は中間三次元画像を評価し又は解析することによって直接決定される必要はなく、例えば中間三次元画像の画像特性の指示を与え得る特性を解析することによって決定され得ることが理解されよう。

とりわけ、中間三次元画像が入力三次元画像から生成される例では、入力三次元画像と中間三次元画像との間に密接な対応関係がある。実際に多くの実施形態において、画像特性は入力三次元画像を解析することによって生成され得る。

実際に、中間三次元画像内の領域と入力三次元画像内の領域との間に対応関係があることが理解されよう。例えば、中間三次元画像の中央ビュー画像に対して定められる領域では、対応する領域が入力三次元画像の画像内に存在すると考えられ得る。例えば画像が、関連する奥行マップを有する単一の中央二次元画像として与えられる場合、入力三次元画像の中央画像内の画素群が入力三次元画像の二次元画像内の同じ画素群に直接対応し得る。

基準画像に対して領域が定められる当該基準画像と、入力三次元画像又は中間三次元画像に基づいて画像特性が決定される当該入力三次元画像又は中間三次元画像の画像との間に角度差があるシナリオでは、対応する視差が考慮され得る。例えば、中間三次元画像の中央画像の領域の画像特性は、画像間の視角差を反映するようにシフトされる領域内の別の画像の画像特性を評価することによって決定され得る。しかし、一部のシナリオでは、かかるシフトが補償されない場合があり、同じ領域が単純に検討される（例えば画像特性が決定される近傍に比べてシフトが十分小さいと考えられる場合、又はセクションが完全な画素行を含む場合）。

例えば或る視方向に対して定められる画像（例えば中央画像又は基準画像）の領域に関する画像特性の指示は、他の視方向のデータを検討することによって決定され得ることも理解されよう。例えば、中央画像内の画素の奥行の指示は、基準中央画像の両側の視角について２つの画像の画素間の視差を測定することによって決定され得る（実際にそれらの２つの画像は中間三次元画像の二次元画像又は入力三次元画像の二次元画像とすることができ、例えばそれらの画像は入力左目画像及び入力右目画像であり得る）。

一部の実施形態では、画像特性がとりわけ近傍の奥行の測度であり得る。アダプタ５０９は、第１の領域の近傍の奥行の測度に応じて第１の領域の画像ブロックの数を決定するように構成され得る。領域の奥行の測度は、領域の近傍内の奥行の特性を示す。

一部の実施形態では、画像特性が、とりわけ近傍のコントラストの測度であり得る。アダプタ５０９は、第１の領域の近傍のコントラストの測度に応じて第１の領域の画像ブロックの数を決定するように構成され得る。領域のコントラストの測度は、領域の近傍内のコントラストの特性を示す。

多くの実施形態において、アダプタ５０９は、第１の領域の近傍のコントラストの測度及び奥行の測度の両方に応じて第１の領域の画像ブロックの数を決定するように有利に構成され得る。

測度が決定される近傍の大きさは領域の大きさと同じである必要はなく、領域の大きさよりも大きい又は小さいことができることが理解されよう。奥行の測度及びコントラストの測度を決定するのに使用される近傍は、同じであり得るか又は異なり得る。

例えばコントラストの測度は、領域よりも大きい、ことによると大幅に大きい近傍内の輝度又はカラーチャネルの強度値の変化を反映するように多くの場合に決定され得る。例えば各画素が領域に対応する場合、画素の周りの領域内の画素を検討することによってコントラストの測度が決定され得る。領域は、例えばソフト遷移をもたらす加重空間フィルタによって決定され得る。

別の例として、多くの実施形態において、奥行の測度は例えば領域の近傍内の画素の平均奥行値又は加重奥行値として決定され得る。例えば１つの画素に対応する領域では、奥行の測度は画素の周りの領域の平均奥行値であり得る。概して奥行の測度は、幾らかの空間的フィルタリング又は平均化を含むように計算される。例えば領域が画像のセグメント又はオブジェクトに対応する場合、奥行の測度は領域内の全ての奥行レベルの平均値、最小値、最大値、又は中央値として計算され得る。一部の実施形態では近傍が領域よりも小さい。例えば大きい画像セグメントが識別される場合、奥行の測度は画像セグメントの中央付近の画素の平均奥行レベルとして生成され得る。

奥行はしばしば視差値によって表されることがあり、そのため、値は基準となる画面の水平面までの距離を反映し得る。非奥行ベースの処理を使用することによる認識可能なアーティファクト量及び劣化量は、概して連続したｚ値の奥行よりも視差値に良く関係するため、このことは多くのシナリオにおいて魅力的である。例えば無限の奥行は、例えば６５ｍｍの画素視差に対応し得る。かかる奥行の範囲について引き起こされるアーティファクト／ぼけの量は、［０；∞］の奥行スケールよりも［０；６５ｍｍ］の奥行スケールによってより良く表される傾向がある。あり得る奥行の測度の例は、例えば視差値の平均値、中央値、最大値、又は二乗平均（ＲＭＳ：root-mean-square）を含む。

奥行の測度は、単一の奥行値として決定され又は計算される必要はないことが理解されよう。例えば、領域間の視差は領域の奥行に直接依存し、視差は対応する画像領域がどの程度同様か（又は同様でないか）に反映され得るため、領域間の視差は適切な奥行の指示／測度を与えることができる。従って、それぞれの奥行値を明確に計算／推定する必要はない。むしろ、代わりにシステムは明確な奥行値ではなく複数のビューを含む三次元画像を得ることができる（例えば奥行マップが得られないことができる）。その場合、ビューの差が奥行を示し、使用され得る。例えばシステムは、得られたビューを評価し、（領域の近傍内の）そのビューの画像コンテンツと（典型的には）近傍のビューの対応する画像コンテンツとの差に基づいて画像ブロックの数を適合させるように構成され得る。

一部の実施形態では、例えば第１の三次元画像が奥行マップ又は視差マップを有する画像として与えられることにより、奥行値がアダプタ５０９にとって直接入手可能であり得る。入力三次元画像が異なる視角に対応する複数の画像によって形成される場合等の他の実施形態では、奥行値が受信画像から最初に計算され得る。例えば、２つの画像を比較することによって視差マップが生成され得る。次いで、例えば平均化効果を与える空間フィルタリングを適用することにより、生成済みの視差マップから局所的な奥行の測度が計算され得る。

多くの実施形態において、奥行の測度は表示画面レベルに対応する、即ち様々なビューについて投影画像内に視差がない奥行に対応する基準奥行からの奥行のずれを示し得る。従って、奥行の測度は、基準となる画面レベルの奥行からの領域の近傍内の奥行のずれを示すものであり得る。一部の実施形態では、奥行が視差値によって直接表され得、従って奥行はゼロ視差に対応する奥行と比べて直接与えられる。

アダプタ５０９は、例えば或る領域の局所的なコントラストの測度を生成することができ、局所的なコントラストの測度は画素の近傍内の明度／強度の変化（例えば画素の輝度の変化又は単一のカラーチャネル内の強度）を示す。

従って、コントラストの測度は、例えば画素／セグメントの周りの近傍について生成され得る。近傍は、例えば各画素の周りの所定の領域と見なすことができ、又は例えば動的に決定され得る。例えば近傍の大きさは、例えば画素の奥行値、平均明度レベル等に基づいて動的に変えられ得る。近傍は画然とした境界を有することができ、又は段階的遷移を有し得ることが理解されよう。アダプタ５０９は明確に領域を決定する必要はないが、これはコントラストの測度を決定するために使用されるアルゴリズムに概して固有であり得ることも理解されよう。

アダプタ５０９は、コントラストの測度を決定するために任意の適切なアルゴリズムを使用することができる。例えば一部の実施形態では、空間的高域フィルタリングを行うことができ、その後で空間的平均化が続き局所的な輝度の変化の指示を生成する。別の例として、画像の遷移（輝度及び／又は彩度）が識別され得、遷移のグラジェントとしてコントラストの測度が決定され得る。一部の実施形態では、局所的なコントラストの測度は、現在の画素と画素の近傍との間の（例えば知覚的に重み付けされた）明度差のように単純であり得る。

別の例として、コントラストの測度は、例えば近傍ビュー間の輝度及び／又は色距離の測度に基づくコントラストの推定値として生成され得る。適切な色距離の測度は、好ましくはバンドフィルタ信号（Ｓ−ＣＩＥＬＡＢ）のＬ^＊ａ^＊ｂ ΔＥ等の知覚距離の差分絶対値和（ＳＡＤ：sum of absolute differences）、差分ニ乗和（ＳＳＤ：sum of squared differences）、及び近似値（approximations）を含む。

多くの実施形態において、アダプタ５０９はコントラストの測度を水平なコントラストの測度として生成するように構成され得る。従って、水平方向の輝度又は強度の変化は考慮され得るのに対し、垂直方向の輝度又は強度の変化は実質的に無視され得る。

このことは多くの実施形態において性能の改善をもたらすことができ、とりわけ画像ブロックの適合を知覚される通りの画像により緊密に順応させることを可能にし得る。特に、三次元効果が垂直ではなく水平の変位及び視差を引き起こすことにより、遷移が水平方向に生じる場合、高コントラスト領域の影響が著しい視角的アーティファクトを取り込む可能性があるが、遷移が垂直方向に生じる場合はそうはならない。本発明者らは、水平コントラストを特に検討することにより、奥行及び／又は色合いのマッピングを局所的に適合させることによって可能な品質改善が大幅に高められ得ることを認識した。

画像変換部５０５は、局所的なコントラスト及び／又は奥行の測度に応じて、第１の画像生成ユニット５０３による完全な奥行ベースの処理によって画像データが生成される視角の数を局所的に適合させるように然るべく構成される。とりわけアダプタ５０９は、増加するコントラストの測度及び／又は奥行の測度について（即ち増加するコントラスト又は奥行を示す測度について）異なる視方向に対応する画像ブロックの数を増やすように構成され得る。画像ブロックの数は、コントラストの測度の単調増加関数及び／又は奥行の測度の単調増加関数であり得る。

図５のシステムは、画質（三次元体験及び知覚の改善を含む）と計算資源使用量との間のトレードオフの改善をもたらし得る。とりわけ多くのシナリオで、所与の計算資源使用量と引き換えに画質の改善が実現され、且つ／又は所与の画質と引き換えに計算資源使用量の減少が実現される。これは、局所的なコントラスト及び／又は奥行に応じて、奥行ベースの処理によって特定の画像データが生成される視角の量を局所的に適合させることによって特に実現され得る。

とりわけ本発明者らは、所与の領域の画像ブロックの数を動的に適合させることにより、単純な補間又は同様の非奥行ベースの手法から様々なビューの画像データを決定することによって引き起こされる劣化の影響が最小化され得ることを認識した。局所的な奥行及び／又はコントラストに適合を基づかせることは、とりわけ単純化された処理に敏感である可能性が最も高い領域に計算資源を集中させることを可能にする。

このことは図６の画像の一例を検討することによって説明され得る。この例は、画像のクロストークアーティファクト、とりわけゴースティングを示す。この画像では、コントラスト及び奥行のずれが非常に大きい第１の領域６０１を見て取ることができる。この領域内では、知覚画質を大幅に低下させる高度のゴースティングが認められ得る。対照的に、別の画像領域６０３はほぼ基準奥行レベルにあり、即ち奥行のずれはほぼない。この領域内では、比較的高度のコントラストにも関わらず事実上ゴースティングはなく、従って事実上クロストークアーティファクトがない。更に別の画像領域６０５では、奥行のずれが非常に大きいがコントラストレベルは非常に低い。この領域内では、ゴースティング効果があり得るが、非常に目立つアーティファクトは発生させない。従って、見て分かるように、奥行のずれ及びコントラストが大きい場合に高度な劣化が起こるのに対し、奥行のずれ及びコントラストが小さい場合は低度の劣化が生じる。

本発明者らは、複雑な奥行ベースの処理と単純化された非奥行ベースの処理とのバランスを局所的なコントラスト及び奥行の測度に基づいて局所的に適合させることにより、単純化された処理によって引き起こされる劣化の存在及び知覚的有意性が管理され得ることを認めた。実際にこの手法は、使用可能な計算能力を集中させることができるように、知覚的に特に敏感なセクションが識別されることを可能にし得る。

奥行は、異なるビューの画像間に視差及びオフセットがどの程度あるのかを示すものであると考えることができ、即ち異なるビューの画像がどの程度類似しているのか又は異なるのかについての指示であると考えることができる。そのため、奥行は完全な奥行ベースの処理の知覚的有意性の指示として理解され得る。

同様に、局所的なコントラストは、視角的（輝度／彩度）領域内で画像がどの程度異なるのかについての指示として捉えることができ、従って例えば単純な補間によってどのように大きい誤りが取り込まれるのかについての指示として捉えられ得る。

従って、局所的な奥行及びコントラストを一緒に検討することにより、特定の領域内で劣化がどの程度有意であり得るのかについての特に優れた指示が得られ得る。従って、２つの測度は知覚的影響についての優れた指示を相乗的にもたらし、１つのパラメータのみを検討する場合よりも知覚的影響を正確に表す情報を提供することができる。とりわけ、局所的な奥行及びコントラストを一緒に検討することは、重要な領域がより正確に識別されることを可能にし得る。

従って一部の実施形態では、アダプタ５０９は、局所的な奥行及びコントラストに応じて画像ブロックを生成するために、第１の画像生成ユニット５０３によって使用されるレンダリングパイプの数を局所的に調節するように構成される。ディスプレイの基準面（ビュー間の視差がないことに対応する）からの奥行のずれが（画面の前後に）増加すると、近傍のビューがより離れ離れになり、即ち画素の視差が増加する。増加する視差に対してより多くの画像ブロックを生成することにより、隣接する２つの画像間の視差が低く保たれ、それにより第２の画像生成ユニット５０５による改善された補間を可能にすることが実現され得る。記載の手法では、領域の現在の画像ブロック間の視差が高過ぎる場合、例えば追加の画像ブロックを作成することにより、隣接するビュー間の画素のシフトが所与の閾値未満に保たれ得る。全画像／シーケンスについてレンダリングされるビューの数を増やすのではなく、この手法は、奥行が大きい領域内でのみビューの数を増やし、それにより計算資源使用量を減らすことができる。

隣接するビュー間のこのシフトは、低コントラスト領域よりも高コントラスト領域内でより認識できる。実際に、コントラストが低い場合、その結果生じる補間値は完全な三次元処理によって生成される値と殆ど変らない可能性が高い。従って、視差が比較的高くても追加の画像ブロックを生成する必要がない場合がある。

一部の実施形態では、アダプタ５０９が、第１の画像生成機器の計算資源の可用性に応じて、複数の領域のうちの少なくとも１つの領域について第１の画像生成ユニット５０３によって生成される画像ブロックの数を決定するように構成され得る。

実際に多くのシナリオで、アダプタ５０９は、計算資源の総需要が所与の計算資源の可用性を超えないがそれに達するように、中間三次元画像の画像ブロックの数を選択することができる。

一例として、ディスプレイドライバ５０１は、動画像列の一部である入力三次元画像を実時間で処理することができる。従って、フレームごとに入力三次元画像が得られ、出力三次元画像が生成される。第１の画像生成ユニット５０３は、所定数のＮビュー画像を生成するように構成され得、各ビュー画像はオートステレオスコピックディスプレイ構成部３０１の視角ごとに生成され、Ｎはオートステレオスコピックディスプレイ構成部３０１のビューの総数Ｍよりも小さい。

例えばＭ＝１５ビューのオートステレオスコピックディスプレイ構成部３０１では、第１の画像生成ユニット５０３が、（例えば関連する奥行マップを有する二次元画像として与えられ得る）フレームの入力三次元画像から常に例えばＮ＝３のフルビュー画像を生成するように構成され得る。

この処理に必要な計算資源は比較的正確に推定され得る（又は少なくとも最大計算資源が推定され得る）。加えて、第１の画像生成ユニット５０３は更なる予備の可用資源を有することができ、予備資源の量はアダプタ５０９によって知られていても、推定されても、又は仮定され得る。例えば、第１の画像生成ユニット５０３の処理は、フレームごとに例えばＫ＝１００の追加の画像ブロックを生成するのに予備資源が十分であると仮定することができる。（Ｋは例えばアダプタ５０９によって動的に適合され得る）。

アダプタ５０９は、奥行及びコントラストの測度を領域ごとに然るべく決定することができ、領域の複合的な有意性の測度を生成することができ、有意性の測度は局所的なコントラスト及び奥行の両方を反映する。次いで、アダプタ５０９は領域の優先順位付けに進み、領域の有意性の測度に基づいて領域ごとに生成される画像ブロックの数を決定することができる。例えば有意性の測度が十分高い場合、第１の画像生成ユニット５０３がオートステレオスコピックディスプレイ構成部３０１の視角ごとに画像ブロックを生成すべきであると決定され得る。有意性の測度が低い場合、例えば１つおきの視方向について画像ブロックが生成されると決定される場合があり、その領域について５個の追加の画像ブロックが生成されることになる。

このようにしてアダプタ５０９は、資源プールが使用されるまで、即ちこの具体例では１００個の画像ブロックが割り当てられるまで、領域への画像ブロックの割当を進めることができる。このようにしてアダプタ５０９は、奥行ベースの処理が最大限の効果を有する特定の画像部分に可用資源を集中させることができる。

従って一部の実施形態では、アダプタ５０９は、局所的な奥行及びコントラストの測度に応じてＫ画像ブロックに資源を割り当てる優先順位付けメカニズムを実装することができ、Ｋは使用可能なハードウェア資源によって計算可能であると分かっている又は予期される画像ブロックの数である。Ｋの数は一定とすることができ、又は例えば時間が決まった帰還ループ内で実行時に推定され得る。一部の実施形態では、約（又は最大）Ｋの有意性（又は奥行若しくはコントラスト）の測度がλよりも大きいように閾値λが推定され得る。次いで、第１の画像生成ユニット５０３は入力三次元画像を処理し、それらの領域の追加の画像ブロックを生成することができ、有意性（又は奥行若しくはコントラスト）の測度は閾値λを上回る。

多くの実施形態において、領域の少なくとも１つ、典型的には全てが１つ又は複数の画素行によって形成され得る。従ってかかる実施形態では、領域が画素行の一部のみを含むのではなく、全画素行が含まれるか、又は画素行の画素が含まれない。具体例として、領域は中間三次元画像の中央二次元画像を画素行へと分割することによって生成され得、即ち各画素行が１つの領域を形成することができ、同等に各領域が１つの画素行によって形成される。他の実施形態では、領域の１つ又は複数が隣接する複数の画素行を含んだ状態で、より少数の領域が生成され得る。

他の実施形態では、領域が全画素行によって形成されないことができる場合があり、実際には画素行の画素のサブセットのみが含まれる１つ又は複数の領域を含み得る。この形態は更なる柔軟性をもたらすことができ、追加の画像ブロックを生成する領域を選択する際のより細かな粒度を可能にし得る。一部の実施形態では、かかる形態が計算資源を減らし得る。

しかし、全画素行に基づく領域を使用することが多くの実施形態においてとりわけ有利であり得る。特にビューシフト、デオクルージョン等の三次元処理が水平の視差、従って画素行ベースの処理に基づく。多くの実施形態において、全画素行を処理することと、画素行の一部のみを処理することとの計算資源使用量の差は非常に小さい可能性がある。実際に多くのシナリオで、画素行をより小さいセクションに分割し、セクションごとに測度を決定し、各セクションを評価すること等に必要な追加資源は、全画素行を処理するのに必要な追加資源よりもかなり多い場合がある。従って、領域を全画素行に基づかせることは多くの場合、複雑さを減らせるだけでなく全体的な資源使用量も減らし得る。

更に、奥行ベースの処理は概して行型の操作であり、それにより複雑さ及び資源使用量を減らすだけでなく、この手法は典型的には画質の改善ももたらし得る。例えば、近傍画素が視差シフトされない一方で画素行の一部の画素が視差シフトされる場合、エッジ式のアーティファクトが生成され得る。

先に述べたように、一部の実施形態では反復的手法が使用され得る。

一例として、第１の画像生成ユニット５０３は、第１の数の視方向について全領域の画像ブロックの生成にまず進むことができる。１つの視方向の全領域について画像ブロックを生成することにより、その視方向の完全な画像が生成される。第１の画像生成ユニット５０３は、最初にそのような幾つかの完全なビュー画像の生成に進むことができる。例えば、先に述べた例のように、第１の画像生成ユニット５０３は、Ｍ＝１５ビューのオートステレオスコピックディスプレイ構成部３０１のＮ＝３の完全なビュー画像を生成することができる。

その後、オートステレオスコピックディスプレイ構成部３０１は、領域のそれぞれについて、例えば画素行ごとに等、奥行の測度の生成に進むことができる。奥行の測度は、既に生成されているビュー画像に基づいて生成され得る。とりわけ、個々の領域の生成済みのビュー画像間の視差が決定され得る。例えば行ベースの手法では、既に生成されている画像ブロックに基づいて、即ち生成済みのビュー画像の画素行に基づいて最大視差又は平均（又は例えばＲＭＳ）視差が行ごとに決定され得る。

次いでアダプタ５０９は、それらの視差に基づき、新たなビューに対応する更なる画像ブロックが生成されるべき領域の選択に進むことができる。例えば第１の画像生成ユニット５０３は、各ビュー画像が例えば１０８０画素行の垂直分解能を有する中間三次元画像の追加の２００画素行を処理する予備容量を有し得る。その場合、アダプタ５０９は、視差の測度が最も高い２００画素行の選択に進むことができる。それらの画素行では、オートステレオスコピックディスプレイ構成部３０１の残りの視方向に対応する追加の画像ブロックが生成され得る。

アダプタ５０９は、選択領域の全てのビューについて画像ブロックを生成しないことができることが理解されよう。例えば一部の実施形態では、アダプタ５０９は、奥行の測度又はコントラストの測度が第１の閾値を上回る領域に関するオートステレオスコピックディスプレイ構成部３０１の全てのビューの画像ブロックが生成されるように取り決め、奥行の測度又はコントラストの測度が第１の閾値を下回るが第２の閾値を上回る領域の１つおきのビューの画像ブロックが生成されるように取り決め、奥行の測度又はコントラストの測度が第２の閾値を下回るが第３の閾値を上回る領域の２つおき等のビューの画像ブロックが生成されるように取り決めることができる。

一部の実施形態では、アダプタ５０９は、更なる視角の画像ブロックを生成する領域を、その領域の視差の測度が閾値を上回ることに応答して選択するように構成され得る。視差の測度は、隣接する２つの視角について既に生成されている２つの画像ブロックの視差の測度であり得る。視差の測度が閾値を上回る場合、アダプタ５０９は第１の画像生成ユニット５０３を制御して、測度が生成された隣接する２つの視方向間の視方向の追加の画像ブロックの生成に進む。典型的には、中間視角の画像ブロックが生成され得る。

例えば所与の画素行について、アダプタ５０９は、既に生成されている画像ブロックの全ての対を解析することができる。その対の何れかが所与の閾値を上回る視差値（例えば平均視差、最大視差、又はＲＭＳ視差）をもたらす場合、アダプタ５０９は第１の画像生成ユニット５０３を制御して、画像ブロックの対の視角の中間である視角について画素行の画像データを生成することができる。このようにして、隣接する２つの画像ブロック間の視差が大き過ぎるたびに新たな画素行の画像ブロックが生成される。このプロセスは、例えば隣接する画像ブロック間の全ての視差が閾値を下回るまで各画素行について反復され得る。この手法は全ての画素行に対して更に行われ得、それにより第１の画像生成ユニット５０３の奥行ベースの処理が、最大視差が閾値を下回る画像データを与えることを確実にする。

従って、領域について生成される画像ブロックの数は、この画像ブロックの数が生成されていることを受けてアダプタ５０９によって明確に決定される必要はなく、例えば既存の画像ブロックの視差に応じて追加の画像ブロックを継続的に生成する例えば反復的プロセスは、局所的画像特性に応じて様々な数の画像ブロックが領域ごとに生成されることをもたらすことが理解されよう。

別の例として、アダプタ５０９は、隣接する／近傍の視角／視方向を有する画像ブロックの各対の画素行ごとに視差の測度をまず決定することができる。アダプタ５０９は、生成される全ての視差の測度を、視差の測度の大きさに応じて並べられる表の中に記憶することができる。次いでアダプタ５０９は、計算される最も大きい視差の測度を選択し、第１の画像生成ユニット５０３を制御して２つの画像ブロックの視角間の視角の追加の画像ブロックの生成を進めることができる。最も大きい視差の測度が削除され得、代わりに隣接する２つの新たな画像ブロックの対のそれぞれについて視差の測度が計算され得る。これらの２つの新たな視差の測度は、視差の測度の表に追加され得る。次いでアダプタ５０９は、視差の測度が最も大きい画像ブロックの対を選択し、その対の間の新たな画像ブロックを生成し、前の視差の測度を削除し、新たな２つの視差の測度を追加するプロセスを繰り返すことができる。このプロセスは、処理時間がなくなるまで繰り返され得る。従ってかかる手法では、アダプタ５０９は、視差が最も大きい特定の領域に資源を常に割り当てることを進めることができる。その結果、最も重要である可能性が高いセクションに計算資源が集中される。

一部の実施形態では、アダプタ５０９は、奥行の測度が閾値を下回る領域のサブセットを決定するように構成され得る。例えば、単一の二次元画像及び関連する奥行マップを含む入力画像では、アダプタ５０９は、奥行マップを走査することによって画素行ごとの最大奥行を決定することができる。最大奥行は閾値と比較され得、最大奥行が閾値を下回る全ての画素行が識別され得る。

次いでアダプタ５０９は、識別された領域について画像ブロックを１つのみを生成するように第１の画像生成ユニット５０３の制御を進めることができる。従って、識別された画素行では１つの画像オブジェクトのみを含むように中間三次元画像が生成され、即ち画素値が１つの視方向についてのみ与えられる。視方向は、オートステレオスコピックディスプレイ構成部３０１の中央ビューにとりわけ対応することができ、例えば入力三次元画像の二次元画像の対応する行から対応する画素値を複製することによって単純に生成され得る。

従ってこの手法では、奥行が十分低い幾つかの領域が識別され、それらの領域では中間三次元画像のために二次元出力のみが生成される。従ってそれらの領域では、第２の画像生成ユニット５０５がオートステレオスコピックディスプレイ構成部３０１の全てのビューについて同じ画像データの生成を進め、とりわけ中間三次元画像から画像データを単純に複製することができる。従ってこの例では、奥行が非常に低い画素行が平らな二次元領域としてオートステレオスコピックディスプレイ構成部３０１によって示される。

この手法は計算資源使用量を大幅に減らせるだけでなく、例えばクロストークが低減され得るため、多くのシナリオで画質の改善ももたらし得る。この改善は三次元効果を減らすことによって実現され得るが、それは特に十分平らであると見なされる画像領域について行われるため、三次元効果が減ることは許容でき、実際多くの実施形態及び応用例において好ましい場合がある。

先の説明は中間三次元画像が入力三次元画像から生成される実施形態に焦点を当てた。しかし、述べたように一部の実施形態では、第１の画像生成ユニット５０３が代わりに（又は場合により加えて）グラフィカル三次元モデルを評価することによって中間三次元画像を生成するように構成され得る。従って一部の実施形態では、第１の画像生成ユニット５０３は、三次元シーンの三次元モデルに基づいて中間三次元画像を生成するように構成され得る。

例えばグラフィカル三次元モデルはゲーム用途に概して使用される場合があり、実際に現在多くのゲームが三次元シーンの幾何学的形状、肌理、及び光源の使用に基づいている。かかるシナリオでは、ゲーム中のユーザ入力に応じてシーンのビューを合成するために仮想遠近投影カメラが三次元モデルと共に使用される。

以下、とりわけ（これのみに限定されないが）三次元グラフィックスのOpenGL標準の使用に特に関係する幾つかの実施形態が説明される。とりわけ、OpenGLアプリケーションインタフェースによってグラフィックカードが制御され得る。OpenGL Shading Languageは、OpenGLによるレンダリングのためにグラフィックカードを使用する際の柔軟性を加える。以下、シーンの一部のみをメモリバッファに選択的に描画し、それにより計算の無駄をなくすために既存のOpenGLメカニズムを使用し得る手法が説明される。とりわけ、OpenGLメカニズムは、異なる領域の異なる画像ブロックを有する中間三次元画像を生成するために使用され、その後の出力三次元画像は中間画像から生成される。

以下の例では、中間三次元画像の視角と出力三次元画像の視角とが同じであり、とりわけ視角がオートステレオスコピックディスプレイ構成部３０１の視角に対応する。従って、オートステレオスコピックディスプレイ構成部３０１の視角について中間三次元画像の画像ブロックが生成される。但しこの例では、オートステレオスコピックディスプレイ構成部３０１の視角ごと（即ちビューごと）に完全な二次元画像を含むように出力三次元画像が生成されるのに対し、中間三次元画像は、視角の少なくとも一部の部分画像のみを含むように生成される。即ち、中間三次元画像の画像ブロックは、一部の領域内の一部の視角についてのみ第１の画像生成ユニット５０３によって生成され得る。

この例では、第１の画像生成ユニット５０３及び第２の画像生成ユニット５０５が同じ画像バッファを使用する。とりわけ機器は、オートステレオスコピックディスプレイ構成部３０１の視角ごとに画像バッファを含み得る。第１の画像生成ユニット５０３は、画像ブロックをまず生成し、それらの画像ブロックを適切なバッファ内に記憶することができる。所与の領域について、オートステレオスコピックディスプレイ構成部３０１の１つ又は複数の視角の画像ブロックが然るべく生成され、対応するバッファ内に記憶され得る。第１の画像生成ユニット５０３が画像ブロックを生成する視角の数、従ってバッファの数は、異なる領域ごとに（例えば典型的には領域内の奥行及び／又はコントラストに応じて）異なる。

図７は、２つのオブジェクトを有する三次元シーンの一例を示す。

第１のオブジェクト７０１の幾何学的配置は基準奥行、即ち表示奥行に近く、従って小さいパララックス／視差しかない。この幾何学的配置では、第１の画像生成ユニット５０３は中央ビューに概して対応する単一の視角についてのみ画像ブロックを生成し、それを出力三次元画像の全てのビューに使用することができる。実際に、視差が非常に低いと、全てのビューで同じ遠近感を使用し、それにより（オート）ステレオスコピックディスプレイ上で見たとき、オブジェクトの幾何学的配置を平面へと効率的に減らすことが許容できる。

第１の画像生成ユニット５０３は以下の操作を行うことができる。
１．第１のオブジェクト７０１のみを含むように近クリップ面及び遠クリップ面を設定する。
２．中央ビューの数に対応するようにOpenGLのビューポートを設定する。
３．シーンをレンダリングする。
４．その結果生じる第１のオブジェクトのデータを中央ビューの画像バッファ内に記憶する。

このようにして、第１の画像生成ユニット５０３は第１のオブジェクト７０１内の領域の単一の画像ブロックを生成する。

次いで第２の画像生成ユニット５０５が、中央ビューの画像バッファから他の全てのビューの画像ビューバッファに画像データを単純に複製することにより、出力三次元画像の対応する画素を生成することができる。

但し、このシーンは、基準奥行から離れており、従って高度のパララックス／視差を有する第２のオブジェクト７０３も含み得る。このオブジェクトに対しては異なる手法が使用される。とりわけ、第１の画像生成ユニット５０３は以下のステップを行うことができる。
１．第２のオブジェクト７０３のみを含むように近クリップ面及び遠クリップ面を設定する。
２．オートステレオスコピックディスプレイ構成部３０１の全てのビューにわたってループする。ループごとに、
ａ．現在のビューに対応するようにOpenGLのビューポートを設定し、
ｂ．正しい遠近感を使用してそのビューのシーンをレンダリングし、
ｃ．その結果生じる第２のオブジェクト７０３の画像データを現在のビューの画像バッファ内に記憶する。

このようにして、第１の画像生成ユニット５０３はあり得る全ての視角の画像ブロックを生成することができる。従ってこれらの画像ブロックについて、第２の画像生成ユニット５０５は、第１の画像生成ユニット５０３によって既に生成され、正しいバッファ内に記憶されている画像ブロックを直接使用することによって出力三次元画像を生成することができる。

図８は、これらの異なる例示的手法を示す。

一部の実施形態では、第２の画像生成ユニット５０５は、（第１のオブジェクト７０１に関する）第１の例において中央ビューから他のビューに画像ブロックを複製するとき、一定のパララックスを加えるように構成され得る。このことは、第２の画像生成ユニット５０５が第１のオブジェクト７０１を例えば画面奥行ではなく画面背後の面上に配置することを可能にし得る。この状況が図９に示されている。この視差及び奥行のシフトを取り入れるために、第２の画像生成ユニット５０５によって行われる複製操作が、第１のオブジェクト７０１の意図される奥行に応じて所与だけ水平シフトを引き起こし得る。

この例では、第１のオブジェクト７０１が中央ビューの画像ブロックによってのみ表された。他の例では、第１のオブジェクト７０１が、例えば１つおきの視角等、オートステレオスコピックディスプレイ構成部３０１の複数の視角の画像ブロックによって表され得る。その例が図１０に示されている。この例では、第２の画像生成ユニット５０５が残りの視角の画像データを補間によって生成することができる。

レンダリングされるシーン上に表示されるテキスト又はグラフィックオーバレイは、画面のぼけ（out-of-screen blur）によるアーティファクトをしばしば引き起こす傾向がある。上記の手法と同様に、テキスト又はグラフィックオーバレイオブジェクトも、オートステレオスコピックディスプレイ構成部３０１の全てのビューに対して、同じ情報を複製することによって、又は例えば隣接するビュー間の一定のパララックス／視差を伴って効率的にレンダリングされ得る。

この操作は、例えばオーバレイオブジェクトを生成し、それを中央ビューのバッファ内に記憶する第１の画像生成ユニット５０３によって行われ得る。次いで、第２の画像生成ユニット５０５がそれを他の全てのビューに複製することができる。図１１はかかる手法を示す。

一部の実施形態では、アダプタ（５０９）が三次元モデルの特性に応じて画像ブロックの数を適合させるように構成され得る。特性は、例えばモデルを評価することによって決定される特性、又はモデルの処理内で使用されるパラメータの特性であり得る。例えば特性は、例えば（典型的にはモデルの幾何学的配置に基づいて生成される）近クリップ面及び遠クリップ面等によって表される、画像オブジェクトが生成されるオブジェクトの奥行であり得る。別の例として、例えばオブジェクトの肌理の特性等、三次元モデルのオブジェクトの特性に基づいて画像ブロックの数が適合され得る。肌理が高コントラストの肌理である場合、肌理が低コントラストの肌理である場合よりも多くの画像ブロックが生成され得る。

データを他の画像バッファに複製するこの例は一例に過ぎず、他の多くの手法があり得ることが理解されよう。例えば、全てのビューバッファにデータを明確に複製する代わりに、第２の画像生成ユニット５０５はウィーブ画像を生成することができ、そのプロセスの一環として例えば特定の位置の画像データが記憶される最寄りのビューバッファからデータを直接得ることができる。同様に、記載された複製又は補間は、異なるようにレンダリングされる複数の部分から直接ウィーブすること、又はことによると選択マスクとして奥行バッファを使用してかかるバッファへのルックアップを有すること等、他の機能によって置換され又は強化され得る。

先の説明は、様々な空間的領域（空間的副区分）が画素値のブロックによって表される様々な数の視方向を有する（各ブロックは１つの視方向に対応する）中間画像から幾つかのビュー画像を有する出力画像を生成する手法を示す例を説明した。従って、出力画像の２段階生成によってプロセスが説明されている。まず、異なる視方向に対応する画素値のブロックを含む中間画像が生成される。更に、少なくとも一部の領域内でブロックの数が異なり、即ちブロックの数／表される視方向の数が空間的副区分間で異なる。次いで、中間画像の画素値ブロック（画像ブロック）から出力画像が生成される。

説明された例では、異なる視方向に対応するブロックの数は静的／一定／所定ではない。むしろ、アダプタが中間画像の特性又は基礎を成すシーンの表現の特性に基づいて異なる視方向の数を適合させる。従ってこれらの例は、個々の領域について与えられる視方向の数を画像の特性に基づいて適合させる手法を説明する。

更なる具体例として、青空の前に人間の顔と赤いボールとを含む画像が想像され得る。かかる画像では、システムが顔に対応する領域と、赤いボールに対応する領域との２つの領域を定めることができる。アダプタは、例えば領域内の色を評価し、顔に対応する領域が主に肌色であり得るのに対し、赤いボールに対応する領域が基本的に赤色であると決定することに進むことができる。次いでアダプタは、顔の領域のために、適切な範囲内で５度ごとに画像ブロックが生成されることを選択することができる（即ちアダプタは、主に肌色の領域について５度の差を必要とするアルゴリズムを実装することができる）。しかし、ボールの領域では、アダプタは２０度ごとにのみ画像ブロックが生成されることを選択することができる（即ちアダプタは、主に赤色（又はことによると全般的に主に有色）の領域について２０度の差を必要とするアルゴリズムを実装することができる）。

従って、例えば−２０°〜＋２０°の範囲が有効範囲に含まれると仮定し、中間画像は、顔の領域では−２０°、−１５°、−１０°、−５°、０°、５°、１０°、１５°、及び２０°の画素値ブロックを有し、ボールの領域では−２０°、０°、及び２０°の画素値ブロックを有するように生成され得る。従って、画像の特性の特性により、或る領域は視点角度が近い９個の画像ブロックによって表されるのに対し、別の領域は視角差が大きい３個の画像ブロックによってのみ表される。

次いでこのシステムは、この中間画像から出力画像を生成することに進むことができる。但しこの処理は、異なる領域内の異なるブロック数に基づく。例えばシステムは、−１０°の視方向の出力ビュー画像を生成することができる。この画像では、第２の画像生成ユニットが、顔の領域の−１０°のブロックの画素値を選択することによって顔に対応する領域を直接生成することができる。しかし、ボールの領域では、第２の画像生成ユニットは、他の視方向に対応するブロックから画素値を生成しなければならない。例えば第２の画像生成ユニットは、−２０°及び０°に対応するブロック間で補間することができる。

非常に単純化した例であるが、この例はシステムが（局所的）画像特性に基づく適合を行うこと、並びに第１段階のプロセス及び第２段階のプロセスの特定の特性間のトレードオフを行うことを記載の原理がどのように可能にし得るのかを示す。

先に記載された手法の原理は、中間画像を生成する又は中間画像から出力画像を生成する如何なる具体的態様にも依存せず、又はかかる具体的態様に限定されないことが理解されよう。

例えば、先に説明されたように、１つの選択肢は入力三次元画像に基づくビューシフトを行うことによって中間画像を生成することである。実際に、説明されたように、システムはビューシフト、デオクルージョン、画素シフト等を行うことができる。但しこれは一部の実施形態の例に過ぎず、この手法はかかる特定のプロセスに決して限定されず又は依存しない。実際に別の例は、例えば肌理及び光源の情報を含むシーンの三次元モデルから中間画像が生成されることである。

先の例は補間、とりわけ加重和を使用して出力画像を生成することに焦点を当てた。より広くは、第２の画像生成器は、例えば画像ブロックの組合せによって出力画像を生成することができる。但し、他の多くのあり得る組合せが可能であり、実際に組合せを行う必要はない。例えば第２の画像生成器は、最も近い視方向について生成される画像ブロック内のその位置における画素の画素値を画素ごとに単純に選択することにより、所与の視方向の画像を生成することができる。例えば上記の例では、顔の領域の画素は−１０°の角度の画像ブロックの画素値として選択され得、ボールの領域の画素は、−２０°（又は０°）の角度の画像ブロックの画素値として選択され得る。

更に、先の例と一致して、第１の画像生成ユニットによる中間画像の生成は実際に奥行情報に基づき得る。しかし、他の実施形態では、第１の画像生成ユニットによる中間画像の生成が奥行情報に基づかないことができる。例えば、外挿及び補間ベースのレンダリングを使用することは中間画像の画像ブロックを生成するためのあり得る手法である。

先の例は、第１の画像生成ユニットが奥行ベースのレンダリング／アルゴリズムを使用するのに対し、第２の画像生成ユニットが非奥行ベースのレンダリングを使用することに焦点を当てた。この形態は多くのシナリオにおいて特に有利な手法をもたらす。とりわけ多くの応用例で、第１の画像生成ユニットは、比較的高品質の画像ブロックを生成するために比較的複雑且つ資源を必要とする奥行ベースのアルゴリズムを使用し得るのに対し、第２の画像生成ユニットは、画像ブロックからビュー画像を生成するために比較的複雑度が低く且つ資源をあまり必要としないが精度の低い、非奥行ベースのアルゴリズムを使用することができる。例えば、第１の画像生成ユニットは、中間画像の画像ブロックを生成するために奥行ベースのビュー合成アルゴリズムを使用することができ、第２の画像生成ユニットは単純に補間する（更にはそれらから単に選択する）ことができる。その場合、この手法は第１の段階と第２の段階との間で空間的に多様な適合及びトレードオフを可能にし得る。

但し、他の実施形態では、第１の画像生成ユニットは、非奥行ベースのアルゴリズムを使用して高品質の画像ブロックを生成するように構成され得る。例えば、第１の画像生成ユニットは、異なる視方向に対応する多数の高品質の捕捉画像の形で入力を得るように構成され得る。第１の画像生成ユニットは、複雑な空間フィルタを適用することに基づく、及び受信画像の幾つかに基づく複雑な補間を適用することにより、領域の所要の画像ブロックの生成を進めることができる。次いで第２の画像生成ユニットは、例えば単純な補間によって、又は最も近い視方向を有する画像ブロックを選択することによって出力画像を生成することができる。かかる実施形態では、アダプタは、様々な領域内で表される画像視点の数を適合させることにより、依然として様々な段階の特性間のトレードオフをもたらすことができる。例えばアダプタは、より重要であると考えられる領域により多くの資源が割り当てられる適合を可能にし得る（例えば赤いボールの領域よりも顔の領域の画像ブロックを多く生成するのにより多くの資源が使用される）。

第２の画像生成ユニットが奥行ベースの処理を使用できることも指摘しておく。例えば上記の例では、中間画像が高画質（例えば高分解能、高色深度、高ダイナミックレンジ）で生成され得る。ビュー画像を生成するとき、第２の画像生成ユニットは奥行情報を考慮することができる。例えば第２の画像生成ユニットは、最も近い視方向を有する対応する画像ブロックからビューシフトすることによってビュー画像の画素を生成することができる。このビューシフトは、例えば入力画像と共に与えられるが第１の画像生成ユニットによって考慮されない低分解能奥行マップに基づき得る。従ってかかる実施形態では、中間画像の生成が非奥行ベースであり得るのに対し、中間画像から出力画像を生成することは奥行ベースであり得る。かかる手法は、例えばより多くの資源が適切な領域（例えば顔の領域）において費やされるような適合も可能にし得る。

第１の画像生成ユニットによって使用されるアルゴリズムが、第２の画像生成ユニットによって使用されるアルゴリズムよりも複雑であること、高品質であること、又は多くの資源を必要とすることは必要ないことも指摘しておく。かかる実施形態は多くのシナリオで特に有利な実装形態をもたらし得るが、この手法はそうでない実施形態にも適用され得る。例えばこの手法は、特に重要であると考えられる領域に資源を集中させることにより、全体的な知覚画質が改善される適合を依然として可能にし得る。

明瞭にするために、上記の説明では本発明の実施形態が様々な機能回路、ユニット、及びプロセッサに関して説明されたことが理解されよう。しかし、様々な機能回路、ユニット、又はプロセッサ間での任意の適切な機能分散が、本発明を損ねることなしに使用され得ることが明らかである。例えば、別々のプロセッサ又はコントローラによって実行されるように示されている機能が、同じプロセッサ又はコントローラによって実行され得る。従って、特定の機能ユニット又は回路への言及は、厳密な論理的又は物理的構造若しくは構成を示すのではなく、記載された機能を提供するための適切な手段の言及に過ぎないと見なされるべきである。

本発明は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せを含む任意の適切な形式で実装され得る。本発明は、任意選択的に１個又は複数個のデータプロセッサ及び／又はデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして少なくとも部分的に実装され得る。本発明の実施形態の要素及び構成要素は、任意の適切な態様で物理的に、機能的に、及び論理的に実装され得る。実際に、機能は単一のユニットによって、複数のユニットによって、又は他の機能ユニットの一部として実装され得る。そのため、本発明は単一のユニットによって実装され得、又は様々なユニット、回路、及びプロセッサ間で物理的に及び機能的に分散され得る。

本発明が一部の実施形態に関連して説明されてきたが、本発明を本明細書に記載した特定の形態に限定することは意図されない。むしろ本発明の範囲は添付の特許請求の範囲によってのみ限定される。更に、或る特徴が特定の実施形態に関連して説明されているように思われ得るが、説明した実施形態の様々な特徴が本発明に従って組み合わせられ得ることを当業者であれば理解されよう。特許請求の範囲では、含むという用語は他の要素又はステップがあることを除外しない。

更に、別々に列挙したが、複数の手段、要素、回路、又は方法のステップが、例えば単一の回路、ユニット、又はプロセッサによって実装され得る。加えて、個々の特徴が異なる請求項に含まれる場合があるが、それらの特徴は場合により有利に組み合わせられ得、異なる請求項に含まれることは特徴の組合せが実現可能でないこと及び／又は有利でないことを意味するものではない。更に、或る請求項のカテゴリに特徴を含めることは、そのカテゴリに限定することを含意せず、むしろその特徴が必要に応じて他の請求項のカテゴリに等しく適用され得ることを示す。更に、特許請求の範囲における特徴の順序は、それらの特徴が実行されなければならない如何なる特定の順序も含意せず、とりわけ方法クレーム内の個々のステップの順序はステップがその順序で実行されなければならないことを含意するものではない。むしろステップは任意の適切な順序で実行され得る。加えて、単数形での言及は複数形を除外しない。従って、「１つの（a）」、「１つの（an）」、「第１の」、「第２の」等の言及は複数形を排除しない。特許請求の範囲における参照符号は明確にするための例として与えるに過ぎず、特許請求の範囲を限定するものとして決して解釈されるべきではない。

Claims (14)

1. 出力三次元画像を生成する機器であり、当該機器は、
   中間三次元画像を生成する第１の画像生成ユニットであって、当該中間三次元画像は当該中間三次元画像の空間的副区分である複数の領域を含み、前記第１の画像生成ユニットは奥行ベースの処理を使用して前記複数の領域の画素値の或る数の画像ブロックを生成し、前記画像ブロックの数は前記複数の領域のうちの少なくとも２つの領域について異なり、各画像ブロックはそれぞれ異なる視方向に対応する画素群の画素値を含む、第１の画像生成ユニットと、
   非奥行ベースの処理を使用して幾つかのビュー画像を含む前記出力三次元画像を前記中間三次元画像から生成する第２の画像生成ユニットであって、前記幾つかのビュー画像のそれぞれは視方向に対応する、第２の画像生成ユニットと、
   前記複数の領域のうちの少なくとも第１の領域について異なる視方向を有する前記第１の画像生成ユニットによって生成された前記画像ブロックの数を局所的に適合させるアダプタであって、当該適合は、前記第１の画像生成ユニットが三次元シーン表現から前記中間三次元画像を生成する当該三次元シーン表現と前記中間三次元画像との少なくとも一方の局所的画像特性に応じる、アダプタと、
   を含む、機器。
2. 前記局所的画像特性は奥行の測度である、請求項１に記載の機器。
3. 前記局所的画像特性はコントラストの測度である、請求項１に記載の機器。
4. 前記アダプタは、前記第１の画像生成ユニットの計算資源の可用性に応じて前記第１の領域の前記画像ブロックの数を更に決定する、請求項１に記載の機器。
5. 前記複数の領域は、少なくとも１つの画素行によって形成される領域を含む、請求項１に記載の機器。
6. 前記複数の領域のうちの少なくとも１つの領域は、画素行の画素のサブセットのみを含む、請求項１に記載の機器。
7. 前記第１の画像生成ユニットは、複数の視方向について、前記複数の領域の全領域の画像ブロックを生成し、その後、前記アダプタは、複数の視角に関する各領域の画像ブロック間の視差に応じて、少なくとも１つの更なる視方向についての画像ブロックを生成する前記複数の領域のうちの領域のサブセットを選択する、請求項１に記載の機器。
8. 前記アダプタは、視差の測度が閾値を上回ることに応じて、少なくとも１つの更なる視角の画像ブロックを生成する領域を選択し、前記視差の測度は、前記更なる視角に隣接する２つの視角の２つの画像ブロックの視差の測度である、請求項１に記載の機器。
9. 前記アダプタは、奥行の測度が閾値を下回る領域のサブセットを決定し、当該サブセットの各領域内の画像ブロックの数を１に設定する、請求項１に記載の機器。
10. 前記局所的画像特性は視覚的特性である、請求項１に記載の機器。
11. 前記局所的画像特性は明度の特性及び色の特性の少なくとも一方を示す、請求項１に記載の機器。
12. 前記第１の画像生成ユニットは、三次元シーンの三次元モデルに基づいて前記中間三次元画像を生成し、
    前記アダプタは前記三次元モデルの特性に応じて前記画像ブロックの数を適合させる、請求項１に記載の機器。
13. 奥行ベースの処理を使用して複数の領域の視方向に対応する画素値の或る数の画像ブロックを生成することによって、中間三次元画像の空間的副区分である前記複数の領域を含む、前記中間三次元画像を生成するステップであって、前記画像ブロックの数は複数の領域のうちの少なくとも２つの領域について異なり、各画像ブロックはそれぞれ異なる視方向に対応する画素群の画素値を含む、ステップと、
    非奥行ベースの処理を使用して幾つかのビュー画像を含む出力三次元画像を前記中間三次元画像から生成するステップであって、幾つかのビュー画像のそれぞれは視方向に対応する、ステップと、
    前記複数の領域のうちの少なくとも第１の領域について異なる視方向を有する画像ブロックの数を局所的に適合させるステップであって、当該適合は、前記中間三次元画像及び当該中間三次元画像を生成するために使用される三次元入力画像の少なくとも一方の局所的画像特性に応じる、ステップと、
    を含む、出力三次元画像の生成方法。
14. コンピュータプログラムがコンピュータによって実行される時に、前記コンピュータに請求項１３に記載の出力三次元画像の生成方法を実行させる命令を有する、コンピュータプログラム。