JP6393278B2

JP6393278B2 - 中間ビュー画像を生成するためのシステム

Info

Publication number: JP6393278B2
Application number: JP2015555600A
Authority: JP
Inventors: ウィルヘルムスヘンドリクスアルフォンススブルルス; メインデルトオンノウィルデブール
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2013-02-06
Filing date: 2013-11-13
Publication date: 2018-09-19
Anticipated expiration: 2033-11-13
Also published as: CN104969546B; CN104969546A; EP2954674B1; CA2900144A1; EP2765774A1; RU2015137801A; US20150365646A1; TWI630814B; KR20150115006A; BR112015018548A2; RU2640645C2; WO2014121860A1; US9967537B2; JP2016510562A; TW201433142A; EP2954674A1

Description

本発明はステレオデータからの中間画像の生成に関する。

ステレオ画像は三次元（３Ｄ）画像データの共通表現である。ステレオ画像は左ビューに対応する左画像と右ビューに対応する右画像を有する。ステレオ画像を見るためのステレオ表示手段を用いて、観察者の左目は左画像を見て、観察者の右目は右画像を見て、観察者に３Ｄ知覚を生じる。

ステレオ画像の左ビュー及び右ビューとは異なる、中間ビューにおいて３Ｄ画像を見るために、中間画像が生成される必要がある。ステレオ画像から中間画像を生成するための様々な方法が存在する。

ＵＳ２０１１／００２６８００９Ａ１はマルチビューディスプレイ上で見るためにステレオ画像から中間ビューにおける中間画像を計算する方法を記載する。中間ビューとは左ビュー及び右ビューを有するビューの範囲内の相対位置におけるビューをあらわす。方法はステレオ画像から左視差データと右視差データを計算し、ステレオ画像は左画像と右データを有する。方法は左画像と左視差データを用いて中間ビューのための左中間画像を生成する。方法は右画像と右視差データを用いて中間ビューのための右中間画像を生成する。そして左中間画像と右中間画像をブレンドすることによって最終中間画像が生成される。

従来技術の方法の欠点は、これが中間画像において見える画像アーチファクトも生成することであり、最も顕著な画像アーチファクトは画像詳細ブラー及びオクルージョンアーチファクトである。アーチファクトの可視性は中間ビューによって、及びステレオ画像のコンテンツによって異なる。詳細ブラーは典型的には多くの詳細を含むステレオ画像の場合、及び左ビューと右ビューの間のビューにおいて最もよく見られる。詳細ブラーの原因は生成された左中間画像と右中間画像の不完全な混合にある。オクルージョンアーチファクトは大きな奥行遷移を含むステレオ画像の場合に最もよく見られ、横方向ビューにおいて、従って左ビューの左側及び右ビューの右側において最も顕著である。オクルージョンアーチファクトの原因は左画像若しくは右画像の不完全な補外にある。

従来技術の方法において、中間画像は中間ビューによって及びステレオ画像のコンテンツによって異なる画像アーチファクトに悩まされるので、画質は最適ではない。中間画像の画質の向上が望まれる。

ステレオデータから中間画像を生成するための方法を提供することが本発明の目的であり、中間画像は改良された画質を持つ。

本発明は中間ビューのためにステレオデータから中間画像を生成するための方法を開示する。方法は混合ポリシーに従った左中間画像と右中間画像の混合を使用する。混合ポリシーは中間ビューの関数として混合における左及び右中間画像の相対寄与を定義する。ステレオデータは左データと右データを有する。左データは左ビューに対応し左データは左画像と左視差データを有する。右データは右ビューに対応し右データは右画像と右視差データを有する。中間画像は中間ビューに対応する。左中間画像は中間ビューのために左データから生成される。右中間画像は中間ビューのために右データから生成される。方法は、ステレオデータの画像特徴に基づいて複数の混合ポリシーの各々について中間画像の画質を予測するステップ；中間画像の予測画質に基づいて複数の混合ポリシーから混合ポリシーを選択することによって混合ポリシーを決定するステップ；決定された混合ポリシーがそう要求するとき、中間ビューのために左データから左中間画像を生成するステップ；決定された混合ポリシーがそう要求するとき、中間ビューのために右データから右中間画像を生成するステップ；決定された混合ポリシーに従った相対寄与を用いて左中間画像と右中間画像を混合することによって中間画像を生成するステップを有する。

このように本発明は、中間画像が完全に左中間画像に基づいて、完全に右中間画像に基づいて、また、すなわち混合ポリシーがそう示すとき、請求される通り左中間画像と右中間画像両方に基づいても、生成されることを可能にする柔軟性を提供する。

方法のための入力は左データと右データを有するステレオデータである。左データは左ビューに対応し右データは右ビューに対応する。左ビューと右ビューは、そこから３Ｄ画像が観察者によって観察される二つの視点を定義する。左データは左画像と左視差データを有する。右データは右画像と右視差データを有する。方法の出力は左ビュー及び右ビューとは異なる中間ビューのための中間画像である。

中間画像は混合ポリシーに従った左中間ビューと右中間ビューの混合によって生成される。混合ポリシープロセスは混合がどのように中間ビューに依存するかを定義する。一般的な場合において、混合ポリシーは混合における左中間画像の左相対寄与を定義し、混合における右中間画像の右相対寄与を定義する。そして中間画像は当該相対寄与に従った重みを用いて左中間画像と右中間画像を混合することによって生成される。第一の特殊な場合において、混合ポリシーは左中間画像を生成することのみを要し、混合は事実上左中間画像を中間画像にコピーする。第二の特殊な場合において、混合ポリシーは右中間画像を生成することのみを要し、混合は事実上右中間画像を中間画像にコピーする。

左中間画像は左視差を用いて生成され、ワーピングプロセスは左視差データを用いて左画像を中間ビューへ、ただし混合ポリシーがそう要求するときのみ、'ワープ'する。右視差プロセスを用いて、ワーピングプロセスは右視差データを用いて右画像を中間ビューへ、ただし混合ポリシーがそう要求するときのみ、ワープする。

混合は固定されず、ポリシー決定プロセスによって決定される混合ポリシーによって制御される。混合ポリシーは、人の知覚に基づいて若しくは画質メトリック（のセット）を用いて、中間データの画質が最適になるように決定される。その目的で、ポリシー決定プロセスは混合ポリシーを用いて生成され得る中間画像の予測画質に基づいて混合ポリシーを決定する。

オプションとして、決定は中間画像の画像詳細の量に依存して予測画質に基づく。画像詳細の量が大きい場合に、左中間画像と右中間画像両方を用いる混合を定義する混合ポリシーが使用された場合、混合はブラーやゴースト発生などのアーチファクトを生成することになる。大きな量の画像詳細を検出した場合、混合ポリシーは、中間画像における生成された画像詳細が、人の知覚に基づいて若しくは画質メトリック（のセット）を用いて、改良された画質を持つように決定される。

オプションとして、決定はステレオデータに結合されるメタデータから混合ポリシーを読み出すことによって実行される。ポリシー決定プロセスはオフラインで混合ポリシーを決定し、それをステレオデータに結合されるメタデータに保存する。この動作方法は分析のためにより複雑で高価なハードウェアの使用を可能にする。これはさらにコンテンツ作者が自由に使えるオーサリングツールにメタデータの生成が組み込まれることを可能にする。

オプションとして、中間画像の生成はステレオビュービデオシーケンスの各後続フレームから後続中間画像を生成することを有し、各後続フレームの各々はステレオデータを有する。従って中間画像はステレオビュービデオフレームから生成される。

オプションとして、決定は第一のインスタンスにおいて第一のフレームから第一の中間画像を生成するための第一の混合ポリシーを決定すること、及び第二のインスタンスにおいて第二のフレームから第二の中間画像を生成するための第二の混合ポリシーを決定することを有する。第一のフレームから生成される中間画像は第一の混合ポリシーが混合において使用されるときに最適画質（メトリック（のセット）及び／又は人の知覚に従って）を持つ。さらに、第二のフレームから生成される中間画像は第二の混合ポリシーが混合において使用されるときに最適画質を持つ。従って中間画像は各異なる混合ポリシーを用いて異なるステレオビュービデオフレームから生成される。

オプションとして、決定は第三のインスタンスにおいて第三のフレームから第三の中間画像を生成するための第三の混合ポリシーを決定することを有し、第三のインスタンスは第一のインスタンスの後及び第二のインスタンスの前に生じ、第三の混合ポリシーによって定義される第三の混合係数は第一の混合ポリシーによって定義される第一の混合係数と第二の混合ポリシーによって定義される第二の混合係数の間にある。従って混合ポリシーは、インスタンスが第一、第三、第二と時間順に並べられるという意味で時間とともに徐々に変化し、混合係数も第一、第三、第二と順序付けられる。

オプションとして、中間画像を生成することはステレオデータから中間画像の列（ｓｅｒｉｅｓ）を生成することを有し、列は中間ビューの列に対応し、中間ビューの列は空間的に連続するビューである。従って、一つのビューに対しステレオデータから一つの中間画像を生成するのではなく、例えばマルチビューディスプレイのために各ビューの列に対してステレオデータから中間画像の列が生成される。

オプションとして、第一の中間画像列を生成することは、第一の中央中間ビューにおいて中間ビュー列をセンタリングすること、第一の中央中間ビューに対する中間画像列の予測画質に基づいて中央中間ビューを選択することを有する。中央中間ビューにおいて中間ビュー列をセンタリングすることは、中央中間ビューが観察者の真正面になるように中間ビュー列を左若しくは右へ変更することを意味する。特に列におけるビューの数が奇数である場合、センタリングは列の中央ビューを第一の中央中間ビューに、すなわち観察者の真正面に置くことに対応する。列に偶数のビューがある場合において、センタリングは二つの中央ビューが第一の中央中間ビューのまわりに等距離にセンタリングされることを示唆する。混合ポリシーを用いて、中間画像の画質は（ビューの範囲内の全体で）中央中間ビュー付近のビューについて改善され得る。従ってビューの列は中央中間ビューを中心とする。

オプションとして、中間画像を生成することは第一の中央中間ビューを中心とする第一のインスタンスにおける第一のフレームからの第一の中間ビュー列を生成すること、及び第二の中央中間ビューを中心とする第二のインスタンスにおける第二のフレームからの第二の中間ビュー列を生成することを有する。第一のフレームと第二のフレームに（同じ）混合ポリシーを用いて、第一のフレームから生成される中間画像の画質は、第一の中間ビュー付近のビューについて改善され得るが、第二のフレームの中間画像の画質は第二の中間ビュー付近のビューについて改善され得る。従ってビューの列は第一のフレームについては第一のビューを、第二のフレームについては第二のビューを中心とする。従って第一の中間ビュー列の第一の中央中間ビュー付近の得られる画質は第一のフレーム並びに第二のフレームにとって最適である。

オプションとして、中間画像を生成することは、第三の中央中間ビューを中心とする第三のインスタンスにおける第三のフレームからの第三の中間ビュー列を生成することを有し、第三のインスタンスは第一のインスタンスの後及び第二のインスタンスの前に生じ、第三のビューは第一のビューと第二のビューの間にある。中間ビューの列がセンタリングされる中央中間ビューは、第一のフレームにおける第一のビューから、次のフレームにおける次のビュー（すなわち第三のフレームにおける第三のビュー）へ、第二のフレームにおける第二のビューへ、段階的にシフトする。中間ビューの列のシフトは、インスタンスが第一、第三、第二と時間順に並べられるという意味で、経時的に段階的に実行され、中央ビューも第一、第三、第二と空間的に順序付けられる。

オプションとして、混合ポリシーは、中間ビューの範囲に対して、混合における左中間画像の左相対寄与を定義し、混合における右中間画像の右相対寄与を定義し、左相対寄与と右相対寄与の一方は、範囲にわたって、左相対寄与と右相対寄与の他方より優位である。混合ポリシーは、左及び右相対寄与の一方が中間ビューの範囲において全体としてより大きい混合を定義する。このような混合ポリシーは非対称混合ポリシーともよばれる。

オプションとして、中間画像を生成することはステレオデータビデオシーケンスとは対照的に静止ステレオデータのための中間画像を生成することを有する。

オプションとして、左視差データは左画像と右画像から計算され、右視差データは左画像と右画像から計算される。視差データはステレオデータとともに提供されるのではなく、左画像と右画像から計算される。

本発明は、混合ポリシーに従った左中間画像と右中間画像の混合を用いて、中間ビューのためにステレオデータから中間画像を生成するために構成されるシステムを開示する。混合ポリシーは中間ビューの関数として混合における左及び右中間画像の相対寄与を定義する。ステレオデータは左データと右データを有し、左データは左ビューに対応し左データは左画像と左視差データを有し、右データは右ビューに対応し右データは右画像と右視差データを有する。中間画像は中間ビューに対応する。左中間画像が中間ビューのために左データから生成される。右中間画像が中間ビューのために右データから生成される。システムは、ステレオデータの画像特徴に基づいて複数の混合ポリシーの各々について中間画像の画質を予測するための予測機能；中間画像の予測画質に基づいて複数の混合ポリシーから混合ポリシーを選択することによって混合ポリシーを決定するための混合ポリシー機能；決定された混合ポリシーがそう要求するとき、中間ビューのために左データから左中間画像を生成するための、左ワーピング機能；決定された混合ポリシーがそう要求するとき、中間ビューのために右データから右中間画像を生成するための、右ワーピング機能；決定された混合ポリシーに従った相対寄与を用いて、左中間画像と右中間画像を混合することによって中間画像を生成するための混合機能、を実行するために構成される生成ユニットを有する。システムは上記方法のプロセスを実行する機能を有する。

オプションとして、中間画像はマルチビューディスプレイの駆動に使用される。マルチビューディスプレイは多方向にマルチビューを出力し、それによって観察者が、マルチビューディスプレイに対して正しい位置にあるとき、左目で左画像を、右目で右画像を見ることを可能にする。

本発明の効果は、混合ポリシーが画像コンテンツに依存して作られるので、中間画像データの画質が向上され得ることである。

本発明のこれらの及び他の態様は以下に記載の実施形態から明らかとなり、それらを参照して説明される。

ステレオデータから中間画像を生成するための方法を図示する。オフラインで混合ポリシーを決定するポリシー決定プロセスを図示する。画像詳細の検出を用いるポリシー決定プロセスを図示する。マルチビューディスプレイのマルチビューを図示する。線形混合ポリシーを図示する。二つの非線形混合ポリシーを図示する。ステレオビデオフレームを有するステレオビュービデオシーケンスの三つの連続シーンを図示する。中央中間ビュー付近を中心とする中間ビューの列を有するマルチビューディスプレイを六つのサブ図の各々において図示する。ステレオデータから中間画像を生成するためのシステムを三つの構成で、及び中間画像を表示するためのディスプレイを図示する。

異なる図において同じ参照番号を持つ項目は同じ構造的特徴及び同じ機能を持つか、又は同じ信号であることが留意されるべきである。このような項目の機能及び／又は構造が説明されている場合、詳細な説明においてその説明を繰り返す必要はない。

図１ａはステレオデータ１０５から中間画像を生成するための方法を図示する。方法の出力は中間ビューＢ１５５に対応する中間画像ＩＢ１６１である。中間ビューＢ１５５は視界の相対位置におけるビューをあらわし、視界は典型的には左ビューと右ビューを有し、左ビューと右ビューの一方を少なくとも有する。方法の入力は左データＳＬ１０３と右データＳＲ１０４を有するステレオデータである。左データＳＬは左画像ＩＬ１０１と左視差データＤＬ１１１を有する。右データＳＲは右画像ＩＲ１０２と右視差データＤＲ１１２を有する。

当業者に明らかな通り、奥行きは視差に反比例するが、表示装置における視差への奥行の実際のマッピングは、ディスプレイによって生成され得る視差の総量、ゼロ視差へ特定の奥行値を割り当てる選択、許容される交差視差の量などといった、様々な設計上の選択に左右される。しかしながら、ステレオデータを備える及び／又は入力ステレオデータから得られる奥行データは、奥行依存的に画像をワープするために使用される。従って視差データはここでは定性的に奥行データと解釈される。

ワーピングプロセスＷＡＲＰ１３０は三つの入力：（ｉ）左画像ＩＬ、（ｉｉ）左視差データＤＬ、（ｉｉｉ）中間ビューＢ１５５から左中間画像ＩＢＬ１３１を生成する。左ワーピングプロセスＷＡＲＰ１３０は事実上、左画像ＩＬを中間ビューＢへ'ワープ'するために左視差データＤＬを用いて、左中間画像ＩＢＬを生成する。同様に、ワーピングプロセスＷＡＲＰ１４０は右画像ＩＲ、右視差データＤＲ、中間ビューＢから右中間画像ＩＢＲ１４１を生成する。画像ベースレンダリグのために奥行／視差を使用するこのようなワーピングプロセスの一例はＵＳ５，９２９，８５９に開示される。ワーピングのより複雑な例はＵＳ７，６８９，０３１に提示される。

混合プロセスＭＩＸ１８０は左中間画像ＩＢＬと右中間画像ＩＢＲの混合を実行する。混合は中間ビューＢと、混合が中間ビューＢにどのように依存するかを記述する混合ポリシーＰＯＬ１５６とに依存する。混合プロセスＭＩＸの出力は中間画像ＩＢ１６１である。ポリシー決定プロセスＰＯＬＤＥＴ１７０はステレオ画像に基づいて、すなわち左画像ＩＬと右画像ＩＲに基づいて混合ポリシーＰＯＬを決定する。

オプションとして、方法は左視差データＤＬと右視差データＤＲを左画像ＩＬと右画像ＩＲから計算する視差計算プロセスを有する。奥行／視差推定アルゴリズムの例は３Ｄビデオ処理の当業者に周知であり、そのようなアルゴリズムの例はＵＳ６，６２５，３０４及びＵＳ６，９８５，６０４で提供される。オプションとして、ワーピングプロセスＷＡＲＰ１３０及びＷＡＲＰ１４０はステレオビュービデオシーケンスから取得される事前に計算された視差データを用いて中間画像を生成し、各ステレオビュービデオフレームはステレオ画像だけでなく対応する視差データを有する。

図１ａに図示の通り混合プロセスＭＩＸは係数計算プロセスＡＣＯＭＰ１５０とブレンディングプロセスＢＬＥＮＤ１６０から成る。係数計算プロセスＡＣＯＭＰ１５０は中間ビューＢと混合ポリシーＰＯＬから混合係数Ａを計算し、混合ポリシーＰＯＬは混合係数Ａが中間ビューＢにどのように依存するかを記述する。係数計算プロセスＡＣＯＭＰは混合ポリシーＰＯＬに従って中間ビューＢから混合係数Ａを計算する。そしてブレンディングプロセスＢＬＥＮＤは混合係数Ａを用いて中間画像ＩＢＬとＩＢＲを混合することによって中間画像ＩＢを生成する。オプションとして、ブレンディングプロセスＢＬＥＮＤはさらに以下で説明される'アルファブレンディング'と一般に知られる技術を有する。

混合ポリシーＰＯＬは中間画像ＩＢＬ及びＩＢＲの混合が中間ビューＢにどのように依存するかを記述する。ポリシー決定プロセスＰＯＬＤＥＴは混合プロセスＭＩＸが最適画質で中間画像ＩＢを生成するように混合ポリシーＰＯＬを決定する。処理ＰＯＬＤＥＴは混合によって生成される中間画像の画質に対する混合ポリシーの影響についての知識を用いて、中間画像ＩＢの画質に対する混合ポリシーの影響を予測する。言い換えれば、ポリシー決定プロセスＰＯＬＤＥＴは複数の混合ポリシーの各々に対して及び所与のステレオ画像コンテンツに対して中間画像の画質を予測し、そして複数の混合ポリシーからどの混合ポリシーＰＯＬが最適画質で中間画像を生成するかを決定する。

オプションとして、混合ポリシープロセスＰＯＬＤＥＴは混合ポリシーを有するメタデータから混合ポリシーＰＯＬを決定し、メタデータはステレオデータによって含まれる。例えば、メタデータは（１）様々な混合ポリシーを用いて図１の方法を用いてステレオデータから中間画像を生成する、（２）生成された中間画像の画質を測定する、（３）最適画質を持つ生成された中間画像を決定する、及び（４）最適画質を持つ生成された中間画像に対応する混合ポリシーを決定するアルゴリズムによってオフラインで生成される。

図１ｂはオフラインで混合ポリシーを決定するポリシー決定プロセスを図示する。混合ポリシー決定プロセス１７９は入力としてステレオ画像を、すなわち左画像ＩＬ１０１及び右画像ＩＲ１０２を受け取る。第一の中間画像ＩＢ１１７３は第一の混合ポリシーＰＯＬ１１７１とステレオ画像を用いる生成方法ＧＥＮ１７５によって生成される。同様に、第二の中間画像ＩＢ２１７４は第二の混合ポリシーＰＯＬ２１７２とステレオ画像を用いる生成方法ＧＥＮ１７６によって生成される。生成方法ＧＥＮ１７５，１７６は各混合ポリシーＰＯＬ１，ＰＯＬ２を用いて中間画像を生成するための図１ａの方法を利用する。生成方法ＧＥＮ１７５，１７６はその画質を測定するために使用されるべき中間画像を生成するために中間ビューを選択する。判定プロセスＪＤＧ１７７において、一人以上の観察者が中間画像ＩＢ１，ＩＢ２の画質を判定し、最適と判断される画質を持つ中間画像ＩＢ１，ＩＢ２のうちの一方を選択する。そして最適画質を持つ中間画像に対応する混合ポリシーが混合ポリシーＰＯＬ１５６として決定される。例えば、中間画像ＩＢ１が第二の中間画像ＩＢ２と比較して最適画質を持つと判断される場合、混合ポリシーＰＯＬは第二の混合ポリシーＰＯＬ２として決定され、従ってＰＯＬ＝ＰＯＬ２である。

オプションとして、判定プロセスＪＤＧは観察者によって実行されるのではなく、代わりに中間画像ＩＢ１及びＩＢ２の画質を定量化して判断するアルゴリズムによって自動的に実行される。

オプションとして、図１ｂのポリシー決定プロセス１７９はポシリーＰＯＬ１及びＰＯＬ２の各々に対するマルチ中間画像の画質に基づいて混合ポリシー１５６を決定する。生成プロセスＧＥＮ１７５，１７６各々は各マルチビューについてマルチ中間画像ＩＢ１及びＩＢ２を生成する。そして判定プロセスＪＤＧはマルチ中間画像ＩＢ１の平均画質を判断し、マルチ中間画像ＩＢ１の平均画質を判断し、最適と判断される平均画質を持つマルチ中間画像を選択する。そして最適平均画質を持つ中間画像に対応する混合ポリシーは混合ポリシーＰＯＬ１５６として決定される。

代替的に、ポリシー決定プロセスＰＯＬＤＥＴはステレオ画像における画像詳細の存在の検出を有し、検出された存在を混合ポリシーの決定に使用する。一部の混合ポリシーを使用するとき、生成された中間画像における画像詳細の画質は、他の混合ポリシーを使用するときよりも高い。視差データＤＬ，ＤＲの不正確さは各中間画像ＩＢＬ，ＩＢＬＲにおいて不正確に生成された画像詳細につながる。従って中間画像ＩＢＬ，ＩＢＲから不正確に生成された画像詳細の混合は混合から生じる中間画像ＩＢにおけるアーチファクトにつながる。アーチファクトは詳細ブラー、すなわち詳細シャープネスの低下、及び／又はゴースト発生、すなわち画像詳細の二重出現を有する。これらのアーチファクトは、中間画像の一つを主に使用する混合を定義する混合ポリシーに従って混合が実行されるときに少なくなる。しかしながら、中間画像の一つを主に使用することは今度はオクルージョンアーチファクトにつながる。従って、中間画像の一つを主に使用する混合を定義する混合ポリシーは、オクルージョンアーチファクトが画質に与える影響が詳細ブラーアーチファクトよりも少なくなるように、ステレオ画像が十分な画像詳細を有する場合にのみ決定される。

図１ｃは画像詳細の検出を用いるポリシー決定プロセスを図示する。ポリシー決定プロセス１８９は、混合ポリシーＰＯＬ１５６がステレオデータにおける検出された画像詳細の存在に基づいてどのように決定されるかをあらわす。混合ポリシー決定プロセス１８９は入力としてステレオ画像を、すなわち左画像ＩＬ１０１及び右画像ＩＲ１０２を受け取る。プロセスＤＴＬＤＥＴ１８１はステレオ画像における画像詳細ＤＴＬ１８４を検出する詳細検出アルゴリズムを有する。画質予測プロセスＱＰＲＥＤ１８２は検出された画像詳細ＤＴＬと第一の混合ポリシーＰＯＬ１７１を受け取り、第一の混合ポリシーＰＯＬ１を用いて生成され得る中間画像の予測画質Ｑ１１８５を決定する。画質予測プロセスＱＰＲＥＤ１８３は検出された画像詳細ＤＴＬと第二の混合ポリシーＰＯＬ２１７２を受け取り、第二の混合ポリシーを用いて生成され得る中間画像の予測画質Ｑ２１８６を決定する。画質予測プロセスＱＰＲＥＤ１８２，１８３は混合ポリシーＰＯＬ１，ＰＯＬ２を用いて生成される中間画像の画質に対する混合ポリシーＰＯＬ１，ＰＯＬ２の影響についての統計的知識を用いて画質を予測する。プロセスＳＥＬ１８７は予測画質Ｑ１，Ｑ２の一方を最適であると決定し、最適予測画質に対応する混合ポリシーを混合ポリシーＰＯＬ１５６として決定する。例えば、予測画質Ｑ２が予測画質Ｑ１と比較して最適である場合、混合ポリシーＰＯＬは第二の混合ポリシーＰＯＬ２として決定され、従ってＰＯＬ＝ＰＯＬ２である。予測画質Ｑ１及びＱ２は各々単一値によってあらわされ得るが、二つの予測画質Ｑ１，Ｑ２のうち高い方が最適であると決定される。

オプションとして、詳細検出アルゴリズムはステレオ画像の左画像及び右画像のうち一方のみを使用する。

オプションとして、予測画質の決定はオクルージョンアーチファクトに基づく。例えば、詳細検出アルゴリズムを用いるのと類似した方法で、プロセス決定プロセスは視差データＤＬ，ＤＲの少なくとも一方を受け取り、視差の大きな遷移を検出する視差遷移検出アルゴリズムを使用する。様々な混合ポリシーで生成される中間画像の画質に対する視差遷移の影響についての統計的知識を用いて、ポリシー決定プロセスは混合ポリシーを決定する。この実施例はポリシー決定プロセスが視差データＤＬ，ＤＲの少なくとも一方を受け取ることを示唆することが留意される。

オプションとして、図１ｂ及び１ｃの決定混合プロセス１７９，１８９は複数の混合ポリシーから混合ポリシーを決定し、複数の混合ポリシーは二つの混合ポリシーＰＯＬ１，ＰＯＬ２よりも多くの混合ポリシーを有する。例えば、複数とは三つの追加混合ポリシーＰＯＬ３，ＰＯＬ４及びＰＯＬ５を有する。

以下では、画質に関して、中間画像の生成に対する混合ポリシーの影響が図２を用いて説明される。

図２はマルチビューディスプレイのマルチビューを図示する。マルチビューは水平に隣接するビューの列を形成する縦縞として示される。各ビューについて、マルチビューディスプレイは対応する中間画像ＩＢを示す。複数のビューが数字２０１，２０２及び２１０‐２１３で示される。全ビューはビュー範囲２３０内にある。ステレオ画像の元のビューは左ビューＬ２０１及び右ビューＲ２０２として示される。ビュー範囲２３０は三つの部分：（ｉ）中央ビュー範囲２２０、（ｉｉ）左横ビュー範囲２２１、及び（ｉｉｉ）右横ビュー範囲２２２にわけられる。ビュー２１０は左ビューＬと右ビューＲの中間にある中央ステレオビューである。対照的に、ビュー２１１及び２１２はそれぞれ横ビュー範囲２２１及び２２２にある。

図２に示す通りビュー構成はレンチキュラベース若しくはバリアベースのオートステレオスコピックディスプレイの使用から生じ得る例示的なビュー構成をあらわす。このようなレンチキュラベースマルチビューディスプレイの一例はＵＳ６，０６４，４２４に開示される。

以下では図２の説明において、（ａ）中央ビュー範囲２３０内のビューについて両中間画像ＩＢＬ，ＩＢＲを用いる混合を定義する、（ｂ）左横ビュー範囲２１１内のビューについて左中間画像ＩＢＬのみを用いる混合を定義する、及び（ｃ）右横ビュー範囲２１２内のビューについて右中間画像ＩＢＲのみを用いる混合を定義する、典型的な混合ポリシーが使用される。混合は左中間画像ＩＢＬの相対寄与と右中間画像ＩＢＲの相対寄与を加えることを有する。

中央ビュー範囲２３０内のビューについて、中間画像ＩＢＬ，ＩＢＲの両方は中間画像ＩＢに混合され、混合への左中間画像ＩＢＬの相対寄与はビューＬに近いビューについては大きく、ビューＬから遠いビューについては低く、その結果、混合への右中間画像ＩＢＲの相対寄与はビューＲに近いビューについては大きく、ビューＲから遠いビューについては低い。

左ビューＬを含む左横ビュー範囲２２１では、混合プロセスが中間左画像ＩＢＬをその出力ＩＢに単にコピーするように、従ってＩＢ＝ＩＢＬになるように、左中間画像ＩＢＬの相対寄与は１００％であり、右中間画像ＩＢＲの相対寄与は０％である。これは左横ビューにおいて中間画像がワーピングプロセスＷＡＲＰ１３０のみによって生成され、従って左元画像ＩＬから事実上補外されることを示唆する。左ビューＬの特定の場合において、ワーピングプロセスＷＡＲＰ１３０はＩＢＬ＝ＩＬ従ってＩＢ＝ＩＢＬ＝ＩＬになるように入力ＩＬをその出力ＩＢＬに単にコピーし、これは元の左画像ＩＬがビューＬにおいて表示されることを示唆する。

右ビューＲを含む右横ビュー範囲２２２では、混合プロセスが中間右画像ＩＢＲをその出力ＩＢに単にコピーするように、従ってＩＢ＝ＩＢＲになるように、右中間画像ＩＢＲの相対寄与は１００％であり、左中間画像ＩＢＬの相対寄与は０％である。これは右横ビューにおいて中間画像がワーピングプロセスＷＡＲＰ１４０のみによって生成され、従って右元画像ＩＲから事実上補外されることを示唆する。右ビューＲの特定の場合において、ワーピングプロセスＷＡＲＰ１４０はＩＢＲ＝ＩＲ従ってＩＢ＝ＩＢＲ＝ＩＲになるように入力ＩＲをその出力ＩＢＲに単にコピーし、これは元の右画像ＩＲがビューＲにおいて表示されることを示唆する。

図２は左目２３１がビュー２１０において中間画像を見て、右目２３２がビュー２１３において中間画像を見る観察者２３０を概略的に示す。観察者の目２３１及び２３２の各々が中間画像ＩＢＬ及びＩＢＲの混合によって生成される中間画像を見るように、ビュー２１０及び２１３は中央ビュー範囲２２０内に、従って元のビューＬ及びＲの間に位置する。混合は、中央ビュー範囲２２０内のビューについて、中間画像の画質に関して利益と欠点を持つ。利益は、オクルージョンアーチファクトが中間画像において顕著に存在しないことであるが、欠点は中間画像における画像詳細がブラー及びゴースト発生に悩まされることである。利益は混合が事実上中間画像ＩＢＬ及びＩＢＲの間の補間であることに起因し、その結果として（補間された）中間画像は顕著なオクルージョンアーチファクトを有さない。欠点は視差データＤＬ及びＤＲにおける不正確さに起因し、以下の通り説明される。左視差データＤＬにおける単一データ値は（１）元の左画像ＩＬにおける画像詳細のピクセル位置と（２）元の画像ＩＲにおける同じ画像詳細の対応するピクセル位置との間のピクセル距離を有する。左視差データＤＬは元の左画像ＩＬから中間ビューＢにおいて左中間画像ＩＢＬを生成するためにワーピングプロセスＷＡＲＰ１３０によって使用される。右視差データＤＲは元の右画像ＩＲからビューＢにおいて右中間画像ＩＢＲを生成するためにワーピングプロセスＷＡＲＰ１４０によって使用される。従って視差データＤＬ，ＤＲにおける不正確さは中間画像ＩＢＬ，ＩＢＲの不正確なピクセル位置において画像詳細を生成させ、その結果中間画像ＩＢＬ，ＩＢＲの画像詳細の混合は典型的にはブラー若しくはゴースト発生アーチファクトに悩まされる画像詳細を有する中間画像ＩＢの生成をもたらす。

図２は左目２４１がビュー２１１において中間画像を見て、右目２４２がビュー２０１において中間画像を見る観察者２４０を概略的に示す。従って右目２４２は定義により最適画質を持つ元の左画像を見る。対照的に、左目２４１は元の左画像ＩＬから左横中間ビュー２１１において生成された、事実上元の左画像から補外される中間画像を見る。ビュー２１１における中間画像は画質に関して利益と欠点を持つ。利益は画像詳細が画像詳細のブラー若しくはゴースト発生に悩まされないことである。欠点は左画像のみからの補外に起因するオクルージョンアーチファクトの出現である。同じ利益と欠点はビュー２１２などの右横ビューにも当てはまる。

本発明の一実施形態において、中間画像の生成において使用される混合ポリシーは元のステレオデータのコンテンツに適応する。多くの詳細を有するステレオ画像の場合、ポリシー決定プロセスＰＯＬＤＥＴは中間画像ＩＢＬ，ＩＢＲの両方を用いるのではなく中間画像ＩＢＬ，ＩＢＲの一方のみを用いる混合を定義する混合ポリシーを決定する。実施形態の第一の実施例として、混合ポリシーはビュー範囲２３０内の全中間ビューについて左中間画像ＩＢＬを中間画像ＩＢに単にコピーする混合を定義する。実施形態の第二の実施例として、混合ポリシーはビュー範囲２３０内の全中間ビューについて右中間画像ＩＢＲを中間画像ＩＢに単にコピーする混合を定義する。実施形態の第三の実施例として、混合ポリシーは（ａ）中央ステレオビュー２１０の左のビューについては左中間画像ＩＢＬから、及び（ｂ）中央ステレオビュー２１０の右のビューについては右中間画像ＩＢＲから、中間画像ＩＢをコピーする混合を定義する。画像詳細のブラーが顕著に見えないように元のステレオ画像が少ない画像詳細を有する場合、中間画像ＩＢＬ，ＩＢＲの両方を用いる混合を定義する混合ポリシーが決定される。

以下では、混合プロセスＭＩＸ１８０はブレンディングプロセスＢＬＥＮＤ及び係数計算プロセスＡＣＯＭＰを有する。図３ａ及び３ｂは二つの中間画像データＩＢＬ及びＩＢＲの混合のための混合係数を定義する混合ポリシーを図示する。

図３ａは線形混合ポリシーを図示する。組み合わされる二つの曲線ＡＬ３０１及びＡＲ３０２は単一混合ポリシーをあらわす。曲線ＡＬ３０１及びＡＬ３０２は混合係数Ａ３０４が中間ビューＢ３０３にどのように依存するかを記述する。曲線ＡＬ３０１は左中間画像ＩＢＬに対応する混合係数を記述し、曲線ＡＲ３０２は右中間画像ＩＢＲに対応する混合係数を記述する。曲線ＡＬ及びＡＲの混合係数は相補的であり合計すると１になる、すなわちＡＬ＋ＡＲ＝１である。混合係数ＡＬ及びＡＲは中間ビューＢに線形従属する。値Ｂ＝０における目盛３１１は元の左ビューＬに対応し、値Ｂ＝１における目盛３１２は元の右ビューＲに対応し、値Ｂ＝０．５における目盛３１３は中央ステレオビュー、例えば図２のビュー２１０に対応することが留意される。ブレンディングプロセスＢＬＥＮＤにおける混合の一実施例はアルファブレンディングに従った混合であり、これは以下の通り実行される：
ＩＢ＝ＡＬ^＊ＩＢＬ＋ＡＲ^＊ＩＢＲ、ここでＡＬ＋ＡＲ＝１

図３ａ及び３ｂにおいて、元のビューＬにおける中間画像ＩＢはＢ＝０における元の左画像ＩＬに等しく、従ってＩＢ＝ＩＢＬ＝ＩＬである。元のビューＲにおける中間画像ＩＢはＢ＝１における元の右画像ＩＲに等しく、従ってＩＢ＝ＩＢＲ＝ＩＲである。中央ビューにおける、従ってＢ＝０．５における中間画像ＩＢは中間画像ＩＢＲ及びＩＢＬの平均に等しく、従ってＩＢ＝０．５^＊ＩＢＬ＋０．５^＊ＩＢＲである。

混合係数ＡＬは混合における左中間画像ＩＢＬの相対寄与をあらわし、混合係数ＡＲは混合における右中間画像ＩＢＲの相対寄与をあらわすことが留意される。この文脈における混合係数は一般に'ブレンド係数'ともよばれる。

横ビュー範囲、従ってＢ＜０及びＢ＞１についての混合ポリシーは図３ａに示されないことが留意される。従ってこれにより、左横ビュー範囲内のビューについて、従ってＢ＜０についてはＡＬ＝１であり、右横ビュー範囲内のビューについて、従ってＢ＞１についてはＡＬ＝０であることが示唆される。その結果として、左横ビュー範囲内のビューについてはＡＲ＝０であり、右横ビュー範囲内のビューについてはＡＲ＝１である。

図３ｂは二つの非線形混合ポリシーを図示する。曲線３５１及び３５２は図３ａの各曲線ＡＬ３０１及びＡＬ３０２と同様であり、曲線３５１及び３５２が中間ビューＢに非線形従属する点が異なる。曲線３５１及び３５２は図３ａの線形曲線の代案を提示する。曲線３５１，３５２を用いる非線形混合ポリシーの効果は、線形曲線３０１を用いるのと比較して非線形曲線３５１を用いるとき、左中間画像ＩＢＬによる混合における相対寄与が、中央ステレオビューの左におけるビューについてより大きくなることである。同様に、右中間画像ＩＢＲによる混合における相対寄与は、線形曲線３０２を用いるのと比較して非線形曲線３５２を用いるとき、中央ビューの右におけるビューについてより大きくなる。

図３ｂは非対称非線形混合ポリシーも示す。非線形非対称曲線３６１，３６２は非線形性という意味で各曲線３５１，３５２と同様であるが、非対称という意味で異なる。曲線３６２は平均で曲線３６１よりも大きいので、曲線３６１，３６２は混合係数が平均で右中間画像ＩＢＲについてより大きいことを示す。その結果として、中央ステレオビューにおいて、すなわちＢ＝０．５において、中間画像ＩＢへの右中間画像ＩＢＲの相対寄与（曲線３６２）は中間画像ＩＢへの左中間画像ＩＢＬの相対寄与（曲線３６１）よりも大きい。言い換えれば、混合における右中間画像ＩＢＲの相対寄与は混合における左中間画像ＩＢＬの相対寄与より優位である。

図３ｂの曲線における左右非対称性は、曲線における非対称性が非対称パラメータＰａｒＡを変えることによって増加若しくは減少され得るように、非対称パラメータＰａｒＡによって制御される。

曲線３６１及び３６２の非対称性をさらに増加させることによって、曲線３６１と３６２の交点はさらにいっそう左の方へ、従ってＢ＝０の方へシフトし、従って曲線３６２は平均でさらにいっそうＡ＝１の方へ傾く。その結果、増加するビューについて、中間画像ＩＢがますます右中間画像ＩＢＲに類似し、徐々に左中間画像ＩＢＬに類似しなくなるように、混合における右中間画像ＩＢＲの大きな相対寄与を用いて中間画像ＩＢが生成されることになる。非対称パラメータＰａｒＡをその正の最大値ＰａｒＡ＝＋１に増加させることによって、上記右中間画像ＩＢＲの相対寄与は全中間ビューＢについて１になる。言い換えれば、中間画像ＩＢが右画像ＩＲ、右視差データＤＲ及び中間ビューＢのみを用いて生成されるように、各中間画像ＩＢは右中間画像ＩＢＲのコピーになる。後者の場合は一般に'画像プラス奥行からのレンダリング'としても知られる。

同様に、非対称パラメータＰａｒＡは交点を右の方へ、すなわち従ってＢ＝１．０の方へ動かして他方の方向に非対称性をシフトするために使用され得る。前の実施例と類似して、上記交点を右へますますシフトすると、中間画像ＩＢへの左中間画像ＩＢＬの相対寄与はさらに増加する。非対称パラメータＰａｒＡをその負の最大値ＰａｒＡ＝−１に増加させることによって、上記左中間画像ＩＢＬの相対寄与はＢ＝０とＢ＝１の間の全中間ビューＢについて１になる。言い換えれば、中間画像ＩＢが左画像ＩＬ、左視差データＤｌ及び中間ビューＢのみを用いて生成されるように、中間画像ＩＢは左中間画像ＩＢＬのコピーになる。

よりゼロに近い値を仮定する非対称パラメータＰａｒＡの場合、図３ｂの曲線はあまり非対称でなくなり、これは上記中間画像ＩＢＬ，ＩＢＲの相対寄与がより等しくなる混合ポリシーに対応する。ＰａｒＡ＝０である、非対称パラメータの一つの特定の値の場合、曲線は曲線３５１，３５２によって図示されるような対称非線形混合ポリシーを記述する。

従って非対称パラメータは事実上、混合ポリシーを徐々にスイッチし、それによって（ａ）左データ及び右データの両方から中間画像を生成することと、（ｂ）左データ及び右データの一方のみから中間画像を生成することを徐々に切り替えるために使用され得る'ソフトスイッチ'である。混合ポリシーの当該段階的スイッチは本明細書において以下でさらに詳述される。オプションとして、中間画像はステレオビュー静止画像によって含まれるステレオデータから生成される。オプションとして、中間画像はステレオビュービデオシーケンスのステレオビューフレームによって含まれるステレオデータから生成される。

オプションとして、二つの中間画像は新たなステレオ画像の新たな左画像と新たな右画像を形成するために生成され、新たな左画像は新たな左ビューに対応し、新たな右画像は新たな右ビューに対応し、新たな左ビューと新たな右ビューはそれぞれ元の左ビュー及び右ビューとは異なる。このような二つの中間画像の生成は一般にステレオ‐ステレオ変換ともよばれ、ステレオデータの奥行範囲を縮小若しくは拡大するために適用され得る。新たなステレオ画像はステレオビュー眼鏡を用いて観察者によって専用ステレオビューディスプレイ上で見られ得る。

オプションとして、中間画像の列において画像を同時に表示することができるマルチビューオートステレオスコピックディスプレイ上で見るために、ビューの水平列に対応する中間画像の列が生成される。列は典型的には二つよりも多くのビューを有する。例えば、マルチビューオートステレオスコピックディスプレイは９ビューを有する。

オプションとして、中間画像の列はステレオビュービデオシーケンスの各フレームから各ビュー列に対して生成される。ビュー列は連続中間ビューを有する。中間画像の列は例えばマルチビューオートステレオスコピックディスプレイ上で見られる。

オプションとして、ステレオビュービデオシーケンスは様々なシーンを有し、単一の混合ポリシーが一つのシーン内で使用される。シーンはマルチ連続ステレオビュービデオフレームを有し、この場合、各ステレオビュービデオフレームから中間画像を生成するためにシーン内で同じ混合ポリシーが使用される。シーン内で使用される混合ポリシーは後続シーン内で使用される混合ポリシーとは異なり得る。シーン変化検出器を用いることによって、次のシーンの開始が検出され、次の混合ポリシーが新たなシーンの最初のフレームにおいて決定される。次のシーン内では次の混合ポリシーが使用される。シーン変化検出器を用いるのではなく、シーン変化はシーン変化インジケータを有するメタデータによって示されてもよく、メタデータはステレオビュービデオシーケンスによって含まれる。

従来技術のシーン検出、若しくはショット遷移検出法、並びにそれらの作用の分析の概要は、引用により本明細書に組み込まれる、ＡｌａｎＦ．Ｓｍｅａｔｏｎ，"Ｖｉｄｅｏｓｈｏｔｂｏｕｎｄａｒｙｄｅｔｅｃｔｉｏｎ：ＳｅｖｅｎｙｅａｒｓｏｆＴＲＥＣＶｉｄａｃｔｉｖｉｔｙ"，ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＩｍａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇ１１４（２０１０）４１１‐４１８，２０１０において得られる。図４はステレオビデオフレームを有するステレオビュービデオシーケンス４００の三連続シーン４１０，４２０，４３０を図示する。ステレオビデオシーケンスは左画像と右画像を有するステレオビデオフレームから成る。図４における水平軸は時間軸をあらわす。セクション４１０，４２０，４３０は各々（時間）インスタンス４０１，４０２，４０３においてそれぞれ開始するステレオビュービデオシーケンスのセクションを提示し、セクション４３０はインスタンス４０４において終了する。セクション４１０，４２０，４３０はシーンをあらわし、インスタンス４０２及び４０３はシーン変化をあらわす。本文脈において使用される'シーン'という語は'ショット'という語によって一般によばれるものと同じことをあらわす。

シーン内で単一の混合ポリシーが使用される上記実施形態が、以下の実施例でさらに説明される。セクション４１０は多くの詳細を有するフレームを含み、従って左中間画像ＩＢＬのみを用いる混合を定義する混合ポリシーが決定される。セクション４２０は少ない詳細を含み、従って図３ａの曲線によって記述される混合ポリシーなど、左中間画像ＩＢＬと右中間画像ＩＢＲの両方を用いる混合を定義する混合ポリシーが決定される。セクション４１０と同様に、セクション４３０は多くの詳細を有するフレームを含み、従って右中間画像ＩＢＲのみを用いる混合を定義する混合ポリシーが決定される。シーン変化がインスタンス４０２及び４０３において検出され、その結果新たな混合ポリシーが決定され、中間画像ＩＢの生成において使用される。

前の実施例に加えて追加の実施例として、中間ビューの各列に対応する中間画像の列が各ステレオビデオフレームから生成され、中間画像の列はマルチビューオートステレオスコピックディスプレイ上で見られる。

オプションとして、混合ポリシーの決定はステレオビュービデオシーケンスのシーン内で段階的に変化する。これは図３ｂの説明において上記した通り非対称パラメータを用いる混合で実現される。以下の実施例を考える。シーンの前期フレームから生成するために、左中間画像ＩＢＬのみを用いる混合を定義する、従って事実上（元の）左データのみから中間画像ＩＢを生成する、第一の混合ポリシーが決定される（ＰａｒＡ＝−１を用いる）。シーンの後期フレームから生成するために、二つの中間画像ＩＢＬ，ＩＢＲの両方を用いる混合を定義する、従って事実上左データと右データの両方から中間画像ＩＢを生成する、第二の混合ポリシーが決定される（ＰａｒＡ＝０を用いる）。さらに、中間画像ＩＢにおける急な遷移を防止するために、混合ポリシーは前期フレームと後期フレームの間のフレームについて第一の混合ポリシーから第二の混合ポリシーへ段階的に変更される。二フレーム間で非対称パラメータを段階的に変化させることによって、混合ポリシーにおいて段階的な変化が確立され、その結果中間画像も段階的に変化する。従って前期フレームと後期フレームの間のフレームについて、非対称パラメータは前期フレームに対するＰａｒＡ＝−１から後期フレームに対するＰａｒＡ＝０へと段階的に変化する。

図５は、六つのサブ図の各々において、中央中間ビューＣＩ５０４を中心とする中間ビューの列を有するマルチビューディスプレイを図示する。サブ図５１０‐５５０の各々はディスプレイビューの列を有するマルチビューディスプレイを図示する。各ディスプレイビューにおいて、ディスプレイは中間ビューに対応する中間画像を表示し、従ってディスプレイビューの列は事実上中間ビューの列を示す。中間ビューの列内の中間ビューの相対位置は全てのサブ図において同じままであり、従って中間ビューは列におけるそれらの相対順序とそれらの二つの隣接中間ビューへの距離を維持する。元のステレオビューＬ５０１及びＲ５０２は左ビューと右ビューが中間ビューの列内のどこにあるかを示す。中央ステレオビューＣＳ５０３はビューＬとビューＲの真ん中にある中間ビューを示す。中央中間ビューＣＩ（破線垂直線も参照）は定義により中間ビューの列の中心にあるが、中央中間ビューＣＩは元のビューＬ及びＲの間若しくは付近の任意の中間ビューに対応し得る。ビューＬ，Ｒ及びＣから中央中間ビューＣＩがどの中間ビューに対応するかが推定される。サブ図５１０‐５５０の各々は異なる中央中間ビューＣＩに対応する（同じ中央中間ビューＣＩに対応するサブ図５５０及び５６０を除く）。

例えばサブ図５１０において、中央中間ビューＣＩは中央ステレオビューＣＳに対応する。対照的に、サブ図５５０において中央列ビューＣＩは元の左ビューＬに対応する。各サブ図から次のサブ図へ、例えば５１０から５２０へ、中央中間ビューは１ビューだけシフトする。従って、サブ図５１０‐５５０のシーケンスは中央中間ビューＣＩの段階的シフト、すなわち後続サブ図間で１ビューだけシフトする、サブ図５１０における中央ステレオビューからサブ図５５０における元の左ビューへの段階的シフトを示す。しかしながらサブ図５５０とサブ図５６０の間で中央中間ビューＣＩはシフトされず、これは以下の実施例において使用される。

オプションとして、図１の方法はステレオデータから中間画像の列を生成するために使用され、中間画像がステレオデータの所与のコンテンツに対して最適画質を持つように中央中間ビューＣＩが決定される。以下の実施例を考えると、ステレオデータはステレオビデオシーケンスによって含まれ、混合ポリシーは全フレームに対して同じ混合を定義する。混合ポリシーは、図３ａによって記述される混合ポリシーなど、両中間画像ＩＢＬ及びＩＢＲを使用する混合を定義する。この実施例の文脈において、サブ図５１０‐５６０はステレオビュービデオシーケンスの後続フレームに対応する。サブ図５１０はこの実施例においてフレーム１とよばれる、ステレオビデオフレームから生成される中間画像の列をマルチビューディスプレイが表示する状況に対応する。同様に、サブ図５２０‐５６０は各フレーム２‐６に対応する。ポリシー検出プロセスは画像詳細の存在を検出する詳細検出器を使用し、検出された存在に基づいて中央中間ビューＣＩを選択する。フレーム１について、システムは、詳細検出器を用いて、詳細アーチファクトが見えないように少ない詳細が存在すると結論付け、従って中央中間ビューＣＩとして中央ステレオビューＣＳを選択する。その結果、方法は中間ビューの列に対する中間画像を生成し、列の中央ビューは中央ステレオビューＣＳに対応する。しかしながら、フレーム２に対し、システムは過剰の詳細が存在すると結論付け、従って、例えば詳細アーチファクトは中央ステレオビューＣＳ付近のビューよりも元の左ビューＬ付近のビューで少なく見えるので、中央中間ビューＣＩとして左ビューＬを用いることによって最適画質が生成されると結論付ける。中間画像における瞬間遷移（例えば３Ｄ画像が不快な観察経験をもたらす突然の'ジャンプ'をなすような）を防止するために、中央中間ビューＣＩは第二のフレームから中間画像の列を生成するために左ビューＬへ単一ステップでシフトされない。代わりに、元の左ビューＬへ向かって中央中間ビューＣＩの段階的シフトがフレーム２‐５中に実行され、フレーム５において段階的シフトを完了する。

オプションとして、例えばシーン変化が一つのフレームとその次のフレームの間で検出されるとき、システムは一つのフレームとその次のフレームの間で中央中間ビューＣＩの瞬間シフトを（段階的シフトを実行するのとは対照的に）実行する。ステレオビデオフレームのコンテンツが、全体として、シーン変化において一つのフレームとその次のフレームの間で変化するので、中央中間ビューＣＩにおける瞬間変化は観察者によって気付かれない。

オプションとして、ポリシー決定プロセスは中央中間ビューＣＩのシフトを完了した後に新たな混合ポリシーを決定する。例えば、上記の通りフレーム１‐５中の段階的シフトを考える。フレーム６（サブ図５６０参照）について、混合ポリシーは例えば左中間画像ＩＢＬのみを用いる（若しくは言い換えれば事実上'画像プラス奥行'を用いる）混合を定義する新たな混合ポリシーに変更される。

オプションとして、前の段落に類似して、ポリシー決定プロセスは中央中間ビューＣＩのシフトを開始する前に新たな混合ポリシーを決定する。新たな混合ポリシーは段階的シフト中に変化しない。

オプションとして、ポリシー決定プロセスは段階的シフトと同時に混合ポリシーを変更することを段階的に決定する。フレーム１‐５中の段階的シフトを考えるが、混合ポリシーは非対称パラメータＰａｒＡによって制御される非線形非対称混合ポリシーである（図３ｂも参照）。フレーム１において、混合は図３ｂにおける曲線３５１‐３５２によって記述されるような両中間画像ＩＢＬ及びＩＢＲを用いて決定される。フレーム５において、混合は左中間画像ＩＢＬのみを使用する。フレーム１，２，３，４，５における混合はそれぞれＰａｒＡ＝０．０，−０．２５，−０．５，−０．７５，−１．０によって定義される。オプションとして、中央中間ビューＣＩは離れた複数フレームであるフレームにおいてシフトされる。例えば、中央中間ビューＣＩは１０フレームごとに一度１ビューだけシフトされ、毎フレームごとに１ビューだけシフトするのと比較して段階的シフトをより遅くする。オプションとして、中央中間ビューＣＩはビューの一部だけ、若しくは１ビューよりも多くシフトされる。

図６は三構成で、ステレオデータから中間画像を生成するため及びディスプレイ上に中間画像を表示するためのシステムを図示する。システムは生成された中間画像をディスプレイ上に表示するために構成される。生成ユニットＧＵ６３０，６４０，６５０は全て中間画像ＩＢ６１１を生成するように構成され、全てステレオ画像ＩＬ，ＩＲと中間ビューＢ６０３を受け取るように構成される。ディスプレイユニットＤＩＳＰ６６６は生成ユニットＧＵ６３０，６４０，６５０の一つから受け取る中間画像ＩＢを表示するように構成される。

図６はステレオ画像から中間画像ＩＢ６１１を生成するための、及びディスプレイＤＩＳＰ上に中間画像ＩＢ６１１を表示するためのシステム６００を図示する。生成ユニットＧＵ６３０はステレオ画像ＩＬ，ＩＲから中間画像ＩＢ６１１を生成するように、及び元の左画像ＩＬ、右画像ＩＲ及び中間ビューＢ６０３をその入力において受け取るように構成される。プロセスＧＵ６３０は以下の機能を有する：
（ａ）元の左及び右画像ＩＬ，ＩＲを受け取り、左及び右画像ＩＬ，ＩＲから左視差データＤＬを計算し、計算された左視差データＤＬを左ワーピング機能へ渡す、左視差計算機能；並びに、
（ｂ）元の左及び右画像ＩＬ，ＩＲを受け取り、左及び右画像ＩＬ，ＩＲから右視差データＤＲを計算し、計算された右視差データＤＲを右ワーピング機能へ渡す、右視差計算機能；並びに、
（ｃ）中間ビューＢ６０３、左画像ＩＬ、及び左視差データＤＬを受け取り、左中間画像ＩＢＬを生成し、左中間画像ＩＢＬを混合機能へ渡す、左ワーピング機能；並びに、
（ｄ）中間ビューＢ６０３、右画像ＩＲ、及び右視差データＤＲを受け取り、右中間画像ＩＢＲを生成し、右中間画像ＩＢＲを混合機能へ渡す、右ワーピング機能；並びに、
（ｅ）元の左画像ＩＬ及び元の右画像ＩＲを受け取り、その混合ポリシーを用いてシステムによって生成される中間画像の予測画質に基づいて混合ポリシーを決定し、混合ポリシーを混合機能へ渡す、ポリシー決定機能；並びに、
（ｆ）左ワーピング機能から左中間画像ＩＢＬを受け取り、右ワーピング機能から右中間画像ＩＢＲを受け取り、中間ビューＢ６０３を受け取り、ポリシー決定機能から混合ポリシーを受け取り、中間ビューＢ６０３と混合ポリシーを用いて中間画像ＩＢＬ，ＩＢＲの混合によって中間画像ＩＢ６１１を生成する、混合機能。

オプションとして、生成ユニットはシステムの機能を実行するソフトウェアを有する汎用プロセッサである。オプションとして、生成ユニットはシステムの機能を実行する専用アプリケーションロジックを有するＡＳＩＣである。

オプションとして、システム６００は左ワーピング機能と右ワーピング機能の代わりに単一ワーピング機能を有する。左ワーピング機能と右ワーピング機能は同一であり、同じ計算を実行するように構成され、それらが処理する入力においてのみ異なる。単一ワーピング機能は左ワーピング機能若しくは右ワーピング機能と同一である。システム６００は連続的に中間画像ＩＢＬ，ＩＢＲを計算する単一ワーピング機能を有する。例えば、単一ワーピング機能は以下の通り実行される。単一ワーピング機能は最初に左データＩＬ，ＤＬ、中間ビューＢを受け取り、左中間画像ＩＢＬを生成し、左中間画像ＩＢＬを混合プロセスに渡す。そして単一ワーピング機能は右データＩＲ，ＤＲ、中間ビューＢを受け取り、右中間画像ＩＢＲを生成し、右中間画像ＩＢＲを混合プロセスに渡す。システム６００は一旦四つの入力ＩＢＬ，ＩＢＲ，Ｂ，ＰＯＬ全てを受け取ると混合を実行する混合機能を有する。オプションとして、単一ワーピング機能は最初に右中間画像ＩＢＲを、そして左中間画像ＩＢＬを時系列で生成する。

図６はステレオ画像及び混合ポリシーから中間画像を生成するために、並びに中間画像をディスプレイ上に表示するように構成されるシステム６１０を図示する。生成ユニットＧＵ６４０は以下の違いを除きユニットＧＵ６３０と同じである。ユニットＧＵ６４０はポリシー決定機能を有しておらず、混合機能がＧＵ６４０の入力から混合ポリシーＰＯＬ６０４を受け取るように構成される。

図６はステレオ画像から、及び視差データから中間画像を生成するために、並びに中間画像をディスプレイ上に表示するように構成されるシステム６２０を図示する。生成ユニットＧＵ６５０は以下の違いを除きユニットＧＵ６３０と同じである。生成ユニットＧＵ６５０は視差処理機能を有していない。左ワーピング機能は入力から直接左視差ＤＬ６１１を受け取るように構成される。同様に、右ワーピング機能は入力から直接右視差ＤＲ６１２を受け取るように構成される。

オプションとして、ディスプレイユニットＤＩＳＰはそのディスプレイビューの一つにおいて中間画像ＩＢを表示するマルチビューディスプレイである。

オプションとして、ディスプレイユニットＤＩＳＰはステレオビューディスプレイであり、左中間ビューＢＬと右中間ビューＢＲを生成ユニットＧＵへ提供するようにヘッドトラッキングデバイスが構成される。生成ユニットＧＵは各中間ビューＢＬ，ＢＲを用いて新たな左画像と新たな右画像を生成するように、及び生成されたステレオ画像をディスプレイユニットＤＩＳＰへ提供するように構成される。ディスプレイユニットＤＩＳＰはステレオ画像を表示するように構成され、これは観察者がディスプレイユニットＤＩＳＰ上で３Ｄ画像を知覚することを可能にするように構成されるステレオ眼鏡を用いて観察者によって見られる。生成ユニットＧＵとディスプレイユニットＤＩＳＰを有する、得られるシステムは、観察者が３Ｄ画像を視覚的に知覚するように、及び能動的頭部運動をなすことにより３Ｄ画像におけるフォアグラウンドオブジェクトの後ろを見るように構成される。

上記の通り、混合ポリシーは事前に計算され、元のステレオデータ（１０５）を補完するメタデータとしてレンダリングシステム若しくはレンダリングデバイスに提供されてもよい。従って本発明はステレオデータ１０５から中間画像１６１を生成するのに使用するための出力ステレオデータを生成する方法も有利に可能にし、ステレオデータ１０５は左データ１０３と右データ１０４を有し、左データ１０３は左画像１０１と左視差データ１１１を有し、左データ１０３は左ビューに対応し、右データ１０４は右画像１０２と右視差データ１１２を有し、右データ１０４は右ビューに対応し、中間画像１６１は中間ビュー１５５に対応し、方法は：中間画像１６１の予測画質に基づいて混合ポリシー１５６を決定するステップ１７０と；ステレオデータ１０５を決定された混合ポリシーと組み合わせることによって出力ステレオデータを生成するステップを有する。

上記の通り出力ステレオデータは、中間画像１６１を生成するために構成されるシステム６００が、決定された混合ポリシー１５６がそう要求するとき、中間ビュー１５５のために左データ１０３から左中間画像１３１を生成すること、及び決定された混合ポリシー１５６がそう要求するとき、中間ビュー１５５のために右データ１０４から右中間画像１４１を生成すること、及び決定された混合ポリシー１５６がそう要求するとき、混合ポリシー１５６に従って左中間画像１３１と右中間画像１４１を混合すること（１８０）によって中間画像１６１を生成することを可能にするという点で、従来技術と比較して中間画像１６１の改良された生成を可能にするために使用され得る。

本発明はステレオデータ１０５から中間画像１６１を生成するのに使用するための出力ステレオデータを生成するためのシステムも可能にし、ステレオデータ１０５は左データ１０３と右データ１０４を有し、左データ１０３は左画像１０１と左視差データ１１１を有し、左データ１０３は左ビューに対応し、右データ１０４は右画像１０２と右視差データ１１２を有し、右データ１０４は右ビューに対応し、中間画像１６１は中間ビュー１５５に対応し、システムは中間画像１６１の予測画質に基づいて混合ポリシー１５６を決定し（１７０）、ステレオデータ１０５を決定された混合ポリシーと組み合わせることによって出力ステレオデータを生成するために構成される生成ユニットを有する。

出力ステレオデータに含まれる混合ポリシー情報、若しくは混合ポリシーメタデータは、上記の通りマルチビューディスプレイを駆動するのに使用するための混合係数若しくはブレンド係数、非対称パラメータ、中央ステレオビュー記述、ビュー位置割り当てに及ぶ情報を有し得る。この情報はフレームあたり、若しくは好適にはシーン内の各フレームにパラメータをリンクするシーンあたりのルックアップテーブルの形で、又は例えば区分的線形若しくはスプラインベース表現を用いて機能記述の形で提供され、表現は再生デバイスが機能記述からフレームに対し適切なパラメータを導き出すことを可能にする。

出力ステレオデータは単数のステレオ画像ペアを有し得るが、メタデータの使用は、これがマルチビューディスプレイ上でこのようなビデオシーケンスの改良されたレンダリングを可能にするので、ステレオビデオシーケンスにとって特に有利である。上記方法に従って生成される出力ステレオデータはマルチビューディスプレイデバイス上でのレンダリングにおいて使用するための追加メタデータ及び／又は情報をさらに含み得る。

出力ステレオデータはブロードキャスト用の信号として、又はローカルネットワーク、企業イントラネット若しくはインターネットなどのデジタルネットワークを介した伝送用の信号として、出力され得る。得られる信号はステレオデータ１０５から中間画像１６１を生成するのに使用するための信号であり、信号はステレオデータ１０５を有し、ステレオデータ１０５は左データ１０３と右データ１０４を有し、左データ１０３は左画像１０１と左視差データ１１１を有し、左データ１０３は左ビューに対応し、右データ１０４は右画像１０２と右視差データ１１２を有し、右データ１０４は右ビューに対応し、中間画像１６１は中間ビュー１５５に対応し、混合ポリシーデータは中間画像１６１の予測画質に基づいて混合ポリシー１５６を決定する。

上記の通り信号は、中間画像１６１を生成するために構成されるシステム６００が、決定された混合ポリシー１５６がそう要求するとき、中間ビュー１５５のために左データ１０３から左中間画像１３１を生成すること、及び決定された混合ポリシー１５６がそう要求するとき、中間ビュー１５５のために右データ１０４から右中間画像１４１を生成すること、及び決定された混合ポリシー１５６がそう要求するとき、混合ポリシー１５６に従って左中間画像１３１と右中間画像１４１を混合すること（１８０）によって中間画像１６１を生成することを可能にするという点で、従来技術と比較して中間画像１６１の改良された生成を可能にするために使用され得る。

同様に信号はＢｌｕ‐ｒａｙ（登録商標）ディスクの形の光学データキャリア、若しくは均等な光学データキャリアなどのデジタルデータキャリア上に、又はフラッシュ若しくはソリッドステートストレージデバイスなどの電子不揮発性媒体上に記録され得る。Ｂｌｕ‐ｒａｙ（登録商標）ディスクフォーマットについてより詳しくは、引用により本明細書に組み込まれるhttp://blu-raydisc.com/assets/Downloadablefile/BD-ROM-AV-WhitePaper_110712.pdfで見られる。好適にはビューレンダリングと関連するメタデータは、ユーザデータメッセージ；シグナリングエレメンタリストリーム情報［ＳＥＩ］メッセージ；エントリポイントテーブル；若しくはＸＭＬベース記述のうちの少なくとも一つにおいて、デコーディング情報として規格に従って含まれる。

元の入力ステレオデータ１０５にわたって出力ステレオデータを分散させる利点は、作者側でコンテンツは典型的には全て利用可能であり、結果としてより高価な及び／又は時間のかかるアルゴリズム（若しくはユーザアシストアルゴリズム）が適切な混合ポリシーを決定するために使用され得ることである。

上述の実施形態は本発明を限定するのではなく例示し、当業者は添付のクレームの範囲から逸脱することなく多くの代替的な実施形態を設計することができることが留意されるべきである。

クレーム中、括弧の間に置かれる任意の参照符号はクレームを限定するものと解釈されてはならない。"有する"という動詞及びその活用の使用はクレームに列挙されるもの以外の要素若しくはステップの存在を除外しない。ある要素に先行する冠詞"ａ"若しくは"ａｎ"はかかる要素の複数の存在を除外しない。本発明は複数の別個の要素を有するハードウェアを用いて、適切にプログラムされたコンピュータを用いて、実施され得る。複数の手段を列挙する装置クレームにおいてこれら手段の一部はハードウェアの一つの同じ項目によって具体化され得る。特定の手段が相互に異なる従属クレームに列挙されるという単なる事実は、これら手段の組み合わせが有利に使用されることができないことを示さない。

Claims

中間ビューの関数として混合における左及び右中間画像の相対寄与を定義する混合ポリシーに従った、左中間画像と右中間画像の混合を用いて、中間ビューのためにステレオデータから中間画像を生成するための方法であって、前記ステレオデータは左データと右データを有し、前記左データは左画像と左視差データを有し、前記左データは左ビューに対応し、前記右データは右画像と右視差データを有し、前記右データは右ビューに対応し、前記中間画像は中間ビューに対応し、前記左中間画像は前記中間ビューのために前記左データから生成され、前記右中間画像は前記中間ビューのために前記右データから生成され、当該方法は、
前記ステレオデータの画像特徴に基づいて複数の混合ポリシーの各々に対して前記中間画像の画質を予測するステップと、
前記中間画像の予測画質に基づいて前記複数の混合ポリシーから混合ポリシーを選択することによって混合ポリシーを決定するステップと、
前記決定された混合ポリシーがそう要求するとき、前記左中間画像を生成するステップと、
前記決定された混合ポリシーがそう要求するとき、前記右中間画像を生成するステップと、
前記決定された混合ポリシーに従った相対寄与を用いて前記左中間画像と前記右中間画像を混合することによって前記中間画像を生成するステップと、
を有する方法。
前記混合ポリシーを決定するステップが前記ステレオデータに結合されるメタデータから前記混合ポリシーを読み出すことによって実行される、請求項１に記載の方法。
前記ステレオデータの画像特徴に基づいて前記中間画像の画質を予測するステップが、前記ステレオデータの画像詳細に基づいて前記中間画像の画像詳細の量を予測するステップを有する、請求項１又は２に記載の方法。
前記ステレオデータがビデオシーケンスであり、前記中間画像を生成するステップが、
前記ステレオデータの各後続フレームから後続中間画像を生成するステップをさらに有する、請求項１又は２に記載の方法。
前記混合ポリシーを決定するステップが、
第一のインスタンスにおいて第一のフレームから第一の中間画像を生成するための第一の混合ポリシーを決定するステップと、
第二のインスタンスにおいて第二のフレームから第二の中間画像を生成するための第二の混合ポリシーを決定するステップと
を有する、請求項４に記載の方法。
前記混合ポリシーを決定するステップが、
第三のインスタンスにおいて第三のフレームから第三の中間画像を生成するための第三の混合ポリシーを決定するステップをさらに有し、
前記第三のインスタンスが前記第一のインスタンスの後及び前記第二のインスタンスの前に起こり、
前記第三の混合ポリシーによって定義される第三の相対寄与が、前記第一の混合ポリシーによって定義される第一の相対寄与と、前記第二の混合ポリシーによって定義される第二の相対寄与の間にあり、
前記第一、第二及び第三の相対寄与が全て前記左中間画像に対応する、
請求項５に記載の方法。
前記中間画像を生成するステップが、
前記ステレオデータから第一の中間画像列を生成するステップを有し、前記第一の中間画像列は第一の隣接中間ビュー列に対応する、請求項１又は２に記載の方法。
前記第一の中間画像列を生成するステップが、
第一の中間ビュー列の中央中間ビューが第一のビューに対応するように、前記左及び右ビューの間、又は前記左若しくは右ビュー付近のビューである当該第一のビューに、前記第一の中間ビュー列をセンタリングするステップと、
前記第一の中間画像列の予測画質に基づいて前記第一のビューを選択するステップと
を有する、請求項７に記載の方法。
前記ステレオデータがビデオシーケンスであり、前記第一の中間画像列が前記ビデオシーケンスの第一のフレームから生成され、前記第一のフレームは時間において第一のインスタンスに対応し、
前記中間画像を生成するステップが、
前記ビデオシーケンスの第二のフレームから第二の中間画像列を生成するステップであって、前記第二のフレームは時間において第二のインスタンスに対応し、前記第二の中間画像列は第二のビューを中心とする第二の隣接中間ビュー列に対応する、ステップ
をさらに有する、請求項８に記載の方法。
前記中間画像を生成するステップが、
前記ビデオシーケンスの第三のフレームから第三の中間画像列を生成するステップであって、前記第三のフレームは時間において第三のインスタンスに対応し、前記第三の中間画像列は第三のビューを中心とする第三の隣接中間ビュー列に対応し、時間における前記第三のインスタンスは時間における前記第一のインスタンスの後及び時間における前記第二のインスタンスの前に起こり、前記第三のビューは前記第一のビューと前記第二のビューの間にある、ステップ
をさらに有する、請求項９に記載の方法。
前記複数の混合ポリシーが二つの混合ポリシーのうち少なくとも一つの混合ポリシーを有し、
第一の混合ポリシーは、
混合における前記左中間画像の左相対寄与を定義し、
混合における前記右中間画像の右相対寄与を定義し、
前記左相対寄与と前記右相対寄与の一方が、前記左相対寄与と前記右相対寄与の他方より優位であり、
第二の混合ポリシーは、
前記右中間画像を前記中間画像にコピーすることによって前記左及び右中間画像を混合することに対応する、前記左中間画像の相対寄与がゼロであると定義する、
請求項１又は２に記載の方法。
前記ステレオデータが静止ステレオ画像ペアを有する、請求項１又は２に記載の方法。
前記左視差データと前記右視差データが両方とも前記左画像と前記右画像から計算される、請求項１又は２に記載の方法。
中間ビューの関数として混合における左及び右中間画像の相対寄与を定義する混合ポリシーに従った、左中間画像と右中間画像の混合を用いて、中間ビューのためにステレオデータから中間画像を生成するように構成されるシステムであって、前記ステレオデータは左データと右データを有し、前記左データは左画像と左視差データを有し、前記左データは左ビューに対応し、前記右データは右画像と右視差データを有し、前記右データは右ビューに対応し、前記中間画像は中間ビューに対応し、前記左中間画像は前記中間ビューのために前記左データから生成され、前記右中間画像は前記中間ビューのために前記右データから生成され、当該システムは、
前記ステレオデータの画像特徴に基づいて複数の混合ポリシーの各々に対して前記中間画像の画質を予測するための予測機能と、
前記中間画像の予測画質に基づいて前記複数の混合ポリシーから混合ポリシーを選択することによって混合ポリシーを決定するための混合ポリシー機能と、
前記決定された混合ポリシーがそう要求するとき、前記左中間画像を生成するための左ワーピング機能と、
前記決定された混合ポリシーがそう要求するとき、前記右中間画像を生成するための右ワーピング機能と、
前記決定された混合ポリシーに従った相対寄与を用いて、前記左中間画像と前記右中間画像を混合することによって前記中間画像を生成するための混合機能と
を実行するように構成される生成ユニットを有する、システム。
前記混合ポリシーを決定するための混合ポリシー機能が、前記ステレオデータに結合されるメタデータから前記混合ポリシーを読み出すことによって実行される、請求項１４に記載のシステム。
前記中間画像がマルチビューディスプレイの少なくとも一つのビューを駆動するために使用される、請求項１４又は１５に記載のシステム。