JP6158929B2 - 画像処理装置、方法及びコンピュータプログラム - Google Patents

Description

本発明は、画像処理を行うための装置、方法及びコンピュータプログラムに関する。

背景情報

本項は特許請求の範囲に記載されている本発明の背景又は文脈を提供することを目的としている。本明細書に記載されている説明は、追求され得る概念を含み得るが、必ずしも以前に着想又は追求された概念であるとは限らない。したがって、本明細書に特に示されていない限り、本項で説明されている技術は、本出願内の説明及び特許請求の範囲に対する先行技術ではなく、本項に含まれていても、それが先行技術であるとは認められない。

現在、３次元（３Ｄ）ビデオコンテンツを提供するための様々な技術が調査及び開発されている。様々なマルチビューの適用例では、視聴者が見ることができるのは、特定の視点からの１つのステレオビデオペア及び異なる視点からの別のステレオビデオペアに限定される。一部の手法では、デコーダ側には限られた数の入力ビュー、例えばモノラル又はステレオビデオ及び何らかの補足データなど、のみが提供され、その後デコーダがすべての必要なビューを局所的にレンダリング（すなわち合成）してディスプレイに表示する。

３Ｄビデオコンテンツのエンコードでは、高度ビデオ符号化規格Ｈ．２６４／ＡＶＣ又はＨ．２６４／ＡＶＣのマルチビュービデオ符号化（ＭＶＣ）拡張などのビデオ圧縮システムを用いることができる。

立体ビデオのキャプチャには、水平方向に整列され、かつ同期された２つのカメラを用いてもよい。２つのカメラの光学的中心間の距離は、基線距離として知られている。ステレオ対応点は、２つのカメラ内の同じシーン点を反映する画素によって示される。カメラのパラメータ、基線及び対応点が分かれば、三角測距式の推定などを適用することによってシーン点の３次元（３Ｄ）座標を求めることができる。同じ手順を２つのカメラ画像内のすべての画素に適用すると、カメラを中心とする高密度の距離マップ（奥行きマップ）を取得することができる。このマップはシーンの３Ｄ幾何モデルとして、符号化、再利用、仮想ビューの合成、３Ｄ走査、対象物の検出及び認識、現実シーンへの仮想対象物の埋込み（拡張現実感）など、多くの３Ｄビデオ処理の適用例に利用することができる。

マルチビューの適用例では、論理的に複数のカメラペアとして配列し得る３つ以上のカメラを用いてもよい。したがって、これらのカメラによって同じシーンがキャプチャされることで、同じシーンの様々なビューから立体ビデオを提供することができる。

奥行きマップ推定では、２つのカメラビュー内の画素間の対応点をどのような方法で確実に検出するかが課題となる。通常、カメラビューは修正されてもよく、対応点は水平線上で発生するように制限される。このような対応関係は視差と呼ばれる。視差マップ（修正された２つの画像ビュー内の画素間の対応点）を検出するプロセスは、ステレオマッチングと呼ばれる。一部のステレオマッチング手法では、実世界のステレオ像に関する特定の問題に対処するために、局所的又は全体的な最適化基準が適用されるが、この基準は適用例ごとにいくつかの制約を受ける。

多くのステレオマッチングアルゴリズムは、視差範囲内の一致を探索する。任意の立体像に対して正しい視差探索範囲を選択することは、困難な作業になり得る。これは特に、手動による範囲選択があまり現実的でない実世界及び屋外での適用例に当てはまる。選択した探索範囲が狭すぎる場合、推定視差の質が不必要に低下する可能性がある。さらに、ステレオマッチングの範囲が広すぎる場合（制約がない場合など）、計算複雑性が不必要に増加する可能性がある。最新のステレオマッチング技術の複雑性は、求められる視差レベル（仮定）の数値に線形従属する場合がある。事前選択された視差範囲を用いても、シーンのキャプチャ（立体写真又はビデオの撮影など）中にシーンが変更され、その結果、用いられた（事前選択された）視差範囲が変更される場合がある。

摘要

本発明は、画像ペアを低解像度の画像ペアにダウンサンプリングし、さらに少なくとも画像ペアの画素のサブセット間の推定視差を表す視差画像を取得することができる、画像処理を行うための装置、方法及びコンピュータプログラムに関する。視差推定の信頼度を取得して、信頼度マップ内に挿入してもよい。画素位置の空間的近傍を用いて視差画像及び信頼度マップの両方をフィルタリングすることによって、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得してもよい。フィルタリングされた視差画像及び信頼度マップから、画像ペアの推定視差分布を取得してもよい。

一部の実施形態は、修正された立体ビデオコンテンツに対する、コンテンツに依存しない自動的な視差範囲選択アルゴリズムを提供する。

本発明の一部の実施形態は、ピラミッド手法を用いる。ただし、視差範囲の決定に信頼度を用いるだけでなく、第１の視差推定及び信頼度マップの空間的フィルタリングを適用して、外れ値を効果的に除去してもよい。その結果、２〜３層のみが必要となり得る。一部の実施形態で用いられるピラミッドの層は２つのみである。

以下では、本発明の一部の実施形態に係る視差範囲推定のいくつかの特徴について簡単に説明する。

一定複雑性の差分絶対値和（ＳＡＤ）マッチングを用いることで、計算複雑性にほぼ影響を与えないか、又は全く影響を与えることなく、マッチングウィンドウサイズを変更することが可能になる。

いくつかの層から成るピラミッドの代わりに、単一のダウンサンプリングステップを用いてもよい。これにより、手順の作用が予測可能になり、かつ安定し得る。また、ダウンサンプリング係数を変更することによって、計算速度を調整することもできる。

より効果的に外れ値を除去するために、初期の視差推定で好適な空間的フィルタリングを用いてもよい。

連続するビデオフレームに特別な時間的フィルタリングを適用しない、時間的に一定な前提条件を利用してもよい。

本発明の様々な態様は、独立請求項に記載されている内容を特徴とする方法、装置、コンピュータプログラム、エンコーダ及びデコーダを含む。本発明の様々な実施形態は、従属請求項に開示されている。

第１の態様によれば、
入力画像ペアを第１の画像及び第２の画像の低解像度ペアにダウンサンプリングするステップと、
少なくとも第１の画像の画素のサブセットと少なくとも第２の画像の画素のサブセットとの間の視差を視差画像内に推定するステップと、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するステップと、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するステップであって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、ステップと、
フィルタリングされた視差画像及びフィルタリングされた信頼度マップから前記画像ペアの視差分布を推定するステップと、を含む方法が提供される。

第２の態様によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備える装置が提供され、少なくとも１つのメモリ及びコンピュータプログラムコードは、少なくとも１つのプロセッサと共に用いられた場合、装置が少なくとも、
入力画像ペアを第１の画像及び第２の画像の低解像度ペアにダウンサンプリングするステップと、
少なくとも第１の画像の画素のサブセットと少なくとも第２の画像の画素のサブセットとの間の視差を視差画像内に推定するステップと、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するステップと、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するステップであって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、ステップと、
フィルタリングされた視差画像及びフィルタリングされた信頼度マップから前記画像ペアの視差分布を推定するステップと、を実施するように構成される。

第３の態様によれば、１つ以上の命令から成る１つ以上のシーケンスを含むコンピュータプログラムであって、該１つ以上のシーケンスが１つ以上のプロセッサによって実行されたとき、装置が少なくとも、
入力画像ペアを第１の画像及び第２の画像の低解像度ペアにダウンサンプリングするステップと、
少なくとも第１の画像の画素のサブセットと少なくとも第２の画像の画素のサブセットとの間の視差を視差画像内に推定するステップと、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するステップと、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するステップであって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、ステップと、
フィルタリングされた視差画像及びフィルタリングされた信頼度マップから前記画像ペアの視差分布を推定するステップと、を実施するコンピュータプログラム製品が提供される。

第４の態様によれば、
画像ペアを第１の画像及び第２の画像の低解像度ペアにダウンサンプリングするように適合されたダウンサンプラと、
少なくとも第１の画像の画素のサブセットと少なくとも第２の画像の画素のサブセットとの間の視差を視差画像内に推定するように適合された視差推定器と、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するように適合された信頼度推定器と、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するように適合されたフィルタであって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、フィルタと、
フィルタリングされた視差画像及びフィルタリングされた信頼度マップから前記画像ペアの視差分布を推定するよう適合された視差分布推定器と、を備える装置が提供される。

第５の態様によれば、
画像ペアを第１の画像及び第２の画像の低解像度ペアにダウンサンプリングする手段と、
少なくとも第１の画像の画素のサブセットと少なくとも第２の画像の画素のサブセットとの間の視差を視差画像内に推定する手段と、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定する手段と、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得する手段であって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、手段と、
フィルタリングされた視差画像及びフィルタリングされた信頼度マップから前記画像ペアの視差分布を推定する手段と、を備える装置が提供される。

第６の態様によれば、請求項１から１２のいずれか一項に記載の方法を実施するための手段を備える装置が提供される。

様々な実施形態に関する理解を深めるために、以下の添付図面を例として参照する。
立体カメラ設備の簡略化された２Ｄモデルを示す図である。 マルチビューカメラ設備の簡略化されたモデルを示す図である。 マルチビュー自動立体ディスプレイ（ＡＳＤ）の簡略化されたモデルを示す図である。 ＤＩＢＲに基づく３ＤＶシステムの簡略化されたモデルを示す図である。 飛行時間に基づく奥行き推定システムを示す図である。 飛行時間に基づく奥行き推定システムを示す図である。 一実施例による装置の簡略化されたブロック図である。 図８ａ及び８ｂは左画像及び右画像に基づいて視差マップを形成する一実施例を示す図である。 図９ａから９ｈはエリア総和テーブルアルゴリズムを用いる一実施例を示す図である。 一部の実施形態を実施するために好適な電子デバイスの概要を示す図である。 一部の実施形態を実施するために好適なユーザ機器の概要を示す図である。 無線及び有線ネットワーク接続を用いる実施形態を実施するための電子デバイスの概要をさらに示す図である。 一実施例に係る方法を示す流れ図である。

詳細説明

次に、実施形態について理解するために、３次元（３Ｄ）マルチビューの適用例の一部の態様、並びにそれらと密接に関連する奥行き及び視差情報の概念について簡単に説明する。

立体ビデオコンテンツは、視聴者の左右の眼に別々に映るオフセット画像ペアから成る。これらのオフセット画像は特定の立体カメラ設備を用いてキャプチャされる。この設備は、カメラ間に特定のステレオ基線距離が確保されていることを前提とする。

図１は、このような立体カメラ設備の簡略化された２Ｄモデルを示している。図１のＣ１及びＣ２は立体カメラ設備のカメラ、より具体的にはカメラの中心位置を指している。ｂは２つのカメラの中心間の距離（すなわち、ステレオ基線）、ｆはカメラの焦点距離、Ｘはキャプチャされる現実の３Ｄシーン内の対象物である。実世界の対象物Ｘは、カメラＣ１及びＣ２によってキャプチャされる画像内の異なる位置ｘ１及びｘ２にそれぞれ投影される。画像の絶対座標に基づくｘ１とｘ２との間の水平方向の距離は、視差と呼ばれる。カメラ設備によってキャプチャされる画像は立体画像と呼ばれ、これらの画像内の視差が奥行きの錯覚を作り出したり、強調したりする。画像が視聴者の左右の眼に別々に映るようにするには、通常、視聴者が特定の３Ｄ眼鏡を用いる必要がある。視差の適合は、立体ビデオコンテンツを様々なディスプレイで快適に視聴できるよう調整するために重要となる。

ただし、視差の適合は単純なプロセスではなく、基線距離が異なる（すなわちｂが異なる）追加のカメラビュー、又は実世界で入手できなかった仮想カメラビューのレンダリングを必要とし得る。図２は、この問題の解決に適したマルチビューカメラ設備の簡略化されたモデルを示している。この設備では、値が異なる様々な立体基線を用いてキャプチャされた立体ビデオコンテンツを提供することができるため、立体ディスプレイが視聴条件に合ったカメラペアを選択することが可能になる。

３Ｄビジョンを実現するためのより高度な手法は、眼鏡を必要としないマルチビュー自動立体ディスプレイ（ＡＳＤ）を用いることである。ＡＳＤは一度に２つ以上のビューを放射するが、その放射は空間内で局所化され、特定の視点から見た視聴者には１つのステレオペアのみが表示される。図３に示すように、最も右の視点で見た場合、ボートはビューの中心に表示される。さらに、視聴者は異なる視点から別のステレオペアを見ることもできる。図３の例で言えば、最も左の視点で見た場合、ボートはビューの右の境界に表示される。したがって、連続するビューがステレオペアであり、かつこれらのビューが適切に配列されている場合、運動視差表示がサポートされる。ＡＳＤ技術は、例えば５２個以上の異なる画像を同時に表示することができ、このとき視聴者は特定の視点から１つのステレオペアのみを見ることができる。これにより、リビングルーム環境などで複数の視聴者が眼鏡を用いることなく３Ｄビジョンを得ることが可能になる。

奥行き画像に基づくレンダリング（ＤＩＢＲ）では、立体ビデオ及びそれに対応する、立体基線を含む奥行き情報が入力として受け取られ、複数の仮想ビューが２つの入力ビュー間で合成される。したがって、ＤＩＢＲアルゴリズムを用いることで、２つの入力ビューの外側に位置し、かつこれらの間に位置しないビューの外挿が可能になり得る。同様に、ＤＩＢＲアルゴリズムを用いることで、テクスチャの単一ビュー及びその奥行きビューからビューを合成でき得る。

図４は、ＤＩＢＲに基づく３ＤＶシステムの簡略化されたモデルを示している。３Ｄビデオコーデックの入力は、立体ビデオ及びそれに対応する、立体基線ｂ０に基づいた奥行き情報を含む。この３Ｄビデオコーデックは、基線（ｂｉ＜ｂ０）に基づいて複数の仮想ビューを２つの入力ビュー間で合成する。ＤＩＢＲアルゴリズムを用いることで、２つの入力ビューの外側に位置し、かつこれらの間に位置しないビューの外挿が可能になり得る。同様に、ＤＩＢＲアルゴリズムを用いることで、テクスチャの単一ビュー及びその奥行きビューからビューを合成でき得る。ただし、ＤＩＢＲに基づくマルチビューレンダリングを可能にするには、デコーダ側でテクスチャデータ及び対応する奥行きデータが利用可能である必要がある。

このような３ＤＶシステムにおいて、奥行き情報は、ビデオフレームごとの奥行き図（奥行きマップとしても知られる）としてエンコーダ側で生成される。奥行きマップは、画素単位の奥行き情報を含む画像である。奥行きマップ内の各サンプルは、カメラが配置された平面からそのテクスチャサンプルまでの距離を表す。すなわち、ｚ軸がカメラの撮影軸に沿っている（したがって、カメラが配置された平面に直交している）場合、奥行きマップ内のサンプルはｚ軸上の値を表す。

奥行き情報は様々な手段で取得することができる。例えば３Ｄシーンの奥行きは、キャプチャを実行するカメラによって登録された視差から計算してもよい。奥行き推定アルゴリズムは、立体ビューを入力として受け取り、そのビューの２つのオフセット画像間の局所的な視差を計算する。各画像の処理は、画素１つ１つの重複するブロック内で実行され、各画素ブロックに対して、オフセット画像内で一致するブロックを検出するために水平方向に局所化された探索が実行される。画素単位の視差が計算された後、対応する奥行き値ｚが以下の数式（１）によって計算される。

図１に示すように、ｆはカメラの焦点距離、ｂはカメラ間の基線距離である。さらに、ｄは２つのカメラ内の対応する画素間の推定視差、又は２つのカメラ内の対応する画素間の推定視差と考えてもよい。カメラオフセットΔｄは、２つのカメラの光軸間で発生し得る水平方向の位置ずれ、又は事前処理によってカメラフレーム内で発生し得る水平方向のクロッピングを反映するものと考えてもよい。

ＩＳＯ／ＩＥＣ国際規格２３００２−３に規定されたパララックスマップなどの視差マップ又はパララックスマップを奥行きマップと同様の方法で処理してもよい。奥行き及び視差は直接的な対応関係を有するため、上記の数式によって一方から他方を計算し得る。

テクスチャビューは、一般的なカメラを用いてキャプチャされたものなどの一般的なビデオコンテンツを表すビューであり、通常はディスプレイへのレンダリングに適している。

左右の画像を比較することによって視差マップを生成し、最良の一致を検出することは、必ずしも単純な作業ではない。立体カメラ設備では、左カメラによって生成される画像と右カメラによって生成される対応画像との間に多くの類似点が存在するが、カメラの位置にあまり差がない（基線が短い）ため、左右の画像間にいくつかの違いが生まれる。さらに、シーン内の最前面にある対象物によって、一方の画像に表示されているいくつかの細部が隠され、他方の画像にそのような細部が含まれない場合がある。この現象は、遮蔽（オクルージョン）又は遮蔽された細部と呼ばれる。さらに、一方の画像の垂直縁に近い細部は、他方のカメラの視野角から外れる場合がある。例えば、左画像の左縁に表示されるいくつかの細部は、右画像に表示されない場合がある。また、右画像の右縁に表示されるいくつかの細部は、左画像に表示されない場合がある。したがって、そのような領域の視差を決定することは不可能になり得る。

一部の実施形態では、遮蔽マップを生成して、ステレオペアの一方の画像に対して、ステレオペアの他方の画像に表示されない部分を示してもよい。また、遮蔽マップを用いて、視差マップ内で正しくない値を決定してもよい。

視差マップ及び遮蔽マップに加え、信頼度マップを計算して、視差マップの視差値の信頼度を示してもよい。

以下では、一部の実施例についてさらに詳しく説明する。これらの実施例では、同じシーンからキャプチャする２つの異なる画像又は画像シーケンス（ビデオストリームなど）の供給源として、ステレオカメラ設備が用いられる。ただし、マルチビューの適用例にも同様の原理を適用することができる。画像の供給源は、メモリから取得したり、受信器によって受信したり、コンピュータプログラムによって生成したりすることも可能である。

以下では、２つの異なる画像を左画像及び右画像と呼ぶ場合があるが、本発明の実施形態はこのような配列のみに限定されない。すなわち、画像のキャプチャは、水平方向に整列されていない、例えば垂直方向に整列された２つのカメラによって行われてもよい。

図７の実施例では、装置７００によって、第１のカメラ７０４から第１のカメラ信号７０２、第２のカメラ７０８から第２のカメラ信号７０６がそれぞれ受信される。図１３のブロック１００は、この処理を示している。信号７０２及び７０６は既にデジタル形式であってもよく、アナログ形式である場合は、アナログデジタル変換器（図示せず）によってデジタル信号に変換されてもよい。この実施例の設備では、第１のカメラ信号がシーンの左画像を伝達し、第２のカメラ信号がシーンの右画像を伝達する。ピクチャ又はフレームとも呼ばれる画像は画素マトリックスを備え、そこに含まれる各画素値が、画像の小部分の性質（輝度など）を表す。画素は、それぞれが異なる色成分を表す２つ以上の画素値を含んでいてもよい。例えば画素は、画像の画素位置における赤色、緑色及び青色の強度を表す３つの画素値又は成分値を含んでいてもよい。別の実施例では、画素が３つの画素値又は成分値を含み、１つは一般にＹ成分と呼ばれる輝度を表し、２つは一般にＣｂ及びＣｒ成分又はＵ及びＶ成分と呼ばれる色度を表してもよい。成分画素の配列は、ベイヤ配列などの空間的に交互に配置される形式であってもよい。

受信した画像ペアの画素値は、さらなる処理のためにフレームメモリ７１０内に記憶してもよいし、直接さらなる処理ステップに提供してもよい。画像のコンテンツはシーンカット検出器７１２によって分析され、前の画像がある場合はその画像と比較される。これにより、画像が前のシーケンスの一部であるか、又は新しい画像シーケンスの開始部分であるかが判定される（ブロック１０２）。この判定は、画像ペアの一方のフレームに基づいて（すなわち、左画像又は右画像に基づいて）行ってもよいし、左画像及び右画像の両方に基づいて行ってもよい。新しい画像シーケンスが開始されるのは、例えば画像シーケンス内にシーンカットが含まれる場合である。ライブキャプチャプロセスでは、装置７００が受信する画像情報を生成するカメラペアの変更により、シーンカットが発生し得る。

装置の範囲定義要素７１４は、視差を分析する目的で、画像の視差を特定するための初期探索範囲を定義する。範囲定義要素７１４は、輝度成分画素から成る画像などの１つの成分画像を用いて処理を実行してもよいし、２つ以上の成分画像を共に用いてもよい。２つ以上の成分画像を用いる場合、画素単位の差分絶対値などを求める画素単位の演算を、成分の種類ごとに独立して実行してもよく、画素単位の演算結果の平均値又は合計値を後続の処理で用いてもよい。画素単位の差分を用いる状況では、常に代替方法として、Ｎ次元空間（Ｎは成分画像の数と等しくてもよい）のユークリッド距離又は他の距離測定値を導出してもよい。シーンカット検出手段７１２によって、画像ペアが新しい画像シーケンスの開始部分であると判定された場合、範囲定義手段７１４は、既定の探索範囲を選択してもよい（ブロック１０４）。この範囲は可能な限りの最大探索範囲であってもよいし、最大探索範囲より小さい別の探索範囲であってもよい。それ以外の場合、範囲定義手段７１４は、前の画像の分析で用いられたものと同じ探索範囲を利用してもよい。したがって、前の探索範囲にマージンが追加されたものを用いてもよい（ブロック１０６）。一部の実施形態では、マージンが１０画素、１５画素、２０画素又は他の好適な値であってもよい。マージンは上端及び下端の両方で一致している必要はなく、互いに異なっていてもよいことに留意されたい。マージンで拡張され得る前の探索範囲の利用は、通常は単一のシーンカット内で視差コンテンツが大幅に変更されないという前提に基づいている。さらに、異なる実施形態では異なるマージンを用いることができ、画像の解像度又は画像の他の１つ以上のパラメータが変更されたときなどにマージンを変更してもよい。

範囲の設定に加え、複雑性推定器７１６などによってマッチング複雑性を推定してもよい（ブロック１０８）。一般に、ステレオマッチング方法の計算複雑性は、潜在的な視差層の数に線形従属してもよいし、空間的解像度に線形従属してもよい。ステレオマッチング手順の大まかな推定計算時間は、Ａ×Ｄ×Ｍと定義してもよい。Ａは特定のプラットフォームの計算能力及び特定のマッチングアルゴリズムの複雑性を示すパラメータ、Ｄは視差層の数、Ｍはフレーム内の画素数である。Ｄ及びＭの値を変更する（視差を粗くし、ダウンサンプリングする）ことで、バランスを維持することができる。Ｍを変更することによってＤが変更されてもよい。

複雑性推定器７１６によって、推定マッチング複雑性が事前定義された制限値を超えると判定された場合、ダウンサンプリング比を上げて（ブロック１１０）、複雑性（すなわち、計算時間）をほぼ一定にしてもよい。推定複雑性が許容値よりも大幅に低い場合は、ダウンサンプリング比を下げて（ブロック１１２）ロバスト性を向上させてもよい。

一部の実施形態では、まずダウンサンプリングが全く実行されないことを示す値（１など）をダウンサンプリング比に設定し、複雑性推定器７１６によって、推定マッチング複雑性が事前定義された制限値を超えると判定された場合に、ダウンサンプリング比を上げてもよい。

ダウンサンプリング比が決定され、ダウンサンプリングが実行される必要があることを示している場合、ダウンサンプラ７１８内で、左画像及び右画像がダウンサンプリング比に従ってダウンサンプリングされる（ブロック１１４）。ダウンサンプラ７１８は、左画像及び右画像のダウンサンプリングされた画像、すなわち解像度が元の左画像及び右画像よりも低い画像を生成する。ダウンサンプラ内では、任意のダウンサンプリングアルゴリズムを用いてもよい。ダウンサンプリングされた画像は、フレームメモリ７１０内に記憶してもよい。一部の実施形態では、フレームメモリ７１０内に記憶された元の画像はダウンサンプリングの影響を受けないが、ダウンサンプリングされた画像をフレームメモリ７１０の異なる部分に記憶してもよい。

視差推定器７２０は、ダウンサンプリングされた画像を用いて現在の画像ペアの視差推定を取得する（ブロック１１６）。視差推定器７２０及びブロック１１６は、ステレオマッチングアルゴリズム又は奥行き推定アルゴリズムとも呼ばれる任意の視差推定アルゴリズムを用いてもよい。例えば、視差推定器７２０及びブロック１１６は、ステレオペア（左画像及び右画像）間の対応点をサンプル単位又はウィンドウ単位で検出する局所的なマッチングアルゴリズムを用いてもよい。他の実施例では、視差推定器７２０及びブロック１１６が、奥行きマップの平滑性及び奥行きエッジの連続性などの選択された前提条件に基づいてコスト関数を最小化し得る、全体的な最適化アルゴリズムを用いてもよい。

一部の実施形態では、視差推定器７２０が、初期範囲制限値による制約を受けて（ダウンサンプリング比を考慮して）事前定義されたウィンドウサイズを用いる、複雑性がＯ（１）の差分絶対値和（ＳＡＤ）ステレオマッチングを適用する。

立体ブロックマッチングの一部の実装は、ウィンドウ（ブロック）サイズに関して線形の（Ｏ（Ｎ））複雑性を有する。すなわち、ブロックマッチングの実行に必要な時間が、ウィンドウサイズの増加に比例して長くなる。本発明の一部の実施形態では、エリア総和テーブル（ＳＡＴ）を用いて、マッチング複雑性がマッチングウィンドウサイズに関して実質的に一定になるようにしてもよい。すなわち実装が、マッチングウィンドウサイズが事前定義されている場合はＯ（１）若しくはＯ（１）に近い複雑性を有し、又はＮがマッチングウィンドウサイズに比例するＯ（Ｎ）若しくはＯ（Ｎ）に近い複雑性を有するようにしてもよい。このようなマッチング手法を利用するもう１つの理由は、結果として得られる視差マップを最終的なフル解像度の視差推定に用いる必要がなく、したがって視差マップが完全に整列されている必要がないためである。

視差マップの推定は、左から右（すなわち、左画像を参照画像として用いる）、右から左（すなわち、右画像を参照画像として用いる）又はこれらの両方の方向で実行してもよい。両方の方向を用いた場合、一方の画像のどの部分が他方の画像から遮蔽されているかを、より確実に判定することができる。これは、そのような部分の一対一の対応点が、両方の方向ではなく一方向のみで検出されるためである。

視差推定器７２０は、視差マップ生成プロセスで取得した情報を用いて、信頼度マップ及び／又は遮蔽マップを形成してもよい（ブロック１１８）。

以下では、視差マップを形成する実施例について、図８ａ及び８ｂを参照してより詳しく説明する。図８ａは既定の探索範囲を用いる状況を示し、図８ｂは以前に定義された探索範囲を用いる状況を示している。これらの実施例はブロックマッチングアルゴリズムを例示しているが、他のアルゴリズムを用いてもよい。また以下では、最初に左から右への探索が実行されることを前提とする。すなわち、左画像のブロックを基準ブロックとして選択し、右画像のブロックを用いて、対応するブロックを右画像から検出する。ただし、最初に右から左への探索を実行することもできる。左から右への探索では、視差推定器７２０が、左画像８０２からサイズＭ×Ｎのブロック８０３を選択し、右画像８０４から同じサイズのブロック８０５を探索することによって、左画像の選択されたブロックと最も対応しているブロックを右画像から検出する。可能なブロックサイズには、１×１（すなわち１つの画素のみ）、２×２、３×３、４×４、５×５、８×８、７×５などがある。

探索は画像領域全体ではなく、特定の範囲内、すなわち探索範囲８０６内に限定してもよい。探索範囲８０６には、上述のように、初期探索範囲を用いてもよいし、前の探索範囲を用いてもよい。ブロックマッチング手順では、プロセスを速めるために、さらにいくつかの前提条件を設けてもよい。平行なカメラ設備を用いて左から右への探索を実行する場合、右画像内の対応するブロック（存在する場合）は、左画像内の基準ブロックの位置と同じ右画像内の位置か、または基準ブロックの位置よりも左に存在すると考えることができる。したがって、基準画像の該当する位置よりも右にあるブロックは分析する必要がない。この前提条件は、対象の画像が、水平方向に整列された２つの位置からキャプチャされた同じシーンを表す場合、左画像内に表示される対象物は、右画像内でそれよりも左（又は同じ位置）に表示されるという事実に基づいている。さらに、水平方向に整列されたブロック、すなわち基準ブロックと垂直位置が同じブロックのみを分析すれば十分であると考えることもできる。画像が水平方向に整列された異なる位置からではなく、例えば垂直方向に整列された位置又は対角線状に整列された位置からキャプチャされた同じシーンを表す実施形態では、探索範囲を異なる方法で定義する必要があり得る。

視差推定器７２０は、左画像内の基準ブロックに対応する右画像内のブロックを、例えば以下のように決定してもよい。視差推定器７２０は、それぞれの値が基準ブロック内の画素値の及び評価対象ブロック（すなわち、この実施例では右画像内のブロック）内の対応する画素値の差分絶対値を表すＳＡＤ画像を形成してもよい。異なる視差値には異なるＳＡＤ画像を定義してもよい。図９ａは元の左画像の一部の実施例を示し、図９ｂは元の右画像の一部の実施例を示している。明確にするために、画像のサイズには５×５を用いているが、実際の実装では異なるサイズを用いてもよい。図９ｃは元の左画像及び元の右画像の画素値に基づいて計算された、視差が０のＳＡＤ画像、すなわち差分絶対値が左画像及び右画像内の同じ位置にある画素値間で計算されたＳＡＤ画像を示している。この計算は数式ＡＤ（ｘ，ｙ）＝ａｂｓ（Ｌ（ｘ，ｙ）−Ｒ（ｘ，ｙ））で表すことができる。このとき、Ｌ（ｘ，ｙ）は左画像内の位置ｘ，ｙにある画素値を表し、Ｒ（ｘ，ｙ）は右画像内の位置ｘ，ｙにある画素値を表す。図９ｄは元の左画像及び元の右画像の画素値に基づいて計算された、視差が１のＳＡＤ画像、すなわち差分絶対値が水平方向に１ずれた画素値間で計算されたＳＡＤ画像を示している。この計算は数式ＡＤ（ｘ，ｙ）＝ａｂｓ（Ｌ（ｘ，ｙ）−Ｒ（ｘ＋１，ｙ））で表すことができる。同様の方法で、視差範囲内の他のＳＡＤ画像を取得してもよい。

ＳＡＤ画像を用いて、以下のように積分ＳＡＤ画像９００（別名エリア総和テーブル、ＳＡＴ）を計算してもよい。この計算はＳＡＤ画像の左上隅から右下隅に向かって実行することを前提としているが、他の方向を用いてもよい。積分ＳＡＤ画像の最も上の行にある最も左の要素は、ＳＡＤ画像の最も上の行にある最も左の要素の差分絶対値を取得する。最も上の行にある次の値は最も左にある要素の値の和を取得し、次の要素である第３の要素は画像の第１の要素、第２の要素及び第３の要素の差分絶対値和を取得する。すなわち、ＳＡＤ画像内にある特定の画素の差分絶対値（差分絶対値和テーブルの要素）がａ（ｉ，ｊ）として示され（ｉは行インデックス、ｊは列インデックスを示す）、ＳＡＤ画像内の対応する値がｓ（ｉ，ｊ）として示される場合、以下の数式が適用される。

通常、ＳＡＤ画像の要素の値は以下の数式によって取得することができる。

すなわち値ｓ（ｉ，ｊ）は、ｉ及びｊによって定義されたＳＡＤ画像の領域内にある値の和に対応している。

図９ｅは図９ｃ（すなわち視差が０）のＳＡＤ画像の積分ＳＡＤ画像を示し、図９ｆは図９ｄ（すなわち視差が１）のＳＡＤ画像の積分ＳＡＤ画像を示している。

積分ＳＡＤ画像９００を探索範囲内の各画素に用いることによって、最小差分絶対値和を提供する視差値を求めることができる。以下では、図９ｇ及び９ｈを参照しながら、ＳＡＤ値を決定する実施例について説明する。この実施例は、探索ウィンドウの画素が３×３であること、及び左画像の中心にある画素（図９ｇ及び９ｈでは参照符号９２０）が分析対象であることを前提としている。すなわち、この実施例における画素の座標値はｘ＝２，ｙ＝２となる。この特定の画素９２０の探索範囲は、図９ｇ及び９ｈでは正方形９２２によって示されている。この画素のＳＡＤ値は、積分ＳＡＤ画像内の４つの要素の値に基づき、例えば以下のように計算することができる。第１の値は、探索ウィンドウの右下隅にある要素９２４の値とみなすことができる。第２の値は、探索ウィンドウの左上隅に対して斜めに隣接している要素９２６の値とみなすことができる。第３の値は、第１の値と同じ列かつ第２の値と同じ行にある要素９２８の値とみなすことができる。第４の値は、第１の値と同じ行かつ第２の値と同じ列にある要素９３０の値とみなすことができる。これら４つの値を組み合わせて、第１の値９２４及び第２の値９２６の合計を求め、そこから第３の値９２８及び第４の値９３０を減算する。この計算は以下の数式で表すことができる。

SAD(x, y) = s(x+r, y+r) + s(x-r, y-r) - s(x-r, y+r) - s(x+r, y-r)
（ただしｒは探索ウィンドウのサイズ）

図９ｇに示された（視差が０の）積分ＳＡＤ画像の実施例ではＳＡＤ＝３７になり、この値を探索ウィンドウ内の画素数（この実施例では９）で除算した結果は４.１１１になる。したがって、図９ｈに示された（視差が０の）積分ＳＡＤ画像の実施例ではＳＡＤ＝２になり、この値を探索ウィンドウ内の画素数で除算した結果は０.２２２になる。これら２つの実施例に基づき、より小さいＳＡＤ値を提供する視差１を選択することができる。

上記の手順を視差範囲内の各視差値に対して繰り返してもよい。例えば、図９ａ及び９ｂの画像の第３の行にある第４の画素（３，２）の視差値を視差０で評価した場合の結果は、ＳＡＤ＝１１７／９＝１３というＳＡＤ値になる。視差が１の場合、積分ＳＡＤ画像の右エッジに有効値が含まれないため、異なるサイズの探索ウィンドウが必要になる場合がある。探索ウィンドウのサイズとして１×３を用いた場合、ＳＡＤ＝２／３になる。したがって、画素（３，２）に対しても視差値１を選択することができる。

フレーム（又はピクチャ）のエッジ付近にある画素の視差を評価するとき、上述のように、より小さいサイズの探索ウィンドウを用いる必要があり得る。

一部の実施形態では、探索ウィンドウが図９ｇ及び９ｈのように左右対称であり、かつ奇数の列及び行を有するが、他の一部の実施形態では、探索ウィンドウが左右対称ではなく、及び／又は偶数の行及び／又は列を備えていてもよい。

取得された画素の視差値は視差マップとして記憶されてもよい。

一部の実施形態では、対応するブロックが誤検出される可能性を低減するために、閾値を定義してもよい。例えば、閾値を最小差分絶対値和と比較し、その値が閾値を超えている場合、視差推定器７２０は、最小差分絶対値和を生成したブロックが正しいブロックではない可能性があると判定してもよい。このような状況では、探索ブロックが右画像内に対応するブロックを有さない、すなわちブロックが右画像内で遮蔽されているか、又はブロックが左画像のエッジ付近にあると推測してもよい。

上述の演算を左画像内のすべての画素が分析されるまで、又は左画像の事前定義された領域が分析されるまで繰り返してもよい。上述の演算は、基準ブロックのウィンドウをずらしていく形式で繰り返されてもよいことを理解されたい。すなわち、次の反復の基準ブロックが部分的に前の反復の基準ブロックと重複してもよい。例えば、上述の演算を反復して視差マッチングを実行するたびに、基準ブロックの位置を水平方向に１画素ずらしてもよい。

一部の実施形態では、右画像を基準画像、左画像を参照画像として用いて（すなわち、最初に右から左への探索を実行して）別の視差マップを生成してもよい。これらの視差マップは左視差マップ及び右視差マップと呼ばれることもある。

左視差マップ及び右視差マップの生成中又は生成後に信頼度マップを決定してもよい。信頼度マップは差分絶対値和の情報を利用して、対応するブロックの決定の信頼度を判定する（例えば、最小差分絶対値和が小さくなるほど、検出の信頼度は高くなる）。信頼度マップの判別に２つの視差マップを利用して、一対一の対応点を有する画素及び一対一の対応点を有さない画素を検出してもよい。この文脈において一対一の対応点という用語は、互いに対応していることが両方の視差マップによって示された、左画像及び右画像内の画素ペアを意味する。一方の画像内に一対一の対応点を有さない画素がある場合、そのような画素は他方の画像内に対応するブロックを有さない（すなわち、画素が他方の画像内の遮蔽された領域に属する）か、又は対応する画素を何らかの理由で他方の画像から検出できなかった可能性がある。

遮蔽マップは２つの視差マップによって提供された情報及び／又は信頼度マップによって提供された情報を用いて形成されてもよい。

視差マップ、信頼度マップ及び遮蔽マップが取得されたら、空間的フィルタリングを視差マップ及び信頼度マップに適用することができる（ブロック１２０）。一部の実施形態では、空間的フィルタリングが、視差推定の外れ値を除去するための非線形空間的フィルタリングを含む。この手法を用いることで、初期の推定視差ヒストグラム内の外れ値数を低減することができ得る。このステップによって、その後実行されるヒストグラムの閾値設定動作もさらに安定するため、アルゴリズムがコンテンツにほぼ依存しない状態になる。

ロバスト性を確保するには、空間的フィルタを選択すべきである。例えば、５×５などの特定のウィンドウサイズに基づく２Ｄ中央値フィルタリングを用いてもよい。クロスバイラテラルフィルタリングなどの、より包括的なフィルタリングも実行可能である。

視差マップ及び信頼度マップのフィルタリング後、左から右への対応関係などを用いて遮蔽マップを再計算してもよい。

推定視差マップ内の外れ値を破棄するときに、信頼度が高い／信頼度が低い推定対応点を選択してもよい。信頼度はピーク比及び遮蔽マップを組み合わせて計算してもよく、この場合遮蔽されたゾーンの信頼度は０となり、他の領域の信頼度は、それぞれのピーク比特性に応じて０から１の間で変化する。

信頼度マップが更新されたら、一致信頼度が高い画素から視差ヒストグラムを計算してもよい。

推定視差マップ内の潜在的な外れ値は、視差マップ及び信頼度マップの両方の空間的フィルタリングによって除外されてもよい。両方（左及び右）の視差マップが上記のプロセスで変更された後、遮蔽マップの再計算が必要になる場合がある。したがって、フィルタリングされた信頼度マップを更新された遮蔽マップと再度組み合わせて、最終的な信頼度マップを形成してもよい。

信頼度が高いとみなすことができる視差マップ内の要素を決定するために、信頼度閾値を定義してもよい。この場合、信頼度マップ内の信頼度値が閾値を超える要素は、信頼度が低いとみなしてもよい。一部の実施形態では、信頼度閾値として０.１を選択し、その特定の適用例に応じて値を最適化することができる。

視差ヒストグラムは、視差マップ内の一致信頼度が高い画素に基づいて計算してもよい。推定視差制限値を取得するために、視差ヒストグラムに対する閾値設定プロセスを用いてもよい（ブロック１２２）。例えば、ヒストグラム内の発生頻度が低い視差値が破棄される場合、発生頻度が低いかどうかの判断は、事前定義された又は適応的に計算された閾値に関連して行われる。閾値は、ヒストグラム内の合計インライア数の小数（インライア数の０.２など）として計算されてもよい。閾値設定後の最大及び最小視差値を、求められる視差範囲制限値とみなしてもよい。このプロセスでは「ガード」間隔を用いてもよい。この間隔は必要に応じて、検出された最大視差制限値に加算され、かつ検出された最小視差制限値から減算される。本発明の一部の実施形態では、画像のコンテンツとは無関係に単一の固定閾値を用いてもよい。

検出された視差制限値は、その後ダウンサンプリング比の係数によって補正されてもよい。

上述のプロセスでは、画像の視差制限値を検出する方法が提供される。その後、検出された視差制限値に基づく視差／奥行き推定アルゴリズムを、フル解像度のステレオフレームに対して適用することができる。例えば、フル解像度に対するステレオマッチング又は視差／奥行き推定の視差探索範囲は、検出された最小視差から検出された最大視差までの範囲を網羅するように設定することができる。推定視差／奥行きマップは、例えば立体画像／ビデオ圧縮に利用したり、後で用いるために保存したりしてもよい。

上述のプロセスは、新しい画像が存在するか、又は処理が停止されるまで繰り返してもよい（ブロック１２４）。

本発明の多くの実施形態は比較的正確な視差範囲推定を提供するため、変更／パラメータ最適化を必要とすることなく、ほぼ全ての立体ビデオコンテンツに適用することができる。

立体ビデオなどの画像ペアの入力シーケンスはフレーム単位で処理してもよいため、ストリーミングを用いた適用例が実現される。

奥行きビューは、カメラセンサからテクスチャサンプルまでの距離情報、テクスチャサンプルと別のビュー内にあるそのテクスチャサンプルとの間の視差若しくはパララックス情報、又は類似の情報を表すビューである。奥行きビューは通常、テクスチャビューの輝度成分に類似した１つの成分を有する奥行き図（別名奥行きマップ）を備える。奥行きマップは画素単位の奥行き情報又は類似の情報を含む画像である。例えば、奥行きマップ内の各サンプルは、カメラが配置された平面からそのテクスチャサンプルまでの距離を表す。すなわち、ｚ軸がカメラの撮影軸に沿っている（したがって、カメラが配置された平面に直交している）場合、奥行きマップ内のサンプルはｚ軸上の値を表す。奥行きマップ値の語義には、例えば以下のようなものが含まれる。
１．符号化された奥行きビュー成分内の各輝度サンプル値が、実世界の距離（Ｚ）値の逆数、すなわち１／Ｚが輝度サンプルのダイナミックレンジ（８ビット輝度表現の場合は０から２５５の範囲）に正規化されたものを表す。
２．符号化された奥行きビュー成分内の各輝度サンプル値が、実世界の距離（Ｚ）値の逆数、すなわち１／Ｚが、マッピング関数ｆ（１／Ｚ）又は区分的線形マッピングなどのテーブルを用いて輝度サンプルのダイナミックレンジ（８ビット輝度表現の場合は０から２５５の範囲）にマップされたものを表す。言い換えれば、奥行きマップ値に関数ｆ（１／Ｚ）を適用した結果となる。
３．符号化された奥行きビュー成分内の各輝度サンプル値が、実世界の距離（Ｚ）値が輝度サンプルのダイナミックレンジ（８ビット輝度表現の場合は０から２５５の範囲）に正規化されたものを表す。
４．符号化された奥行きビュー成分内の各輝度サンプル値が、現在の奥行きビューから別の指定又は導出された奥行きビュー又はビュー位置までの視差又はパララックス値を表す。

奥行きビュー、奥行きビュー成分、奥行き図及び奥行きマップなどの語句は様々な実施形態の説明に用いられるが、奥行きマップ値の任意の語義を、上述の実施形態を含むがこれらに限定されない様々な実施形態において用いてもよいことを理解すべきである。例えば、サンプル値が視差値を示す奥行き図に対して、本発明の実施形態を適用してもよい。

一部の実施形態では、奥行きマップのサンプル値のダイナミックレンジが、検出された視差制限値に基づいて選択される。例えば、検出された最小視差制限値が整数のａ、検出された最大視差制限値が整数のｂとしてそれぞれ示され、奥行き推定アルゴリズムが４分の１画素の精度又は解像度で実行される場合、奥行き推定プロセスでｃ＝（ｂ×ａ）×４＋１に基づいて、異なる視差値が生成され得る。したがって、作成される奥行きマップ内ではｔ〜ｔ＋ｃのダイナミックレンジを用いてもよい。このとき、ｔはｔ＞＝０及びｔ＋ｃ＜＝符号化システム内の最大輝度サンプル値（例えば、８ビット輝度表現の場合は２５５）になるように選択されてもよい。一部の実施形態では、エンコーダがt及び／又はcの値、又は奥行きマップ値のダイナミックレンジを指定する類似の値を示すための１つ以上の指標をビデオビットストリーム内、例えばビデオパラメータセット構造、シーケンスパラメータセット構造、補足エンハンスメント情報メッセージ、又は他の任意の構文構造内にエンコードしてもよい。

符号化された奥行きマップを含むビットストリームを作成若しくは修正するエンコードシステム又は他の任意のエンティティは、奥行きサンプルの解釈及び奥行きサンプルの量子化スキームに関する情報を作成し、それをビットストリーム内に含めてもよい。奥行きサンプルの解釈及び奥行きサンプルの量子化スキームに関する情報は、ビデオパラメータセット構造、シーケンスパラメータセット構造、補足エンハンスメント情報メッセージ、又は他の任意のビデオビットストリームの構文構造内に含めてもよい。

一部の実施形態では、検出された視差制限値が、奥行き推定プロセスで作成された奥行きマップの最小値（例えば０）及び最大値（例えば、８ビット表現の場合は２５５）に対応していてもよい。さらに、ビットストリームを作成若しくは修正するエンコードシステム又は他の任意のエンティティが、ビデオビットストリーム内の奥行きマップ量子化レベルを（エンコード前に）示していてもよい。例えば、量子化ステップの分子及び分母がビットストリーム内で示されていてもよく、かつ分子及び分母に基づいて導出された非整数量子化レベルに事前定義又は指定された丸め規則を適用することによって、整数量子化レベルが求められてもよい。奥行きマップ値の量子化ステップサイズ及び／又は量子化レベルは、エンコーダ側で視差制限値に基づいて決定されてもよい。

多くの実施形態では、視差マップがマルチメディア又は他のビデオストリームのエンコード及び／又はデコード時、例えば予測情報の形成などに用いられてもよい。本発明の多くの実施形態は、再利用、仮想ビューの合成、３Ｄ走査、対象物の検出及び認識、現実シーンへの仮想対象物の埋込みなどにおいて実装されてもよい。

以下では、一部の実施形態を実装するための好適な装置及び想定される機構について、さらに詳しく説明する。この観点から、まず一部の実施形態に係る画像処理装置を備え得る、例示的な装置又は電子デバイス５０の概略ブロック図である、図１０を参照する。

電子デバイス５０は、例えば、無線通信システムの携帯端末又はユーザ機器であってもよい。ただし、視差の特定及びステレオ又はマルチビュー画像処理を必要とし得る任意の電子デバイス又は装置内に実施形態を実装してもよいことを理解されたい。

図１１に開示されているように、装置５０はデバイスを内蔵及び保護するための筐体３０を備えていてもよい。装置５０は、液晶ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイなどの形を取る、ディスプレイ３２をさらに備えていてもよい。他の実施形態では、ディスプレイが情報の表示に適した任意の好適なディスプレイ技術であってもよい。装置５０は、キー又は電子デバイスのタッチスクリーンを用いることによって実装し得る、キーパッド３４をさらに備えていてもよい。他の実施形態では、任意の好適なデータ又はユーザインタフェース機構を用いてもよい。例えば、ユーザインタフェースは、タッチ感応ディスプレイの一部を成す仮想キーボード又はデータ入力システムとして実装してもよい。装置は、マイク３６又はデジタル若しくはアナログ信号入力であり得る任意の好適な音声入力を備えていてもよい。装置５０は、実施形態においてイヤホン３８、スピーカー、又はアナログ音声若しくはデジタル音声出力接続であり得る音声出力デバイスをさらに備えていてもよい。また、装置５０はバッテリー（図示せず）を備えていてもよい（又は、他の実施形態では、デバイスの電力源として太陽電池、燃料電池、ぜんまい式発電機などの任意の好適な携帯エネルギーデバイスを用いてもよい）。装置は、画像及び／又はビデオの記録又は取込みが可能なカメラ４２をさらに備えていてもよい。一部の実施形態では、装置５０がＢｌｕｅｔｏｏｔｈ（登録商標）無線接続、ＵＳＢ／ファイアワイヤ有線接続、又は短距離見通し線光接続用の赤外線ポートなど、任意の好適な短距離通信ソリューションをさらに備えていてもよい。

装置５０は、装置５０を制御するためのコントローラ５６又はプロセッサを備えていてもよい。コントローラ５６は、実施形態においてコントローラ５６に実装するデータ及び／又は命令を記憶し得るメモリ５８に接続されていてもよい。コントローラ５６は、音声及び／又はビデオデータの符号化及びデコード、又はコントローラ５６によって実行される符号化及びデコードの補助に適したコーデック回路５４にさらに接続されていてもよい。

装置５０は、ユーザ情報を提供し、かつネットワークでユーザを認証及び認可するために用いる認証情報の提供にも適した、例えばＵＩＣＣ及びＵＩＣＣリーダなどのカードリーダ４８及びスマートカード４６をさらに備えていてもよい。

装置５０は、コントローラに接続され、かつセルラー通信ネットワークとの通信、無線通信システム若しくは無線ローカルエリアネットワークとの通信、及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）技術などを利用するデバイスとの通信に用いる無線通信信号の生成に適した、１つ以上の無線インタフェース回路５２を備えていてもよい。装置５０は、無線インタフェース回路５２で生成された無線周波数信号を他の装置に伝送し、かつ他の装置からの無線周波数信号を受信するために、無線インタフェース回路５２に接続されたアンテナ４４をさらに備えていてもよい。

一部の実施形態では、装置５０が、個々のフレームを記録又は検出することができるカメラを備え、それらのフレームは処理対象としてコーデック５４又はコントローラに送られる。本発明の他の実施形態では、装置が処理対象のビデオ画像データを伝送及び／又は記憶する前に別のデバイスから受信してもよい。他の実施形態では、装置５０が符号化／デコード対象の画像を無線又は有線接続によって受信してもよい。

図１２は、実施形態を利用し得るシステムの実施例を示している。システム１０は、1つ以上のネットワークを介して通信し得る複数の通信デバイスを備える。システム１０は、以下に限定されないが、無線携帯電話ネットワーク（ＧＳＭ（登録商標）、ＵＭＴＳ、ＣＤＭＡネットワークなど）、何れかのＩＥＥＥ ８０２．ｘ規格によって定義されているものを含む無線ローカルエリアネットワーク（ＷＬＡＮ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）パーソナルエリアネットワーク、イーサネット（登録商標）ローカルエリアネットワーク、トークンリングローカルエリアネットワーク、ワイドエリアネットワーク、及びインターネットを含む、有線又は無線ネットワークの任意の組み合わせを備えていてもよい。

システム１０は、本発明の実施形態の実装に適した有線及び無線の両方の通信デバイス又は装置５０を含んでもよい。

例えば、図１２に示すシステムは、携帯電話ネットワーク１１及びインターネット２８の表記を示している。インターネット２８への接続は、以下に限定されないが、長距離無線接続、短距離無線接続、及び以下に限定されないが、電話線、ケーブル線、送電線、及び同様の通信経路を含む様々な有線接続を含んでもよい。

システム１０に示す例示的な通信デバイスは、以下に限定されないが、電子デバイス又は装置５０、携帯情報端末（ＰＤＡ）及び携帯電話１４の組み合わせ、ＰＤＡ１６、統合メッセージングデバイス（ＩＭＤ）１８、デスクトップコンピュータ２０、ノートブックコンピュータ２２を含んでもよい。装置５０は、据え置き式のもの、又は移動している個人が搬送する場合には移動式のものであってもよい。装置５０は、以下に限定されないが、自動車、トラック、タクシー、バス、電車、船、飛行機、自転車、単車、又は同様の好適な輸送手段を含む輸送手段の中に配置してもよい。

一部の又はさらなる装置は、呼び出し及びメッセージを送受信してもよく、基地局２４への無線接続２５を介してサービスプロバイダと通信してもよい。基地局２４は、携帯電話ネットワーク１１とインターネット２８との間の通信を可能にするネットワークサーバ２６に接続されていてもよい。システムは、追加の通信デバイス及び異なる種類の通信デバイスを含んでもよい。

通信デバイスは、以下に限定されないが、符号分割多重アクセス（ＣＤＭＡ）、ＧＳＭ（登録商標）、ユニバーサル移動体通信システム（ＵＭＴＳ）、時分割多元アクセス（ＴＤＭＡ）、周波数分割多元アクセス（ＦＤＭＡ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ショートメッセージングサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、電子メール、インスタントメッセージングサービス（ＩＭＳ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ ８０２．１１、及び同様の無線通信技術を含む様々な伝送技術を用いて通信してもよい。様々な実施形態の実装に関与する通信デバイスは、以下に限定されないが、無線、赤外線、レーザー、ケーブル接続、及び任意の好適な接続を含む様々な媒体を用いて通信してもよい。

上記の実施例は、電子デバイス内のコーデックにおいて動作する本発明の実施形態について説明しているが、以下で説明するように、本発明は任意のビデオコーデックの一部として実装してもよいことを理解されたい。したがって、例えば本発明の実施形態は、固定通信経路又は有線通信経路を介したビデオ符号化を実装し得るビデオコーデック内に実装してもよい。

また、ユーザ機器が、上記の本発明の実施形態で説明したような画像処理手段を備えていてもよい。ユーザ機器という用語は、携帯電話、携帯データ処理デバイス又は携帯ウェブブラウザ、テレビ、コンピュータ用モニタ、カメラ、電子ゲームなど、あらゆる好適な種類のユーザ機器を網羅する目的で用いられていることを理解されたい。

さらに、公衆陸上移動体ネットワーク（ＰＬＭＮ）の要素も、上述のビデオコーデックを備えていてもよい。

一般には、様々な実施形態をハードウェア若しくは専用回路、ソフトウェア、ロジック、又はこれらの任意の組み合わせの中に実装してもよい。例えば、本発明がこれに限定されるわけではないが、一部の態様をハードウェア内に実装し、他の態様をコントローラ、マイクロプロセッサ又は他の計算デバイスによって実行され得るファームウェア若しくはソフトウェア内に実装してもよい。本発明の様々な態様は、ブロック図、フローチャート又は他の図形表記を用いて例示及び説明され得るが、本明細書で説明されているこのようなブロック、装置、システム、技術又は方法は、非限定的な実施例として、ハードウェア、ソフトウェア、ファームウェア、専用回路若しくはロジック、汎用ハードウェア若しくはコントローラ、他の計算デバイス、又はこれらの組み合わせの中に実装してもよいことが十分に理解されている。

本発明の実施形態は、携帯デバイスのデータプロセッサによって実行可能な、プロセッサエンティティ内などのコンピュータソフトウェア、ハードウェア、又はソフトウェア及びハードウェアの組み合わせによって実装してもよい。また、この観点から、図に示されているロジックフローのブロックは、プログラムステップ若しくは相互に接続されたロジック回路、ブロック及び機能であるか、又はプログラムステップ並びにロジック回路、ブロック及び機能の組み合わせであることに留意されたい。ソフトウェアは、メモリチップ、又はプロセッサ内に実装されているメモリブロックなどの物理媒体、ハードディスク又はフレキシブルディスクなどの磁気媒体、並びにＤＶＤ及びその可変データ、ＣＤなどの光媒体に記憶してもよい。

メモリの種類は各々の技術環境に適した任意のものであってもよく、半導体に基づくメモリデバイス、磁気メモリデバイス及びシステム、光メモリデバイス及びシステム、固定メモリ及びリムーバブルメモリなど、任意の好適なデータ記憶技術を用いて実装してもよい。データプロセッサの種類は各々の技術環境に適した任意のものであってもよく、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、及びマルチコアプロセッサアーキテクチャに基づくプロセッサのうちの1つ以上を非限定的な実施例として含んでもよい。

本発明の実施形態は、集積回路モジュールなどの様々な構成要素内で実施してもよい。集積回路の設計は、概して高度に自動化されている。複雑かつ強力なソフトウェアツールを用いて、ロジックレベルの設計を、半導体基板へのエッチング及び形成が可能な半導体回路設計に変換することができる。

カリフォルニア州マウンテンビューのシノプシス社及びカリフォルニア州サンノゼのケイデンスデザインなどによって提供されているプログラムは、広く普及している設計基準及び事前記憶済み設計モジュールのライブラリを用いて、自動的に導体の経路を設定し、半導体チップ上に構成要素を配置する。半導体回路の設計が完了したら、その設計は標準化された電子形式（Ｏｐｕｓ、ＧＤＳＩＩなど）で半導体製造設備に伝送されてもよい。

ここまで、例示的及び非限定的な実施例を用いて、本発明の例示的な実施形態について、完全かつ有益な説明を提供した。しかしながら、上記の説明と共に添付の図面及び特許請求の範囲を参照することによって、当業者には様々な変更態様及び適合態様が明らかになるであろう。ただし、本発明の教示のかかる変更態様又は類似の変更態様はすべて、本発明の範囲内に含まれる。

以下にいくつかの実施例を示す。

第１の実施例によれば、
入力画像ペアを第１の画像及び第２の画像の低解像度ペアにダウンサンプリングするステップと、
少なくとも第１の画像の画素のサブセットと少なくとも第２の画像の画素のサブセットとの間の視差を視差画像内に推定するステップと、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するステップと、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するステップであって、前記画素位置のフィルタリングが画素位置の空間的近傍を用いる、ステップと、
フィルタリングされた視差画像及び信頼度マップから前記画像ペアの視差分布を推定するステップと、を含む方法が提供される。

一部の実施形態では、方法が、視差ヒストグラムに基づいて視差分布を推定するステップをさらに含む。

一部の実施形態では、方法が、推定視差分布の閾値に基づいて少なくとも１つの視差制限値を推定するステップをさらに含む。

一部の実施形態では、方法が、奥行き推定において少なくとも１つの視差制限値を用いるステップをさらに含む。

一部の実施形態では、方法が、該方法の計算複雑性を制御するステップをさらに含む。

方法の一部の実施形態では、計算複雑性を制御するステップが、複雑性制限値を定義するステップを含む。

一部の実施形態では、方法が、少なくともダウンサンプリング比を調整することによって計算複雑性を制御するステップをさらに含む。

一部の実施形態では、方法が、線形計算複雑性視差推定を１つ以上の入力パラメータの関数として適用することによって計算複雑性を制御するステップと、１つ以上の入力パラメータの値を決定するステップと、をさらに含む。

方法の一部の実施形態では、1つ以上の入力パラメータが画像サイズ、ウィンドウサイズ、及び／又は予め利用可能な視差範囲である。

一部の実施形態では、方法が、ビデオエンコードにおいて少なくとも１つの視差制限値を用いるステップをさらに含む。

一部の実施形態では、方法が、
少なくとも１つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも１つのサンプル値範囲をエンコードするステップをさらに含む。

一部の実施形態では、方法が、
少なくとも１つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも１つのサンプル値量子化レベル又はサンプル値量子化ステップサイズをエンコードするステップをさらに含む。

第２の実施例によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備える装置が提供され、少なくとも１つのメモリ及びコンピュータプログラムコードは、少なくとも１つのプロセッサと共に用いられた場合、装置が少なくとも、
入力画像ペアを第１の画像及び第２の画像の低解像度ペアにダウンサンプリングするステップと、
少なくとも第１の画像の画素のサブセットと少なくとも第２の画像の画素のサブセットとの間の視差を視差画像内に推定するステップと、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するステップと、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するステップであって、前記画素位置のフィルタリングが画素位置の空間的近傍を用いる、ステップと、
フィルタリングされた視差画像及び信頼度マップから前記画像ペアの視差分布を推定するステップと、を実施するように構成される。

装置の一部の実施形態では、前記少なくとも１つのメモリに記憶されたコードが前記少なくとも１つのプロセッサによって実行されたとき、装置がさらに、視差ヒストグラムに基づいて視差分布を推定する。

装置の一部の実施形態では、前記少なくとも１つのメモリに記憶されたコードが前記少なくとも１つのプロセッサによって実行されたとき、装置がさらに、推定視差分布の閾値に基づいて少なくとも１つの視差制限値を推定する。

装置の一部の実施形態では、前記少なくとも１つのメモリに記憶されたコードが前記少なくとも１つのプロセッサによって実行されたとき、装置がさらに、奥行き推定において少なくとも１つの視差制限値を用いる。

装置の一部の実施形態では、前記少なくとも１つのメモリに記憶されたコードが前記少なくとも１つのプロセッサによって実行されたとき、装置がさらに、方法の計算複雑性を制御する。

装置の一部の実施形態では、前記少なくとも１つのメモリに記憶されたコードが前記少なくとも１つのプロセッサによって実行されたとき、装置がさらに、複雑性制限値を定義する。

装置の一部の実施形態では、前記少なくとも１つのメモリに記憶されたコードが前記少なくとも１つのプロセッサによって実行されたとき、装置がさらに、少なくともダウンサンプリング比を調整する。

装置の一部の実施形態では、前記少なくとも１つのメモリに記憶されたコードが前記少なくとも１つのプロセッサによって実行されたとき、装置がさらに、
線形計算複雑性視差推定を１つ以上の入力パラメータの関数として適用することによって計算複雑性を制御し、
１つ以上の入力パラメータの値を決定する。

装置の一部の実施形態では、1つ以上の入力パラメータが画像サイズ、ウィンドウサイズ、及び／又は予め利用可能な視差範囲である。

装置の一部の実施形態では、前記少なくとも１つのメモリに記憶されたコードが前記少なくとも１つのプロセッサによって実行されたとき、装置がさらに、ビデオエンコードにおいて少なくとも１つの視差制限値を用いる。

装置の一部の実施形態では、前記少なくとも１つのメモリに記憶されたコードが前記少なくとも１つのプロセッサによって実行されたとき、装置がさらに、少なくとも１つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも１つのサンプル値範囲を符号化する。

装置の一部の実施形態では、前記少なくとも１つのメモリに記憶されたコードが前記少なくとも１つのプロセッサによって実行されたとき、装置がさらに、少なくとも１つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも１つのサンプル値量子化レベル又はサンプル値量子化ステップサイズを符号化する。

一部の実施形態では、装置が通信デバイスを備え、該通信デバイスが、
ユーザがディスプレイを用いて通信デバイスの少なくとも１つの機能を容易に制御できるように構成され、ユーザ入力に応答するようにさらに構成された、ユーザインタフェース回路及びユーザインタフェースソフトウェアと、
通信デバイスのユーザインタフェースの少なくとも一部を表示するように構成されたディスプレイ回路であって、ユーザが通信デバイスの少なくとも１つの機能を容易に制御できるように構成されたディスプレイ及びディスプレイ回路と、を備える。

一部の実施形態では、通信デバイスが携帯電話を備える。

第３の実施例によれば、１つ以上の命令から成る１つ以上のシーケンスを含むコンピュータプログラムであって、該１つ以上のシーケンスが１つ以上のプロセッサによって実行されたとき、装置が少なくとも、
入力画像ペアを第１の画像及び第２の画像の低解像度ペアにダウンサンプリングするステップと、
少なくとも第１の画像の画素のサブセットと少なくとも第２の画像の画素のサブセットとの間の視差を視差画像内に推定するステップと、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するステップと、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するステップであって、前記画素位置のフィルタリングが画素位置の空間的近傍を用いる、ステップと、
フィルタリングされた視差画像及び信頼度マップから前記画像ペアの視差分布を推定するステップと、を実施する、コンピュータプログラムが提供される。

一部の実施形態では、コンピュータプログラムが１つ以上の命令から成る１つ以上のシーケンスを含み、該１つ以上のシーケンスが１つ以上のプロセッサによって実行されたとき、装置が視差ヒストグラムに基づいて視差分布を推定する。

一部の実施形態では、コンピュータプログラムが１つ以上の命令から成る１つ以上のシーケンスを含み、該１つ以上のシーケンスが１つ以上のプロセッサによって実行されたとき、装置が推定視差分布の閾値に基づいて少なくとも１つの視差制限値を推定する。

一部の実施形態では、コンピュータプログラムが１つ以上の命令から成る１つ以上のシーケンスを含み、該１つ以上のシーケンスが１つ以上のプロセッサによって実行されたとき、装置が奥行き推定において少なくとも１つの視差制限値を用いる。

一部の実施形態では、コンピュータプログラムが１つ以上の命令から成る１つ以上のシーケンスを含み、該１つ以上のシーケンスが１つ以上のプロセッサによって実行されたとき、装置が方法の計算複雑性を制御する。

一部の実施形態では、コンピュータプログラムが１つ以上の命令から成る１つ以上のシーケンスを含み、該１つ以上のシーケンスが１つ以上のプロセッサによって実行されたとき、装置が複雑性制限値を定義する。

一部の実施形態では、コンピュータプログラムが１つ以上の命令から成る１つ以上のシーケンスを含み、該１つ以上のシーケンスが１つ以上のプロセッサによって実行されたとき、装置が少なくともダウンサンプリング比を調整する。

一部の実施形態では、コンピュータプログラムが１つ以上の命令から成る１つ以上のシーケンスを含み、該１つ以上のシーケンスが１つ以上のプロセッサによって実行されたとき、装置が、
線形計算複雑性視差推定を１つ以上の入力パラメータの関数として適用することによって計算複雑性を制御し、
１つ以上の入力パラメータの値を決定する。

コンピュータプログラムの一部の実施形態では、1つ以上の入力パラメータが画像サイズ、ウィンドウサイズ、及び／又は予め利用可能な視差範囲である。

一部の実施形態では、コンピュータプログラムが１つ以上の命令から成る１つ以上のシーケンスを含み、該１つ以上のシーケンスが１つ以上のプロセッサによって実行されたとき、装置がビデオエンコードにおいて少なくとも１つの視差制限値を用いる。

一部の実施形態では、コンピュータプログラムが１つ以上の命令から成る１つ以上のシーケンスを含み、該１つ以上のシーケンスが１つ以上のプロセッサによって実行されたとき、装置が少なくとも１つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも１つのサンプル値範囲を符号化する。

一部の実施形態では、コンピュータプログラムが１つ以上の命令から成る１つ以上のシーケンスを含み、該１つ以上のシーケンスが１つ以上のプロセッサによって実行されたとき、装置が少なくとも１つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも１つのサンプル値量子化レベル又はサンプル値量子化ステップサイズを符号化する。

一部の実施形態では、コンピュータプログラムがコンピュータ可読メモリ内に含まれる。

一部の実施形態では、コンピュータ可読メモリが不揮発性コンピュータ可読記憶媒体を備える。

第４の実施例によれば、
画像ペアを第１の画像及び第２の画像の低解像度ペアにダウンサンプリングするように適合されたダウンサンプラと、
少なくとも第１の画像の画素のサブセットと少なくとも第２の画像の画素のサブセットとの間の視差を視差画像内に推定するように適合された視差推定器と、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するように適合された信頼度推定器と、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するように適合されたフィルタであって、前記画素位置のフィルタリングが画素位置の空間的近傍を用いる、フィルタと、
フィルタリングされた視差画像及び信頼度マップから前記画像ペアの視差分布を推定するように適合された視差分布推定器と、を備える装置が提供される。

第５の実施例によれば、
画像ペアを第１の画像及び第２の画像の低解像度ペアにダウンサンプリングする手段と、
少なくとも第１の画像の画素のサブセットと少なくとも第２の画像の画素のサブセットとの間の視差を視差画像内に推定する手段と、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定する手段と、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得する手段であって、前記画素位置のフィルタリングが画素位置の空間的近傍を用いる、手段と、
フィルタリングされた視差画像及び信頼度マップから前記画像ペアの視差分布を推定する手段と、を備える装置が提供される。

一部の実施形態では、装置が視差ヒストグラムに基づいて視差分布を推定する手段をさらに含む。

Claims (24)

1. 入力画像ペアを第１の画像及び第２の画像の低解像度ペアにダウンサンプリングするステップと、
   少なくとも前記第１の画像の画素のサブセットと少なくとも前記第２の画像の画素のサブセットとの間の視差を視差画像内に推定するステップと、
   少なくとも前記視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するステップと、
   前記視差画像及び前記信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するステップであって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、ステップと、
   前記フィルタリングされた視差画像及び前記フィルタリングされた信頼度マップから前記低解像度ペアの視差分布を推定するステップと、
   を含む方法であって、
   推定視差分布の閾値に基づいて少なくとも１つの視差制限値を推定するステップと、
   ビデオエンコードにおいて前記少なくとも１つの視差制限値を用いるステップと、
   をさらに含む、方法。
2. 視差ヒストグラムに基づいて前記視差分布を推定するステップをさらに含む、請求項１に記載の方法。
3. 奥行き推定において前記少なくとも１つの視差制限値を用いるステップをさらに含む、請求項１に記載の方法。
4. 前記方法の計算複雑性を制御するステップをさらに含む、請求項１から３のいずれか一項に記載の方法。
5. 前記計算複雑性を制御するステップが複雑性制限値を定義するステップを含む、請求項４に記載の方法。
6. 少なくともダウンサンプリング比を調整することによって前記計算複雑性を制御するステップをさらに含む、請求項５に記載の方法。
7. 線形計算複雑性視差推定を１つ以上の入力パラメータの関数として適用することによって前記計算複雑性を制御するステップと、前記１つ以上の入力パラメータの値を決定するステップと、をさらに含む、請求項５又は６に記載の方法。
8. 前記１つ以上の入力パラメータが画像サイズ、ウィンドウサイズ、及び／又は予め利用可能な視差範囲である、請求項７に記載の方法。
9. 前記少なくとも１つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも１つのサンプル値範囲をエンコードするステップをさらに含む、請求項１に記載の方法。
10. 前記少なくとも１つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも１つのサンプル値量子化レベル又はサンプル値量子化ステップサイズをエンコードするステップをさらに含む、請求項１又は９に記載の方法。
11. 入力画像ペアを第１の画像及び第２の画像の低解像度ペアにダウンサンプリングする手段と、
    少なくとも前記第１の画像の画素のサブセットと少なくとも前記第２の画像の画素のサブセットとの間の視差を視差画像内に推定する手段と、
    少なくとも前記視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定する手段と、
    前記視差画像及び前記信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得する手段であって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、手段と、
    前記フィルタリングされた視差画像及び前記フィルタリングされた信頼度マップから前記低解像度ペアの視差分布を推定する手段と、
    を備える装置であって、
    推定視差分布の閾値に基づいて少なくとも１つの視差制限値を推定するようにさらに構成されると共に、ビデオエンコードにおいて前記少なくとも１つの視差制限値を用いるようにさらに構成される、装置。
12. 視差ヒストグラムに基づいて前記視差分布を推定するようにさらに構成される、請求項１１に記載の装置。
13. 奥行き推定において前記少なくとも１つの視差制限値を用いるようにさらに構成される、請求項１１に記載の装置。
14. 計算複雑性を制御するようにさらに構成される、請求項１１から１３のいずれか一項に記載の装置。
15. 複雑性制限値を定義するようにさらに構成される、請求項１４に記載の装置。
16. 少なくともダウンサンプリング比を調整するようにさらに構成される、請求項１５に記載の装置。
17. 線形計算複雑性視差推定を１つ以上の入力パラメータの関数として適用することによって前記計算複雑性を制御し、
    前記１つ以上の入力パラメータの値を決定する、
    ようにさらに構成される、請求項１５又は１６に記載の装置。
18. 前記１つ以上の入力パラメータが画像サイズ、ウィンドウサイズ、及び／又は予め利用可能な視差範囲である、請求項１７に記載の装置。
19. 前記少なくとも１つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも１つのサンプル値範囲を符号化するようにさらに構成される、請求項１１に記載の装置。
20. 前記少なくとも１つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも１つのサンプル値量子化レベル又はサンプル値量子化ステップサイズを符号化するようにさらに構成される、請求項１１又は１９に記載の装置。
21. 処理手段及び記憶手段を備える装置であって、前記記憶手段はプログラム命令を格納し、該プログラム命令は、前記処理手段に実行されると、前記装置に、請求項１から１０のいずれかに記載の方法を遂行させるように構成される、装置。
22. 通信デバイスとして構成される、請求項１１から２１に記載の装置であって、前記通信デバイスが、
    ユーザがディスプレイを用いて前記通信デバイスの少なくとも１つの機能を容易に制御できるように構成され、ユーザ入力に応答するようにさらに構成された、ユーザインタフェース回路及びユーザインタフェースソフトウェアと、
    前記通信デバイスのユーザインタフェースの少なくとも一部を表示するように構成されたディスプレイ回路であって、ユーザが前記通信デバイスの少なくとも１つの機能を容易に制御できるように構成された前記ディスプレイ及びディスプレイ回路と、を備える装置。
23. 前記通信デバイスは携帯電話として構成される、請求項２２に記載の装置。
24. 装置の処理手段に実行されると、前記装置に、請求項１から１０のいずれかに記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラム。

Images