JP4949463B2 - アップスケーリング - Google Patents

Description

本発明は、第一特性を表している第一サンプル構造を、前記第一特性を表している第二サンプル構造にアップスケールする方法であって、前記第一構造がソース解像度を有し、前記第二構造が目標解像度を有する、方法、に関する。

本発明は、さらに、第一特性を表している第一サンプル構造を、前記第一特性を表している第二サンプル構造にアップスケールするアップスケーリングユニットであって、前記第一構造がソース解像度を有し、前記第二構造が目標解像度を有する、アップスケーリングユニットにも関する。

本発明は、さらに、このようなアップスケーリングユニットを備えている画像処理装置にも関する。

本発明は、コンピュータシステム(computer arrangement)によってロードされるコンピュータプログラム製品であって、第一特性を表している第一サンプル構造を、前記第一特性を表している第二サンプル構造にアップスケールするための命令、を備えており、前記第一構造がソース解像度を有し、前記第二構造が目標解像度を有し、前記コンピュータシステムが、処理手段およびメモリを備えている、コンピュータプログラム製品、にさらに関する。

動き推定および／または深度推定などの推定方法は、連続する画像の類似する画像部分を求める処理に依存している。1つのピクセル値では十分な区別が得られないため、一般には、連続する画像の画像部分の間の一致を確立するためにピクセルのグループが使用される。結果として、推定方法の出力（例：動き推定の場合における動きベクトルフィールド）は、画像の解像度よりも低い解像度を有する。一般には、動きベクトルは、ピクセルのブロックに基づいて（例：8×8のピクセルグリッドに基づいて）計算される。

一般的には、動きベクトルは、画像の各ピクセルすべてに対して（すなわち、画像の解像度において）必要である。米国特許第5,148,269号明細書には、動きベクトルフィールドの解像度を精細化するためのブロックエロージョン(block erosion)の方法が開示されている。ブロックエロージョンのプロセスは、ベクトルフィールドを画像のピクセルグリッドまで精細化することを目的としている。これは、一般には再帰的プロセスであり、最初のエロージョンステップにおいて、グリッドが8×8から4×4のグリッドに精細化される。次のステップにおいて、グリッドが4×4から2×2のグリッドに精細化される。

図1Aは、一連の画像のうちの1つの画像100を示している。図1Bは、図1Aの画像100に対して計算された深度マップ102を示しており、深度マップ102の深度値は、推定される動きベクトルに正相関する。観察者に近い対象物は、高い明るさ（白）を示しており、その一方で、離れている対象物は、より暗い。ブロックノイズを観察すると、深度マップ102の解像度は、画像100の解像度よりも低いことが明らかである。

図2Aは、図1Bの深度マップ102を計算するのに使用されたものと同じ推定動きベクトルに基づいて、画像100に対して計算された別の深度マップ204を示している。図2Aに示されている深度マップ204は、米国特許第5,148,269号明細書に開示されているエロージョンを用いて計算されている。図から明らかなように、この深度マップ204の解像度は、図1Bに示されている深度マップ102の解像度よりも高い。しかしながら、この深度マップ204のクォリティは、高品質の立体画像をレンダリングする目的には依然として十分ではない。例えば、領域204は、アーチファクトを示している。図2Aと図1Aとを比較することにより、エッジが一致していないことがわかる。図2Bは、本発明の方法に従って計算された深度マップ202を示している。

本発明の目的は、改良されたアップスケーリングを提供する、冒頭の段落に記載されている種類の方法、を提供することである。

本発明の目的は、前記スケーリングが、第二特性を表している第三サンプル構造と前記第二特性を表している第四サンプル構造とに基づいていて、前記第三構造が前記ソース解像度を有し、前記第四サンプル構造が前記目標解像度を有し、
前記方法が、
− 前記第一サンプル構造の各第一サンプルに、前記第三サンプル構造の各第三サンプルと、前記第四サンプル構造の各第四サンプルとの間の差異に基づいて、重み係数を割り当てるステップと、
− 前記第二サンプル構造の前記第二サンプルを、前記第一サンプル構造の前記第一サンプルと、前記各重み係数とに基づいて計算するステップと、
を備えている、ことにより達成される。

本発明によるアップスケーリングは、第二特性を表しているデータサンプルを使用することに基づいている。本発明によるスケーリングの別の関連する観点は、多次元的な方法(multi dimensional approach)である。ソース解像度を有する第一サンプル構造を、目標解像度を有する第二サンプル構造にスケーリングするため、ソース解像度を有する第三サンプル構造と、目標解像度を有する第四サンプル構造が適用される。

一般に、サンプル構造は、データ要素の行列に対応する。しかしながら、サンプル構造は、データ要素の代替の配置構造に対応するものとすることができる。

本発明のさらなる目的は、改良されたアップスケーリングを提供する、冒頭の段落に記載されている種類のアップスケーリングユニット、画像処理装置、およびコンピュータプログラム製品を提供することである。

本発明のこれらの目的は、それぞれ、請求項１５、１６、および１７に記載されているアップスケーリングユニット、画像処理装置、およびコンピュータプログラム製品によって達成される。

アップスケーリングユニットおよびそのバリエーションの修正は、説明されている画像処理装置、アップスケーリング方法、およびコンピュータプログラム製品およびそのバリエーションの修正に対応する。

本発明によるアップスケーリングユニット、画像処理装置、アップスケーリング方法、およびコンピュータプログラム製品の上記およびその他の観点は、以下に説明されている実施形態および実施例に関連して、添付の図面を参照しながら明らかに解明されるであろう。

図全体を通じて、類似する部分は同じ参照数字を使用して表してある。

本発明による方法の実施例について、図3A〜図3Eに関連して説明する。図3A〜図3Eは、以下を概略的に示している。
− 第一特性を表しており、かつソース解像度を有する第一サンプル構造S1
− 第一特性を表しており、かつ目標解像度を有する第二サンプル構造S2
− 第二特性を表しており、かつソース解像度を有する第三サンプル構造S3
− 第二特性を表しており、かつ目標解像度を有する第四サンプル構造S4

本発明による方法は、第一サンプル構造S1を、
− 第三サンプル構造S3および第四サンプル構造S4
に基づいて、第二サンプル構造S2にアップスケールすることを目的としている。

本方法は、
− 前記第一サンプル構造S1の各第一サンプルに、前記第三サンプル構造S3の各第三サンプルと、前記第四サンプル構造S4の各第四サンプルとの間の差異に基づいて、重み係数を割り当てるステップと、
− 前記第二サンプル構造S2の前記第二サンプルを、前記第一サンプル構造S1の前記第一サンプルと、前記割り当てられた各重み係数とに基づいて計算するステップと、
を備えている。

図3Aは、4つのサンプル構造S1〜S4を概略的に示しており、第二サンプル構造S2の値がまだ計算されていない。これは、本発明による方法の初期状況とみなすことができる。

一般には、第三サンプル構造S3の第三サンプルは、第四サンプル構造S4の第四サンプルに基づいて計算される。言い換えれば、サンプル構造S3は、第四サンプル構造S4をローパスフィルタリングすることによって、すなわちダウンスケールすることによって計算される。最適なフィルタは、理論的に理想的なsin(x)/xフィルタではなく、この特定のダウンスケーリングの場合には、ボックス平均フィルタ(box average filter)が例外的に良好に機能することが発見された。さらに、このダウンスケーリングフィルタは、第四サンプル構造S4の第四サンプルのサブセットのみに適用することができる。

第一特性は、深度値または動きベクトルに対応するものとすることができる。従って、第一サンプル構造S1は、入力される深度マップまたは動きベクトルフィールドに対応するものとすることができる。これに代えて、第一サンプル構造S1は、入力される深度マップまたは動きベクトルフィールドの一部に対応するものとすることができる。

第二特性は、輝度および／または色に対応するものとすることができる。第三サンプル構造S3は、低解像度の輝度／色画像に対応するものとすることができる。これに代えて、第三サンプル構造S3は、相対的に低い解像度の輝度／色画像の一部に対応する。第四サンプル構造S4は、相対的に高い解像度の輝度／色画像に対応するものとすることができる。このことは、第三構造S3の低解像度よりも高い解像度を意味する。これに代えて、第四サンプル構造S4は、相対的に高い解像度の輝度／色画像の一部に対応する。

図3A〜図3Eにおける異なるグレー値は、第一特性および第二特性の異なる値、すなわち、それぞれ、輝度／色および深度値／動きベクトルを表している。

図3Bは、第一サンプルの最初のサンプル306の、重み係数のうちの最初の重み係数（第一出力サンプル300の計算に適用される）を、第一差異に基づいて割り当てる状況を示している。第一出力サンプル300は、第二サンプル構造S2の第二サンプルの一つに対応する。

第一サンプルの最初のサンプル306の、重み係数のうちの最初の重み係数の割り当ては、第三サンプルの最初のサンプル304と第四サンプルの最初のサンプル302との間の第一差異に基づく。異なるサンプルの間には、以下の関係があてはまることが好ましい。
− 第一サンプルの最初のサンプル306と第三サンプルの最初のサンプル304の各座標は、相互に等しい。各座標の間の対応は、第一サンプルの最初のサンプル306と第三サンプルの最初のサンプル304との間の、参照数字307が付された破線によって示されている。
− 第四サンプルの最初のサンプル302と第二サンプルの最初のサンプル300の各座標は、相互に等しい。各座標の間の対応は、第四サンプルの最初のサンプル302と第二サンプルの最初のサンプル300との間の、参照数字309が付された破線によって示されている。

第三サンプルの最初のサンプル304と第四サンプルの最初のサンプル302との間の第一差異は相対的に小さいため、重み係数のうちの最初の重み係数は相対的に大きい。このことは、図3Bにおいて、第一サンプルの最初のサンプル306の「サムズアップサイン」("positive thumb sign")によって示されている。

さらなる第一サンプルのさらなる重み係数の割り当ては、図3Cに概略的に示されている。例えば、第一サンプルの2番目のサンプル318の重み係数のうちの2番目の重み係数の割り当ては、第三サンプルの2番目のサンプル308と第四サンプルの最初のサンプル302との間の第二差異に基づいている。第一サンプルの2番目のサンプル318と第三サンプルの2番目のサンプル308の各座標は、相互に等しい。各座標の間の対応は、参照数字311が付された破線によって示されている。第三サンプルの2番目のサンプル308と第四サンプルの最初のサンプル302との間の第二差異は相対的に小さいため、重み係数のうちの2番目の重み係数は相対的に大きい。このことは、図3Cにおいて、第一サンプルの2番目のサンプル318の「サムズアップサイン」によって示されている。

第一サンプルの3番目のサンプル316の重み係数のうちの3番目の重み係数の割り当ては、第三サンプルの3番目のサンプル310と第四サンプルの最初のサンプル302との間の第三差異に基づいている。第一サンプルの3番目のサンプル316と第三サンプルの3番目のサンプル310の各座標は、相互に等しい。各座標の間の対応は、参照数字313が付された破線によって示されている。第三サンプルの3番目のサンプル310と第四サンプルの最初のサンプル302との間の第三差異は相対的に大きいため、重み係数のうちの3番目の重み係数は相対的に小さい。このことは、図3Cにおいて、第一サンプルの3番目のサンプル316の「サムズダウンサイン」によって示されている。

重み係数が割り当てられた後、第二サンプル構造S2の第二サンプルを、第一サンプル構造S1の第一サンプルと、割り当てられた各重み係数とに基づいて計算することができる。

次に、第二構造S2の第二サンプルの計算について、数学的に説明する。いま、第一特性が深度に対応しており、第一サンプルが

によって表され、このとき、dは深度を表しており、添字Sはソース解像度を意味し、添字jは第一サンプル構造におけるインデックスに対応するものとする。第二サンプルは

によって表され、このとき、dは深度を表しており、添字Tは目標解像度を意味し、添字iは第二サンプル構造におけるインデックスに対応する。推定される深度値

を計算するため、周囲の深度値

が使用される。次のように、加重平均フィルタが使用されることが好ましい。

この等式は、深度値

、すなわち、第二構造S2の第二サンプルの値を計算するために使用される。深度値

各々に対して、j個の周囲深度値

が使用される。重み係数w_ijは、第二特性に対応する値の間の差異に基づいて決定される。例えば、第二特性は、輝度に対応する。このことは、第四構造S4の輝度値

が、第三構造S3の輝度値

と比較されることを意味する。重み係数の計算には、次の指数関数が使用されることが好ましい。

この式において、αは、一般には1/8などの値である。

RGB（赤、緑、青）データ、すなわち、第二特性が色に対応する場合には、色成分の各々は、次式のように重み係数に寄与することができる。

YUVデータの場合には、UデータおよびVデータの寄与は、輝度データlの寄与よりも小さく、aはYに対応する。

色の差異以外に、別の画像特性が、画像コンテンツにおける差異を示すことができる。発明者は、単純なテクスチャ測度を追加することによっても、結果が向上することを観察した。テクスチャ

は、サンプルのグループにおける最大輝度値と最小輝度値との間の差分絶対値として定義される。この場合、重み係数は、次式として定義することができる。

明らかに、第二サンプル構造S2のすべてのサンプルを計算しなければならない。従って、第二構造S2の第二サンプルの最初のサンプル300を計算した後、第二構造S2の第二サンプルの2番目のサンプル322が計算される。この場合も、これは、重み係数を割り当てた後、割り当てられた重み係数に基づいてフィルタリングすることに基づく。

図3Dは、2番目の出力サンプル、すなわち、第二サンプル構造S2の第二サンプルの2番目のサンプル322の計算に適用される、第四差異に基づく第四重み係数、の割り当てを概略的に示している。

第一サンプルの最初のサンプル306の、重み係数のうちの4番目の重み係数の割り当ては、第三サンプルの最初のサンプル304と第四サンプルの2番目のサンプル320との間の第四差異に基づく。異なるサンプルの間には、以下の関係があてはまることが好ましい。
− 第一サンプルの最初のサンプル306と第三サンプルの最初のサンプル304の各座標は、相互に等しい。各座標の間の対応は、第一サンプルの最初のサンプル306と第三サンプルの最初のサンプル304との間の、参照数字307が付された破線によって示されている。
− 第四サンプルの2番目のサンプル320と第二サンプルの2番目のサンプル322の各座標は、相互に等しい。各座標の間の対応は、第四サンプルの2番目のサンプル320と第二サンプルの2番目のサンプル322との間の、参照数字311が付された破線によって示されている。

第三サンプルの最初のサンプル304と第四サンプルの2番目のサンプル320との間の第四差異は、相対的に小さいため、重み係数のうちの最初の重み係数は相対的に大きい。このことは、図3Dにおいて、第一サンプルの最初のサンプル306の「サムズアップサイン」によって示されている。

図3Cに関連して上に開示されている場合と同様に、第二構造S2の第二サンプルの2番目のサンプル322を計算するための2番目以降の重み係数が計算される。

図3Eは、図3Aの4つのサンプル構造を概略的に示しており、第二サンプル構造の値が計算されている。言い換えれば、図3Eは、第二構造S2の第二サンプルの計算の結果を概略的に示している。図3Eは、第二サンプルの値が第一サンプルの値（グレー値）に基づいていることを概略的に示している。第二構造S2における「対象物」の「形状」は、第四構造S4における「対象物」の「形状」に対応している。このことは、本例においては、深度値が、対応する画像の輝度値に適合されていることを意味する。

オプションとして、さまざまな重み係数w_ijを重み付けるためにさらなる係数が適用され、この場合、さらなる係数は、第一サンプルの値の信頼度に関連する。

この場合、上に記載されている重み係数（式2〜5を参照）の代わりに、修正された重み係数が使用される。このような信頼度係数は、例えば、動き推定器／深度推定器から取得することができる。推定器は、非遮蔽領域(de-occlusion area)がどこであるかを求めることができる。これらの領域内の値は信頼性が低いため、より小さい重みを用いて算入すべきである。これに代えて、信頼度係数は、推定器の入力画像の輝度値に直接基づき、同質の画像領域に関連する動きベクトルおよび深度値は信頼性が低いものとする。信頼度係数は、深度信号から導くこともでき、深度信号を復号化する復号器は、符号化時に高い量子化が適用されたときに（その場合には深度の信頼性も低いことがある）そのことを示すことができる。

図4は、サンプルS1〜S6の6つの構造を概略的に示している。図3A〜3Eに関連して説明されているように、本発明による方法は、第一サンプル構造S1を、第三サンプル構造S3と第四サンプル構造S4とに基づいて、第二サンプル構造S2にアップスケールする（U1）ことを目的としている。一般には、このアップスケーリングは、一連のアップスケーリングステップの最初のステップU1である。最初のアップスケーリングステップU1の後、2回目のアップスケーリングステップU2を行うことができる。場合によっては、3回以上のアップスケーリングステップを実行することもできる（図示していない）。2回目のアップスケーリングステップU2は、最初のアップスケーリングステップU1に似ている。従って、2回目のアップスケーリングステップU2は、第二サンプル構造S2を、第四サンプル構造S4と第六サンプル構造S6とに基づいて、第五サンプル構造S5にアップスケールすることを意味する。最初のアップスケーリングステップU1の出力、すなわち、第二サンプル構造S2は、2回目のアップスケーリングステップU2の入力として使用される。アップスケーリングは、再帰的プロセスである。

一般には、第二特性のサンプルは、スケーリングプロセス全体の開始時に、相対的に高い解像度において利用可能である。例えば、サンプル構造S6（1024*1024要素の行列である）によって表される入力画像が存在するとする。ダウンサンプリングによって、またはオプションとして、連続するダウンサンプリングステップD1およびD2によって、さらなる複数のサンプル構造S3およびS4が計算され、これらは、本発明による方法の各アップスケーリングステップU1およびU2に必要である。例えば、第六サンプル構造S6が、第四サンプル構造S4（512*512要素の行列である）に、1/2にダウンスケールされる（D1）。次いで、第四サンプル構造S4が、第三サンプル構造S3（256*256要素の行列である）に、1/2にダウンスケールされる（D2）。これに代えて、第六サンプル構造S6が、第三サンプル構造S3に、1/4に直接ダウンスケールされる。

明らかに、ダウンスケーリングステップはアップスケーリングステップに関連しており、なぜなら、アップスケーリングにおいては、対応する解像度を有する、異なる特性のサンプル構造が利用可能であることが要求されるためである。第三サンプル構造S3の解像度と第一サンプル構造S1の解像度は、相互に等しいことが好ましい。このことは、第二サンプル構造S2および第四サンプル構造S4においてと、第五サンプル構造S5および第六サンプル構造S6においてもあてはまる。

アップスケーリングは再帰的に（例：8*8→4*4→2*2→1*1）実行することが好ましいが、アップスケーリングを1ステップにおいて（例：8*8→1*1）実行することも可能である。この場合、x*xは、高解像度と比較される低解像度を意味する。

本発明によるアップスケーリングは、複数の入力サンプル（すなわち、第一サンプル構造の第一サンプルS1）をフィルタリングして、出力サンプル（すなわち、第二サンプル構造S2の第二サンプル）を計算することに基づいている。上に記載されているように、入力サンプルは、第二特性に関連するサンプルの間の差異に基づく各重み係数によって重み付けられる。特定の出力サンプルを計算するために考慮される入力サンプルの配置構造は、フィルタ開口(filter aperture)と称される。フィルタ開口は、特定の出力サンプルの計算にどの入力サンプルが適用されるかを決定する。図5Aは、第一フィルタ開口を概略的に示しており、図5Bは、第二フィルタ開口を概略的に示している。

最初のアップスケーリングU1（例：8×8から4×4）における誤りは、明らかに、後のステップにおける誤りよりも目立ち、問題であるため、この第一ステップにおける誤りを、より多くの処理を用いて回避を試みることが論理的であろう。さらには、この第一ステップは粗いグリッドにおいて実行され、従って、処理するサンプルの量が相対的に少ない（アップスケーリングが2方向において2倍である場合、ステップごとにサンプルの量は4倍に増加する）。従って、より高度な保護方法（複数の色成分を使用する、および／または、信頼度係数を使用する）を適用することが有利である。これらの保護方法を用いた場合、広いフィルタ開口を使用することが可能である。一例として、発明者は、8方向における半径6の（8×8）サンプルを使用することさえも可能であることを発見した。このことは、図5Aにおける影付きブロックによって示されている。図5Bは、以降のステップのための、より好適な単純化された開口を示している。

図6は、本発明によるアップスケーリングユニット600を概略的に示している。アップスケーリングユニット600は、第一特性を表している第一サンプル構造S1を、第二特性を表している第三サンプル構造S3に基づいてと、前記第二特性を表している第四サンプル構造S4に基づいて、前記第一特性を表している第二サンプル構造S2にスケーリングするようにされており、前記第一構造S1がソース解像度を有し、前記第二構造S2が目標解像度を有し、前記第三構造S3がソース解像度を有し、前記第四サンプル構造S4が目標解像度を有する。

アップスケーリングユニット600は、第一サンプル構造S1の第一サンプルを受信する第一入力コネクタ614と、第三サンプル構造S3の第三サンプルを受信する第二入力コネクタ610と、第四サンプル構造S4の第四サンプルを受信する第三入力コネクタ612と、第二サンプル構造S2の第二サンプルを提供する第一出力コネクタ616と、を備えている。

アップスケーリングユニット600は、
− 前記第一サンプル構造の各第一サンプルに、前記第三サンプル構造の各第三サンプルと、前記第四サンプル構造の各第四サンプルとの間の差異に基づいて、重み係数を割り当てる重み係数割り当てユニット602と、
− 前記第二サンプル構造の前記第二サンプルを、前記第一サンプル構造の前記第一サンプルと、前記各重み係数とに基づいて計算する計算ユニット604と、
を備えている。

重み係数割り当てユニット602は、
− 各第三サンプルと各第四サンプルとの間の差異を計算する減算ユニット608。この減算ユニットは、差分絶対値を計算するようにされていることが好ましい。
− 減算ユニット608によって計算される差異を、各重み係数にマッピングするマッピングユニット606。このマッピングユニット606は、入力値（すなわち、差異）を出力値（すなわち、重み係数）にマッピングするための非線形関数を実行するようにされていることが好ましい。非線形関数は、相対的に大きい差異を相対的に小さい重み係数に変換する指数関数であることが好ましい。マッピングユニット606は、LUT（ルックアップテーブル）によって実施されることが好ましい。
を備えている。

オプションとして、アップスケーリングユニット600は、式6に関連して説明されている信頼度値を受信する第四入力コネクタ618を備えている。

重み係数割り当てユニット602および計算ユニット604は、1つのプロセッサを使用して実施することができる。通常、これらの機能は、ソフトウェアプログラム製品の制御下で実行される。ソフトウェアプログラム製品は、実行時、通常では、メモリ（RAMなど）にロードされ、そこから実行される。プログラムは、バックグラウンドメモリ（例：ROM、ハードディスク、あるいは磁気記憶装置および／または光記憶装置）からロードすることができ、または、ネットワーク（インターネットなど）を介してロードすることができる。オプションとして、特定用途向け集積回路が、開示されている機能を提供する。

図7は、多視点画像生成ユニット700を概略的に示しており、このユニットは、
− 各入力画像の深度マップを画像に基づいて生成する深度マップ生成ユニット702。深度マップは、画像の各ピクセルブロックの、観察者までの距離を表している深度値、を備えている。従って、深度マップの解像度は、入力画像の解像度よりも低い。
− 深度マップを入力画像に基づいてより高い解像度の深度マップにアップスケールする、図6に関連して説明されているアップスケーリングユニット600。より高い解像度の深度マップの解像度は、入力画像の解像度に一致する。
− 入力画像と、アップスケーリングユニット600によって提供される、より高い解像度の各深度マップとに基づいて、多視点画像をレンダリングするレンダリングユニット706。
を備えている。

多視点画像生成ユニット700は、一連のビデオ画像に基づいて一連の多視点画像を生成するようにされている。多視点画像生成ユニット700には、入力コネクタ708においてビデオ画像のストリームが提供され、多視点画像生成ユニット700は、2つの相関するビデオ画像ストリームを、それぞれ出力コネクタ710および712において提供する。これら2つの相関するビデオ画像ストリームは、多視点表示デバイスに提供され、多視点表示デバイスは、相関するビデオ画像ストリームのうちの最初のストリームに基づいて第一の一連のビューを視覚化し、相関するビデオ画像ストリームのうちの2番目のストリームに基づいて第二の一連のビューを視覚化するようにされている。ユーザ（すなわち、観察者）が、第一の一連のビューを左目で観察し、第二の一連のビューを右目で観察するならば、このユーザは、3Dの印象に気付く。この場合、相関するビデオ画像ストリームのうちの最初のストリームが、受信される一連のビデオ画像に対応しており、相関するビデオ画像ストリームのうちの2番目のストリームが、受信される一連のビデオ画像に基づいてレンダリングされたものとすることができる。好ましくは、ビデオ画像の両方のストリームが、受信されるビデオ画像のシーケンスに基づいてレンダリングされる。レンダリングは、例えば、論文「非中間ポジションにおける多視点画像の合成（Synthesis of multi viewpoint images at non-intermediate positions）」（P.A. Redert、E.A. Hendriks、およびJ. Biemond）（Proceedings of International Conference on Acoustics, Speech, and Signal Processing, Vol. IV、ISBN 0-8186-7919-0、p.2749〜2752、IEEE Computer Society、カリフォルニア州ロスアラミトス、1997年）に記載されているレンダリングである。これに代えて、レンダリングは、「2.5Dビデオからの高品質画像（High-quality images from 2.5D video）」（R.P. Berretty、F.E. Ernst）（Proceedings Eurographics、グラナダ、2003年、Short Note 124）に記載されているレンダリングである。

図8は、本発明による画像処理装置800の実施例を概略的に示しており、この画像処理装置は、
− 入力画像を表している信号を受信する受信手段802と、
− 図7に関連して記載されている多視点画像生成ユニット700と、
− 多視点画像生成ユニット700の出力画像を表示する表示デバイス806と、
を備えている。

信号は、アンテナまたはケーブルを介して受信される放送信号とすることができるが、VCR（ビデオカセットレコーダー）などの記憶デバイスあるいはデジタルバーサタイルディスク（DVD）からの信号とすることもできる。信号は、入力コネクタ810において提供される。画像処理装置800は、例えば、テレビとすることができる。これに代えて、画像処理装置800は、オプションの表示デバイスを備えておらず、表示デバイス806を備えている装置に出力画像を提供する。その場合、画像処理装置800は、例えば、セットトップボックス、衛星チューナー、VCRプレーヤー、DVDプレーヤーまたはDVDレコーダーとすることができる。オプションとして、画像処理装置800は、記憶手段（ハードディスクなど）、または、リムーバブルメディア（例：光ディスク）に格納するための手段、を備えている。画像処理装置800は、映画撮影所あるいは放送局によって用いられているシステムとすることもできる。

本発明は、多視点画像アプリケーションにおいて説明されているが、本発明は、別のアプリケーション、例えば、動き補償スキャンレート変換(motion compensated scan rate conversion)に適用することもでき、その場合、動きベクトルは8*8ブロックベースにおいて計算される。本発明によるアップスケーリングは、中間画像を補間する目的でピクセルごとの動きベクトルを計算するために適用することができる。

上述されている実施例は、本発明を制限するものではなく、当業者は、請求項の範囲から逸脱することなく代替実施例を設計できることに留意されたい。請求項においては、カッコ内に入っている参照記号は、請求項を制限するようには解釈されないものとする。語「備えている」は、請求項に記載されていない要素またはステップの存在を除外するものではない。要素の前の語「a」または「an」は、そのような要素が複数存在することを除外するものではない。本発明は、いくつかの個別の要素を備えているハードウェアによって、および、適切にプログラムされたコンピュータによって実施することができる。いくつかの手段を列挙している装置クレームにおいては、これらの手段のいくつかは、同一のハードウェア要素またはソフトウェア要素によって具体化することができる。語「第一、最初の」、「第二、2番目の」、「第三、3番目の」などの使用は、何らかの順序を示すものではない。これらの語は、名称として解釈されるものとする。特に明記されていない限りは、特定の処理順序が要求されるものではない。

画像を示している。 図1Aの画像に対して計算された深度マップを示している。 図1Aの画像に対して、エロージョンを用いて計算された別の深度マップを示している。 本発明の方法に従って計算された深度マップを示している。 4つのサンプル構造を概略的に示しており、第二サンプル構造の値がまだ計算されていない。 第一出力サンプルの計算に適用される、第一差異に基づく第一重み係数、の割り当てを概略的に示している。 各差異に基づく複数の重み係数の割り当てを概略的に示している。 第二出力サンプルの計算に適用される、第一差異に基づく第一重み係数、の割り当てを概略的に示している。 図3Aの4つのサンプル構造を概略的に示しており、第二サンプル構造の値が計算されている。 サンプルの6つの構造を概略的に示している。 第一フィルタ開口を概略的に示している。 第二フィルタ開口を概略的に示している。 本発明によるアップスケーリングユニットを概略的に示している。 多視点画像生成ユニットを概略的に示している。 本発明による画像処理装置を概略的に示している。

Claims (17)

1. 第一特性を表わしている第一構造のサンプルを、第二特性を表している第三構造のサンプルと、前記第二特性を表している第四構造のサンプルとに基づいて、前記第一特性を表わしている第二構造のサンプルにアップスケールする方法であって、前記第一構造がソース解像度を有し、前記第二構造が目標解像度を有し、前記第三構造が前記ソース解像度を有し、前記第四構造が前記目標解像度を有し、
   前記方法が、
   − 前記第一構造のサンプルのうちの各第一サンプルに、前記第三構造のサンプルのうちの各第三サンプルと、前記第四構造のサンプルのうちの各第四サンプルとの間の差異に基づいて、重み係数を割り当てるステップと、
   − 前記第二構造のサンプルのうちの第二サンプルを、前記第一構造のサンプルのうちの前記第一サンプルと、前記各重み係数とに基づいて計算するステップと、
   を備えている、方法。
2. 前記重み係数が、前記差異の非線形関数に基づいて求められる、請求項１に記載の、アップスケールする方法。
3. 前記非線形関数が、指数関数である、請求項２に記載の、アップスケールする方法。
4. 前記関数が、相対的に大きい差異を相対的に小さい重み係数に変換する、請求項２又は請求項３に記載の、アップスケールする方法。
5. 前記第二サンプルの最初のサンプルを計算するために使用される、前記第一サンプルの最初のサンプルの、前記重み係数のうちの最初の重み係数を割り当てるステップが、前記第三サンプルの最初のサンプルと前記第四サンプルの最初のサンプルとの間の第一差異に基づいており、前記第一サンプルの前記最初のサンプルおよび前記第三サンプルの前記最初のサンプルの各座標が、相互に等しい、請求項１から請求項４の何れか一項に記載の、アップスケールする方法。
6. 前記第二サンプルの最初のサンプルを計算するために使用される、前記第一サンプルの最初のサンプルの、前記重み係数のうちの最初の重み係数、を割り当てるステップが、前記第三サンプルの最初のサンプルと前記第四サンプルの最初のサンプルとの間の第一差異に基づいており、前記第四サンプルの前記最初のサンプルおよび前記第二サンプルの前記最初のサンプルの各座標が、相互に等しい、請求項１から請求項５の何れか一項に記載の、アップスケールする方法。
7. 前記第一特性が、深度に対応している、請求項１から請求項６の何れか一項に記載の、アップスケールする方法。
8. 前記第一特性が、動きに対応している、請求項１から請求項６の何れか一項に記載の、アップスケールする方法。
9. 前記第二特性が、色または輝度に対応している、請求項１から請求項８の何れか一項に記載の、アップスケールする方法。
10. 前記第二特性が、色テクスチャに基づいている、請求項１から請求項８の何れか一項に記載の、アップスケールする方法。
11. 前記方法が、前記第四構造のサンプルを前記第三構造のサンプルにダウンスケールするステップ、を備えている、請求項１から請求項１０の何れか一項に記載の、アップスケールする方法。
12. ボックスフィルタがダウンスケーリングに使用される、請求項１１に記載の、アップスケールする方法。
13. 前記第一構造のサンプルのうちの各第一サンプルに重み係数を割り当てるステップが、前記第一構造のサンプルのうちの前記第一サンプルの各信頼度値に基づいている、請求項１から請求項１２の何れか一項に記載の、アップスケールする方法。
14. 前記アップスケールするステップが、
    − 前記第一特性を表している中間構造のサンプルを得る第一スケーリングステップであって、前記中間構造が、前記ソース解像度よりも高く、かつ前記目標解像度よりも低い中間解像度を有する、前記第一スケーリングステップと、
    − 前記中間構造のサンプルに基づいて前記第二構造のサンプルを得る第二スケーリングステップと、
    を備え、前記第一スケーリングステップにおいて適用される第一フィルタ配置構造と、前記第二スケーリングステップにおいて適用される第二フィルタ配置構造とが、相互に異なる、
    請求項１から請求項１３の何れか一項に記載の、アップスケールする方法。
15. 第一特性を表している第一構造のサンプルを、第二特性を表している第三構造のサンプルに基づいてと、前記第二特性を表している第四構造のサンプルに基づいて、前記第一特性を表している第二構造のサンプルにアップスケールするアップスケーリングユニットであって、前記第一構造がソース解像度を有し、前記第二構造が目標解像度を有し、前記第三構造が前記ソース解像度を有し、前記第四構造が前記目標解像度を有し、前記アップスケーリングユニットが、
    − 前記第一構造のサンプルのうちの各第一サンプルに、前記第三構造のサンプルのうちの各第三サンプルと、前記第四構造のサンプルのうちの第四サンプルとの間の差異に基づいて、重み係数を割り当てる重み係数割り当てユニットと、
    − 前記第二構造のサンプルのうちの第二サンプルを、前記第一構造のサンプルのうちの前記第一サンプルと、前記各重み係数とに基づいて計算する計算ユニットと、
    を備えている、アップスケーリングユニット。
16. 請求項１５に記載の前記アップスケーリングユニットを備えている、画像処理装置。
17. コンピュータシステムによってロードされるコンピュータプログラムであって、
    第一特性を表している第一構造のサンプルを、第二特性を表している第三構造のサンプルと、前記第二特性を表している第四構造のサンプルとに基づいて、前記第一特性を表している第二構造のサンプルにアップスケールするための命令、を備えており、前記第一構造がソース解像度を有し、前記第二構造が目標解像度を有し、前記第三構造が前記ソース解像度を有し、前記第四構造が前記目標解像度を有し、前記コンピュータシステムが、処理手段およびメモリを備えており、前記コンピュータプログラムが、ロードされた後、以下のステップ、すなわち、
    − 前記第一構造のサンプルのうちの各第一サンプルに、前記第三構造のサンプルのうちの各第三サンプルと、前記第四構造のサンプルのうちの第四サンプルとの間の差異に基づいて、重み係数を割り当てるステップと、
    − 前記第二構造のサンプルのうちの第二サンプルを、前記第一構造のサンプルのうちの前記第一サンプルと、前記各重み係数とに基づいて計算するステップと、
    を実行する能力を、当該処理手段に提供する、
    コンピュータプログラム。

Images