JP6170614B2 - アップサンプリング及び信号強調 - Google Patents

Description

本発明は、画像／ビデオ符号化の分野などにおけるアップサンプリング及び信号強調(signal enhancement)に関する。

画像アップサンプリングは、入力された低解像度（ＬＲ）画像から高解像度（ＨＲ）画像を生成することに関連する。画像／ビデオは、移動電話、タブレット、ラップトップ、パーソナルコンピュータなど、多様なサイズのディスプレイ上で見られることから、このような画像アップサンプリング作業が注目を集めるようになってきた。例えば、１９２０×１０８０のディスプレイのためのコンテンツが１２８０×７２０のフォーマットでしか入手できず、アップサンプリングが必要となる場合がある。最近では、４Ｋのディスプレイが普及し始めているが、そこに低い解像度（例えば１９２０×１０８０）を有するコンテンツを表示せざるを得ない場合もある。

画像アップサンプリングはまた、画像補間、アップスケーリング、リサイジング、リサンプリング、スーパー・レゾリューションなどとも呼ばれている。アップサンプリングを達成するために多数の確立された方法が使用可能であり、例えば、バイリニア・フィルタ（２タップ）又はバイキュービック・フィルタ（４タップ）を用いたＦＩＲフィルタリングが、実装の容易さゆえに頻繁に使用されている。これら技術は、複数のアーチファクトを引き起こす可能性があり、最も多いのは、結果として得られる高解像度画像のブラーリング（blurring)である。本発明の主目的は、シャープなエッジ及びテクスチァを復元する一方で、ブラーリング、リンギング、エイリアシング又は他の可視アーチファクトを低減させることである。ビデオに関しては、再生期間中、時間的コヒーレンスを保持し、ピクチャからピクチャへのフリッカリングを防止するという追加的要件もある。

画像／ビデオのアップサンプリングは、例えば圧縮、編集、監視(surveillance)及びテクスチァ・マッピングなど、画像処理、コンピュータ映像及びグラフィックスにおける多数のアプリケーションと関連している。アップサンプリングは、画像ブラウジング及びビデオ再生ソフトウエアにとってきわめて重大である。画像アップサンプリングにおける細部合成はまた、スケーラブル・ビデオ符号化のためのツールとしても使用可能である。細部合成はまた、例えばビデオ符号化の文脈でのループフィルタ又は後フィルタ段階として、アップサンプリングなしでも使用可能である。

帯域制限された信号に関する信号処理理論は、ナイキストレートやｓｉｎｃ補間（非特許文献１、非特許文献２）よりも高いサンプリングを提唱している。帯域制限の仮定は、シャープなエッジの存在により、殆どの画像に当てはまらない。しかしながら、従来の方式はこの原理に固執し、多くの現実的なアプリケーションにとって許容可能な結果を生み出すために、理想的なローパスフィルタを近似している。バイリニアやバイキュービック補間などの技術は、演算の複雑性が低い評判のよい例といえる。サンプリング理論を帯域制限の条件なしのシフト不変空間に対して拡張することは、例えばＢスプライン（非特許文献３）やＭＯＭＳ補間（非特許文献４）などの、基底関数の所与のサポートのもとで画像品質の向上を提供するような、一般化された補間の枠組みへと導くことになる。しかしながら、これらの線形モデルは、エッジ周辺の高速変化する統計を捕捉することができない。これらの線形モデルにおいて基底関数の次数（degree）を増大させることは、より高次の統計を捕捉する助けとなるが、他方では空間ドメインにおけるより長い効果的なサポートという結果をもたらし、これにより、エッジ周辺のリンギングなどのアーチファクトを生み出してしまう。

線形モデルを改善するために、例えば非特許文献５のように、エッジ方向にそって補間を実行するような方向性補間スキームが提案されてきた。そのスキームは、入力画像における局所共分散を計算し、補間のサポートがエッジに沿うように、高解像度における補間を適合させるためにそれら共分散を使用することで、達成される。しかしながら、結果として得られる画像はまだいくらかのアーチファクトを示す。反復的バックプロジェクション（非特許文献６）技術は、ダウンサンプリング処理が既知である場合に画像補間を改善する。その基本的考えは、ＬＲ画像から復元されたＨＲ画像は、それを同じブラーリング及びダウンサンプリング処理に通過させた場合には、同様に見えるＬＲ画像を生成する筈だというものである。しかしながら、ダウンサンプリングフィルタは既知でない場合が多く、又は入力画像がカメラ捕捉されたものであって、サンプリングシステムの中で使用された光学的アンチエイリアス・フィルタが後続の画像処理段階において既知でない場合もある。従って、ダウンサンプリング処理に直接的に依存しない方法を設計することが望ましい。

画像のアップサンプリングは、画像強調の一つの方式である。画像強調は、画像の品質を向上させることを目的としている。換言すると、画像強調は、画像が例えば損失の多いコーディングによって被ったであろう品質低下を、少なくとも部分的に回復することを目的としている。

米国特許第８，２９０，２５１号 米国特許第８，１６５，２１５号 米国特許第７，５２６，１２３号 米国特許第７，４０１，００６号 米国特許第８，３６９，６５３号 米国特許第８，２６０，０８７号 米国特許第８，２３３，７３４号

[Shannon1949] C. E. Shannon, "Communication in the presence of noise," Proc. Institute of Radio Engineers, vol. 37, no. 1, pp. 10?21, Jan. 1949. [Unser2000] M. Unser, "Sampling - 50 Years After Shannon", Proc. IEEE, vol. 88, no. 4, pp. 569-587, Apr. 2000. [Unser1999] M. Unser, "Splines: A Perfect Fit for Signal and Image Processing", IEEE Signal Proc. Magazine, vol. 16, no. 6, pp. 22-38, Nov. 1999. [Blu2001] T. Blu, P. Thevenaz and M. Unser, "MOMS: Maximal-Order Interpolation of Minimal Support", IEEE Trans. On Image Proc., vol. 10, no. 7, Jul. 2001. [Li2001] X. Li and M. T. Orchard, "New edge-directed interpolation." IEEE Trans. on Image Proc., 10(10):1521?1527, 2001. [Irani1991] M. Irani and S. Peleg, "Improving resolution by image registration," Graphical Models and Image Processing, 53:231?239, 1991. [Olshausen1996] B. A. Olshausen and D. J. Field, "Natural image statistics and efficient coding," Network: Computation in Neural Systems, no. 7, pp. 333?339, 1996. [Blumensath2008] T. Blumensath, M. E. Davies, "Iterative Thresholding for Sparse Approximations", The Journal of Fourier Analysis and Applications, vol.14, no 5, pp. 629-654, Dec 2008. [Chen1998] S. S. Chen, D. L. Donoho, M. A. Saunders, "Atomic Decomposition by Basis Pursuit," SIAM Journal on Scientific Computing, Vol. 20, no. 1, 1998. [Mallat1993] S. G. Mallat, "Matching pursuits with time-frequency dictionaries," IEEE Trans. On. Signal Proc., Vol 41, no. 12. Pp. 3397 ? 3415, Dec 1993. [Candes2004] E. J. Candes and D. L. Donoho, "New tight frames of curvelets and optimal representations of objects with C2 singularities," Comm. Pure Appl. Math., vol. 57, no 2, pp. 219-266, 2004. [Do2005] M. N. Do and M. Vetterli, "The contourlet transform: an efficient directional multiresolution image representation," IEEE Trans. on Image Proc., vol. 14, no. 12, Dec. 2005. [Kutyniok2011] G. Kutyniok and W.-Q Lim "Compactly Supported Shearlets are Optimally Sparse", J. Approx. Theory, Vol. 163, pp. 1564-1589, 2011. [Aharon2006] M. Aharon, M. Elad and A.M. Bruckstein, "The K-SVD: An Algorithm for Designing of Overcomplete Dictionaries for Sparse Representation," IEEE Trans. On Signal Proc., vol. 54, no. 11, pp. 4311?4322, Nov. 2006.

従って、本発明の目的は、更に効率的な信号のアップサンプリング及び信号強調についての概念を提供することである。この目的は、添付された独立請求項の主題によって達成される。

本発明は、品質改善されるべき信号は、低周波に比べて高周波において品質低下を被りやすく、従って、品質改善されるべき信号と、その品質改善されるべき信号についてスパース近似(sparse approximation)から抽出された高周波部分とを組み合わせることにより、品質改善が最も効率的に実行されるという、発明者らの知見を活用するものである。本発明の１つの態様によれば、例えば、この知見は第１信号をアップサンプリングするために利用され、そこでは、初期アップサンプリング処理が第１信号に対して適用されて、第１信号の解像度よりも高い解像度を有する第２信号が取得される。ここで、低周波数に比べて高周波数において、アップサンプリング処理の品質が低下しがちになる。本発明の他の態様によれば、上述の考えは、例えば損失の多い符号化によって品質低下していた信号の信号強調のために使用される。事実、本発明の信号強調の概念は、信号強調がアップサンプリング結果に対して適用される、本発明のアップサンプリング概念の一部として見られてもよい。

本発明の望ましい構成は従属請求項の主題であり、本発明の好ましい実施形態は、以下に図面を参照しながら詳細に説明する。

アップサンプリングされるべき信号をアップサンプリングするための一実施形態に係る装置を示すブロック図である。 図１の一実施形態に係る詳細抽出部又は高周波部分抽出部３０の初期的な構造を示すブロック図である。 １つの例示的な画像例を使用して、図１及び図２の例に従うアップサンプリング処理における一連の段階の後の画像コンテンツを示す。 １つの例示的な画像例を使用して、図１及び図２の例に従うアップサンプリング処理における一連の段階の後の画像コンテンツを示す。 １つの例示的な画像例を使用して、図１及び図２の例に従うアップサンプリング処理における一連の段階の後の画像コンテンツを示す。 １つの例示的な画像例を使用して、図１及び図２の例に従うアップサンプリング処理における一連の段階の後の画像コンテンツを示す。 １つの例示的な画像例を使用して、図１及び図２の例に従うアップサンプリング処理における一連の段階の後の画像コンテンツを示す。 １つの例示的な画像例を使用して、図１及び図２の例に従うアップサンプリング処理における一連の段階の後の画像コンテンツを示す。 一実施例に係る信号強調のための装置を示すブロック図である。 他の実施例に係るアップサンプリングのための非反復的に作動する装置を示す。 信号強調のための装置がループ内フィルタとして使用され得る、ハイブリッド・ビデオ符号器のブロック図を示す。 信号強調のための装置がループ内フィルタとして使用され得る、ハイブリッド・ビデオ復号器のブロック図を示す。 レイヤ間予測ソースを提供するために本発明に係るアップサンプリング装置が使用され得る、空間スケーラビリティをサポートするビデオ符号器を示す。 レイヤ間予測ソースを提供するために本発明に係るアップサンプリング装置が使用され得る、空間スケーラビリティをサポートするビデオ復号器を示す。

本発明の幾つかの実施形態を説明する前に、後で述べる実施形態につながる幾つかの考察について説明する。

第１に、ＦＩＲフィルタベースの補間のような線形モデルは、低い周波数成分を補間する場合には信頼できるが、アップサンプリングされた画像の高周波成分を歪ませてしまうことに注目すべきである。従って、以下の実施形態において、そのような初期補間部の出力は、スパース近似（粗い近似）からの細部成分と結合される。例えば、このことは、結合を実行する反復的枠組みを介して実現されてもよい。スパース近似からの細部成分を信号強調のために使用する試みは、自然な画像が幾つかのドメインにおいてスパース的に表現され得る（非特許文献７）という事実によって動機付けられる。スパース近似の段階は、信号を少数の変換係数だけを用いて近似することと考えることができ、例えばその信号を特定のドメインへと変換すること、変換係数を所定の振幅未満からゼロまでに設定すること、及び近似に戻るためにそれら係数を逆変換すること、と考えることができる。変換に使用されるドメインは、例えば離散コサイン変換（ＤＣＴ）、ウェーブレットを用いる多解像度表現(multi-resolution representation)、カーブレット(curvelets)、コンツアレット(contourlets)、シアレット(shearlet)等を用いた多解像度方向性表現(multi-resolution directional representation)、又は、他の固定若しくはトレーニングベースの辞書であってもよい。以下の説明を参照されたい。

つまり、補間の方向を厳密に検出する代わりに、以下の実施形態はスパース近似を使用する。例えば、方向性変換係数の反復的な閾値処理（thresholding)は、優勢エッジ／方向に沿ったよりシャープな画像をもたらす。

図１は、第１解像度を有する第１信号ｓをアップサンプリングする装置５を示し、この装置５は、アップサンプラー１０と、スパーシティ強調部(sparsity enforcer)２０と、高周波部分抽出部３０と、結合部４０とを含む。アップサンプラー１０は、第１信号ｓを受信し、その第１信号に対してアップサンプリング処理を適用して、第１解像度よりも高い第２解像度を有する第２信号を取得するよう構成されている。結合部４０は、アップサンプラー１０の出力と接続された第１入力を有し、結合部４０とスパーシティ強調部２０と高周波部分抽出部３０とはその順番で互いに直列に接続されており、その結果、結合部４０の出力と結合部４０の第２入力との間のループが形成されている。結合部４０の出力は、装置５の出力をも同時に形成している。

特に、最初は、近似済み信号ａから高周波部分抽出部３０によって抽出される高周波部分ｈは、第２信号ｕが結合部４０を無修正で通過するように、つまり結合部４０の出力における信号ｘがｕと等しくなるように、設定されてもよい。スパーシティ強調部２０は、スパース近似を使用して、第２解像度を有しかつ入来信号ｘを近似している近似済み信号ａを生成するよう構成されている。高周波部分抽出部３０は、近似済み信号ａから高周波部分ｈを抽出し、次に高周波部分ｈは結合部４０によって第２信号ｕと結合され、その結果、強調され／アップサンプリングされたアップサンプリング済み信号ｘをもたらす。

図１の装置５の基礎をなす作動モード、長所、及び思想について、以下において更に詳細に説明する。しかしながら、アップサンプリングされるべき信号ｓは、如何なるタイプの信号であってもよい点に留意すべきである。例えば、信号ｓはビデオ又はピクチャであってもよく、すなわち、信号ｓの空間解像度を増大させるよう、装置５を用いて１つの場面を二次元的に空間的サンプリングしたものでもよい。しかしながら、代替的に、信号ｓは例えばある物理的特性を空間的又は時間的にサンプリングした一次元の信号であってもよい。例えば、信号ｓは、表面プロファイルを空間的にサンプリングするプロファイロメータ(profilometer)の出力信号であってもよい。ここでは、図１の実施形態は、一次元信号について説明する。画像のアップサンプリングについては、以下の説明は、例えば横列及び縦列毎の操作を用いることで二次元へと拡張可能であり、又は、画像サンプルに対して二次元操作を使用することで直接的に実現可能である。装置５により実行される細部合成は、全体画像に対して行われてもよく、又は、ブロック若しくは領域毎に行われてもよい。

ベクトルｓ∈Ｒ^Nとして表現される次元Ｎ×１の入力ＬＲ信号を考慮されたい。最終目的は、次元Ｍ×１の出力ＨＲ信号を生成することであり、ここで、Ｍ＞Ｎである。

アップサンプラー１０は、入力ＬＲ信号を受け取り、ｓ∈Ｒ^Nの初期アップサンプリングを実行し、例えばＦＩＲフィルタベースの補間を使用して信号ｕ∈Ｒ^Mを生成する。

このように、アップサンプラー１０は装置５の処理の第１段階を構成している。

一例として、ＬＲ画像の縦列（コラム）が、ｓ＝［ａｂｃｄ］^Tで示すように、４個のサンプルで構成されると仮定する。サンプルの個数を２倍する作業について考える。特定の画像境界を超えるサンプルは、最後の利用可能なサンプルを繰り返すことによって得られる、と仮定する。他の種類の境界拡張もまた可能である。

新たなサンプルｘ₁がサンプルｂとｃの中間で生成される必要がある場合には、バイキュビックフィルタ（bicubic filter）の係数は［−１，９，９，−１］／１６、つまりｘ₁＝（−ａ＋９ｂ＋９ｃ−ｄ）／１６である。これを他のサンプルまで拡張すると、ベクトル表示ｕ＝Ｕ・ｓが得られ、ここでＵはアップサンプリング行列と呼ばれる。

初期近似の他の形式、例えばＢ−スプラインや非線形技術なども使用することができる。初期アップサンプリングの複雑性を低く保つため、及び同時に初期アップサンプリング済み画像の良好な品質を達成するために、６タップ又は８タップのＦＩＲフィルタが望ましい。

これまで説明してきたアップサンプラー１０に関する留意点を要約すると、アップサンプラー１０はＦＩＲフィルタ、ＩＩＲフィルタ、又はそれら両方の組合せを使用して、初期アップサンプリング処理を実行するよう構成されてもよい。

図１の実施例では、装置５によって出力された信号ｘの反復的精製を実行するために、スパーシティ強調部２０、高周波部分抽出部３０及び結合部４０が協働して作動する。すなわち、信号ｘの品質はある反復から次の反復へと着実に向上する。これに関する詳細は、以下にさらに説明する。

反復的な手順において、初期アップサンプリング済み信号ｕは推定された精製信号ｈ⁽ⁱ⁾∈Ｒ^Mと結合されて、次式のような精製済み信号ｘ⁽ⁱ⁾∈Ｒ^Mが生成され、ここでｉは反復回数を表す。

最初の反復において、精製信号ｈ⁽⁰⁾がゼロに初期化され、そのためｘ⁽⁰⁾＝ｕとなる。次に、スパーシティ強調部２０によってスパーシティ強調ステップがｘ⁽ⁱ⁾に対して実行され、近似済み信号ａ⁽ⁱ⁾が生成される。次に、ｈ⁽ⁱ⁺¹⁾として示されたａ⁽ⁱ⁾の高周波細部が高周波部分抽出部３０によって抽出され、これが推定されたＨＲ信号を更新するために結合部４０によって使用されて、ｘ⁽ⁱ⁺¹⁾を生成する。この手順はある反復回数で繰り返され、最終段階の後のｘ⁽ⁱ⁺¹⁾におけるサンプルが出力ＨＲ画像を形成する。反復的精製を要約すると、次式のようになる。

つまり、スパーシティ強調部２０と高周波部分抽出部３０と結合部４０とが、各反復の中で生成と抽出と結合とを反復的に実行し、ここで、スパーシティ強調部２０は、結合部４０が実行する結合によって取得された結合済み信号ｘに対してスパース近似を適用する。

結合部４０は、例示的に、アップサンプル信号ｕと現在の精製信号ｈとの間の加算として構成されてもよい点に留意すべきであり、ここで現在の精製信号ｈは、初期的には、即ち初回の反復の開始時には、中立元 (neutral element)と等しくなるように設定される。代替的に、結合部４０は例えば乗算のような他の結合形式を使用してもよく、その場合、例えば信号ｈは、初回の反復の開始時には、中立元、即ち１と等しくなるように設定され得る。

スパーシティ強調部２０によって実行されるスパース近似とは、アトムと呼ばれる少数の基本信号（elementary signals)の線形結合を用いた、信号の大部分に当てはまる近似を指すものとして使用される用語である。基本信号は、ＤＣＴ，ＤＦＴ，ウェーブレットのような基底関数から構成されてもよく、又は、コンツアレット，シアレット等のような過完備関数(over-complete function) から構成されてもよい。

スパース近似を実行するためには、複数の方法が存在する。例えば、
・順変換，閾値処理，逆変換（反復的閾値処理（非特許文献８））
・正則化を用いたコスト関数の最適化（Ｌ０最小化、Ｌ１最小化、基底追跡(Basis Pursuit)（非特許文献９））
・一係数ごとの信号近似の連続的な構築（マッチング追跡（Matching Pursuit)（非特許文献１０）、直交マッチング追跡（Orthogonal Matching Pursuit)）

ここで、まず信号拡張についての短い導入を述べ、次にスパース近似のための好ましい実施形態、つまり閾値処理のスキームについて説明する。

Ｍ×Ｐの寸法を有する行列Ｂを考慮されたい。ここで、縦列は｛ｂ₀,ｂ₁,ｂ₂,…,ｂ_p-1｝である。行列Ｂは、また辞書(dictionary)とも称される。ＤＣＴの場合には、｛ｂ₀,ｂ₁,ｂ₂,…,ｂ_p-1｝は種々の周波数におけるコサイン関数である。前述したように、信号ｘ⁽ⁱ⁾はＭ×１の寸法を有する。ベクトルｂ_iの各々もまたＭ×１の寸法を有し、辞書Ｂの中にはＰ個のそのようなベクトルが存在する。

いわゆる信号拡張の作業は、ベクトルｂ_iに関して信号ｘを表現することである。即ち、

ここで、｛ｗ₀,ｗ₁,ｗ₂…ｗ_p-1｝は重み又は変換係数と称される。

この式は、以下のように簡略化して記述することができる。

ここで、ｗ＝［ｗ₀，ｗ₁，ｗ₂…ｗ_p-1］^Tである。

Ｐ＜Ｍの場合には、辞書はＭ×１の寸法を有する所定のベクトルを表現できない。Ｐ＝Ｍであり、かつベクトルｂ_iが線形的に独立するように選択された場合には、それらベクトルは基底ベクトルと呼ばれ、Ｍ×１の寸法を有する如何なるｘをも表現でき、例えばＢはＤＣＴ又はＤＦＴベースで構成される。Ｐ＞Ｍの場合には、辞書は過完備と称される。本発明の実施形態において、辞書はこれら３種類の可能なタイプのいずれであってもよい。

画像のサブバンド分解、即ち１つの画像を多数のチャネルへと分割することは、順変換を指すために使用されるもう一つの用語である。一つ又は複数の変換係数が１つのサブバンドとして考慮され得る。

スパース近似の作業は、少数の非ゼロの重み｛ｗ_k｝だけを用いてｘに近い表現を生成することである。そのため、ｗは疎(sparse)である。

典型的な閾値処理の手法においては、ｗはｘの順変換によって見つけられ、ある閾値未満の大きさを有する重みｗ_kはゼロに設定される。Ａが辞書Ｂについての順変換であると仮定する。即ち、

ＤＣＴやＤＦＴのような直交辞書の場合には、順変換Ａは行列Ｂの単なる転置である。他の辞書に関しては、適切な順変換を決定するための複数の手法が存在する。

要素毎の閾値処理を実行する閾値処理演算子Ｔが以下のように定義される。

軟型閾値処理、硬型閾値処理、又は適応型閾値処理のような他の形式の閾値処理もまた可能である。

閾値処理後の重みは信号拡張の中で使用され、近似済み信号ａ、即ちａ＝Ｂ・Ｔ（Ａ・ｘ）が得られる。スパース近似は全体の反復的処理の一部であるため、各反復の期間中に次式が成立する。

閾値は各反復において異なるように設定され得る。また、異なる辞書要素に対応する重みに対して、異なる閾値が使用され得る。

つまり、換言すると、スパーシティ強調部２０は、順変換、即ちＡを用いた変換を実行して変換係数ｗを得ること、その変換係数を閾値処理して閾値処理済み係数、即ちＴ（ｗ_k）を得ること、及びその閾値処理済み係数に対してＢを用いた逆変換を実行すること、を順次行うことで、スパース近似を実行するよう構成されてもよい。しかしながら、上述したようなスパース近似を行うための閾値処理概念は、複数の可能性の中の１つの可能性でしかない。例えば、上述の方法に代えて、スパース近似を行うためにコスト関数最適化スキームが使用されてもよい。例えば、コスト関数は、非ゼロの変換係数の数又はその変換係数のエネルギーの尺度と、スパース近似を一方とし近似されるべき入来信号ｘを他方としたそれらの間の差異という別の尺度と、を組合せることもできる。代替的に、スパーシティ強調部は、パラメータ化された関数の係数を順次最適化することで、近似済み信号を連続的に構築することにより、スパース近似を実行するよう構成されてもよい。

図１の装置の機能の説明を続けると、高周波部分抽出部３０は、以下のように細部抽出を行う。この抽出は、Ｒ^Mにおける低周波成分が、Ｕにおけるフィルタ、即ちアップサンプラー１０によって、忠実にアップサンプリングされるという仮定に基づいている。従って、これら低周波成分は変更されるべきでなく、寧ろ、近似ａ⁽ⁱ⁾の細部（高周波部分）がアップサンプリング済み信号を精製するために使用されるべきである。この目的で、ａ⁽ⁱ⁾の低周波部分が推定され、細部ｈ⁽ⁱ⁺¹⁾を有する信号を得るために差し引かれる。

ある実施形態においては、ａ⁽ⁱ⁾をダウンサンプリングし、その後ダウンサンプリングされた信号をアップサンプリングすることによって、ａ⁽ⁱ⁾の低周波部分が推定される。

この目的で、高周波部分抽出部３０が図２に示すように構成されてもよい。図２は、高周波部分抽出部の対応する内部構造の一例を示す。信号ａが入力される高周波部分抽出部３０の入力と、信号ｈが出力される高周波部分抽出部３０の出力との間には、減算部７０の非反転入力と出力とがそれぞれ接続されている。信号ａが入力される入力と、減算部７０の反転入力との間には、ダウンサンプラー５０及びアップサンプラー６０が記載の順序で直列に接続されている。

換言すれば、ａをダウンサンプリングし、次にそのダウンサンプリングされた信号をアップサンプリングした結果として得られる信号が、ａ⁽ⁱ⁾から差し引かれて、細部ｈ⁽ⁱ⁺¹⁾を有する信号が生成される。即ち、

好ましい実施形態において、細部抽出段階３０において使用されるアップサンプラー６０、即ちＶは、前述した初期アップサンプリングに使用されるアップサンプラー１０、即ちＵと同じである。抽出された細部、即ちｈは、推定されたＨＲ信号ｘを次の反復において更新するために使用される。

最後の反復の後のｘ⁽ⁱ⁺¹⁾内のサンプルが出力ＨＲ信号を形成する。

図３ａ〜図３ｆは、信号ｓの一例としての画像を参照しながら上述した実施形態の作動モードを示す。図３ａは、アップサンプラー１０によるアップサンプリング処理前の入力ＬＲ画像ｓを示す。低い空間解像度に起因して、この画像は小さい。アップサンプラー１０によるアップサンプリングの後、推定されたＨＲ画像ｕが得られる。アップサンプリング処理によってピクセル数が増大したため、この画像ｕは図３ａの画像と比べてサイズが大きくなっている。上述したように、ｕはｕ＝Ｕ・ｓによって得られてもよい。この初期アップサンプリング処理の後、現時点で強調されるべき信号、即ちｘにスパース近似が施される。例えば最初の反復の開始時において、ｘはｕと等しいことを思い出して欲しい。図３ｃは、最初の反復後のｕのスパース近似の結果、即ち上述した例示的な閾値の実施形態において１０％の非ゼロの重みを使用したａ^(o)を示す。

その後、スパース近似即ちａは、高周波部分抽出又は細部抽出を受け、この抽出は、上述のようにダウンサンプリング処理とそれに続くアップサンプリング処理の連続的な適用によって実行され、その結果、ａの推定された低周波成分が得られる。図３ｄは、図２の実施形態を使用した最初の反復の結果、即ちＵ・Ｄ・ａ⁽⁰⁾を示す。図２内の減算部７０は、次にａ⁽⁰⁾の推定された細部、即ち高周波部分

を結果としてもたらす。最後に、結合部４０内の結合により信号ｘが更新されて、図３ｆは最初の反復後の結果、即ち

を示す。つまり、図３ｆは細部を有する更新されたＨＲ画像を示し、その画像内の斜めの線は、図３ｂに示す初期アップサンプリング済みの結果と比べてシャープに見える。

スパース近似において使用可能な辞書について以下に説明する。ピース毎の滑らかなデータのスパース表現を取得することを目標として、方向性変換を構築しかつ実装するための広範な研究が行われてきた。カーブレット変換は、ピース毎の滑らかな画像の最適なスパース近似を提供すると考えられる、１つの方向性変換である（非特許文献１１）。しかしながら、カーブレットは、帯域制限されているため、空間ドメインにおいて限定的な定位しか提供できない。コンツアレットは、方向性フィルタバンクに基づいて構築され、コンパクトにサポートされた方向性要素である（非特許文献１２）。この手法における方向選択性は、アーチファクトを起こしがちなフィルタバンクの特別なサンプリング規則によって人工的に課せられている。更に、ピース毎の滑らかな画像のためのスパース近似に対する理論的保証は存在しない。

近年、所謂シアレットと呼ばれる新規な方向性表現システムが開発され、それは、連続的モデル及び離散的モデルの統一された取り扱いを提供し、ピース毎の滑らかな画像の最適なスパース表現を可能にする（非特許文献１３）。シアレットの顕著な特徴の一つは、回転の代わりにせん断によって方向選択性が達成されるという点である。この点は、実際に連続界と離散界との間の明確なリンクにとって決定的であり、シア行列がある条件下において整数格子を保持するという事実から生まれたものである。更に、シアレットはコンパクトにサポートされ得るため、シアレットは空間ドメインにおける高度な定位を提供する。

辞書はまた、１セットの実例を使用するトレーニングによっても生成され得る（非特許文献１４）。

これまで説明した実施形態は、全て信号アップサンプリングに関する。しかし、強調されるべき信号を強調するためにスパース近似とその後の高周波部分抽出とを使用することは、他の方法で取得された信号であって、如何なる理由であれ強調される必要があるか又は強調されることが有利な信号に対しても、転用可能である。図４において、信号強調の一例、特に入力信号を強調する装置の一例について説明する。ここでは、図１〜図３ｆに関連して上述した細部合成の枠組みが使用されて、上述したような入力画像であり得る入力信号の強調されたバージョンを生成する。強調された信号のサンプル解像度は入力信号のサンプル解像度と同じであってもよい。画像の場合には、強調された画像は入力画像と同じ解像度を有してもよい。

図４を説明するにあたり、これまで説明してきた図において既に使用された同じ参照記号が再使用される点に留意されたい。つまり、これら構成要素の機能は既に上述した機能と同じであり、従って、それらの機能、可能な代替案、及び実現方法などに関する上述した記載事項の全ては、図４の実施形態にも適用されるという意味である。

図４は入力信号ｓを強調するための装置を示し、この装置は、スパーシティ強調部２０と高周波部分抽出部３０と結合部４０とを含み、これら三部は、結合部４０の出力と第１入力との間に記載された順序でループを構成するよう接続されており、結合部４０の第２入力は入来する信号ｓを受信する。結合部４０の出力は図４の装置の出力をも同時に形成する。

図１と図４を比較すると明らかなように、図４の装置は実際には図１のアップサンプリング装置５の１つの構成要素であってもよく、その場合、初期的にアップサンプリングされた信号ｕは、図４の場合には強調されるべき信号ｓを表現している。換言すると、図４では初期アップサンプラー１０は使用されない。図１の場合と同様に、図４の装置もまた、入来信号を強調する際に作動の反復モードを使用する。図４の場合には、細部抽出部又はハイパス部分抽出部３０を実現するためにハイパスフィルタが使用されてもよい。

ビデオ符号化の文脈において、例えば図４の装置によって実行される信号強調は、例えば細部合成を実現させるために使用されてもよい。そのような細部合成は、例えばＨ．２６４又はＨＥＶＣなどのハイブリッド・ビデオコーデックのＤＰＣＭ復元段階の後に、例えばループフィルタやポストフィルタとして適用されてもよい。

ここで、上述した実施形態についての一般的な注意点について述べる。

アップサンプリングの概念に関し、例えば、上述した点の他に、細部合成処理が反復的に作動する必要がない点にも留意すべきである。換言すれば、単に１回だけの反復であっても十分になり得る。その場合、アップサンプリング装置の他の実施形態を開示する図５に示されるように、ループ構成を省略することができる。ここでも、対応する信号強調装置、即ち図４の実施形態に対する代替的な装置は、初期アップサンプラー１０を省略して、信号強調装置に入来する信号として信号ｓを直接的に受け取るようにすることで実現できる。

更に、スパーシティ強調部２０によって使用されるスパース近似は、第２信号を近似している近似済み信号ａを取得するために、必ずしも第２信号、即ちアップサンプラー１０により取得されたｕに対して作動する必要がない。寧ろ代替案によれば、スパーシティ強調部２０は第１信号に対して直接的に作動するよう構成され得る。例えば図１に示す反復的構成において、スパース近似部２０は、少なくとも最初の反復に関する限り、初期信号ｓをその入力として使用することが可能である。このように、図１に示すアップサンプリング処理の反復的構成を使用する場合、スパース近似部２０によって実行されるスパース近似は、例えば最初の反復において第１信号ｓに対して直接実行されてもよく、他方、その後の反復（単数又は複数回）においては、結合の結果、即ち結合済み／更新済みの信号ｘを使用して実行されてもよい。第１信号に対してスパース近似を直接適用する場合、スパーシティ強調部２０は、第１信号を第２解像度へとアップサンプリングするために、例えばアップサンプラー１０とは異なるアップサンプリング処理を使用してもよい。代替的に、スパーシティ強調部は、第１解像度から第２解像度へと遷移させるために、辞書の基底関数の補間済みバージョンを使用するなどして、順変換、即ちＡを修正してもよい。更に、第２信号及び近似済み信号の単純な加算は、単なる一例に過ぎず、変更可能である点にも注意されたい。

同様に、強調の概念に関し、上述した内容とは別に強調処理が必ずしも反復的に作動する必要はない点も留意すべきである。換言すれば、単に１回の反復だけで十分である可能性もある。更に、第２信号及び近似済み信号の単純な加算は単なる一例に過ぎず、変更可能である点にも注意されたい。

上述した実施形態が、一次元的にサンプリングされた信号だけでなく、静止ピクチャ又はビデオのフレームのような画像など二次元的にサンプリングされた信号に対しても適用され得ることは、既に述べたとおりである。ピクチャ／画像に対して適用された場合、初期アップサンプラー１０は、上述したようにＦＩＲフィルタ、ＩＩＲフィルタ又は類似のフィルタとして実現されてもよく、かつこのフィルタは、二次元的に作動するか、又は例えば入来信号を最初に一方向に沿ってフィルタ処理し、次に最初の方向に対して直角の別の方向に処理するように、つまり横列毎に処理してから縦列毎に処理するかその逆順で処理するように、順次的に作動してもよい。同様に、スパース近似部２０により実行されるスパース近似は、二次元的に、又は一次元的スパース近似の連鎖として、つまり、まず横列毎に処理してから次に縦列毎に処理するかその逆順で処理するように、作動してもよい。例えば、スパース近似の上述した閾値処理の構成を想像してもらいたい。その場合、順変換Ａ及び逆変換Ｂは、最初に画像の縦列部分に対して適用され、次に横列毎に適用されるか、又はその逆順で適用される、一次元の変換であってもよい。理論的には、一方向に沿ってスパース近似を実行することと、他の方向に沿ってスパース近似を実行することとの切り替えは、１回の反復内で実行可能である。即ち、高周波部分抽出の前、又は反復から反復への間のいずれでも実行可能である。

代替的に、初期アップサンプリング、スパース近似、細部抽出及び結合は、全て最初に１つの軸に沿って実行され、次に、このプロセスを直交軸について再度実行することもできる。つまり、まず横列毎に実行して次に縦列毎に実行し、又はこの逆の順序で実行するなどできる。このように、Ｍ×Ｎ画像ｓは、最初に横列軸に沿って、即ち各横列についてアップサンプリングされた、サイズ２Ｍ×Ｎを有する強調されたアップサンプリング済み画像ｘへとアップサンプリングされ、次に、そのサイズ２Ｍ×Ｎを有する強調されたアップサンプリング済み画像ｘは、縦列軸に沿って、即ち各縦列について、上述した実施形態のうちのいずれかに従う強調されたアップサンプリング処理が適用されて、その結果、二次元的にアップサンプリングされた２Ｍ×２Ｎの画像がもたらされる。このように、アップサンプリング装置は、一次元的にアップサンプリングされた二次元信号を取得するために、二次元信号の横列又は縦列のうちの一方を第１信号に順次指定し、この第１信号のアップサンプリングを実行することで、二次元信号をアップサンプリングしてもよい。その後、そのアップサンプリング装置は、一次元的にアップサンプリングされた二次元信号の横列及び縦列のうちの他方を第１信号に順次指定し、この第１信号のアップサンプリングを実行してもよい。

すでに上述したように、スパース近似は現在の信号バージョンｘに対して局所的又は全体的に適用されてもよい。つまり、スパース近似の閾値処理構成の場合、順変換及び逆変換が、全体画像をカバーするように画像にわたって変換窓をシフトしながら画像に対して局所的に適用されてもよく、又は全体的に適用されてもよい。

完全性を期す意味から、図６ａ及び図６ｂはハイブリッド・ビデオ符号器１００及びハイブリッド・ビデオ復号器２００をそれぞれ示す。これは、ＤＰＣＭ（差分パルスコードモジュレーション）タイプのハイブリッド・ビデオコーデックなどにおいて、図４の信号強調装置を使用する上述の可能性を説明するためである。図６ａ及び図６ｂはそのようなハイブリッド・ビデオ符号器／復号器の典型的な構造を示す。符号器１００は、減算部１０２と量子化部１０４とエントロピーコーダ１０６とを含み、それらが、信号ｓが入力されるビデオ入力とビデオデータストリームが出力されるビデオ出力との間に、記載の順序で直列に接続されている。減算部１０２のもう一方の反転入力には予測信号

が適用されるが、この予測信号は、例えば空間的及び／又は時間的予測モードを含む、例えば複数の予測モードを使用して取得されたものである。減算部１０２に出力において、残余信号ｅ、即ち予測残余が結果として得られ、この信号に対して量子化部１０４による量子化が施される。図示しないが、量子化部１０４は、量子化の前に残余信号ｅをスペクトル変換することで、スペクトルドメインにおいて量子化を実行してもよい。量子化によってオリジナルの残余信号ｅとは異なる残りの残余信号ｅ’は、次にエントロピーコーダ１０６によってビデオデータストリームへと損失なく符号化される。こうして残余信号ｅ’が復号器において使用可能になるとともに、符号器１００の予測ループ１０８内へと入力される。その予測ループ１０８には、結合部１１０とループ内フィルタ１１４と予測部１１２とがこの記載の順序で互いに直列に接続された直列接続が含まれており、結合部１１０の第１入力が残余信号ｅ’を受信し、結合部１１０の他の入力が予測信号

を受信して、結合部１１０は加算によってＤＰＣＭ復元された信号ｓ’を計算する。ループ内フィルタ１１４は、ＤＰＣＭ復元された信号ｓ’を改善して最終的に復元された信号

をもたらす。この最終信号

は、任意ではあるがピクチャバッファ内に記憶されて後続の予測のための参照として働いてもよく、よって参照信号と称される。予測部１１２は予測を実行する。即ち、この参照信号

に基づいて、かつ上述したようにこの目的のために例えば空間的及び／又は時間的予測を使用して、

を取得する。このように、ループ内フィルタ１１４は予測ソースを改善するものであり、上述した図４の信号強調装置を含んでもよい。

対応するハイブリッド復号器２００は、図６ｂに示すように構成されてもよい。即ち、エントロピーデコーダ２０２がその入力においてビデオデータストリームを受信して残余信号ｅ’を出力し、この残余信号が復号器２００の予測ループ２０８によって受信される。このループは、符号器１００の予測ループ１０８に則して構築されている。予測ループ２０８は、結合部２１０とループ内フィルタ２１４と予測部２１２とを含み、結合部２１０が予測信号

をその第１入力において受信し、残余信号ｅ’をその第２入力において受信して、結合部２１０の出力における信号ｓ’がＤＰＣＭ復元信号を構成する。その信号ｓ’はループ内フィルタ２１４を通過し、このフィルタは図６ａにおけるフィルタ１１４と同様に作動するものであり、従って図４の信号強調装置を含んでもよく、結果として復号器出力信号

をもたらす。上述したように、この最終信号

はまた、任意ではあるがピクチャバッファ内に記憶されてもよく、更に後続の予測のための参照として作用してもよく、よって参照信号と称される。予測部２１２はこの参照信号

に基づいて予測を実行し、予測部１１２の予測、即ち空間的及び／又は時間的予測を使用する予測を再度実行し、それにより例えば予測信号

を取得する。

完全性を期す意味から、図７ａ及び図７ｂは、図１若しくは図５のアップサンプリング装置又は上述した他のアップサンプリングの実施形態のいずれもが空間スケーラビリティをサポートしているビデオコーデックにおいて使用可能であることを示す。図７は、ビデオが入力され、ビデオが強調コーダ３００へと直接的に到達し、かつビデオがダウンサンプラー３０２を介してベースコーダ３０４へと間接的に到達する、ビデオ符号器を示す。ベースコーダ３０４は、例えば図６ａ及び図６ｂに関して上述したようなハイブリッド・ビデオ符号化を使用して、ダウンサンプリングされたビデオをベースデータストリーム３０６へと符号化する。強調コーダ３００はダウンサンプリングされていないオリジナルビデオに対して作用するが、レイヤ間冗長性低減のためには、強調コーダ３００は、ベースレイヤデータストリーム３０６から取得可能なダウンサンプリングされたビデオの復元を使用する。この目的で、アップサンプラー３０８は、復元されたベースレイヤ信号をアップサンプリングして、そのアップサンプリングされた信号を強調コーダ３００に対するレイヤ間予測ソースとして供給する。次に、強調コーダ３００は、レイヤ間予測を使用してより高度な空間解像度を有するビデオの予測的な符号化をより効率的に実行する。アップサンプラー３０８は、図１又は図５などにそれぞれ示して説明したように実現されてもよい。強調コーダ３００は、レイヤ間予測残余を強調レイヤデータストリーム３１０内へと符号化し、ここで、強調レイヤデータストリーム３１０とベースレイヤデータストリーム３０６との両方がスケーラブルデータストリーム３１２を形成する。図７ｂは対応するビデオ復号器を示しており、ベースレイヤデータストリーム３０６と強調レイヤデータストリーム３１０とからなるビデオデータストリーム３１２を受信し、強調デコーダ３１４とベースデコーダ３１６とを含む。ベースデコーダ３１６は、ベースレイヤデータストリーム３０６を使用して低い空間解像度のビデオ３１８を復元し、このビデオ３１８がアップサンプラー３２０によりアップサンプリングされて、強調デコーダ３１４によるレイヤ間予測のための予測ソースを形成する。強調デコーダ３１４は、アップサンプラー３２０により提供された予測ソースと強調レイヤデータストリーム３１０とをそれぞれ用いたレイヤ間予測を使用することで、高い空間解像度のビデオを復元する。アップサンプラー３２０とアップサンプラー３０８とは同じであり、アップサンプラー３２０は、図１若しくは図５、又はアップサンプリング装置の他の実施例の何れかに関して上述したように、実現されてもよい。

これまで装置の文脈で幾つかの態様を示してきたが、これらの態様は対応する方法の説明でもあることは明らかであり、そのブロック又は装置が方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップを説明する文脈で示した態様もまた、対応する装置の対応するブロックもしくは項目又は特徴を表している。方法ステップの幾つか又は全てが、例えばマイクロプロセッサ、プログラム可能なコンピュータ、又は電子回路のようなハードウエア装置によって（又は使用して）実行されてもよい。幾つかの実施形態では、最も重要なステップの何れか１つ又は複数がそれら装置によって実行されてもよい。

所定の構成要件にも依るが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納される電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働可能な）、デジタル記憶媒体、例えばフレキシブルディスク，ＤＶＤ，ブルーレイ，ＣＤ，ＲＯＭ，ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ，フラッシュメモリなどのデジタル記憶媒体を使用して実行することができる。したがって、デジタル記憶媒体はコンピュータ読み取り可能であってもよい。

本発明に従う幾つかの実施形態は、上述した方法の１つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有するデータキャリアを含む。

一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として構成することができ、そのプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動可能である。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されていても良い。

本発明の他の実施形態は、上述した方法の１つを実行するための、機械読み取り可能なキャリアに記憶されたコンピュータプログラムを含む。

換言すれば、本発明の方法のある実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

本発明の他の実施形態は、上述した方法の１つを実行するために記録されたコンピュータプログラムを含む、データキャリア（又はデジタル記憶媒体又はコンピュータ読み取り可能な媒体）である。そのデータキャリア、デジタル記憶媒体、又は記録された媒体は、典型的に有形及び／又は非一時的である。

本発明の他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットを介するデータ通信接続を介して伝送されるよう構成されても良い。

他の実施形態は、上述した方法の１つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。

他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

本発明に従う他の実施形態は、ここで説明した方法の１つを実行するためのコンピュータプログラムを、受信器へ（例えば電子的に又は光学的に）伝送するよう構成された装置又はシステムを含む。受信器は、例えばコンピュータ、携帯機器、メモリーデバイス又はそれらの類似物であってもよい。装置又はシステムは、例えばコンピュータプログラムを受信器へと転送するファイルサーバを含んでもよい。

幾つかの実施形態においては、（例えば書換え可能ゲートアレイのような）プログラム可能な論理デバイスが上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の１つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。

本明細書に記載された装置は、ハードウエア装置を用いるか、コンピュータを用いるか、又はハードウエア装置とコンピュータとの組合せを用いて、実装されてもよい。

本明細書に記載された方法は、ハードウエア装置を用いるか、コンピュータを用いるか、又はハードウエア装置とコンピュータとの組合せを用いて、実行されてもよい。

上述した実施形態は、本発明の原理を単に例示的に示したに過ぎない。本明細書に記載した構成及び詳細について修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではなく、添付した特許請求の範囲によってのみ限定されるべきである。

Claims (25)

1. 第１解像度を有する第１信号（ｓ）をアップサンプリングする装置であって、
   前記第１信号に対してアップサンプリング処理を適用して前記第１解像度より高い第２解像度を有する第２信号を取得するよう構成されたアップサンプラー（１０）と、
   スパース近似を使用して、前記第２解像度を有する近似済み信号（ａ）を生成するよう構成されたスパーシティ強調部（２０）と、
   前記近似済み信号（ａ）から高周波部分（ｈ）を抽出するよう構成された高周波部分抽出部（３０）であって、前記高周波部分抽出部（３０）は、ハイパスフィルタであるか、又は前記近似済み信号の低周波部分を推定（５０、６０）し、かつ前記近似済み信号から前記低周波部分を差し引く（７０）ことによって、前記近似済み信号から前記高周波部分を抽出するよう構成されている、高周波部分抽出部（３０）と、
   前記第２信号（ｕ）と前記抽出された高周波部分（ｈ）とを結合するよう構成された結合部（４０）と、を備える装置。
2. 請求項１に記載の装置であって、
   前記アップサンプラー（１０）は、ＦＩＲフィルタ、ＩＩＲフィルタ又は両者の組合せを使用して前記アップサンプリング処理を実行するよう構成された、装置。
3. 請求項１又は２に記載の装置であって、
   前記スパーシティ強調部（２０）は、前記第２信号に対してスパース近似を適用することによって、前記近似済み信号を生成するよう構成された、装置。
4. 請求項１乃至３のいずれかに記載の装置であって、
   前記スパーシティ強調部（２０）は、順に、順変換を実行して変換係数を取得し、前記変換係数を閾値処理して閾値処理済み変換係数を取得し、かつ前記閾値処理済み変換係数に対して逆変換を実行することによって、前記スパース近似を実行するよう構成された、装置。
5. 請求項１乃至３のいずれかに記載の装置であって、
   前記スパーシティ強調部（２０）は、コスト関数を最適化することによって、前記スパース近似を実行するよう構成された、装置。
6. 請求項１乃至３のいずれかに記載の装置であって、
   前記スパーシティ強調部（２０）は、パラメータ化された関数の係数を順に最適化することにより前記近似済み信号を連続的に構築することによって、前記スパース近似を実行するよう構成された、装置。
7. 請求項１乃至６のいずれかに記載の装置であって、
   前記高周波部分抽出部（３０）は、前記近似済み信号に対してダウンサンプリング（５０）とそれに続くアップサンプリング（６０）とを行うことによって、前記低周波部分を推定するよう構成された、装置。
8. 請求項７に記載の装置であって、
   前記高周波部分抽出部は、ダウンサンプリングされた前記近似済み信号をアップサンプリング（６０）する際に、前記アップサンプラー（１０）のアップサンプリング処理を使用するよう構成された、装置。
9. 請求項１乃至８のいずれかに記載の装置であって、
   前記結合部（４０）は、前記第２信号（ｕ）と前記近似済み信号の高周波部分（ｈ）とを結合する際に、その一方と他方とを相互に加算するよう構成された、装置。
10. 請求項１乃至９のいずれかに記載の装置であって、
    前記スパーシティ強調部（２０）、前記高周波部分抽出部（３０）及び前記結合部（４０）は、前記スパーシティ強調部（２０）が前記結合部の結合によって得られた結合済み信号（ｘ）に対してスパース近似を適用するような反復において、前記生成と前記抽出と前記結合とを反復的に実行するよう構成された、装置。
11. 請求項１乃至１０のいずれかに記載の装置であって、
    前記第１信号、前記第２信号及び前記近似済み信号は二次元信号である、装置。
12. 請求項１乃至１１のいずれかに記載の装置であって、
    一連の一次元の横列毎及び縦列毎のアップサンプリングステップを使用して、二次元信号をアップサンプリングするよう構成された、装置。
13. 入力信号（ｓ）を強調する装置であって、
    スパース近似を使用して、前記入力信号を近似している近似済み信号（ａ）を生成するよう構成されたスパーシティ強調部（２０）と、
    前記近似済み信号（ａ）から高周波部分（ｈ）を抽出するよう構成された高周波部分抽出部（３０）であって、前記高周波部分抽出部（３０）は、ハイパスフィルタであるか、又は前記近似済み信号の低周波部分を推定（５０、６０）し、かつ前記近似済み信号から前記低周波部分を差し引く（７０）ことによって、前記近似済み信号から前記高周波部分を抽出するよう構成されている、高周波部分抽出部（３０）と、
    前記入力信号（ｓ）と前記近似済み信号から抽出された高周波部分（ｈ）とを結合するよう構成された結合部（４０）と、を備える装置。
14. 請求項１３に記載の装置であって、
    前記スパーシティ強調部（２０）は、前記入力信号に対してスパース近似を適用することによって、前記近似済み信号を生成するよう構成された、装置。
15. 請求項１３又は１４に記載の装置であって、
    前記スパーシティ強調部（２０）は、順に、順変換を実行して変換係数を取得し、前記変換係数を閾値処理して閾値処理済み変換係数を取得し、かつ前記閾値処理済み変換係数に対して逆変換を実行することによって、前記スパース近似を実行するよう構成された、装置。
16. 請求項１３乃至１５のいずれかに記載の装置であって、
    前記スパーシティ強調部（２０）は、コスト関数を最適化することによって、前記スパース近似を実行するよう構成された、装置。
17. 請求項１３乃至１６のいずれかに記載の装置であって、
    前記スパーシティ強調部（２０）は、パラメータ化された関数の係数を順に最適化することにより前記近似済み信号を連続的に構築することによって、前記スパース近似を実行するよう構成された、装置。
18. 請求項１３乃至１７のいずれかに記載の装置であって、
    前記高周波部分抽出部（３０）は、前記近似済み信号に対してダウンサンプリング（５０）とそれに続くアップサンプリング（６０）とを行うことによって、前記低周波部分を推定するよう構成された、装置。
19. 請求項１３乃至１８のいずれかに記載の装置であって、
    前記結合部（４０）は、前記入力信号と前記近似済み信号の高周波部分とを結合する際に、その一方と他方とを相互に加算するよう構成された、装置。
20. 請求項１３乃至１９のいずれかに記載の装置であって、
    前記スパーシティ強調部（２０）、前記高周波部分抽出部（３０）及び前記結合部（４０）は、前記スパーシティ強調部（２０）が前記結合部の結合によって得られた結合済み信号（ｘ）に対してスパース近似を適用するような反復において、前記生成と前記抽出と前記結合とを反復的に実行するよう構成された、装置。
21. 請求項１３乃至２０のいずれかに記載の装置であって、
    前記入力信号及び前記近似済み信号は二次元信号である、装置。
22. 請求項１３乃至２１のいずれかに記載の装置であって、
    一連の一次元の横列毎及び縦列毎のアップサンプリングステップを使用して、二次元信号を強調するよう構成された、装置。
23. 第１解像度を有する第１信号（ｓ）をアップサンプリングする方法であって、
    前記第１信号に対してアップサンプリング処理を適用して前記第１解像度より高い第２解像度を有する第２信号（ｕ）を取得するステップと、
    スパース近似を使用して、前記第２解像度を有する近似済み信号（ａ）を生成するステップと、
    ハイパスフィルタを使用するか、又は前記近似済み信号の低周波部分を推定し（５０、６０）、かつ前記近似済み信号から前記低周波部分を差し引くことによって、前記近似済み信号（ａ）から高周波部分（ｈ）を抽出するステップと、
    前記第２信号（ｕ）と前記抽出された高周波部分（ｈ）とを結合するステップと、を備える方法。
24. 入力信号（ｓ）を強調する方法であって、
    スパース近似を使用して、前記入力信号を近似している近似済み信号（ａ）を生成するステップと、
    ハイパスフィルタを使用するか、又は前記近似済み信号の低周波部分を推定し（５０、６０）、かつ前記近似済み信号から前記低周波部分を差し引くことによって、前記近似済み信号（ａ）から高周波部分（ｈ）を抽出するステップと、
    前記入力信号（ｓ）と前記近似済み信号から抽出された高周波部分（ｈ）とを結合するステップと、を備える方法。
25. コンピュータ上で実行されたとき、請求項２３又は２４に記載の方法を実行するためのコンピュータプログラム。

Images