JP4465112B2 - Ｌｃｄパネルにおける画像表示に適したｄｗｔに基づくアップサンプリング・アルゴリズム - Google Patents

Description

【０００１】
（発明の背景）
（１．発明の分野）
本発明は、一般的に、イメージ処理およびコンピュータ・グラフィックに関する。より詳細には、本発明は画像のアップサンプリングすなわち拡大に関する。
【０００２】
（２．関連技術の説明）
撮像技術では、画像のサイズを変更することが望ましいことがある。具体的には、所期の使用法または適用例について画像が小さすぎる場合、その画像を拡大（アップサンプリング）することが望ましいことがある。例えば、デジタルカメラは、Ｍピクセルの行×Ｎピクセルの列に小さいサイズの画像を取り込むことができる。画像を印刷する予定ならば、その画像をＲピクセルの行×Ｓピクセルの列（Ｒ＞Ｍおよび／またはＳ＞Ｎ）に拡大し、画像が印刷域をカバーするようにすることが望ましい場合がある。デジタルカメラによっては、ＬＣＤ（液晶ディスプレイ）などの表示パネルが用意され、その結果、ユーザは既に撮影した写真やこれから撮影しようしている写真の内容（すなわち、カメラの焦点域にあるもの）を即座に吟味することができる。ＬＣＤパネルは、すべての陰極線管（ＣＲＴ）モニタ装置と同様、サポートできる最大の解像度を有するが、ＣＲＴと異なり、その解像度はサポートするビデオ・サブ・システム（すなわち、グラフィックス・カード）によって修正することはできない。例えば、ＣＲＴ装置では、６４０ピクセル×４８０ピクセルの最大解像度は、表示品質にほとんど損失なく低解像度を提供することができることを示している。しかし、ＬＣＤパネルは、みることができるピクセルの数が非常に離散的に固定されているので、解像度を変更しようとすると、通常、非常に不鮮明な画像となる。
【０００３】
画像が拡大またはアップサンプリングを必要とするときは、画像サイズが拡大すると、ＬＣＤパネルにおけるぼやけやブロック化による劣化が深刻になる。例えば、１００×１００ピクセルのサイズの画像を想定する。画像を表示するＬＣＤパネルの表示画面サイズが使用可能な固定ピクセルで２００×２００である場合、使用可能な表示画面の４分の１だけしか利用できないことになる。画像を表示するために表示画面全体を利用することが所望であれば、画像を２：１の比率で拡大する必要がある。
【０００４】
アップサンプリングの単純で従来型の一方法は、単にピクセルを必要なだけ「複製」することである。この場合、２：１のアップサンプリングが所望であるので、各ピクセルは３回反復され、その結果、１つのピクセルを占有していた情報が、今度は２×２ブロックの４ピクセルを占有することになる。この「充填（ｆｉｌｌ）」の手法は、計算やイメージ処理が必要ないので、他のいかなるアップサンプリングの方法よりも速度において明らかに有利である。しかし、この手法は、結果として拡大された画像が必ずぼやけてしまい、鮮明さにおいて劣り、個々のピクセルのスクエアが肉眼で容易にみることができ「濃淡にむらがある」。重要なのは、拡大された結果が、同様により濃淡にむらがあり、鮮明さにおいて劣るエッジの形状を有することである。エッジの形状はあらゆる画像に対する人間の知覚にとって重要である。
【０００５】
拡大した画像の品質を向上させる従来の一方法は、バイリニア補間法（ｂｉ−ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を使用することである。２対１のアップサンプリングが所望であれば、オリジナル画像の各ピクセルは、４ピクセルのブロックに置き換えるべきである。例えば、ここで次のオリジナル画像を想定する。
【数１】

【０００６】
バイリニア補間法は、拡大された画像データ・セットを決定するために２つの異なる方向を平均化する。補間法で拡大された画像は、次のもので構成されることになるであろう。
【数２】

【０００７】
オリジナル画像のサイズがＭ×Ｎであれば、拡大された画像は各データ・セットの合計ピクセル数でＭ・Ｎ・４のサイズとなる。この方法や他の平均化の方法は、充填よりも優れた結果をもたらすことがあるが、依然として細部はぼやけており、画像の輪郭が滑らかにならない粗いエッジである。
【０００８】
一般的なアップサンプリング技法は不適切で、画像品質が不十分になる。したがって、画像品質をよりよく保存するアップサンプリング技法が必要となる。さらに、複雑さの点において計算が低コストで済むことはデジタルカメラなどの装置では重要なことなので、アップサンプリング技法は、そのような応用例に利用できるように計算効率もよくあるべきである。
【０００９】
（発明の概要）
開示されている方法は、画像からＤＷＴ（Discrete Wavelet Transform：離散ウェーブレット変換）を実行することなく仮想ＤＷＴサブバンドを構築し、次いで逆ＤＷＴを仮想サブバンドに適用する。この逆ＤＷＴの結果が画像のアップサンプリング・バージョンを表している。あるいは、開示されている装置は、画像データを通信するように構成されたインタフェースとアップサンプリング・ユニットとを備え、そのアップサンプリング・ユニットは画像データを受信するためにインタフェースに結合されおり、画像データから仮想サブバンド入力データを構成するように構成されており、さらに、アップサンプリングされた画像を生成する入力データに逆ＤＷＴを実行するように構成されている。別の実施態様では、開示の装置は、実行されると、ＤＷＴを実行せずに画像から仮想ＤＷＴ（離散ウェーブレット変換）サブバンドを構成し、逆ＤＷＴを仮想サブバンドに適用する命令を有するコンピュータ可読媒体を備え、その逆ＤＷＴの結果が画像のアップサンプリング・バージョンを表す。
【００１０】
本発明の方法および装置の目的、特徴、利点は、以下の記述から明らかになろう。
【００１１】
（発明の詳細な説明）
図を参照しながら、本発明の例示的な実施形態を次に記述する。例示的な実施形態は、本発明の特徴を例示するために提示されたもので、本発明の範囲を限定するように構成されるべきではない。この例示的な実施形態は、主としてブロック図または流れ図を参照しながら記述されている。流れ図に関しては、流れ図の各ブロックは、方法のステップおよび、その方法のステップを実行するための装置の部品の両方を表している。その実施形態に応じて、対応する装置の部品は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせで構成することができる。
【００１２】
本発明の一実施形態による画像のアップサンプリングは、その画像に属する「仮想サブバンド」の値を近似した後で、逆ＤＷＴ（離散ウェーブレット変換）を画像に適用することにより達成される。図１は、画像の順方向のＤＷＴ操作の結果得られたサブバンドを示す。ＤＷＴは、信号を分析するために使用できる１つまたは複数の「基礎」関数を利用するウェーブレット論理に基づく「離散的」アルゴリズムであり、正弦曲線を基礎とした関数に基づくＤＣＴ（離散コサイン変換）に類似している。ウェーブレットは元来周期的でしばしばギザギサしているので、ＤＷＴは、画像のエッジの形状を表すことにより適している。ＤＷＴは、連続した完全なウェーブレットの離散的サンプルによって入力信号を近似する。したがって、ＤＷＴは、その離散的サンプル・ポイントを使用して、明確な係数を使用した充填操作のようにもみることができる。フーリエ変換や平均フィルタと異なり、ウェーブレット係数は、特に応用例、つまり入力信号のタイプに適するように選択することができる。画像拡大のための本発明の少なくとも１つの実施形態で選択されたＤＷＴは、９−７双直交スプライン・フィルタＤＷＴとして知られている。ＤＷＴが離散的であるので、ＤＷＴは超大規模集積回路（ＶＬＳＩ）などのデジタル論理を使用して実施することができ、したがって、他のデジタル構成要素と共にチップ上に統合することができる。撮像装置やカメラが既に画像圧縮にＤＷＴを利用している場合、諸経費や費用をほとんど追加することなく、逆ＤＷＴを同じ装置で容易に実施することができる。ＤＷＴは、画像のエッジの形状の優れた近似を行う能力があるので、アップサンプリングの応用例を処理することができる。ＤＷＴは、視覚的に重要な画像形状が拡大された画像内でよりよく再構成できることにおいて、補間法によるタイプの拡大よりも有利である。さらに、下記で示され、記述されるように、単一の出力データを生成するために複数の周期または反復を要するフーリエつまり平均化技法と異なり、ＤＷＴに基づくアップサンプリングのためのアーキテクチャは、高いデータ・スループットに対して効率的に実施することができる。
【００１３】
通常、２次元ＤＷＴとして知られているものの本質は、入力信号を４つの周波数（周波数とは、フィルタの高域（Ｈ）または低域（Ｌ）の性質のことである）サブバンドに分解することである。この２次元ＤＷＴは、４つのサブバンドＬＬ、ＬＨ、ＨＬ、ＨＨを作成するが、その４つのデータ値は入力データの各４分の１に充てられる。ＤＷＴは、マルチ解像度技法であり、ＤＷＴを１回反復した結果のデータは、もう１度ＤＷＴの反復を受けることができる。解像度の各「レベル」は、直前レベルのＤＷＴによって生成された「ＬＬ」サブバンドにＤＷＴを適用することによって得られる。これが可能なのは、ＬＬサブバンドが、ほとんどすべての重要な画像形状を含み、直前のレベルＬＬサブバンド（または１つのレベルＤＷＴのオリジナル・フル画像）の４分の１大のバージョンと想定することができるからである。ＤＷＴのこの機能により、各サブバンドをさらに小さく、より小さなサブバンドを所望の通りに分割することができる。
【００１４】
各ＤＷＴ解像度レベルｋは、４つのサブバンド、ＬＬ_k、ＨＬ_k、ＬＨ_k、ＨＨ_kを有する。ＤＷＴ解像度の第１レベルは、オリジナル画像全体でＤＷＴを実行することによって得られ、次のＤＷＴ解像度は、直前のレベルｋ−１によって生成されたＬＬサブバンドでＤＷＴを実行することによって得られる。このＬＬ_kサブバンドは、画像の拡大されたバージョンを実質的に再構築するために十分な画像情報を含む。ＬＨ_kサブバンド、ＨＬ_kサブバンド、ＨＨ_kサブバンドは、ＬＬ_kサブバンドに分散され、表示される情報よりも視覚的に重要でない高周波数のノイズ情報およびエッジ情報を含む。
【００１５】
一般に、レベルＫのサブバンドは次の特性を有する。（Ｋ＝１とすると、ＬＬ₀はオリジナル画像である）
ＬＬ_k−ＬＬ_k-1サブバンドの４分の１大のバージョンを含む。
ＬＨ_k−ＬＬ_k-1サブバンド画像からのノイズ情報および水平方向のエッジの情報を含む。
ＨＬ_k−ＬＬ_k-1サブバンド画像からのノイズ情報および垂直方向のエッジの情報を含む。
ＨＨ_k−ＬＬ_k-1サブバンド画像からのノイズ情報および対角線方向のエッジの情報を含む。
【００１６】
ほとんどの情報をＬＬ_kサブバンドに保存することを可能にするＤＷＴのこの特性は画像をアップサンプリングする際に利用することができる。ＤＷＴはマルチ解像度の階層的分解のための単一変形技法であるが、これは逆ＤＷＴを実行することによってＤＷＴによって分解された入力信号をほとんど損失なく回復させるものである。前記「順方向」ＤＷＴを表す係数は、逆ＤＷＴの係数と対称的な関係を有する。本発明の実施形態では、アップサンプリングされるべきオリジナル入力画像を仮想ＬＬサブバンドと想定し、他のサブバンドのための値を近似し、次いで逆ＤＷＴを適用することによってアップサンプリングが実行される。これは、どのレベルにせよ生成された４つのサブバンドに適用される場合は、逆ＤＷＴは、それが分解された元より高いレベルのＬＬサブバンドの回復をもたらすか、レベル１サブバンドの場合は、オリジナル画像の回復をもたらすという前提に基づいている。アップサンプリングを達成するために逆ＤＷＴを遂行するこの係数およびアーキテクチャの本質は、下記で議論される。
【００１７】
図２は、本発明の一実施形態によるＤＷＴに基づいたアップサンプリングの流れ図である。
【００１８】
ＤＷＴに基づいたアップサンプリングにおいて、第１ステップは、入力画像をＬＬサブバンドと想定する（ステップ２００）。画像がＭ行×Ｎ列のピクセルを有する場合、そのＭ・Ｎ値は、仮想ＬＬサブバンドＬＬ_vと想定される。次いで、それぞれＭ・Ｎ値を有する大きさに設定する必要のある各仮想サブバンドＬＨ_v、ＨＬ_v、ＨＨ_vが近似され、または構成されなければならない（ステップ２１０）。このサブバンドのデータ値を構成するための一方法は、水平方向のエッジ、垂直方向のエッジ、対角線方向のエッジのための入力画像を分析／検出し（どの方向のエッジが各サブバンドＨＬ、ＬＨ、ＨＨに適するかは、上記を参照されたい）、かつエッジが生ずる場合に非ゼロ値を与えて他のすべての値をゼロに近似することである。本発明の一実施形態では、分析や検出を実行する代わりに、仮想サブバンドＬＨ_v、ＨＬ_v、ＨＨ_vのすべての値がゼロに近似される。９−７双直交スプラインＤＷＴを想定すると、オリジナル画像やより高いレベルのＬＬサブバンドが逆ＤＷＴによって回復されるときに他のすべてのサブバンドのデータ値をゼロと近似することによって、順方向のＤＷＴ操作を実行する直前のオリジナルの状態に（人間の視覚で）ほぼ等しい、回復された画像またはより高いレベルのサブバンドをもたらす。したがって、すべてのサブバンド、ＬＬ_v、ＬＨ_v、ＨＬ_v、ＨＨ_vが構成されると、拡大した画像を生成するために逆２次元ＤＷＴを実行することができる（ステップ２２０）。充填、平均化、または補間法に基づくアップサンプリング技法によって可能になる画像よりも、その拡大された画像は、より優れた視覚的な明瞭性を提示する。その結果、このアップサンプリングは、Ｍ・２行×Ｎ・２列のピクセルの結果値を有し、これらは共にアップサンプリングされた画像を構成する。
【００１９】
図３は、本発明の一実施形態によるＤＷＴに基づくアップサンプリングを示す。
【００２０】
データ・セット内のピクセルがＭ行×Ｎ列のオリジナル画像Ｉは、図２に概略した手順に従って、２倍にアップサンプリングすることができる。この画像は、Ｍ・ＮピクセルＩ_i.jで構成されている。ここで、ｉは１からＭまでのピクセルの行番号を表し、ｊは１からＮまでのピクセルの列番号を表している。したがって、オリジナル画像は、その第１の行にピクセルＩ_1.1、Ｉ_1.2等を有し、第２の行にピクセルＩ_2.1、Ｉ_2.2等を有し、以下同様である。本発明の一実施形態による全体の画像データ・セットＩは、仮想サブバンドＬＬ_vを含む。構成される必要のある他の仮想サブバンドのためのデータが使用不可能なので（実ＤＷＴ操作が実行されないので）、このデータは、近似されるか、構成されなければならない。本発明の一実施形態に従って、他の仮想サブバンドのデータ値は、すべてゼロに近似される。４つすべてのサブバンドに対して組み合わされたデータ・セットは、２次元逆ＤＷＴ操作を受けることができるＭ・２行およびＮ・２列のピクセル値を有する。アップサンプリングされた画像Ｕは、オリジナル画像Ｉと比較したときに画像の品質および明瞭性の認識に関して実質的に等しいＭ・２行およびＮ・２列のピクセルを有する。アップサンプリングされた画像Ｕは、仮想サブバンドに適用されている２次元逆ＤＷＴに由来するピクセル値Ｕ_r.sを有するように示されている。ここで、ｒは１からＭ・２までの範囲のピクセルの行番号を示し、ｓは１からＮ・２までの範囲のピクセルの列番号を示す。すべてのＵ_r.sのような値のデータ・セットは、入力画像Ｉの２対１に拡大されたバージョンを表す。
【００２１】
図４（ａ）は、ＤＷＴ操作を計算するための基本的な処理セルを示す。基本的な処理セルＤ_k４００を示す図４（ａ）は、１次元の逆ＤＷＴを計算する図４（ｂ）のアーキテクチャの理解を助けるように記述されている。図４（ａ）を参照する。フィルタ係数をｃ（高域または低域のどちらか）とすると、中間出力Ｌ_kは次の式によって決定される。すなわち、Ｌ_k＝（ｐ_k＋ｑ_k）・ｃである。Ｌ_kの式において、ｑ_kの項は逆ＤＷＴの対象である入力仮想サブバンドのデータを表し、一方、ｐ_k-1の項は直前のクロックサイクルからの結合された処理セルから伝えられた入力データを、ｐ_kは現行のクロックサイクルからの入力データをそれぞれに指す。入力ｐ_kは出力ｐ_k-1に、セルＤ_kから配列の直前のセルＤ_k-1に渡される。したがって、ｐ_kおよびｐ_k-1の項は、以後「伝えられた入力」と称することにする。図４（ａ）の基本的な処理セル４００は、図４（ｂ）に示されるような逆ＤＷＴを計算するアーキテクチャを実行するように、反復的に構築し、選択的に結合することができる。この処理セルは、加算器と乗算器および逆ＤＷＴフィルタ係数を保持するレジスタを結合することによってハードウェア内に組み込むことができる。
【００２２】
図４（ｂ）は、１次元逆ＤＷＴためのアーキテクチャである。
【００２３】
順方向のＤＷＴは、元来、１次元または２次元である。１次元順方向ＤＷＴ（行単位または列単位で実行されるＤＷＴ）は、結果的に２つのサブバンド、すなわちＬＦＳ（低周波サブバンド）またはＨＦＳ（高周波サブバンド）になる。１次元順方向ＤＷＴが行方向である場合、画像に適用されるとき、Ｍ行×Ｎ／２列の大きさにされた２つの縦方向のサブバンドが作成される。行単位の順方向ＤＷＴによるＬＦＳサブバンドは、オリジナル画像の細長いバージョンである。１次元順方向ＤＷＴが列方向である場合、画像に適用されるときＭ行×Ｎ／２列に設定された２つの縦方向のサブバンドが作成される。列単位の順方向ＤＷＴによるＬＦＳサブバンドはオリジナル画像の幅広いバージョンである。この２つの１次元順方向ＤＷＴ処理が結合されると、２次元順方向ＤＷＴに統合される。同様に、逆ＤＷＴを実行すると、行方向の逆ＤＷＴおよび列方向の逆ＤＷＴは２次元逆ＤＷＴを作成するために結合することができるが、これは、画像を比例して（軸のない歪み）拡大する際に望ましい。したがって、図５に示すように、行方向の逆ＤＷＴによる結果を、結果データの行方向への他の１次元逆ＤＷＴ操作が実際には列方向になるように、転置することができる。行方向の１次元逆ＤＷＴと列方向の１次元逆ＤＷＴを組み合わせると、仮想ＬＬサブバンド（オリジナル画像）の２対１の拡大バージョンを生じる。したがって、図４（ｂ）に示すように、２次元逆ＤＷＴは、１次元逆ＤＷＴモジュールを反復または再利用することによって構築することができる。
【００２４】
アップサンプリングされた画像データＵ_r,sを得るために、１次元逆ＤＷＴモジュールを実質的に構築されたサブバンド・データに適用することによって、本発明の一実施形態による中間データ・セットＵ’_iがまず生成される。この中間データ・セットＵ’_iは、次の式によって表される。
【数３】

ここで、ａ_nは構築された（仮想）ＬＦＳデータであり、ｃ_nは構築された（仮想）ＨＦＳデータである。ＬＦＳデータは、仮想サブバンドＬＬ_vおよびＬＨ_v内にデータを連結することによって構成することができ、ＨＦＳデータは、仮想サブバンドＨＬ_vおよびＨＨ_v内にデータを連結することによって構成することができる。逆および順方向の９−７双直交スプラインＤＷＴは、図４（ａ）に示すような効率的でシストリックな（すなわち並列で反復的な）処理セルを利用できるようにする特定の対称的な特性を有する。逆ＤＷＴは、一組の逆高域フィルタ係数ｇ（／）_kおよび一組の逆低域フィルタ係数ｈ（／）_kを有する。（本明細書において（／）はそのすぐ前の記号に付くものである。）この係数の関係は、１９９６年１２月１７日出願、出願番号０８／７６７，９７６の「ウェーブレット変換を使用した信号の分解および再構築のための統合されたシストリック・アーキテクチャ」と題する関連特許出願で議論されている。Ｕ’_iの表現は、次の２つの加算の合計に分離することができる。
【数４】

【００２５】
そのフィルタ係数を使用したＵ’_i ⁽¹⁾およびＵ’_i ⁽²⁾、すなわちｊ＝０、１、．．．，ｎ／２−１とすると、Ｕ’_2j ⁽¹⁾およびＵ’_2j ⁽²⁾となる偶数項は、次のように拡大される。
【数５】

【００２６】
順方向の９−７双直交スプラインＤＷＴフィルタ係数に類似した逆の９−７双直交スプラインＤＷＴフィルタ係数は、結合グループ化を可能にする特定の対称的な特性を有する。逆の高域係数の１つの特性は、ｈｋを順方向のＤＷＴ係数とした場合のｇ（／）_n＝（−１）ⁿｈ_1-nである。さらに、順方向の係数がｈ_n＝ｈ_-nの特性を有するので、逆高域係数も、ｇ（／）_n＝（−１）ⁿｈ_n-1のような特性を有する。したがって、ｎ＝０の場合、ｇ（／）０＝ｈ_-1である。ｎ＝２の場合は、ｇ（／）２＝ｈ₁およびｈ_-1＝ｇ（／）０なので、ｇ（／）２＝ｇ（／）０である。同様に、ｎ＝４の場合は、ｇ（／）４＝ｈ３＝ｇ（／）−２である。逆低域係数は、ｈ（／）２＝ｈ（／）−２などのｈ（／）ｎ＝ｈ（／）−ｎの特性を有する。したがって、偶数出力Ｕ’_2jは、４つの係数ｈ（／）₀、ｈ（／）₂、ｇ（／）₂、ｇ（／）₄のみを使用して計算することができる。同様に、奇数出力Ｕ’_2j-1の場合は、５つの係数ｈ（／）₃、ｈ（／）₁、ｇ（／）₅、ｇ（／）₃、ｇ（／）₁のみを使用することができる前記で議論した同じフィルタ特性によって示すことができる。
【００２７】
前記で記述された関係は、逆ＤＷＴが計算される方法を示している。図４（ｂ）の逆ＤＷＴを計算するためのアーキテクチャは、２つの入力シーケンスａｉおよびｃｉで構成されているが、これらはそれぞれ高周波サブバンド入力と低周波サブバンド入力とを表している。逆アーキテクチャは、２つの入力を受信し、１つの出力を生成する。このアーキテクチャは、奇数出力、すなわちＵ'₁、Ｕ'₃、Ｕ'₅．．．が５つの処理セルを、すなわち１つのセルに各係数が対応するように必要とするが、偶数出力、すなわちＵ'₀、Ｕ'₂、Ｕ'₄は４つの処理セルのみを必要とする。奇数出力は奇数のクロックサイクルで生成してよく、偶数出力は偶数のクロックサイクルで、それぞれ交互に生成してよい。
【００２８】
したがって、逆ＤＷＴアーキテクチャは、２つの別個のブロック、すなわち偶数出力生成ブロック４０２および奇数出力生成ブロック４５２で構成されなければならない。偶数出力生成ブロック３００は、さらに２つのサブ回路、すなわち偶数高周波サブバンドのサブ回路（ＨＦＳ）４１０と偶数低周波サブバンドのサブ回路（ＬＦＳ）４２０で構成される。偶数ＨＦＳサブ回路４１０は、それぞれが乗算器および加算器で構成される２つの処理セル４１５および４１７で構成されている。処理セル４１５、４１７、４２５、４２７は、図４（ａ）に示す基本的な処理セル４００に類似しており、２つの入力を受け入れ、それらを合計し、次いでその合計に係数を掛ける。例えば、処理セル４１５は、ａ_iが処理セル４１７から伝えられた入力にまず加算され、その合計にｈ（／）₂を掛けるような項を出力する。同様に、低周波サブバンド回路４２０については、処理セル４２５が項を加算器／制御装置４３０に出力するが、それはｇ（／）４と入力ｃ_iと処理セル４２７から伝えられた入力との積である。その値が直前のクロックにあり、それを次のクロック・サイクルに伝送する場合は、遅延ユニット４１２がその値を保持してから、処理セル４１７は、ある入力を０として、別の入力をａ_i-1として受信する。
【００２９】
偶数出力生成ブロックは次のように動作する。ｉ＝０の場合、ａ₀は遅延４１２に伝えられ、ｃ₀は遅延４２２に伝えられる。ａ₀およびｃ₀は、それぞれセル４１５および４２５への入力でもあるが、加算器／制御装置４３０は、第３のクロック・サイクルがｘ₀を出力して始めて伝えられた非ゼロ入力を有する。ｉ＝０の場合、遅延４１２、４２４、４２２によって解放された初期値がゼロに設定されてから、セル４１７および４２７は出力０を有する。ｉ＝１の場合、遅延４１２はａ₀をセル４１７のｐｉ入力に解放し、ａ₁は遅延４１２に保持され、セル４１５に入力される。その結果、セル４１５は項ｈ（／）₂ａ₁を生成し、セル４１７は項ｈ（／）₀ａ₀を生成する。この出力は、加算器／制御装置４３０に送信されるが、次のクロックがｉ＝２になるまで保持（ラッチ）される。ｉ＝１の場合、セル４２５および４２７は、項ｃ_1g(/)4およびｃ_0g(/)2をそれぞれ生成するが、これらの項は、前記で定義された関係に従い、第１の出力Ｕ'₀がｃ₂入力データを利用するので、加算器／制御装置４３０によって無視（消去）される。
【００３０】
ｉ＝２の場合、第３のクロック・サイクルである遅延４２４は、ｃ₀をセル４２７のｐ_i（伝えられた）入力に解放し、遅延４２２は、ｃ₁をセル４２７の入力ｑｉに解放する（ｑ_iおよびｐ_iの記述については、図４（ａ）および関連テキストを参照）。したがって、セル４２７は項（ｃ₁＋ｃ₀）ｇ（／）₂を生成する。セル４２５はｃ₂ｇ（／）₄を生成する。前記の通り、セル４１５および４１７の直前のクロックからの出力は、加算器／制御装置４３０に保持され、次に、ｉ＝２でセル４２５および４２７で生成された項を使用して合計される。さらに、ｉ−２の場合、セル４１５および４１７が項（ａ₀＋ａ₂）ｈ（／）₂およびａ₁ｈ（／）₀をそれぞれに生成するが、これらの項は１つのクロック・サイクルに保持される。代わりに、ｃ_2g(/)4および（ｃ₀＋ｃ₁）・ｇ（／）₂であるセル４２５および４２７のｉ＝２の出力は、ｈ（／）_0a0およびｈ（／）_2a1であるセル４１５および４１７のｉ＝１の出力と合計される。したがって、加算器／制御装置４３０は、次の第１出力を生成する。
【数６】

【００３１】
したがって、各クロック・サイクルｉについて、ｉ＝２（第３クロック・サイクル）の後、加算器／制御装置４３０は、サブ回路４２０の現況出力を受信し、それらをサブ回路４１０の直前クロックの出力に加算する。さらに、加算器／制御装置４３０は、サブ回路４１０の現況出力を受信し、それを次のクロック・サイクルまで保持する。
【００３２】
図４（ｃ）は、５つの処理セル、４６５、４６７、４７５、４７７、４７９を必要とする奇数出力生成ブロック４５０を示す。処理セル４６５、４６７、４７５、４７７、４７９は、図４（ａ）に示す処理セル４００と同様に動作する。遅延ユニット４６２、４６４、４７２、４７４は、１つのクロック・サイクルに対するその入力を保持し、それらを次のクロック・サイクルに解放する。各セルは加算器および乗算器を有し、そのセルが接続されているセルから伝えられた入力を受信する。
【００３３】
奇数出力生成ブロック４５０は、次のように動作する。ｉ＝０の場合、セル４７５がｃ₀を受信している間に、ａ₀はセル４６５に伝えられ、遅延４６２のクロック・サイクルに保持される。ｉ−１の場合、遅延４７２がｃ₀を４７７に解放している間に、遅延４６２はａ₀をセル４６７に解放する。さらに、ｉ＝１の場合、ａ₁およびｃ₁は、それぞれセル４６５および４７５への入力である。ｉ＝２の場合、セル４６５はａ₂を受信し、セル４６７はｑ_iとしてａ₁を、ｐ_i入力としてａ₀を受信する。したがって、セル４６５は項ａ₂ｈ（／）₃を生成し、セル４６７は（ａ₁＋ａ₀）ｈ（／）₁を生成する。これらの出力は加算器／制御装置４８０に送信されるが、１つのクロック・サイクルのために保持された後、セル４７５、４７７、４７９の出力と合計される。ｉ＝２の場合、セル４７５、４７７、４７９の出力は加算器／制御装置４８０によって無視される。
【００３４】
ｉ＝３の場合、ｃ₃はセル４７５への入力であり、セル４７７は遅延４７２からｃ₂を受信し、セル４７９は伝えられた入力としてｃ_iを受信し、セル４７７はその伝えられた入力としてｃ₀を受信する。したがって、セル４７５は項ｃ₃ｇ（／）₅を生成し、セル４７７は項（ｃ₀＋ｃ₂）・ｇ₃を生成し、セル４７９はｃ₁ｇ₁を生成する。これらの出力は加算器／制御装置４８０によって受信され、そこでセル４７５、４７７、４７９のｉ＝３出力を、直前のクロック・サイクルからラッチされたセル４６５および４６７のｉ＝２出力と加算する。したがって、加算器／制御装置４８０は、第２出力（第１奇数出力）ｘ₁＝ｈ（／）₁ａ_o＋ｈ（／）₁ａ₁＋ｈ（／）₃ａ₂＋ｇ（／）₃ｃ₀＋ｇ（／）₃ｃ₂＋ｇ（／）₅ｃ₃＋ｇ（／）₁ｃ₁を生成する。
【００３５】
したがって、各クロック・サイクルｉについては、ｉ＝３の後、（第４クロック・サイクル）、加算器／制御装置４８０は、セル４７５、４７７、４７９の現況出力を受信し、それらをセル４６５および４６７の直前のクロック・サイクルの出力に加算する。さらに、加算器／制御装置４８０は、セル４６５および４６７の現況クロックの出力を受信し、それらを次のクロック・サイクルまで保持する。このようにして得られた一組の結果データＵ'_iを使用して、それらの値は１次元ＤＷＴをもう１度反復するための入力として転置され、戻される。ＬＦＳおよびＨＦＳからの入力データが図４（ｂ）のアーキテクチャに行方向の方法で戻されるので、中間出力Ｕ'₀は、拡大された画像空間の行１および列１に位置付けられたデータ結果に対応し、Ｕ'₁は、行１および列２に位置付けられたデータ結果に対応する。拡大された画像空間第１行の最終エントリは、Ｕ'_{N ・ 2}が、拡大された画像空間のＭ・２行、Ｎ・２列の第１列第２行に位置付けられると、Ｕ'_{N ・ 2-1}となる。
【００３６】
ｉが０からＭ・２・ｎ・２−１の範囲であるとき、一旦すべての中間データＵ'_iが生成されると、それらの値は、行方向のデータが今度は列方向のデータになるように、マトリックス転置回路によって転置することができるが、これは当業者なら容易に実施できるものである。この転置されたデータ・セットＴＵ'_iは、１次元逆ＤＷＴをもう１度反復するための入力データとみなされ、図４（ｂ）と同一または類似のアーキテクチャを有するモジュールに戻される。１次元ＤＷＴをデータ・セットＴＵ'_iに適用した結果はＵ_i（または行−列表示ではＵ_{r 、 s}）、すなわち拡大した画像データである。この処理は、図５に要約されている。
【００３７】
図５は、本発明の一実施形態の流れ図である。
【００３８】
ＤＷＴ（離散ウェーブレット変換）に基づいた画像のアップサンプリングのための方法論は、逆ＤＷＴをステップごとに適用することを必要とする。一旦４つの仮想サブバンドが構築されると、１次元逆ＤＷＴ（ブロック５０５）のために、２次元逆ＤＷＴを実施する際の第１ステップは、ＬＬ_vサブバンドおよびＨＬ_vサブバンドをＬＦＳデータとみ、ＬＨ_vサブバンドおよびＨＨ_vサブバンドをＨＦＳデータとみる。１次元の逆ＤＷＴがＬＦＳデータおよびＨＦＳデータの行方向に適用される（ブロック５１０）。この逆ＤＷＴの最初の反復によって生じたＭ・Ｎ・４出力（図４（ｂ）ないし４（ｃ）のＵ'_iとラベルされた例）は、メモリまたは他の記憶手段でもよいイメージ・アレイに格納することができる。次に、行方向のＤＷＴの出力が転置され、その結果、中間出力データＵ'_iで列は行に、行は列になる（ブロック５２０）。この転置は、中間出力結果Ｕ'_iを格納するのと同時に実行することができる。次に、この転置されたデータは、ブロック５１０の１次元逆ＤＷＴを受けるが、データが転置されているので列方向に動作する。転置されたデータの行方向のＤＷＴは、基本的に列方向である。ブロック５３０の結果生じるデータ・セットＵ_iは、オリジナル画像の２：１の拡大バージョンのピクセル値である。このデータ・セットＵ_iは、拡大画像として格納され、または表示されることができる（ブロック５４０）。場合によっては、逆ＤＷＴ操作で発生する可能性のあるより大きなデータ値を変換するために正規化が必要になることがある。データ結果Ｕ_iの正規化は、次の公式によって達成することができる。（Ｕ_i−ｍｉｎ）／（ｍａｘ−ｍｉｎ）・Ｋ、ここで、ｍｉｎは最小結果値であり、ｍａｘは最大結果値、Ｋは所望の最大正規化値である。例えば、８ビット値が所望であれば、Ｋを２５５に設定してよい。
【００３９】
図６は、本発明の一実施形態によるイメージ処理装置のブロック図である。
【００４０】
図６は、ＤＷＴに基づくアップサンプリング・ユニットを含めた本発明の少なくとも一実施形態に組み込む撮像デバイスの内部画像処理構成要素のブロック図である。図６の例示的回路では、センサ６００が、いくつかのシーン／環境から色／輝度を評価するピクセル構成要素を生成する。センサ６００によって生成されるｎ−ビットのピクセル値は、取込みインタフェース６１０に送信される。本発明に関する状況におけるセンサ６００は、通常、ある領域または場所の１つの「センス」からＲ、Ｇ、Ｂの構成要素のどれか１つを感知する。したがって、各ピクセルの輝度値は３つの（Ｇ１およびＧ２が個別に考慮される場合は４つの）カラー・プレーンの１つだけに関連付けられ、バイエル・パタンの未加工の画像と共に形成することができる。取込みインタフェース６１０は、センサによって生成された画像を分解し、個別のピクセルに輝度値を割り当てる。画像全体に対するすべてのこのようなピクセルのセットは、デジタルカメラ・センサの業界における通常の実施形態にしたがってバイエル・パタンである。
【００４１】
いかなるセンサ・デバイスにおいても、通常、センサ・プレーンにおけるいくつかのピクセル・セルは、シーン／環境における照明条件に適切に応答しないことがある。その結果、それらのセルから生成されたピクセル値は不完全なことがある。このピクセルを「デッド・ピクセル」と呼ぶ。「ピクセル置換」ユニット６１５は、各デッド・ピクセルをその行の直前にある有効ピクセルと置き換える。ＲＡＭ６１６は、センサによって供給されるデッド・ピクセルの行および列のインデックスで構成される。ＲＡＭ６１６によって、取り込んだイメージに関するデッド・ピクセルの位置の識別が容易になる。
【００４２】
１次コンプレッサ６２８は、圧縮されたセンサの画像データを受信し、ＤＷＴに基づく圧縮、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、差動パルス符号変調のような画像圧縮を実行する。ＲＡＭ６２９は、順方向と逆の両方のＤＷＴ係数を格納するために使用できる。１次コンプレッサ６２８は、復号化／格納ユニット６３０へのチャネル出力によって圧縮されたチャネルを提供するように設計することができる。復号化／格納ユニット６３０は、モディファイド・ハフマン符号（ＲＡＭ６３１に格納されているテーブルを使用して）のような種々の２進コード化スキームを遂行するように装備することができ、またストレージ・アレイ６４０に圧縮された画像を直接格納してもよい。
【００４３】
画像アップサンプリング・ユニット６７０は、圧縮され、また表示やその他の目的でセンサから向けられた画像をアップサンプリングするために、バス６６０を介してストレージ・アレイ６４０に連結することができる。画像アップサンプリング・ユニット６７０は、前記のようなＤＷＴに基づくアップサンプリングを含めるように設計することができ、かつ図４（ｂ）ないし図４（ｃ）に示すアーキテクチャや転置回路のようなモジュールを組み込んでもよい。別法として、コンプレッサ・ユニット６２８がＤＷＴに基づく画像圧縮用に設計されている場合、統合された順方向ＤＷＴおよび逆ＤＷＴのアーキテクチャは、コンプレッサ６２８に組み込んでもよく、その結果、アップサンプリング・ユニット６７０はそのアーキテクチャの逆モードを開始し、事実上構築されたサブバンドのデータをストレージ・アレイ６４０からコンプレッサ・ユニット６２８に送信する。撮像ユニットは、バス６６０に結合されたＬＣＤパネルのような搭載された表示装置のサブ・システム６８０を備えてもよい。アップサンプリング・ユニット６７０の一応用例は、アップサンプリングされた画像データを表示装置のサブ・システム６８０に提供することである。アップサンプリング・ユニット６７０は、イメージ処理フローのどの段階からでもデータを受け取ることができ、それは所望ならばたとえ画像圧縮の前にセンサから直接データを受け取ることもできる。アップサンプリングされた画像は、圧縮された非常に画像の鮮明で明瞭なバージョンを表示すると有利である。
【００４４】
各ＲＡＭテーブル６１６、６２９、６３１はバス６６０と直接通信することができ、したがってそのデータはロードすることができ、その後、所望ならば変更することができる。さらに、そのＲＡＭテーブルや他のＲＡＭテーブルは、必要に応じて中間結果データを格納するために使用してもよい。ストレージ・アレイ６４０にあるデータやアップサンプリング・ユニット６７０からのデータが、図６の撮像装置に外部転送する準備ができると、そのデータは転送するためにバス６６０に置かれる。バス６６０は、所望に応じてＲＡＭテーブル６１６、６２９、６３１の更新も容易にする。
【００４５】
図７は、本発明の一実施形態のシステム図である。ＰＣ（パーソナル・コンピュータ）のようないかなる汎用あるいは特殊目的の計算機またはデータ処理マシンであってよく、カメラ７３０に結合されているコンピュータ・システム７１０を図に示す。カメラ７３０は、デジタルカメラ、デジタル・ビデオ・カメラ、または他の画像取り込み装置や撮像システム、あるいはそれらの組み合わせであってよく、シーン７４０のセンサ画像を取り込むために利用される。取り込まれた画像はイメージ処理回路７３２によって処理され、したがって、その画像は画像記憶ユニット７３４に効率的に格納することができるが、このユニットはＲＯＭ、ＲＡＭ、または固定ディスクのような他の記憶装置であってよい。画像は、たとえアップサンプリングされていても、コンピュータ・システム７１０に向かう画像記憶ユニット７３４に含まれるが、従来のアップサンプリング技法による画像の特徴の損失が、ＤＷＴに基づくアップサンプリング処理でエッジの形状をよりよく保存することによって大幅に緩和されるという点で、この画像は品質が改善される。静止画像処理を実行できる大部分のデジタルカメラでは、画像はまず格納され、後でダウンロードされる。これにより、カメラ７３０は、さらに遅れることなく迅速に次の被写体／シーンを取り込むことができる。しかし、デジタル・ビデオ・カメラの場合、特に生のテレビ会議に使用されるものでは、画像は、迅速に取り込まれるだけでなく、迅速に処理され、カメラ７３０から転送されることも重要である。様々な実施形態における本発明は、特に拡大処理においては、優れた高速処理能力をイメージ処理回路７３２の他の部品に提供するのに適切であり、したがって、画像フレーム全体の転送速度は速くなる。画像アップサンプリングは、本発明のこの実施形態のイメージ処理回路７３２内で達成される。画像がアップサンプリングされた後、ＬＣＤパネルのようなカメラ７３０の表示システムに渡されるか、またはコンピュータ・システムの表示装置アダプタ７６に渡されることがある。ＤＷＴに基づくアップサンプリングの手順は、カメラ７３０によって取り込まれるか他の場所で得られたいかなる画像にも適用することができる。逆ＤＷＴおよび順方向のＤＷＴは、本質的にフィルタ操作であるので、当業者は、ＤＷＴに基づくアップサンプリングを実行するためにコンピュータ・システム７１０をプログラムすることができる。これは、Ｐｅｎｔｉｕｍ（登録商標）プロセッサ（インテル社の製品）のようなプロセッサ７１２および必要に応じて命令、アドレス、結果データを格納／ロードするために使用されるＲＡＭのようなメモリ７１１を使用して達成することができる。したがって、別法の実施形態では、アップサンプリングは、ハードウェアで直接達成するのではなく、コンピュータ・システム７１０で実行中のソフトウェア・アプリケーションで達成することができる。カメラ７３０からダウンロード後に拡大された画像ピクセルを生成するために使用されるアプリケーションは、Ｃ＋＋のような言語で書かれたソース・コードからコンパイルされた実行可能なものによることができる。画像を拡大するのに必要な命令に対応するその実行可能なファイルの命令は、フロッピー・ドライブ、ハード・ドライブ、ＣＤ−ＲＯＭのようなディスク７１８、またはメモリ７１１に格納することができる。さらに、本発明の種々の実施形態は、ビデオ・ディスプレイ・アダプタやアップサンプリングや画像ズーミングを提供するグラフィック処理装置で実施することができる。
【００４６】
コンピュータ・システム７１０は、プロセッサ７１２やメモリ７１１およびＩ／Ｏバス７１５に結合するブリッジ７１４との情報のやりとりを容易にするシステム・バス７１３を有する。Ｉ／Ｏバス７１５は、表示装置アダプタ７１６、ディスク７１８、Ｉ／Ｏポート７１７のような種々のＩ／Ｏデバイスを接続する。このＩ／Ｏデバイス、バス、ブリッジのこのような多くの組み合わせは本発明で利用することができるが、示したこの組み合わせは、このような可能な組み合わせの単なる例示にすぎない。
【００４７】
シーン７４０の画像のような画像がカメラ７３０によって取り込まれると、その画像はイメージ処理回路７３２に送信される。イメージ処理回路７３２は、他の機能の中でもとりわけ取り込まれた画像または圧縮された画像の拡大を実行することのできるＩＣおよび他の構成要素を含む。前記のような拡大操作は、カメラ７３０によって取り込まれたシーン７４０のオリジナル画像を格納するために画像メモリ・ユニットを利用することができる。さらに、この同じメモリ・ユニットは、アップサンプリングされた画像データを格納するために使用することができる。ユーザまたはアプリケーションが画像のダウンロードを所望／必要とする場合、画像メモリ・ユニットに格納された拡大された（および／または圧縮された）画像が画像メモリ・ユニット７３４からＩ／Ｏポート７１７に転送される。Ｉ／Ｏポート７１７は、拡大され、圧縮された画像データをメモリ７１１または任意でディスク７１８に一時的に格納するために、示したバス・ブリッジ階層（Ｉ／Ｏバス７１５からブリッジ７１４からシステム・バス７１３）を使用する。
【００４８】
画像は、プロセッサ７１２をその処理に利用することのできる適切なアプリケーション・ソフトウェア（またはハードウェア）によってコンピュータ・システム７１２に表示される。次いで画像データが、表示装置アダプタ７１６を使用してレンダリング／拡大された画像７５０に視覚的にレンダリングすることができる。拡大された画像は、取り込まれた元のシーンの２倍のサイズに示される。これは、オリジナル・センサがシーンのサイズを取り込む場合の多くの画像応用において望ましい。テレビ会議の応用例において、圧縮され、拡大された形式の画像データは、ネットワークまたは通信システムを経由して別のノードまたはコンピュータ・システム７１０に追加してまたはこれを除いたコンピュータ・システムに通信することができ、その結果、テレビ会議を開会することができる。アップサンプリングおよび圧縮は、一実施形態においてはカメラのフレーム内で既に達成されているので、テレビ会議において画像データを直接他のノードに転送できるようにするカメラ７３０の通信ポートを実施することが可能である。コンピュータ・システム７１０のユーザがモニタ７２０上で所有するシーンを見ることも望む場合はいつでも、拡大された画像データは、コンピュータ・システム７１０に送信することも、またネットワークを経由して他のノードに転送することもできる。前記のように、拡大された画像は、ＤＷＴ係数を厳密かつ注意深く選択することによる拡大処理強化の結果、拡大操作の典型例より視覚的に正確なエッジの形状を有する。最終結果は、一様で典型的なアップサンプリング方法と比較すると、モニタ７２０またはテレビ会議の他のノードに表示された、より高品質のレンダリングされ、アップサンプリングされた画像７５０である。
【００４９】
本明細書に記載されている例示的な実施形態は、単に本発明の原理を例示するために提示されているものであって、本発明の範囲を限定するように構成されるべきものではない。むしろ、本発明の原理は、本明細書に記載された利点を達成し、同様に他の利点を達成し、または他の目的を満足するために、システムの広範な範囲に適用することができる。
【図面の簡単な説明】
【図１】 画像に対する順方向のＤＷＴ操作の結果得られたサブバンドを示す。
【図２】 本発明の一実施形態によるＤＷＴに基づくアップサンプリングの流れ図である。
【図３】 本発明の一実施形態によるＤＷＴに基づくアップサンプリングを示す。
【図４ａ】 ＤＷＴ操作を計算するための基本的な処理セルを示す。
【図４ｂ】 １次元逆ＤＷＴのアーキテクチャを示す。
【図４ｃ】 ５つの処理セルを必要とする奇数出力生成ブロックを示す。
【図５】 本発明の一実施形態の流れ図である。
【図６】 本発明の実施形態によるイメージ処理装置のブロック図である。
【図７】 本発明の一実施形態のシステム図である。

Claims (16)

1. 仮想離散ウェーブレット変換（ＤＷＴ）サブバンドを、ＤＷＴを実行することなく、近似によって画像から構築するステップであって、仮想ＬＬサブバンドが、縮小なく、元画像のピクセルの幅方向および高さ方向の規模に近似されるステップと、
   前記仮想サブバンドに逆ＤＷＴを適用するステップであって、前記逆ＤＷＴの結果が、前記画像のアップサンプリングされたバージョンを表わし、前記画像の前記アップサンプリングされたバージョンが、拡大された、前記元画像のピクセルの幅方向および高さ方向の規模を持つステップと、を含んでなる方法であって、
   前記仮想ＤＷＴサブバンドが、前記ＬＬサブバンド、ＨＬサブバンド、ＬＨサブバンド、ＨＨサブバンドを含み、前記ＨＬサブバンド、前記ＬＨサブバンド、前記ＨＨサブバンドが、ゼロ・ピクセル値によって近似される、前記方法。
2. 画像データを伝達するためのインタフェースと、
   アップサンプリング・ユニットであって、
   前記アップサンプリング・ユニットが、前記インタフェースに結合されて、前記画像データを受け取り、
   前記アップサンプリング・ユニットが、近似によって、前記画像データから仮想サブバンド入力データを構築し、ＬＬサブバンドが、縮小なく、元画像のピクセルの幅方向および高さ方向の規模に近似され、
   前記アップサンプリング・ユニットが、前記入力データに対して逆離散ウェーブレット変換（ＤＷＴ）を実行して、前記入力データからアップサンプリングされた画像を生成し、前記アップサンプリングされた画像が、拡大された、前記元画像のピクセルの幅方向および高さ方向の規模を持ち、仮想サブバンドが、前記ＬＬサブバンド、ＨＬサブバンド、ＬＨサブバンド、ＨＨサブバンドを含み、前記ＨＬサブバンド、前記ＬＨサブバンド、前記ＨＨサブバンドが、ゼロ・ピクセル値によって近似される、アップサンプリング・ユニットと、
   演算処理セルに結合されて、前記中間出力を受け取って、選択的に加算する加算器と、を備えてなる装置。
3. 画像データを伝達するためのインタフェースと、
   アップサンプリング・ユニットであって、
   前記アップサンプリング・ユニットが、前記インタフェースに結合されて、前記画像データを受け取り、
   前記アップサンプリング・ユニットが、近似によって、前記画像データから仮想サブバンド入力データを構築し、ＬＬサブバンドが、縮小なく、元画像のピクセル規模に近似され、
   前記アップサンプリング・ユニットが、前記入力データに対して逆離散ウェーブレット変換（ＤＷＴ）を実行して、前記入力データからアップサンプリングされた画像を生成するように構成され、仮想サブバンドが、前記ＬＬサブバンド、ＨＬサブバンド、ＬＨサブバンド、ＨＨサブバンドを含み、前記ＨＬサブバンド、前記ＬＨサブバンド、前記ＨＨサブバンドが、ゼロ・ピクセル値によって近似される、アップサンプリング・ユニットと、
   演算処理セルに結合されて、中間出力を受け取って、選択的に加算する加算器と、を備えてなる装置であって、前記アップサンプリング・ユニットが、
   第一のアップサンプリングされたデータ出力生成と、
   第二のアップサンプリングされたデータ出力生成と、を備えてなり、前記第一および第二の出力生成器が、それぞれの出力を交互に供給し、前記第一の生成および第二の生成の各々は、
   各演算処理セルが、前記入力データから中間逆ＤＷＴ出力を生成することができる、複数の演算処理セルと、
   前記演算処理セルに結合されて、前記中間出力を受け取って、選択的に加算する加算器と、を備えてなり、前記各出力生成が、
   前記演算処理セルに選択的に結合される遅延素子であって、前記演算処理セルへの出力を選択的に遅延させる前記遅延素子を備えてなる装置。
4. 前記ＬＬサブバンドが、前記画像と同じ規模を有する請求項１に記載の方法。
5. 実行された前記逆ＤＷＴが、２次元逆ＤＷＴである請求項１に記載の装置。
6. 前記２次元逆ＤＷＴの実行が、
   前記仮想サブバンドに行方向に１次元逆ＤＷＴを適用することと、
   列が行に、また行が列になるように、前記第１ＤＷＴの結果生じる前記データを転置することと、
   前記転置されたデータに前記１次元逆ＤＷＴを再度適用することであって、前記転置されたデータに前記１次元逆ＤＷＴを適用した結果が拡大された画像データであることとを含む請求項５に記載の方法。
7. 前記画像がアップサンプリングされたバージョンで２倍のサイズである請求項１に記載の方法。
8. 前記ＬＬサブバンドが、前記画像と同じピクセル規模を有する請求項２に記載の装置。
9. 前記画像がアップサンプリングされたバージョンで２倍のサイズである請求項２に記載の方法。
10. 実行された前記逆ＤＷＴが、２次元逆ＤＷＴである請求項２に記載の装置。
11. 各前記処理セルが、逆ＤＷＴ係数に前記入力データの選択されたデータの合計を掛けるように構成されている請求項３に記載の装置。
12. 撮像システムに結合するように構成されている請求項３に記載の装置。
13. 前記撮像システムがデジタルカメラである請求項１２に記載の装置。
14. 前記ＬＬサブバンドが、前記画像と同じピクセル規模を有する請求項３に記載の装置。
15. 前記画像がアップサンプリングされたバージョンで２倍のサイズである請求項３に記載の装置。
16. 実行された前記逆ＤＷＴが、２次元逆ＤＷＴである請求項３に記載の装置。

Images