JP5559222B2

JP5559222B2 - 異方性フィルタリングを用いたシングルパス画像ワーピングシステム及び方法

Info

Publication number: JP5559222B2
Application number: JP2012045979A
Authority: JP
Inventors: ラシーン、ヴラディミル; スミス、グレゴリー、エル．; リー、ルーイ
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2012-03-01
Filing date: 2012-03-01
Publication date: 2014-07-23
Anticipated expiration: 2024-09-09
Also published as: JP2012138104A

Description

本発明はディジタル画像変換におけるフィルタリング方法に関し、詳細には、シングルパス・ディジタル画像ワーピングシステムにおける信号再サンプリングにおける異方性フィルタリングに関する。

ディジタル画像は基本的に、配列の各エントリがそれぞれディジタル化画像のピクセルを表示する、ディジタルデータの２次元配列である。ピクセルデータは、赤、緑、青（ＲＧＢ）などの強度構成要素を含む。ディスプレイシステムは、入力ディジタルデータに基づいてこれらの異なる構成要素に対して電子的に強度値を割り当てる。しかしながら、表示された画像は、種々の光学的及び幾何学的歪み、例えばピンクッションやたる形歪みなどのレンズ歪み、投射式台形歪みなどを有することがある。これらの歪みを補正する１つの方法は、ディジタル画像ワーピング、又は「不均一性スケーリング」である。画像ワーピングは、均等に空間配置された入力画像を動的に再サンプリングするプロセスとして定義されて、入力画像とは異なる空間配置を備えた出力画像を生成することもできる。画像ワーピングは、拡大縮小などの線形スケーリング動作において広範に使用され、これは特別且つより簡単なケースである。

画像ワーピングシステムには２つの基本的段階がある。すなわち、空間変換及び再サンプリングである。

空間変換は、入力画像及び出力画像においてピクセル座標間のマッピング関数として定義される。逆マッピングは、出力画像における座標の関数として入力画像における座標を特定し、通常は、出力画像座標空間全体をカバーし、「穴（マッピングもれ）」を残すことを回避するために使用される。

再サンプリングは、一方では、入力ピクセルを包囲する数個の入力ピクセルを用いて出力ピクセルを補間するプロセスである。この補間に関係するこれら入力ピクセルを含む近傍は、フィルタ・フットプリントと称される。フィルタ・フットプリントが大きくなるにつれて、出力画像の画質がより良好になることは当技術において周知である。さらに、異方性フットプリントは、より良好な出力画像品質をもたらすことが知られている。フットプリントのサイズと異方性、及びハードウェア実行の効率性の間には二律背反的関係がある。再サンプリングは、ワープされた画像の空間周波数を、処理された出力ピクセル周辺ですべての方向においてナイキスト範囲に動的に限定することによって達成される。

フィルタリングに必要なハードウェア資源を低減するために、画像ワーピングは、２つの別個の水平パス及び垂直パスにおいて実行されることもある。この場合、変換は、２つの直交する１次元変換のシーケンスに分離可能でなければならない（即ち、分解可能である）。２パス方式ワーピングの例は、米国特許第５，１７５，８０８号（特許文献１）、同第５，５９４，６７６号（特許文献２）、及び同第６，０６１，４７７号（特許文献３）において使用される。しかしながら、２パス方式には多くの欠点がある。第１に、すべての幾何学的変換が分離できるとは限らない（ボトルネックの問題及び折り重なり問題）。第２に、分離そのものが、幾何学的歪みを導くことがある。第３に、２パス方式フィルタリングは、特に幾何学的変換が回転成分を有するときに、ギザギザのアーチファクトを生成する傾向がある。したがって、２パス方式アルゴリズムの不利点がない２Ｄ画像変換（ワーピング）のためのシングルパス方法を設計することが望ましい。

マルチレート信号処理において、好ましくないアーチファクトを回避するために、ディジタル画像の再サンプリング・プロセスは、以下のステップ、即ち、その離散的サンプルから連続信号を再構築することと、連続信号をワーピングすることと、多少画像の正規化ナイキスト周波数より上のエイリアス周波数を除去するために連続信号に低域通過フィルタリングを行なうことと、出力ピクセルグリップ・サンプリング位置においてワープされた連続信号のサンプリングを行なうことと、を有する。

望ましい再サンプリング手順のこうしたステップがElliptical Weighted Averagingと
呼ばれる１つの統一楕円ガウスフィルタ［ポールＳ. ヘックバート著、"Fundamentals of
Texture Mapping and Image Warping"（テクスチャ・マッピング及び画像ワーピングの
基礎）修士論文、カリフォルニア大学バークリー校、１９８９年］（非特許文献１）に連結されることもあることは周知技術である。それ以降、楕円半径の近似値を使用することによってメモリ及びクロックに関して必要なハードウェアを低減するために多くの試みが実行されてきた。

ディッキ（Dickie）による米国特許第６，０１６，１５２号（特許文献４）は、対応するアフィン変換によって近似される不均等画像スケーリングのための装置及び方法を開示し、アフィン変換は、ソース画像において楕円を定義するために使用される。ソース画像における単位円からソース画像おける楕円への線形変換が計算される。目標画像のピクセル値は、不均等なスケーリング用途においてアーチファクトを軽減するためにソース画像に含まれるピクセルを識別することによって決定される。

ガブリエル（Gabriel他）による米国特許第６，００５，５８２号（特許文献５）は、
テクスチャ・マップの異方性のラインに沿って補間フィルタを通過させること、及びピクセル強度値を計算するために補間フィルタの出力の加重和を計算することを含む、異方性フィルタリングで画像をテクスチャ・マッピングするための方法及びシステムを開示する。これらの出力値の重み付けは、１次元ディジタルフィルタを使用して計算できる。異方性のラインは、テクスチャ・マップの地点に対する幾何学的プリミティブの表面上の地点のマッピングを記述する逆変換から導き出される。

ペリー（Perry）他による米国特許第６，２９２，１９３（特許文献６）は、ピクセル
ごとにマルチスペース−不変量フィルタリング演算を用いる異方性テクスチャ・マッピングの技術を開示する。円形のピクセルフィルタは、そのテクスチャ・マップの楕円フットプリントを定義するためにテクスチャ・マップ上へ投影される。サンプル地点は、楕円の長軸に厳密に近似するフットプリントにおけるライン上で決定される。これらサンプル地点は、詳細のレベル及びミップマップ（mip-map）内の位置にマップされる。スペース不
変量フィルタを使用すると、テクスチャの値が、ミップマップ内の１つ以上のテクスチャ・マップからのデータを使用して、各サンプル地点に対して計算される。サンプル地点に対するこれらテクスチャの値は、ガウス・フィルタ関数を使用して事後フィルタされ、最終的なテクスチャの値を生成するために合算される。

ローマイアー（Lohmeyer）他による欧州特許第ＥＰ０９２０６７１Ｂ１（特許文献７）は、以下の段階から構成される計算上効率的なシングルパス・ディジタル画像ワーピングのための方法を開示する。即ち、入力画像のサンプリングレートをナイキストレートよりも増加させ、双線形補間器などの低品質補間器を用いてアップサンプリングされた画像をワープし、ワープされた画像を入力画像と同一解像度にダウンサンプリングするそれぞれの段階である。ダウンサンプリング及びワーピングのそれぞれの段階は、アップサンプリングされた画像をワープするときの幾何学変換を変更することによって１つのステップに結合されることもできる。
米国特許第５，１７５，８０８号米国特許第５，５９４，６７６号米国特許第６，０６１，４７７号米国特許第６，０１６，１５２号米国特許第６，００５，５８２号米国特許第６，２９２，１９３号欧州特許第ＥＰ０９２０６７１Ｂ１ポールＳ. ヘックバート著、"Fundamentals of Texture Mapping and Image Warping"（テクスチャ・マッピング及び画像ワーピングの基礎）修士論文、カリフォルニア大学バークリー校、１９８９年

しかしながら、これらの及びその他の従来技術のシステムは、それらのインパルス応答が純粋な周波数応答を生成することから、エイリアシング及び鮮鋭度の間で多少のトレードオフをもたらす。したがって、ディジタル画像ワーピングシステムにおいてより適応性のあるフィルタリングをサポートするための改良された補間方法及び装置の必要性がある。

本発明の一態様は、入力ピクセル座標空間及び入力ディジタルピクセルデータを有する入力画像を、出力ピクセル座標空間及び出力ディジタルピクセルデータを有する出力画像に変換するための、異方性フィルタを用いたシングルパス・ディジタル画像ワーピングのための方法であって、
（ａ）出力ピクセルに対する入力ディジタル画像データを取得し、
（ｂ）出力ピクセル座標を入力画像座標空間上にマッピングして、マップされた座標位置を決定し、
（ｃ）（ｂ）で決定されたマップされた座標位置で入力座標に対して出力ピクセル座標のヤコビ行列を決定し、
（ｄ）（ｃ）で決定されたヤコビ行列の２つの行ベクトルによって形成され、（ｂ）で決定されたマップされた座標位置の周囲に楕円を一義的に決定するために長軸半径と短軸半径、及び長軸半径の方向を決定し、
（ｅ）必要な画質及び必要な処理速度に基づいて前記楕円の半径を拡張及び調整し、
（ｆ）（ｅ）の結果に基づいて（ｂ）で決定された前記マップされた座標位置の周囲に入力画像座標空間におけるフットプリントを決定して、フィルタリングに関与する入力ピクセルをその中に含め、
（ｇ）（ｄ）の楕円を１単位の半径を有する円に変換して、円の中心から含まれる入力ピクセルまでの距離計算を容易にし、
（ｈ）（ｇ）における距離の関数として、円形対称形状からフットプリント内のすべての入力ピクセルに対して異方性フィルタの係数を決定し、
（ｉ）（ｈ）で決定された係数でフットプリント内部の入力ピクセルの値を累算することによって出力ピクセルの値を決定し、
（ｊ）出力ピクセルの値を保存することと、
を含む。

本発明の別の態様は、入力ピクセル座標空間及び入力ディジタルピクセルデータを有する入力画像を、出力ピクセル座標空間及び出力ディジタルピクセルデータを有する出力画像に変換するための、異方性フィルタを用いたシングルパス・ディジタル画像ワーピングのためのシステムであって、
（ａ）出力ピクセルに対する入力ディジタル画像データを得るための入力インタフェースと、
（ｂ）出力ピクセル座標を入力画像座標空間上にマッピングして、マップされた座標位置を決定するための座標生成器と、
（ｃ）マップされた座標位置で入力座標に対して出力ピクセル座標のヤコビ行列を決定するための、前記入力インタフェースと前記座標生成器とに結合されるローカル・スケール推定器と、
（ｄ）（ｃ）で決定されたヤコビ行列の２つの行ベクトルによって形成され、マップされた座標位置の周囲に楕円を一義的に決定するために長軸半径と短軸半径、及び長軸半径の方向を決定するように更に構成される、前記ローカル・スケール推定器と、
（ｅ）必要な画質及び必要な処理速度に基づいて前記楕円の半径を拡張及び調整するように更に構成される、前記ローカル・スケール推定器と、
（ｆ）マップされた座標位置の周囲に入力画像座標空間におけるフットプリントを決定して、前記フットプリントにフィルタリングに関与する入力ピクセルを含めるための、前記ローカル・スケール推定器と前記座標生成器とに結合される、フットプリント生成器と、
（ｇ）（ｄ）の楕円を１つのユニットの半径を有する円に変換して、円の中心から含まれる入力ピクセルまでの距離計算を容易にするための、前記フットプリント生成器及び前記ローカル・スケール推定器に結合される、フィルタ係数生成器と、
（ｈ）前記距離の関数として、円形対称形状からフットプリント内の入力ピクセルに対する異方性フィルタの係数を決定するように更に構成される、前記フィルタ係数生成器と、
（ｉ）（ｈ）で決定された係数でフットプリント内部の入力ピクセルの値を累算することによって出力ピクセルの値を決定するための、前記フィルタ係数生成器と前記フットプリント生成器とに結合される、フィルタと、
（ｊ）出力ピクセルの値を保存するために、前記フィルタに結合される出力インタフェースと、
を含む。

本発明の一例である実施形態は、画像における鮮鋭度及び細部の強調をもたらすために異方性フィルタの円形対称形状（プロファイル）を生成するための方法を提供する。

本発明の１つの実施例において、フィルタのフットプリントは一部の要因により拡張される楕円形状を有し、それは画質及び処理速度間のバランス関係を設定する。

本発明の別の実施例において、フィルタのフットプリントは、画像ワーピングシステムにおけるキャッシュ・サブシステムの複雑性及び容量を最小化するために一定の矩形形状を有する。

本発明のさらに別の実施例において、得られた楕円の形状は、局所エッジ方向に従って調整される。

本発明の実施の形態の異なる態様及び効果の更なる詳細は、添付の図面とともに、以下の説明に示される。

図１は、本発明によって構築される画像ワーピングシステムの好ましい実施の形態を示すブロック図である。図２は、出力画像空間から入力画像空間の楕円に出力ピクセルをマップする実施例を図解式に示す図である。図３は、楕円又は矩形のフットプリント上に展開された円形対称形状を備えた楕円フィルタを図解式に示す図である。図４Ａは、円形対称形状を備えた異方性フィルタの２次元インパルス応答を図解式に示す図である。図４Ｂは、円形対称形状を備えた異方性フィルタの２次元の周波数応答を図解式に示す図である。図５Ａは、図１の画像ワーピングシステムによって実行される流れ論理の図解式に示す図である。図５Ｂは、本発明によって構築され、楕円から単位円への線形変換の３つの考案されたパラメータを生成するために表面適合を用いるシステムの一実施例のフロー論理を図解式に示す図である。

まず図１を参照すると、本発明の好ましい実施の形態に従って形成される画像ワーピングシステム１００を示している。画像ワーピングシステム１００は、円形対称の異方性フィルタリングを備えたシングルパス式画像ワーピングシステムである。画像ワーピングシステム１００は、座標生成器１１２、ローカル・スケール推定器１１４、フットプリント生成器１２２、フィルタ係数生成器１２４、及びフィルタ１２６を有する。座標生成器１１２は、出力画像空間から入力画像空間内にピクセル座標を変換する。ローカル・スケール推定器１１４は、マップされた出力ピクセルにおける不均一画像スケーリング関数に近似する楕円から単位円へと線形変換のパラメータを算出する。フットプリント生成器１２２は、フィルタリングに加えられるように入力ピクセルを決定する。フィルタ係数生成器１２４は、円形対称形状を使用してフットプリントにおける入力ピクセルの重み付けを計算する。最後に、フィルタ１２６は、出力ピクセルを計算する。

画像ワーピングシステム１００は、２つの主要なユニットを有する。即ち、幾何学エンジン１１０及びフィルタ・エンジン１２０である。幾何学エンジン１１０の機能は、幾何学的変換に関係がある。

幾何学エンジン１１０は、座標生成器１１２、及びローカル・スケール推定器１１４を有する。座標生成器１１２は、出力ピクセルの座標を入力画像座標空間にマップする。この変換は、単純なスケーリングから複雑なワーピングまでの範囲にわたってもよい。入力座標上への出力座標のマッピング、即ち、いわゆる逆変換は、当業者に周知の多くの利点を有し、出力ピクセル空間全体をカバーすることを含み、出力画像内に「穴」を残すことはない。

幾何学エンジン１１０の別の要素は、ローカル・スケール推定器１１４であり、これは、以下で更に詳細に説明されるように、フィルタ係数を算出する際のフィルタ・エンジン１２０の動作に非常に重要である。

ローカル・スケール推定器１１４は、楕円から半径１の円への線形変換を決定する２×２マトリクスの要素を計算する。この変換は、マッピングされた出力ピクセルの位置における不均等画像スケーリング関数に近似し、これは、ヤコビ行列に基づいて算出され、それはその行におけるベクトル関数の第１次偏導関数を含むマトリクスである。図２に示したように、ヤコビ行列は、マッピングされた出力ピクセル２１０の位置におけるローカル・マッピング関数のローカル・アフィン近似値である。

ヤコビ行列の行は、２つのベクトル２２０及び２３０を形成し、これらベクトルが、長軸半径２５０、短軸半径２６０、及び長軸の半径と水平方向との間の角度２７０を決定する。

楕円２４０は、ヤコビ行列に基づく２×２変換マトリクスによって特徴づけられる。任意に方向付けられた楕円を記述するのに３つのパラメータで十分である（例えば、２つの直交半径、及び長軸半径の方向角度が楕円を定義する）ので、このマトリクスは、その要素の３つのみが非ゼロであり第４の要素が常にゼロであるように計算されることもできる。

発明の一実施例において、ローカル・スケール推定器１１４は、以下の線形変換を実施するために、マトリクスＭの要素を計算する

ここで、(u,v) は、楕円の中心に対するソースピクセルの座標であり、(u',v')は、「楕
円空間」座標である。この楕円空間において、楕円内部のピクセルの座標は、以下の方程式を満たす。
r²(u',v') = (u')² + (v')² ≦ 1

したがって、マトリクスＭは、楕円を半径１の円にマップする。このマトリクスを生成するために、第一に、楕円の長軸半径λ₁、短軸半径λ₂、及び長軸半径と水平方向との角度α₁が、ヤコビ行列から求められる。次に、何か必要な半径限界が適用される。最後に
、Ｍの３つの非ゼロ要素が、これら３つのパラメータから算出される。

ローカル・スケール推定器１１４は、以下の方程式を解くために、ヤコビ行列Ｊの列を使用する。
Q = J^-1(J^-1)^T

Ｊに対して上記の方程式を解くと、基準が直交であるという制約条件（以下の方程式）のもとで、関数行列式の固有ベクトルが計算できる。

発明の一実施例において、このことは、ヤコビ行列の要素から以下の中間媒介変数をまず計算することによって行なわれる。

次に、楕円の直交半径の長さ、即ち、必要とされる固有値は、以下の値によって表される。

最後に、水平方向に対する長軸半径の角度は以下のように計算される。

発明の特定の実施例において、得られた楕円は、画質及び処理速度に関してより良好な適応性をもたらすように、何らかの因子によって拡張されることもある。たとえば、入力画像及び出力画像が十分に小さい場合、何らかの因子によってフットプリントを増加させる（即ち、より大きな領域にわたってフィルタリングを実行する）こともできる。このことは、２次元フィルタのより良好な周波数応答により画質を改善させることになる。一方において、フットプリントは、大きな入出力画像、又は局所的縮小スケールが大きい場合に最小限のサイズまで低減されることもできる。

さらに、ワープ・マップの結果として、局所的縮小の場合に処理されたピクセルの数を制限するために、２つの限界値がλ¹、及びλ²に課される。第１の限界λ_maxは楕円半径
の最大長と境を接し、第２のβ_maxは異方性比、即ち、長軸半径と短軸半径との比率を制
限する。さらに、λ₁、λ₂のいずれかが所定の最小値よりも小さい場合、それは、第３の限界値λ_minと置換され、これは当然１より小さくなることはない。この最後の限界値は
、フィルタ・フットプリントが補間を実行するのに小さすぎないことを保証する。この制限プロセスは、以下の方程式によって表わすこともできる。

発明の一実施例において、限界を課した後で、両方の半径が１に等しい（それはすべての方向に局所的拡張があることを意味する）場合、楕円の半径が局部エッジの方向によって調整される。短軸半径は１として維持され、長軸半径は、エッジの強度に比例して拡張される。

Ｍ₁₀がゼロであるように、マトリクスＭの計算は設計される。このことはマトリクスＭ上へ空間（u',v'）における適切な、半径に影響を及ぼさない回転を連結することによっ
て行われる。Ｍによる「楕円空間」（u', v'）へのマッピングは以下のように表示されることができる。

ここでＲ_uは、拡張因子である。右側のマトリクスは、楕円の長軸の角度によって座標空
間を回転させ、次に、楕円自体を単位円上にマッピングするために、軸方向に不均等にスケーリングする。左側のマトリクスはθだけ更なる回転をもたらす。左側の回転は、フィルタの係数計算上に何ら影響を及ぼさないので、任意にＭ₁₀を強制的にゼロにするよう選択することができる。即ち、以下の通りである。

これらの値を代入し、β=λ₁/λ₂を置換することによって、最終的に以下の式が得られる。

図３に示すように、入力ピクセル３２０の半径３１０は、楕円フットプリント３３０又は矩形フットプリント３４０内で、円形対称フィルタの形状（インパルス応答）３５０を有するルックアップテーブルへのインデックスと考えられる。円形対称フィルタの形状（プロファイル）は、楕円の中心から入力された処理ピクセルの方向にあるエッジ（縁端）までの距離に従って引き伸ばされるか、又は収縮される。この図において、λ₁は長軸半
径３６０であり、λ₂は短軸半径３７０であり、Ｒｕは楕円拡張因子である。λ₁=λ₂=１
である場合、フィルタはすべての方向においてアップサンプリング動作する。λ₁>１、λ₂>１である場合、フィルタはすべての方向においてダウンサンプリング動作する。しかし、λ₁>１, λ₂=１である場合、拡張及び収縮間の滑らかな移動によるアップサンプリング及びダウンサンプリングの組み合わせ動作がある。

インパルス応答において一定の拡張因子Ｒ_u、及び一定数の係数Ｎの場合、円形対称形
状は、可変長であり、及び楕円の方向及び形状に基づく可変比帯域(fractional bandwidth)を有する。Ｒ_u＝２及びＮ＝２５６の特定の場合に対するフィルタの２次元インパルス
及び周波数応答は、図４Ａ及び図４Ｂにそれぞれ示される。

異方性楕円フィルタリングの場合には、フィルタ・エンジン１２０は、ワープされた画像を生成するために、少なくとも５つのパラメータを必要とする。即ち、出力ピクセル座標を入力画像座標空間にマッピングするための２つの座標ｕ，ｖ、楕円から単位円への線形変換を表現する３つのパラメータＭ₀₀，Ｍ₀₁，Ｍ₁₁である。

一部の空間変換に対して最初の２つのマップが極めて複雑化され、さらには分析形式を有していないこともあるので、発明の１つの特定の実施例では、これらのマップが、多項式で近似された表面によって近似化される。

ここでａ_ij，ｂ_ijは、多項式の係数であり、Ｉ及びＪは多項式の次数である。この表現は、空間変換の物理モデルから抽出され、利点としてマッピング機能の簡潔な表現を有する。

発明の一実施例において、マトリクスＭの要素は、楕円から単位円への線形変換を表し、この要素は、リアルタイムで座標多項式から直接算出される。それらはヤコビ行列から算出され、その４つの要素は、２つの座標多項式の偏導関数である。

発明の他の実施例において、マトリクスＭの要素は、計算時間を節約するために、以下のように多項式により近似された表面によって表示される。

ここで、ｃ_ij，ｄ_ij，ｅ_ijは多項式係数であり、Ｉ，Ｊは多項式の階数である。

フットプリント生成器１２２は、出力ピクセルデータを生成するための入力ピクセルを含むために、入力画像座標空間内に出力ピクセルのマップ位置の周囲の領域を定義する。発明の一実施例において、このフットプリントは、マトリクスＭの計算された要素に基づく楕円形状を有する。この実施例は、より良好な画質をもたらすが、より多くのハードウェア資源を要求する。発明の他の実施例において、フットプリントは、出力画質と譲歩しながら、ピクセル封入の複雑性を最小限にするために、矩形の形状を有する。

フィルタ係数発生器１２４は、フットプリントに含まれる入力ピクセルの重み付けを評価する。発明の一実施例において、入力ピクセルの重み付けは、半径１の円上にマップされる楕円の中心からの距離の関数である。この実施例の１つの特定の具体化において、これらの重み付けは、ハードウェア資源を犠牲にしてより高い適応性のために動的に算出される。他の具体化において、ハードウェア資源を節約するために、重み付けは、以前に計算された円形対称形状を備えたルックアップテーブルから取り込まれる。

形状を生成する方法を理解するために、２次元有限インパルス応答（ＦＩＲ）フィルタを設計する４つの標準方法があることに言及することが必要である。即ち、これら標準方法は、ウィンドウ法、周波数サンプリング方法、周波数変換法、及び最適フィルタ設計である。ウィンドウ法は、１次元フィルター設計の単純な拡張であり、円形対称フィルタ形状の設計のために発明の一実施例において選択されている。

周波数応答Ｈ(ω_u,ω_v)が既知である場合、逆フーリエ変換によってフィルタのインパ
ルス応答ｈ(u',v') を決定することができる。必要な有限インパルス応答（ＦＩＲ）フィルタは、インパルス応答ｈ(u',v')の小数点以下を切り捨て、それをウィンドウ関数ｗ(u',v')によって乗じることによって得られ、その結果、以下のようになる：h_d(u',v') = h(u',v')w(u',v')。

画像ワーピングのための所望の周波数応答は、円形対称形仮想上のローパスフィルタである。

ω_cの遮断周波数を有するこのようなフィルタのインパルス応答は、以下によって与え
られる。

は、正規化半径であり、ｎは０≦ｎ＜Ｎを満たし、Ｊ₁は第１種且つ第１の階数のベッセ
ル関数である。２次元ウインドウw(u',v')は、１次元カイザー窓プロトタイプに基づく。回転された公式化により、その設計のサポートの実際の領域は、R_uの円形サブ領域になる。

ここで、I₀()は、第１種０階数の変形ベッセル関数であり、βはパラメータである。

出力ワープ画像の視覚上の外観は、その周波数成分を重要視して、その内部のエッジ及び詳細を強調させることによって著しく改善され得る。発明の一実施例におけるフィルタ係数生成器１２４は、このために標準的な線形アンシャープマスキング・アルゴリズムを使用する。この技術において、高域（ハイパス）フィルタ処理された画像の一部が画像そのものに付加される。線形アンシャープマスキング・アルゴリズムの一変形例において、ピクセル近傍にわたって低域（ローパス）フィルタ処理（平滑化）された信号がピクセルの値から差し引かれた場合、強調された画像O(x,y)は、以下のように入力画像I(x,y)から得られる。
O(x,y)=I(x,y)+α(I(x,y)-I_s(x,y))=(1+α)I(x,y)-αI_s(x,y)

ここでＩ(x,y)、及びＯ(x,y)はそれぞれ入出力ピクセル値であり、Ｉ_s（ｘ，ｙ）はいく
らかの近傍にわたる平滑化ピクセル値であり、αは強調の因子である。この場合、α＜０は平滑化を意味し、α＝０はバイパスを意味し、α＞０は鮮鋭化を意味する。

ディジタル画像ワーピングの場合において、この式は以下に示すように変換されている。
Ｏ（ｘ，ｙ）＝（１＋α）Ｉ_w（ｘ，ｙ）−αＩ_s（ｘ，ｙ）

ここでＩ_w（x,y）はワープされたピクセル値であり、Ｉ_s（x,y）は出力空間における平滑化されたピクセル値である。これらワープされ、平滑化されたそれぞれのピクセル値を計算するためのフットプリントは同じである。ハードウェア資源を節約するために、２つの動作が１つの円形対称形状に結合され、これは両者のフィルタリング項を引き継ぐ。これらの項は、以下の形態を取る。

ここで、ｋ_n ^wはワーピングフィルタの係数であり、ｋ_n ^sは平滑化フィルタの係数であり、指数ｎはフットプリントに属する入力ピクセル（ｕ_n，ｖ_n）をカウントする。フットプリントにおける入力ピクセルＮ（ｘ，ｙ）の数は、出力ピクセル座標の関数である。これにより以下、係数の新しいセットが得られる。

上記は、出力画像を詳細に強調化するために、フィルタにおける平滑化及びワーピングのそれぞれの構成要素を有し、これら構成要素はこの場合、以下の通りとなる。

最後の方程式から理解されるように、詳細な強調のためのこの方法は、同じフットプリントにわたっての係数の合計がワープのすべての出力ピクセルについて一定であるとき、即ち、以下のように表されるときに適用できる。

楕円フットプリントに対して、定数Ｔは、以下の式によって推定することもできる。

ここでｉはフィルタのタップのカウントであり、ｓ_iはｉ番目の係数により占有される楕
円リングの領域であり、Ｎ^wはフィルタのワーピング部分におけるタップの数であり、Ｎ^sはフィルタの平滑化部分におけるタップの数である。

λ₁，λ₂が楕円フットプリントのそれぞれ長軸及び短軸半径である場合、以下のようになる。

代入した後に、最終的に以下の方程式が得られる。

Ｎ^w＞Ｎ^sの場合、Ｎ^s≦ｉ＜Ｎ^wに対してはｋ_i ^s＝０であり、Ｎ^s＞Ｎ^wの場合、Ｎ^w≦ｉ
＜Ｎ^sに対してはｋ_i ^w＝０である。

最後の方程式から理解できるように、楕円フットプリントでは、比率Ｔはワーピングフィルタ及び平滑化フィルタの対応する係数によってのみ決まる。このことは、本発明のフィルタ設計が、この特定の実施において、画像詳細部の強調に適切であることを意味する。

円形対称形状が、半径そのものの代わりに二乗半径の関数である場合、定数Ｔの計算に対する公式は以下のように簡略化される。

いったん入力ピクセルの重み付けが算出されると、フィルタ１２６はフットプリントにおいて入力ピクセル強度を累算することによって出力ピクセルを生成する。画像ワーピングシステム１００は次に、出力画像全体が生成されるまで次の出力ピクセルを処理するために進む。

図５Ａは、本発明によって構築される画像ワーピングシステム１００の一例の論理フローを示す。ステップ５０１において、システムが入力画像に対応するディジタルデータを受信する。ステップ５１０では、出力ピクセルの座標は、入力画像空間にマップされる。次に、ステップ５２２において、マップされた出力ピクセル位置の不均等な画像スケーリング関数に近似するヤコビ行列が推定される。ステップ５２４では、ヤコビ行列の列ベクトルによって形成される楕円の長軸半径と短軸半径、及び長軸半径の角度が算出される。ステップ５２６において、楕円の半径は、必要な出力画像品質及び処理速度に従って調整される。ステップ５２８において、楕円の前記３つのパラメータは、楕円から半径１の円への線形変換を表すマトリクスＭの３つの非ゼロ要素を算出する際に使用される。ステップ５３０において、入力ピクセルを含むフットプリントは、ステップ５１０のマップされた座標の周囲に決定される。このフットプリントのサイズ及び形状は、フィルタリングの選ばれたトポロジーによって決まり、それは出力画像の所品質と、計算能力とのつり合いである。ステップ５４２において、フットプリントのそれぞれの入力ピクセルに対する、楕円の中心及び入力ピクセル位置の間の距離が算出される。フットプリンとからの入力ピクセルに対するフィルタリング係数は、その前のステップにおける算出された距離の関数としてステップ５４４において円形対照形状から算出される。最後に、ステップ５５０において、フットプリントからの入力ピクセルはステップ５４４で決定される重み付けで累算され、生成された出力ピクセルは、ステップ５６０で出力画像に保存される。

図５Ｂは、図５Ａのフローチャートの特定の実施を示し、ここで、マトリクスＭの３つの非ゼロの要素は、多項式に近似した表面から算出される。この発明の実施例において、マトリクスＭの３つの非ゼロの要素は、一組のグリッド点に対して算出され、近似係数を生成することで多項式により近似される。それぞれの処理された出力ピクセルにおけるディジタル画像のワーピングの際に、Ｍのマトリクス要素は近似係数から推定される。

当業者に周知であるように、上記した構造の種々の変形及び適応は、本発明から逸脱することなく可能であり、その範囲は、添付の請求の範囲において定義される。

Claims

入力ピクセル座標空間及び入力ディジタルピクセルデータを有する２次元入力画像を、出力ピクセル座標空間及び出力ディジタルピクセルデータを有する２次元出力画像に変換するために、楕円周波数応答を有する２次元再サンプリング・フィルタを用いたリアルタイムのシングルパス・ディジタル・画像ワーピングのための方法であって、
（ａ）出力ピクセルに対する入力ディジタル画像データを取得し、
（ｂ）出力ピクセル座標を前記２次元入力画像の座標空間上にマッピングして、マップされた座標位置を決定し、
（ｃ）（ｂ）で決定されたマップされた座標位置で入力座標に対して出力ピクセル座標のヤコビ行列を決定し、
（ｄ）（ｃ）で決定されたヤコビ行列の２つの行ベクトルによって形成され、（ｂ）で決定されたマップされた座標位置の周囲に楕円を一義的に決定するために長軸半径と短軸半径、及び長軸半径の方向を決定し、
（ｅ）必要な画質及び必要な処理速度に基づいて、前記楕円の半径を拡張及び調整し、
（ｆ）固定サイズの矩形のフットプリントを決定して、フィルタリングに関与する入力ピクセルを含め、
（ｇ）（ｄ）の楕円を１単位の半径を有する円に変換して、円の中心から含まれる入力ピクセルまでの距離計算を容易にし、
（ｈ）（ｃ）で決定された前記ヤコビ行列から導かれるマトリクスによって制御される、円形対称形状からフットプリント内のすべての入力ピクセルに対して楕円周波数応答を有する２次元再サンプリング・フィルタの係数を、前記フットプリント内での（ｇ）における前記距離の関数として決定し、
（ｉ）（ｈ）で決定された係数でフットプリント内部の入力ピクセルの値を累算することによって出力ピクセルの値を決定し、
（ｊ）出力ピクセルの値を保存することと、
を含む、方法。
前記楕円の半径及び方向は、２×２マトリクスを介して特徴付けられ、前記マトリクスの少なくとも１つの要素は強制的にゼロにされる、請求項１に記載の方法。
出力ピクセルのサブセットにおける前記２×２マトリクスの非ゼロ要素の事前に計算された値が事前に表面に近似され、出力ピクセルに対するマトリクス要素が、再サンプリング中に近似パラメータから求められる、請求項２に記載の方法。
前記楕円の長軸半径が、マップされた入力ピクセル位置における最大強度変化の方向に垂直なエッジ方向に沿って位置合わせされ、前記半径の長さが、エッジ方向推定値の信頼性レベルによって特徴付けられるエッジの強度によって決まる、請求項１に記載の方法。
フィルタの鮮鋭化成分及び再サンプリング成分の形状を更に結合して、細部を強調した出力画像を生成することを含む、請求項１に記載の方法。
前記楕円の半径を拡張及び調整することは、前記楕円の半径が、所定の上限および所定の下限を満たし、かつ、前記楕円の半径の比が所定比内となるように、楕円の半径を拡張及び調整することを含む、請求項１に記載の方法。
入力ピクセル座標空間及び入力ディジタルピクセルデータを有する２次元入力画像を、出力ピクセル座標空間及び出力ディジタルピクセルデータを有する２次元出力画像に変換するために、楕円周波数応答を有する２次元再サンプリング・フィルタを用いたリアルタイムのシングルパス・ディジタル・画像ワーピングのためのディジタル信号処理システムであって、
（ａ）出力ピクセルに対する入力ディジタル画像データを得るための入力インタフェースと、
（ｂ）出力ピクセル座標を前記２次元入力画像の座標空間上にマッピングして、マップされた座標位置を決定するための座標生成器と、
（ｃ）マップされた座標位置で入力座標に対して出力ピクセル座標のヤコビ行列を決定するための、前記入力インタフェースと前記座標生成器とに結合されるローカル・スケール推定器と、
（ｄ）（ｃ）で決定されたヤコビ行列の２つの行ベクトルによって形成され、マップされた座標位置の周囲に楕円を一義的に決定するために長軸半径と短軸半径、及び長軸半径の方向を決定するように更に構成される、前記ローカル・スケール推定器と、
（ｅ）必要な画質及び必要な処理速度に基づいて、前記楕円の半径を拡張及び調整するように更に構成される、前記ローカル・スケール推定器と、
（ｆ）マップされた座標位置の周囲に入力画像座標空間における固定サイズの矩形のフットプリントを決定して、前記フットプリントにフィルタリングに関与する入力ピクセルを含めるための、前記ローカル・スケール推定器と前記座標生成器とに結合される、フットプリント生成器と、
（ｇ）（ｄ）の楕円を１つのユニットの半径を有する円に変換して、円の中心から含まれる入力ピクセルまでの距離計算を容易にするための、前記フットプリント生成器及び前記ローカル・スケール推定器に結合される、フィルタ係数生成器と、
（ｈ）（ｃ）で決定された前記ヤコビ行列から導かれるマトリクスによって制御される、円形対称形状からフットプリント内の入力ピクセルに対する楕円周波数応答を有する２次元再サンプリング・フィルタの係数を、前記フットプリント内での（ｇ）における前記距離の関数として、決定するように更に構成される、前記フィルタ係数生成器と、
（ｉ）（ｈ）で決定された係数でフットプリント内部の入力ピクセルの値を累算することによって出力ピクセルの値を決定するための、前記フィルタ係数生成器と前記フットプリント生成期器とに結合される、フィルタと、
（ｊ）出力ピクセルの値を保存するために、前記フィルタに結合される出力インタフェースと、
を含む、システム。
前記ローカル・スケール推定器は、２×２マトリクスを介して前記楕円の半径及び方向を特徴付けるように構成され、前記２×２マトリクスの少なくとも１つの要素が強制的にゼロにされる、請求項７に記載のシステム。
出力ピクセルのサブセットの前記２×２マトリクスの非ゼロ要素の事前に計算された値は、事前に表面近似され、前記ローカル・スケール推定器は、再サンプリング中に近似パラメータからの出力ピクセルに対してマトリクス要素を求めるように構成される、請求項８に記載のシステム。
前記ローカル・スケール推定器は、マップされた入力ピクセル位置にある最大強度変化の方向に垂直なエッジ方向に沿って前記楕円の長軸半径を位置合わせし、エッジ方向推定値の信頼性レベルによって特徴付けられるエッジの強度に基づいて前記半径の長さを設定するように構成される、請求項７に記載のシステム。
前記フットプリント生成器が固定サイズの矩形のフットプリントを使用するように構成され、前記フィルタ係数生成器が前記ヤコビ行列から導かれるマトリクスによって制御される楕円周波数応答を有する２次元再サンプリング・フィルタを使用するように構成される、請求項９に記載のシステム。
前記フィルタ係数生成器が、細部が強調された２次元出力画像を生成するために、再サンプリング・フィルタの鮮鋭化及び再サンプリングのそれぞれの成分のプロファイルを結合するように構成される、請求項７に記載のシステム。
前記ローカル・スケール推定器は、前記楕円の半径が、所定の上限および所定の下限を満たし、かつ、前記楕円の半径の比が所定比内となるように、楕円の半径を拡張及び調整することを含む、請求項７に記載のシステム。