JP5655108B2 - 周波数アンラッピングによる画像リサンプリング - Google Patents

Description

本発明は、デジタル画像処理に関し、特に、回復されたエイリアス周波数を有する出力画像の画像サンプルを判定することを含む入力画像を処理する方法及び装置に関する。

シーンの画像がサンプリングされる際（例えば、デジタルカメラのセンサにおいて画像を撮像している間）、サンプルの密度がそれ程高くない場合に撮像画像においてエイリアシングが起こる。サンプルの密度は、センサの構成及びカメラのレンズシステムにより決まり、シーンの画像が撮像される解像度を示す。サンプリングされている画像がナイキスト限界１／（２ｄ）より高い周波数を含む際、エイリアシングが起こる。ここで、ｄはサンプル間の間隔を示す。エイリアシングは、エイリアシングの影響を受けやすい周波数を除去するように撮像時に画像を光学的にローパスフィルタリングすることで除去されてもよい。しかし、ローパスフィルタリングが画像をぼけさせるため、一般にカメラ光学系は、画像が僅かにアンダーサンプリングされてサンプリング画像の識別できる鮮鋭度を向上させるように設計される。これは、同様の望ましい鮮鋭度を有し且つコンピュータにより生成された画像にも当てはまる。コンピュータグラフィックスをレンダリングする多くの方法もエイリアシングを発生させる。

撮像画像を閲覧する際、通常僅かな量のエイリアシングは検出されない。しかし、画像がより高い解像度でリサンプリングされる場合、元の画像におけるエイリアシングは、誇張されてより高い解像度画像において非常により可視になる。エイリアシングにより生じたアーチファクトは、特に画像データのエッジに沿って可視であり、この場合それらを「ジャギー」と呼ぶ場合もある。そのようなアーチファクトは、アップスケーリング画像における品質低下の重大な原因である。

一般に、入力画像の画素からより高い解像度画像の画素を生成するための補間処理を使用して画像の解像度を向上させる。エッジシェーブがある状態での補間処理の変更に基づく多くの方法は、エイリアシングによる問題に対処するために提案されている。例えば、補間カーネルにより生成された結果として得られる鮮鋭度は、エッジ領域において変動されてもよく、あるいは、エッジの配向に一致するように変更又は配向されるカーネルが選択されてもよい。いくつかの技術において、画素パターンは、失われた出力サンプルを生成する特定の補間規則を提供する辞書とマッチングされる。機械学習方法は、補間規則を生成する手段としても提案されているが、他の方法はハンドコードされた規則を使用する。これらの方法の多くは、エッジの配向が量子化されるという事実の影響を受ける。そのような事実により、種々のカーネルが適用されている領域間の境界において可視のアーチファクトが発生する。他の方法は、それらの規則が固定レートの補間にしか適用できないために制限される。補間処理の変更に基づく全ての方法は、それらの経験的構成又は任意の構成の結果である予測不可能なアーチファクトからの影響を受ける。そのようなアーチファクトを防止するために、多くの場合更なる予測不可能性及び複雑性を増加し且つ実際にはある特定の状況において画質を劣化させる可能性のある別個の規則の集合を通して、技術の使用を抑制する必要がある。

データに従ってカーネル選択を最適化するより理論的な方法が提案されているが、一般にこれらは、消費者向けの電子機器用のハードウェアを実現するには複雑すぎる反復技術である。

ほぼ全ての適応補間アルゴリズムの目的は、のこぎり歯状のアーチファクトの原因であるエイリアス周波数を除去することである。しかし、エイリアス周波数を除去することにより、結果として得られる画像のエッジはぼける。最も鮮鋭なアップサンプリング画像を生成するために、エイリアス周波数は、除去されるのではなく回復されるべきである。

従って、更なるアーチファクトを発生させずにエイリアス周波数を復元できる効率的な補間法が必要である。

本発明の目的は、既存の構成の１つ以上の欠点を実質的に克服するか、あるいは少なくとも改善することである。

本開示の第１の態様によると、入力グリッド上の入力画像から出力画像の出力グリッド上の対応する所望の出力位置の少なくとも１つの画像値を判定する方法であって、
（ａ）入力画像の局所化領域において出力位置を通過するエッジの配向を判定することと、
（ｂ）入力画像の領域に対して周波数スペクトルを拡張することと、
（ｃ）エッジの配向に基づいて、入力グリッド及び出力グリッドの集合から選択されるグリッドの第１のサンプリング軸に対して平行な拡張された周波数スペクトルにおいてエッジの主周波数帯域を整列することと、
（ｄ）第１のサンプリング軸に対して直交するグリッドの第２のサンプリング軸に沿って整列された主周波数帯域をフィルタリングすることであり、フィルタリングすることが、複製帯域と関連付けられた周波数を除去し且つ主周波数帯域を維持することと、
（ｅ）所望の出力位置においてフィルタリングされたエッジから画像値を判定することと、
（ｆ）判定された画像値を出力画像の一部として格納することとを備えることを特徴とする方法が提供される。

本開示の第２の態様によると、第２の解像度の入力グリッド上の入力画像から第１の解像度の出力画像の出力グリッド上の所望の出力位置における画像値を判定する方法であって、
入力画像の領域において出力サンプル位置を通過するエッジの配向を推定するステップと、
配向に従って判定された第１の方向とエッジとの交点に配置される複数の補助点のそれぞれについて場所を判定するステップと、
入力グリッドの第１の方向の補助点の場所に基づいて、複数の補助点のそれぞれについて、入力画像においてエイリアシング周波数をアンラッピングするように構成される第１のフィルタを選択するステップと、
第１の方向に選択されたフィルタを適用することで前記補助点の各々の値を判定するステップと、
入力グリッドの第２の方向の入力グリッドに対する出力位置に基づいて、複数のフィルタのうちの第２のフィルタを選択するステップと、
第２のフィルタをエッジに沿う複数の補助点の前記値に適用することにより、所望の出力位置における画像値を判定するステップとを備えることを特徴とする方法が提供される。

本開示の更に別の態様によると、低解像度入力画像をアップサンプリングして所望の出力解像度の高解像度出力画像を形成する方法であって、
入力画像において局所化領域の局所配向値を判定することと、
所望の出力解像度を使用して入力画像をデフォルトアップサンプリングして第１の画像を形成することと、
第１の態様又は第２の態様の方法に従って判定された局所配向値を使用してその各局所化領域において入力画像を配向適応的にアップサンプリングして第２の画像を形成することと、
判定された局所配向値を使用して第１の画像と第２の画像とを合成して所望の解像度の出力画像を形成することとを備えることを特徴とする方法が提供される。

本開示の更に別の態様によると、上述の方法のうちのいずれか１つを実現する装置が提供される。

本開示の更に別の態様によると、上述の方法のうちのいずれか１つを実現するコンピュータプログラムを記録したコンピュータ可読媒体を含むコンピュータプログラム製品が提供される。

本発明の他の態様が更に開示される。

次に、以下の図面を参照して本発明の少なくとも１つの実施形態を説明する。
図１は、空間ドメインにおけるアンダーサンプリング線を示す図である。 図２は、アンダーサンプリング線のスペクトルを示す図である。 図３は、配向適応画像アップサンプリングシステムを示す概略ブロック図である。 図４は、フーリエドメインにおいて周波数アンラッピングにより画像をリサンプリングする方法を示すフローチャートである。 図５は、拡張された帯域幅のスペクトルを示す図である。 図６は、図１の領域に対応する分解領域の一例を示す図である。 図７は、水平サンプリング軸に対して整列されたスペクトルを示す図である。 図８は、エイリアススペクトルを変調した結果を示す図である。 図９は、拡張された帯域幅のスペクトルを算出する方法を示すフローチャートである。 図１０は、空間ドメインにおいて周波数アンラッピングにより画像をリサンプリングする方法を示すフローチャートである。 図１１は、画像特徴と、入力画素と、出力画素と、補助点との間の幾何学的関係を示す図である。 図１２は、サブサンプリングウィンドウｓｉｎｃフィルタを示す図である。 図１３は、ウィンドウｓｉｎｃフィルタを示す図である。 図１４は、画像の各画素における局所的配向を推定する方法を示すフローチャートである。 図１５は、干渉計により撮像された画像の振幅スペクトルを示す図である。 図１６は、図１５のサブスペクトルに対応するサブ画像を抽出する方法を示す概略的なフローチャートである。 図１７Ａは、説明した構成を実行できる電子デバイスの概略ブロック図表現を包括的に形成する図である。 図１７Ｂは、説明した構成を実行できる電子デバイスの概略ブロック図表現を包括的に形成する図である。

エイリアシングの簡単な説明
カメラ等によりシーンの画像が撮像される場合、画像は離散点においてサンプリングされ、サンプルは、撮像画像を形成するための画像画素値又は単に「画素」として格納される。離散点においてシーンをサンプリングする１つの一般的な方法は、入力画像に適用された矩形のサンプリング入力グリッドを使用する方法である。次に、サンプリング画像の解像度を向上させるために、撮像画像上でアップサンプリングを使用できる。アップサンプリング処理中、出力画像画素値である出力サンプルは、バイリニア補間等の補間法を入力サンプルに適用することで算出される。

画像が、エッジ等の定方位高周波数特性を含み、且つ矩形のサンプリンググリッドを使用してサンプリングされた場合、エイリアシングは、撮像画像が表示される際にその特性に沿う繰返しステップパターンとして現れるだろう。繰返しは、エイリアシングが現れる周波数を示し、その周波数は、画像の解像度及びサンプリング周波数の関数である。撮像画像からより高い解像度画像を再構成するために補間が使用される場合、シーンにおいておおよそ一定の強度である線又は曲線に沿う再構成された出力画像画素値において、エイリアス周波数は強度の周期的変動をもたらす。線又はエッジの配向は、９０度に設定されたベクトルとして規定されるか、あるいは線又はエッジ上の特定の点における線又はエッジに対して垂直である。ｘ度で配向された線又はエッジが（ｘ＋１８０）度で配向された同一のエッジ又は線とは区別ができないため、正のｘ軸とベクトルとの間の角度を示す配向ベクトルの方向は、０度〜１８０度であると考えられる。あるいは、この不明瞭さを回避するために、画像特徴の配向は、ｘ軸と配向ベクトルとの間の角度が倍にされる倍角表示を使用して表されてもよい。
空間ドメイン及びフーリエドメインにおけるエイリアシング
図１は、配向１１０を有し、且つナイキストにより説明されたサンプリング定理により要求されるレートを下回るレートでサンプリングされており且つ上述されている線１００のサンプリング画像を示す。すなわち、画像は、アンダーサンプリングされているためにエイリアシングを含む。図１の線１００の振幅スペクトルを図２に示す。図２において、エイリアス周波数２１０は、明らかに可視であり且つ基本周波数成分又は主周波数成分２２０とは異なる。図２において、周波数２１０及び２２０の各々は、図において識別しやすいように円で示され、図２の再成の品質に左右されて終了周波数が白色ページの背景に対して可視でない可能性のある低い強度に漸減することを示す。帯域幅不足のためにエイリアス周波数２１０が発生することにより、成分２２０はラップする。空間ドメインにおいて、これらのエイリアス周波数は、線に沿う強度の周期的変動として現れる。図１の空間ドメイン表現において明らかに示されるように、強度の周期的変動は、線に沿う「のこぎり歯状の」アーチファクトとして現れる。のこぎり歯状のアーチファクトの周波数は、画像特徴１００の配向１１０により判定される。エイリアシングの周波数は、サンプリンググリッドの軸に対して４５度で配向された画像特徴の場合に最大限になり、水平軸及び垂直軸に対して平行に配向された画像特徴の場合に最小限になる。すなわち、サンプリングが実行される水平軸及び垂直（直交）軸に対して平行な画像特徴の場合、画像特徴に沿う強度の変動はない。４５度より大きく１３５度未満の角度で配向された画像特徴を「ほぼ水平」と呼び、４５度未満又は１３５度より大きい角度で配向された画像特徴は、「ほぼ垂直」であると考えられる。
適応アップサンプリングアーキテクチャ
配向適応フィルタリングを特徴とする画像アップサンプリング方法３９９のアーキテクチャの一例を図３に示す。低解像度画像３００及び所望の出力解像度値３７０は、所望の出力解像度３７０で高解像度画像３９０を出力する方法に入力される。高解像度画像３９０は、混合段階３８０により第１の画像３６０と第２の画像３４０とを組み合わせることで形成される。これは、入力画像３００の局所的構造を判定することに依存するが出力解像度３７０における適応アップサンプリング方法である。すなわち、配向推定処理には低解像度画像３００の解像度に関連するサブ画素精度が必要である。データに依存しない（デフォルト）アップサンプリング段階３５０を使用して低解像度画像３００を出力解像度３７０にアップサンプリングすることにより、第１の画像３６０を生成する。データに依存しないアップサンプリング段階３５０は、共バイリニア補間及びバイキュービック補間等の方法を使用してもよい。

配向適応アップサンプリング段階３３０を使用して低解像度画像３００を出力解像度３７０にアップサンプリングすることにより、第２の画像３４０を取得する。配向適応アップサンプリング段階３３０は、低解像度画像３００、出力解像度３７０及び局所的配向推定値３２０を入力とする。局所的配向推定値３２０は、出力画像３９０の画素毎のサブ画素位置に対応する入力画像３００における局所化領域の配向を推定する配向フィルタ３１０により算出される。配向フィルタ３１０は、低解像度画像３００及び出力解像度３７０を入力とし、高解像度画像３９０における所望の出力サンプル位置に対応する入力画像３００の局所化領域におけるエッジ又は局所化領域を通過するエッジ等の高周波数遷移の配向を確認するように動作する。図１４を参照してフィルタ３１０の特定の例の動作を後述する。

フィルタ３２０により判定された局所化領域における局所的配向に基づいて、適応的にアップサンプリングされた画像３４０は、混合段階３８０により画素単位で補間画像３６０と組み合わされて高解像度画像３９０を生成する。すなわち、高解像度画像３９０の各画素は、配向適応アップサンプリング画像３４０又は補間画像３６０から選択される。そのようにするために、各出力画素を取り囲む局所化領域に対する配向ベクトルの整合性の基準が必要である。領域における全ての配向ベクトルのベクトル和を算出し、且つ領域における各配向ベクトルの大きさの和により結果を正規化することにより、領域に対する配向の整合性を推定してもよい。領域における全ての配向ベクトルが同一の配向を有する場合、この方法は１の値を与える。配向整合性が高い場合、適応的にアップサンプリングされた画像３４０が混合段階３８０により選択されるか、あるいは補間画像３６０が選択される。
エイリアス周波数をアンラッピングすることによる画像アップサンプリング
上述したように、共一次補間又は双三次補間等の標準的なリサンプリング方法を使用してアンダーサンプリング画像をアップサンプリングする場合、エイリアシングにより著しいのこぎり歯状のアーチファクトが発生する。データに依存しないアップサンプリングを実行する前にエイリアス周波数をアンラッピングすることにより、そのようなアーチファクトは本開示に従って回避される。画像特徴の配向により判定されるエイリアス周波数をアンラッピングすることにより、画像特徴の高解像度スペクトルは回復される。アンラッピングされた周波数スペクトルは、拡張された周波数スペクトルとも呼ばれてもよい。エイリアス周波数をアンラッピングすることで画像をリサンプリングすることは、配向適応技術であり、１つの構成において図３の配向適応段階３３０により実現される。
ハードウェアの実現例
図１７Ａ及び図１７Ｂは、説明される図３のアーキテクチャ及び種々の構成を実施できる汎用コンピュータシステム１７００を示す。

図１７Ａに示されるように、コンピュータシステム１７００は、コンピュータモジュール１７０１と、キーボード１７０２、マウスポインタデバイス１７０３、スキャナ１７２６、撮像用のカメラ１７２７及びマイク１７８０等の入力デバイスと、プリンタ１７１５、表示装置１７１４及びスピーカ１７１７を含む出力デバイスとを備える。外部変復調器（モデム）送受信機デバイス１７１６は、接続１７２１を介して通信ネットワーク１７２０と通信するためにコンピュータモジュール１７０１により使用されてもよい。通信ネットワーク１７２０は、インターネット、セルラ電気通信ネットワーク等のワイドエリアネットワーク（ＷＡＮ）又は専用ＷＡＮであってもよい。接続１７２１が電話線である場合、モデム１７１６は従来の「ダイヤルアップ」モデムであってもよい。あるいは、接続１７２１が大容量（例えば、ケーブル）接続である場合、モデム１７１６はブロードバンドモデムであってもよい。無線モデムは、通信ネットワーク１７２０に無線接続するために更に使用されてもよい。

コンピュータモジュール１７０１は、一般に、少なくとも１つのプロセッサユニット１７０５と、メモリユニット１７０６とを備える。例えばメモリユニット１７０６は、半導体ランダムアクセスメモリ（ＲＡＭ）及び半導体読み出し専用メモリ（ＲＯＭ）を有してもよい。コンピュータモジュール１７０１は、ビデオディスプレイ１７１４、スピーカ１７１７及びマイク１７８０に接続するオーディオ−ビデオインタフェース１７０７と、キーボード１７０２、マウス１７０３、スキャナ１７２６、カメラ１７２７及び必要に応じてジョイスティック又は他のヒューマンインタフェースデバイス（不図示）に接続する入出力（Ｉ／Ｏ）インタフェース１７１３と、外部モデム１７１６及びプリンタ１７１５用のインタフェース１７０８とを含む複数のＩ／Ｏインタフェースを更に備える。いくつかの実現例において、モデム１７１６は、インタフェース１７０８等のコンピュータモジュール１７０１内に組み込まれてもよい。コンピュータモジュール１７０１は、接続１７２３を介してコンピュータシステム１７００がローカルエリアネットワーク（ＬＡＮ）として既知であるローカルエリア通信ネットワーク１７２２に接続できるようにするローカルネットワークインタフェース１７１１を更に有する。図１７Ａに示されるように、ローカル通信ネットワーク１７２２は、一般にいわゆる「ファイアウォール」デバイス又は同様の機能性を備えたデバイスを含むワイドネットワーク１７２０に接続１７２４を介して更に接続してもよい。ローカルネットワークインタフェース１７１１は、Ｅｔｈｅｒｎｅｔ回路カード、Ｂｌｕｅｔｏｏｔｈ^ＴＭ無線装置又はＩＥＥＥ８０２．１１無線装置を備えてもよいが、多数の他の種類のインタフェースがインタフェース１７１１に対して実施されてもよい。

Ｉ／Ｏインタフェース１７０８及び１７１３は、直列接続性及び並列接続性のいずれか一方又は双方を提供してもよい。一般に直列接続性は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格に従って実現され、対応するＵＳＢコネクタ（不図示）を有する。記憶装置１７０９が提供され、一般に記憶装置１７０９は、ハードディスクドライブ（ＨＤＤ）１７１０を含む。フロッピディスクドライブ及び磁気テープドライブ（不図示）等の他の記憶装置が更に使用されてもよい。光ディスクドライブ１７１２は、一般に、データの不揮発性ソースとして動作するように提供される。例えば、光ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ^ＴＭ）、ＵＳＢ−ＲＡＭ、取り外し可能な外部ハードドライブ及びフロッピディスク等のポータブルメモリ装置は、システム１７００に対する適切なデータソースとして使用されてもよい。

コンピュータモジュール１７０１の構成要素１７０５〜１７１３は、一般に、結果として当業者に既知であるコンピュータシステム１７００の動作の従来のモードから得られる方法で相互接続バス１７０４を介して通信する。例えばプロセッサ１７０５は、接続１７１８を使用してシステムバス１７０４に接続される。同様に、メモリ１７０６及び光ディスクドライブ１７１２は、接続１７１９によりシステムバス１７０４に接続される。説明した構成を実施できるコンピュータの例には、ＩＢＭのＰＣ及び互換性のあるもの、Ｓｕｎ Ｓｐａｒｃｓｔａｔｉｏｎｓ^ＴＭ、Ａｐｐｌｅ Ｍａｃ^ＴＭ又は同様のコンピュータシステムが含まれる。

画像アップサンプリングの方法は、コンピュータシステム１７００を使用して実現されてもよい。説明される図３〜図１６の処理は、コンピュータシステム１７００内で実行可能な１つ以上のソフトウェアアプリケーションプログラム１７３３として実現されてもよい。特に、アップサンプリング方法のステップは、コンピュータシステム１７００内で実行されるソフトウェア１７３３で命令１７３１（図１７Ｂを参照）により実施される。ソフトウェア命令１７３１は、各々が１つ以上の特定のタスクを実行する１つ以上のコードモジュールとして形成されてもよい。ソフトウェアは２つの別個の部分に更に分割されてもよく、第１の部分及び対応するコードモジュールはアップサンプリング方法を実行し、第２の部分及び対応するコードモジュールは、第１の部分とユーザとの間のユーザインタフェースを管理する。

例えばソフトウェアは、以下に説明する記憶装置を含むコンピュータ可読媒体に格納されてもよい。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム１７００にロードされ、コンピュータシステム１７００により実行される。そのようなソフトウェア又はコンピュータプログラムを記録したコンピュータ可読媒体は、コンピュータプログラム製品である。コンピュータシステム１７００においてコンピュータプログラム製品を使用することにより、周波数アンラッピングを使用して画像アップサンプリング又は画像リサンプリング用の有利な装置を実施することが好ましい。

一般にソフトウェア１７３３は、ＨＤＤ１７１０又はメモリ１７０６に格納される。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム１７００にロードされ、コンピュータシステム１７００により実行される。従って、例えばソフトウェア１７３３は、光ディスクドライブ１７１２により読み出される光学的に読み出し可能なディスク記憶媒体（例えば、ＣＤ−ＲＯＭ）１７２５上に格納されてもよい。そのようなソフトウェア又コンピュータプログラムを記録したコンピュータ可読媒体は、コンピュータプログラム製品である。コンピュータシステム１７００においてコンピュータプログラム製品を使用することにより、画像アップサンプリング／リサンプリング用の装置を実施することが好ましい。

いくつかの例において、アプリケーションプログラム１７３３は、１つ以上のＣＤ−ＲＯＭ１７２５上で符号化された状態でユーザに提供されてもよく、対応するドライブ１７１２を介して読み出されてもよい。あるいは、アプリケーションプログラム１７３３は、ユーザによりネットワーク１７２０又は１７２２から読み出されてもよい。また、ソフトウェアは、他のコンピュータ可読媒体からコンピュータシステム１７００に更にロードされる。コンピュータ可読記憶媒体は、実行及び／又は処理するために記録された命令及び／又はデータをコンピュータシステム１７００に提供するあらゆる非一時的な有形記憶媒体を示す。そのような記憶媒体の例には、フロッピディスク、磁気テープ、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ^ＴＭ、ハードディスクドライブ、ＲＯＭ又は集積回路、ＵＳＢメモリ、光磁気ディスク、あるいは例えばＰＣＭＣＩＡカード等のコンピュータ可読カードが含まれ、そのようなデバイスは、コンピュータモジュール１７０１の内部又は外部にある。ソフトウェア、アプリケーションプログラム、命令及び／又はデータをコンピュータモジュール１７０１に提供することに更に関係してもよい一時的又は非一時的なコンピュータ可読伝送媒体の例には、無線送信チャネル又は赤外線送信チャネル及び別のコンピュータ又はネットワーク化されたデバイスへのネットワーク接続、並びに電子メール送信及びウェブサイト上等に記録された情報を含むインターネット又はイントラネットが含まれる。

上述したアプリケーションプログラム１７３３の第２の部分及び対応するコードモジュールは、ディスプレイ１７１４上にレンダリングされるかあるいは表される１つ以上のグラフィカルユーザインタフェース（ＧＵＩ）を実現するように実行されてもよい。一般にキーボード１７０２及びマウス１７０３を操作することにより、コンピュータシステム１７００及びアプリケーションのユーザは、ＧＵＩと関連付けられたアプリケーションに制御コマンド及び／又は入力を提供するように機能的に適応可能な方法でインタフェースを操作してもよい。他の形式の機能的に適応可能なユーザインタフェース、例えばスピーカ１７１７を介して出力された音声プロンプト及びマイク１７８０を介して入力されたユーザボイスコマンドを利用するオーディオインタフェースが更に実現されてもよい。

図１７Ｂは、プロセッサ１７０５及び「メモリ」１７３４を示す詳細な概略ブロック図である。メモリ１７３４は、図１７Ａのコンピュータモジュール１７０１がアクセス可能な全てのメモリモジュール（ＨＤＤ１７０９及び半導体メモリ１７０６を含む）の論理的な集合体を示す。

コンピュータモジュール１７０１の電源が最初に投入される場合、power-on self-test（ＰＯＳＴ）プログラム１７５０が実行する。一般にＰＯＳＴプログラム１７５０は、図１７Ａの半導体メモリ１７０６のＲＯＭ１７４９に格納される。ソフトウェアを格納するＲＯＭ１７４９等のハードウェアデバイスは、ファームウェアと呼ばれる場合もある。ＰＯＳＴプログラム１７５０は、コンピュータモジュール１７０１内のハードウェアを調査して適切に機能することを保証し、一般に、正しく動作するために、プロセッサ１７０５、メモリ１７３４（１７０９、１７０６）及び一般にＲＯＭ１７４９に更に格納された基本入出力システム（ＢＩＯＳ）ソフトウェアモジュール１７５１をチェックする。ＰＯＳＴプログラム１７５０が正常に実行したら、ＢＩＯＳ１７５１は図１７Ａのハードディスクドライブ１７１０を起動する。ハードディスクドライブ１７１０を起動することにより、ハードディスクドライブ１７１０上に常駐するブートストラップローダプログラム１７５２がプロセッサ１７０５を介して実行する。これにより、オペレーティングシステム１７５３は、ＲＡＭメモリ１７０６にロードされると動作を開始する。オペレーティングシステム１７５３は、プロセッサ１７０５により実行可能なシステムレベルのアプリケーションであり、プロセッサ管理、メモリ管理、デバイス管理、ストレージ管理、ソフトウェアアプリケーションインタフェース及び汎用ユーザインタフェースを含む種々のハイレベルな機能を実行する。

オペレーティングシステム１７５３は、メモリ１７３４（１７０９、１７０６）を管理し、コンピュータモジュール１７０１上で実行する処理又はアプリケーションの各々が別の処理に割り当てられたメモリと衝突することなく実行する十分なメモリを有することを保証する。また、図１７Ａのシステム１７００で使用可能な種々のメモリは、各処理が効率的に実行できるように適切に使用されなければならない。従って、集約メモリ１７３４は、メモリの特定の部分がどのように割り当てられるのかを示すことを意図するのではなく（特に記載されない限り）、コンピュータシステム１７００によりアクセス可能なメモリの概略図及びそのようなメモリがどのように使用されるのかを提供する。

図１７Ｂに示されるように、プロセッサ１７０５は、制御ユニット１７３９、演算論理装置（ＡＬＵ）１７４０及びキャッシュメモリと呼ばれる場合もあるローカルメモリ又は内部メモリ１７４８を含む多数の機能モジュールを含む。一般にキャッシュメモリ１７４８は、レジスタ部に複数の記憶レジスタ１７４４〜１７４６を含む。１つ以上の内部バス１７４１は、これらの機能モジュールを機能的に相互接続する。一般にプロセッサ１７０５は、接続１７１８を使用してシステムバス１７０４を介して外部デバイスと通信する１つ以上のインタフェース１７４２を更に有する。メモリ１７３４は、接続１７１９を使用してバス１７０４に接続される。

アプリケーションプログラム１７３３は、条件付き分岐命令及びループ命令を含んでもよい一連の命令１７３１を含む。プログラム１７３３は、プログラム１７３３を実行するために使用されるデータ１７３２を更に含んでもよい。命令１７３１及びデータ１７３２は、それぞれ、記憶場所１７２８、１７２９、１７３０及び１７３５、１７３６、１７３７に格納される。命令１７３１及び記憶場所１７２８〜１７３０の相対的なサイズに依存して、特定の命令は、記憶場所１７３０に示された命令により示されたように単一の記憶場所に格納されてもよい。あるいは、命令は、記憶場所１７２８及び１７２９に示された命令部分により示されたように、各々が別個の記憶場所に格納される多数の部分にセグメント化されてもよい。

一般にプロセッサ１７０５は、そこで実行される命令の集合を与えられる。プロセッサ１１０５は、命令の別の集合を実行することによりプロセッサ１７０５が反応する後続の入力を待つ。各入力は、入力デバイス１７０２、１７０３の１つ以上により生成されたデータ、ネットワーク１７２０、１７０２のうちの一方を介して外部ソースから受信したデータ、記憶装置１７０６、１７０９のうちの一方から検索したデータ又は対応する読み取り装置１７１２に挿入された記憶媒体１７２５から検索したデータを含む多数のソースのうちの１つ以上から提供されてもよく、その全てを図１７Ａに示す。いくつかの例において、命令の集合を実行した結果、データが出力される。実行することは、データ又は変数をメモリ１７３４に格納することを更に含んでもよい。

開示されるアップサンプリング構成は、対応する記憶場所１７５５、１７５６、１７５７においてメモリ１７３４に格納される入力変数１７５４を使用する。アップサンプリング構成は、対応する記憶場所１７６２、１７６３、１７６４においてメモリ１７３４に格納される出力変数１７６１を生成する。中間変数１７５８は、記憶場所１７５９、１７６０、１７６６及び１７６７に格納されてもよい。

図１７Ｂのプロセッサ１７０５を参照すると、レジスタ１７４４、１７４５、１７４６、演算論理装置（ＡＬＵ）１７４０及び制御ユニット１７３９は、プログラム１７３３を構成する命令集合において命令毎に「取り込み、復号化及び実行」サイクルを実行するのに必要なマイクロ動作のシーケンスを実行するように共に動作する。取り込み、復号化、及び実行、のサイクルの各々は、以下を含む。

（ａ）記憶場所１７２８、１７２９、１７３０からの命令１７３１を取り込むかあるいは読み取る取り込み動作
（ｂ）制御ユニット１７３９が取り込まれた命令を判定する復号化動作
（ｃ）制御ユニット１７３９及び／又はＡＬＵ１７４０が命令を実行する実行動作
その後、次の命令に対する更なる取り込み、復号化、及び実行、のサイクルが実行されてもよい。同様に、制御ユニット１７３９が値を記憶場所１７３２に格納するかあるいは書き込むことにより、格納サイクルが実行されてもよい。

図３〜図１６の処理におけるステップ又はサブ処理の各々は、プログラム１７３３の１つ以上のセグメントと関連付けられ、プログラム１７３３の示された部分に対して命令集合において命令毎に取り込み、復号化、及び実行、のサイクルを実行するように共に動作するプロセッサ１７０５のレジスタ部１７４４、１７４５、１７４７、ＡＬＵ１７４０及び制御ユニット１７３９により実行される。

画像サンプリングの方法又はそれらの一部は、画像アップサンプリング／リサンプリングの機能又はサブ機能を実行する１つ以上の集積回路等の専用ハードウェアで代わりに実現されてもよい。そのような専用ハードウェアは、例えばフーリエ変換を実行するためのグラフィックプロセッサ、デジタル信号プロセッサ又は１つ以上のマイクロプロセッサ及び連想メモリを備えてもよい。
周波数アンラッピングのフーリエドメインの実現例
図４は、フーリエドメインにおける周波数アンラッピングにより画像をリサンプリングすることで入力画像の周波数スペクトルを拡張する方法４９９を示すフローチャートである。方法４９９は、上述のアプリケーションプログラム１７３３の構成要素等のソフトウェアにおいて実行され、且つ例えばカメラ１７２７により撮像されてＨＤＤ１７１０上に格納されるか、あるいはネットワーク１７２０及び１７２２又は記憶媒体１７２５からコンピュータモジュール１７０１に供給された画像データに対してコンピュータシステム上で実行可能であることが好ましい。所望の出力解像度は、更に図３の低解像度画像３００に対応するステップ４００における低解像度画像を入力とし、且つ図３の適応的にアップサンプリングされた画像３４０に対応する高解像度画像４０５を出力する方法に入力される。所望の出力解像度は、所定の値であってもよく、あるいはユーザが１つの解像度を選択するために例示的な出力解像度のピックリストを提示したディスプレイ１７１４上に表されたＧＵＩ等のユーザインタフェースを介して入力されてもよい。ＧＵＩは、任意の所望の出力解像度を入力する機会を更にユーザに与えてもよい。図５、図６、図７、図８及び図９を参照して図４の方法を説明する。

方法４９９は局所領域抽出段階４１０において開始し、入力画像４００の領域をウィンドウアウト又は抽出する。一般に領域は、３２画素×３２画素でサイズを決められるが、広範囲の領域サイズが使用されてもよい。単一の画素が領域として使用されてもよいが、一般に領域は、グリッド上で複数の画素により形成されるため、少なくとも４つの画素が必要である。拡張された周波数スペクトルは、入力画像の局所化領域毎にそのように判定され、各領域は、高解像度出力画像における出力サンプル位置に対応する。ステップ４２０において、方法４９９はステップ３１０から推定された配向３２０を受信する。局所領域の配向は、一般に、エネルギーテンソル、二乗勾配テンソル、構造テンソル又は他のそのような手法を使用して少なくとも推定あるいは判定される。一般に、領域は矩形であり、配向は、一般に更に矩形である入力画像の軸と整列され、画素は入力画像の入力グリッド上にある。

配向推定後、選択された領域のスペクトルは、ナイキスト限界が０．５サイクル／画素から１サイクル／画素に増加するように算出される。これは、１／２だけ帯域幅を拡張することに等しい。これは、拡張スペクトル算出段階４３０により実行される。そのようなスペクトル５００の一例を図５に示す。図５は、０．５サイクル／画素における元のナイキスト限界５０５と、高解像度画像特徴のスペクトルに対応するアンラッピングされた主スペクトル成分又は主周波数５１０と、ナイキスト限界を２倍にした結果得られる複製帯域５２０とを示す。ナイキスト限界は、空間ドメイン又はフーリエドメインにおいて増加してもよい。増加したナイキスト限界を含む周波数スペクトルは、拡張された周波数スペクトルに等しい。

空間ドメインにおいてナイキスト限界を２倍にするために、ゼロサンプルが領域の各画素間に挿入される。この動作の結果得られる領域を分解領域と呼ぶ。図６は、図１の領域に対応する分解領域の一例を示す。３２画素×３２画素の局所領域の場合、結果として得られる分解領域は６４画素×６４画素である。次に、ステップ４３０に従って増加したナイキスト限界を含むスペクトルは、分解領域の離散フーリエ変換を計算することで算出される。

フーリエドメインにおいて増加したナイキスト限界を含むスペクトルを算出するために、局所領域のスペクトルは、隣接タイルにおける局所領域のスペクトルを複製することでタイル表示されてもよい。拡張スペクトルを算出する別の方法９９９を図９に示す。方法９９９は、スペクトル算出段階９１０により入力画像９００の離散フーリエ変換（ＤＦＴ）を算出することで開始する。例えば方法９９９が方法４９９のステップ４３０で代わりに使用される場合、入力画像９００はより大きな画像の領域又はタイルであってもよい。次に、ステップ９１０からのスペクトル画像は、１／２だけ拡大することによりステップ９２０でサイズ変更される。これは、スペクトル画像をゼロで埋めることで実行される。これはフーリエ補間として既知である。次に、逆ＤＦＴは空間ドメインへの変換段階９３０により算出される。その後、結果として得られる空間ドメイン画像９３５は、結果として得られる画像のスペクトルが入力画像の元のナイキスト限界を超えてシフトされるようにステップ９４０で変調される。

そのようなスペクトル８００の一例を図８に示す。図８は、入力画像９００のナイキスト限界に対応する元のナイキスト限界８３０と、拡張されたナイキスト限界８５０と、ステップ９４０で使用された変調周波数８４０と、変調の結果２つの部分８１０を有する主スペクトル成分と、エイリアス成分８２０とを示す。変調は、元のナイキスト限界を超えて結果として得られる画像をシフトするように空間ドメイン画像９３５にコサイン画像を掛けることで実行される。図２のスペクトルに対応する画像特徴がほぼ垂直である時、コサイン画像の水平周波数はゼロであり、垂直周波数はナイキスト限界８５０に等しい。ほぼ水平の画像特徴の場合、コサイン画像の垂直周波数はゼロに設定され、水平周波数はナイキスト限界８５０に設定される。

ステップ９４０での変調後、空間ドメイン画像９３５及び変調画像９４５は、合成段階９５０により共に追加される。最後に、合成画像９５５のＤＦＴは、入力画像９００の拡張スペクトル９７０を出力するスペクトル算出段階９６０により実行される。

図４に戻り、領域の配向が既知である時、スペクトルは、剪断（shear）変換又は回転変換を実現するスペクトル整列段階４４０によりサンプリング軸に対して整列される。この一例を図７に示す。図７は、図５のスペクトルを剪断した結果を示す。それにより、例えば主周波数帯域成分５１０は、水平軸に対して整列され且つ帯域７３０内にある成分７１０を与えるように変換される。このように図５のスペクトルを剪断することにより、帯域７３０が複製成分７２０を全く含まず且つ１次元フィルタを使用してフィルタリングを可能にすることを保証する。

スペクトルがスペクトル整列段階４４０によりサンプリング軸と整列された後、アンチエイリアシング段階４５０に進む。この段階の目的は、結果として得られるスペクトルが主周波数成分７１０のみを含むように、主周波数成分７１０を維持しつつ、複製成分７２０を除去するようにアンチエイリアシングフィルタを適用することである。これは、ローパスフィルタの通過帯域が帯域７３０に対応する垂直方向に構成されたローパスフィルタを使用して図７の例に対して実行される。この場合、複製成分７２０は、フィルタのローパス帯域より大きい正の周波数及び負の周波数である。あるいは、複製成分７２０の場所に対応するいくつかのノッチを含むノッチフィルタが使用されてもよい。

アンチエイリアシングフィルタ段階４５０の後、画像は、配向推定段階４２０により測定されたスペクトルの配向を復元する段階４６０に進む。これは、剪断変換又は回転変換を使用して実行され、スペクトル整列段階４４０により実行された動作の逆である。次に逆ＤＦＴは、空間ドメインへの変換段階４７０により結果として得られるスペクトルに適用されて現在の領域に対する空間ドメイン画像を形成する。空間ドメイン画像は、アップサンプリング画像が形成される出力グリッドの位置において画素を含む。最後に、空間ドメイン画像は格納段階４８０に進む。格納段階４８０は、現在の領域の空間ドメイン画像を例えばメモリ１７０６に格納された出力画像における対応する場所に書き込む。

その後、局所領域抽出段階４１０により次の領域を処理するか、あるいは入力画像４００全体が処理されている場合には画像をリサンプリング段階４９０に送出するかを判定する判断段階４８５に進む。周波数アンラッピングの処理が画像のサイズを２倍にする時、アップサンプリング又はダウンサンプリングにより画像を適宜所望の出力解像度に更にサイズ変更するためにリサンプリング段階４９０が必要である。エイリアス周波数が回復されている時、アーチファクトを発生させずにアンラッピングされた２倍サイズの画像の画素間の補間画素値を判定するために、リニア補間又はバイキュービック補間等の簡単なデータ独立補間を使用できる。補間値の数は、所望の出力解像度を使用して判定される。リサンプリング段階４９０の出力は高解像度画像４０５である。プロセッサ１７０５は、出力画像の一部としてＨＤＤ１７１０等のメモリに高解像度画像４０５を格納できる。

所望の出力解像度が単に入力画像の２倍である場合、アンラッピングされた２倍サイズの画像が使用されてもよく、リサンプリングステップ４９０は必要ない。例えば入力画像の５倍の所望の出力解像度が必要な場合、アンラッピングされた２倍サイズの画像の出力画素の各対間で３つの画素値を補間するためにリサンプリングステップ４９０が必要である。
周波数アンラッピングの空間ドメインの実現例
図４に示されたようなフーリエドメインにおける周波数アンラッピングにより画像リサンプリングを実現することの代わりとなるものは、図１０の方法１０９９に示されるような空間ドメインの実現例である。方法１０９９は、図３の低解像度画像３００に対応する低解像度画像と共に所望の出力解像度が入力される（１０００）。方法１０９９は、図３の適応的にアップサンプリングされた画像３４０に対応する高解像度画像１０９０を出力する。図１１を参照して図１０の方法を説明する。図１１は、実質的に入力画素１１００の全範囲により規定された局所領域１１８０における画素位置の入力水平／垂直グリッドにおいて形成された入力画素１１００と、出力画素１１１０と、この場合は線又はエッジである画像特徴１１５０に対する補助点１１１５との間の関係を示す。出力画素１１１０は、所望の解像度のアップサンプリング画像の画素の出力グリッドにおける出力位置にある。一般に、画素の出力グリッドは、解像度の差異にもかかわらず、入力画像における画素の入力グリッドと整列する。

第１のステップとして、位置判定段階１０１０は、出力画像における現在の出力画素１１１０の位置及び入力画像における対応するサブ画素位置を算出する。画像特徴１１５０の局所的配向１１６０は、入力画像におけるサブ画素位置を使用して配向推定段階１０２０により推定される。局所的配向は、エネルギーテンソル、二乗勾配テンソル、構造テンソル又は他のそのような手法を使用して推定される。

局所的配向１１６０の推定値を与えられると、画像特徴１１５０はサンプリング軸に対して整列される。図１１の例の場合、画像特徴１１５０は、入力画素１１００のグリッドの軸である垂直グリッド１１４０に対して整列される。これは、画像特徴に沿う補助点１１１５の集合の位置及び強度を推定（又は評価）することにより実行される。最初に、補助点１１１５の位置は補助点算出段階１０３０により判定される。補助点１１１５は、現在の出力画素１１１０の両側で画像特徴１１５０に沿って位置決めされる。画像特徴１１５０がほぼ水平であるため、補助点１１１５は、入力画像画素１１００のグリッドの水平方向である行上、すなわちグリッドの水平軸と画像特徴（エッジ）１１５０との交点にあるように位置決めされる。ほぼ垂直の画像特徴の場合、補助点は、入力画像画素グリッドの垂直方向である列上にあるように制限される。補助点の数は、アンチエイリアシングフィルタの品質に比例し、一般に９に設定される。補助点の場所を与えられると、強度推定段階１０４０により算出される各補助点の強度の推定値が必要である。単一の画素位置の場合、処理１０３０及び１０４０は、入力画像画素の領域に対する周波数スペクトルを拡張し、且つ拡張された周波数スペクトル内のサンプリンググリッドの少なくとも一方向においてエッジ１１５０の主周波数帯域を整列するように動作する。

補助点１１１５の強度を推定するために、最初にゼロ画素１１３０は、出力画素１１１０と関連付けられた局所領域内の各入力画素１１００間に挿入され、分解局所領域を与える。結果として得られる分解領域は、０．５サイクル／画素から１サイクル／画素に増加したナイキスト限界を有する。局所領域における各補助点１１１５は、分解領域において対応する場所を有する。次に、補助点の強度は、ウィンドウｓｉｎｃフィルタ等の１次元補間フィルタを分解領域における対応する点に集中させることで判定される。適切な補間フィルタの一例を図１３に示す。図１３は、連続ウィンドウｓｉｎｃフィルタ１３００及び１９タップ離散化１３１０を示す。補間は、ほぼ水平の画像特徴の場合には水平軸に沿って適用され、ほぼ垂直の画像特徴の場合には垂直軸に沿って実行される。これは、拡張された周波数スペクトルの複製帯域と関連付けられた周波数を除去するように、サンプリンググリッドの少なくとも１つの他の方向でエッジ１１５０と同義であるエッジ１１５０の主周波数帯域をフィルタリングする効果を有する。

分解法及び補間法を使用して各補助点の強度を推定するためにコンピュータモジュール１７０１及び特にプロセッサ１７０５が必要とする計算が重要であってもよい。各補助点の強度を推定するより効率的な方法は、局所領域において直接補間を実行する方法である。これは、サブサンプリング補間フィルタを用いてフィルタリングすることにより達成される。例えば離散フィルタ１３１０は、１／２だけサブサンプリングされて、図１２のｓｉｎｃフィルタ１２００において示されるような「奇数」フィルタと呼ばれる９タップフィルタ１２１０及び「偶数」フィルタと呼ばれるような１０タップフィルタ１２２０（すなわち、奇数フィルタタップ及び偶数フィルタタップ）を生成してもよい。各補助点の強度は、偶数フィルタ又は奇数フィルタを使用して補間により推定される。偶数フィルタ又は奇数フィルタは、分解領域における補助点の対応する場所に基づいて選択される。すなわち、補助点の対応する場所が入力画素に最近接する場合、偶数フィルタが選択される。あるいは、補助点の対応する場所が挿入されたゼロ画素に最近接する場合、奇数フィルタが選択される。分解フィルタ方法に対する例と同様に、補間は、ほぼ水平の画像特徴に対する水平方向及びほぼ垂直の画像特徴に対する垂直方向に適用される。

各補助点の強度の推定値を与えられると、出力画素の強度は、１次元補間フィルタを実現する強度推定段階１０５０により推定されてもよい。補間フィルタは、補助点に適用され、図４の方法により使用されたアンチエイリアシングフィルタ４５０に等しい。従って、強度推定段階１０５０は、ローパスフィルタ又はノッチフィルタを実現する。図１１の画像特徴１１５０がほぼ水平である時、補間フィルタは出力画素１１１０のｙ成分に集中する。ほぼ垂直の画像特徴の場合、補間フィルタはｘ成分に集中する。

次に、例えば出力画素の値は、強度格納段階１０６０によりメモリ１７０６に格納され、判断段階１０７０に進む。判断段階１０７０において、プロセッサ１７０５は、出力画素位置判定段階１０１０により次の出力画素の位置を算出するか、あるいは処理対象の出力画素が残っていない場合には高解像度画像をリサンプリング段階１０８０に送出するかを判定する。周波数アンラッピングの処理が画像のサイズを２倍にする時、画像を所望の出力解像度にサイズ変更するためにリサンプリング段階１０８０が必要である。エイリアス周波数が回復されている時、アーチファクトを発生させずにリニア補間又は双三次補間等の簡単なデータ独立補間を使用できることにより、アンラッピングされた２倍サイズの画像の画素間の所望の出力解像度で画素値を形成する。最後に、リサンプリング段階１０８０の出力が出力され、高解像度画像１０９０を与える。
配向を推定する方法の説明
図１４は、例えば配向フィルタ３１０により実行されたような画像のサブ画素位置において局所的配向を推定する例示的な方法１４９９を示し、推定値３２０は、図４（ステップ４２０における）及び図１０（ステップ１０２０における）の周波数アンラッピング方法に入力される。配向ベクトル場１４９０は、入力画像１４００に対する配向推定方法１４９９により出力される。入力画像１４００に加えて、配向推定方法１４９９は、配向ベクトル場１４９０の解像度を特定することにより方法１４９９への入力を形成する所望の出力解像度等の出力解像度１４０２を必要とする。配向ベクトル場１４９０が複素数値画像として考えられてもよいため、各画素値は、実数部及び虚数部から成る複素数である。配向ベクトル場１４９０は、第１の複素画像１４６５及び第２の複素画像１４４５により形成されるエネルギー演算子から取得される。

第１の複素画像１４６５は、一次勾配算出段階１４１０により生成される。一次勾配算出段階１４１０において、複素画像１４６５の実数部は水平方向で入力画像１４００の勾配に比例し、虚数部は垂直方向で入力画像１４００の勾配に比例する。水平勾配及び垂直勾配はそれぞれ、プロセッサ１７０５が入力画像１４００をカーネルｒ_ｘ及びｒ_ｙで畳み込むことにより算出される。カーネルは以下のように規定される。

勾配場が複素空間において示される時、配向の１８０度の周期性は、プロセッサ１７０５が勾配場の各値の二乗を判定することにより段階１４５０で勾配場を倍角表示に変換することで回避される。二乗を算出するために、勾配場におけるベクトルは複素数として処理される。

次に、第１の複素画像１４６５は、プロセッサ１７０５が倍角表示を平滑化するように平均化フィルタ１４６０を適用することにより取得される。平均化フィルタ１４６０は、倍角表示をカーネルｂで畳み込むことにより実現されてもよい。１つのそのようなカーネルは以下の通りである。

エネルギー演算子段階１４７０に入力される第２の複素画像１４４５を算出するために、入力画像１４００の二次勾配場１４２５が必要である。これは段階１４２０で算出される。二次勾配場は、更に複素画像として考えられてもよく、プロセッサ１７０５がカーネルｒ_ｘ及びｒ_ｙを一次勾配場１４１５に適用することにより算出される。二次勾配場１４２５の実数部は、２つの実像間の差に等しい。これらの画像の第１の画像は、勾配場１４１５の実数部及びｒ_ｘを畳み込むことで形成される。同様に、第２の画像は、勾配場１４１５の虚数部及びｒ_ｖを畳み込むことで形成される。二次勾配場１４２５の虚数部は、プロセッサ１７０５が勾配場１４１５の実数部を２倍にし、且つその結果をｒ_ｘで畳み込むことにより生成される。同等に、二次勾配場１４２５の虚数部は、勾配場１４１５の虚数部を２倍にし、且つその結果をｒ_ｙで畳み込むことにより生成されてもよい。

二次勾配場１４２５に加えて、入力画像１４００のハイパスフィルタリング画像１４３５は、第２の複素画像１４４５を算出するために使用される。画像１４００のＤＣ成分が配向推定方法と干渉するため、ハイパスフィルタリング画像１４３５は、画像１４００のＤＣ成分を除去するために使用されるハイパスフィルタ１４３０により生成される。ハイパスフィルタ１４３０は、プロセッサ１７０５が画像１４００をカーネルｈで畳み込むことにより実現される。この構成において、ハイパスフィルタカーネルは以下の通りである。

次に、第２の複素画像１４４５は合成段階１４４０により形成される。これは、プロセッサ１７０５がハイパスフィルタリング画像１４３５に二次勾配場１４２０を掛けることにより達成される。乗算は画素単位の演算として実現される。

２つの複素画像１４６５及び１４４５を与えられると、次に複素エネルギー演算子は、プロセッサ１７０５が第１の複素画像１４６５から第２の複素画像１４４５を減算することにより段階１４７０で算出される。この演算の結果を複素画像１４７５であるとも考えることができる。次に、複素エネルギー演算子画像１４７５は、サイズ変更段階１４８０により所望の出力解像度に補間される。これは、プロセッサ１７０５が入力解像度１４０２を使用して最近接の隣接補間又はリニア補間を別個に複素エネルギー演算子画像の実数部及び虚数部に適用することにより実現されてもよい。あるいは、水平勾配及び垂直勾配は、多相フィルタリングを使用して解像度１４０２により規定された画像１４００のサブ画素位置においてプロセッサ１７０５により直接算出されてもよい。これにより、補間を用いずに入力画像１４００のサブ画素位置における配向を直接推定できる。サイズ変更段階１４８０により出力された配向ベクトル場１４９０の各画素を入力画像１４００における対応する場所の倍角形式の配向を示すベクトルとして考えることができる。
周波数アンラッピングによる画像リサンプリングの別の適応例
周波数アンラッピングによるリサンプリングは、いくつかのサブ画像を含む画像からアーチファクトを除去するために更に使用されてもよい。例えば図１５は、干渉計により撮像された画像の振幅スペクトル１５００を示す。図１５のスペクトル１５００は、ＤＣ成分１５１０、水平成分１５２０、垂直成分１５３０及び調和成分１５４０を特徴とする。ＤＣ成分１５１０、水平成分１５２０及び垂直成分１５３０の各々が特定のサブ画像に対応するため、それらはサブスペクトルであると考えられる。搬送周波数又は主周波数及び各サブスペクトルの帯域幅のため、各サブスペクトルと調和成分１５４０との間にはかなりの干渉がある。この干渉により、各サブスペクトルの対応するサブ画像を抽出する際に深刻なアーチファクトが発生する。これらのアーチファクトを、本開示に係る周波数アンラッピングにより抽出されたサブ画像をリサンプリングすることで減少させてもよい。

図１６は、図１５のサブスペクトルに対応するサブ画像を抽出する方法１６９９のフローチャートを示す。干渉計画像１６００、所望の出力解像度１６０２及びサブ画像の搬送波周波数１６０４の各々は、サブ画像１６７０を出力する方法に入力される。

方法１６９９は、周波数ドメインへの変換段階１６１０において開始する。周波数ドメインへの変換段階１６１０において、プロセッサ１７０５は干渉計画像１６００のＤＦＴを算出する。これに続いて、サブスペクトルは、復調段階１６２０によりサブ画像の搬送波周波数１６０２に基づいてＤＣにシフトされる。復調段階１６２０において、プロセッサ１７０５は、図９の変調段階９４０の成分に類似した処理を実行する。次に、サブスペクトルを含む領域は、ステップ１６３０でプロセッサ１７０５により抽出され、プロセッサ１７０５が逆ＤＦＴを実現する段階１６４０により空間ドメインに変換される。画像１６００が干渉計により撮像された時、画像１６００の位相は段階１６５０により算出される。次に、位相画像である位相算出段階１６５０の出力は、図４又は図１０により説明された方法のうちの１つを実現する周波数アンラッピングによるリサンプリング段階１６６０に進む。リサンプリング段階１６６０の出力は、減少したアーチファクトを含むサブ画像１６７０である。

産業上の適用例
説明した構成は、コンピュータ産業及びデータ処理産業、並びに特に解像度を向上させるための画像のダウンサンプリングに対して特に画像からのこぎり歯状のエッジを除去することに適用可能である。

上記の記述は本発明のいくつかの実施形態のみを説明し、本発明の範囲及び趣旨から逸脱せずに、いくつかの実施形態に対して変形及び／又は変更を行なうことができる。実施形態は、限定するものではなく例示するものである。

［関連特許出願の参照］
本出願は、２０１２年４月２０日に出願されたオーストラリア国特許出願第２０１２２０２３４９号についての優先権を、３５Ｕ．Ｓ．Ｃ．セクション１１９に基づいて請求するものであり、その全ての記載内容の参照により本出願に援用する。

Claims (16)

1. 入力グリッド上の入力画像から出力画像の出力グリッド上の対応する所望の出力位置の少なくとも１つの画像値を決定する方法であって、
   （ａ）前記入力画像の局所化領域において前記出力位置を通過するエッジの配向を決定することと、
   （ｂ）前記入力画像の前記領域に対して周波数スペクトルを拡張することと、
   （ｃ）前記エッジの前記配向に基づいて、前記入力グリッド及び前記出力グリッドの集合から選択されるグリッドの第１のサンプリング軸に対して平行な前記拡張された周波数スペクトルにおいて前記エッジの主周波数帯域を整列することと、
   （ｄ）前記第１のサンプリング軸に対して直交する前記グリッドの第２のサンプリング軸に沿って前記整列された主周波数帯域をフィルタリングすることであり、前記フィルタリングすることが、複製帯域と関連付けられた周波数を除去し且つ前記主周波数帯域を維持することと、
   （ｅ）前記所望の出力位置において前記フィルタリングされたエッジから前記画像値を決定することと、
   （ｆ）前記決定された画像値を前記出力画像の一部として格納することと、
   を備えることを特徴とする方法。
2. 前記入力画像の前記第１のサンプリング軸は水平であることを特徴とする請求項１に記載の方法。
3. 前記入力画像の前記第１のサンプリング軸は垂直であることを特徴とする請求項１に記載の方法。
4. 前記主周波数帯域は剪断により整列されることを特徴とする請求項１に記載の方法。
5. 前記主周波数帯域は回転により整列されることを特徴とする請求項１に記載の方法。
6. 前記周波数スペクトルを拡張することは、サブサンプリング補間フィルタを用いて前記領域をフィルタリングすることを含むことを特徴とする請求項１に記載の方法。
7. 前記周波数スペクトルを拡張することは、
   前記入力画像の少なくとも一部のスペクトル画像を取得することと、
   前記スペクトル画像をサイズ変更することと、
   前記スペクトル画像を前記空間ドメインに変換して空間画像を形成することと、
   そのスペクトルが前記入力画像のナイキスト限界を超えてシフトするように前記空間画像を変調することと、
   前記空間画像と前記変調された空間画像とを合成して合成画像を形成することと、
   前記合成画像のスペクトルを取得して前記入力画像の拡張スペクトルを形成することと
   を含むことを特徴とする請求項１に記載の方法。
8. （ｇ）前記出力画像の少なくとも１つの更なる画像値に対して（ａ）〜（ｆ）を実行することと、
   （ｈ）前記画像値と前記更なる画像値との間で前記出力画像の少なくとも１つの更なる画像値を補間することで前記出力画像をリサンプリングすることとを更に備えることを特徴とする請求項１に記載の方法。
9. （ｇ）は、前記入力画像の領域に対して（ａ）〜（ｆ）を実行することを含み、（ｈ）は前記領域にわたりリサンプリングすることを含むことを特徴とする請求項８に記載の方法。
10. 低解像度入力画像をアップサンプリングして所望の出力解像度の高解像度出力画像を形成する方法であって、
    前記入力画像において局所化領域の局所的配向値を決定することと、
    前記所望の出力解像度を使用して前記入力画像をデフォルトアップサンプリングして第１の画像を形成することと、
    請求項１の方法に従って前記決定された局所的配向値を使用してその各局所化領域において前記入力画像を配向適応的にアップサンプリングして第２の画像を形成することと、
    前記決定された局所的配向値を使用して前記第１の画像と前記第２の画像とを合成して前記所望の解像度の前記出力画像を形成することと、
    を備えることを特徴とする方法。
11. 前記合成することは、前記第１の画像及び前記第２の画像のうちの１つから前記所望の解像度の出力画素値を選択することを含むことを特徴とする請求項１０に記載の方法。
12. 前記入力画像の領域に対して前記局所的配向値を前記決定することは、前記出力画像における所望の出力サンプル位置に対応する前記入力画像の局所化領域における高周波数遷移の配向又は局所化領域を通過する高周波数遷移の配向を決定することを含むことを特徴とする請求項１０に記載の方法。
13. 前記決定することは、
    （ｉ）前記入力画像の一次勾配場から取得した倍角表示及び平均化により第１の複素画像を生成することと、
    （ｉｉ）前記入力画像のハイパスフィルタリング画像を前記入力画像の前記一次勾配場から取得した二次勾配場と合成することにより、第２の複素画像を生成することと、
    （ｉｉｉ）前記複素画像からエネルギー演算子画像を形成することと、
    （ｉｖ）前記所望の出力解像度を使用して前記エネルギー演算子画像をサイズ変更して前記所望の出力解像度の前記入力画像の配向ベクトル場を形成することとを含むことを特徴とする請求項１２に記載の方法。
14. 出力解像度のサブスペクトルに対応するサブ画像を抽出するように干渉計入力画像を処理する方法であって、
    前記入力画像を前記サブ画像と関連付けられた前記サブスペクトルを含む周波数ドメイン画像に変換することと、
    前記サブ画像の搬送波周波数に基づいて前記サブスペクトルをＤＣにシフトすることと、
    前記サブ画像に対応する領域を抽出すること及び前記抽出された画像を前記空間ドメインに変換することと、
    前記空間ドメイン画像の位相を算出することと、
    前記空間ドメイン画像をリサンプリングして前記出力解像度の前記サブ画像を形成することであり、前記リサンプリングすることが、
    （ａ）前記入力画像の局所化領域において前記出力位置を通過するエッジの配向を決定することと、
    （ｂ）前記入力画像の前記領域に対して周波数スペクトルを拡張することと、
    （ｃ）前記エッジの前記配向に基づいて、前記入力グリッド及び前記出力グリッドの集合から選択されるグリッドの第１のサンプリング軸に対して平行な前記拡張された周波数スペクトルにおいて前記エッジの主周波数帯域を整列することと、
    （ｄ）前記第１のサンプリング軸に対して直交する前記グリッドの第２のサンプリング軸に沿って前記整列された主周波数帯域をフィルタリングすることであり、前記フィルタリングすることが、複製帯域と関連付けられた周波数を除去し且つ前記主周波数帯域を維持することと、
    （ｅ）前記所望の出力位置において前記フィルタリングされたエッジから前記画像値を決定することと、
    （ｆ）前記決定された画像値を前記出力画像の一部として格納することと、
    を備えることを特徴とする方法。
15. 入力グリッド上の入力画像から出力画像の出力グリッド上の対応する所望の出力位置の少なくとも１つの画像値を決定する演算装置であって、
    （ａ）前記入力画像の局所化領域において前記出力位置を通過するエッジの配向を決定する手段と、
    （ｂ）前記入力画像の前記領域に対して周波数スペクトルを拡張する手段と、
    （ｃ）前記エッジの前記配向に基づいて、前記入力グリッド及び前記出力グリッドの集合から選択されるグリッドの第１のサンプリング軸に対して平行な前記拡張された周波数スペクトルにおいて前記エッジの主周波数帯域を整列する手段と、
    （ｄ）前記第１のサンプリング軸に対して直交する前記グリッドの第２のサンプリング軸に沿って前記整列された主周波数帯域をフィルタリングする手段であり、前記フィルタリングする手段が、複製帯域と関連付けられた周波数を除去し且つ前記主周波数帯域を維持し、
    （ｅ）前記所望の出力位置において前記フィルタリングされたエッジから前記画像値を決定する手段と、
    （ｆ）前記決定された画像値を前記出力画像の一部として格納する手段と、
    を備えることを特徴とする演算装置。
16. 出力解像度のサブスペクトルに対応するサブ画像を抽出するように干渉計入力画像を処理する演算装置であって、
    前記入力画像を前記サブ画像と関連付けられた前記サブスペクトルを含む周波数ドメイン画像に変換する手段と、
    前記サブ画像の搬送波周波数に基づいて前記サブスペクトルをＤＣにシフトする手段と、
    前記サブ画像に対応する領域を抽出し、前記抽出された画像を前記空間ドメインに変換する手段と、
    前記空間ドメイン画像の位相を算出する手段と、
    前記空間ドメイン画像をリサンプリングして前記出力解像度の前記サブ画像を形成する手段とを備え、前記リサンプリングすることが、
    （ａ）前記入力画像の局所化領域において前記出力位置を通過するエッジの配向を決定することと、
    （ｂ）前記入力画像の前記領域に対して周波数スペクトルを拡張することと、
    （ｃ）前記エッジの前記配向に基づいて、前記入力グリッド及び前記出力グリッドの集合から選択されるグリッドの第１のサンプリング軸に対して平行な前記拡張された周波数スペクトルにおいて前記エッジの主周波数帯域を整列することと、
    （ｄ）前記第１のサンプリング軸に対して直交する前記グリッドの第２のサンプリング軸に沿って前記整列された主周波数帯域をフィルタリングすることであり、前記フィルタリングすることが、複製帯域と関連付けられた周波数を除去し且つ前記主周波数帯域を維持することと、
    （ｅ）前記所望の出力位置において前記フィルタリングされたエッジから前記画像値を決定することと、
    （ｆ）前記決定された画像値を前記出力画像の一部として格納することと、
    を備えることを特徴とする演算装置。