JP4162610B2 - 複数の低解像度の画像を使用して解像度が向上された画像を生成するための方法 - Google Patents

Description

本発明は、画像処理方法に関し、特に複数の低解像度の画像を使用して解像度が向上された画像を生成するための方法に関する。本発明の方法の技術的背景については、下記の参考文献を参照されたい。
［１］１９９１年、ＣＶＧＩＰ：Ｇｒａｐｈｉｃａｌ Ｍｏｄｅｌｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃ．の第５３巻、２３１〜２３９頁に掲載のＭ．ＩｒａｎｉおよびＳ．Ｐｅｌｅｇの「画像位置合わせによる解像度の改善」（Ｉｍｐｒｏｖｉｎｇ Ｒｅｓｏｌｕｔｉｏｎ ｂｙ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ）
［２］１９８４年、Ａｄｖａｎｃｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、第１巻（Ｔ．Ｓ．Ｈｕａｎｇ版）、Ｇｒｅｅｎｗｉｃｈ、ＣＴ：Ｊａｉ Ｐｒｅｓｓの３１７〜３３９頁に掲載のＲ．Ｙ．ＴｓａｉおよびＴ．Ｓ．Ｈｕａｎｇの「マルチフレーム画像復元および位置合わせ」（Ｍｕｌｔｉｆｒａｍｅ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ ａｎｄ Ｒｅｇｉｓｔｒａｔｉｏｎ）
［３］１９９４年、ＮＡＳＡ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＦＩＡ−９４−１２掲載のＰ．Ｃｈｅｅｓｅｍａｎ、Ｂ．Ｋａｎｅｆｓｋｙ、Ｒ．Ｋｒｕｆｔ、Ｊ．ＳｔｕｔｚおよびＲ．Ｈａｎｓｏｎの「複数の画像からの超解像面再構成」（Ｓｕｐｅｒ−Ｒｅｓｏｌｖｅｄ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｍｕｌｔｉｐｌｅ Ｉｍａｇｅｓ）
［４］１９９２年、カリフォルニア州サンフランシスコ開催の音響、音声および信号処理に関するＩＥＥＥ国際会議第ＩＩＩ巻、１６９〜１７２頁に掲載のＡ．Ｍ．Ｔｅｋａｌｐ、Ｍ．Ｋ．ＯｚｋａｎおよびＭ．Ｉ．Ｓｅｚａｎの「解像度の低い一連の画像に対する解像度の高い画像の再構成および空間変化画像の復元」（Ｈｉｇｈ−Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｏｒ Ｌｏｗｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ ａｎｄ Ｓｐａｃｅ−Ｖａｒｙｉｎｇ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ）
［５］１９９２年、マサチューセッツ州レディング、アディソン−ウェズリー社刊（Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ）、Ｒ．Ｃ．ＧｏｎｚａｌｅｚおよびＲ．Ｅ．Ｗｏｏｄｓの「デジタル画像処理」（Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）
［６］２００１年、ニューヨーク州、ワイリー社刊（Ｗｉｌｅｙ）、Ｗ．Ｋ．Ｐｒａｔｔの「デジタル画像処理」（Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）第２版
［７］米国特許第６，３３０，３４４号
［８］米国特許第５，９６９，８４８号

環境上の制約および画像センサの解像度により、低解像度の画像しか入手できない場合がある。人間の目で見た場合の画像の品質および解像度を改善するためには、２つ以上の入力画像が必要になる。一連の画像を使用して、不鮮明なシーン、ぼけた形状または品質の悪い不明瞭な対象物を、解像度が向上された出力画像として再構成して、その後で容易に観察および認識することができる。

低解像度の画像を使用して解像度が向上された画像の再構成に関する従来の研究は、主として反復法［１］、周波数領域法［２］、およびベイズの統計法［３］に分類される。上記方法の中では、現在までのところ、１９９１年にＩｒａｎｉ［１］が開発し、主として画像位置合わせにより解像度が向上された画像を再構成する反復アルゴリズムが、解像度が向上された画像の再構成に関する従来技術の中で、依然として最も信頼性が高い方法である。反復法は、主として３つの段階、すなわち、初期推量、イメージング・プロセス、および再構成プロセスからなる。反復法の上記３つの段階の手順については、本発明の詳細な説明にて詳細に記述する。

しかし、反復法で所定の拡大係数が大きくなるにつれて、すなわち、再構成した画像のサイズが大きくなるにつれて、反復法の計算時間が長くなることが分かっている。通常、反復法により画像を再構成するにはほぼ数時間かかるが、その時間はコンピュータ・システムの性能により異なる。

それ故、本発明の１つの目的は、Ｉｒａｎｉの反復法をベースとし、本発明の初期補間、自動画像選択、および頑強な画像位置合わせを使用する改良形解像度向上アルゴリズムにより、解像度が向上された画像を再構成するための方法を提供することである。さらに、本発明の方法により再構成された解像度向上画像を、その画像品質を向上するための画像エンハンスメント後処理で処理することができる。

一方、解像度が向上された画像を再構成するための従来のシステムは、全シーンに対して一定の変位で固定カメラを移動させることにより一連の低解像度の画像が捕捉された場合だけ、すなわち、再構成するのに必要な目標が静止しているシーンに関連する場合だけ良好に動作する。それ故、本発明のもう１つの目的は、再構成するのに必要な目標が静止しているシーンに関連する場合だけではなく、再構成するのに必要な目標が移動する対象物に関連する場合も良好に動作する解像度が向上された画像を再構成するための方法を提供することである。

本発明の目的は、改良形解像度向上アルゴリズムで、解像度が向上された画像を再構成するための方法を提供することである。さらに、反復法をベースとする本発明の方法は、本発明の初期補間、自動画像選択、および頑強な画像位置合わせを使用する。さらに、本発明の方法により再構成された解像度向上画像は、その画像の品質を向上するために画像エンハンスメント後処理により処理することができる。

本発明のもう１つの目的は、再構成するのに必要な目標が静止しているシーンに関連する場合だけでなく、再構成するのに必要な目標が移動する対象物に関連する場合も良好に動作する解像度が向上された画像を再構成するための方法を提供することである。

本発明の好ましい実施形態によれば、解像度が向上された画像を再構成するために、Ｍ個の第１の低解像度の画像が使用される。Ｍ個の第１の低解像度の画像は１つのシーンに関連する。Ｍ個の第１の画像各々は、均等にサンプリングされ、かつ量子化された一連のピクセルにより表示される。拡大係数の関係は、解像度が向上された画像とＭ個の第１の画像の各々との間に存在する。最初に、Ｍ個の第１の画像が記憶される。次に、Ｍ個の第１の画像の中から１つの画像がプロトタイプ画像として選択され、選択されなかった（Ｍ−１）個の第１の画像は、（Ｍ−１）個の第２の画像と関連付けられる。拡大係数に基づいて、特別なピクセルがプロトタイプ画像の一連のピクセル内に補間され、次に、特別なピクセルの各値が隣接するピクセルの値により計算され、補間済みのプロトタイプ画像が生成される。（Ｍ−１）個の第２の画像の各々と補間済みのプロトタイプ画像との間に存在する各並進も計算される。（Ｍ−１）個の第２の画像の並進がそれぞれ拡大係数により除算され、（Ｍ−１）個の第２の画像の並進に関するモジュラスが取得される。ある基準に基づいて、その関連モジュラスが同じである第２の画像から１つの画像が選択される。選択された第２の画像は、その関連モジュラスが同じでない残りの第２の画像と一緒に、Ｎ個の第３の画像に関連付けられる。ここで、Ｎは（Ｍ−１）以下である。補間済みのプロトタイプ画像は、Ｎ個の第３の各画像と補間済みのプロトタイプ画像との間の各並進により、Ｎ回ダウン・サンプリングされ、それぞれがＮ個の第３の画像のうちの１つの画像に対応するＮ個の第４の画像が生成される。Ｎ個の第３の画像の各々と、対応する第４の画像との間の差が計算される。補間済みのプロトタイプ画像のピクセルの値は、Ｎ個の第３の画像の各々と、対応する第４の画像との間の差の平均により調整される。補間済みのプロトタイプ画像のピクセルの値のダウンサンプリング・ステップおよび調整ステップは、補間済みのプロトタイプ画像のピクセルの値が、満足のいく結果に収束するまで反復される。最後に、そのピクセルの値が満足のいく結果に収束した補間済みのプロトタイプ画像は、解像度が向上された画像と関連付けられる。

添付の図面を参照しながら以下の詳細な説明を参照すれば、本発明の利点および精神が理解され得る。

本発明は、Ｉｒａｎｉの反復法をベースとし、本発明の初期補間、自動画像選択、および頑強な画像位置合わせを使用する改良形解像度向上アルゴリズムで、解像度が向上された画像を再構成するための方法を提供する。本発明の方法により再構成された解像度向上画像を、その画像の品質を向上するために画像エンハンスメント後処理によりさらに処理することができる。以下に、本発明による方法のステップおよび本発明の好ましい実施形態を詳細に説明することにより、本発明の精神、特性および利点を明示する。静止しているシーンに関連する解像度が向上された画像を再構成する方法、および移動する対象物に関連する解像度が向上された画像の再構成方法についても以下に説明する。

図１について説明すると、この図は、本発明による方法の処理の流れを示すフローチャートである。本発明による方法により解像度が向上された画像を生成するために、Ｍ個の第１の低解像度の画像が使用されることに留意されたい。さらに、このＭ個の第１の低解像度の画像は、同じシーンに関連する。すなわち、Ｍ個の第１の低解像度の画像すべてが、同じシーンから捕捉される。Ｍ個の第１の画像の各々は、均等にサンプリングされ、かつ量子化された一連のピクセルにより表示される。ユーザが所望する拡大係数の関係は、解像度が向上された画像とＭ個の第１の画像の各々との間に存在する。

最初に、本発明による方法は、ステップＳ１０を実行して、Ｍ個の第１の画像を記憶する。
次に、本発明の方法では、ステップＳ１２が実行され、Ｍ個の第１の画像の中の１つの画像をプロトタイプ画像として選択し、選択されなかった（Ｍ−１）個の第１の画像を（Ｍ−１）個の第２の画像に関連付ける。

その後で、本発明の方法ではステップＳ１４が実行される。本発明の方法の初期推量段階はステップＳ１４中に実行される。ステップＳ１４においては、拡大係数に基づいてプロトタイプ画像内に特別なピクセルが補間される。ステップＳ１４においては、その隣接するピクセルの値に従って特別なピクセルの値の計算が行われ、補間済みのプロトタイプ画像が生成され、（Ｍ−１）個の第２の画像の各々と補間済みのプロトタイプ画像との間にそれぞれ存在する各並進の計算も行われる。

ステップＳ１４の後で、ステップＳ１６が実行される。本発明の方法の自動画像選択段階は、ステップＳ１６中に行われる。ステップＳ１６においては、（Ｍ−１）個の第２の画像の並進が拡大係数で除算されて、（Ｍ−１）個の第２の画像の並進に関するモジュラスが得られる。また、ステップＳ１６において、ある基準に基づいて、その関連するモジュラスが同じである第２の画像の中から１つの画像が選択される。選択された第２の画像は、その関連するモジュラスが同じでない第２の画像の残りの画像と一緒に、Ｎ個の第３の画像と関連付けられる。ここで、Ｎは（Ｍ−１）以下である。

その後、ステップＳ１８が実行され、Ｎ個の第３の画像の各々と補間済みのプロトタイプ画像との間の各並進により、補間済みのプロトタイプ画像がＮ回ダウン・サンプリングされ、Ｎ個の第４の画像が生成される。Ｎ個の第４の画像の各々は、Ｎ個の第３の画像の中の１つの画像に対応する。

ステップＳ１８の後で、ステップＳ２０が実行され、Ｎ個の第３の画像の各々と、対応する第４の画像との間の差が計算される。
次に、ステップＳ２２が実行され、ステップＳ２０で計算した差の平均により、補間済みのプロトタイプ画像のピクセルの値が調整される。

最後に、ステップＳ２４が実行され、補間済みのプロトタイプ画像のピクセルの値が、満足のいく結果に収束するかどうかが判定される。ステップＳ２４の判定結果が「いいえ」である場合には、ステップＳ１８〜ステップＳ２２が反復される。その結果、そのピクセルの値が満足のいく結果に収束する補間済みのプロトタイプ画像は、解像度が向上された画像と関連付けられる。

好ましい実施形態では、ステップＳ１８は、下式に従って実施される。

ここで、ｇ_k ⁽ⁿ⁾は、ｎ番目のダウン・サンプリング・プロセスの際のｋ番目の第４の画像であり、ｆ⁽ⁿ⁾は、ｎ回調整された後の補間済みのプロトタイプ画像であり、ｈは、点拡張関数により定義されるぼかし演算子であり、Ｔ_kは、ｋ番目の第３の画像と補間済みのプロトタイプ画像との間の並進に対する変換演算子であり、↓ｓは、ダウン・サンプリング演算子である。

好ましい実施形態では、下式に従ってステップＳ１８およびステップＳ２２が実施される。

ここで、ｆ⁽ⁿ⁺¹⁾は、（ｎ＋１）回で調整される補間済みのプロトタイプ画像であり、Ｋは、計算後の第３の画像の数であり、ｇ_kは、ｋ番目の第３の画像であり、ｐは、ぼかし解除演算子であり、Ｔ_k ^-1は、ｋ番目の第３の画像と補間済みのプロトタイプ画像との間の並進に対する逆変換演算子であり、↑ｓは、アップ・サンプリング演算子である。

解像度が向上された画像を再構成するために反復法を使用した場合には、初期推量段階がコンピュータ・システムに有意に影響することに留意されたい。すなわち、より正確な初期推量を適用した場合には、計算時間が大幅に短縮される。何故なら、初期推量はプロセスの最初に１回だけ行われるだけなので、全反復法の計算量は、補間技術をベースとする初期推量の計算量に依存しないからである。異なる次数のこれらの補間法間の差は、計算プロセスの計算のために使用される隣接するピクセルの数が異なるためである。この後の説明では、補間法の手順を説明するための例として三次補間法を説明する。

三次補間法、即ち立体補間法は、４つの未知の変数を取り扱う。仮定によれば、補間関数はｙ＝ｆ₃（ｘ）＝ａｘ³＋ｂｘ²＋ｃｘ＋ｄであり、既知の隣接するピクセルは、（−１，Ａ）、（０，Ｂ）、（１，Ｃ）および（２，Ｄ）を含む。それ故、下式のようになる。

図２Ａおよび図２Ｂを参照しながら、三次補間法の手順についてさらに説明する。図２Ａに示すように、二次元画像内にピクセルＰの値を補間するために、ピクセルＡ’、Ｂ’、Ｃ’およびＤ’の値が事前に計算される。ピクセルＡ１、Ｂ１、Ｃ１およびＤ１の既知の値が、三次関数ｆ₃（ｘ）の係数を決定するために使用される。次に、ピクセルＡ’の値が一次元補間により補間される。同様に、ピクセルＢ’、Ｃ’およびＤ’の値が、ピクセルＡｉ、Ｂｉ、ＣｉおよびＤｉの値に従って補間される。ここで、ｉ＝２、３および４である。最後に、図２Ａに示すように、垂直方向に一次元補間によりピクセルＰの値が計算される。図２Ｂに示すように、ピクセルＡ’、Ｂ’、Ｃ’およびＤ’の既知の値により、ピクセルＰの値を決定するために、一次元補間を有する三次補間法が使用される。

同じように、二次元補間アルゴリズムの場合には、他の次数のこれら補間法に関するｆ_n（ｘ）の係数も同様に解くことができる。異なる次数の補間法が異なる初期推量画像になること、および反復回数が増大すると画像の品質の収束速度が変わることが分かっている。最も適当な次数の補間を選択することにより、反復法の最善の結果が得られる。何故なら、初期推量段階は、画像位置合わせの性能および画像の最善の結果を得るための反復の必要な回数に大きく影響するからである。実験により、元の画像と再構成した画像との間のピークの信号対ノイズ比（ＰＳＮＲ）により、異なる次数のこれら補間法の性能を評価した。図３に実験結果を示す。図３に示すように、ほとんどの場合、計算量および再構成した画像品質の両方に関する限り、三次補間法が初期推量において最も優れていた。本発明の方法は、一次補間、三次補間、または五次補間だけを使用することを推奨する。

好ましい実施形態の場合には、（Ｍ−１）個の第２の画像は、移動する対象物に関連する一連の低解像度の画像であり、ステップＳ１４において、ｉ番目の第２の画像と補間済みのプロトタイプ画像との間の並進（ＬＴ_i）を下記ステップにより計算する。
（ａ）ｉ番目の第２の画像上に、少なくとも１つの注目点Ｐ_i（ｘ，ｙ）を割り当てる。各注目点は、補間済みのプロトタイプ画像上のローカル・ウィンドウ（ｗ）および点（ｕ，ｖ）に対応する。
（ｂ）各注目点Ｐ_i（ｘ，ｙ）と、その対応する点（ｕ，ｖ）との間の絶対差（ＬＡＤ_i（ｘ，ｙ；ｕ，ｖ））を下式により計算する。

（ｃ）ステップ（ｂ）で計算した絶対差ＬＡＤ_i（ｘ，ｙ；ｕ，ｖ）の最小値（ＬＲ_i（ｘ，ｙ））を下式により計算する。

（ｄ）各注目点Ｐ_i（ｘ，ｙ）に関する並進（ＬＴ_i）を下式により計算する。

ＬＴ_i（ｘ，ｙ）＝ＬＲ_i（ｘ，ｙ）−（ｘ，ｙ）・拡大係数
この好ましい実施形態では、より正確な画像位置合わせを取得し、そして移動する対象物の解像度が向上された画像を再構成するために、下記の制限により注目点を選択する。

ａ．注目点における勾配は、しきい値より大きくなければならない。
ｂ．低解像度の画像上の各注目点に対する、シミュレートされた解像度向上画像上の対応する点に対応する計算量は、周辺の点の計算量より多くなければならない。

ｃ．各注目点と対応する点との間の並進はゼロであってはならない。
上記技術は、図４Ａに示すように、ローカル・マッチング技術とも呼ばれる。
他の好ましい実施形態では、（Ｍ−１）個の第２の画像は、静止している対象物に関連する一連の低解像度の画像であり、ステップＳ１４において、ｉ番目の第２の画像と補間済みのプロトタイプ画像との間の並進（ＬＴ_i）を下記ステップにより計算する。
（ａ）ｉ番目の第２の画像に関する絶対差（ＧＡＤ（ｕ，ｖ））を下式により計算する。

ここで、点（ｕ，ｖ）は、ｉ番目の第２の画像が対応するスタート点に対応する、補間済みのプロトタイプ画像の対応する位置の点である。
（ｂ）ステップ（ａ）で計算した絶対差（ＧＡＤ（ｕ，ｖ））の最小値（ＧＲ（ｉ））を下式により計算する。

ＧＲ（ｉ）をＬＴ_iと見なす。

上記技術は、また図４Ｂに示すように、グローバル・マッチング技術とも呼ばれる。
ステップＳ１６における自動画像選択の目的は、画像位置合わせのような画像処理プロセスのために役に立つ最小数の低解像度の画像を選択することである。この方法により、解像度が向上された画像の再構成を加速するために、不必要な計算を低減することができる。静止しているシーンまたは移動している対象物に関連する元の低解像度の画像から有用な低解像度の画像を選択する原理は異なる。これらの異なる原理については以下に説明する。

ある実施形態では、（Ｍ−１）個の第２の画像が移動する対象物に関連する一連の低解像度の画像であるとき、ステップＳ１６において、有用な低解像度の画像を選択する原理は、同じモジュラスを有し、（ｕ_i，ｖ_i）＝Ｔ_iおよび（ｕ_j，ｖ_j）＝Ｔ_jである２つの第２の画像ｉ，ｊに対して、ＧＡＤ_i（ｕ_i，ｖ_i）＜ＧＡＤ_j（ｕ_j，ｖ_j）である場合には、第２の画像ｉが選択される。

ある実施形態では、（Ｍ−１）個の第２の画像が静止しているシーンに関連する一連の低解像度の画像であるとき、ステップＳ１６において低解像度の画像を選択する原理は、同じモジュラスを有し、（ｕ_i，ｖ_i）＝Ｔ_iおよび（ｕ_j，ｖ_j）＝Ｔ_jである２つの第２の画像ｉおよびｊに対して、σ_i ²＜σ_j ²である場合には、第２の画像ｉが選択される。｛ＬＴ_i（ｘ，ｙ）｜（ｘ，ｙ）∈Ｉ_i｝の分散（ｖａｒｉａｎｃｅ）は、σ_i ²＝σ_xi ²＋σ_yi ²と定義される。記号σ_xi ²およびσ_yi ²は、それぞれｘおよびｙ軸に沿った並進値の分散である。

テーブル１について説明すると、テーブル１は本発明の方法を適用するシステムの性能を示す。このシステムは、インテル・ペンティアムＩＩＩ ＣＰＵおよび１２８ＭＢのＲＡＭを備える。この場合、拡大係数「３」に基づいて解像度が向上された画像を再構成するために、５個の６２×６２の低解像度の画像を使用する。テーブル１においては、自動画像選択を行うシステムの結果であるか否かも表示されている。

テーブル１の結果を見れば、本発明の自動画像選択を行うシステムは、計算時間を有意に低減することができることは明らかである。本発明の方法を適用するシステムの性能をさらに証明するために、本発明の方法を使用する画像再構成のいくつかの場合について以下に説明する。

図５Ａ〜図５Ｄを参照しながら、第１のケースについて説明する。図５Ａは、低解像度の画像の中の１つを示す。図５Ｂは、初期推量段階の結果を示す。図５Ｃは、１００回反復後に再構成した画像を示す。図５Ｄは、その縁部を明確にするために、高域フィルタリング・プロセスにより再構成された解像度向上画像を示す。

図６Ａ〜図６Ｄを参照しながら、第２のケースについて説明する。第２のケースには、元の画像は静止しているシーンであると見なされ、複数の一連の低解像度の画像を生成するために、模擬カメラによりダウン・サンプリングが行われる。模擬カメラを使用した場合、低解像度の画像のスタート点と対応する元の画像上のこれらの点は相互に異なる。すなわち、低解像度の画像を捕捉する場合、模擬カメラは移動する。次に、本発明の方法により拡大係数「４」で解像度が向上された画像を再構成するために、上記低解像度の画像が使用される。図６Ａは、第２のケースの低解像度の画像の中の１つの画像を示す。図６Ｂは、初期推量段階後の結果を示す。図６Ｃは、１００回反復した後に再構成した画像を示す。図６Ｄは、後画像処理後の再構成された解像度向上画像を示す。図７に示すように、第２のケースの元の画像と再構成された画像との間のＰＳＮＲは、反復の回数が増大するにつれて急速に収束する。図７の結果により、本発明の方法を適用するシステムの性能が優れていることは明らかである。

図８Ａ〜図８Ｄを参照しながら、第３のケースについて説明する。第３のケースには、拡大係数「２」に基づいて解像度が向上された画像を再構成するために、静止しているシーンに対して移動する対象物に関連する複数の低解像度の画像を使用する。図８Ａは、一連の低解像度の画像の中の１つの画像を示す。図８Ｂは、初期推量段階後の結果を示す。図８Ｃは、１００回反復した後に再構成された画像を示す。図８Ｄは、後画像処理後の再構成された解像度向上画像を示す。図８Ａ〜図８Ｄから明らかなように、反復回数が増大するにつれて、背景はぼやけているが対象物はより明瞭になり、語の縁部がよりはっきりする。

上記実施形態および実際的なケースを要約すると、本発明は、改良形解像度向上アルゴリズムにより解像度が向上された画像を再構成する方法を提供し、初期補間、自動画像選択、および頑強な画像位置合わせを使用する。本発明の方法によれば、静止しているシーンに関連する一連の低解像度の画像によってだけではなく、移動している対象物に関連する一連の低解像度の画像によっても、解像度が向上された画像を迅速に再構成することができる。再構成された解像度向上画像に対しては、さらに、画像の品質を向上するために後処理を行うことができる。明らかに、本発明の方法は、新規なものでありかつ斬新なものであり、特許出願のガイドラインを満たす。

上記の例および説明により、本発明の機能および精神を明白に記述したものと考える。当業者であれば、本発明の内容を保持しながら、本発明のデバイスに多くの改良および変更を行うことができることに容易に気がつくものと思う。従って、上記開示は、添付の特許請求の範囲の基準および境界によってだけ制限を受けるものと解釈すべきである。

本発明による方法の作業の流れを示すフローチャートである。 三次補間法によるＰの値の計算を示す略図である。 三次補間法によるＰの値の計算を示す略図である。 元の画像と再構成した画像との間のピークの信号対ノイズ比（ＰＳＮＲ）による異なる次数の補間法の性能の評価である。 ローカル・マッチング技術による画像位置合わせの略図である。 グローバル・マッチング技術による画像位置合わせの略図である。 Ａ〜Ｄは、本発明の方法により解像度が向上された画像の再構成の第１のケースについての結果である。 Ａ〜Ｄは、本発明の方法により解像度が向上された画像の再構成の第２のケースについての結果である。 反復の回数が増大する場合の第２のケースのＰＳＮＲである。 Ａ〜Ｄは、本発明の方法により解像度が向上された画像の再構成の第３のケースについての結果である。

Claims (6)

1. あるシーンに関連するＭ個の第１の低解像度の画像を使用することにより解像度が向上された画像を生成するための方法であって、Ｍ個の第１の画像の各々が、均等にサンプリングされ、かつ量子化された一連のピクセルにより表示され、拡大係数の関係が、前記解像度が向上された画像とＭ個の第１の画像との間に存在しており、
   （ａ）前記Ｍ個の第１の画像を記憶するステップと、
   （ｂ）Ｍ個の第１の画像の中から１つの画像をプロトタイプ画像として選択し、選択されなかった（Ｍ−１）個の第１の画像を（Ｍ−１）個の第２の画像と関連付けるステップと、
   （ｃ）拡大係数に基づいて特別なピクセルを前記プロトタイプ画像の一連のピクセル内に補間し、次に、隣接するピクセルの値により前記特別なピクセルの値を推定して補間済みのプロトタイプ画像を生成し、前記（Ｍ−１）個の第２の画像の各々と前記補間済みのプロトタイプ画像との間の各並進を計算するステップと、
   （ｄ）前記（Ｍ−１）個の第２の画像の並進をそれぞれ前記拡大係数により除算して前記（Ｍ−１）個の第２の画像の並進に関するモジュラスを取得し、取得したモジュラスが同じである少なくとも１つのサブセットの第２の画像が存在する場合、ある基準に基づいて、取得したモジュラスが同じである各前記サブセットの第２の画像から１つの画像を選択し、取得したモジュラスが同じでない残りの第２の画像と一緒に、前記選択された１以上の第２の画像をＮ個の第３の画像と関連付け、取得したモジュラスが同じであるサブセットの第２の画像が存在しない場合、前記（Ｍ−１）個の第２の画像をＮ個の第３の画像として選択するステップであって、Ｎが（Ｍ−１）以下であるステップと、
   （ｅ）前記Ｎ個の第３の画像の各々と前記補間済みのプロトタイプ画像との間の各並進により前記補間済みのプロトタイプ画像をＮ回ダウン・サンプリングして、それぞれがＮ個の第３の画像の１つに対応するＮ個の第４の画像を生成するステップと、
   （ｆ）前記Ｎ個の第３の画像の各々と前記対応する第４の画像との間の差を計算するステップと、
   （ｇ）前記補間済みのプロトタイプ画像のピクセルの値を、ステップ（ｆ）で計算された差の平均により調整するステップと、
   （ｈ）前記補間済みのプロトタイプ画像のピクセルの値が、満足のいく結果に収束するまでステップ（ｅ）〜ステップ（ｇ）を反復し、そのピクセルの値が前記満足のいく結果に収束する前記補間済みのプロトタイプ画像を前記解像度が向上された画像に関連付けるステップとを備える方法。
2. ステップ（ｅ）が下式により実行され、
   

   

   ここで、ｇ_k ⁽ⁿ⁾は、ｎ回目のダウン・サンプリング・プロセスの際のｋ番目の画像であり、ｆ⁽ⁿ⁾は、ｎ回調整した前記補間済みのプロトタイプ画像であり、ｈは、点拡張関数により定義されるぼかし演算子であり、Ｔ_kは、前記ｋ番目の第３の画像と前記補間済みのプロトタイプ画像間の並進に関する変換演算子であり、↓ｓは、ダウン・サンプリング演算子である、請求項１に記載の方法。
3. ステップ（ｆ）および（ｇ）が下式により実行され、
   

   

   ここで、ｆ⁽ⁿ⁺¹⁾は、（ｎ＋１）回目の反復の際に調整される前記補間済みのプロトタイプ画像であり、Ｋは、前記第３の画像の計算回数であり、ｇ_kは、前記ｋ番目の第３の画像であり、ｐは、ぼかし解除演算子であり、Ｔ_k ^-1は、前記ｋ番目の第３の画像と前記補間済みのプロトタイプ画像との間の並進に関する逆変換演算子であり、↑ｓは、アップ・サンプリング演算子である、請求項２記載の方法。
4. ステップ（ｃ）において、一次補間、三次補間および五次補間からなるグループから選択された１つの補間に基づいて、前記特別なピクセルの値を推定する、請求項３に記載の方法。
5. 前記ｉ番目の第２の画像と前記補間済みのプロトタイプ画像との間の前記並進（ＬＴ_i）が、下記ステップ、すなわち、
   （ｃ−１） 前記ｉ番目の第２の画像上に少なくとも１つの注目点Ｐ_i（ｘ，ｙ）を割り当てるステップであって、各注目点が、前記補間済みのプロトタイプ画像上のローカル・ウィンドウ（ｗ）および点（ｕ，ｖ）に対応するステップと、
   （ｃ−２） 各注目点Ｐ_i（ｘ，ｙ）とその対応する点（ｕ，ｖ）との間の絶対差（ＬＡＤ_i（ｘ，ｙ；ｕ，ｖ））を下式により計算するステップと、
   

   

   （ｃ−３） ステップ（ｃ−２）で計算された絶対差ＬＡＤ_i（ｘ，ｙ；ｕ，ｖ）の最小値（ＬＲ_i（ｘ，ｙ））を下式により計算するステップと、
   

   

   （ｃ−４） 各注目点Ｐ_i（ｘ，ｙ）に関する前記並進（ＬＴ_i）を下式により計算するステップと
   ＬＴ_i（ｘ，ｙ）＝ＬＲ_i（ｘ，ｙ）−（ｘ，ｙ）・拡大係数
   により計算される、請求項４に記載の方法。
6. ステップ（ｃ）において、前記ｉ番目の第２の画像と前記補間済みのプロトタイプ画像との間の前記並進（ＬＴ_i）が、下記ステップ、すなわち、
   （ｃ−１） ｉ番目の全部の第２の画像に関する絶対差（ＧＡＤ（ｕ，ｖ））を下式により計算するステップと、
   

   

   ここで、前記点（ｕ，ｖ）は、前記ｉ番目の第２の画像のスタート点に対応する前記補間済みのプロトタイプ画像上の１つの点であり、
   （ｃ−２） ステップ（ｃ−１）で計算された前記絶対差（ＧＡＤ（ｕ，ｖ））の最小値（ＧＲ（ｉ））を下式により計算するステップとにより計算され、
   

   

   ＧＲ（ｉ）をＬＴ_iと見なす、請求項４に記載の方法。

Images