JP6545670B2 - デジタルカメラに対する単一フレームベースのスーパー解像度補間のためのシステムおよび方法 - Google Patents

Description

本発明は、デジタルカメラに対する単一フレームベースのスーパー解像度補間のためのシステムおよび方法に関連する。

議論

デジタルカメラは、さまざまなシステムを使用して、写真家が遠方の物体のイメージを捕捉できるようにする。光学ズームシステムは、デジタルカメラの光検出器上での可視放射入射のフィールドを狭めるように調節できる１つ以上のズームレンズを使用する。光検出器上での可視放射入射のより狭いフィールドは、たとえ、より狭い視野であっても、著しいイメージ収差をもたらすことなく、捕捉したイメージを拡大する。対照的に、デジタルズームシステムは、イメージまたはイメージのサブセットを処理して、その解像度を増加させて、光学ズームに類似した効果を生成させる（すなわち、拡大されたより狭い視野）。しかしながら、デジタルズームシステムは、光学ズームシステムと比較して著しく望ましくないイメージ収差を一般的に生成させる。例えば、デジタルズームシステムは、イメージに、エイリアシング（すなわち、ギザギザした斜めのエッジ）、ぼけ、および／またはハローイングをもたらすかもしれない。デジタルズームプロセスの間にもたらされる収差は、主に、イメージ中の物体のエッジにおいて、または、エッジの周りに生じる。

ここで開示する実施形態の少なくとも１つの態様にしたがうと、デジタルズームシステムへの標準アプローチは、エイリアジング、ぼけ、および／またはハローイングを含むがこれらに限定されない、著しいイメージ収差を生成させると認識されている。デジタルズームを通してこれらのイメージ収差がもたらされることを最小化するために、デジタルカメラに対する単一フレームベースのスーパー解像度補間のためのシステムおよび方法を提供する。スーパー解像度のためのシステムおよび方法は、イメージ中の物体のエッジを抽出および強調することに加えて、イメージまたはイメージの何らかの部分の解像度を増加させることによって、イメージをデジタルにズームする。イメージのエッジは、複数のエッジ保存フィルタを通して強調される。これらのフィルタは、イメージ中のエッジを抽出および強調できるようにして、デジタルにズームされたイメージの詳細を増加させる。

１つの態様にしたがうと、スーパー解像度イメージ処理のためのデジタルカメラシステムが提供される。デジタルカメラシステムは、イメージの少なくとも一部分を受け取って、受け取ったイメージの解像度を増加させ、解像度向上イメージを出力するように構成されている解像度向上モジュールと、解像度向上イメージを受け取って、解像度向上イメージの少なくとも１つのエッジを抽出して、解像度向上イメージの抽出した少なくとも１つのエッジを出力するように構成されているエッジ抽出モジュールと、解像度向上イメージと抽出した少なくとも１つのエッジとを受け取って、抽出した少なくとも１つのエッジまたは抽出した少なくとも１つのエッジの微分を、解像度向上イメージと組み合わせるように構成されているエッジ強調モジュールとを具備し、少なくとも１つのエッジは、ピクセル値において急な変化が生じる１組の隣接するピクセルである。

１つの実施形態にしたがうと、解像度向上モジュールは、受け取ったイメージを少なくとも部分的に補間することにより、受け取ったイメージの解像度を増加させるようにさらに構成されている。１つの実施形態にしたがうと、解像度向上モジュールは、バイキュービック補間プロセスと一致して、受け取ったイメージを補間するようにさらに構成されている。１つの実施形態にしたがうと、エッジ抽出モジュールは、第１の強度を有する第１のエッジ保存フィルタと第２の強度を有する第２のエッジ保存フィルタとを通して、解像度向上イメージをフィルタするようにさらに構成されている。１つの実施形態にしたがうと、第１のエッジ保存フィルタの第１の強度は設定可能であり、エッジ抽出モジュールは、第１のエッジ保存フィルタの第１の強度を減少させて、イメージ詳細のレベルを増加させる、または、第１のエッジ保存フィルタの第１の強度を増加させて、イメージ詳細のレベルを減少させるようにさらに構成されている。１つの実施形態にしたがうと、第１の強度は第２の強度より弱く、エッジ抽出モジュールは、第２のエッジ保存フィルタを通してフィルタされた解像度向上イメージを、第１のエッジ保存フィルタを通してフィルタされた解像度向上イメージから減算するようにさらに構成されている。１つの実施形態にしたがうと、エッジ強調モジュールは、抽出した少なくとも１つのエッジを解像度向上イメージに追加するようにさらに構成されている。

１つの実施形態にしたがうと、解像度向上モジュールは、受け取ったイメージを複数の小区分に分割するようにさらに構成されている。１つの実施形態にしたがうと、解像度向上モジュールは、受け取ったイメージの小区分のそれぞれの解像度を増加させるようにさらに構成され、エッジ抽出コンポーネントは、解像度向上イメージのそれぞれの小区分の少なくとも１つのエッジを抽出するようにさらに構成されている。１つの実施形態にしたがうと、デジタルカメラシステムは、ホワイトノイズを解像度向上イメージに追加するように構成されているホワイトノイズモジュールをさらに具備する。

１つの態様にしたがうと、デジタルカメラ中でのスーパー解像度イメージ処理の方法が提供される。方法は、受け取ったイメージの解像度を増加させて、解像度向上イメージを取得することと、解像度向上イメージの少なくとも１つのエッジを抽出することと、抽出した少なくとも１つのエッジまたは抽出した少なくとも１つのエッジの微分を、解像度向上イメージと組み合わせることによって、解像度向上イメージの少なくとも１つのエッジを強調することとを含み、少なくとも１つのエッジは、ピクセル値において急な変化が生じる１組の隣接するピクセルである。

１つの実施形態にしたがうと、方法は、受け取ったイメージを補間することを含む、受け取ったイメージの解像度を増加させることを含む。１つの実施形態にしたがうと、受け取ったイメージを補間することは、バイキュービック補間プロセスと一致して、受け取ったイメージを補間することを含む。１つの実施形態にしたがうと、少なくとも１つのエッジを抽出することは、第１の強度を有する第１のエッジ保存フィルタと第２の強度を有する第２のエッジ保存フィルタとを通して、解像度向上イメージをフィルタすることを含む。１つの実施形態にしたがうと、第１のエッジ保存フィルタの第１の強度は設定可能であり、少なくとも１つのエッジを抽出することは、第１のエッジ保存フィルタの第１の強度を増加させて、イメージ詳細のレベルを減少させること、または、第１のエッジ保存フィルタの第１の強度を減少させて、イメージ詳細のレベルを増加させることを含む。１つの実施形態にしたがうと、第１の強度は第２の強度より弱く、少なくとも１つのエッジを抽出することは、第２のエッジ保存フィルタを通してフィルタされた解像度向上イメージを、第１のエッジ保存フィルタを通してフィルタされた解像度向上イメージから減算することをさらに含む。１つの実施形態にしたがうと、少なくとも１つのエッジを強調することは、抽出した少なくとも１つのエッジを解像度向上イメージに追加することをさらに含む。

１つの実施形態にしたがうと、受け取ったイメージの解像度を増加させることは、受け取ったイメージを複数の受け取ったイメージの小区分に分割することを含む。１つの実施形態にしたがうと、受け取ったイメージの解像度を増加させることは、受け取ったイメージの小区分のそれぞれの解像度を増加させて、複数の解像度向上イメージの小区分を取得することをさらに含み、少なくとも１つのエッジを強調することは、解像度向上イメージの小区分のそれぞれの中の少なくとも１つのエッジを強調することを含む。１つの実施形態にしたがうと、方法は、ホワイトノイズを解像度向上イメージに追加することをさらに含む。

これらの例示的な態様および実施形態の、さらに他の態様、実施形態、および利点を、以下でより詳細に議論する。さらに、上述の情報および以下の詳細な説明の両方は、さまざまな態様および実施形態の例示的な例にすぎず、請求項に記載した態様および実施形態の性質および特徴を理解するための全体像またはフレームワークを提供することを意図していると理解すべきである。ここで開示する任意の実施形態は、他の何らかの実施形態と組み合わせてもよい。「実施形態」、「例」、「いくつかの実施形態」、「いくつかの例」、「代替実施形態」、「さまざまな実施形態」、「１つの実施形態」、「少なくとも１つの実施形態」、「これと他の実施形態」またはこれらに類するものへの参照は、必ずしも相互に排他的ではなく、実施形態と関連して説明する、特定の特徴、構造、または特性は、少なくとも１つの実施形態中に含まれるかもしれないことを示すことを意図している。ここでのこのような用語の出現は、必ずしも同じ実施形態をすべて参照しているわけではない。

スケーリングするために描くことを意図していない、添付の図を参照して、少なくとも１つの例のさまざまな態様を以下で議論する。図は、実例を提供するために、ならびに、さまざまな態様および例のさらなる理解を提供するために含まれており、本明細書に組み込まれ、本明細書の一部を構成するが、ここで開示する実施形態の限定の定義としては意図されていない。明細書の残りとともに、説明し、特許請求の範囲に記載した、態様および例の原理および動作を説明することを図面は担う。図において、さまざまな図中に図示する各同一のまたはほぼ同一のコンポーネントは、同じ数字によって表される。明確にする目的で、すべてのコンポーネントが、すべての図中でラベル付けされていないかもしれない。図において、
図１は、本発明にしたがった、スーパー解像度イメージ処理システムの機能性ブロックダイヤグラムを図示している。 図２は、スーパー解像度イメージ処理を実行することができるイメージ処理システムを図示している。 図３は、本発明の実施形態にしたがった、スーパー解像度イメージ処理のための、スーパー解像度イメージ処理システムのより詳細な機能性ブロックダイヤグラムを図示している。 図４は、本発明の別の実施形態にしたがった、スーパー解像度イメージ処理のための、スーパー解像度イメージ処理システムのより詳細な機能性ブロックダイヤグラムを図示している。 図５は、本発明のさらに別の実施形態にしたがった、スーパー解像度イメージ処理のための、スーパー解像度イメージ処理システムのより詳細な機能性ブロックダイヤグラムを図示している。 図６は、ピクセルマトリックスに適用されるエッジ平滑化プロセスの例示的なダイヤグラムを図示している。

詳細な説明

ここで議論する方法および装置の例は、以下の説明で述べるまたは添付の図面に図示する、構成の詳細およびコンポーネントのアレンジメントの用途に限定されないと認識すべきである。方法および装置は、他の例において実現が可能であり、さまざまな方法で、実施または実行することが可能である。特定のインプリメンテーションの例を、例示的な目的のみのためにここで提供し、特定のインプリメンテーションの例は、限定することを意図していない。特に、何らかの１つ以上の例に関連して議論した、動作、エレメント、および特徴を、他の何らかの例における類似した役割から除外することを意図してはいない。

また、ここで使用する語法および専門用語は説明の目的のためのものであり、限定するためのものと考えるべきではない。ここでのシステムおよび方法の、単数形で言及される、例またはエレメントまたは動作への何らかの参照は、複数のこれらのエレメントを含む例も包含し、複数形での、ここでの何らかの例またはエレメントまたは動作への何らかの参照も、単一のエレメントのみを含む例を包含しているかもしれない。単数形または複数形での参照は、本開示のシステムまたは方法、そのコンポーネント、動作、またはエレメントを限定することを意図してはいない。「含む」、「備える」、「有する」、「包含する」、「伴う」およびそのバリエーションのここでの使用は、この後にリストアップするアイテムおよびその均等物とともに、追加のアイテムを包含することを意味している。「または」を使用して説明する任意の用語が、説明した用語のうちの、単一の、１つより多くの、および、すべて、のいずれかを示すことができるように、「または」への参照は包含的であると解釈すべきである。

本発明の実施形態は、デジタルカメラに対する単一フレームベースのスーパー解像度補間に関連する。ここで使用する用語「デジタルカメラ」は、専用カメラとともに、何らかの電子デバイス（例えば、移動体電話機、パーソナルデジタルアシスタント等）によって実行されるカメラ機能性を含むが、これらに限定されない。加えて、ここで説明する方法およびシステムは、時間シーケンスにおいて構成される複数のイメージ（例えば、ビデオストリーム）に適用してもよい。用語「モジュール」のここでの使用は、用語「ブロック」と交換可能であり、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアとの組み合わせにおける、プロセスおよび／または機能の実現を含むように意味している。１つの実施形態において、単一フレームベースのスーパー解像度補間システムおよび方法は、デジタルにズームされた出力イメージにおいて、著しいイメージ収差を生成させることなく、イメージまたはイメージの何らかの部分をデジタルにズームする。イメージをデジタルにズームすることは、特にイメージ中の物体のエッジに、著しい収差をもたらす。例えば、デジタルにズームされたイメージ中のエッジは、エイリアシングからギザギザに見えるかもしれない。したがって、いくつかの実施形態において、提供するシステムおよび方法は、スーパー解像度プロセスにおいてエッジの品質を向上させて、高品質なデジタルにズームされたイメージを生成させる。

スーパー解像度イメージ処理システム
図１は、スーパー解像度イメージ処理のための例示的なシステムを図示している。示すように、図１のスーパー解像度イメージ処理システム１００は、イメージ１０２を受け取るスーパー解像度エンジン１１０を含み、受け取ったイメージに対してイメージ処理を実行し、デジタルにズームされたイメージ１０４を生成させる。スーパー解像度エンジン１１０は、イメージ１０２の少なくとも一部分を選択し、イメージ領域１０６を提供するイメージ領域選択ブロック１１２と、イメージの一部分の解像度を向上させ、解像度向上イメージ領域１０８を提供する解像度向上ブロック１１４と、向上したイメージ領域におけるエッジを強調して、デジタルにズームされたイメージ１０４を提供するエッジ強調ブロック１１６とを含む、複数の機能ブロックまたはモジュールを含む。

スーパー解像度エンジン１１０への入力はイメージ１０２である。１つの実施形態において、イメージは、１つ以上の２次元マトリックスによって表される複数のピクセルを含んでいる。マトリックス中の各エレメントは、イメージ中の特定のピクセルロケーションに関する情報を表す。例えば、第１の、第２のおよび第３の２次元マトリックス中のロケーション（１０、１０）は、イメージ中の（１０、１０）ロケーションにおけるピクセルに関係付けられているデータを表していてもよい。１つ以上のマトリックスのそれぞれは、所定の次元におけるイメージに関係付けられている１組の強度を表してもよい。１つの実施形態において、イメージ中の各ピクセルは、３次元ベクトルによって表される。この実施形態において、イメージは、第１の次元に対する第１の２次元マトリックス、第２の次元に対する第２の２次元マトリックス、第３の次元に対する第３の２次元マトリックスによって表される。各ピクセルは、任意の数の次元または任意の数のマトリックスによって表されてもよいと認識すべきである。

いくつかの実施形態において、イメージは、ＹＵＶ色空間と一致する３つの２次元マトリックスによって表される。ＹＵＶ色空間は、３つの別個の成分Ｙ、ＵおよびＶからなり、各２次元マトリックスは、ＹＵＶ空間の特定の成分を表す。Ｙ成分は、イメージの輝度に関連するルミナンス成分である。ＵおよびＶ成分は、イメージの特定の色に関連するクロミナンス成分である。イメージ中の各ピクセルは、ＹＵＶ色空間（すなわち、Ｙ、ＵおよびＶ成分のいくつかの組み合わせ）中のベクトルによって表される。いくつかの実施形態において、イメージは、ＲＧＢ色空間と一致する３つの２次元マトリックスによって表される。ＲＧＢ色空間はまた、３つの別個の成分Ｒ、Ｇ、Ｂからなり、各２次元マトリックスは、ＲＧＢ空間の特定の成分を表す。別個の成分（すなわち、Ｒ、Ｇ、およびＢ成分）の３つすべてが、イメージの色空間に関連するすべてのクロミナンス成分である。イメージは、何らかの色空間において表されてもよく、ＹＵＶまたはＲＧＢ色空間に限定されない。

イメージ１０２が、スーパー解像度エンジン１１０に入力される。スーパー解像度エンジン１１０は、さまざまなプロセスを実行して、デジタルにズームされたイメージ１０４を出力する。１つの実施形態において、デジタルにズームされたイメージは、拡大されたイメージ領域１０６である。イメージ領域１０６は、イメージ１０２の、全体イメージまたは何らかのサブセットを含んでいてもよい。スーパー解像度エンジン１１０によって実行されるプロセスは、イメージ領域１０６の各ピクセルのすべての次元上で実行される必要はないことを認識すべきである。いくつかの実施形態において、イメージ領域１０６中のピクセルは、ＹＵＶ色空間中のベクトルによって表される。これらの実施形態において、スーパー解像度エンジン１１０のプロセスは、ＹＵＶ色空間における任意の組み合わせ次元上で実行してもよい。例えば、１つの実施形態において、スーパー解像度エンジンのプロセスは、イメージ領域１０６ピクセルのＹ成分のみ（すなわち、ルミナンス成分）の上で実行してもよい。この実施形態において、補間プロセス（例えば、バイキュービック補間）を、ＵおよびＶ成分（すなわち、クロミナンス成分）上で実行して、デジタルにズームされたイメージ１０４を取得してもよい。

スーパー解像度エンジン１１０によって実行され、デジタルにズームされたイメージ１０４を発生させるさまざまなプロセスは、イメージ領域選択ブロック１１２、解像度向上ブロック１１４、およびエッジ強調ブロック１１６によって実行されるプロセスを含む。

さまざまな実施形態において、イメージ領域選択ブロック１１２は、適切にイメージを切り取り、デジタルにズームされることになる入力イメージ１０２のイメージ領域１０６を選択する。イメージ領域選択ブロック１１２は、オプション的なブロックであることを認識すべきである。例えば、スーパー解像度エンジン１１０は、全体イメージ１０２をデジタルにズームしてもよい。他の実施形態において、スーパー解像度エンジン１１０は、全体イメージ１０２、またはイメージ１０２の任意のサブセットを自己選択して、デジタルにズームする。

いくつかの実施形態において、解像度向上ブロック１１４は、イメージ領域１０６の解像度を増加させて、向上した解像度イメージ領域１０８を生成させる。１つの実施形態において、イメージ領域１０６の解像度は、イメージ領域１０６の補間を通して増加する。補間は、１組の既知の別個のデータポイント間に新たなデータポイントを生成させる方法である。この実施形態において、既知のデータポイントは、既知のピクセル値である（例えば、所定のピクセルに対するＹ、Ｕ、および／またはＶチャネル強度値）。この実施形態における、新たなデータポイントは、補間を通して生成させるピクセルである。補間には、１つ以上の動作が先行し、イメージ領域１０６のエッジを平滑化し、解像度向上イメージ領域１０８中のエッジの品質を向上させることを認識すべきである。エッジ平滑化は、色および／または輝度の変化（即ち、物体のエッジ）間の移行を短くすることにより、イメージを鮮明にする。エッジ平滑化プロセスのビジュアル表現は、図６を参照して、エッジ平滑化プロセスダイヤグラム６００において図示している。スーパー解像度エンジン１１０は、エッジ強調ブロック１１６に進んでもよい。

１つの実施形態において、エッジ強調ブロック１１６は、イメージ中の物体のエッジを強調する。解像度向上ブロック１１４において実行される補間は、鮮明な詳細を欠く、平滑化されたイメージを生成させるかもしれない。したがって、エッジ強調ブロック１１６は、解像度向上イメージ領域１０８のエッジを抽出して強調できる。１つの実施形態において、エッジ強調ブロック１１６は、解像度向上イメージ領域１０８のエッジを抽出する。抽出されたエッジは、その後、解像度向上イメージ領域１０８に追加され、エッジ詳細を増加させる。

スーパー解像度イメージ処理機能ブロック（例えば、イメージ領域選択ブロック１１２、解像度向上ブロック１１４、およびエッジ強調ブロック１１６）の任意の組み合わせは、並行して動作を実行してもよいと認識すべきである。１つの実施形態において、入力イメージ１０２を、複数のサブセクションに分割してもよい。イメージ１０２の各サブセクションを、並行して個々に処理してもよい。処理したサブセクションを組み合わせて、デジタルにズームされたイメージ１０４を形成してもよい。並行してスーパー解像度イメージ処理を実現することは、デジタルにズームされたイメージ１０４を提供できるスピードを増加させる。

スーパー解像度エンジン１１０は、特定のアプリケーションに依存して、さまざまな形態をとってもよいと認識すべきである。いくつかの実施形態において、スーパー解像度エンジン１１０は、イメージ処理システムによって実行される一連の命令を含んでいる。他の実施形態において、ブロックまたはモジュール１１２、１１４、および１１６のうちの１つ以上を、アプリケーション特定集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、状態機械、または専用プロセッサのような、ハードウェアで実現してもよい。

例示的なイメージ処理システム
図２は、スーパー解像度処理を実行できる、例示的なイメージ処理システム２００を図示している。示すように、図２のイメージ処理システム２００は、
シーン２１８のデジタルイメージを提供するように構成されているデジタルカメラ２０２を含んでいる。デジタルカメラ２０２は、イメージプロセッサ２０４、アナログデジタル変換器２０６、メモリ２０８、インターフェース２１０、記憶装置２１２、イメージセンサ２１４、およびレンズ２１６を含んでいる。

図２中に図示するように、デジタルカメラ２０２は、ここで開示する、態様、機能およびプロセスのうちの少なくともいくつかを実現するイメージプロセッサ２０４を含んでいる。イメージプロセッサ２０４は、結果的に操作されたデータとなる一連の命令を実行する。イメージプロセッサ２０４は、何らかのタイプの、プロセッサ、マルチプロセッサ、または制御装置であってもよい。いくつかの例示的なプロセッサは、ＡＲＭ１１またはＡＲＭ９アーキテクチャを有するプロセッサを含んでいる。イメージプロセッサ２０４は、１つ以上のメモリデバイス２０８を含む、他のシステムコンポーネントに接続されている。

メモリ２０８は、デジタルカメラ２０２の動作の間、プログラムおよびデータを記憶する。したがって、メモリ２０８は、動的ランダムアクセスメモリ（「ＤＲＡＭ」）のような、比較的高性能で、揮発性の、ランダムアクセスメモリ、または、静的メモリ（「ＳＲＡＭ」）であってもよい。しかしながら、メモリ２０８は、フラッシュメモリまたは他の不揮発性記憶デバイスのような、データを記憶するための何らかのデバイスを含んでいてもよい。さまざまな例は、メモリ２０８を、特殊化して、いくつかのケースにおいては、一意的な構造に構成して、ここで開示する機能を実行してもよい。これらのデータ構造は、特定のデータおよびデータのタイプに対する値を記憶するように、大きさを決めて構成してもよい。

データ記憶エレメント２１２は、イメージプロセッサ２０４によって実行されるプログラムまたは他のオブジェクトを規定する命令を記憶する、書き込み可能の不揮発性、または、非一時的、データ記憶媒体を含んでいる。データ記憶エレメント２１２は、媒体上にまたは媒体中に記録され、プログラムの実行の間、イメージプロセッサ２０４によって処理される情報も含んでいてもよい。より具体的には、記憶空間を節約する、または、データ交換性を増加させるように特に構成されている、１つ以上のデータ構造で情報を記憶してもよい。命令は、エンコードされた信号として、持続的に記憶されていてもよく、命令は、イメージプロセッサ２０４に、ここで説明する機能のうちのいずれかを実行させてもよい。媒体は、例えば、とりわけ、光ディスク、磁気ディスクまたはフラッシュメモリであってもよい。動作において、イメージプロセッサ２０４または他の何らかの制御装置は、不揮発性記録媒体からメモリ２０８のような別のメモリにデータを読み取らせ、このことは、データ記憶エレメント２１２中に含まれる記憶媒体に対してなされるよりも、イメージプロセッサ２０４による情報へのより速いアクセスを可能にさせる。メモリは、データ記憶エレメント２１２またはメモリ２０８中に位置していてもよいが、イメージプロセッサ２０４は、メモリ内のデータを操作し、そして、処理が完了した後、データ記憶エレメント２１２に関係付けられている記憶媒体にデータをコピーしてもよい。さまざまなコンポーネントが、記憶媒体と他のメモリエレメントとの間のデータの移動を管理してもよく、例は、特定のデータ管理コンポーネントに限定されない。さらに、例は、特定のメモリシステムまたはデータ記憶システムに限定されない。

デジタルカメラ２０２は、入力デバイス、出力デバイス、および入力／出力デバイスの組み合わせのような、１つ以上のインターフェースデバイス２１０も含んでいる。インターフェースデバイスは、入力を受け取るまたは出力を提供してもよい。より具体的には、出力デバイスは、外部の表示のための情報をレンダリングしてもよい。入力デバイスは外部ソースから情報を受け入れてもよい。インターフェースデバイスの例は、マイクロフォン、タッチスクリーン、ディスプレイスクリーン、スピーカー、ボタン等を含んでいる。インターフェースデバイスは、デジタルカメラ２０２が、ユーザおよび他のシステムのような、外部エンティティと、情報を交換し、通信できるようにする。

デジタルカメラ２０２は、さまざまな態様および機能を実施できる１つのタイプのデジタルカメラとして例示しているが、態様および機能は、図２中で示すような、デジタルカメラ２０２上で実現されることに限定されない。図２中で示すアーキテクチャまたはコンポーネントとは異なるアーキテクチャまたはコンポーネントを有するデジタルカメラ上で、さまざまな態様および機能を実施してもよい。例えば、デジタルカメラ２０２は、ここで開示する特定の動作を実行するように調整された、特定用途向け集積回路（「ＡＳＩＣ」）または、システムオンチップ（「ＳｏＣ」）のような、特別にプログラムされた、特別目的ハードウェアを含んでいてもよい。デジタルカメラ２０２は、別の電子デバイス（例えば、移動体電話機、パーソナルデジタルアシスタント等）に組み込まれていてもよく、専用デジタルカメラに限定されないと認識すべきである。

レンズ２１６は、イメージセンサ２１４上に可視放射をフォーカスする１つ以上のレンズを含んでいる。レンズ２１６は、図２中に図示するような、単一の物理レンズに限定されないと認識すべきである。いくつかの実施形態において、レンズ２１６は、光学ズームが可能な複数のズームレンズを含んでいる。光学ズームは、イメージセンサ２１４上での可視放射入射の視野を狭くすることにより、達成することができる。

イメージセンサ２１４は、光に敏感なセンサ（例えば、光検出器）の２次元エリアを含んでいてもよい。いくつかの実施形態において、イメージセンサ２１４の光検出器は、いくつかの実施形態において、２つ以上の個々の色および／または輝度成分のうちの１つにおける可視放射の強度を検出できる。例えば、光検出器の出力は、ＹＵＶまたはＲＧＢ色空間と一致する値を含んでいてもよい。イメージセンサ２１４により他の色空間を用いて、捕捉したイメージを表してもよいと認識すべきである。

さまざまな実施形態において、イメージセンサ２１４は、イメージセンサ２１４の光検出器に当たる可視放射の強度および／または色に比例するアナログ信号を出力する。イメージセンサ２１４によるアナログ信号出力は、イメージプロセッサ２０４による処理のために、アナログデジタル変換器２０６によってデジタルデータに変換してもよい。いくつかの実施形態において、アナログデジタル変換器２０６の機能性は、イメージセンサ２１４と統合される。イメージプロセッサ２０４は、捕捉されたイメージに対して、さまざまなプロセスを実行してもよい。これらのプロセスは、捕捉したイメージをデジタルにズームするための１つ以上のスーパー解像度プロセスを含むが、これらに限定されない。

スーパー解像度イメージ処理インプリメンテーション
図３は、図１にしたがった、イメージ領域選択ブロック１１２、解像度向上ブロック１１４、およびエッジ強調ブロック１１６を含む、スーパー解像度イメージ処理システム１００のより詳細な機能ブロックダイヤグラムを図示している。図３中に示すように、図３のスーパー解像度イメージ処理システム３００は、イメージ切り取りブロック３０２、エッジ平滑化ブロック３０４、補間ブロック３０６、エッジ抽出ブロック３０７、細かいエッジ保存フィルタブロック３０８、粗いエッジ保存フィルタブロック３１０、エッジ処理機能ブロック３１２、ホワイトノイズブロック３１４、差分ブロック３１６、および合計ブロック３１８を含んでいる。破線で描かれている任意のブロックは、オプション的なブロックであると認識すべきである。加えて、点線で描かれている大きなボックスは、図１を参照して説明した、イメージ領域選択ブロック１１２、解像度向上ブロック１１４、およびエッジ強調ブロック１１６を含む、スーパー解像度イメージ処理システム１００と、図３中に示す機能性ブロックとの間の関連を示している。

イメージ切り取りブロック３０２は、イメージ領域選択ブロック１１２の１つの可能性あるインプリメンテーションを図示している。イメージ切り取りブロック３０２は、イメージを適切に切り取り、スーパー解像度イメージ処理システム３００の後の機能性ブロックに供給する。１つの実施形態において、イメージ切り取りブロック３０２は、外部のエンティティからインターフェース（例えば、デジタルカメラ２０２のインターフェース２１０）を通して受け取った入力に応答して、イメージを切り取ってもよい。別の実施形態において、イメージ切り取りブロック３０２は、イメージ領域１０６を自己選択して、イメージ１０２を適切に切り取ってもよい。イメージ切り取りブロック３０２は、オプション的なブロックであると認識すべきである。

オプション的なイメージ領域選択ブロック１１２の後に、解像度向上ブロック１１４が続く。エッジ平滑化ブロック３０４および補間ブロック３０６は、解像度向上ブロック１１４の１つの可能性あるインプリメンテーションを図示している。１つの実施形態において、エッジ平滑化ブロック３０４は、イメージ領域１０６中の物体のエッジを平滑化する。イメージ中の物体のエッジは、強度値の急な変化が生じる、１組の隣接ピクセルによって特徴付けてもよい。

エッジ平滑化プロセスのビジュアル表現を、図６を参照して、エッジ平滑化プロセスダイヤグラム６００によって図示する。図６中に示すように、図６のエッジ平滑化プロセスダイヤグラム６００は、捕捉前イメージ状態６０２、捕捉イメージ状態６０４、およびエッジ平滑化イメージ状態６０６を通して進む、ピクセルマトリックス６１０の視野内の物体６０８を含んでいる。

捕捉前イメージ状態６０２は、ピクセルマトリックス６１０の視野中の物体６０８を図示している。物体６０８のエッジは、ピクセルマトリックス中の複数のピクセルを横切っている。ピクセルマトリックス６１０の捕捉イメージ状態６０４は、複数のピクセルを横切っているエッジを有する物体のイメージを捕捉する効果を図示している。ピクセルの上端から３行目は、デジタルカメラ（例えば、デジタルカメラ２０２）によってイメージが捕捉されたときに生じるエッジぼやけ効果を図示している。上端から３行目のピクセルは、物体によって覆われたピクセルの領域に比例して、左から右に移動するとより暗くなっている。イメージ捕捉状態６０４とエッジ平滑化イメージ状態６０６との間に生じるエッジ平滑化プロセスは、移行ピクセルのいくつかまたはすべてをなくすことにより、イメージを鮮明にする。この実例において、移行ピクセルをなくすことを、エッジ平滑化イメージ状態６０６中のピクセルマトリックス６１０の３行目に示している。移行の程度（すなわち、イメージ領域中に残っている移行ピクセルの量）は、適用されるエッジ平滑化フィルタに関係付けられている強度パラメータにより制御してもよい。

図３に戻って参照すると、エッジ平滑化ブロック３０４は、何らかの適切なエッジ平滑化またはエッジ保存フィルタであってもよい。１つの実施形態において、エッジ平滑化フィルタは、２０１１年６月１５日に出願され、その全体が参照によってここに組み込まれる、「デジタルカメラにおける高度なノイズ低減」と題する、同時係属中の米国出願番号第１３／１６０，７５５号（以下「７７５出願」）中で説明されているエッジ保存ノイズ低減フィルタである。本発明の実施形態は、さまざまなタイプのフィルタを使用してもよいので、何らかの特定のタイプの、エッジ平滑化またはエッジ保存フィルタに限定されないと認識すべきである。

エッジ平滑化ブロックの後に、補間ブロック３０６が続く。補間ブロックは、入力ピクセルマトリックスに基づいて、より高い解像度で、新たなピクセルマトリックスを計算してもよい。１つの実施形態において、補間ブロックは、入力イメージピクセルマトリックスから最も近い１組のピクセルを分析して、新たなピクセルマトリックス中の対応する新たなピクセル値を決定する。補間を実行するために使用される特定のプロセスは、バイキュービック補間、バイリニア補間、最隣接補間、スプライン補間、またはシンク補間を含むがこれらに限定されない、さまざまな方法と一致していてもよい。

解像度向上ブロック１１４の後に、エッジ強調ブロック１１６が続く。エッジ強調ブロック１１６は、いくつかの実施形態において、エッジ抽出ブロック３０７、細かいエッジ保存フィルタ３０８、粗いエッジ保存フィルタ３１０、エッジ処理機能ブロック３１２、差分ブロック３１６、および合計ブロック３１８によって図示されている。１つの実施形態において、細かいエッジ保存フィルタ３０８および粗いエッジ保存フィルタ３１０は、異なる強度のエッジ感応フィルタである。この実施形態において、細かいエッジ保存フィルタ３０８は、粗いエッジ保存フィルタ３１０よりもより弱いエッジフィルタである。細かいエッジ保存フィルタ３０８は、粗いエッジ保存フィルタ３１０と同じタイプのエッジ保存フィルタであってもよいし、同じタイプのエッジ保存フィルタでなくてもよいと認識すべきである。粗いエッジ保存フィルタ３１０の出力は、差分ブロック３１６において、細かいエッジ保存フィルタ３０８の出力から減じられる。差分ブロック３１６の出力は、解像度向上イメージ領域１０８のエッジのみを含んでいる。細かいエッジ保存フィルタ３０８と粗いエッジ保存フィルタ３１０とおよび差分ブロック３１６との組み合わせは、したがって、エッジ抽出ブロック３０７を形成してもよい。解像度向上イメージ領域１０８のエッジを取得するための特定の方法を変更してもよいと認識すべきである。例えば、さまざまな強度の複数のエッジ保存フィルタをリニアな方法で組み合わせて、類似する、結果として生じる出力（すなわち、イメージのエッジ）を発生させてもよい。加えて、イメージのエッジをターゲットとしている単一のフィルタも使用してもよい。他の実施形態において、細かいエッジ保存フィルタ３０８および粗いエッジ保存フィルタ３１０は、７７５出願において説明しているエッジ保存ノイズ低減フィルタとすることができる。エッジ保存フィルタの何らかの組み合わせは、例えば、システムのユーザから受け取った入力または選好に基づいて、選択可能であってもよいと認識すべきである。

差分ブロック３１６からのイメージエッジはその後、エッジ処理機能ブロック３１２によって処理してもよい。エッジ処理機能ブロックは、解像度向上イメージ１０６エッジを強調する、何らかの機能、リニア、または別の方法であってもよい。エッジ処理機能ブロックは、例えば、ルックアップテーブル（ＬＵＴ）によって実現してもよい。１つの実施形態において、エッジ処理機能ブロック３１２は、エッジを増幅または減衰させる、乗算器である。この実施形態において、エッジ処理機能ブロック３１２は、ユーザインターフェースを通してユーザからの入力を受け取ってもよい。例えば、ユーザインターフェースは、デジタルにズームされたイメージ１０４中の詳細のレベルに関する設定可能な設定を有していてもよい。エッジ処理機能ブロック３１２は、より高い詳細レベル設定に応答して、乗数を増加させてもよく、または、より低い詳細レベル設定に応答して、乗数を減少させてもよい。エッジ処理機能ブロック３１２は、オプション的な機能であると認識すべきである。差分ブロック３１６を、合計ブロック３１８に直接接続してもよい。

合計ブロック３１８は、解像度向上イメージ領域１０６を解像度向上イメージ領域１０６のエッジと組み合わせて、デジタルにズームされたイメージ１０４を形成する。解像度向上イメージ領域１０６のエッジの、解像度向上イメージ領域１０６への追加は、解像度向上ブロック１１４において何らかのレベルの歪みをうけたかもしれないエッジの詳細を増加させる。

合計ブロック３１８はまた、ホワイトノイズブロック３１４からのホワイトノイズを、デジタルにズームされたイメージ１０４と組み合わせてもよい。ホワイトノイズの、デジタルにズームされたイメージ１０４への追加は、デジタルにズームされたイメージ１０４において、増幅された低解像度ノイズよりも、高解像度ノイズの出現をもたらす。追加するホワイトノイズの強度は変化させてもよい。例えば、１つの実施形態において、イメージに追加するホワイトノイズの量は、イメージが取得されたときのカメラ設定（例えば、ＩＳＯ、開口、またはシャッタースピード）に応答して計算される。ホワイトノイズの追加、したがって、ホワイトノイズブロック３１４の追加は、オプション的であると認識すべきである。加えて、ホワイトノイズモジュールからのホワイトノイズを、解像度向上イメージ領域１０６と組み合わせてもよい。

スーパー解像度イメージ処理システムの少なくとも１つのインプリメンテーションを説明してきたが、説明した特定のインプリメンテーションを変更して、同じ結果（すなわち、著しいイメージ収差のない、デジタルにズームされたイメージ）を発生させてもよいことを認識すべきである。スーパー解像度イメージ処理システムの他の例示的なインプリメンテ―ションは、図４、５それぞれを参照するスーパー解像度イメージ処理システム４００および５００の機能性ブロックダイヤグラムによって図示されている。

図４は、図１にしたがった、イメージ領域選択ブロック１１２、解像度向上ブロック１１４、およびエッジ強調ブロック１１６を含む、スーパー解像度イメージ処理システム１００の代替機能性ブロックダイヤグラムを図示している。図４中に示すように、図４中のスーパー解像度イメージ処理システム４００は、イメージ切り取りブロック３０２、エッジ平滑化ブロック３０４と４０４、補間ブロック３０６、エッジ抽出ブロック３０７、細かいエッジ保存フィルタブロック３０８、粗いエッジ保存フィルタブロック３１０、エッジ処理機能ブロック３１２、ホワイトノイズブロック３１４、差分ブロック３１６、および合計ブロック３１８を含んでいる。破線で描かれている任意のブロックは、オプション的なブロックであると認識すべきである。加えて、点線で描かれている大きなボックスは、図１を参照して説明するプロセスと図４中で示す機能性ブロックとの間の関連を示している。

イメージ切り取りブロック３０２、エッジ抽出ブロック３０７、細かいエッジ保存フィルタ３０８、粗いエッジ保存フィルタ３１０、エッジ処理機能ブロック３１２、差分ブロック３１６、および合計ブロック３１８によって実現される、イメージ領域選択ブロック１１２とエッジ強調ブロック１１６は、上記の図３を参照して説明したものと類似している。補間ブロック３０６に加えて、エッジ平滑化ブロック３０４および４０４によって、図４中で描く実施形態中で実現される解像度向上ブロック１１４は、図３を参照して説明した解像度向上ブロック１１６のバリエーションである。追加のエッジ平滑化ブロック４０４は、解像度向上イメージ１０６中のエッジの品質を、結果として、最終のデジタルにズームされたイメージ１０４中のエッジの品質を向上させる。追加のエッジ平滑化ブロック４０４の追加のコストは、追加のエッジ平滑化を実行するために要求される追加の計算である。エッジ平滑化ブロック４０４中で使用されるフィルタは、エッジ平滑化ブロック３０４中のエッジフィルタと同一となるように構築されてもよく、または、同一となるように構築されなくてもよいことを認識すべきである。加えて、図３を参照して説明したように、合計ブロック３１８はまた、ホワイトノイズブロック３１４からのホワイトノイズを、デジタルにズームされたイメージと組み合わせてもよい。

図５は、図１にしたがった、イメージ領域選択ブロック１１２、解像度向上ブロック１１４、およびエッジ強調ブロック１１６を含む、スーパー解像度イメージ処理システム１００のさらなる代替機能性ブロックダイヤグラムを図示している。図５中に示すように、図５のスーパー解像度イメージ処理システム５００は、イメージ切り取りブロック３０２、エッジ平滑化ブロック３０４と５０４、補間ブロック３０６と４０６、エッジ抽出ブロック３０７と５０７、細かいエッジ保存フィルタブロック３０８と５０８、粗いエッジ保存フィルタブロック３１０と５１０、エッジ処理機能ブロック３１２と５１２、ホワイトノイズブロック５１４、差分ブロック３１６と５１６、および合計ブロック３１８と５１８を含んでいる。破線で描かれている任意のブロックは、オプション的なブロックであると認識すべきである。加えて、点線で描かれている大きなボックスは、図１を参照して説明するプロセスと図５中で示す機能性ブロックとの間の関連を示している。

イメージ領域選択ブロック１１２、解像度向上ブロック１１４、およびエッジ強調ブロック１１６は、上記の図３を参照して説明したものと類似している。図５中のスーパー解像度イメージ処理システムのインプリメンテーションは、解像度向上ブロック１１４とエッジ強調ブロック１１６の複数回の反復を示している。解像度向上ブロック１１４とエッジ強調ブロック１１６の複数回の反復プロセスは、追加の計算のコストで、デジタルにズームされたイメージ１０４の詳細を増加させる。解像度向上ブロック１１４およびエッジ強調ブロック１１６を任意の回数繰り返して、デジタルにズームされたイメージ１０４中の所望の詳細のレベルを達成してもよいことを認識すべきである。１つの実施形態において、イメージ１０２は、実質的に、デジタルにズームする必要があるかもしれない。この実施形態において、解像度向上ブロック１１４とエッジ強調ブロック１１６の第１の反復は、要求されたトータルデジタルズームのある割合のみ、イメージ１０２をデジタルにズームしてもよい。解像度向上ブロック１１４とエッジ強調ブロック１１６の第２の反復は、所望の最終的なデジタルにズームされたイメージ１０４に解像度を増加させてもよい。追加のエッジ平滑化ブロック（例えば、図４中のエッジ平滑化ブロック４０４）を、第１の反復、第２の反復、または両方に追加することができると認識すべきである。加えて、スーパー解像度イメージプロセスの両方の反復の後、合計ブロック５１８も、ホワイトノイズブロック５１４からのホワイトノイズを、デジタルにズームされたイメージ１０４と組み合わせてもよい。

イメージ領域選択ブロック１１２、解像度向上ブロック１１４、およびエッジ強調ブロック１１６を含む、スーパー解像度イメージ処理システム１００は、イメージ１０２のクロミナンスチャネルおよび／またはルミナンスチャネルの何らかの組み合わせ上で実行してもよいことを認識すべきである。例えば、１つの実施形態において、イメージ１０２は、ＹＵＶ色空間中にあり、イメージ領域選択ブロック１１２、解像度向上ブロック１１４、およびエッジ強調ブロック１１６を含むスーパー解像度イメージ処理システム１００は、イメージ１０２のルミナンスチャネル（すなわち、Ｙチャネル）のみに適用される。この実施形態において、ＵおよびＶチャネルは、補間（例えば、バイキュービック補間）のみをうける。この実施形態は、３つすべてのチャネル上でスーパー解像度プロセスを実行することと比較されるとき、計算の複雑さがより低い。この実施形態において、品質の損失は最小限である。なぜなら、人間の目は実質的に、色よりも輝度により敏感であるからである。輝度を知覚する光受容体（すなわち、人間の目の桿状体）の感度は、色を知覚する光受容体（すなわち、人間の目の錐状体）よりも、より多数でより敏感である。

したがって、少なくとも１つの例のいくつかの態様を説明してきたが、さまざまな、改変、修正、および改良が当業者に容易に起こるだろうと認識すべきである。例えば、図３〜５中の特定の機能性ブロックが改変されてもよいと認識すべきである。例えば、要件に依存して、いくつかの実施形態は、異なる強度の２つのエッジ保存フィルタ間の差分を計算するよりもむしろ、単一のフィルタを使用して、イメージのエッジを分離してもよい。さらに、ある環境において、細かい同調エッジ強調プロセスに対して、エッジ保存フィルタの何らかのリニアな組み合わせを使用してもよいと認識すべきである。このような改変、修正、および改良は、本開示の一部となることが意図され、ここで開示した実施形態の範囲内となるように意図されている。したがって、上述の説明および図面は、例示だけをしている。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］ スーパー解像度イメージ処理のためのデジタルカメラシステムにおいて、
イメージの少なくとも一部分を受け取って、前記受け取ったイメージの解像度を増加させ、解像度向上イメージを出力するように構成されている解像度向上モジュールと、
前記解像度向上イメージを受け取って、前記解像度向上イメージの少なくとも１つのエッジを抽出して、前記解像度向上イメージの前記抽出した少なくとも１つのエッジを出力するように構成されているエッジ抽出モジュールと、
前記解像度向上イメージと前記抽出した少なくとも１つのエッジとを受け取って、前記抽出した少なくとも１つのエッジまたは前記抽出した少なくとも１つのエッジの微分を、前記解像度向上イメージと組み合わせるように構成されているエッジ強調モジュールとを具備し、
前記少なくとも１つのエッジは、ピクセル値において急な変化が生じる１組の隣接するピクセルであるデジタルカメラシステム。
［２］ 前記解像度向上モジュールは、前記受け取ったイメージを少なくとも部分的に補間することにより、前記受け取ったイメージの解像度を増加させるようにさらに構成されている［１］記載のデジタルカメラシステム。
［３］ 前記解像度向上モジュールは、バイキュービック補間プロセスと一致して、前記受け取ったイメージを補間するようにさらに構成されている［２］記載のデジタルカメラシステム。
［４］ 前記エッジ抽出モジュールは、第１の強度を有する第１のエッジ保存フィルタと第２の強度を有する第２のエッジ保存フィルタとを通して、前記解像度向上イメージをフィルタするようにさらに構成されている［１］記載のデジタルカメラシステム。
［５］ 前記第１のエッジ保存フィルタ強度は設定可能であり、前記エッジ抽出モジュールは、前記第１のエッジ保存フィルタの強度を減少させて、イメージ詳細のレベルを増加させる、または、前記第１のエッジ保存フィルタの強度を増加させて、前記イメージ詳細のレベルを減少させるようにさらに構成されている［４］記載のデジタルカメラシステム。
［６］ 前記第１の強度は前記第２の強度より弱く、前記エッジ抽出モジュールは、前記第２のエッジ保存フィルタを通してフィルタされた前記解像度向上イメージを、前記第１のエッジ保存フィルタを通してフィルタされた前記解像度向上イメージから減算するようにさらに構成されている前記［４］記載のデジタルカメラシステム。
［７］ 前記エッジ強調モジュールは、前記抽出した少なくとも１つのエッジを前記解像度向上イメージに追加するようにさらに構成されている［６］記載のデジタルカメラシステム。
［８］ 前記解像度向上モジュールは、前記受け取ったイメージを複数の小区分に分割するようにさらに構成されている［１］記載のデジタルカメラシステム。
［９］ 前記解像度向上モジュールは、前記受け取ったイメージの前記小区分のそれぞれの解像度を増加させるようにさらに構成され、前記エッジ抽出コンポーネントは、前記解像度向上イメージのそれぞれの小区分の少なくとも１つのエッジを抽出するようにさらに構成されている［８］記載のデジタルカメラシステム。
［１０］ 前記デジタルカメラシステムは、ホワイトノイズを前記解像度向上イメージに追加するように構成されているホワイトノイズモジュールをさらに具備する［１］記載のデジタルカメラシステム。
［１１］ デジタルカメラ中でのスーパー解像度イメージ処理の方法において、
受け取ったイメージの解像度を増加させて、解像度向上イメージを取得することと、
前記解像度向上イメージの少なくとも１つのエッジを抽出することと、
前記抽出した少なくとも１つのエッジまたは前記抽出した少なくとも１つのエッジの微分を、前記解像度向上イメージと組み合わせることによって、前記解像度向上イメージの少なくとも１つのエッジを強調することとを含み、
前記少なくとも１つのエッジは、ピクセル値において急な変化が生じる１組の隣接するピクセルである方法。
［１２］ 前記受け取ったイメージの解像度を増加させることは、前記受け取ったイメージを補間することを含む［１１］記載の方法。
［１３］ 前記受け取ったイメージを補間することは、バイキュービック補間プロセスと一致して、前記受け取ったイメージを補間することを含む［１２］記載の方法。
［１４］ 前記少なくとも１つのエッジを抽出することは、第１の強度を有する第１のエッジ保存フィルタと第２の強度を有する第２のエッジ保存フィルタとを通して、前記解像度向上イメージをフィルタすることを含む［１１］記載の方法。
［１５］ 前記第１のエッジ保存フィルタ強度は設定可能であり、前記少なくとも１つのエッジを抽出することは、前記第１のエッジ保存フィルタの強度を増加させて、イメージ詳細のレベルを減少させること、または、前記第１のエッジ保存フィルタの強度を減少させて、イメージ詳細のレベルを増加させることを含む［１４］記載の方法。
［１６］ 前記第１の強度は前記第２の強度より弱く、前記少なくとも１つのエッジを抽出することは、前記第２のエッジ保存フィルタを通してフィルタされた前記解像度向上イメージを、前記第１のエッジ保存フィルタを通してフィルタされた前記解像度向上イメージから減算することをさらに含む前記［１４］記載の方法。
［１７］ 前記少なくとも１つのエッジを強調することは、前記抽出した少なくとも１つのエッジを前記解像度向上イメージに追加することをさらに含む［１６］記載の方法。
［１８］ 前記受け取ったイメージの解像度を増加させることは、前記受け取ったイメージを複数の受け取ったイメージの小区分に分割することを含む［１１］記載の方法。
［１９］ 前記受け取ったイメージの解像度を増加させることは、前記受け取ったイメージの小区分のそれぞれの解像度を増加させて、複数の解像度向上イメージの小区分を取得することをさらに含み、前記少なくとも１つのエッジを強調することは、前記解像度向上イメージの小区分のそれぞれの中の少なくとも１つのエッジを強調することを含む［１８］記載の方法。
［２０］ 前記方法は、ホワイトノイズを前記解像度向上イメージに追加することをさらに含む［１１］記載の方法。

Claims (15)

1. スーパー解像度イメージ処理のためのデジタルカメラシステムにおいて、
   イメージの少なくとも一部分を受け取って、色および／または輝度の変化間の移行を短くすることにより、前記一部分の少なくとも１つのエッジを平滑化して、補間を通して、前記平滑化した一部分の解像度を増加させ、解像度向上イメージを出力するように構成されている解像度向上モジュールと、
   前記解像度向上イメージを受け取って、前記解像度向上イメージの少なくとも１つのエッジを抽出して、前記解像度向上イメージの前記抽出した少なくとも１つのエッジを出力するように構成されているエッジ抽出モジュールと、
   前記解像度向上イメージと前記抽出した少なくとも１つのエッジとを受け取って、前記抽出した少なくとも１つのエッジまたは前記抽出した少なくとも１つのエッジの微分を、前記解像度向上イメージと組み合わせるように構成されているエッジ強調モジュールとを具備し、
   前記少なくとも１つのエッジは、ピクセル値において急な変化が生じる１組の隣接するピクセルであるデジタルカメラシステム。
2. 前記解像度向上モジュールは、バイキュービック補間プロセスと一致して、前記受け取ったイメージを補間するようにさらに構成されている請求項１記載のデジタルカメラシステム。
3. 前記エッジ抽出モジュールは、第１の強度を有する第１のエッジ保存フィルタと第２の強度を有する第２のエッジ保存フィルタとを通して、前記解像度向上イメージをフィルタするようにさらに構成されている請求項１記載のデジタルカメラシステム。
4. 前記第１のエッジ保存フィルタの前記第１の強度は設定可能であり、前記エッジ抽出モジュールは、前記第１のエッジ保存フィルタの前記第１の強度を減少させて、イメージ詳細のレベルを増加させる、または、前記第１のエッジ保存フィルタの前記第１の強度を増加させて、前記イメージ詳細のレベルを減少させるようにさらに構成されている請求項３記載のデジタルカメラシステム。
5. 前記第１の強度は前記第２の強度より弱く、前記エッジ抽出モジュールは、前記第２のエッジ保存フィルタを通してフィルタされた前記解像度向上イメージを、前記第１のエッジ保存フィルタを通してフィルタされた前記解像度向上イメージから減算するようにさらに構成されている前記請求項３記載のデジタルカメラシステム。
6. 前記エッジ強調モジュールは、前記抽出した少なくとも１つのエッジを前記解像度向上イメージに追加するようにさらに構成されている請求項５記載のデジタルカメラシステム。
7. 前記解像度向上モジュールは、前記受け取ったイメージを複数の小区分に分割するようにさらに構成されている請求項１記載のデジタルカメラシステム。
8. 前記解像度向上モジュールは、前記受け取ったイメージの前記小区分のそれぞれの解像度を増加させるようにさらに構成され、前記エッジ抽出モジュールは、前記解像度向上イメージのそれぞれの小区分の少なくとも１つのエッジを抽出するようにさらに構成されている請求項７記載のデジタルカメラシステム。
9. 前記デジタルカメラシステムは、ホワイトノイズを前記解像度向上イメージに追加するように構成されているホワイトノイズモジュールをさらに具備する請求項１記載のデジタルカメラシステム。
10. デジタルカメラ中でのスーパー解像度イメージ処理の方法において、
    イメージの少なくとも一部分を受け取ることと、
    色および／または輝度の変化間の移行を短くすることにより、前記一部分の少なくとも１つのエッジを平滑化することと、
    補間を通して、前記平滑化した一部分の解像度を増加させて、解像度向上イメージを取得することと、
    前記解像度向上イメージの少なくとも１つのエッジを抽出することと、
    前記抽出した少なくとも１つのエッジまたは前記抽出した少なくとも１つのエッジの微分を、前記解像度向上イメージと組み合わせることによって、前記解像度向上イメージの少なくとも１つのエッジを強調することとを含み、
    前記少なくとも１つのエッジは、ピクセル値において急な変化が生じる１組の隣接するピクセルである方法。
11. 前記受け取ったイメージを補間することは、バイキュービック補間プロセスと一致して、前記受け取ったイメージを補間することを含む請求項１０記載の方法。
12. 前記少なくとも１つのエッジを抽出することは、第１の強度を有する第１のエッジ保存フィルタと第２の強度を有する第２のエッジ保存フィルタとを通して、前記解像度向上イメージをフィルタすることを含む請求項１０記載の方法。
13. 前記第１のエッジ保存フィルタの前記第１の強度は設定可能であり、前記少なくとも１つのエッジを抽出することは、前記第１のエッジ保存フィルタの前記第１の強度を増加させて、イメージ詳細のレベルを減少させること、または、前記第１のエッジ保存フィルタの前記第１の強度を減少させて、イメージ詳細のレベルを増加させることを含む請求項１２記載の方法。
14. 前記第１の強度は前記第２の強度より弱く、前記少なくとも１つのエッジを抽出することは、前記第２のエッジ保存フィルタを通してフィルタされた前記解像度向上イメージを、前記第１のエッジ保存フィルタを通してフィルタされた前記解像度向上イメージから減算することをさらに含む前記請求項１２記載の方法。
15. 前記少なくとも１つのエッジを強調することは、前記抽出した少なくとも１つのエッジを前記解像度向上イメージに追加することをさらに含む請求項１４記載の方法。