JP4313370B2 - 電子画像のエイリアシングを低減する方法 - Google Patents

Description

本発明は、電子画像のエイリアシング低減に関する。

デジタルカメラ等の電子画像形成装置は、広範囲の用途で使用されており、着実により安価になり且つ使用が簡単になってきている。電子画像には、フィルムベースの画像と比較して多くの利点があり、そのため電子画像形成装置の使用が急速に増大している。電子画像は、フィルムベースの画像にもたらされる画像の劣化なしに無期限に格納することができる。電子画像は、取込み直後に見ることができ、且つプリントする、ワールドワイドウェブのウェブページに載せる（post）、電子メール（ｅメール）又は他の手段により他の人に送信する等の種々の方法で使用される。取外し可能な固体メモリ（solid-state memory）の容量が増大し、且つ価格が低下したため、通常の電子画像形成装置は、今では数百もの電子画像を取り込み且つ格納することができる。電子画像はまた、プレビューし、要求に応じて電子画像形成装置に格納するか又は削除することも可能である。

デジタルカメラ等の電子画像形成装置は、通常、２次元光検出器を使用して光を電気信号に変換する。一般に使用される光検出器は、各々が画像の１画像素子（すなわち画素）を取り込む、数百万もの感光セルの２次元アレイを含む。画像が光検出器に焦点を当てられる（focused onto）と、光検出器セルに電荷が蓄積する。電荷の大きさは、画像光の強度に対応し、すなわち、明るい光ほど大きい電荷を生成する。このように、光検出器に集束する画像光は、光検出器にわたって異なる電荷のパターンを生成する。光検出器にわたる電荷の大きさは、分析され、画像の電子表現として電子画像形成装置に格納される。デジタルカメラ等の電子画像形成装置では、電荷の大きさは、アナログ・デジタル（Ａ／Ｄ）変換器において数値データに変換される。

光検出器の１つの欠点は、エイリアシングの影響を受けやすく、それにより最終画像の高周波数領域において不正確な色又は構造がもたらされる、ということである。画像が、画素値を画素毎に大きく変化させる細部を含む場合、この高周波数成分を、光検出器が検出し損なうか又は誤って解釈する可能性がある。色誤りは、エイリアシングの特に一般的なタイプである。従来の電子画像は、各画素に対して赤（Ｒ）、緑（Ｇ）及び青（Ｂ）色値を提供することによって色を表し、それらは、表示され又はプリントされる時にその位置に実際の色をもたらすように結合される。しかしながら、一般に使用される光検出器は、各画素において赤値、緑値及び青値を測定しない。代りに、色光検出器は、通常、各画素に対して１つのカラーフィルタを含み、各々、３つの色のうちの１つしか取り込まない。各画素に対して２つの欠落した色値は、隣接する画素に基づいて推定される。画像の細部が１つの画素のみにありその隣接する画素にはない場合、その画素に対する２つの欠落した色値の推定は不正確となる。このため、画素が不連続な特徴を有し数が限られており、且つ各画素が１つの色しかサンプリングしないようにフィルタリングされるという事実により、エイリアシングがもたらされる可能性がある。

例示的な実施形態を、後述するような添付図面に示す。

図面及び説明は、概して、空間周波数が一様でない複数のカラーチャネルにモザイク画像データを有する電子画像において色エイリアシングを低減する方法及び装置を開示する。１つの例示的な実施形態では、電子画像は、図１Ａに示すように、ベイヤパターンアレイ１０に配置されるカラーフィルタリングされたセンサを備えた光検出器を有するデジタルカメラによって取り込まれる。したがって、画像データは、３つのカラーチャネル、すなわち赤チャネル１２（図１Ｂに示す）、緑チャネル１４（図１Ｃに示す）及び青チャネル１６（図１Ｄに示す）を含む。なお、緑チャネル１４のセンサの空間周波数は、赤チャネル１２又は青チャネル１６の空間周波数の２倍であることに留意する。図１Ａ乃至図１Ｄに示す例示的な６×６画素領域では、緑チャネル１４は１８個のサンプルを含み、赤チャネル１２及び青チャネル１６は、各々９個のサンプルを含む。例示的な実施形態のベイヤパターンでは、幅の狭い水平線又は垂直線等の細部が、センサを含まない赤チャネル１２及び青チャネル１６の行（例えば２０及び２２）又は列（例えば２４及び２６）に入る可能性がある。（緑チャネル１４のセンサは空間周波数が高いため、１画素の幅である水平線又は垂直線は同様には欠落しない。）細部によってもたらされるカラーエイリアシングの一例を、例示的な６×６画素領域の最下行３０を横切る白色水平線を考慮することによって理解することができる。白色水平線は、３つの緑センサ及び３つの青センサによって検出されるが、赤センサには検出されない。したがって、白色線は、電子画像の白色ではなく青緑色であるように見える。

電子画像における色エイリアシングを低減する方法及び装置は、空間周波数が高いカラーチャネルを使用して他のカラーチャネルの色エイリアシングのモデル又は推定値を計算する。そして、これらのモデル又は推定値を他のカラーチャネルの画像データに適用することにより、電子画像の色エイリアシングを低減することができる。上述した例示的な白色水平線の場合、緑チャネル１４を使用して、赤チャネル１２のエイリアシングのモデルを計算する。赤チャネル１２の画像データに適用すると、これは、或る程度白色線に対応して赤チャネル１２における欠落したサンプルを有効に充填し、それにより、線が、電子画像において青緑色ではなくより白色に見えるようになる。

本明細書では、「空間周波数が高いカラーチャネル」という用語を用いて、所与の領域において、比較されたカラーチャネルよりモザイク画像データに多くの測定された輝度値が含まれるカラーチャネルを指す。デモザイク処理又は補間後は、すべてのカラーチャネルが、結合された、測定され且つ補間された輝度値の同じ空間周波数を有する可能性があるが、本明細書で使用する「空間周波数が高いカラーチャネル」という用語は、測定され且つ補間された輝度値の組合せではなく、単なる測定された輝度値の周波数に基づく。

電子画像における色エイリアシングを低減する方法及び装置を、例示的な実施形態の赤・緑・青（ＲＧＢ）方式以外の色符号化方式に、且つ例示的な実施形態のベイヤパターン以外の光検出器モザイクパターンに適応させてもよい。したがって、説明し且つ本明細書において請求する、電子画像において色エイリアシングを低減する方法及び装置を、例示的な実施形態のＲＧＢ符号化及びベイヤパターンに限定されるものとみなすべきではないが、要求に応じて、現在既知であるか又は将来開発される可能性のある任意の色符号化方式又はモザイクパターンに適応させてもよい。

電子画像におけるエイリアシングを低減する方法及び装置は、１つの例示的な実施形態では、電子画像のカラーチャネルにおける色エイリアシングに関するが、本方法及び装置を、他のタイプのエイリアシング、及び１つのチャネルの空間周波数が別のチャネルの空間周波数より高い他のタイプのデータチャネルに適応させてもよい。したがって、例示的な実施形態に関して使用する「輝度」という用語は、光強度を指すが、代替実施形態では、１つ又は複数のセンサが検出するあらゆる大きさを指してもよい。

本明細書では、「モザイク画像データ」及び「生画像データ」という用語を使用して、複数のチャネルで運ばれる、欠落したサンプル又は輝度値を有する画像データを指す。本明細書で説明する例示的な実施形態では、これは、ベイヤパターンによる光検出器からの生画像データであり、欠落した輝度値は、補間又は他の任意の方法によって充填されなかったことを意味する。

ここで図２を参照して、電子画像における色エイリアシングを低減する例示的な動作について説明する。１つの空間周波数が他より高い少なくとも２つのチャネルで、モザイク画像データを取得する（５０）。各チャネルに対するモザイク画像データを、欠落したデータを補間する関数に通すことにより、各チャネルの完全に満たされた（fully populated）低周波数画像データを計算する（５２）。本明細書では、「完全に満たされた」という用語を用いて、欠落したサンプルのないデータを指す。例示的な実施形態では、各チャネルは、そのチャネルのモザイクパターンに合うように調整されたそれ自体の補間関数を有する。デモザイク処理等のこの補間を実行する例示的なローパスフィルタについては、後により詳細に説明する。色エイリアシングを低減する方法及び装置が扱う大部分のエイリアシングは、低周波数画像データにおいて発生するため、各チャネルのこの完全に満たされた低周波数画像データから高周波数成分をフィルタリングで取り除く。

空間周波数が最高である（又はエイリアシングが低減されているチャネルより空間周波数が高い）チャネルに対し、完全に満たされた高周波数画像データを計算する（５４）。これを、エイリアシングのあり得る最良のモデルを取得するために、画像を処理しているデバイスによって適度に実行され得るあり得る最良のデモザイクアルゴリズムを使用することによって実行する。別法として、エイリアシングを低減する必要に対して、高周波数画像データを取得するために使用されるデモザイクアルゴリズムのコストのバランスをとってもよく、望ましい場合は、幾分か低品質の高周波数デモザイクアルゴリズムを選択してもよい。完全に満たされた高周波数画像データは、このデータのローパスフィルタリングを回避しようと試みるという点で、生画像データにおける周波数成分と実質的に同様の周波数成分を含む。現在、高周波数成分を実質的に除去することなく画像データに対しデモザイク処理を行う多くのアルゴリズムが知られており、現在知られているか又は将来開発される可能性のある任意の適当なアルゴリズムを使用してもよい。１つの例示的なアルゴリズムは、２００４年４月２９日に出願された、「Edge-Sensitive Denoising and Color Interpolation of Digital Images」と題する本願と同一の譲受人に譲渡された米国特許出願第１０／８３５，６０９号に述べられている。

空間周波数が高いチャネルに対する完全に満たされた高周波数画像データを、空間周波数が低いチャネルに対する低周波数補間関数に通すことにより、空間周波数が低いチャネルにおけるエイリアシングのモデルを計算する（５６）。後により詳細に論考するように、これにより、空間周波数が高いチャネルにおける画像データを使用して、空間周波数が低いチャネルで発生する同じエイリアシングの推定値が得られる。

空間周波数が高いチャネルに対する完全に満たされた低周波数画像データからエイリアシングのモデルを減算することにより、エイリアシングのモデルから輝度値を除去する（６０）。これにより、エイリアシングの輝度なしモデルがもたらされる。最後に、エイリアシングのモデルを低周波数画像データに加算することによる等、エイリアシングの輝度なしモデルを低周波数画像データに適用することにより、空間周波数の低いチャネルにおける低周波数画像データからエイリアシングを低減し又は除去する（６２）。なお、この例示的な動作によって形成されるエイリアシングのモデルは、例示的なモデルが作成された時の減算操作５６の要素の順序のために、空間周波数の低いチャネルに対する低周波数画像データに加算されるエイリアシングの逆写像であることに留意する。エイリアシングのモデルを、別法として、エイリアシングの正写像として形成し、任意の適当な方法で低周波数画像データと結合してもよい。

結果として生じる（resulting）少なくとも２つのチャネルにおける低周波数、低エイリアスの画像データを、要求に応じて、最終的な電子画像を形成するために使用してもよい。たとえば、上述したように、空間周波数の高いチャネルに対してあり得る最良のデモザイクアルゴリズムを使用して計算した５４のデータ等の高周波数画像データを、低周波数、低エイリアス画像データのすべてのチャネルと結合することにより、最終的な電子画像を形成してもよい。

この操作を、図３のブロック図に、ベイヤパターンのモザイク画像データに基づいて電子画像の緑チャネル及び赤チャネルについて示す。上述したように、緑チャネルは空間周波数が赤チャネルより高い。したがって、緑チャネルを使用して、赤チャネルにおける色エイリアシングを低減するように赤チャネルのエイリアシングのモデルを作成する。赤チャネルモザイク画像データＲＭｏｓ７０を低周波数補間関数ＬｏｗＥｓｔＲｅｄ７２に通すことにより、完全に満たされた低周波数赤チャネル画像データＲＬｏｗ７４を形成する。この画像データＲＬｏｗ７４は、赤チャネルモザイク画像データの空間周波数が低いため、低周波数補間関数ＬｏｗＥｓｔｒｅｄ７２によって付加された上述したようなエイリアシングが含まれる。緑チャネルモザイク画像データＧＭｏｓ８０もまた低周波数補間関数ＬｏｗＥｓｔＧｒｅｅｎ８２に通すことにより、完全に満たされた低周波数緑チャネル画像データＧＬｏｗ８４を形成する。後により詳細に論考するように、補間関数ＬｏｗＥｓｔＲｅｄ７２及びＬｏｗＥｓｔＧｒｅｅｎ８２を、それらの対応するカラーチャネルのモザイクパターンに合うように調整する。なお、低周波数緑チャネル画像データＧＬｏｗ８４は、緑チャネルの空間周波数の方が高いことに基づき、低周波数赤チャネル画像データＲＬｏｗ７４より低いエイリアシングを含む。

また、緑チャネルモザイク画像データＧＭｏｓ８０を、あり得る最良のデモザイクアルゴリズムＨｉｇｈＥｓｔＧｒｅｅｎ８６にも通すことにより、低エイリアシングと、生モザイク画像データにおけるものと実質的に同様の高周波数成分とを有する高周波数緑チャネル画像データＧＨｉｇｈ９０を形成する。高周波数緑チャネル画像データＧＨｉｇｈ９０を赤チャネル低周波数補間関数ＬｏｗＥｓｔＲｅｄ７２（又は少なくとも同じアルゴリズム）に通すことにより、緑チャネルデータに、低周波数赤チャネル画像データＲＬｏｗ７４におけるエイリアシングの推定値を有効に導入する。低周波数補間関数に関して後により詳細に論考するように、赤チャネルのベイヤパターンに従って、赤チャネル低周波数補間関数ＬｏｗＥｓｔＲｅｄ７２において、かなり（good）高い周波数の緑画像データＧＨｉｇｈ９０からサンプルを落とす。これにより、緑チャネルデータＧＨｉｇｈ９０における空間周波数が、赤チャネルにおけるものと一致するように有効に低減し、エイリアシングのモデルＧｒｅｅｎＲＬｏｗ９２がもたらされる。赤チャネルの赤画素に対応するものを除く緑チャネルにおけるすべての位置からサンプルを落とすことにより、エイリアシングのモデルＧｒｅｅｎＲＬｏｗ９２は、赤チャネルの場合と同じエイリアシングをモデル化するが、それは緑チャネルにおけるものである。このため、エイリアシングのモデルＧｒｅｅｎＲＬｏｗ９２は、赤チャネルエイリアシングを含むが、緑チャネル輝度値を有する。（用語「ＧｒｅｅｎＲＬｏｗ」で使用する命名規則は、ＧｒｅｅｎＲＬｏｗ９２が赤画素位置に基づく緑輝度値を含むことを示す。）

エイリアシングのモデルＧｒｅｅｎＲＬｏｗ９２から緑輝度値を除去することにより、それを低周波数赤チャネル画像データＲＬｏｗ７４に適用することができるようにするため、低周波数緑チャネル画像データＧＬｏｗ８４からエイリアシングのモデルＧｒｅｅｎＲＬｏｗ９２を減算する（９４）。低周波数緑チャネル画像データＧＬｏｗ８４は、上述したように低エイリアシングを含むか又はエイリアシングを含まないが、電子画像のすべての画素位置において緑輝度値を含む。ＧＬｏｗ８４からＧｒｅｅｎＲＬｏｗ９２を減算することにより、緑輝度値は取り消され且つ除去され、赤チャネルにおけるエイリアシングの輝度なしモデル９６がもたらされる。上述したように、この輝度なしモデル９６は、赤チャネルにおけるエイリアシングの逆写像である。ＲＬｏｗ７４にエイリアシングの輝度なしモデル９６を加算する（１００）ことにより、低周波数赤チャネル画像データＲＬｏｗ７４から赤チャネルにおけるエイリアシングが低減又は除去され、低エイリアス低周波数赤チャネル１０２が作成される。

色エイリアシングを低減する例示的な操作は、低周波数緑チャネル画像データＧＬｏｗ８４がエイリアシングを推定しないため、ＧＬｏｗ８４のみでなく、高周波数緑チャネル画像データＧＨｉｇｈ９０を使用する。それはすでにＬｏｗＥｓｔＧｒｅｅｎ８２を通過したため、色エイリアシングをもたらす赤チャネル及び青チャネルから欠落する高周波数成分を喪失している。

図３に示す例示的な操作を、電子画像の青チャネルに対して繰り返してもよく、青チャネルに対するエイリアシングのモデルは、青チャネル低周波数補間関数ＬｏｗＥｓｔＢｌｕｅを通過する高周波数緑チャネル画像データに基づく。

上述した例示的な操作で使用される一般式は、以下の通りである。
ＲＬｏｗ＝ＬｏｗＥｓｔＲｅｄ（ＲＭｏｓ）
ＧＬｏｗ＝ＬｏｗＥｓｔＧｒｅｅｎ（ＧＭｏｓ）
ＢＬｏｗ＝ＬｏｗＥｓｔＢｌｕｅ（ＢＭｏｓ）
ＧＨｉｇｈ＝ＨｉｇｈＥｓｔＧｒｅｅｎ（ＧＭｏｓ）
ＧｒｅｅｎＲＬｏｗ＝ＬｏｗＥｓｔＲｅｄ（ＧＨｉｇｈ）
ＧｒｅｅｎＢＬｏｗ＝ＬｏｗＥｓｔＢｌｕｅ（ＧＨｉｇｈ）
ＬｏｗＡｌｉａｓＲＬｏｗ＝ＲＬｏｗ＋ＧＬｏｗ−ＧｒｅｅｎＲＬｏｗ
ＬｏｗＡｌｉａｓＢＬｏｗ＝ＢＬｏｗ＋ＧＬｏｗ−ＧｒｅｅｎＢＬｏｗ
ＲＭｏｓ、ＧＭｏｓ及びＢＭｏｓは、それぞれ赤カラーチャネル、緑カラーチャネル及び青カラーチャネルに対するモザイク画像データである。
ＲＬｏｗ及びＢＬｏｗは、潜在的に高エイリアシングを有する、それぞれ完全に満たされた低周波数赤チャネル及び青チャネルである。
ＧＬｏｗは、低エイリアシングを有する完全に満たされた低周波数緑チャネルである。
ＧＨｉｇｈは、同様に低エイリアシングを有する完全に満たされた高周波数緑チャネルである。
ＧｒｅｅｎＲＬｏｗ及びＧｒｅｅｎＢＬｏｗは、緑チャネル輝度を有する、それぞれ赤チャネル及び青チャネルのエイリアシングの緑チャネルモデルである。

したがって、ＬｏｗＡｌｉａｓＲＬｏｗに対する最終式は、赤チャネル輝度であり、赤チャネルタイプエイリアシング（ＲＬｏｗ）＋緑チャネル輝度（ＧＬｏｗ）−緑チャネル輝度及び赤チャネルタイプエイリアシング（ＧｒｅｅｎＲＬｏｗ）である。緑チャネル輝度は取り消され、赤チャネルタイプエイリアシング−赤チャネルタイプエイリアシングの赤チャネル輝度が残る。赤チャネルタイプエイリアシングは取り消され、最終結果はエイリアシングのない赤チャネル輝度のみとなる。同様に、ＬｏｗＡｌｉａｓＢＬｏｗに対する最終式は青チャネル輝度であり、青チャネルタイプエイリアシング（ＢＬｏｗ）＋緑チャネル輝度（ＧＬｏｗ）−緑チャネル輝度及び青チャネルタイプエイリアシング（ＧｒｅｅｎＢＬｏｗ）である。緑チャネル輝度は取り消され、青チャネルタイプエイリアシング−青チャネルタイプエイリアシングの青チャネル輝度が残る。青チャネルタイプエイリアシングは取り消され、最終結果はエイリアシングのない青チャネル輝度のみとなる。

ここで、例示的な低周波数補間関数ＬｏｗＥｓｔＲｅｄ、ＬｏｗＥｓｔＧｒｅｅｎ及びＬｏｗＥｓｔＢｌｕｅについて、アルゴリズムを説明するためにＭＡＴＬＡＢ命令を使用して包括的に説明する。補間関数は、入力データにローパスフィルタリング行列Ｋを適用する。ここで、
Ｋ＝［１ ３ ４ ３ １］’＊［１ ３ ４ ３ １］．／３６；
である。この式は、以下の行列に展開する。

ＬｏｗＥｓｔＲｅｄでは、以下の部分画像データアレイにおけるように、赤以外のセンサに対応する位置のすべてを０にセットする。

ＭＡＴＬＡＢ ｆｉｒフィルタ関数を使用してｒＺｅｒｏｓ行列にローパスフィルタＫを適用する。
ＲＬｏｗ＝ｆｉｒ（ｒＺｅｒｏｓ，Ｋ）；
ＬｏｗＥｓｔＧｒｅｅｎでは、以下の部分画像データアレイにおけるように、緑以外のセンサに対応する位置のすべてを０にセットする。

ｇＺｅｒｏｓ行列にローパスフィルタＫ／２を適用する。
ＧＬｏｗ＝ｆｉｒ（ｇＺｅｒｏｓ，Ｋ／２）；
なお、緑チャネルの空間周波数が高いため、行列Ｋを２で除算することに留意する。
ＬｏｗＥｓｔＢｌｕｅでは、以下の部分画像データアレイにおけるように、青以外のセンサに対応する位置のすべてを０にセットする。

ｂＺｅｒｏｓ行列にローパスフィルタＫを適用する。
ＢＬｏｗ＝ｆｉｒ（ｂＺｅｒｏｓ，Ｋ）；

各カラーチャネルの画像全体に対し、低周波数補間関数ＬｏｗＥｓｔＲｅｄ、ＬｏｗＥｓｔＧｒｅｅｎ及びＬｏｗＥｓｔＢｌｕｅを適用し、それにより、詳細な又は強いエッジをほとんど又はまったく含まず、単に各色に対し輝度が平滑に変化する低周波数カラーチャネルがもたらされる。ｒＺｅｒｏｓ行列、ｇＺｅｒｏｓ行列及びｂＺｅｒｏｓ行列は上に表示した小さい５×３部分に限定されるのではなく、画像全体にわたって広がる。

ここで、低周波数補間関数ＬｏｗＥｓｔＲｅｄ、ＬｏｗＥｓｔＧｒｅｅｎ及びＬｏｗＥｓｔＢｌｕｅの例示的な一実施形態のより詳細なＭＡＴＬＡＢコードについて説明する。このＭＡＴＬＡＢコードでは、以下のように、３つの低周波数補間関数ＬｏｗＥｓｔＲｅｄ、ＬｏｗＥｓｔＧｒｅｅｎ及びＬｏｗＥｓｔＢｌｕｅが、単一の「ｓｍｏｏｔｈＢｉｌｉｎｅａｒ」関数に結合される。
ｆｕｎｃｔｉｏｎ［ＲＬｏｗ，ＧＬｏｗ，ＢＬｏｗ］＝ｓｍｏｏｔｈＢｉｌｉｎｅａｒ（ｍ）；
Ｋ＝［１ ３ ４ ３ １］’＊［１ ３ ４ ３ １］．／３６；
ｐ＝ｚｅｒｏｓ（ｓｉｚｅ（ｍ））；
ｐ（１：２：ｅｎｄ，２：２：ｅｎｄ）＝ｍ（１：２：ｅｎｄ，２：２：ｅｎｄ）；％Ｇ１画素
ｐ（２：２：ｅｎｄ，１：２：ｅｎｄ）＝ｍ（２：２：ｅｎｄ，１：２：ｅｎｄ）；％Ｇ２画素
ＧＬｏｗ＝ｆｉｌｔｅｒ２（Ｋ．／２，ｐ）；
ｐ＝ｚｅｒｏｓ（ｓｉｚｅ（ｍ））；
ｐ（１：２：ｅｎｄ，１：２：ｅｎｄ）＝ｍ（１：２：ｅｎｄ，１：２：ｅｎｄ）；％Ｒ画素
ＲＬｏｗ＝ｆｉｌｔｅｒ２（Ｋ，ｐ）；
ｐ＝ｚｅｒｏｓ（ｓｉｚｅ（ｍ））；
ｐ（２：２：ｅｎｄ，２：２：ｅｎｄ）＝ｍ（２：２：ｅｎｄ，２：２：ｅｎｄ）；％Ｂ画素
ＢＬｏｗ＝ｆｉｌｔｅｒ２（Ｋ，ｐ）；

上述したように、ローパスフィルタリング行列Ｋを設定する。行列ｐを、電子画像のサイズで確立する。図１Ａに示すように併合される３つのカラーチャネルすべてを含む入力行列ｍにモザイク画像データを提供する。入力行列ｍから行列ｐに緑チャネル画素をコピーし、行列ｐの赤画素位置及び青画素位置は、図１Ｃに示すように初期化された０値のままにする。ｆｉｌｔｅｒ２関数において行列ｐにローパスフィルタ行列Ｋ（緑チャネルの相対空間周波数が高いため２で除算する）を適用する。測定された輝度のない行列ｐの各画素に対し、ｆｉｌｔｅｒ２関数は、各隣接する測定された輝度値を、行列Ｋの対応する係数で乗算し、その後、結果として生ずる値を合計することにより欠落した輝度値を形成する。ｆｉｌｔｅｒ２関数は、欠落した輝度値のみを充填し、測定された輝度値に上書きしない。赤チャネル及び青チャネルに対しプロセスを繰り返し、それにより、上述した色エイリアシングを低減する方法及び装置で使用される完全に満たされた低周波数の赤チャネル、緑チャネル及び青チャネルがもたらされる。なお、上述した低周波数補間は単に例示的なものであり、色エイリアシングを低減する方法及び装置は、任意の適当なデモザイク及びローパスフィルタリングアルゴリズムを使用してもよい、ということに留意する。

１つの例示的な実施形態では、エイリアシングのモデルを、エイリアシングを低減するために空間周波数が比較的低いチャネルに対して適用する前にスケーリングしてもよい。エイリアシングのモデルは、空間周波数が高いチャネルにおける輝度値に基づくため、それが適用される空間周波数が低いチャネルにおける輝度値とは異なる実効利得を有する可能性がある。たとえば、赤チャネルタイプエイリアシングの輝度なしモデル（Ｇｌｏｗ−ＧｒｅｅｎＲＬｏｗ）９６は、赤輝度値ではなく緑輝度値に基づく。緑輝度は除去されているが、残っている赤チャネルタイプエイリアシングを、依然として、赤チャネル輝度ではなく緑チャネル輝度に従ってスケーリングする。画像が、大量の緑色光を含み赤色光は非常にわずかにしか含まない場合、赤チャネルタイプエイリアシングの輝度なしモデル（Ｇｌｏｗ−ＧｒｅｅｎＲＬｏｗ）９６は、赤チャネルに実際に存在するより多くのエイリアシングを示す可能性がある。これを、複数の適当な方法のうちの任意のものでエイリアシングのモデルをスケーリングすることによって補償してもよい。１つの例示的な実施形態では、エイリアシングのモデルを、目標カラーチャネルのチャネルバランス、たとえば画像の所望のホワイトバランスを満足するために赤チャネルにおいて必要な利得に基づいて、全体的にスケーリングする。より大きい処理能力が利用可能な別の例示的な実施形態では、エイリアシングのモデルを局所的に、たとえばその領域における赤輝度の緑輝度に対する率に基づいてスケーリングしてもよい。

電子画像におけるエイリアシングを低減する方法及び装置を画像単位で適用する。たとえば、各個々の画像に対し、緑チャネルに基づき赤チャネル及び青チャネルの色エイリアシングを低減する。モザイク画像データが、１つのチャネルの空間周波数が別のチャネルの空間周波数より高い複数のチャネルに含まれる限り、電子画像におけるエイリアシングを低減する方法及び装置を、画像が取り込まれる際のデジタルカメラ、又はコンピュータにおける等、任意の適当なデバイスにおいてモザイク画像データに対して実行してもよい。

電子画像におけるエイリアシングを低減する請求した方法及び装置に関して、特許請求の範囲は、単一カラーチャネルのみを処理することに限定されず、それらを、上述した例示的な実施形態における赤カラーチャネル及び青カラーチャネル等、要求に応じた数のカラーチャネルに適用してもよい、ということに留意することが重要である。

エイリアシングを低減する方法及び装置を実施する（embody）ことができる例示的なデジタルカメラを、図４乃至図６に示す。例示的なデジタルカメラ１１０は、レンズアセンブリ１１２と、光検出器１１４と、光検出器１１４によって収集された画像データを格納する記憶デバイス１１６と、画像データを処理しフォーマットする画像処理システム１２０と、を含む。レンズアセンブリ１１２は、デジタルカメラ１１０の光検出器１１４に光を集束させる。デジタルカメラ１１０は、既知であるように、制御ボタン（たとえば、１２２、１２４、１２６等）、フラッシュ１３０、ビューファインダ１３２並びに表示デバイス１３４及び１３６等の他の要素を有してもよい。

光検出器１１４は、少なくとも２つの異なる空間周波数を有する複数のチャネルにおいてモザイク画像データを生成する任意の適当なセンサアレイを備えてもよい。たとえば、光検出器１１４は、電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）センサ等を備えてもよい。

画像処理システム１２０は、電子画像を処理してエイリアシングを低減し他の所望のタスクを実行する任意の適当なデバイスを備えてもよい。たとえば、画像処理システム１２０は、マイクロプロセッサ及び関連メモリを備えてもよく、エイリアシングを低減する装置は、ファームウェア形式で格納される実行可能プログラムコードを備える。別法として、画像処理システム１２０は、特定用途向け集積回路（ＡＳＩＣ）等のハードコーディングされたデバイスを備えてもよい。デジタルカメラ１１０を、電子画像におけるエイリアシングをそれが取り込まれる際に又は要求に応じて後に低減するように設計してもよい。

別の例示的な実施形態では、エイリアシングを低減する方法及び装置を、コンピュータシステムにおいて具現化してもよい。電子画像におけるエイリアシングを低減するために使用してもよい典型的なコンピュータシステムを、図７のブロック図に示す。コンピュータシステム１４０は、システムバス１４４によって、リードオンリメモリ（ＲＯＭ）１４６、ランダムアクセスメモリ（ＲＡＭ）１５０、入出力（Ｉ／Ｏ）アダプタ１５２、通信アダプタ１５４、ユーザインタフェースアダプタ１５６及びディスプレイアダプタ１６０等のデバイスに接続される中央処理装置（ＣＰＵ）１４２を含む。ハードドライブ１６２等のデータ記憶デバイスは、Ｉ／Ｏアダプタ１５２を介してコンピュータシステム１４０に接続される。動作時、コンピュータシステム１４０のＣＰＵ１４２は、ＲＯＭ１４６に、ハードドライブ１６２に、且つＲＡＭ１５０にバイナリ形式で格納された命令を実行し、それによってＣＰＵ１４２は、ＲＡＭ１５０に格納されたデータを処理して有用な機能を実行する。コンピュータシステム１４０は、通信アダプタ１５４に接続されたローカルエリアネットワーク又はワイドエリアネットワーク（たとえば１６４）を介して他の電子デバイスと通信してもよい。ユーザ入力は、ユーザインタフェースアダプタ１５６を介してコンピュータシステム１４０に接続されるキーボード１６６及びポインティングデバイス１７０等の入力デバイスを介して取得される。出力は、ディスプレイアダプタ１６０に接続されたモニタ１７２等の表示デバイスに表示される。かかるコンピュータシステム１４０、又は他の任意の適当に構成された処理システムにおいて、電子画像におけるエイリアシングを低減することができる。

本明細書では、さまざまなコンピュータ読取可能コード又は実行可能コード若しくは電子的に実行可能な命令について言及した。これらを、ソフトウェア、ファームウェア、ハードワイヤード電子回路、又はゲートアレイにおけるプログラミング等、任意の適当な方法で実施してもよい。ソフトウェアを、機械語、アセンブリ言語、若しくはＣ又はＣ＋＋等の高水準言語等、任意のプログラミング言語でプログラムしてもよい。コンピュータプログラムを、インタープリト（interpret）しても又はコンパイルしてもよい。

コンピュータ読取可能コード又は実行可能コード若しくは電子的に実行可能な命令を、コード又は命令にアクセスし又はそれらを実施し、且つ実行することができる汎用プロセッサ、ソフトウェアエミュレータ、特定用途向け回路、論理ゲートから成る回路等、任意の命令実行デバイスによって又はそれに関連して使用される、任意のコンピュータ読取可能記憶媒体又は任意の電子回路で明確に（tangibly）実施してもよい。

本明細書で説明し且つ請求した方法を、上述したような任意のコンピュータ読取可能記憶媒体に又は任意の電子回路で明確に実施される、コンピュータ読取可能コード又は実行可能コード若しくは電子的に実行可能な命令を実行することによって行ってもよい。

コンピュータ読取可能コード又は実行可能コード若しくは電子的に実行可能な命令を明確に実施する記憶媒体には、命令実行デバイスにより又はそれに関連して使用されるコード又は命令を格納し、伝送し、通信し、又は任意の方法で伝播することができる任意の手段が含まれる。たとえば、記憶媒体には、任意の電子、磁気、光又は他の記憶デバイス、若しくは導体、電磁気、光、赤外線伝送等の任意の伝送媒体が含まれてもよい（ただし限定されない）。記憶媒体は、さらには、電子回路を含んでもよく、その場合、コード又は命令は電子回路の設計によって表される。特定の例は、固定及び取外し可能の両方の磁気ディスク又は光ディスク、メモリカード並びにプログラム可能及び消去可能ＲＯＭを含むリードオンリメモリ（ＲＯＭ）等の半導体メモリデバイス、不揮発性メモリ（ＮＶＭ）、光ファイバ等を含む。コード又は命令を明確に実施する記憶媒体には、紙の上のコンピュータプリントアウト等のプリントされた媒体も含まれ、それらを、コード又は命令を取り出すように光学的にスキャンすることができ、それにより、命令実行デバイスが、そのコード又は命令を解析し、コンパイルし、アセンブルし、格納し且つ実行することができる。コード又は命令を、有線及び無線の両方の、インターネット又は他のタイプのネットワーク等の伝送媒体で、電気信号として明確に実施してもよい。

本明細書において例示的な実施形態を詳細に説明したが、本明細書で開示した概念を、他の方法で異なるように具現化し且つ採用してもよく、添付の特許請求の範囲は、従来技術によって限定されることを除き、かかる変形を含むように解釈されることが意図されている、ということが理解されるべきである。

光検出器の６×６画素領域の領域におけるカラーフィルタリングされたセンサのベイヤパターンアレイの図であり、赤カラーチャネル、緑カラーチャネル及び青カラーチャネルを含むアレイの図である。 光検出器の６×６画素領域の領域におけるカラーフィルタリングされたセンサのベイヤパターンアレイの図であり、赤カラーチャネルを含むアレイの図である。 光検出器の６×６画素領域の領域におけるカラーフィルタリングされたセンサのベイヤパターンアレイの図であり、緑カラーチャネルを含むアレイの図である。 光検出器の６×６画素領域の領域におけるカラーフィルタリングされたセンサのベイヤパターンアレイの図であり、青カラーチャネルを含むアレイの図である。 電子画像における色エイリアシングを低減する例示的な操作のフローチャートである。 電子画像の赤チャネルにおける色エイリアシングを、緑チャネル画像データを使用して低減する例示的な操作のブロック図である。 電子画像における色エイリアシングを低減するために使用しうる例示的な電子画像形成装置の等角正面図である。 図４の例示的な電子画像形成装置の等角背面図である。 電子画像における色エイリアシングを低減するために使用しうる例示的な電子画像形成装置のブロック図である。 電子画像における色エイリアシングを低減するために使用しうる例示的なコンピュータシステムのブロック図である。

符号の説明

１０・・・ベイヤパターンアレイ
１２・・・赤チャネル
１４・・・緑チャネル
１６・・・青チャネル
７０・・・赤チャネルモザイク画像データＲＭｏｓ
７２・・・低周波数補間関数ＬｏｗＥｓｔＲｅｄ
７４・・・低周波数赤チャネル画像データＲＬｏｗ
８０・・・緑チャネルモザイク画像データＧＭｏｓ
８２・・・低周波数補間関数ＬｏｗＥｓｔＧｒｅｅｎ
８４・・・低周波数緑チャネル画像データＧＬｏｗ
８６・・・デモザイクアルゴリズムＨｉｇｈＥｓｔＧｒｅｅｎ
９０・・・高周波数緑チャネル画像データＧＨｉｇｈ
９２・・・エイリアシングのモデルＧｒｅｅｎＲＬｏｗ
９４・・・低周波数緑チャネル画像データＧＬｏｗからエイリアシングのモデルＧｒｅｅｎＲＬｏｗを減算
９６・・・エイリアシングの輝度なしモデル
１００・・・ＲＬｏｗにエイリアシングの輝度なしモデルを加算
１０２・・・低エイリアス低周波数赤チャネル
１１０・・・デジタルカメラ
１１２・・・レンズアセンブリ
１１４・・・光検出器
１１６・・・記憶デバイス
１２０・・・画像処理システム
１２２，１２４，１２６・・・制御ボタン
１３０・・・フラッシュ
１３２・・・ビューファインダ
１３４，１３６・・・表示デバイス
１４０・・・コンピュータシステム
１４２・・・ＣＰＵ
１４４・・・システムバス
１４６・・・ＲＯＭ
１５０・・・ＲＡＭ
１５２・・・Ｉ／Ｏアダプタ
１５４・・・通信アダプタ
１５６・・・ユーザインタフェースアダプタ
１６０・・・ディスプレイアダプタ
１６２・・・ハードドライブ
１６４・・・ネットワーク
１６６・・・キーボード
１７０・・・ポインティングデバイス
１７２・・・モニタ

Claims (9)

1. 複数のカラーチャネルによって色を表す電子画像のエイリアシングを低減する方法であって、
   前記電子画像における第１のカラーチャネルにおけるエイリアシングの量を、前記電子画像における第２のカラーチャネルにおける輝度値に基づいて推定することと、
   前記推定されたエイリアシングの量に基づいて前記第１のカラーチャネルを処理すること（６２）であって、前記第１のカラーチャネルにおけるエイリアシングを低減することと、
   前記電子画像に対し前記第１のカラーチャネル及び第２のカラーチャネルにおける生画像データであって、前記第１のカラーチャネル及び第２のカラーチャネルの各々において欠落した輝度値を有する生画像データを取得すること（５０）と、
   前記第１のカラーチャネル及び第２のカラーチャネルの各々に対し補間関数（７２、８２、８６）を使用して、前記第１のカラーチャネル及び第２のカラーチャネルの各々における前記欠落した輝度値を計算すること（５２、５４、５６）であって、
   前記第２のカラーチャネルに対する前記補間関数（８６）を使用して第２のカラーチャネルに対し画像データを計算すること（５４）と、
   前記第１のカラーチャネルに対する前記補間関数（７２）を使用して、前記計算された画像データに基づいて第２のカラーチャネルにおける前記欠落した輝度値を計算すること（５６）と
   を含む、欠落した輝度値を計算することと
   を含む電子画像のエイリアシングを低減する方法。
2. 前記第２のカラーチャネルにおける生画像データは、前記第１のカラーチャネルにおける生画像データより空間周波数が高い
   請求項１に記載の電子画像のエイリアシングを低減する方法。
3. 前記推定することは、
   前記第２のカラーチャネルに対する前記補間関数（８２）から取得された前記第２のカラーチャネルにおける輝度値（８４）と、前記第１のカラーチャネルに対する前記補間関数（７２）から取得された前記第２のカラーチャネルにおける輝度値（９２）との差（９６）を計算すること（６０）
   を含む
   請求項１に記載の電子画像のエイリアシングを低減する方法。
4. 前記第２のカラーチャネルに対する前記補間関数（８２）から取得された前記第２のカラーチャネルにおける前記輝度値（８４）は、前記第２のカラーチャネルに対する前記生画像データを前記第２のカラーチャネルに対する前記補間関数（８２）に通すことによって取得される（５６）
   請求項３に記載の電子画像のエイリアシングを低減する方法。
5. 前記第１のカラーチャネルに対する前記補間関数（７２）から取得された前記第２のカラーチャネルにおける前記輝度値（９２）は、前記第２のカラーチャネルに対する補間がなされた画像データ（９０）を前記第１のカラーチャネルに対する前記補間関数（７２）に通すことによって取得される
   請求項３に記載の電子画像のエイリアシングを低減する方法。
6. 前記補間がなされた画像データ（９０）は、
   前記第２のカラーチャネルの前記生画像データにおけるものと実質的に同様の前記電子画像の高周波数成分を維持する前記第２のカラーチャネルに対する補間関数（８６）を使用して、前記第２のカラーチャネルに対する前記生画像データに基づいて生成される前記第２のカラーチャネルに対する輝度値
   を含む
   請求項５に記載の電子画像のエイリアシングを低減する方法。
7. 前記第１のカラーチャネル及び第２のカラーチャネルに対する前記補間関数（７２、８２）は、
   前記生画像データにおいて関連するカラーチャネルに対して存在する隣接する輝度値に基づいて前記欠落した輝度値を充填するように設計されたローパスフィルタ
   を含む
   請求項１に記載の電子画像のエイリアシングを低減する方法。
8. 複数のカラーチャネルによって色を表す電子画像のエイリアシングを低減する装置であって、
   ａ．少なくとも１つのコンピュータ読取可能媒体と、
   ｂ．前記少なくとも１つのコンピュータ読取可能媒体に格納されたコンピュータ読取可能プログラムコードであって、
   ｉ．前記電子画像における複数のカラーチャネルのうちの第１のカラーチャネルに対する低周波数画像データと、前記電子画像における複数のカラーチャネルのうちの第２のカラーチャネルに対する高周波数画像データとを生成するようにモザイク画像データにデモザイク処理を行う（５２、５４）コードであって、前記第２のカラーチャネルに対する前記高周波数画像データは、前記第１のカラーチャネルに対する前記低周波数画像データより高周波数の画像成分を含むコードと、
   ｉｉ．前記第２のカラーチャネルに対する前記高周波数画像データを、前記第１のカラーチャネルに対する前記低周波数画像データを生成するために使用されるものと同じアルゴリズムに通す（５６）コードであって、前記第１のカラーチャネルにおけるエイリアシングのモデルを生成するコードと、
   ｉｉｉ．前記第１のカラーチャネルに対する前記低周波数画像データから前記エイリアシングのモデルを除去する（６２）コードと
   を含むコンピュータ読取可能プログラムコードと
   を具備する電子画像のエイリアシングを低減する装置。
9. 複数のカラーチャネルによって色を表す電子画像のエイリアシングを低減する装置であって、
   前記電子画像における複数のカラーチャネルのうちの第１のカラーチャネルのエイリアシングの推定値を、前記第１のカラーチャネルより空間周波数が高い前記複数のカラーチャネルのうちの第２のカラーチャネルにおける輝度値に基づいて取得する（５６）手段と、
   前記エイリアシングの推定値に基づいて前記第１のカラーチャネルにおけるエイリアシングを低減する（６２）手段と、
   前記電子画像に対し前記第１のカラーチャネル及び第２のカラーチャネルにおける生画像データであって、前記第１のカラーチャネル及び第２のカラーチャネルの各々において欠落した輝度値を有する生画像データを取得する手段（５０）と、
   前記第１のカラーチャネル及び第２のカラーチャネルの各々に対し補間関数（７２、８２、８６）を使用して、前記第１のカラーチャネル及び第２のカラーチャネルの各々における前記欠落した輝度値を計算する手段（５２、５４、５６）であって、
   前記第２のカラーチャネルに対する前記補間関数（８６）を使用して第２のカラーチャネルに対し画像データを計算する手段（５４）と、
   前記第１のカラーチャネルに対する前記補間関数（７２）を使用して、前記計算された画像データに基づいて第２のカラーチャネルにおける前記欠落した輝度値を計算する手段（５６）と
   を含む、欠落した輝度値を計算する手段と
   を具備する電子画像のエイリアシングを低減する装置。

Images