JP4893973B2

JP4893973B2 - エッジ検出および補正項を用いてカラーフィルターアレイにおいて色補間を提供する方法および装置

Info

Publication number: JP4893973B2
Application number: JP2008548595A
Authority: JP
Inventors: サボティン，イゴール
Original assignee: マイクロンテクノロジー，インク．
Priority date: 2005-12-29
Filing date: 2006-12-19
Publication date: 2012-03-07
Anticipated expiration: 2026-12-19
Also published as: US20070153106A1; TW200735652A; EP1969558A1; KR101007754B1; EP1969558B1; US20110032397A1; ATE520100T1; WO2007078912A1; US7830426B2; CN101336438B; TWI337499B; US8212900B2; JP2009522864A; KR20080078076A; CN101336438A

Description

本発明は、画像センサーによって取り込まれた画像に使用するためのデモザイク処理に関する。

撮像装置としても知られている画像センサーは、主として、テレビジョン画像の撮像、伝送、および、表示のために、１９６０年代末期から１９７０年代初期にかけて開発された。撮像装置は、特定の波長（フォトン、Ｘ線、などのような）を有する入射光を吸収し、吸収された放射線に対応する電気信号を生成する。いくつかの異なる種類の半導体ベースの撮像装置が存在し、電荷結合素子（ＣＣＤ）、フォトダイオードアレイ、電荷注入素子（ＣＩＤ）、ハイブリッド焦点面アレイ、および、ＣＭＯＳ撮像装置が含まれる。

これらの撮像装置は、典型的には、フォトセンサーを含む画素のアレイからなり、画像がアレイ上に結像したとき、それぞれの画素が、その画素に入射する光の強度に対応する信号を生成する。そして、これらの信号は、例えば、対応する画像をモニター上に表示するために記憶されてもよく、さもなければ、光学的画像に関する情報を提供するのに使用されてもよい。フォトセンサーは、典型的には、フォトトランジスタ、光導電体、または、フォトダイオードである。したがって、それぞれの画素によって生成された信号の大きさは、フォトセンサー上に入射する光の量に比例する。

フォトセンサーが、カラー画像を取り込むのを可能にするために、フォトセンサーは、例えば、ベイヤーパターン（Ｂａｙｅｒｐａｔｔｅｒｎ）を使用する場合、赤（Ｒ）フォトン、緑（Ｇ）フォトン、および、青（Ｂ）フォトンを別々に検出することができなければならない。したがって、それぞれの画素は、１つの色または１つのスペクトルバンドだけを感知しなければならない。このために、典型的には、カラーフィルターアレイ（ＣＦＡ）が、画素の前方に配置され、それによって、それぞれの画素は、それに関連するフィルターの色の光を測定する。このように、カラー画像センサーのそれぞれの画素は、特定のパターン（例えば、ベイヤーパターン）に基づいて、赤フィルター、緑フィルター、または、青フィルターのいずれかによって覆われる。

最も低価格のＣＭＯＳ画像センサーまたはＣＣＤ画像センサーの場合、カラーフィルターは、そのセンサーと一体化される。カラーフィルターパターンの一般的な例は、米国特許第３，９７１，０６５号（この明細書は、参照によって本明細書に組み込まれる）に説明されているタイル状のカラーフィルターアレイであり、一般的には、“ベイヤーパターン”カラーフィルターと呼ばれている。

図１に示されるように、ベイヤーパターン１００は、繰り返して現れる赤（Ｒ）フィルター、緑（Ｇ）フィルター、および、青（Ｂ）フィルターからなるアレイであり、それらのフィルターによって、それらのフィルターの下にある画素は、それぞれ、赤画素、青画素、および、緑画素となる。ベイヤーパターン１００においては、赤画素、緑画素、および、青画素は、交互に現れる赤画素と緑画素がアレイの第１の行１０５上に存在し、かつ、交互に現れる青画素と緑画素が次の行１１０上に存在するように配置される。これらの交互に現れる画素からなる行が、アレイ全体にわたって繰り返して現れるように配置される。したがって、画像センサーが、１行ずつ読み出されるとき、第１のラインに対する画素シーケンスは、ＧＲＧＲＧＲ．．．を読み込み、そして、それと互い違いのラインシーケンスは、ＢＧＢＧＢＧ．．．を読み込む。この出力は、シーケンシャルＲＧＢまたはｓＲＧＢと呼ばれる。

ベイヤーパターン１００において、３つのすべての基本色に対するサンプリングレートは、人間視覚システムの感知能力に基づいて調節される。すなわち、人間の眼が最も敏感で反応しやすい緑色は、より多い数のセンサーによって感知され、人間の視覚がそれほど分解能を有していない青色および赤色は、より少ない数のセンサーによって感知される。これが、ベイヤーパターンにおいて、緑感知画素が１つおきにアレイ位置に存在し、かつ、赤感知画素および青感知画素が４つおきにアレイ位置に存在する理由である。

図２に示されるように、固体画像センサーにおいては、ベイヤーパターン化されたフィルターが、画素センサー２０５からなるアレイ２００上に形成されてもよい。具体的には、画素センサー２０５からなるアレイ２００は、半導体基板２１０上に形成される。それぞれの画素センサー２０５は、感光エレメント２１５を有し、その感光エレメント２１５は、例えば、フォトゲート、光導電体、または、フォトダイオードのような、どのような光電変換デバイスであってもよい。カラーフィルターアレイ２２０が、アレイ２００において上部金属層２２５上に形成されてもよく、絶縁物メタライゼーションパターンを含む中間誘電体層（ＩＬＤ）２３５およびパッシベーション層２３０のような様々なメタライゼーションおよび絶縁層によって、フォトセンサー２１５から分離される。金属層２２５は、不透明なものであってもよく、また、光を感知しない画素領域を遮蔽するのに使用されてもよい。凸レンズ２４０が、カラーフィルター２２０上に形成される。動作中、入射光は、レンズ２４０によって、フィルター２２０を介して、感光エレメント２１５に結像する。

ベイヤーパターンフィルターの場合、赤、緑、および、青の値が、それぞれの画素に必要である。それぞれの画素センサーセルは、１つの色しか感知しないので、残りの２つの色の値は、それらの足りない色を感知する近傍画素からの補間によって計算される。この色平面補間は、デモザイク処理として知られている。例えば、図１を参照すると、画素センサーセル１１５は、緑フィルターと組み合わせられ、それによって、画素センサーセル１１５は、緑色光を感知し、緑色光だけを表現する信号を生成することになる。画素センサーセル１１５に対する赤色光および青色光のおおよその量を得るために、値が、それぞれ、近傍赤画素センサーセル１２０および１２５、ならびに、近傍青画素センサーセル１３０および１３５から補間されてもよい。デモザイク処理が正しく実行されなければ、その結果として得られる画像は、きわめて目立つカラーアーティファクトを含むことになるかもしれない。

ＢａｈａｄｉｒＫ．Ｇｕｎｔｕｒｋ，ＹｕｃｅｌＡｌｔｕｎｂａｓａｋおよび
ＲｕｓｓｅｌｌＭ．Ｍｅｒｓｅｒｅａｕによって２００２年９月にＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．II，Ｎｏ．９に発表された“ＣｏｌｏｒＰｌａｎｅＩｎｔｅｒｐｏｌａｔｉｏｎＵｓｉｎｇＡｌｔｅｒｎａｔｉｎｇＰｒｏｊｅｃｔｉｏｎｓ”と称する論文（この論文の内容は、参照により本明細書に組み込まれる）は、いくつかのデモザイク処理技術を比較している。この論文において説明されるように、それぞれのこれらのデモザイク処理技術は、それぞれの利点および欠点を有する。

上述したように、それぞれの画素ごとに、第１の色に使用される値は、感知された色（すなわち、画素のセンサー２０５によって感知された光）に基づくものであり、残りの２つの色の値は、対応する近傍画素の感知された値から補間された値に基づくものである。感知された値のそれぞれは、中心の画素における色値を表現する。また、補間された色値のそれぞれは、中心の画素における値を表現する。補間された信号は、本質的に、元々感知された信号よりも低い品質を有する。例えば、中心の画素において補間された赤色値は、中心の同じ画素に対して感知された赤色値とは異なるだろう。

デモザイク処理方法は、それは、典型的には、足りない色成分を再現するだけであるが、結果的に、いわゆるジッパー効果のようなアーティファクトおよびランダムなカラードットを発生させることがある。さらに、雑音をフィルタリングすることと鮮鋭なエッジをぼやけさせることとのトレードオフが存在する。周囲の画素値を用いて画素を補間することは、エッジにおける画素が補間される場合に、画像をぼやけさせる傾向を有する。さらにまた、これは、エッジにおいて、画像の鮮鋭度を減少させることになる。これは、主として、画像内に含まれるエッジを跨ぐ画素を平均することによるものである。デモザイク処理方法は、画素を平均し、そのために、エッジに存在する画素は、エッジ画素に必要とされる鮮鋭度を有していない。このように、補間値を計算するときに画像エッジを検出しかつ考慮に入れる改善されたデモザイク処理技術を提供する色平面補間が、所望され、かつ、必要とされている。

色平面補間のための方法および装置が、提供され、その方法および装置は、エッジ方向と画素が画像内のエッジに存在するかどうかとに応じて別々に、画素の色値を補間する。カラーパターン内に存在するそれぞれの色の補間中にエッジ検出を使用することは、公知のデモザイク処理技術においてよく見られる画像鮮鋭度の低下という欠点をいくぶん減少させるのを助ける。

以下の詳細な説明においては、本明細書の一部を構成する添付の図面が参照され、それらの図面には、本発明が実施されてもよい特定の実施形態が例として示される。これらの実施形態は、当業者が本発明を実施できるほど十分に詳しく説明され、また、本発明の精神および範囲を逸脱することなく、その他の実施形態が使用されてもよいこと、ならびに、構造的、論理的、および、電気的な変更がなされてもよいことを理解すべきである。

“画素”という用語は、光放射を電気信号に変換するためのフォトセンサーおよびトランジスタを含む画像素子単位セルを意味する。説明のために、代表的な画素が、図面およびここでの記述において説明され、また、典型的には、撮像装置におけるすべての画素の製造は、同じような形で同時に進行する。したがって、以下の詳細な説明は、限定するような意味に解釈されるべきではなく、本発明の範囲は、添付の特許請求の範囲に規定されている。

本発明によるＣＭＯＳ撮像装置への言及は、本発明のほんの１つの例を説明する唯一の目的のためになされることを理解すべきである。当然ながら、本発明はＣＭＯＳ撮像装置に限定されるのではなく、画素上にカラーフィルターを使用するＣＣＤおよびその他の撮像装置にも適用されることが容易に理解できる。さらに、本発明は、標準的な３色ベイヤーパターンを用いて説明される。本発明はその標準的な３色ベイヤーパターンに限定されるのではなく、異なる色を使用しあるいは３色よりも多いかまたは少ない色を使用する色空間に適用されてもよいことを理解すべきである。

図３Ａおよび図３Ｂは、本発明の実施形態による撮像装置の部分的な画素アレイ３００の平面図である。具体的には、図３Ａおよび図３Ｂは、本発明において使用される５×５カーネル（以下でより詳細に説明される）を示す。これまでに説明したように、それぞれの画素、例えば、画素２３は、単一色を感知する。したがって、それぞれの緑（Ｇ）画素は、緑に対して感知された値を提供する。同様に、それぞれの青（Ｂ）画素は、青に対して感知された値を提供し、それぞれの赤（Ｒ）画素は、赤に対して感知された値を提供する。カラー画像を再現するために、特定の色のそれぞれの画素に対して、残りのそれぞれ
の色に対する値が補間される。さらに、以下で説明されるように、感知された画素値は、また、補間された値に取り替えられてもよい。赤値、緑値、および、青値の補間は、１つの色に対して感知された値と残りの２つの色の補間された値とを使用すること（従来技術によるシステムにおいて一般的に行われている）から発生する不均衡（ｉｍｂａｌａｎｃｅ）を除去する。

図３Ａおよび図３Ｂに示されるように、特定の画素４５が処理される場合、周囲の画素からなる５×５カーネルが、以下の補間計算において使用されるが、多くの補間計算においては、３×３カーネル内に存在する画素しか必要とされない。しかしながら、その他のカーネルサイズが、本発明において使用されてもよい。

一般的には、選択されたそれぞれの画素ごとに、５×５カーネル内に存在する３×３補間カーネルがまず最初に定義され、そして、そのカーネル内に存在する画素に対する色値が計算される。次に、エッジ方向が決定される。画素色およびエッジ方向に応じて、３×３カーネルのいくつかの値が再計算されてもよい。そして、３×３カーネルは、選択された画素にエッジが存在するかどうかを決定するのに使用される。そして、エッジが存在するかどうかに基づいて、また、その画素色に基づいて、補間値が計算される。処理される画素が画像エッジに存在するかどうかに基づいて、また、その画素の感知された色に基づいて、異なる補間パラメータが補間処理に適用される。

本発明の補間処理は、補間処理全体を説明する図７のフローチャートからより明確に理解することができる。ステップ７０１において、画素が処理のために選択される。ここでの説明を通して、図３Ａおよび図３Ｂに示される代表的な画素４５、および、中心画素として図４に示される画素が、例として、処理される画素として使用される。次に、ステップ７０３において、選択された画素を取り囲む３×３カーネルが定義される（例えば、図３Ａおよび図３Ｂにおける画素３４、３５、３６、４４、４５、４６、５４、５５、および、５６）。ステップ７０５において、画素４５が感知された緑画素かどうかが判定される。画素４５が緑であれば、ステップ７０７において、３×３カーネルに対する緑値が、３×３カーネル内に存在する画素から実際に感知された画素値を用いて、以下の一セットの式（１）に基づいて計算される。図４は、３×３カーネル内に存在する画素に対して計算された緑値ｇ１１、ｇ１２、ｇ１３、ｇ２１、ｇ２２、ｇ２３、ｇ３１、ｇ３２、ｇ３３の３×３カーネル内における位置を示す。３×３カーネルは、図３Ａに示される緑画素２５、３４、３６、４５、４７、５４、５６、および、６５の実際の値を用いて計算される。３×３カーネルは、以下の式を用いて計算され、

［式（１）］

ｇ１１＝Ｐ_３４
ｇ１２＝ＭＥＤＩＡＮ（Ｐ_２５，Ｐ_３４，Ｐ_４５，Ｐ_３６）
ｇ１３＝Ｐ_３６
ｇ２１＝ＭＥＤＩＡＮ（Ｐ_５６，Ｐ_４７，Ｐ_４５，Ｐ_３６）
ｇ２２＝Ｐ_４５
ｇ２３＝ＭＥＤＩＡＮ（Ｐ_５６，Ｐ_６５，Ｐ_４５，Ｐ_５４）
ｇ３１＝Ｐ_５４
ｇ３２＝ＭＥＤＩＡＮ（Ｐ_４３，Ｐ_３４，Ｐ_４５，Ｐ_５４）
ｇ３３＝Ｐ_５６

ここで、“Ｐ”は、画素値であり、“ｘｙ”は、図３Ａ〜図３Ｂに示される画素番号である。図３Ａ〜図３Ｂに示されるように、“ｘ”は、行を表現し、“ｙ”は、列を表現する。画素４５が、図３Ｂに示されるように、赤かまたは青であれば、ステップ７０９において、３×３カーネルは、緑画素２４、２６、３３、３５、３７、４４、４６、５３、５５、５７、６４、および、６５の値を用いて、以下の一セットの式（２）に基づいて計算される。そして、３×３緑カーネルが、以下の式を用いて計算される。

［式（２）］

ｇ１１＝ＭＥＤＩＡＮ（Ｐ_３３，Ｐ_２４，Ｐ_３５，Ｐ_４４）
ｇ１２＝Ｐ_３５
ｇ１３＝ＭＥＤＩＡＮ（Ｐ_２６，Ｐ_３７，Ｐ_３５，Ｐ_４６）
ｇ２１＝Ｐ_４４
ｇ２２＝ＭＥＤＩＡＮ（Ｐ_４４，Ｐ_３５，Ｐ_５５，Ｐ_４６）
ｇ２３＝Ｐ _４６
ｇ３１＝ＭＥＤＩＡＮ（Ｐ_５３，Ｐ_４４，Ｐ_５５，Ｐ_６４）
ｇ３２＝Ｐ_５５
ｇ３３＝ＭＥＤＩＡＮ（Ｐ_４６，Ｐ_５７，Ｐ_５５，Ｐ_６６）

この例としての実施形態においては、同じカーネル値が、周囲に存在する緑画素の実際に感知された値の中央値（または中間値）補間（ｍｅｄｉａｎｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いて、補間される。３×３補間カーネルは、この例としての実施形態においては、緑である。なぜなら、これまでに説明したように、ベイヤーＣＦＡにおいて、緑画素は、最も数の多い画素であり、かつ、画像に最も影響を及ぼす画素であるからである。図４に示される３×３カーネルｇ１１、ｇ１２、ｇ１３、ｇ２１、ｇ２２、ｇ２３、ｇ３１、ｇ３２、ｇ３３内に存在する画素の値は、図３Ａおよび図３Ｂに示される３×３カーネル内に存在する画素の緑値を計算したものである。緑カーネルは、エッジ検出中に使用され、また、補正項を計算するときに使用される。当業者は、その他の画素色が３×３補間カーネルを計算するのに使用されてもよいこと、あるいは、カーネルは異なるサイズを有してもよいことがわかるはずである。

次に、図７に示されるステップ７１１において、計算された３×３緑カーネルが、エッジ方向を決定するのに使用される。４つのエッジ方向の値が、ステップ７１１において計算される。図４に示される点線２、５、８、および、１１は、エッジ方向計算がなされる４つの方向である。残りの点線は、４つのエッジ方向値を計算するときに使用される単なる例に過ぎない。それぞれの点線の和が、以下の一セットの式（３）において計算される。

［式（３）］

Ｓ１＝ｇ１１＋ｇ１２＋ｇ１３
Ｓ２＝ｇ２１＋ｇ２２＋ｇ２３
Ｓ３＝ｇ３１＋ｇ３２＋ｇ３３
Ｓ４＝ｇ１１＋ｇ２１＋ｇ３１
Ｓ５＝ｇ１２＋ｇ２２＋ｇ３２
Ｓ６＝ｇ１３＋ｇ２３＋ｇ３３
Ｓ７＝ｇ２１＋ｇ１１＋ｇ１２
Ｓ８＝ｇ１３＋ｇ２２＋ｇ３１
Ｓ９＝ｇ２３＋ｇ３２＋ｇ３３
Ｓ１０＝ｇ２１＋ｇ３１＋ｇ３２
Ｓ１１＝ｇ１１＋ｇ２２＋ｇ３３
Ｓ１２＝ｇ１２＋ｇ１３＋ｇ２３

エッジ方向値ＤＩＲ_ｘが、それぞれの方向線２、５、８、および、１１ごとに計算され、ここで、“ＤＩＲ”は、その値であり、“ｘ”は、方向線番号である。以下の一セットの式（４）が、４つのエッジ方向値を計算するのに使用される。

［式（４）］

ＤＩＲ_２＝ｍａｘ（｜Ｓ１−Ｓ２｜，｜Ｓ２−Ｓ３｜）
ＤＩＲ_５＝ｍａｘ（｜Ｓ４−Ｓ５｜，｜Ｓ５−Ｓ６｜）
ＤＩＲ_８＝ｍａｘ（｜Ｓ７−Ｓ８｜，｜Ｓ８−Ｓ９｜）
ＤＩＲ_１１＝ｍａｘ（｜Ｓ１０−Ｓ１１｜，｜Ｓ１１−Ｓ１２｜）

最も大きなＤＩＲ値を有する方向が、エッジ方向であると決定され、これは、ステップ７１１において決定される。

次に、図７に示されるステップ７１３において、処理されている画素４５は緑かどうかが判定される。ステップ７１３において、画素４５が緑でなければ、ステップ７１４において、エッジ方向が点線２の方向（水平方向）であるかどうかが判定される。エッジ方向が、水平方向であれば、エッジ方向を考慮に入れるために、図３Ｂに示されるように、ｇ２２が再計算される。ｇ２２の値は、式：ｇ２２＝（ｇ２１＋ｇ２３）／２を用いて再計算される。ステップ７１４において、エッジ方向が水平方向でなければ、次に、ステップ７１５において、エッジ方向が点線５の方向（垂直方向）であるかどうかが判定される。方向が、垂直方向であると判定されたならば、ｇ２２の画素値が、式：ｇ２２＝（ｇ１２＋ｇ３２）／２を用いて再計算される。しかしながら、ステップ７１５において、エッジ方向が垂直方向でなければ、ステップ７１９において、ｇ２２の値はそのままである。ステップ７１３において、画素が緑であると判定されたならば、ｇ２２の値はそのままである。

次に、処理される画素４５にエッジが存在するかどうかを判定するために、補間値を計算するときに使用されるかもしれないすべての画素に対して、同じ色の画素の対における差分値が、計算される。ステップ７２３において、処理される画素４５が、緑であれば、ステップ７２５において、差分値が、以下の一セットの式（５）に基づいて計算される。

［式（５）］

Ｄ_１＝｜Ｐ_５４−Ｐ_３６｜
Ｄ_２＝｜Ｐ_４５−Ｐ_４７｜
Ｄ_３＝｜Ｐ_３５−Ｐ_５７｜
Ｄ_４＝｜Ｐ_４４−Ｐ_６６｜
Ｄ_５＝｜Ｐ_５５−Ｐ_３７｜
Ｄ_６＝｜Ｐ_６４−Ｐ_４６｜

ステップ７２３において、処理される画素４５が、緑ではないと判定されると、ステップ７２７において、差分値は、以下の一セットの式（６）に基づいて計算される。

［式（６）］

Ｄ_１＝｜Ｐ_５４−Ｐ_３６｜
Ｄ_２＝｜Ｐ_５６−Ｐ_３４｜
Ｄ_３＝｜Ｐ_４６−Ｐ_４４｜
Ｄ_４＝｜Ｐ_５５−Ｐ_３５｜
Ｄ_５＝｜Ｐ_４５−Ｐ_４３｜
Ｄ_６＝｜Ｐ_４５−Ｐ_４７｜
Ｄ_７＝｜Ｐ_４５−Ｐ_６５｜

ステップ７２９において、計算された差分値の中の最大差分値が予め定められたエッジしきい値よりも大きいかどうかが、式（７）を用いて判定される。

［式（７）］

ＭＡＸ（Ｄ_１．．．Ｄ_７）＞エッジしきい値

最大差分値が、そのしきい値よりも小さければ、エッジは存在しないとみなされるが（ステップ７３１）、最大差分値が、そのしきい値よりも大きければ、エッジは存在するとみなされる（ステップ７３３）。エッジしきい値は、アプリケーションに固有のものであるように設定されてもよく、あるいは、ユーザの好みに基づいて設定されてもよい。

ステップ７２９において、エッジが検出されなければ、処理される画素４５は緑かどうかが、再度、判定される。処理される画素４５が緑であれば、ステップ７３９において、第８の一セットの式（８）が、画素４５の補間された赤値、緑値、および、青値を計算するのに使用される。第８の一セットの補間式（８）は、

［式（８）］

Ｒ_４５＝（Ｐ_３５＋Ｐ_５５＋Ｐ_３７＋Ｐ_５７）／４
Ｂ_４５＝（Ｐ_４４＋Ｐ_４６＋Ｐ_６６＋Ｐ_６４）／４
Ｇ_４５＝（Ｐ_４５＋Ｐ_４７＋Ｐ_５４＋Ｐ_３６）／４

であり、ここで、Ｒ_４５、Ｇ_４５、および、Ｂ_４５は、処理される画素４５に対する赤補間値、緑補間値、および、青補間値である。画素４５が緑画素であったとしても、その値は、Ｐ_４５の実際に感知された値とともに画素４５を取り囲むその他の緑画素の実際の値を用いて、補間されることに注意されたい。

ステップ７３５において、処理される画素４５が緑ではないと判定されると、ステップ７４１において、処理される画素４５は青かどうかが判定される。処理される画素４５が、青であれば、ステップ７４７において、第９の一セットの式（９）が、画素４５の赤値、緑値、および、青値を計算するのに使用される。第９の一セットの補間式は、

［式（９）］

Ｒ_４５＝（Ｐ_５６＋Ｐ_５４＋Ｐ_３６＋Ｐ_３４）／４
Ｂ_４５＝（Ｐ_４５＋Ｐ_４３＋Ｐ_４７＋Ｐ_６５）／４
Ｇ_４５＝（Ｐ_４４＋Ｐ_３５＋Ｐ_４６＋Ｐ_５５）／４

であり、ここで、Ｒ_４５、Ｇ_４５、および、Ｂ_４５は、画素４５に対する赤補間値、緑補間値、および、青補間値である。ステップ７４１において、処理される画素４５が青でなければ、画素４５は赤であり、そして、ステップ７４９において、第１０の一セットの式（１０）が、画素４５の赤値、緑値、および、青値を計算するのに使用される。第１０の一セットの補間式は、

［式（１０）］

Ｒ_４５＝（Ｐ_４５＋Ｐ_４３＋Ｐ_４７＋Ｐ_６５）／４
Ｂ_４５＝（Ｐ_５６＋Ｐ_５４＋Ｐ_３６＋Ｐ_３４）／４
Ｇ_４５＝（Ｐ_４４＋Ｐ_３５＋Ｐ_４６＋Ｐ_５５）／４

であり、ここで、Ｒ_４５、Ｇ_４５、および、Ｂ_４５は、画素４５に対する赤補間値、緑補間値、および、青補間値である。

ステップ７２９において、エッジが検出され、かつ、ステップ７３７において、処理される画素４５が緑であれば、画素４５の赤値、緑値、および、青値の補間値は、第１１の一セットの式（１１）を用いて計算される。第１１の一セットの補間式は、

［式（１１）］

Ｒ_４５＝（Ｐ_３５＋Ｐ_５５）／２＋ＤＥＬＴＡ_ｒｅｄ
Ｂ_４５＝（Ｐ_４４＋Ｐ_４６）／２＋ＤＥＬＴＡ_ｂｌｕｅ
Ｇ_４５＝ｇ２２

であり、ここで、Ｒ_４５、Ｇ_４５、および、Ｂ_４５は、画素４５に対する赤補間値、緑補間値、および、青補間値であり、ＤＥＬＴＡ_ｒｅｄおよびＤＥＬＴＡ_ｂｌｕｅは、補正項である。ＤＥＬＴＡ_ｂｌｕｅおよびＤＥＬＴＡ_ｒｅｄの値は、ステップ７１１において決定されたエッジの方向に基づいて計算される。エッジ方向が、水平方向の点線２であれば、ＤＥＬＴＡ_ｂｌｕｅ＝ｇ２２−（ｇ２１＋ｇ２３）／２であり、かつ、ＤＥＬＴＡ_ｒｅｄ＝０であり、そして、エッジ方向が、垂直方向の点線５であると判定されたならば、ＤＥＬＴＡ_ｂｌｕｅ＝０であり、かつ、ＤＥＬＴＡ_ｒｅｄ＝ｇ２２−（ｇ１２＋ｇ３２）／２である。最後に、エッジ方向が、対角線方向１１または８であると判定されたならば、ＤＥＬＴＡ_ｂｌｕｅ＝ｇ２２−（ｇ２１＋ｇ２３）／２であり、かつ、ＤＥＬＴＡ_ｒｅｄ＝ｇ２２−（ｇ１２＋ｇ３２）／２である。

ステップ７３７において、処理される画素４５は緑ではないと判定されると、ステップ７４５において、処理される画素４５は青かどうかが判定される。処理される画素４５が青であれば、ステップ７５１において、第１２の一セットの式（１２）が、赤補間値、緑補間値、および、青補間値を計算するのに使用される。第１２の一セットの補間式は、

［式（１２）］

Ｒ_４５＝（Ｐ_５６＋Ｐ_５４＋Ｐ_３６＋Ｐ_３４）／４＋ＤＥＬＴＡ_ｒｅｄ
Ｂ_４５＝Ｐ_４５
Ｇ_４５＝ｇ２２

であり、ここで、Ｒ_４５、Ｇ_４５、および、Ｂ_４５は、画素４５に対する赤補間値、緑補間値、および、青補間値であり、ＤＥＬＴＡ_ｒｅｄの値は、式：ＤＥＬＴＡ_ｒｅｄ＝ｇ２２−（ｇ１１＋ｇ１３＋ｇ３１＋ｇ３３）／４を用いて計算される。ステップ７４５において、処理される画素４５が青でなければ、ステップ７５３において、第１３の一セットの式（１３）が、処理される赤画素４５に対する赤補間値、緑補間値、および、青補間値を計算するのに使用される。第１３の一セットの補間式は、

［式（１３）］

Ｂ_４５＝（Ｐ_５６＋Ｐ_５４＋Ｐ_３６＋Ｐ_３４）／４＋ＤＥＬＴＡ_ｂｌｕｅ
Ｒ_４５＝Ｐ_４５
Ｇ_４５＝ｇ２２

であり、ここで、Ｒ_４５、Ｇ_４５、および、Ｂ_４５は、画素４５に対する赤補間値、緑補間値、および、青補間値であり、ＤＥＬＴＡ_ｂｌｕｅの値は、式：ＤＥＬＴＡ_ｂｌｕｅ＝ｇ２２−（ｇ１１＋ｇ１３＋ｇ３１＋ｇ３３）／４を用いて計算される。赤画素および青画素に対するＤＥＬＴＡ補正値は、エッジ方向と緑の３×３補間カーネルとに基づくものである。

上述したように、本発明は、色平面補間のための新しい新規性のあるシステムおよび方法を提供し、緑、赤、および、青に対する補間された値は、得られた感知値だけに基づいて計算されるのではなく、処理される画素が画像のエッジに存在するかどうかにも基づいて計算される。本発明によれば、感知された値と補間された値との間の不均衡は、それぞれの色に対する値を補間することによって、除去される。さらに、エッジ検出および補正項が、画像エッジのぼやけを最小限に抑制するのに使用される。

図５は、行列として配置された複数の画素を含む画素アレイ５０５を有するＣＭＯＳ撮像装置集積回路（ＩＣ）５００のブロック図を示し、その画素アレイ５０５は、例えば、ベイヤーパターンとして配置された２つの緑画素（Ｇ）と、１つの青画素（Ｂ）と、１つの赤画素（Ｒ）とを備えた領域５１０を含む。アレイ５０５におけるそれぞれの行の画素は、すべて、行選択ライン５１５によって、同時にターンオンされ、それぞれの列の画素は、それぞれの列選択ライン５２０によって、選択的に出力される。

行ライン５１５は、行アドレスデコーダ５３０に応じて、行ドライバ５２５によって選択的に駆動される。列選択ライン５２０は、列アドレスデコーダ５４０に応じて、列セレクタ５３５によって選択的に駆動される。画素アレイ５０５は、画素信号読み出しのために適切な行ラインおよび列ラインを選択するためのアドレスデコーダ５３０および５４０を制御するタイミング＆制御回路５４５によって動作する。

典型的には画素リセット信号（Ｖ_ｒｓｔ）および画素画像信号（Ｖ_ｓｉｇ）を含む画素列信号が、列セレクタ５３５に結合されたサンプル＆ホールド回路５５０によって読み込まれる。差分信号（Ｖ_ｒｓｔ−Ｖ_ｓｉｇ）が、差動増幅器５５５によって、それぞれの画素ごとに生成され、その差分信号は、アナログ−ディジタル変換器５７０（ＡＤＣ）によって増幅およびディジタル化される。アナログ−ディジタル変換器５７０は、ディジタル化された画素信号を画像処理プロセッサー５７５に供給し、その画像処理プロセッサー５７５は、本発明の処理方法７００を実行する。あるいは、画像処理プロセッサー５７５は、アナログ−ディジタル変換器５７０から受信されたままの生のフォーマットを有する画像ファイルを出力してもよく、その画像ファイルが、別のプロセッサーによって、本発明に基づいて受信され、かつ、処理されてもよい。

画素信号が本発明に基づいて補間される画素アレイを含む撮像装置６０５を含む典型的なプロセッサーシステムが、全体的に符号６００として図６に示される。撮像装置６０５は、画素アレイから供給される信号から出力画像を生成する。プロセッサーシステムは、ＣＭＯＳ撮像装置の出力を受信する例としてのシステムである。限定されることなく、そのようなシステムは、コンピュータシステム、カメラシステム、スキャナー、機械視覚システム、医療用センサーシステム（医療薬センサーのような）、自動診断システム、および、その他の撮像システムを含んでもよく、それらのすべてが、本発明を使用してもよい。あるいは、撮像装置６０５内の画像処理プロセッサー５７５が、改善された画像信号を提供するのであれば、本発明は、処理システム６００において実行されてもよい。

コンピュータシステムのようなプロセッサーシステム６００は、例えば、一般的には、マイクロプロセッサーのような中央処理装置（ＣＰＵ）６１０を備え、そのＣＰＵ６１０は、バス６２０を介して、入力／出力（Ｉ／Ｏ）装置６１５と通信する。また、撮像装置６０５は、バス６２０かまたはその他の通信リンクを介して、そのシステムと通信する。プロセッサーベースシステム６００は、さらに、ランダムアクセスメモリー（ＲＡＭ）６２５を含み、また、フラッシュメモリーのような取り外し可能メモリー６３０を含んでもよく、また、そのメモリー６３０は、バス６２０を介して、ＣＰＵ６１０と通信する。撮像装置６００は、ＣＰＵのようなプロセッサー、ディジタル信号プロセッサー、または、マイクロプロセッサーと組み合わせられてもよく、それらのプロセッサーは、単一集積回路上にまたはプロセッサーとは異なるチップ上に記憶装置を備えてもよくあるいは備えなくてもよい。

本発明は、上述した実施形態に限定されない。例えば、本発明による処理方法を具体化するプログラムは、ＲＡＭ、フロッピーディスク、データ伝送、コンパクトディスク、などを含んでもよい搬送媒体上に記憶されてもよく、そして、画像ファイルを本発明に基づいて受信および処理する関連プロセッサーによって実行されてもよく、あるいは、本発明による処理方法は、回路として、または、それらの組み合わせとして、具体化されてもよい。さらに、本発明は、既存のソフトウェアアプリケーションのためのプラグインとして実施されてもよく、あるいは、そのプラグインが、単独で使用されてもよい。本発明は、ここで指定された搬送媒体に限定されることはなく、本発明は、この分野において知られているどのような搬送媒体を用いて実施されてもよい。

緑色、赤色、および、青色の画素に対する値を補間するその他の方法は本発明の範囲内に存在すること、および、本発明はこれまでに説明された式あるいは補正項の使用に限定されないことを理解すべきである。具体的には、例えば、ここで説明された画素の代わりに、あるいは、それらの画素に加えて、その他の周囲の画素が、補間値を計算するときに使用されてもよい。そのようなものとして、これまでの説明および添付の図面は、本発明の特徴および利点を実現する例としての実施形態をただ単に説明するものであると考えられるべきである。添付の特許請求の範囲の精神および範囲内に存在する本発明のあらゆる変形は、本発明の一部であるとみなされるべきである。したがって、本発明は、これまでの説明および添付の図面によって限定されると考えられるのではなく、添付の特許請求の範囲の範囲によってのみ限定されると考えられるべきである。

本発明の上述したおよびその他の利点および特徴が、添付の図面を参照して以下に提供される例としての実施形態の詳細な説明からより明白となる。
一般的なカラーフィルターアレイを示す平面図である。カラーフィルターアレイを有する画素アレイの一部分を示す断面図である。本発明の例としての補間方式に使用される５×５画素カーネルを示す例としての平面図である。本発明の例としての補間方式に使用される５×５画素カーネルを示す例としての平面図である。本発明の例としての実施形態に基づいて使用される３×３カーネルを示すブロック図である。本発明の例としての実施形態に基づいて構成された画素アレイを有するＣＭＯＳ撮像装置集積回路（ＩＣ）を示すブロック図である。本発明によるＣＭＯＳ撮像装置を有するプロセッサーシステムを示す図である。本発明の一実施形態の処理を説明するフローチャートである。

Claims

画像センサーにより出力される画素値を用いてプロセッサが実行する、画像画素のための色平面補間の方法であって、
処理するための画素を選択するステップと、
前記選択された画素に関連する近傍画素からなるカーネルを形成するステップと、
前記カーネルにおける全ての画素に対してカラーパターンのうちのある色についての画素値を計算するステップと、
少なくとも、水平エッジ方向、垂直エッジ方向及び対角線エッジ方向をそれぞれ表す３つのエッジ方向の値を決定するステップと、
前記計算したある色についてのカーネルの画素値を用い、また、前記エッジ方向の値に基づいて、前記選択された画素が画像内のエッジに存在するかどうかを判定し、かつ、前記エッジ方向の値の最大の絶対値を有するエッジ方向の値として決定される、そのようなエッジの方向を決定するステップと、
前記エッジ方向が水平方向または垂直方向であると判定された場合に限り、前記決定したエッジ方向に基づいて、前記カーネル内に存在する少なくとも１つの画素値を再計算するステップと、
前記近傍画素と、前記選択された画素が前記エッジに存在するかどうかと、前記エッジの前記方向とに基づいて、前記カラーパターンのそれぞれの色ごとに前記選択された画素に対する値を生成するステップと、
を含む方法。
前記カラーパターンが、ベイヤーパターンである請求項１に記載の方法。
前記１つの色が、緑である請求項１に記載の方法。
前記選択された画素が画像内のエッジに存在するかどうかを判定する前記ステップが、
同じ色を有する画素の様々な対における差分値を計算するステップと、
最も大きな差分値を予め定められたしきい値と比較するステップと、
を含む請求項１に記載の方法。
前記対の画素が、前記選択された画素を含む請求項４に記載の方法。
画像画素センサーからなる感知アレイを含むカラー撮像装置であって、
第１の色の感知された値を生成するのに使用される第１の複数の画像画素センサーと、
第２の色の感知された値を生成するのに使用される第２の複数の画像画素センサーと、
第３の色の感知された値を生成するのに使用される第３の複数の画像画素センサーと、
選択された画素と近傍画素とを含む前記第１の色のための画素カーネル内に存在する複数の画像画素に対する第１のセットの画素値を決定するために前記第１の色の前記感知された値を使用し、前記第１のセットの画素値を用いて、少なくとも、水平エッジ方向、垂直エッジ方向及び対角線エッジ方向をそれぞれ表す３つのエッジ方向の値を決定し、前記エッジ方向の値に基づいて、前記選択された画素のエッジ方向を決定し、前記選択された画素にエッジが存在するかどうかを判定し、前記第１の色の前記第１のセットの画素値と、前記近傍画素と、前記エッジ方向とに基づいて、前記選択された画素の前記第１の色、前記第２の色、および、前記第３の色に対する補間値を計算するための補間手段と、
前記第１の色、前記第２の色、および、前記第３の色の補間された値を用いて代表的な画像を生成する手段と、
を含むカラー撮像装置。
前記画素カーネル内に存在する少なくとも１つの値が、前記補間値が計算される前に、前記エッジ方向に基づいて再計算される請求項６に記載のカラー撮像装置。
前記画素カーネルが、画素の３×３カーネルである請求項６に記載のカラー撮像装置。
前記エッジ方向が、
ＤＩＲ_{ｈｏｒｉｚｏｎｔａｌ}＝ｍａｘ（｜Ｓ１−Ｓ２｜，｜Ｓ２−Ｓ３｜）、
ＤＩＲ_{ｖｅｒｔｉｃａｌ}＝ｍａｘ（｜Ｓ４−Ｓ５｜，｜Ｓ５−Ｓ６｜）、
ＤＩＲ_{ｄｉａｇｏｎａｌ１}＝ｍａｘ（｜Ｓ７−Ｓ８｜，｜Ｓ８−Ｓ９｜）、
ＤＩＲ_{ｄｉａｇｏｎａｌ２}＝ｍａｘ（｜Ｓ１０−Ｓ１１｜，｜Ｓ１１−Ｓ１２｜）、
のようにして計算され、ここで、Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８、Ｓ９、Ｓ１０、Ｓ１１、および、Ｓ１２は、前記カーネルを用いて、
Ｓ１＝ｇ１１＋ｇ１２＋ｇ１３、
Ｓ２＝ｇ２１＋ｇ２２＋ｇ２３、
Ｓ３＝ｇ３１＋ｇ３２＋ｇ３３、
Ｓ４＝ｇ１１＋ｇ２１＋ｇ３１、
Ｓ５＝ｇ１２＋ｇ２２＋ｇ３２、
Ｓ６＝ｇ１３＋ｇ２３＋ｇ３３、
Ｓ７＝ｇ２１＋ｇ１１＋ｇ１２、
Ｓ８＝ｇ１３＋ｇ２２＋ｇ３１、
Ｓ９＝ｇ２３＋ｇ３２＋ｇ３３、
Ｓ１０＝ｇ２１＋ｇ３１＋ｇ３２、
Ｓ１１＝ｇ１１＋ｇ２２＋ｇ３３、
Ｓ１２＝ｇ１２＋ｇ１３＋ｇ２３、
のようにして計算され、ここで、ｇ１１、ｇ１２、および、ｇ１３は、前記カーネルの第１の行の画素値であり、ｇ２１、ｇ２２、および、ｇ２３は、前記カーネルの第２の行の画素値であり、ｇ３１、ｇ３２、および、ｇ３３は、前記カーネルの第３の行の画素値であり、そして、前記エッジ方向は、最も大きな値を有する方向である、
請求項６に記載のカラー撮像装置。
前記エッジが、前記近傍画素の差分値を計算し、そして、最大差分値をエッジしきい値と比較することによって検出される請求項６に記載のカラー撮像装置。
前記選択された画素が緑である場合、前記差分値が、
Ｄ_１＝｜Ｐ _{ｘ＋１，ｙ−１} −Ｐ _{ｘ−１，ｙ＋１} ｜、
Ｄ_２＝｜Ｐ_ｘ，ｙ−Ｐ_{ｘ，ｙ＋２}｜、
Ｄ_３＝｜Ｐ_{ｘ−１，ｙ}−Ｐ_{ｘ＋１，ｙ＋２}｜、
Ｄ_４＝｜Ｐ_{ｘ，ｙ−１}−Ｐ_{ｘ＋２，ｙ＋１}｜、
Ｄ_５＝｜Ｐ_{ｘ＋１，ｙ}−Ｐ_{ｘ−１，ｙ＋２}｜、
Ｄ_６＝｜Ｐ_{ｘ＋２，ｙ−１}−Ｐ_{ｘ，ｙ＋１}｜、
のようにして計算され、ここで、Ｐ_ｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである列を意味する、請求項１０に記載のカラー撮像装置。
前記選択された画素が、赤かまたは青である場合、前記差分値が、
Ｄ_１＝｜Ｐ _{ｘ＋１，ｙ―１} −Ｐ _{ｘ−１，ｙ＋１} ｜、
Ｄ_２＝｜Ｐ_{ｘ＋１，ｙ＋１}−Ｐ_{ｘ−１，ｙ−１}｜、
Ｄ_３＝｜Ｐ_{ｘ，ｙ＋１}−Ｐ_{ｘ，ｙ−１}｜、
Ｄ_４＝｜Ｐ_{ｘ＋１，ｙ}−Ｐ_{ｘ−１，ｙ}｜、
Ｄ_５＝｜Ｐ_ｘ，ｙ−Ｐ_{ｘ，ｙ−２}｜、
Ｄ_６＝｜Ｐ_ｘ，ｙ−Ｐ_{ｘ，ｙ＋２}｜、
Ｄ_７＝｜Ｐ_ｘ，ｙ−Ｐ_{ｘ＋２，ｙ}｜、
のようにして計算され、ここで、Ｐ_ｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである列を意味する、請求項１０に記載のカラー撮像装置。
前記画素が緑である場合、前記３×３カーネルが、
ｇ１１＝Ｐ_{ｘ−１，ｙ−１}、
ｇ１２＝ＭＥＤＩＡＮ（Ｐ_{ｘ−２，ｙ}，Ｐ_{ｘ−１，ｙ−１}，Ｐ_ｘ，ｙ，Ｐ_{ｘ，ｙ＋１}）、
ｇ１３＝Ｐ_{ｘ−１，ｙ＋１}、
ｇ２１＝ＭＥＤＩＡＮ（Ｐ_{ｘ＋１，ｙ＋１}，Ｐ_{ｘ，ｙ＋２}，Ｐ_ｘ，ｙ，Ｐ_{ｘ−１，ｙ＋１}）、
ｇ２２＝Ｐ_ｘ，ｙ、
ｇ２３＝ＭＥＤＩＡＮ（Ｐ_{ｘ＋１，ｙ＋１}，Ｐ_{ｘ＋２，ｙ}，Ｐ_ｘ，ｙ，Ｐ_{ｘ＋１，ｙ−１}）、
ｇ３１＝Ｐ_{ｘ＋１，ｙ−１}、
ｇ３２＝ＭＥＤＩＡＮ（Ｐ_{ｘ，ｙ−２}，Ｐ_{ｘ−１，ｙ−１}，Ｐ_ｘ，ｙ，Ｐ_{ｘ＋１，ｙ−１}）、
ｇ３３＝Ｐ_{ｘ＋１，ｙ＋１}、
のようにして計算され、ここで、Ｐ_ｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである列を意味する、請求項８に記載のカラー撮像装置。
前記画素が、赤かまたは青である場合、前記３×３カーネルが、
ｇ１１＝ＭＥＤＩＡＮ（Ｐ_{ｘ−１，ｙー２}，Ｐ_{ｘ−２，ｙ−１}，Ｐ_{ｘ−１，ｙ}，Ｐ_{ｘ，ｙ−１}）、
ｇ１２＝Ｐ_{ｘ−１，ｙ}、
ｇ１３＝ＭＥＤＩＡＮ（Ｐ_{ｘ−２，ｙ＋１}，Ｐ_{ｘ−１，ｙ＋２}，Ｐ_{ｘ−１，ｙ}，Ｐ_{ｘ，ｙ＋１}）、
ｇ２１＝Ｐ_{ｘ，ｙ−１}、
ｇ２２＝ＭＥＤＩＡＮ（Ｐ_{ｘ，ｙ−１}，Ｐ_{ｘ−１，ｙ}，Ｐ_{ｘ＋１，ｙ}，Ｐ_{ｘ，ｙ＋１}）、
ｇ２３＝Ｐ_{ｘ＋１，ｙ＋１}、
ｇ３１＝ＭＥＤＩＡＮ（Ｐ_{ｘ＋１，ｙ−２}，Ｐ_{ｘ，ｙ−１}，Ｐ_{ｘ，ｙ＋１}，Ｐ_{ｘ＋２，ｙ−１}）、
ｇ３２＝Ｐ_{ｘ＋１，ｙ}、
ｇ３３＝ＭＥＤＩＡＮ（Ｐ_{ｘ，ｙ＋１}，Ｐ_{ｘ＋１，ｙ＋２}，Ｐ_{ｘ＋１，ｙ}，Ｐ_{ｘ＋２，ｙ＋１}）、
のようにして計算され、ここで、Ｐ_ｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである列を意味する、請求項８に記載のカラー撮像装置。
前記選択された画素の前記第１の色、前記第２の色、および、前記第３の色に対する前記計算された補間値が、前記選択された画素が緑でありかつエッジが存在しない場合、
Ｒ_ｘ，ｙ＝（Ｐ_{ｘ−１，ｙ}＋Ｐ_{ｘ＋１，ｙ}＋Ｐ_{ｘ−１，ｙ＋２}＋Ｐ_{ｘ＋１，ｙ＋２}）／４、
Ｂ_ｘ，ｙ＝（Ｐ_{ｘ，ｙ−１}＋Ｐ_{ｘ，ｙ＋１}＋Ｐ_{ｘ＋２，ｙ＋１}＋Ｐ_{ｘ＋２，ｙ−１}）／４、
Ｇ_ｘ，ｙ＝（Ｐ_ｘ，ｙ＋Ｐ_{ｘ，ｙ＋２}＋Ｐ_{ｘ＋１，ｙ−１}＋Ｐ_{ｘ−１，ｙ＋１}）／４、
のようにして計算され、ここで、Ｐ_ｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである列を意味する、請求項６に記載のカラー撮像装置。
前記選択された画素の前記第１の色、前記第２の色、および、前記第３の色に対する前記計算された補間値が、前記選択された画素が青でありかつエッジが存在しない場合、
Ｒ_ｘ，ｙ＝（Ｐ _{ｘ＋１，ｙ＋１}＋Ｐ_{ｘ＋１，ｙ−１}＋Ｐ_{ｘ−１，ｙ＋１}＋Ｐ _{ｘ−１，ｙ−１}）／４、
Ｂ_ｘ，ｙ＝（Ｐ_ｘ，ｙ＋Ｐ _{ｘ，ｙ−２}＋Ｐ_{ｘ，ｙ＋２}＋Ｐ_{ｘ＋２，ｙ}）／４、
Ｇ_ｘ，ｙ＝（Ｐ_{ｘ，ｙ−１}＋Ｐ_{ｘ−１，ｙ}＋Ｐ_{ｘ，ｙ＋１}＋Ｐ_{ｘ＋１，ｙ}）／４、
のようにして計算され、ここで、Ｐ_ｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである列を意味する、請求項６に記載のカラー撮像装置。
前記選択された画素の前記第１の色、前記第２の色、および、前記第３の色に対する前記計算された補間値が、前記選択された画素が赤でありかつエッジが存在しない場合、
Ｂ_ｘ，ｙ＝（Ｐ _{ｘ＋１，ｙ＋１}＋Ｐ_{ｘ＋１，ｙ−１}＋Ｐ_{ｘ−１，ｙ＋１}＋Ｐ _{ｘ−１，ｙ−１}）／４、
Ｒ_ｘ，ｙ＝（Ｐ_ｘ，ｙ＋Ｐ _{ｘ，ｙ−２}＋Ｐ_{ｘ，ｙ＋２}＋Ｐ_{ｘ＋２，ｙ}）／４、
Ｇ_ｘ，ｙ＝（Ｐ_{ｘ，ｙ−１}＋Ｐ_{ｘ−１，ｙ}＋Ｐ_{ｘ，ｙ＋１}＋Ｐ_{ｘ＋１，ｙ}）／４、
のようにして計算され、ここで、Ｐ_ｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである列を意味する、請求項６に記載のカラー撮像装置。
前記選択された画素の前記第１の色、前記第２の色、および、前記第３の色に対する前記計算された補間値が、前記選択された画素が緑でありかつエッジが存在する場合、
Ｒ_ｘ，ｙ＝（Ｐ_{ｘ−１，ｙ}＋Ｐ_{ｘ＋１，ｙ}）／２＋ＤＥＬＴＡ_ｒｅｄ、
Ｂ_ｘ，ｙ＝（Ｐ_{ｘ，ｙ−１}＋Ｐ_{ｘ，ｙ＋１}）／２＋ＤＥＬＴＡ_ｂｌｕｅ、
Ｇ_ｘ，ｙ＝ｇ２２、
のようにして計算され、ここで、ｇ２２、および、補正項ＤＥＬＴＡ_ｒｅｄおよびＤＥＬＴＡ_ｂｌｕｅは、前記カーネル値および前記エッジ方向に基づいて計算され、Ｐ_ｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである列を意味する、請求項６に記載のカラー撮像装置。
前記選択された画素の前記第１の色、前記第２の色、および、前記第３の色に対する前記計算された補間値が、前記選択された画素が青でありかつエッジが存在する場合、
Ｒ_ｘ，ｙ＝（Ｐ_{ｘ＋１，ｙ＋１}＋Ｐ_{ｘ＋１，ｙ−１}＋Ｐ_{ｘ−１，ｙ＋１}＋Ｐ_{ｘ−１，ｙ−１}）／４＋ＤＥＬＴＡ_ｒｅｄ、
Ｂ_ｘ，ｙ＝Ｐ_ｘ，ｙ、
Ｇ_ｘ，ｙ＝ｇ２２、
のようにして計算され、ここで、ｇ２２、および、補正項ＤＥＬＴＡ_ｒｅｄは、前記カーネル値および前記エッジ方向に基づいて計算され、Ｐ_ｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである列を意味する、請求項６に記載のカラー撮像装置。
前記選択された画素の前記第１の色、前記第２の色、および、前記第３の色に対する前記計算された補間値が、前記選択された画素が赤でありかつエッジが存在する場合、
Ｂ_ｘ，ｙ＝（Ｐ_{ｘ＋１，ｙ＋１}＋Ｐ_{ｘ＋１，ｙ−１}＋Ｐ_{ｘ−１，ｙ＋１}＋Ｐ_{ｘ−１，ｙ−１}）／４＋ＤＥＬＴＡ_ｒｅｄ、
Ｒ_ｘ，ｙ＝Ｐ_ｘ，ｙ、
Ｇ_ｘ，ｙ＝ｇ２２、
のようにして計算され、ここで、ｇ２２およびＤＥＬＴＡ_ｒｅｄは、前記カーネル値および前記エッジ方向に基づいて計算され、Ｐ_ｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐ_ｘ，ｙに対して相対的なものである列を意味する、請求項６に記載のカラー撮像装置。
処理システムであって、
画像画素センサーからなるアレイを含む撮像装置を含み、
前記撮像装置が、
第１の色の感知された値を生成するのに使用される第１の複数の画像画素センサーと、
第２の色の感知された値を生成するのに使用される第２の複数の画像画素センサーと、
第３の色の感知された値を生成するのに使用される第３の複数の画像画素センサーと、
選択された画素と近傍画素とを含む前記第１の色のための画素カーネル内に存在する複数の画像画素に対する第１のセットの画素値を決定するために前記第１の色の前記感知された値を使用し、前記第１のセットの画素値を用いて、少なくとも、水平エッジ方向、垂直エッジ方向及び対角線エッジ方向をそれぞれ表す３つのエッジ方向の値を決定し、前記エッジ方向の値に基づいて、前記選択された画素のエッジ方向を決定し、前記選択された画素にエッジが存在するかどうかを判定し、前記第１のセットの画素値と、前記近傍画素と、前記選択された画素の前記エッジ方向とに基づいて、前記選択された画素の前記第１の色、前記第２の色、および、前記第３の色に対する補間値を計算するための補間処理回路と、
を含むことを特徴とする、処理システム。
前記画素カーネルに含まれる少なくとも１つの値が、前記エッジ方向に基づいて再計算される請求項２１に記載の処理システム。
カラー撮像装置の画素センサーからなる感知アレイから取得した感知された値を用いて画像処理プロセッサが実行する、ディジタルカラー信号を処理する方法であって、
赤スペクトル、青スペクトル、および、緑スペクトルの中の１つである波長を備えた印加光に対応する複数の画素センサーのそれぞれから感知された値を得るステップと、
エッジ検出に基づいて、前記画素センサーのそれぞれに対して、赤値、青値、および、緑値を補間するステップと、
を含み、前記赤値、青値、および、緑値を補間するステップは、
前記複数の画素センサーのそれぞれに対して、近傍緑画素センサーの画素値を用いて補間値の緑カーネルを計算するステップと、
前記補間値の緑カーネルを用いて、前記画素センサーごとに、少なくとも、水平エッジ方向、垂直エッジ方向及び対角線エッジ方向をそれぞれ表す３つのエッジ方向の値を決定するステップと、
前記エッジ方向の値の最大の絶対値を有するエッジ方向の値として、前記画素センサーごとに前記エッジ方向を決定するステップと、
前記選択された画素センサーが前記エッジに存在するかどうかを判定するステップと、
前記近傍画素センサーの画素値と、前記補間値の緑カーネルと、前記画素センサーのそれぞれがエッジに存在するかどうかと、前記決定したエッジ方向とに基づいて、前記画素センサーのそれぞれに対する前記補間値を計算するステップと、
を含む方法。
前記画素がエッジに存在するかどうかを判定する前記ステップが、
同じ色を有する近傍画素の様々な対における差分値を計算するステップと、
最も大きな差分値を予め定められたしきい値と比較するステップと、
を含む請求項２３に記載の方法。
コンピュータがカラーパターンのための色平面補間を実行するのを可能にするためのコンピュータ命令を記憶するためのコンピュータ可読媒体であって、
赤スペクトル、青スペクトル、および、緑スペクトルの中の１つである波長を備えた印加光に対応する複数の画素センサーのそれぞれから感知された値を得るステップと、
エッジ検出に基づいて、前記複数の画素センサーのそれぞれに対して、赤値、青値、および、緑値を補間するステップと、
を含み、前記赤値、青値、および、緑値を補間するステップは、
前記複数の画素センサーのそれぞれに対して、近傍緑画素センサーの画素値を用いて補間値の緑カーネルを計算するステップと、
前記補間値の緑カーネルを用いて、前記画素センサーごとに、少なくとも、水平エッジ方向、垂直エッジ方向及び対角線エッジ方向をそれぞれ表す３つのエッジ方向の値を決定するステップと、
前記エッジ方向の値の最大の絶対値を有するエッジ方向の値として、前記画素センサーごとに前記エッジ方向を決定するステップと、
前記選択された画素センサーが前記エッジに存在するかどうかを判定するステップと、
前記近傍画素センサーの画素値と、前記補間値の緑カーネルと、前記画素センサーのそれぞれがエッジに存在するかどうかと、前記決定したエッジ方向とに基づいて、前記画素センサーのそれぞれに対する前記補間値を計算するステップと、
を含むコンピュータ可読媒体。
前記画素センサーのそれぞれがエッジに存在するかどうかを判定する前記ステップが、
同じ色を有する近傍画素の様々な対における差分値を計算するステップと、
最も大きな差分値を予め定められたしきい値と比較するステップと、
を含む請求項２５に記載のコンピュータ可読媒体。
画像センサーにより出力される画素値を用いてプロセッサが実行する、画素アレイの選択された画素に対する色平面補間の方法であって、
前記選択された画素が画像エッジに存在するかどうかを判定するステップと、
前記選択された画素と近傍画素とを含む前記第１の色のための前記画素アレイの画素カーネル内に存在する複数の画素に対する第１のセットの画素値を決定するために第１の色の感知された値を使用し、
前記選択された画素が前記エッジに存在する場合、前記第１の色の前記第１のセットの画素値を用いて、少なくとも、水平エッジ方向、垂直エッジ方向及び対角線エッジ方向をそれぞれ表す３つのエッジ方向の値を決定し、前記エッジ方向の値に基づいて、前記エッジ方向を決定し、前記第１の色の前記第１のセットの画素値、近傍画素およびエッジ方向に対応する第１のセットのパラメータに基づいて、カラーパターンの色ごとに画素値を計算し、前記選択された画素が前記カラーパターンの第２の色または第３の色についての感知された値と関連するときは、少なくとも前記第２の色および第３の色のうち１色についての計算された画素値を、前記第１のセットの画素値および前記エッジ方向に基づいて計算するステップと
前記選択された画素が前記エッジに存在しない場合、第２のセットのパラメータを用いて、前記近傍画素に基づいて、前記カラーパターンの色ごとに画素値を計算するステップと、
を含む方法。
前記第１のセットのパラメータおよび前記第２のセットのパラメータが、前記選択された画素の色に基づくものである請求項２７に記載の方法。
前記カラーパターンが、ベイヤーカラーパターンである請求項２７に記載の方法。
前記第１のセットのパラメータが、緑画素に対する第３のセットのパラメータと、青画素に対する第４のセットのパラメータと、赤画素に対する第５のセットのパラメータとからなる請求項２９に記載の方法。
前記第２のセットのパラメータが、緑画素に対する第６のセットのパラメータと、青画素に対する第７のセットのパラメータと、赤画素に対する第８のセットのパラメータとからなる請求項２９に記載の方法。