JP5118047B2 - 高機能カラーフィルタモザイクアレイのためのシステムおよび方法 - Google Patents

Description

発明の分野
この発明は概して測光の分野に関し、より特定的には高機能カラーフィルタモザイクアレイ（ＣＦＡ）に関する。

発明の背景
測光は可視光線の測定を扱う。人間の目は可視スペクトルにある光しか見ることができず、スペクトル内の異なる波長の光に対しては異なる感度を有する。明るい条件に適合された場合（明所視）、目は５５５ｎｍの緑黄色光に最も敏感である。

人間の目は、異なるスペクトル反応曲線を備えた入射放射光に反応する３種類の色受容細胞（錐状体）を有する。第４の種類の細胞（桿状体）も存在するが、これは色覚には何ら役割を果たさない。ちょうど３種類の色受容細胞が存在することは、３という数の成分が、知覚された色を記述するのに必要かつ十分であることを示す。

デジタル画像はいくつかの画素すなわちピクセルで構成される。カラー画像のピクセル値は三刺激値によって特定される。三刺激値とは、知覚された色を特定する三原色の量である。赤色、緑色および青色が三原色の好ましい組を形成する。

ピクセルは、一般に、固体撮像装置、ディスプレイスクリーンまたはビットマップ画像における、アドレス可能な画像の最小単位である。それは、多くの水平および垂直のピクセル数によって評価される。たとえば１０２４×７６８は、１０２４ピクセルが各列に表示され、７６８の列（線）があることを意味する。多くの撮像システムおよびディスプレイシステムは、同じ位置で異なる色チャネルを表示することができない。この手法は、各々が一つの色チャネルを扱う複数のサブピクセルを用いることにより、一般に解決される。色システムにおいて、各ピクセルが通常少なくとも３つのサブピクセル、たとえば赤、緑および青についての値を含む。

１つの画像センサピクセル内に含まれる物理的なサブピクセルの平均数、したがって画像センサシリコン領域を減じる一方で、画質を著しく低下させないことが望ましい。画像センサに赤、緑および青の感色性を与える最も普及した方法は、画像センサの上にカラーフィルタモザイクアレイ（ＣＦＡ）を与えることである。ＣＦＡはフィルタのアレイを含む。各フィルタは、その関連付けられた画像センサに与えられる光の波長を制限する。最も一般的な実現例は、三色の赤、緑、青（ＲＧＢ）パターンである。黄色、マゼンタ、シアンの三色の補色パターンまたは混合された原色／補色、および第４の色が白色もしくはスペクトル感度が変えられた色である４色システムなど、他の色の実現例が存在する。

ＣＦＡパターンを選ぶために、技術的、物理的実現例の性質をもつ多くの基準を用いることができるが、カラー画像の乱れ（color artifact）およびモアレパターンに対する耐性、画像センサの欠陥とのパターンの相互作用の最小化、色の再構築上の計算的複雑性、および隣接ピクセル間の光学的、電気的なクロストークに対する耐性が、最も重要なものに数えられる。したがって、好ましい候補となるカラーパターンでは、各ピクセルの近隣において赤、緑および青成分のすべてが利用可能であって、かつ各ピクセルは与えられた色と同数の隣接するピクセルを有しなければならず、可能な場合は常に対角線のピクセル位置合わせが望ましい。

図１は、今日使用されている中で最も一般的なＣＦＡパターンの１つ、ベイヤーパターン（Bayer Pattern）を示す。各ピクセルは、個別の赤、緑または青のフィルタで覆われている。このように各画像センサ、すなわちピクセルは１つの色のみを捉える。各ピクセルに対するフルカラー値は周囲のピクセル値を用いた補間によって決定される。ピクセル１１０（赤）、１２０および１３０（緑）ならびに１４０（青）が基本的なベイヤーパターンを形成し、それが複数回繰り返されて実際の画像センサの実例となる。同じピクセルカウントおよび寸法の白黒センサと比較すると、ＣＦＡ手法は利用可能な空間分解能をおよそ３０％から４０％低下させ、各ピクセルの色値を再構築するためには補間計算を必要とする。

ＲＧＢカラーモデルが画像のコンピュータグラフィックスのレンダリングに十分である一方、ＹＵＶカラーモデルは人間の色に対する知覚をより正確に模していることが広く認識されている。ＹＵＶカラーモデルは、１つの輝度（Ｙ）および２つのクロミナンス(色度）（ＵＶ）成分（彩度および色相）によって色空間を規定する。デジタルカメラは、典型的には、緑（Ｇ）のピクセルによって輝度（Ｙ）チャネルを概算する像再構築プロセスを用いて、ＲＧＢピクセル値をＹＵＶ成分に変換する。非Ｇピクセルの輝度は簡単な補間によって概算される。赤ピクセルおよび青ピクセルのクロミナンスは、近似の輝度値を用いて、Ｃｒ＝Ｒ−ＹおよびＣｂ＝Ｂ−Ｙとして計算される。Ｃｒ値およびＣｂ値は空間的にフィルタされ、欠測値は補間によって得られる。このとき、すべてのピクセルは輝度値とクロミナンス値とを有しなければならず、そのＲＧＢ値は、Ｒ＝Ｙ＋Ｃｒ、Ｂ＝Ｙ＋Ｃｂ、およびＧはＹ＝（Ｒ＋Ｇ＋Ｂ）／３から、またはＹ＝０．２Ｒ＋０．７Ｇ＋０．１Ｂから、または何らかの他の同様の公式から計算される。ベイヤーＣＦＡ手法が簡潔さのために精度および分解能をトレードオフしていることが上記から明らかである。

個別のピクセル色を導く上記の方法には多くの変形が存在するが、それらはすべて、輝度が直接に利用可能ではなく、分散した緑、赤、青の彩度情報から作り直されなければならないというベイヤーＣＦＡの根本的な限界の影響を受ける。人間の目が輝度情報に最も敏感なので、先行技術の方法を用いて与えられる像は最適とはいえない。

発明の概要
この発明の１つの局面によれば、ピクセルは、複数の色を含む輝度フィルタを含み、輝度フィルタの各色のサイズは、複数の色を用いて輝度を計算するために用いられる色のシェアに比例する。

この発明の別の局面によれば、カラーフィルタアレイは輝度ピクセルを含み、輝度ピクセルは複数の色を含む輝度フィルタを含み、輝度フィルタの各色のサイズは、複数の色を用いて輝度を計算する際に用いられる色のシェアに比例する。

このような構成により、輝度情報を各ピクセルで直接測定することができ、それによって高分解能および高精度を備えた出力画像を結果としてもたらす。この発明のこれらおよび他の利点は、付属の図を参照してより詳細に下記に記載される。

詳細な説明
この発明の１つの局面によれば、カラーフィルタアレイ（ＣＦＡ）を用いて、画像について輝度ピクセル情報を直接に得られることができるようにする、輝度フィルタが与えられる。輝度ピクセルの導入は、所与のピクセルおよび画像センサのサイズについて撮像プ
ロセスの精度を極めて向上させる。この発明の輝度フィルタを用いると、輝度を高分解能において高精度で捉えることができる。私の発明のさらなる目的および利点は、図面の考慮および続く説明から明らかになる。

この発明の１つの局面は、人間の目はピクセルクロミナンス情報よりもピクセル輝度情報に対してより敏感ではあっても、このことがベイヤーＣＦＡでは活用されていないという認識である。この発明の向上したＣＦＡ設計は、クロミナンス情報入手よりも輝度情報入手に重点をおき、所与の撮像分解能要件について全体的な知覚画質を大幅に向上させ、センサシリコン領域要件を減じる。いくつかの変形例のうちいずれにおいても与えられる輝度（Ｙ）ピクセルマスクが、輝度情報を直接に得るために用いられ得る。

輝度ピクセルは、画像センサが受取った光波長から輝度データを直接に抽出することを可能にするために画像センサの上に位置決めされる、輝度（Ｙ）マスクを含む。したがって、この発明は、高分解能出力を与えつつ、先行技術の補間されたプロセスにおける本来的な複雑さおよび不正確性を取除く。

図２Ａ−図２Ｃは、Ｙピクセルのいくつかの光学フィルタマスクパターンを示す。図２Ａ−図２Ｃに示されるＹピクセルマスクは赤、緑および青成分を利用するが、これらの成分は例のみとして与えられる。黄色、マゼンタ、シアンの三色などのの他の色の組合せ、補色パターンもしくは混合された原色および補色、または第４の色が白色もしくはスペクトル感度が変えられた色である４色システム、または他の色の組合せも実現することができ、この発明はいかなる特定の色の組合せにも限定されない。

光学フィルタマスクは、一定の色を吸収して他の色のよりよい表現を可能にするために用いられる、１枚の染色ガラス、ゼラチン、プラスチック、または他の材料から形成され得る。図２Ａ−図２Ｃに示された光学フィルタマスクの具体的な形状およびパターンは、フィルタされた色の結果的な比率が維持される限り、重要ではない。ここで仮定されるＹピクセルの定義は、Ｙ＝０．２Ｒ＋０．７Ｇ＋０．１Ｂである。このように、フィルタの赤領域はフィルタの青領域よりも２倍大きく、フィルタの緑領域はフィルタの青領域よりも７倍大きい。とりわけ想定される人間の視覚の特性に従って、他の色成分比も同様に用いることができる。

図２Ａ−図２Ｃに示されたピクセルの形状は任意である。図２は長方形のピクセルを示し、図２Ｂは正方形の、図２Ｃは円形のピクセル形状を示すが、特定の設計が取り得る他の形状がこの発明の範囲内に等価物として含まれる。

図３は、この発明のＹピクセルの成分を示すために与えられる図である。Ｙピクセル４０はＹピクセルマスク４２および画像センサ４４を含む。Ｙピクセルマスクは複数の色を有するカラーフィルタを含むマスクであって、マスクの複数の色の各々のサイズは輝度計算に含まれる色波長の比率に従って選択されている。画像センサは、ＣＣＤ（電荷結合素子）またはＣＭＯＳ（相補型金属酸化膜半導体）技術を用いて実現され得る。好ましい実施例では、画像センサは、特許出願連続番号第１１／５３３，８６６号に開示されたようなダイナミックレンジ高感度画像センサまたは特許連続番号第１１／５３３，８７０号に開示されたような利得制御を備えたダイナミックレンジ高感度センサであって、両方ともが２００６年９月２１日にダビドビチ（Davidovici）によって出願されており、引用によって本願明細書に援用される。図３に示されるように、光がピクセルマスクに当たると、画像に関連付けられた光子が画像の輝度値に比例して画像センサに与えられる。

図２Ａ−図２Ｃの輝度ピクセルまたはそれらの等価物は、カラーフィルタアレイにおいてさまざまな他の種類のピクセルを伴ってさまざまなパターンに配置され得る。輝度（す
なわちＹ）ベースのＣＦＡパターンの好ましい１つの実施例が図４に示される。ピクセル２１０、２３０、２５０、２７０、２８０、２９０、３１０、３２０、３３０、３４０、２５０および３６０（Ｙすなわち輝度ピクセル）、２２０、２４０（赤ピクセル）および２６０、３００（青ピクセル）が基本的なパターンを形成し、これが複数回繰り返されて実際の画像センサの実例となる。この好ましいＣＦＡパターンは、人間の目の心理視覚的（psychovisual）特性を活用し、ベイヤーＣＦＡパターンに関連する欠点をなくす。

Ｙピクセルの導入はさらに、画像の分解能を直接増加させる働きをする。図４から明らかなように、各彩度ピクセル、すなわち赤（Ｒ）または青（Ｂ）は、輝度（Ｙ）ピクセルに囲まれている。すべての空間方向から輝度情報が利用可能性なことにより、彩度ピクセル位置における輝度情報の正確な復元が確実になる。例として、彩度ピクセル位置での輝度値は、補間または数学的方法に基いた周知の方法を用いて導き出すことができる。

図４から明らかなように、各輝度ピクセルは２つまたは４つの彩度ピクセルと接する。彩度情報が輝度ピクセルに近接していることにより、補間または他の数学的方法に基いた周知の方法を用いた輝度ピクセル位置でのクロミナンス情報の正確な復元が確実になる。彩度情報が輝度ピクセル値内に存在することにより、輝度ピクセル位置におけるクロミナンス情報の正確な復元をさらに助ける。

開示された輝度ピクセルを利用する、さらに別の好ましいＣＦＡ実現例が図５に示される。ピクセル５００（赤ピクセル）、５４０（青ピクセル）および５２０、５３０（Ｙピクセル）が基本的なパターンを形成し、これが複数回繰り返されて実際の画像センサの実例となる。この好ましいＣＦＡパターンもまた、人間の目の心理視覚的な特性を活用し、ベイヤーＣＦＡパターンに関連する欠点がなくされている。緑、青、赤情報の混合からなる新しいＹピクセルが導入される。Ｙピクセルは、人間の目が最も敏感な輝度情報を直接に含み、したがって画像センサの有効な分解能を増加させる。

図５から明らかなように、各輝度ピクセルは４つの彩度ピクセルに接している。彩度情報が輝度ピクセルに近接していることにより、補間または他の数学的方法に基いた周知の方法を用いた輝度ピクセル位置でのクロミナンス情報の正確な復元が確実になる。彩度情報が輝度ピクセル値内に存在することにより、輝度ピクセル位置でのクロミナンス情報の正確な復元をさらに助ける。

したがって、この発明は、輝度ピクセルを用いることにより画像分解能を大幅に増加させるＣＦＡフィルタを実現する方法に関する。図３および図４の実現例に加え、同様の性質の他のＣＦＡ実現例が当業者には明らかである。

この発明のさまざまな実施例を記載したが、一定の成分およびプロセスステップが記載されたとはいえ、この説明が代表的なものでしかないことが認識される。当業者によって他の機能的な描写または付加的なステップおよび成分が加えられることができ、したがってこの発明は開示された具体的な実施例に限定されるべきではない。さまざまな代表的な要素は、ハードウェア、コンピュータで実行されるソフトウェア、またはそれらの組合せおよび変更例で実現されてもよく、本願明細書に開示された発明概念から逸脱することなく、示された実施例の変形が作られてもよい。したがって、添付された請求項の範囲および精神による以外には、この発明は限定して見られるべきではない。

先行技術のベイヤーパターンのカラーフィルタアレイの図である。 この発明の輝度（Ｙ）フィルタのいくつかの実施例を示す図である。 この発明の輝度ピクセルの成分を示す高レベルブロック図である。 図２の輝度フィルタを用いたカラーフィルタアレイの１つの実施例の図である。 図２の輝度フィルタを用いた、この発明のカラーフィルタアレイの第２の実施例の図である。

Claims (7)

1. 複数の色を含む輝度フィルタを含み、輝度フィルタの各色のサイズは、複数の色を用いて輝度を計算するのに用いられる色のシェアに比例し、
   複数の色は、赤、緑及び青を含み、緑フィルタは７０％の輝度フィルタを含み、赤フィルタは２０％の輝度フィルタを含み、青フィルタは１０％の輝度フィルタを含む、
   ことを特徴とするピクセル。
2. 輝度フィルタされた電磁放射信号を輝度フィルタから受取り、入力電磁放射信号の輝度を示す出力を与えるように結合された画像センサを含む、
   請求項１記載のピクセル。
3. 輝度ピクセルを含み、輝度ピクセルは複数の色を含む輝度フィルタを含み、輝度フィルタの各色のサイズは、複数の色を用いて輝度を計算する際に用いられる色のシェアに比例し、
   複数の色は赤、緑及び青を含み、緑フィルタは７０％の輝度フィルタを含み、赤フィルタは２０％の輝度フィルタを含み、青フィルタは１０％の輝度フィルタを含む、
   ことを特徴とするカラーフィルタアレイ。
4. 輝度ピクセルは、輝度フィルタされた電磁放射信号を輝度フィルタから受取って入力電磁放射信号の輝度を示す出力を与えるように結合された画像センサを含む、
   請求項３記載のカラーフィルタアレイ。
5. 複数の輝度ピクセルと、複数の色度ピクセルとをさらに含み、
   各色度ピクセルは少なくとも２つの輝度ピクセルに隣接する、
   請求項３記載のカラーフィルタアレイ。
6. 各色度ピクセルは少なくとも４つの輝度ピクセルに隣接する、
   請求項５記載のカラーフィルタアレイ。
7. 輝度ピクセルは複数の色度ピクセルの各々を囲む、
   請求項６記載のカラーフィルタアレイ。

Images