JP5663564B2

JP5663564B2 - 撮像装置並びに撮像画像処理方法と撮像画像処理プログラム

Info

Publication number: JP5663564B2
Application number: JP2012511642A
Authority: JP
Inventors: 田中　誠二; 誠二田中; 芦田　哲郎; 哲郎芦田; 智行河合; 武弘河口; 恒史遠藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-04-20
Filing date: 2011-04-15
Publication date: 2015-02-04
Anticipated expiration: 2031-04-15
Also published as: US20130038761A1; WO2011132618A1; CN103004211B; CN103004211A; JPWO2011132618A1; US8736724B2

Description

本発明は、２種類の異なる色合いのカラー画像を撮像できる固体撮像素子を搭載した撮像装置並びに撮像画像処理方法、撮像画像処理プログラムに関する。

固体撮像素子に搭載されるカラーフィルタの配列として様々な配列が提案され使用されている。例えば下記の特許文献１記載の撮像装置では、ベイヤ配列と呼ばれるカラーフィルタ配列が用いられている。ベイヤ配列は、各画素に３原色Ｒ（赤）Ｇ（緑）Ｂ（青）の内のいずれか１色のカラーフィルタを所定規則に基づいてモザイク的に配列するものである。このため、例えば赤色フィルタが搭載された赤色画素は緑色及び青色の信号を検出できないため、当該赤色画素の周りの緑色フィルタ，青色フィルタを搭載した画素信号を補間演算してこの赤色画素位置の緑色信号，青色信号を求める様にしている。

下記の特許文献２に記載の撮像素子は、斜め方向に隣接する２画素づつをペアとし、３原色ＲＧＢのうちのいずれか１色のカラーフィルタを、ペア画素を単位に所定規則に従ってモザイク的に配列している。そして、例えば緑色フィルタを搭載するペアの画素の夫々には、Ｇ１カラーフィルタ，Ｇ２カラーフィルタを搭載する様にしている。

Ｇ１とＧ２の関係は、例えば加算するとＧ色となるように選択される。Ｇ色カラーフィルタは、波長５４０ｎｍを中心波長とし、前後夫々１００ｎｍ程度の幅の釣り鐘状の分光特性を持つように製造される。これに対し、例えばＧ１，Ｇ２はこれを２つに分離し、波長４４０ｎｍ〜５４０ｎｍの色をＧ１フィルタで検出し、波長５４０ｎｍ〜６４０ｎｍをＧ２フィルタで検出する様にする。同様に、Ｒ色，Ｂ色も、ペアとなる画素がＲ１，Ｒ２フィルタを搭載し、Ｂ１，Ｂ２フィルタを搭載する様にする。

この様に、カラーフィルタで分離する色をＲ，Ｇ，Ｂの３色とするより更に細かく分離することで、被写体画像の色再現性を向上させることができる。しかし、Ｒ１，Ｇ１，Ｂ１のカラーフィルタを搭載した画素から取り出した撮像画像と、Ｒ２，Ｇ２，Ｂ２のカラーフィルタを搭載した画素から取り出した撮像画像とは色合いが異なる画像となり、夫々の画像は共に単独では不自然な色合いのカラー画像となる。このため、適切な合成処理を行って色再現性の高い被写体画像を画像処理で求める必要がある。

下記の特許文献３記載の撮像装置では、各画素が小面積部分と大面積部分とに分割されている。そして更に、例えば緑色（Ｇ）フィルタを搭載する画素においては、小面積部分に積層するフィルタ厚を大面積部分より厚く、あるいはフォトダイオードを構成するｎ領域の厚さを薄くしている。

この結果、小面積部分は、ある波長域の入射光を殆ど検出できなくなっているのに対し、大面積部分ではこの波長域の光を検出できる様になる。このことを利用して、この撮像装置では、上記の波長域の光が存在するか否かを検出し、光源種別を判定している。

日本国特開２００６―１３５４６８号公報日本国特開２００９―２６８０７８号公報日本国特開２００４―２８９７２８号公報

カラー画像を表示できる従来のモニタ装置は、ブラウン管型モニタ装置（ＣＲＴ）が一般的であったが、近年では、液晶ディスプレイ装置が液晶テレビとして一般に普及している。この結果、一般ユーザは、自然な色合いのカラー画像とは色合いが異なる、例えば鮮やかなカラー画像を見慣れてしまい、デジタルカメラで撮影したカラー画像では物足りなく感じる例が増えている。

上述した従来の固体撮像素子に用いられているカラーフィルタは、自然な色合いで被写体画像の色再現ができるように考案されたものに過ぎない。このため、被写体のカラー画像を鮮やかなカラー画像として撮影することができない。

その一方で、被写体のカラー画像を自然な色合いで撮影しなければならない撮影シーンも存在し、鮮やかな色合いのカラー画像と自然な色合いのカラー画像の両方を撮影できる撮像装置に対する要望が高い。

本発明の目的は、色合いの異なる２種類のカラー画像を撮影することができる固体撮像素子を搭載した撮像装置並びに撮像画像処理方法、撮像画像処理プログラムを提供することにある。

（１）半導体基板に二次元アレイ状に配列形成される複数の画素と、該画素の奇数行と偶数行の一方を含む第１画素群の上に所定規則に従って配列して積層される複数の第１の色のカラーフィルタと、前記奇数行と前記偶数行の他方を含む第２画素群の上に所定規則に従って配列して積層され、前記複数の第１の色のカラーフィルタとは分光感度が異なる複数の第２の色のカラーフィルタとを有する固体撮像素子と、前記複数の第１の色を含むカラーフィルタと前記複数の第２の色を含むカラーフィルタの間の分光感度差による前記第１画素群の画素の撮像画像信号と前記第２画素群の画素の撮像画像信号とのレベル差を求め、該レベル差を補正して前記第１画素群から得られる第１の撮像画像と前記第２画素群から得られる第２の撮像画像とを合成する画像処理部とを備え、前記画像処理部は、前記レベル差を、前記補正の対象とする画素の周囲の前記第１画素群に属する所定数画素の前記撮像画像信号の平均値である第１平均値と、前記補正の対象とする画素の周囲の前記第２画素群に属する所定数画素の前記撮像画像信号の平均値である第２平均値とから求め、前記レベル差を補正し、前記第１，第２の撮像画像の中に被写体の輪郭部を示すエッジ部の画像が含まれるか否かを判定し該エッジ部を除いて前記第１平均値，第２平均値を求める撮像装置。
（２）半導体基板に二次元アレイ状に配列形成される複数の画素と、該画素の奇数行と偶数行の一方を含む第１画素群の上に所定規則に従って配列して積層される複数の第１の色のカラーフィルタと、前記奇数行と前記偶数行の他方を含む第２画素群の上に所定規則に従って配列して積層され、前記複数の第１の色のカラーフィルタとは分光感度が異なる複数の第２の色のカラーフィルタとを備える固体撮像素子で撮像された画像を処理する撮像画像処理方法であって、前記複数の第１の色を含むカラーフィルタと前記複数の第２の色を含むカラーフィルタの間の分光感度差による前記第１画素群の画素の撮像画像信号と前記第２画素群の画素の撮像画像信号とのレベル差を求め、該レベル差を補正して前記第１画素群から得られる第１の撮像画像と前記第２画素群から得られる第２の撮像画像とを合成し、前記レベル差が、前記補正の対象とする画素の周囲の前記第１画素群に属する所定数画素の前記撮像画像信号の平均値である第１平均値と、前記補正の対象とする画素の周囲の前記第２画素群に属する所定数画素の前記撮像画像信号の平均値である第２平均値とから求められ、前記第１，第２の撮像画像の中に被写体の輪郭部を示すエッジ部の画像が含まれるか否かを判定することを更に備え、該エッジ部を除いて前記第１平均値，第２平均値が求められる撮像画像処理方法。
（３）半導体基板に二次元アレイ状に配列形成される複数の画素と、該画素の奇数行と偶数行の一方を含む第１画素群の上に所定規則に従って配列して積層される複数の第１の色のカラーフィルタと、前記奇数行と前記偶数行の他方を含む第２画素群の上に所定規則に従って配列して積層され、前記複数の第１の色のカラーフィルタとは分光感度が異なる複数の第２の色のカラーフィルタとを備える固体撮像素子で撮像された画像を処理する撮像画像処理をコンピュータに実行させるプログラムを記憶した一時的ではないコンピュータ可読記録媒体であって、前記撮像画像処理が、前記複数の第１の色を含むカラーフィルタと前記複数の第２の色を含むカラーフィルタの間の分光感度差による前記第１画素群の画素の撮像画像信号と前記第２画素群の画素の撮像画像信号とのレベル差を求め、該レベル差を補正して前記第１画素群から得られる第１の撮像画像と前記第２画素群から得られる第２の撮像画像とを合成し、前記レベル差が、前記補正の対象とする画素の周囲の前記第１画素群に属する所定数画素の前記撮像画像信号の平均値である第１平均値と、前記補正の対象とする画素の周囲の前記第２画素群に属する所定数画素の前記撮像画像信号の平均値である第２平均値とから求められ、前記第１，第２の撮像画像の中に被写体の輪郭部を示すエッジ部の画像が含まれるか否かを判定することを更に備え、該エッジ部を除いて前記第１平均値，第２平均値が求められる一時的ではないコンピュータ可読記録媒体。

本発明の撮像画像処理プログラムは、上記の撮像画像処理方法を実施するステップが設けられる。

本発明によれば、異なる色合いの２種類のカラー画像（例えば、自然な色合いのカラー画像と鮮やかな色合いのカラー画像）を撮影することができ、しかも、両者を合成した画像も得ることが可能となる。

本発明の第１実施形態に係る撮像装置の機能ブロック図である。図１に示す固体撮像素子のカラーフィルタ配列図である。図２に示すカラーフィルタ配列で用いるカラーフィルタの分光感度を表す図である。本発明の第１実施形態に係る撮像画像処理手順を示すフローチャートである。本発明の第２実施形態に係る撮像装置の機能ブロック図である。本発明の第２実施形態に係る撮像画像処理手順を示すフローチャートである。本発明の第３実施形態に係る撮像装置の機能ブロック図である。画像のエッジ判定の説明図である。本発明の第３実施形態に係る撮像画像処理手順を示すフローチャートである。本発明の第４実施形態に係る撮像装置の機能ブロック図である。本発明の第４実施形態に係る撮像画像処理手順を示すフローチャートである。図２とは別実施形態に係る固体撮像素子のカラーフィルタ配列図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の第１実施形態に係る撮像装置の機能ブロック図である。この撮像装置１０は、固体撮像素子１１と、撮像制御部１３と、メモリ１４と、ＣＰＵ１５とを備える。撮像制御部１３は該固体撮像素子１１の駆動制御を行う。また、撮像制御部１３は固体撮像素子１１から出力される撮像画像信号を取り込んで相関二重サンプリング処理や利得制御処理，Ａ／Ｄ（アナログデジタル）変換処理を行い、バス１２に出力する。メモリ１４はバス１２に接続されている。ＣＰＵ１５はこの撮像装置１０の全体を統括制御する。ＣＰＵ１５は、ＤＳＰ機能を内蔵し、固体撮像素子１１から出力される撮像画像信号に対して補正処理（オフセット処理，ガンマ補正処理，ＲＧＢ／ＹＣ変換処理，同時化処理等）を施し、被写体画像を生成する。

この撮像装置１０は、更に、ナロー（Narrow）分光画素平均値算出回路１７と、ワイド（Wide）分光画素平均値算出回路１８と、色再現選択部１９と、補正比算出部２０と、乗算器２１とを備える。ナロー分光画素平均値算出回路１７とワイド分光画素平均値算出回路１８はバス１２から取り込まれたデジタルの撮像画像信号を処理する。色再現選択部１９は算出回路１７，１８の出力及びバス１２から取り込まれたデジタルの撮像画像信号を選択制御して色再現を行う。補正比算出部２０は色再現選択部１９によって選択された算出回路１７，１８の出力信号から補正比を算出する。乗算器２１は、バス１２から取り込まれたデジタルの撮像画像信号を色再現選択部１９によって選択されたレベル差補正対象画素の信号と補正比算出部２０の出力信号と乗算してバス１２に戻す。

算出回路１７，１８、色再現選択部１９、補正比算出部２０、乗算器２１は、画像処理部の一部を構成するものであり、その詳細動作については後述する。

図２は、固体撮像素子１１の表面模式図である。本実施形態の固体撮像素子１１は、半導体基板に各々の受光面積が同一の複数の画素（フォトダイオード）が二次元アレイ状に配列形成されている。奇数行の画素行に対して偶数行の画素行が１／２画素ピッチずつずらして配列されている。奇数行の画素配列だけ見れば、画素は正方格子配列を構成している。また、偶数行の画素配列だけ見れば、画素は正方格子配列を構成している。そして、奇数行の画素（Ａ群画素）に３原色のカラーフィルタＲ、Ｇ、Ｂがベイヤ配列され、偶数行の画素（Ｂ群画素）にも３原色のカラーフィルタｒ、ｇ、ｂがベイヤ配列されている。

半導体基板の表面部には、図示は省略しているが、各画素の検出した撮像画像信号を外部に読み出す信号読出部が形成されている。固体撮像素子がＣＣＤ型であれば、例えば特開２００５―７２９６６号公報に記載されている様に、信号読出部は垂直電荷転送路，水平電荷転送路及び信号電荷量に応じた電圧値信号を撮像画像信号として出力するアンプで構成されてもよい。固体撮像素子がＣＭＯＳ型であれば、例えば特開２００７―１２４１３７号公報や特開２００７―８１１４０号公報に記載されている様に、信号読出部は、ＭＯＳ型トランジスタと垂直走査回路，水平走査回路等で構成されてもよい。

図３は、カラーフィルタＲＧＢ及びｒｇｂの分光感度を示すグラフである。光の波長をλとしている。Ａ群画素に積層される赤色カラーフィルタＲ（λ），緑色カラーフィルタＧ（λ），青色カラーフィルタＢ（λ）の各分光感度は、夫々、釣り鐘状の山形で、かつ幅が広く（以下、ワイドと言う。）なっている。

これに対し、Ｂ群画素に積層される赤色カラーフィルタｒ（λ），緑色カラーフィルタｇ（λ），青色カラーフィルタｂ（λ）の分光感度は、釣り鐘状，山形状であっても、幅が狭く（以下、ナローと言う。）なっている。

図３のグラフは、各波長の光の分光感度を示している。図２で説明したように、Ａ群，Ｂ群の各画素の受光面積は同一であるため、図３のグラフは、各画素のカラーフィルタを透過した受光量の波長依存性を示している。

なお、赤色フィルタの長波長側（赤外領域）はカラーフィルタだけではカットすることが難しい。このため、デジタルカメラの撮影レンズ系には赤外線カットフィルタを挿入することが一般的である。図３に示すグラフは、赤外線カットフィルタが挿入されていない赤色カラーフィルタＲ，ｒだけの特性を示している。

図３の上辺部に、波長λ（ｎｍ）の値と色との関係を示している。Ａ群画素に積層されるワイドな赤色フィルタＲは、実際には橙色の光も透過し、黄色の光の一部も透過してしまうフィルタとして製造される。緑色フィルタＧは、その長波長側において、黄色や橙色の光の一部を透過してしまうフィルタとして製造される。短波長側においても同様であり、ワイドな緑色フィルタＧは青色の光の一部を透過し、ワイドな青色フィルタＢは緑色の光の一部を透過するフィルタとして製造される。

つまり、Ｇフィルタ搭載画素とＲフィルタ搭載画素は、橙色の光と黄色の光を共に受光することになり、Ｇフィルタ搭載画素とＢフィルタ搭載画素は、夫々青色，緑色の境界部分の光の一部を共に受光することになる。

Ｇフィルタ搭載画素の検出信号と、Ｒフィルタ搭載画素の検出信号と、Ｂフィルタ搭載画素の検出信号とに基づいて被写体カラー画像を再生する場合、各検出信号間の重なり部分（上記の橙色及び黄色の部分、青色及び緑色の境界部分）が大きくなるほど、再生カラー画像上で緑色と赤色、緑色と青色が混合される割合が多くなる。

即ち、ワイドなフィルタＲ，Ｇ，Ｂを通して得られる色信号Ｒ，Ｇ，Ｂは、夫々原色の赤色，緑色，青色だけではなく、他色が混合した色信号となり、原色の混合割合（混合比率）が低い色信号となる。しかし、この他色との混合の程度が程良い混合割合になると、自然な色合いのカラー画像となる。

これに対し、上記の重なり部分が小さくなると、原色の混合割合（混合比率）がより高い信号となる。即ち、ナローなフィルタｒ，ｇ，ｂを通して得られる色信号ｒ，ｇ，ｂは、原色の混合割合（混合比率）が高い信号となる。この色信号ｒ，ｇ，ｂに基づいて再生するカラー画像は、鮮やかな色合いのカラー画像になる。

なお、色というものは或る波長範囲で全て同色となる訳ではなく、徐々に変化していくものである。例えば図３の波長域５００ｎｍ〜５７０ｎｍの範囲は、これを全て「緑」として図示している。しかし、実際には図３の左側に行くほど青色が少しずつ混じった色となり、図３の右側に行くほど黄色が少しずつ混じった色となる。上記の「原色」とは、緑色でいえば、５００ｎｍ〜５７０ｎｍの全範囲ではなく、その中の一部範囲、例えば波長５３５ｎｍを中心とする所要波長範囲（例えば±２５ｎｍ）の色をいう。

本実施形態の撮像装置に搭載する固体撮像素子１１は、Ａ群画素にワイドなカラーフィルタＲ，Ｇ，Ｂを積層して自然な色合いの被写体カラー画像を撮影できるようにし、Ｂ群画素にナローなカラーフィルタｒ，ｇ，ｂを積層して鮮やかな色合いの被写体カラー画像を撮影できるようにしている。

ワイドなカラーフィルタＲ，Ｇ，Ｂは、従来から存在する自然な色合いのカラー画像を撮影できるカラーフィルタ材を利用する。このワイドなカラーフィルタＲ，Ｇ，Ｂに対して、ワイドなカラーフィルタ材とは異なる顔料あるいは染料で、図３に例示するような分光特性を持つフィルタｒ，ｇ，ｂを作る。

この場合、ワイドなフィルタＲ，Ｇ，Ｂの厚さと、ナローなフィルタｒ，ｇ，ｂの厚さとが異なると、固体撮像素子１１の表面に凹凸ができ、その上にマイクロレンズを積層する工程が複雑となる。そこで、製造を容易とし製造コストを低減するために、ワイドなフィルタＲ，Ｇ，Ｂと、ナローなフィルタｒ，ｇ，ｂは同じ厚さを有することが好ましい。

また、Ａ群画素で得られる自然な色合いの撮像画像と、Ｂ群画素で得られる鮮やか色合いの撮像画像とが同じ程度の明るさになるように、フィルタＲ，Ｇ，Ｂの夫々のピーク感度値とフィルタｒ，ｇ，ｂの夫々のピーク感度値とが同程度となる様にするのが好ましい。

図３の例では、青色フィルタＧのピーク感度値Ｂwと青色フィルタｂのピーク感度値ｂnとの間の誤差が１０％以内である場合に、青色フィルタＧのピーク感度値と青色フィルタｂの感度値が同一とみなしている。また、緑色フィルタＧのピーク感度値Ｇwと緑色フィルタｇのピーク感度値ｂnとの間の誤差が１０％以内である場合に、緑色フィルタＧのピーク感度値と緑色フィルタｇのピーク感度値が同一とみなしている。更に、赤色フィルタＲのピーク感度値Ｒwと赤色フィルタｒのピーク感度値ｒnとの間の誤差が１０％以内である場合に、赤色フィルタＲのピーク感度値と赤色フィルタｒのピーク感度値が同一とみなしている。

青色光のピーク感度値Ｂwを与える光の波長λ_Ｂｗと、ピーク感度値ｂnを与える光の波長λ_ｂｎは、同一であることが好ましい。しかし、実際にフィルタＢとフィルタｂの形成材料が異なるため、波長λ_Ｂｗと波長λ_ｂｎを同一にすることは困難である。しかし、波長λ_Ｂｗと波長λ_ｂｎの間の誤差が±２０ｎｍ程度の範囲内であれば良い。他の色でも同様である。

ナローな赤色フィルタｒの分光感度の波長範囲は、ワイドな赤色フィルタＲの分光感度の波長範囲の完全に内側である。他色（緑，青）でも同様である。即ち、可視光の波長域（約３８０ｎｍ〜６５０ｍ）において、Ｒ（λ）＞ｒ（λ）、Ｇ（λ）＞ｇ（λ）、Ｂ（λ）＞ｂ（λ）とする。

これは、ワイドなフィルタＲ，Ｇ，Ｂで撮影したカラー画像は自然な色合いのカラー画像となるが、フィルタＲ，Ｇ，Ｂの各分光感度の波長範囲から外れる分光感度で撮影したカラー画像は、不自然な色のカラー画像になってしまうからである。ナローなフィルタｒ（ｇ，ｂ）の分光感度の波長範囲がワイドなフィルタＲ（Ｇ，Ｂ）の分光感度の波長範囲の完全な内側にあれば、ナローなフィルタｒ，ｇ，ｂで撮影したカラー画像は、鮮やかな画像となるが、不自然な色合いにはならない。

ナローな緑色フィルタｇの分光感度の波長範囲を、ワイドな緑色フィルタＧの分光感度の波長範囲の内側にする場合、ナローな緑色フィルタｇの分光感度がワイドな緑色フィルタＧの分光感度の山形の左右の稜線から等距離に離れていることが好適である。しかし、フィルタｇとフィルタＧの材料が異なるため、これが必須という訳ではなく、ナローな緑色フィルタｇの分光感度が片側に少し寄っても構わない。

上述した様に、ワイドなカラーフィルタＲ，Ｇ，Ｂの透過光に含まれる原色の混合比率（含有比率）に対して、ナローなカラーフィルタｒ，ｇ，ｂの透過光に含まれる原色の混合比率（含有比率）は高い。次にこのことを定量的に説明する。

ワイドなカラーフィルタＲ，Ｇ，Ｂにおける原色の混合比率をα、ナローなカラーフィルタｒ，ｇ，ｂにおける原色の混合比率をα＋Δαとしたとき、Δα＞０とすることが好ましい。これにより、ナローなカラーフィルタｒ，ｇ，ｂで撮った画像が見た目で鮮やかになったことを視認できることになる。

画像が鮮やかであるか否かは、主観的な判断が入るため、どの程度の差Δαを設ければ良いかの定量化は簡単ではないが、本実施形態では次の様に混合比率αを定義する。図３において、青色カラーフィルタＢのピーク感度値Ｂｗに対し、その半値幅Ｂｄを求め、青色カラーフィルタｂのピーク感度値ｂｎに対してその半値幅ｂｄを求める。そして、ワイドなカラーフィルタＢの透過光に含まれる原色の混合比率（含有比率）をＢｄ／Ｂｗ、ナローなカラーフィルタｂの透過光に含まれる原色の混合比率（含有比率）をｂｄ／ｂｎと定義する。このとき、
ｂｄ／ｂｎ＜Ｂｄ／Ｂｗ
となるように、ナローなカラーフィルタｂの分光感度を定める。上記のΔαを用いて表せば、
ｂｄ／ｂｎ＋Δα＝Ｂｄ／Ｂｗ
となるようにナローなカラーフィルタｂの分光感度を定める。図３の例の実測値では、ｂｄ／ｂｎ＝５３．７５（％）、Ｂｄ／Ｂｗ＝６４．７（％）であるから、Δα＝１０（％）程度である。

緑色についても同様であり、
ｇｄ／ｇｎ＜Ｇｄ／Ｇｗ
となるように、ナローなカラーフィルタｇの分光感度を定める。上記のΔαを用いて表せば、
ｇｄ／ｇｎ＋Δα＝Ｇｄ／Ｇｗ
となるようにナローなカラーフィルタｇの分光感度を定める。図３の例の実測値では、ｇｄ／ｇｎ＝６３．７５（％）、Ｇｄ／Ｇｗ＝９５．１２（％）であるから、Δα＝３１（％）程度である。

赤色については、上述した様に、長波長側は赤外線カットフィルタでカットする。このため、ピーク感度位置から短波波長側だけを用いて判断する。

ｒｄ／ｒｎ＜Ｒｄ／Ｒｗ
となるように、ナローなカラーフィルタｒの分光感度を定める。上記のΔαを用いて表せば、
ｒｄ／ｒｎ＋Δα＝Ｒｄ／Ｒｗ
となるようにナローなカラーフィルタｒの分光感度を定める。。図３の例の実測値では、ｒｄ／ｒｎ＝７．５（％）、Ｒｄ／Ｒｗ＝３４（％）であるから、Δα＝２６（％）程度である。

この様に、ナローなカラーフィルタｒ，ｇ，ｂを透過した光の原色含有比率をワイドなカラーフィルタＲ，Ｇ，Ｂを透過した光の原色含有比率より高めておくことで、１つの固体撮像素子１１で同時に２枚の被写体画像（Ａ群画素から自然な色合いのカラー画像、Ｂ群画素から鮮やかな色合いのカラー画像）を撮像することが可能となる。なお、この実施形態では、ナローなカラーフィルタｒ，ｇ，ｂの各分光感度の半値幅の波長範囲内の色を「原色」として原色含有比率をワイドなカラーフィルタＲ，Ｇ，Ｂより高めている。

上述した様に、図２の構成の固体撮像素子１１は、同時に２枚のカラー画像を撮像することができる。しかし、各撮像画像は、固体撮像素子１１に搭載されている画素の数の１／２の画素を利用した撮像画像であり、全画素を利用した高精細な被写体画像を撮像したいという要望もある。しかし、Ａ群画素とＢ群画素は分光感度が異なるカラーフィルタを持っているため、両撮像画像間にはレベル差（感度比）が発生している。単純に両撮像画像を合成して高精細な画像を得たとしても、該高精細な画像は違和感のある画像になってしまう。

そこで、以下の実施形態では、自然な色合いの被写体カラー画像信号と、鮮やかな色合いの被写体カラー画像信号とから、違和感の無い高精細な画像を生成する撮像画像処理方法について説明する。

Ａ群画素とＢ群画素の分光感度が異なると、撮影対象（被写体）が含む同じ色に対して異なる画素値が得られ、レベル差が発生する。また、図３からわかるように、可視光領域におけるそれぞれの色（波長）によってＡ群画素とＢ群画素の間のレベル差が異なる。このため、ゲイン処理等の全画面一律な処理では精度の高い補正はできず、局所的な最適化が必要となる。

そこで、以下の実施形態では、次のようにレベル差を補正する。図１の平均値算出回路１７，１８が分光感度毎の同色画素（Ｒとｒ、Ｇとｇ、Ｂとｂ）の平均値（例えば補正対象画素と同色の周辺５×５画素の平均値）を算出する。色再現選択部１９により選択された分光（仮にワイド（Ｗｉｄｅ）側とする。）の平均値と、もう一方の平均値（ナロー（Ｎａｒｒｏｗ）側となる。）との比を補正比算出部２０で算出する。そして、乗算器２１が選択されていないレベル差補正対象画素の検出信号に、補正比算出部２０が算出した比乗じる。

色再現選択部１９は、色再現をナロー側の鮮やかな色にするのか、ワイド側の自然な色にするのかを選択するもので、例えば風景撮影の場合にはナロー側を選択し、人物撮影の場合にはワイド側を選択する。

この様に、ナローとワイドの２種類の分光感度の異なるカラーフィルタを用いることで、２種類の色再現を選択できるようになる。また、選択した色再現の分光感度のレベルに他方を補正して合わせることで、Ａ群画素とＢ群画素の両方を利用してＲＧＢ（ｒｇｂ）を補間することができ、高解像度の被写体画像を生成することが可能となる。

図４は、本発明の第１実施形態に係る撮像画像処理方法の処理プログラムの手順を示すフローチャートである。ユーザが鮮やかなカラー画像を選択しているときや、撮影シーンの設定が上記の風景撮影のとき、ナローなフィルタｒ，ｇ，ｂを積層したＢ群画素の撮像画像信号はそのまま使用できるため、補正対象画素をＡ群画素（ワイドなフィルタＲ，Ｇ，Ｂを積層した画素）とする。

最初に、補正対象画素の周囲にある所定数の画素、例えば補正対象画素の周囲にある５×５のナロー側同色画素の撮像画像信号の平均値が算出される（ステップＳ１）。次に、補正対象画素の周囲にある５×５のワイド側同色画素の撮像画像信号の平均値が算出される（ステップＳ２）。

そして、ステップＳ３で、色再現がナロー側であるかワイド側であるかが判定される。この例では、上記したようにナロー側で色再現を行うため、ステップＳ３からステップＳ４に進み、〔ステップＳ１で求めた平均値〕／〔ステップＳ２で求めた平均値〕＝補正比とする。

次のステップＳ５では、補正対象画素（この例では、ワイド側の画素）の撮像画像信号値にステップＳ４で算出した補正比が乗算され、ナロー画素と同等のレベルとなるようにレベル差（感度比）が補正される。

そして、ステップＳ６で全ての補正対象画素に対して補正が終了したか否かが判定される。補正が終了していない場合にはステップＳ７に進んで補正対象画素を次の補正対象画素に変更し、ステップＳ１に戻る。

ユーザが自然な色合いのカラー画像を選択しているときや、撮影シーンが人物撮影のとき、ワイドなフィルタＲ，Ｇ，Ｂを積層したＡ群画素の撮像画像信号はそのまま使用できるため、補正対象画素はＢ群画素（ナローなフィルタｒ，ｇ，ｂを積層した画素）となる。

この場合には、ステップＳ１，ステップＳ２，ステップＳ３と進み、ステップＳ３の判定でワイド側が選択され、ステップＳ８に進む。ステップＳ８では、補正比＝〔ステップＳ２で求めた平均値〕／〔ステップＳ１で求めた平均値〕と算出される。そしてステップＳ９で、補正対象画素（この例では、ナロー側の画素）の撮像画像信号値にステップＳ８で求めた補正比が乗算され、ワイド画素と同等のレベルとなるようにレベル差が補正される。

ステップＳ９の後は、ステップＳ６に進み、全ての補正対象画素に対して補正処理が終了したか否かが判定される。全ての補正対象画素に対する補正が終了した場合には、処理を終了する。

図４の補正処理が終了した後は、Ａ群画素による撮像画像とＢ群画素による撮像画像（勿論、一方の画素群の撮像画像は補正後の撮像画像である。）とを合成する処理が実行される。以下の実施形態でも同様である。

図５は、本発明の第２実施形態に係る撮像装置３０の機能ブロック図である。第２実施形態は、図１に示される第１実施形態と、補正比算出部２０の後段で乗算器２１の前段に補正比抑制部２３を設けている点が異なり、他の点は第１実施形態と同じである。補正比抑制部２３は、補正比に対して予め上限値（例えば同色の分光感度比）を設定しておき、補正比算出部２０で算出された補正比が上限値（上限補正比）を超えたときは補正比を上限補正比で置き換えて乗算器２１に出力する抑制処理を行う。

図６は、第２実施形態の撮像装置３０が実施する撮像画像処理プログラムの処理手順を示すフローチャートである。図４のフローチャートと同一ステップには同じステップ番号を付してその詳細な説明は省略し、異なる点を説明する。

本実施形態では、図４のフローチャートに比べて、ステップＳ４とステップＳ５との間にステップＳ１１，Ｓ１２を設け、ステップＳ８とステップＳ９との間にもステップＳ１１，Ｓ１２を設けている。

ステップＳ１１では、ステップＳ４又はステップＳ８で算出された補正比が上限補正比より小さいか否かが判定される。算出された補正比が上限補正比よりも小さい場合（判定結果がＹｅｓ）には算出された補正比でステップＳ５又はステップＳ９に進んで補正を行う。ステップＳ１１の判定の結果が否定（Ｎｏ）の場合、即ち、ステップＳ４又はステップＳ８で算出された補正比が上限補正比を超えていた場合には、ステップＳ１２に進み、補正比を上限補正比に置き換えてステップＳ５又はステップＳ９に進む。

本実施形態によれば、補正比を抑制するため、高周波成分を含むシーンを撮影した際の過補正による解像度低下を抑えることができる。

図７は、本発明の第３実施形態に係る撮像装置４０の機能ブロック図である。本実施形態の撮像装置４０は、図１に示す第１実施形態の撮像装置１０と、平均値算出回路１７の前段にエッジ判定部２５を設けたこと及び、平均値算出回路１８の前段にエッジ判定部２６を設けたことが異なり、他の構成は第１実施形態と同じである。エッジ判定部２５はナロー画素（Ｂ群画素）による撮像画像中にエッジがあるか否かを判定する。エッジ判定部２６はワイド画素（Ａ群画素）による撮像画像中にエッジがあるか否かを判定する。

エッジ判定部２５は、ナローなフィルタｒ，ｇ，ｂを積層したＢ群画素の撮像画像信号間のレベル差に基づいてエッジ有無の判定を行う。また、エッジ判定部２６は、ワイドなフィルタＲ，Ｇ，ｂを積層したＡ群画素の撮像画像信号間のレベル差に基づいてエッジの有無を判定する。

上述のように平均値算出回路１７，１８は、補正対象画素の周辺にある同色の画素の平均値を用いる。しかし、補正対象画素の周辺にある同色の画素の中にエッジ部を含んでしまうと、他の画素値に対してレベル差の大きい画素値が平均値の中に入ってきて誤補正となってしまう虞がある。そこで、エッジ判定部２５、２６がエッジの有無を判定し、図８に示す様に、エッジを含むと判定されたエッジ部分を除いた画素の平均値を平均値算出回路１７、１８が算出する。より具体的には、図８は太線で囲まれていない右下の部分にエッジが含まれていると判定された例を示している。平均値算出回路１７、１８はこの太線で囲まれていない右下の部分を除外して、残りの画素（太線で囲まれた領域内の画素）の撮像画像信号を用いて平均値を算出する。

図９は、この第３実施形態の撮像画像処理プログラムの処理手順を示すフローチャートである。図９のフローチャートは図４のフローチャートに、ステップＳ１の前段にステップＳ２１，Ｓ２２，Ｓ２３を設け点及び、ステップＳ１とステップＳ２との間にステップＳ２５，Ｓ２６，Ｓ２７を設けた点が異なり、その他の点は図４のフローチャートと同じである。このため、以下では異なる点のみ説明する。

ステップＳ２１では、補正対象画素の撮像画像信号と判定対象の周辺画素（ナロー画素）の撮像画像信号とのレベル差が閾値未満であるか否かが判定される。レベル差が閾値未満の場合（ステップＳ２１でＹｅｓ）には判定対象の周辺画素を平均値算出に用いる画素としてフラグを立て（ステップＳ２２）、ステップＳ２３に進む。

ステップＳ２１の判定の結果、レベル差が閾値以上の場合（ステップＳ２１でＮｏ）にもステップＳ２３に進む。そして、周辺画素の全てに対してステップＳ２１の判定を行ったか否かが判断される（ステップＳ２３）。周辺画素の全てに対してステップＳ２１の判定が終了していない場合（ステップ２３でＮｏ）には判定対象の周辺画素を変更してステップＳ２１に戻る。一方、周辺画素の全てに対してステップＳ２１の判定が終了している場合（ステップＳ２３でＹｅｓ）には、ステップＳ１に進む。このステップＳ１の平均値算出処理では、ステップＳ２２でフラグを立てられた周辺画素の平均値が算出される。

ステップＳ２５，Ｓ２６，Ｓ２７の基本的処理はそれぞれステップＳ２１，Ｓ２２，Ｓ２３と同じであるが、周辺画素がワイド画素である点が異なる。

本実施形態によれば、画像中のエッジ部分を判別し、エッジ部分を除外して平均値算出を行うため、画像のエッジ部分によって生じる誤補正を軽減させることができる。

図１０は、本発明の第４実施形態に係る撮像装置５０の機能ブロック図である。本実施形態の撮像装置５０は、ワイドフィルタＲ，Ｇ，Ｂを搭載したＡ群画素の自然な色合いの撮像画像と、ナローフィルタｒ，ｇ，ｂを搭載したＢ群画素の鮮やかな色合いの撮像画像とを合成して、ダイナミックレンジの広い１枚の画像を生成することができる撮像装置である。

ダイナミックレンジの広い画像を生成する場合には、ナローとワイドの同色で隣接する２画素加算を行うことになる。しかし、分光感度比に起因するナロー画素とワイド画素の間のレベル差を適切に補正しないと、不自然な画像が合成されてしまう。

図１の撮像装置１０と同様に、本実施形態の撮像装置５０は、撮像素子１１，バス１２，撮像制御部１３，メモリ１４，ＣＰＵ１５，補正比算出部２０，乗算器２１を備える。撮像装置５０は、更に、撮像制御部１３を制御するＤ（ダイナミック）レンジ設定装置３１と、Ｄレンジ設定装置３１によって制御される露出差補正量算出装置３２とを備える。

更に、撮像装置５０は、第１色再現選択部（Ｉ）３３と、乗算器３４と、適正露光画素平均値算出回路３５と、アンダー露光画素平均値算出回路３６と、第２色再現選択部（II）３７とを備える。第１色再現選択部（Ｉ）３３はナロー画素の撮像画像信号とワイド画素の撮像画像信号を取り込んで、一方を選択する。乗算器３４は色再現選択部３３によって選択されたナロー画素の撮像画像信号又はワイド画素の撮像画像信号の一方と露出差補正量算出装置３２の出力信号とを乗算する。適正露光画素平均値算出回路３５は乗算器３４の出力信号の平均値を適正露光画素の平均値として算出する。アンダー露光画素平均値算出回路３６はナロー画素の撮像画像信号とワイド画素の撮像画像信号の他方の平均値をアンダー露光画素の平均値として算出する。第２色再現選択部（II）３７はバス１２から取り込んだナロー画素，ワイド画素の撮像画像信号の一方を選択して乗算器２１に出力する。平均値算出回路３５，３６の出力が補正比算出部２０に取り込まれ、補正比が算出され、乗算器２１に出力される。

図１１は、この撮像装置５０で実行される撮像画像処理プログラムの処理手順を示すフローチャートである。先ず、ユーザが設定した、或いは撮像装置５０が自動で設定したＤレンジが１００％であるか２００％であるか４００％であるかが判定される（ステップＳ３１）。

Ｄレンジが１００％の場合にはステップＳ３２に進み、露光差補正量＝１倍と設定される。Ｄレンジが２００％の場合にはステップＳ３３に進み、露光差補正量＝１／２倍と設定される。Ｄレンジが４００％の場合にはステップＳ３４に進み、露光差補正量＝１／４倍に設定される。

露光差補正量とは露光時間の差であり、Ａ群画素の露光時間に対してＢ群画素の露光時間を同じにすればＤレンジが１００％となる。一方の画素群の露光時間に対して他方の画素群の露光時間を１／２に設定すれば、Ｄレンジが２００％となりる。一方の画素群の露光時間に対して他方の画素群の露光時間を１／４に設定すれば、Ｄレンジが４００％となる。

どちらの画素群の露光時間を短くするかは、色再現をワイド側（自然な色合い）にするかナロー側（鮮やかな色合い）にするかによる。Ａ群画素，Ｂ群画素のうち露光時間を他方より短くする画素群に属する画素を、以下、アンダー露光画素といい、露光時間を短くして撮影することをアンダー露光撮影という。露光時間を短くしない画素群に属する画素を、以下、適正露光画素といい、その撮影を適正撮影という。

ステップＳ３２，Ｓ３３，Ｓ３４の次にステップＳ３５に進み、色再現がナロー側（鮮やかな色合いにする側）とワイド側（自然な色合いにする側）のどちらであるかを判定する。色再現をナロー側（鮮やかにする側）に合わせる場合には、ステップＳ３６に進み、色再現する側のナロー画素（Ｂ群画素）をアンダー露光撮影し、ワイド画素（Ａ群画素）を適正撮影する。この撮影は同時に行い、適正撮影を行う露光時間中にアンダー露光撮影を行う。

次に、ステップＳ３７では、図４のステップＳ１，Ｓ２と同様に、補正対象画素の周辺にある所定数個の同色のナロー画素の撮像画像信号の平均値が求められると共に、補正対象画素の周辺の所定数個の同色のワイド画素の撮像画像信号の平均値が求められる。そして、補正比が
補正比＝〔ナロー画素平均値〕／〔ワイド画素平均値〕×露光差補正量
として求められる。

そして、ステップＳ３８で、補正対象画素（この場合にはワイド画素）の撮像画像信号に補正比が乗算され、ワイド画素の撮像画像信号をナロー画素の分光感度に合わせると共に露出差（露光時間の差）も合わせ、この処理を終了する。なお勿論、以上の処理は、補正対象画素の全てに対して行うが、この図１１のフローチャートでは、図４のステップＳ６，Ｓ７の図示を省略している。ステップＳ６，ステップＳ７を順にステップＳ３８の次に設け、ステップＳ７の戻る先をステップＳ３７とすれば良い。

ステップＳ３５で色再現をワイド側（自然な色合いとする側）に合わせる場合には、ステップＳ３５からステップＳ３９に進み、今度は色再現する側のワイド画素（Ａ群画素）をアンダー露光撮影すると共にナロー画素（Ｂ群画素）を適正撮影する。

そして、ステップＳ４０で、補正対象画素の周辺の所定数個の同色のナロー画素の撮像画像信号の平均値が求められると共に、補正対象画素の周辺の所定数個の同色のワイド画素の撮像画像信号の平均値が求められる。そして、補正比が
補正比＝〔ワイド画素平均値〕／〔ナロー画素平均値〕×露光差補正量
として求められる。

ステップＳ４１では、補正対象画素（この場合にはナロー画素）の撮像画像信号に補正比が乗算され、ナロー画素の撮像画像信号をワイド画素の分光感度に合わせると共に露出差（露光時間の差）も合わせ、この処理を終了する。なお、以上の処理を補正対象画素の全てに対して行うことは勿論である。

図１１のステップＳ３６内、ステップＳ３９内には、アンダー撮影，適正撮影と記載している。しかし、Ｄレンジを１００％としたときは、ナロー画素の露光時間とワイド画素の露光時間は同一時間となるため、「アンダー」「適正」の区別はしないで撮影することになる。

以上説明した撮像画像処理プログラムは、撮像装置内に組み込まれた場合に限らず、外部のパーソナルコンピュータでも実行することができ、実施形態の撮像装置で撮像された２枚のカラー画像から１枚の高精細なカラー画像を合成する場合や、広ダイナミックレンジのカラー画像を合成する場合に使用できる。撮像画像処理プログラムはハードディスクやＲＯＭ等の記憶媒体に記憶されていて、ＣＰＵやプロセッサによって実行される際にＲＡＭ等に読み出されてもよい。また、撮像画像処理プログラムはＣＤ−ＲＯＭ等の記憶媒体に記憶されていてもよい。

なお、実施形態の固体撮像素子は、図２に示す様に、市松状に画素を配列した固体撮像素子として説明したが、画素配列はこの実施形態に限るものではない。例えば、図１２に示す様に、全画素が正方格子状に配列（カラーフィルタ配列として図示）されていても良い。この図１２の固体撮像素子２２では、奇数行の画素（Ａ群画素）に３原色のカラーフィルタがベイヤ配列され、偶数行の画素（Ｂ群画素）にも３原色のカラーフィルタがベイヤ配列されている。

この実施形態の固体撮像素子２２でも、Ａ群画素にワイドなカラーフィルタＲ，Ｇ，Ｂが積層され、Ｂ群画素にナローなカラーフィルタｒ，ｇ，ｂが積層され、１回の撮影動作で同時に、自然な色合いの被写体カラー画像と、鮮やかな色合いの被写体カラー画像を撮像することができるようになっている。

上述した各実施形態では、自然な色合いのカラー画像を撮影できるカラーフィルタと、鮮やかな色合いのカラー画像を撮影できるカラーフィルタとを搭載した固体撮像素子を例に説明した。しかし、上述した実施形態の画像処理方法は、この様なフィルタに限るものではなく、２種類の色合いの異なるカラー画像を撮影できる固体撮像素子の撮像画像に適用可能である。

また、上述した画像処理における実施形態では、３原色のカラーフィルタを例に説明した。しかし、補色系のカラーフィルタ（３原色の１色づつが抜けたカラーフィルタ）でも同様に適用可能である。また、ナローな分光感度がワイドな分光感度の完全な内側に来なくても、上記の画像処理方法は適用可能である。

補色系カラーフィルタについての上記のナローとワイドの関係は次の通りである。赤色（Ｒ）の補色がシアン（Ｂ＋Ｇ），青色（Ｂ）の補色がイエロー（Ｇ＋Ｒ），緑（Ｇ）の補色がマゼンタ（Ｂ＋Ｒ）である。ここで、シアンのナローとシアンのワイドの関係は次の通りである。すなわち、ワイドのシアンを構成するＢとナローのシアンを構成するＢはナローとワイドの関係を有し、かつワイドのシアンを構成するＧとナローのシアンを構成するＧもナローとワイドの関係を有する。

他色のイエロー，マゼンタも同様である。ナローなイエローを構成するＧとＲの各分光感度の半値幅における波長範囲が、ワイドなイエローを構成するＧとＲの各分光感度の半値幅の波長範囲の内側に入る。また、ナローなマゼンタを構成するＢとＲの各分光感度の半値幅の波長範囲が、ワイドなマゼンタを構成するＢとＲの各分光感度の半値幅の波長範囲の内側に入る。

更に、各画素の面積は同一であることを前提として説明した。しかし、各群内の各画素の面積が誤差範囲内で同一であれば、Ａ群画素とＢ群画素の面積が誤差範囲内で同一である必要はない。Ａ群画素とＢ群画素の面積が誤差範囲内で同一ではないとしても、上記の画像処理方法は適用可能である。

以上述べた実施形態の撮像装置は、半導体基板に二次元アレイ状に配列形成される複数の画素と、
該画素の奇数行と偶数行の一方を含む第１画素群の上に所定規則に従って配列して積層される複数の第１の色のカラーフィルタと、
前記奇数行と前記偶数行の他方を含む第２画素群の上に所定規則に従って配列して積層され、前記複数の第１の色のカラーフィルタとは分光感度が異なる複数の第２の色のカラーフィルタとを有する固体撮像素子と、
前記複数の第１の色を含むカラーフィルタと前記複数の第２の色を含むカラーフィルタの間の分光感度差による前記第１画素群の画素の撮像画像信号と前記第２画素群の画素の撮像画像信号とのレベル差を求め、該レベル差を補正して前記第１画素群から得られる第１の撮像画像と前記第２画素群から得られる第２の撮像画像とを合成する画像処理部と
を備える。

また、実施形態の撮像画像処理方法は、上記記載の固体撮像素子で撮像された画像を処理する撮像画像処理方法であって、前記複数の第１の色を含むカラーフィルタと前記複数の第２の色を含むカラーフィルタの間の分光感度差による前記第１画素群の画素の撮像画像信号と前記第２画素群の画素の撮像画像信号とのレベル差を求め、
該レベル差を補正し、
前記第１画素群から得られる第１の撮像画像と前記第２画素群から得られる第２の撮像画像とを合成する。

また、実施形態の撮像装置及び撮像画像処理方法は、前記レベル差を、前記補正の対象とする画素の周囲の前記第１画素群に属する所定数画素の前記撮像画像信号の平均値である第１平均値と、前記補正の対象とする画素の周囲の前記第２画素群に属する所定数画素の前記撮像画像信号の平均値である第２平均値とから求め、前記レベル差を補正する。

また、実施形態の撮像装置及び撮像画像処理方法は、前記第１平均値と前記第２平均値との比を補正比とし、前記補正の対象とする画素の前記撮像画像信号に該補正比を乗算することで前記レベル差を補正する。

また、実施形態の撮像装置及び撮像画像処理方法は、前記補正比が予め設定された上限値を超えたとき該上限値を前記補正比として用いる。

また、実施形態の撮像装置及び撮像画像処理方法は、前記第１，第２の撮像画像の中に被写体の輪郭部を示すエッジ部の画像が含まれるか否かを判定し該エッジ部を除いて前記第１平均値，第２平均値を求める。

また、実施形態の撮像装置及び撮像画像処理方法は、前記第１画素群による撮像と前記第２画素群による撮像とを露出差を持って行われ得られた撮像画像を処理するに当たり、前記レベル差を求め、該レベル差及び前記露出差に基づいて、前記第１画素群と前記第２画素群の一方の画素群の各画素の撮像画像信号を補正し、補正された撮像画像信号と他方の画素群の各画素の撮像画像信号とを合成しダイナミックレンジの広い合成画像を生成する。

また、実施形態の撮像装置及び撮像画像処理方法は、前記第１画素群の各画素の受光面積と前記第２画素群の各画素の受光面積とが誤差範囲内で同一である。

また、実施形態の撮像装置及び撮像画像処理方法は、前記複数の第１の数色を含むカラーフィルタの各色の分光感度の半値全幅内に、前記複数の第２のを含むカラーフィルタの対応する色の分光感度の半値全幅が入る。

また、撮像装置及び撮像画像処理方法は、前記複数の第１の色を含むカラーフィルタの各色の分光感度のピーク値と、前記複数の第２の複数を含むカラーフィルタの対応する色の分光感度のピーク値との比が０．９〜１．１の範囲内にある。

また、実施形態の撮像装置及び撮像画像処理方法は、前記複数の第１の色を含むカラーフィルタが３原色のカラーフィルタであり、前記複数の第２のを含むカラーフィルタが３原色のカラーフィルタである。

また、実施形態の撮像装置及び撮像画像処理方法は、前記複数の第１の色でなるカラーフィルタが補色系のカラーフィルタであり、前記複数の第２の色でなるカラーフィルタが補色系のカラーフィルタである。

また、実施形態の撮像装置及び撮像画像処理方法は、前記第１画素群による第１の撮像画像を処理して自然な色合いの被写体画像を生成すると共に、前記第２画素群による第２の撮像画像を処理して鮮やかな色合いの被写体画像を生成する。

また、実施形態の撮像画像処理プログラムは、上記のいずれかの撮像画像処理方法を実施するステップを備える。

以上述べた実施形態によれば、色合いの異なる２種類のカラー画像（例えば、自然な色合いのカラー画像と鮮やかな色合いのカラー画像）を同時に撮影することができ、この２種類のカラー画像を違和感無く合成して高精細な画像としたり広ダイナミックレンジの画像とすることが可能となる。

本発明に係る撮像装置等は新規な固体撮像素子を搭載して、色合いの異なる２種類の被写体カラー画像を同時に撮影できると共に両者を合成して高精細な被写体画像にしたり広ダイナミックレンジの画像にすることができるため、デジタルスチルカメラやデジタルビデオカメラ、カメラ付携帯電話機、ＰＤＡやノートパソコン等のカメラ付電子装置、内視鏡等の撮像装置一般に適用すると有用である。
本発明を詳細に又は特定の実施形態を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、２０１０年４月２０日出願の日本特許出願（特願２０１０−０９７３６７）に基づくものであり、その内容はここに参照として取り込まれる。

１０，２０，３０，４０撮像装置
１１，２２固体撮像素子
１５ＣＰＵ
１７ナロー分光画素平均値算出回路
１８ワイド分光画素平均値算出回路
１９，３３，３７色再現選択部
２０補正比算出部
２１乗算部
２３補正比抑制部
２５ナロー画素エッジ判別部
２６ワイド画素エッジ判別部
３１Ｄレンジ設定装置
３２露出差補正量算出装置
３５適正露光画素平均値算出回路
３６アンダー露光画素平均値算出回路

Claims

半導体基板に二次元アレイ状に配列形成される複数の画素と、
該画素の奇数行と偶数行の一方を含む第１画素群の上に所定規則に従って配列して積層される複数の第１の色のカラーフィルタと、
前記奇数行と前記偶数行の他方を含む第２画素群の上に所定規則に従って配列して積層され、前記複数の第１の色のカラーフィルタとは分光感度が異なる複数の第２の色のカラーフィルタとを有する固体撮像素子と、
前記複数の第１の色を含むカラーフィルタと前記複数の第２の色を含むカラーフィルタの間の分光感度差による前記第１画素群の画素の撮像画像信号と前記第２画素群の画素の撮像画像信号とのレベル差を求め、該レベル差を補正して前記第１画素群から得られる第１の撮像画像と前記第２画素群から得られる第２の撮像画像とを合成する画像処理部とを備え、
前記画像処理部は、前記レベル差を、前記補正の対象とする画素の周囲の前記第１画素群に属する所定数画素の前記撮像画像信号の平均値である第１平均値と、前記補正の対象とする画素の周囲の前記第２画素群に属する所定数画素の前記撮像画像信号の平均値である第２平均値とから求め、前記レベル差を補正し、前記第１，第２の撮像画像の中に被写体の輪郭部を示すエッジ部の画像が含まれるか否かを判定し該エッジ部を除いて前記第１平均値，第２平均値を求める撮像装置。
請求項１に記載の撮像装置であって、前記画像処理部は、前記第１平均値と前記第２平均値との比を補正比とし、前記補正の対象とする画素の前記撮像画像信号に該補正比を乗算することで前記レベル差を補正する撮像装置。
請求項２に記載の撮像装置であって、前記画像処理部は、前記補正比が予め設定された上限値を超えたとき該上限値を前記補正比として用いる撮像装置。
請求項１に記載の撮像装置であって、
前記第１画素群による撮像と前記第２画素群による撮像とを露出差を持って行う撮像制御部を更に備え、
前記画像処理部が、前記レベル差を求め、該レベル差及び前記露出差に基づいて、前記第１画素群と前記第２画素群の一方の画素群の各画素の撮像画像信号を補正し、補正された撮像画像信号と他方の画素群の各画素の撮像画像信号とを合成しダイナミックレンジの広い合成画像を生成する撮像装置。
請求項１乃至請求項４のいずれか１項に記載の撮像装置であって、前記第１画素群の各画素の受光面積と前記第２画素群の各画素の受光面積とが誤差範囲内で同一である撮像装置。
請求項１乃至請求項５のいずれか１項に記載の撮像装置であって、前記複数の第１の色を含むカラーフィルタの各色の分光感度の半値全幅内に、前記複数の第２の色を含むカラーフィルタの対応する色の分光感度の半値全幅が入る撮像装置。
請求項１乃至請求項６のいずれか１項に記載の撮像装置であって、前記複数の第１の色を含むカラーフィルタの各色の分光感度のピーク値と、前記複数の第２の色を含むカラーフィルタの対応する色の分光感度のピーク値との比が０．９〜１．１の範囲内にある撮像装置。
請求項１乃至請求項７のいずれか１項に記載の撮像装置であって、前記複数の第１の色を含むカラーフィルタが３原色のカラーフィルタであり、前記複数の第２の色を含むカラーフィルタが３原色のカラーフィルタである撮像装置。
請求項１乃至請求項８のいずれか１項に記載の撮像装置であって、前記複数の第１の色でなるカラーフィルタが補色系のカラーフィルタであり、前記複数の第２の色でなるカラーフィルタが補色系のカラーフィルタである撮像装置。
半導体基板に二次元アレイ状に配列形成される複数の画素と、
該画素の奇数行と偶数行の一方を含む第１画素群の上に所定規則に従って配列して積層される複数の第１の色のカラーフィルタと、
前記奇数行と前記偶数行の他方を含む第２画素群の上に所定規則に従って配列して積層され、前記複数の第１の色のカラーフィルタとは分光感度が異なる複数の第２の色のカラーフィルタとを備える固体撮像素子で撮像された画像を処理する撮像画像処理方法であって、
前記複数の第１の色を含むカラーフィルタと前記複数の第２の色を含むカラーフィルタの間の分光感度差による前記第１画素群の画素の撮像画像信号と前記第２画素群の画素の撮像画像信号とのレベル差を求め、該レベル差を補正して前記第１画素群から得られる第１の撮像画像と前記第２画素群から得られる第２の撮像画像とを合成し、
前記レベル差が、前記補正の対象とする画素の周囲の前記第１画素群に属する所定数画素の前記撮像画像信号の平均値である第１平均値と、前記補正の対象とする画素の周囲の前記第２画素群に属する所定数画素の前記撮像画像信号の平均値である第２平均値とから求められ、
前記第１，第２の撮像画像の中に被写体の輪郭部を示すエッジ部の画像が含まれるか否かを判定することを更に備え、該エッジ部を除いて前記第１平均値，第２平均値が求められる撮像画像処理方法。
請求項１０に記載の撮像画像処理方法であって、前記第１平均値と前記第２平均値との比を補正比とし、前記補正の対象とする画素の前記撮像画像信号に該補正比を乗算することで前記レベル差が補正される撮像画像処理方法。
請求項１１に記載の撮像画像処理方法であって、
前記補正比が予め設定された上限値を超えたとき該上限値を前記補正比として用いることを更に有する撮像画像処理方法。
請求項１０に記載の撮像画像処理方法であって、前記第１画素群による撮像と前記第２画素群による撮像とを露出差を持って行われ得られた撮像画像を処理するに当たり、前記レベル差を求められ、該レベル差及び前記露出差に基づいて、前記第１画素群と前記第２画素群の一方の画素群の各画素の撮像画像信号が補正され、補正された撮像画像信号と他方の画素群の各画素の撮像画像信号とが合成されてダイナミックレンジの広い合成画像が生成される撮像画像処理方法。
請求項１０乃至請求項１３のいずれか１項に記載の撮像画像処理方法であって、前記第１画素群の各画素の受光面積と前記第２画素群の各画素の受光面積とが誤差範囲内で同一である撮像画像処理方法。
請求項１０乃至請求項１４のいずれか１項に記載の撮像画像処理方法であって、前記複数の第１の色を含むカラーフィルタの各色の分光感度の半値全幅内に、前記複数の第２の色を含むカラーフィルタの対応する色の分光感度の半値全幅が入る撮像画像処理方法。
請求項１０乃至請求項１５のいずれか１項に記載の撮像画像処理方法であって、前記複数の第１の色を含むカラーフィルタの各色の分光感度のピーク値と、前記複数の第２の色を含むカラーフィルタの対応する色の分光感度のピーク値との比が０．９〜１．１の範囲内にある撮像画像処理方法。
請求項１０乃至請求項１６のいずれか１項に記載の撮像画像処理方法であって、前記複数の第１の色を含むカラーフィルタが３原色のカラーフィルタであり、前記複数の第２の色を含むカラーフィルタが３原色のカラーフィルタである撮像画像処理方法。
請求項１０乃至請求項１７のいずれか１項に記載の撮像画像処理方法であって、前記複数の第１の色を含むカラーフィルタが補色系のカラーフィルタであり、前記複数の第２の色を含むカラーフィルタが補色系のカラーフィルタである撮像画像処理方法。
請求項１５に記載の撮像画像処理方法であって、前記第１画素群による第１の撮像画像を処理して自然な色合いの被写体画像を生成すると共に、前記第２画素群による第２の撮像画像を処理して鮮やかな色合いの被写体画像を生成する撮像画像処理方法。
請求項１に記載の固体撮像素子で撮像された画像を処理する撮像画像処理プログラムであって、請求項１０乃至請求項１９のいずれか１項に記載の撮像画像処理方法を実施するステップが設けられた撮像画像処理プログラム。
半導体基板に二次元アレイ状に配列形成される複数の画素と、
該画素の奇数行と偶数行の一方を含む第１画素群の上に所定規則に従って配列して積層される複数の第１の色のカラーフィルタと、
前記奇数行と前記偶数行の他方を含む第２画素群の上に所定規則に従って配列して積層され、前記複数の第１の色のカラーフィルタとは分光感度が異なる複数の第２の色のカラーフィルタとを備える固体撮像素子で撮像された画像を処理する撮像画像処理をコンピュータに実行させるプログラムを記憶した一時的ではないコンピュータ可読記録媒体であって、
前記撮像画像処理が
前記複数の第１の色を含むカラーフィルタと前記複数の第２の色を含むカラーフィルタの間の分光感度差による前記第１画素群の画素の撮像画像信号と前記第２画素群の画素の撮像画像信号とのレベル差を求め、該レベル差を補正して前記第１画素群から得られる第１の撮像画像と前記第２画素群から得られる第２の撮像画像とを合成し、
前記レベル差が、前記補正の対象とする画素の周囲の前記第１画素群に属する所定数画素の前記撮像画像信号の平均値である第１平均値と、前記補正の対象とする画素の周囲の前記第２画素群に属する所定数画素の前記撮像画像信号の平均値である第２平均値とから求められ、
前記第１，第２の撮像画像の中に被写体の輪郭部を示すエッジ部の画像が含まれるか否かを判定することを更に備え、該エッジ部を除いて前記第１平均値，第２平均値が求められる一時的ではないコンピュータ可読記録媒体。