JP5852006B2 - 固体撮像素子、撮像装置および信号処理方法 - Google Patents

Description

本願は、固体撮像素子の高感度化およびカラー化の技術に関する。

近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の急速な進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られ、撮像素子の高性能化が進んでいる。特に近年では、固体撮像素子の配線層が形成された面（表面）側ではなく裏面側で受光する裏面照射型（ｂａｃｋｓｉｄｅ ｉｌｌｕｍｉｎａｔｉｏｎ）の撮像素子を用いたカメラも開発され、その特性等が注目されている。その一方で撮像素子の多画素化に伴い、１画素の受ける光量が低下するため、カメラ感度が低下するという問題が起きている。

カメラの感度低下は、多画素化以外にも、色分離用の色フィルタが用いられることにも原因がある。通常のカラーカメラでは、撮像素子の各光感知セルに対向して有機顔料を色素とする減色型の色フィルタが配置される。色フィルタは、利用する色成分以外の光を吸収するため、このような色フィルタを用いた場合、カメラの光利用率は低下する。例えば、赤（Ｒ）１画素、緑（Ｇ）２画素、青（Ｂ）１画素を基本構成とするベイヤー型の色フィルタ配列をもつカラーカメラでは、Ｒ、Ｇ、Ｂの各色フィルタは、それぞれＲ、Ｇ、Ｂ光のみを透過させ、残りの光を吸収する。したがって、ベイヤー配列によるカラーカメラにおいて利用される光は、入射光全体の約１／３である。

上記の感度低下の問題に対して、入射光を多く取り込むために、撮像素子の受光部にマイクロレンズアレイを取り付けることによって受光量を増やす技術が特許文献１に開示されている。この技術によれば、マイクロレンズを用いて光感知セルに集光することにより、撮像素子における光開口率を実質的に向上させることができる。この技術は現在殆どの固体撮像素子に用いられている。この技術を用いれば、確かに実質的な開口率は向上するが、色フィルタによる光利用率低下の問題を解決するものではない。

光利用率低下と感度低下の問題を同時に解決する技術として、多層膜の色フィルタ（ダイクロイックミラー）とマイクロレンズとを組み合わせて、光を最大限利用する技術が特許文献２に開示されている。この技術では、光を吸収せず特定波長域の光を選択的に透過させ、他の波長域の光を反射する複数のダイクロイックミラーが用いられる。これにより、光を損失することなく、個々の光感知部に必要な波長域の光のみを入射させることができる。

図１１は、特許文献２に開示された撮像素子の撮像面に垂直な方向の断面を模式的に示す図である。この撮像素子は、撮像素子の表面および内部にそれぞれ配置された集光用のマイクロレンズ４ａ、４ｂと、遮光部２０と、光感知セル２ａ、２ｂ、２ｃと、ダイクロイックミラー１７、１８、１９とを備えている。ダイクロイックミラー１７、１８、１９は、光感知セル２ａ、２ｂ、２ｃにそれぞれ対向して配置されている。ダイクロイックミラー１７は、Ｒ光を透過させ、Ｇ光およびＢ光を反射する特性を有している。ダイクロイックミラー１８は、Ｇ光を反射し、Ｒ光およびＢ光を透過させる特性を有している。ダイクロイックミラー１９は、Ｂ光を反射し、Ｒ光およびＧ光を透過させる特性を有している。

マイクロレンズ４ａに入射した光は、マイクロレンズ４ｂによって光束を調整された後、第１のダイクロイックミラー１７に入射する。第１のダイクロイックミラー１７は、Ｒ光を透過させるが、Ｇ光およびＢ光を反射する。第１のダイクロイックミラー１７を透過した光は、光感知セル２ａに入射する。第１のダイクロイックミラー１７で反射されたＧ光およびＢ光は、隣接する第２のダイクロイックミラー１８に入射する。第２のダイクロイックミラー１８は、入射した光のうちＧ光を反射し、Ｂ光を透過させる。第２のダイクロイックミラー１８で反射されたＧ光は、光感知セル２ｂに入射する。第２のダイクロイックミラー１８を透過したＢ光は、第３のダイクロイックミラー１９で反射され、その直下の光感知セル２ｃに入射する。このように、特許文献２に開示された撮像素子によれば、集光マイクロレンズ４ａに入射した可視光は、色フィルタによって吸収されず、そのＲＧＢの各成分が３つの光感知セルによって無駄なく検出される。

上記の従来技術のほか、マイクロプリズムを用いることによって光の損失を防ぐことができる撮像素子が特許文献３に開示されている。この撮像素子は、マイクロプリズムによって赤、緑、青に分離された光をそれぞれ異なる光感知セルが受ける構造を有している。このような撮像素子によっても光の損失を防ぐことができる。

しかしながら、特許文献２および特許文献３に開示された技術では、利用するダイクロイックミラーの数だけ、または分光する数だけ光感知セルを設ける必要がある。例えばＲＧＢ３色の光を検出するには、光感知セルの数を、従来の色フィルタを用いた場合の光感知セルの数と比較して３倍に増やさなければならないという課題がある。

以上の技術に対し、光の損失は一部発生するが、ダイクロイックミラーと反射とを用いて光の利用率を高める技術が特許文献４に示されている。図１２は当該技術を用いた撮像素子の断面図の一部を示したものである。図示されるように、透光性の樹脂２１内にダイクロイックミラー２２、２３が配置される。ダイクロイックミラー２２はＧ光を透過させ、Ｒ光およびＢ光を反射する特性を有する。また、ダイクロイックミラー２３はＲ光を透過させ、Ｇ光およびＢ光を反射する特性を有する。

このような構成により、Ｂ光は光感知部で受光できないが、Ｒ光、Ｇ光は以下の原理で全て検出できる。まずＲ光がダイクロイックミラー２２、２３に入射すると、ダイクロイックミラー２２では反射され、ダイクロイックミラー２３では透過する。ダイクロイックミラー２２で反射されたＲ光は、さらに透光性の樹脂２１と空気との界面でも反射され、ダイクロイックミラー２３に入射する。Ｒ光は、ダイクロイックミラー２３を透過し、さらにＲ光透過性を有する有機色素フィルタ２５およびマイクロレンズ２６も透過する。このようにして、一部が金属層２７で反射するものの、ダイクロイックミラー２２、２３に入射するＲ光の殆どが光感知部に入射する。一方、Ｇ光がダイクロイックミラー２２、２３に入射すると、ダイクロイックミラー２２では透過し、ダイクロイックミラー２３では反射される。ダイクロイックミラー２３で反射されたＧ光は、さらに透光性の樹脂２１と空気との界面で全反射し、ダイクロイックミラー２２に入射する。Ｇ光は、ダイクロイックミラー２２を透過し、さらにＧ光透過性を有する有機色素フィルタ２４およびマイクロレンズ２６も透過する。このようにして、一部が金属層２７で反射するものの、ダイクロイックミラー２２、２３に入射するＧ光の殆どが損失なく光感知部に入射する。

上記の原理により、特許文献４に示された技術では、ＲＧＢ光のうち１色は損失するものの２色は殆ど損失なく受光できる。このため、ＲＧＢ３色分の光感知部を配置する必要はない。ここで、ダイクロイックミラーを有さず有機色素フィルタのみによってカラー化を行う場合と比較すると、有機色素フィルタのみによる場合の光利用率が約１／３であるのに対して、特許文献４に開示された技術を用いた場合の光利用率は全入射光の約２／３となる。すなわち、この技術によれば撮像感度が約２倍に向上する。しかしながら、この技術によっても、３色のうちの１色は損失することになる。

一方、分光要素を用いて大幅に光感知セルを増やすことなく光利用率を高めるカラー化技術が特許文献５に開示されている。この技術によれば、光感知セルに対応して配置された分光要素によって光が波長域に応じて異なる光感知セルに入射する。個々の光感知セルは、複数の分光要素から異なる波長域の成分が重畳された光を受ける。その結果、各光感知セルから出力される光電変換信号を用いた信号演算によって色信号を生成することができる。

特開昭５９−９０４６７号公報 特開２０００−１５１９３３号公報 特開２００１−３０９３９５号公報 特開２００３−７８９１７号公報 国際公開第２００９／１５３９３７号 特開昭５９−１３７９０９号公報

従来技術では、光吸収タイプの色フィルタを用いれば、大幅に光感知セルを増やさずに済むが、光利用率が低くなるという問題点がある。また、特許文献２〜４に開示された技術のように、ダイクロイックミラーやマイクロプリズムを用いれば、光利用率を高くすることができるが、光感知セルを大幅に増やさなければならないという課題がある。

一方、特許文献５に開示された技術によれば、確かに光利用率の高いカラー画像が理論上得られるが、理想的な分光特性を持つ分光要素を製造することが難しい。分光要素の材料特性や製造精度が低いと、各光感知セルから出力される光電変換信号も理想的な信号にはならず、カラー画像の色再現性が低下するという課題がある。

本発明の実施形態は、光感知セルを大幅に増やすことなく、光利用率を高くすることができ、かつ色再現性の良好なカラー撮像技術を提供する。

上記課題を解決するために、本発明の一態様による固体撮像素子は、各々が第１の光感知セル、第２の光感知セル、第３の光感知セル、および第４の光感知セルを含む複数の単位ブロックが２次元状に配列された光感知セルアレイと、前記光感知セルアレイに対向して配置され、複数の分光要素を含む分光要素アレイとを備えている。前記分光要素アレイが存在しないと仮定した場合に各光感知セルが受ける光を各光感知セルのセル入射光とするとき、前記分光要素アレイは、前記第１の光感知セルのセル入射光から第１の色成分の光を除いた光に第２の色成分の光を加えた光を前記第１の光感知セルに入射させ、前記第２の光感知セルのセル入射光から前記第２の色成分の光を除いた光に前記第１の色成分の光を加えた光を前記第２の光感知セルに入射させ、前記第３の光感知セルのセル入射光から第３の色成分の光を除いた光に前記第１および第２の色成分の光を加えた光を前記第３の光感知セルに入射させ、前記第４の光感知セルのセル入射光から前記第１および第２の色成分の光を除いた光に前記第３の色成分の光を加えた光を前記第４の光感知セルに入射させる。

本発明の他の態様による信号処理方法は、上記の固体撮像素子から出力される信号を処理する方法であって、前記第１の光感知セルから出力される第１の光電変換信号、前記第２の光感知セルから出力される第２の光電変換信号、前記第３の光感知セルから出力される第３の光電変換信号、および前記第４の光感知セルから出力される第４の光電変換信号を取得するステップＡと、前記第１から第４の光電変換信号を用いて色情報を生成するステップＢとを含む。

上述の一般的かつ特定の態様は、システム、方法、およびコンピュータプログラムを用いて実装され、または、システム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。

本発明の実施形態による固体撮像素子および撮像装置によれば、入射光を色成分に応じて異なる光感知セルに入射させる分光要素を用いることにより、光感知セルを大幅に増やすことなく、光利用率が高く、従来よりも色再現性の高いカラー撮像が可能となる。

本発明による固体撮像素子における光感知セル２００および分光要素１００との配置関係を模式的に示す斜視図である。 （ａ）は本発明による固体撮像素子の単位ブロックの一例を示す平面図であり、（ｂ）はＡＡ´線断面図であり、（ｃ）はＢＢ´線断面図である。 本発明の実施形態１の撮像装置の概略構成を示すブロック図である。 本発明の実施形態１におけるレンズと撮像素子を示す図である。 （ａ）は本発明の実施形態１における撮像素子の画素配列の一例を示す図であり、（ｂ）は本発明の実施形態１における撮像素子の画素配列の他の例を示す図である。 （ａ）は本発明の実施形態１における撮像素子の基本構造を示す平面図であり、（ｂ）はＡＡ´線断面図であり、（ｃ）はＢＢ´線断面図である。 本発明の実施形態１における色情報生成処理の手順を示すフロー図である。 （ａ）は実施形態１の変形例における撮像素子の基本構造を示す平面図であり、（ｂ）はＡＡ´線断面図であり、（ｃ）はＢＢ´線断面図である。 （ａ）は本発明の実施形態１における他の撮像素子の基本構造を示す平面図であり、（ｂ）はＡＡ´線断面図であり、（ｃ）はＢＢ´線断面図である。 （ａ）は本発明の実施形態２における撮像素子の基本構造を示す平面図であり、（ｂ）はＣＣ´線断面図であり、（ｃ）はＤＤ´線断面図である。 マイクロレンズと多層膜フィルタ（ダイクロイックミラー）とを用いた従来の撮像素子の断面図である。 多層膜フィルタ（ダイクロイックミラー）と反射とを用いた従来の撮像素子の断面図である。

（１）上記課題を解決するために、本発明の一態様による固体撮像素子は、各々が第１の光感知セル、第２の光感知セル、第３の光感知セル、および第４の光感知セルを含む複数の単位ブロックが２次元状に配列された光感知セルアレイと、前記光感知セルアレイに対向して配置され、複数の分光要素を含む分光要素アレイとを備えている。前記分光要素アレイが存在しないと仮定した場合に各光感知セルが受ける光を各光感知セルのセル入射光とするとき、前記分光要素アレイは、前記第１の光感知セルのセル入射光から第１の色成分の光を除いた光に第２の色成分の光を加えた光を前記第１の光感知セルに入射させ、前記第２の光感知セルのセル入射光から前記第２の色成分の光を除いた光に前記第１の色成分の光を加えた光を前記第２の光感知セルに入射させ、前記第３の光感知セルのセル入射光から第３の色成分の光を除いた光に前記第１および第２の色成分の光を加えた光を前記第３の光感知セルに入射させ、前記第４の光感知セルのセル入射光から前記第１および第２の色成分の光を除いた光に前記第３の色成分の光を加えた光を前記第４の光感知セルに入射させる。

（２）ある実施形態において、前記分光要素アレイは、各単位ブロックにおいて、前記第１の光感知セルに対向して配置された第１の分光要素、前記第２の光感知セルに対向して配置された第２の分光要素、前記第３の光感知セルに対向して配置された第３の分光要素、および前記第４の光感知セルに対向して配置された第４の分光要素を含む。前記第１の分光要素は、前記第１の色成分の光の少なくとも一部を前記第２の光感知セルに入射させ、前記第１の色成分以外の光を前記第１の光感知セルに入射させ、前記第２の分光要素は、前記第２の色成分の光の少なくとも一部を前記第１の光感知セルに入射させ、前記第２の色成分以外の光を前記第２の光感知セルに入射させ、前記第３の分光要素は、前記第３の色成分の光の少なくとも一部を前記第４の光感知セルに入射させ、前記第３の色成分以外の光を前記第３の光感知セルに入射させ、前記第４の分光要素は、前記第１および第２の色成分の光の少なくとも一部を前記第３の光感知セルに入射させ、前記第３の色成分の光を前記第４の光感知セルに入射させる。

（３）項目（２）に記載の固体撮像素子のある態様において、前記第１の分光要素は、前記第１の色成分の光の半分を前記第２の光感知セルに入射させ、前記第１の色成分の光の残りの半分を隣接する第１の隣接単位ブロックに含まれる１つの光感知セルに入射させ、前記第２の分光要素は、前記第２の色成分の光の半分を前記第１の光感知セルに入射させ、前記第２の色成分の光の残りの半分を隣接する第２の隣接単位ブロックに含まれる１つの光感知セルに入射させ、前記第３の分光要素は、前記第３の色成分の光の半分を前記第４の光感知セルに入射させ、前記第３の色成分の光の残りの半分を隣接する前記第１および第２の隣接単位ブロックの一方に含まれる１つの光感知セルに入射させ、前記第４の分光要素は、前記第１および第２の色成分の光の半分を前記第３の光感知セルに入射させ、前記第１および第２の色成分の光の残りの半分を隣接する前記第１および第２の隣接単位ブロックの他方に含まれる１つの光感知セルに入射させる。

（４）項目（２）に記載の固体撮像素子のある態様において、前記第１の分光要素は、前記第１の色成分の光のほぼ全てを前記第２の光感知セルに入射させ、前記第２の分光要素は、前記第２の色成分の光のほぼ全てを前記第１の光感知セルに入射させ、前記第３の分光要素は、前記第３の色成分の光のほぼ全てを前記第４の光感知セルに入射させ、前記第４の分光要素は、前記第１および第２の色成分の光のほぼ全てを前記第３の光感知セルに入射させる。

（５）項目（１）から（４）のいずれかに記載の固体撮像素子のある態様において、前記第１の色成分は赤および青の一方の色成分であり、前記第２の色成分は赤および青の他方の色成分であり、前記第３の色成分は緑の色成分である。

（６）項目（１）から（５）のいずれかに記載の固体撮像素子のある態様において、前記第１の分光要素、前記第２の分光要素、前記第３の分光要素、および前記第４の分光要素の各々は、透光性部材を有し、前記透光性部材の形状、および前記透光性部材と前記透光性部材よりも屈折率の低い他の透光性部材との屈折率の差を利用して分光する。

（７）項目（１）から（５）のいずれかに記載の固体撮像素子のある態様において、前記第１の分光要素、前記第２の分光要素、前記第３の分光要素および前記第４の分光要素の各々は、ダイクロイックミラーを含み、前記ダイクロイックミラーによって分光する。

（８）本発明の一態様による撮像装置は、項目（１）から（７）のいずれかに記載の固体撮像素子と、前記固体撮像素子に像を形成する光学系と、前記固体撮像素子から出力される信号を処理する信号処理部であって、前記第１の光感知セルから出力される第１の光電変換信号、前記第２の光感知セルから出力される第２の光電変換信号、および前記第３の光感知セルから出力される第３の光電変換信号、前記第４の光感知セルから出力される第４の光電変換信号を用いた演算によって色情報を生成する信号処理部とを備える。

（９）項目（８）に記載の撮像装置のある態様において、前記信号処理部は、前記第１の光電変換信号と前記第２の光電変換信号との差分を表す第１の差信号と、前記第３の光電変換信号と前記第４の光電変換信号との差分を表す第２の差信号との加減算を含む演算により、第１の色差信号および第２の色差信号を生成する。

（１０）項目（８）または（９）に記載の撮像装置のある態様において、前記信号処理部は、前記第１および第２の光電変換信号の加算、前記第３および第４の光電変換信号の加算、および前記第１から第４の光電変換信号の加算のいずれかを含む演算により、輝度信号を生成する。

（１１）本発明の一態様による信号処理方法は、項目（１）から（７）のいずれかに記載の固体撮像素子から出力される信号を処理する方法であって、前記第１の光感知セルから出力される第１の光電変換信号、前記第２の光感知セルから出力される第２の光電変換信号、前記第３の光感知セルから出力される第３の光電変換信号、および前記第４の光感知セルから出力される第４の光電変換信号を取得するステップＡと、前記第１から第４の光電変換信号を用いて色情報を生成するステップＢとを含む。

（１２）項目（１1）に記載の信号処理方法のある態様において、前記ステップＢは、前記第１の光電変換信号と前記第２の光電変換信号との差分を示す第１の差分信号を生成するステップと、前記第３の光電変換信号と前記第４の光電変換信号との差分を示す第２の差分信号を生成するステップと、前記第１の差分信号と前記第２の差分信号との加減算を含む演算により、前記第１の色差信号および前記第２の色差信号を生成するステップを含む。

（１３）項目（１1）または（１２）に記載の信号処理方法のある態様において、前記ステップＢは、前記第１および第２の光電変換信号の加算、前記第３および第４の光電変換信号の加算、および前記第１から第４の光電変換信号の加算のいずれかを含む演算によって前記輝度信号を生成するステップと、前記輝度信号、前記第１の色差信号、および前記第２の色差信号を用いて前記セル入射光に含まれる赤、緑、および青の色信号を生成するステップをさらに含む。

本発明の具体的な実施形態を説明する前に、まず図１、２を参照しながら、本発明の実施形態の基本原理を説明する。なお、以下の説明において、波長域または色成分の異なる光を空間的に分離することを「分光」と称することがある。

本発明の実施形態による固体撮像素子は、撮像面に２次元状に配列された複数の光感知セル（画素）を含む光感知セルアレイと、複数の分光要素を含む分光要素アレイとを備えている。図１は、固体撮像素子１０の撮像面に形成された光感知セルアレイ２００および分光要素アレイ１００の一部を模式的に示す斜視図である。分光要素アレイ１００は、光感知セルアレイ２００に対向して光が入射する側に配置されている。なお、光感知セル２の配列、形状、サイズなどはこの図の例に限られず、公知のどのような配列、形状、サイズであってもよい。また、分光要素アレイ１００は、便宜上、四角柱で表されているが、実際はこのような形状を有しているわけではなく、様々な構造をとり得る。

各光感知セル２は、光を受けると光電変換によって受けた光の強度（入射光量）に応じた電気信号（以下、「光電変換信号」または「画素信号」と呼ぶこととする。）を出力する。本発明の実施形態では、各光感知セル２は、分光要素アレイ１００によって進行方向が変化した複数の波長域（色成分）の光を受ける。その結果、各光感知セル２が受ける光は、分光要素が存在しないと仮定した場合に受ける光とは異なる分光分布（波長域ごとの強度分布）を有する。

以下、図２を参照しながら、撮像素子１０の基本構造を説明する。

図２（ａ）は、光感知セルアレイ２００の基本画素構成（単位ブロック）４０の一例を示す平面図である。光感知セルアレイ２００は、各々が４つの光感知セル２ａ、２ｂ、２ｃ、２ｄを含む複数の単位ブロック４０が撮像面上に２次元状に配列された構造を有している。図示される例では、１つの単位ブロック内に４つの光感知セルが２行２列に配置されている。

図２（ｂ）、（ｃ）は、それぞれ図１（ａ）におけるＡＡ´線断面、ＢＢ´線断面を模式的に示す図である。図２（ｂ）、（ｃ）は、撮像素子１０に入射した光が分光要素アレイ１００を透過する際に色成分によって進行方向が変化し、結果として各光感知セルが受ける光の分光分布が互いに異なっていることを示している。ここで、分光要素アレイ１００が存在しないと仮定した場合に各光感知セルが受ける光をその光感知セルの「セル入射光」と呼ぶこととする。１つの単位ブロックに含まれる光感知セル２ａ〜２ｄが近接している場合、それらの光感知セルのセル入射光に含まれる光の強度および分光分布はほぼ同一であると考えることができる。それらの光感知セルのセル入射光の可視光成分の強度を記号「Ｗ」で表すこととする。本明細書では、セル入射光に含まれる可視光成分を、大別して第１の色成分、第２の色成分、第３の色成分に分類する。第１〜第３の色成分の強度をそれぞれＣ１、Ｃ２、Ｃ３と表すと、Ｗ＝Ｃ１＋Ｃ２＋Ｃ３となる。さらに、第１の色成分および第２の色成分の合算成分を第４の色成分（強度Ｃ４）とする。すなわち、第４の色成分は第３の色成分の補色成分であり、その強度はＣ４＝Ｃ１＋Ｃ２で表される。第１〜第３の色成分の組み合わせは、典型的には赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の組み合わせであるが、可視光を３つの波長域に分けるものであれば他の色成分の組み合わせであってもよい。

以下、本発明の実施形態における分光要素アレイ１００の働きを説明する。分光要素アレイ１００は、第１の光感知セル２ａのセル入射光（強度Ｗ）から第１の色成分（強度Ｃ１）の光を除いた光に第２の色成分（強度Ｃ２）の光を加えた光を第１の光感知セル２ａに入射させる。また、第２の光感知セル２ｂのセル入射光（強度Ｗ）から第２の色成分の光（強度Ｃ２）を除いた光に第１の色成分の光（強度Ｃ１）を加えた光を第２の光感知セル２ｂに入射させる。さらに、第３の光感知セル２ｃのセル入射光（強度Ｗ）から第３の色成分（強度Ｃ３）の光を除いた光に第４の色成分、すなわち第１および第２の色成分の光（強度Ｃ４＝Ｃ１＋Ｃ２）を加えた光を第３の光感知セル２ｃに入射させる。また、第４の光感知セル２ｄのセル入射光（強度Ｗ）から第４の色成分（強度Ｃ４＝Ｃ１＋Ｃ２）の光を除いた光に第３の色成分（強度Ｃ３）の光を加えた光第４の光感知セル２ｄに入射させる。

以上の構成により、光感知セル２ａ〜２ｄは、図２（ｂ）、（ｃ）に示すように、それぞれＷ−Ｃ１＋Ｃ２、Ｗ＋Ｃ１−Ｃ２、Ｗ−Ｃ３＋Ｃ４、Ｗ＋Ｃ３−Ｃ４で表される強度の光を受ける。各光感知セルは、これらの強度に応じた光電変換信号（画素信号）を出力する。ここで、光感知セル２ａ〜２ｄが出力する光電変換信号をそれぞれＳ２ａ〜Ｓ２ｄとし、強度Ｗに対応する信号をＷｓ、強度Ｃ１に対応する信号をＣ１ｓ、強度Ｃ２に対応する信号をＣ２ｓ、強度Ｃ３に対応する信号をＣ３ｓ、さらに強度Ｃ４に対応する信号をＣ４ｓとし、Ｃ４ｓ＝Ｃ１ｓ＋Ｃ２ｓとする。すると、Ｓ２ａ〜Ｓ２ｄは、以下の式１〜４で表すことができる。
（式１） Ｓ２ａ＝Ｗｓ−Ｃ１ｓ＋Ｃ２ｓ
（式２） Ｓ２ｂ＝Ｗｓ＋Ｃ１ｓ−Ｃ２ｓ
（式３） Ｓ２ｃ＝Ｗｓ−Ｃ３ｓ＋Ｃ４ｓ
（式４） Ｓ２ｄ＝Ｗｓ＋Ｃ３ｓ−Ｃ４ｓ

信号Ｓ２ａ、Ｓ２ｂの差分をＤ１とし、信号Ｓ２ｃ、Ｓ２ｄの差分をＤ２とすると、Ｄ１、Ｄ２は、それぞれ以下の式５、６で表される。
（式５） Ｄ１＝Ｓ２ｂ−Ｓ２ａ＝２Ｃ１ｓ−２Ｃ２ｓ
（式６） Ｄ２＝Ｓ２ｃ−Ｓ２ｄ＝２Ｃ４ｓ−２Ｃ３ｓ＝２（Ｃ１ｓ＋Ｃ２ｓ）−２Ｃ３ｓ

さらに、Ｄ１とＤ２との加減算により、それぞれ以下の式７、８が得られる。
（式７） Ｄ１＋Ｄ２＝２（２Ｃ１ｓ−Ｃ３ｓ）
（式８） Ｄ２−Ｄ１＝２（２Ｃ２ｓ−Ｃ３ｓ）

すなわち、（２Ｃ１ｓ−Ｃ３ｓ）および（２Ｃ２ｓ−Ｃ３ｓ）を色差成分とすると、それらの２倍に相当する色差信号が得られる。

一方、Ｓ２ａとＳ２ｂとの加算、Ｓ２ｃとＳ２ｄとの加算、およびＳ２ａ〜Ｓ２ｄの加算のいずれかの演算により、以下の式９〜１１に示すように、セル入射光の強度Ｗの２倍または４倍に相当する信号が得られる。
（式９） Ｓ２ａ＋Ｓ２ｂ＝２Ｗｓ
（式１０） Ｓ２ｃ＋Ｓ２ｄ＝２Ｗｓ
（式１１） Ｓ２ａ＋Ｓ２ｂ＋Ｓ２ｃ＋Ｓ２ｄ＝４Ｗｓ

これらの信号は、入射光の全てが損失なく光電変換された場合に得られる信号に相当するから、これらのいずれかを輝度信号とすれば、撮像感度の面で理想的な特性が得られる。

式９〜１１のいずれかの演算によって求められる輝度信号と、式７、８によって求められる２つの色差信号が得られれば、行列演算によりＲＧＢ信号を求めることができる。すなわち、光感知セル２ａ〜２ｄから出力される４つの光電変換信号Ｓ２ａ〜Ｓ２ｄに基づく信号演算によってカラー信号を算出できる。

本発明の実施形態における撮像素子１０によれば、光の一部を吸収する色フィルタを用いることなく、分光要素を用いて信号演算によってカラー情報を得ることができる。そのため、光の損失を防ぐことができ、撮像感度を高めることが可能となる。さらに、式１〜４の右辺に示すように、各画素信号の生成過程において、Ｃ１ｓ〜Ｃ４ｓのいずれかの信号が加算だけでなく減算もされているため、光強度Ｗの光を受けた場合、ある画素だけ信号値が特に大きくなる、あるいは特に小さくなるといったことが起こらない。このことは撮像素子の入射光に対するダイナミックレンジ特性を向上させるという点で良好であると言える。

なお、図１および図２（ｂ）、（ｃ）では、分光要素アレイ１００は複数の光感知セルを覆う連続的な要素として描かれているが、分光要素アレイ４は、空間的に分離した複数の分光要素の集合体であってもよい。このような分光要素として、例えば後述する高屈折率透明部材、ダイクロイックミラー、マイクロプリズムなどが用いられ得る。本発明の実施形態における分光要素アレイ１００は、上記の式１〜４で表される光電変換信号が得られればどのように構成されていてもよく、例えばホログラム素子などを用いて分光を行ってもよい。

以下、図３から図１０を参照しながら本発明のより具体的な実施形態を説明する。以下の説明において、共通する要素には同一の符号を付している。

（実施形態１）
図３は、本発明の第１の実施形態による撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部３００と、撮像部３００から送出される信号に基づいて画像を示す信号（画像信号）を生成する信号処理部４００とを備えている。なお、撮像装置は静止画のみを生成してもよいし、動画を生成する機能を備えていてもよい。

撮像部３００は、被写体を結像するための光学レンズ１２と、光学フィルタ１１と、光学レンズ１２および光学フィルタ１１を通して結像した光情報を、光電変換によって電気信号に変換する固体撮像素子１０（イメージセンサ）とを備えている。撮像部３００はさらに、撮像素子１０を駆動するための基本信号を発生するとともに撮像素子１０からの出力信号を受信して信号処理部４００に送出する信号発生／受信部１３と、信号発生／受信部１３によって発生された基本信号に基づいて撮像素子１０を駆動する素子駆動部１４とを備えている。光学レンズ１２は、公知のレンズであり、複数のレンズを有するレンズユニットであり得る。光学フィルタ１１は、画素配列が原因で発生するモアレパターンを低減するための水晶ローパスフィルタに、赤外線を除去するための赤外カットフィルタを合体させたものである。撮像素子１０は、典型的にはＣＭＯＳまたはＣＣＤであり、公知の半導体製造技術によって製造される。信号発生／受信部１３および素子駆動部１４は、例えばＣＣＤドライバなどのＬＳＩから構成されている。

信号処理部４００は、撮像部３００から送出される信号を処理して画像信号を生成する画像信号生成部１５と、画像信号の生成過程で発生する各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出する画像信号出力部１６とを備えている。画像信号生成部１５は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部３００から送出された信号を記録するとともに、画像信号生成部１５によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、画像信号出力部１６を介して不図示の記録媒体や表示部などに送出される。

なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。また、以上の構成はあくまでも一例であり、本発明において、撮像素子１０および画像信号生成部１５を除く構成要素には、公知の要素を適切に組み合わせて用いることができる。

以下、本実施形態における固体撮像素子１０を説明する。

図４は、露光中にレンズ１２を透過した光が撮像素子１０に入射する様子を模式的に示す図である。図４では、簡単のためレンズ１２および撮像素子１０以外の構成要素の記載は省略されている。また、レンズ１２は、一般には光軸方向に並んだ複数のレンズによって構成され得るが、簡単のため、単一のレンズとして描かれている。撮像素子１０の撮像面１０ａには、２次元状に配列された複数の光感知セル（画素）を含む光感知セルアレイが配置されている。各光感知セルは、典型的にはフォトダイオードであり、光電変換によって入射光量に応じた光電変換信号（画素信号）を出力する。撮像面１０ａにはレンズ１２および光学フィルタ１１を透過した光（可視光）が入射する。一般に撮像面１０ａに入射する光の強度および波長域ごとの入射光量の分布（分光分布）は、入射位置に応じて異なる。

図５（ａ）、（ｂ）は、本実施形態における画素配列の例を示す平面図である。光感知セルアレイ２００は、例えば、図５（ａ）に示すように撮像面１０ａ上に正方格子状に配列された複数の光感知セルを有する。光感知セルアレイ２００は、複数の単位ブロック４０から構成され、各単位ブロック４０は４つの光感知セル２ａ、２ｂ、２ｃ、２ｄを含んでいる。なお、光感知セルの配列は、このような正方格子状の配列ではなく、例えば、図４（ｂ）に示す斜行型の配列であってもよいし、他の配列であってもよい。各単位ブロックに含まれる４つの光感知セル２ａ〜２ｄは、図５（ａ）、（ｂ）に示すように、互いに近接していることが好ましいが、これらが離れていても、後述する分光要素アレイを適切に構成することによって色情報を得ることが可能である。また、各単位ブロックが５個以上の光感知セルを含んでいてもよい。

光感知セルアレイ２００に対向して、光が入射する側に複数の分光要素を含む分光要素アレイが配置される。本実施形態では、各単位ブロックに含まれる４つの光感知セルに対して各々１つずつ分光要素が設けられる。

以下、本実施形態における分光要素を説明する。

本実施形態における分光要素は、屈折率が異なる２種類の透光性部材の境界で生じる光の回折を利用して入射光を波長域に応じて異なる方向に向ける光学素子である。このタイプの分光要素は、屈折率が相対的に高い材料で形成された高屈折率透明部材（コア部）と、屈折率が相対的に低い材料で形成されコア部の各々の側面と接する低屈折率透明部材（クラッド部）とを有している。コア部とクラッド部との間の屈折率差により、両者を透過した光の間で位相差が生じるため、回折が起こる。この位相差は光の波長によって異なるため、光を波長域（色成分）に応じて空間的に分離することが可能となる。例えば、第１の方向および第２の方向に第１色成分の光を半分ずつ向け、第３の方向に第１色成分以外の光を向けることができる。また、３つの方向にそれぞれ異なる波長域（色成分）の光を向けることも可能である。コア部とクラッド部との屈折率差によって分光が可能になるため、本明細書では、高屈折率透明部材のことを「分光要素」と呼ぶことがある。このような回折型の分光要素の詳細は、例えば、特許第４２６４４６５号公報に開示されている。

以上のような分光要素を有する分光要素アレイは、公知の半導体製造技術により、薄膜の堆積およびパターニングを実行することにより、製造され得る。分光要素の材質（屈折率）、形状、サイズ、配列パターンなどを適切に設計することにより、個々の光感知セルに所望の波長域の光を分離・統合して入射させることが可能となる。その結果、各光感知セルが出力する光電変換信号の組から、必要な色成分に対応する信号を算出することができる。

以下、図６を参照しながら本実施形態における撮像素子１０の基本構造および各分光要素の働きを説明する。

図６（ａ）は撮像素子１０の基本構造を示す平面図である。各単位ブロックにおいて、４つの光感知セル２ａ、２ｂ、２ｃ、２ｄの各々に対向して分光要素１ａ、１ｂ、１ｃ、１ｄがそれぞれ配置されている。このような基本構造を有する複数のパターンが撮像面１０ａ上に繰り返し形成されている。

図６（ｂ）、（ｃ）は、図６（ａ）におけるＡＡ´線断面およびＢＢ´線断面をそれぞれ示す図である。図示されるように、撮像素子１０は、シリコンなどの材料からなる半導体基板７と、半導体基板７の内部に配置された光感知セル２ａ〜２ｄと、半導体基板７の表面側（光が入射する側）に形成された配線層５および低屈折率透明部材からなる透明層６ａと、透明層６ａの内部に配置された高屈折率透明部材からなる分光要素１ａ、１ｂ、１ｃ、１ｄとを備えている。また、各光感知セルへの集光を効率的に行うためのマイクロレンズ４ａが透明層６ａを隔てて個々の光感知セルに対応して配置されている。なお、マイクロレンズ４ａが配置されていなくても本実施形態の効果を得ることは可能である。

図６（ａ）〜（ｃ）に示す構造は、公知の半導体製造技術により作製され得る。図６（ａ）〜（ｃ）に示される撮像素子１０は、配線層５の側から各光感知セルに光が入射する表面照射型の構造を有している。しかしながら、本実施形態の撮像素子１０はこのような構造に限られず、配線層５の反対側から光を受ける裏面照射型の構造を有していてもよい。

分光要素１ａ、１ｂは、図６（ｂ）に示すように、光が透過する方向に長い長方形状の断面を有し、自身と透明層６ａとの間の屈折率差によって分光する。分光要素１ａは、対向する光感知セル２ａに赤（Ｒ）光および緑（Ｇ）光を入射させ、光感知セル２ｂ、および隣接する単位ブロックに含まれる光感知セル（不図示）に青（Ｂ）光を半分ずつ入射させる。一方、分光要素１ｂは、対向する光感知セル２ｂに緑（Ｇ）光および青（Ｂ）光を入射させ、光感知セル２ａ、および隣接する他の単位ブロックに含まれる光感知セル（不図示）に赤（Ｒ）光を半分ずつ入射させる。本実施形態では、分光要素１ａ、１ｂが上記の分光特性をもつように分光要素１ａ、１ｂの長さおよび厚さが設計されている。

このような分光要素１ａ、１ｂを用いることにより、光感知セル２ａは、分光要素１ａからＲ光およびＧ光を受け、分光要素１ｂ、および隣接する単位ブロックに含まれる分光要素からＲ光を半分ずつ受ける。また、光感知セル２ｂは、分光要素１ｂからＧ光およびＢ光を受け、分光要素１ａ、および隣接する単位ブロックに含まれる分光要素（不図示）からＢ光を半分ずつ受ける。

また、分光要素１ｃ、１ｄも、図６（ｃ）に示すように、光が透過する方向に長い長方形状の断面を有し、自身と透明層６ａとの間の屈折率差によって分光する。分光要素１ｃは、対向する光感知セル２ｃにマゼンタ光（Ｍ）を入射させ、光感知セル２ｄ、および隣接する単位ブロックに含まれる光感知セル（不図示）に緑（Ｇ）光を半分ずつ入射させる。ここで、マゼンタ光（Ｍ）は赤（Ｒ）光と青（Ｂ）光から成る光である。一方、分光要素１ｄは、対向する光感知セル２ｄに緑（Ｇ）光を入射させ、光感知セル２ｃ、および隣接する他の単位ブロックに含まれる光感知セル（不図示）にマゼンタ（Ｍ）光を半分ずつ入射させる。本実施形態では、分光要素１ｃ、１ｄが上記の分光特性をもつように分光要素１ｃ、１ｄの長さおよび厚さが設計されている。

上記の分光要素１ａ〜１ｄによる分光の結果、光感知セル２ａ〜２ｄは、それぞれ以下の式１２〜１５で表される光電変換信号Ｓ２ａ〜Ｓ２ｄを出力する。ここで、赤光、緑光、青光の強度に相当する信号をそれぞれＲｓ、Ｇｓ、Ｂｓで表す。また、マゼンタ光の強度に相当する信号ＭｓをＲｓ＋Ｂｓ、白光の強度に相当する信号ＷｓはＲｓ＋Ｇｓ＋Ｂｓとする。
（式１２）Ｓ２ａ＝Ｗｓ−Ｂｓ＋Ｒｓ＝２Ｒｓ＋Ｇｓ
（式１３）Ｓ２ｂ＝Ｗｓ＋Ｂｓ−Ｒｓ＝Ｇｓ＋２Ｂｓ
（式１４）Ｓ２ｃ＝Ｗｓ−Ｇｓ＋Ｍｓ＝２Ｍｓ＝２（Ｒｓ＋Ｂｓ）
（式１５）Ｓ２ｄ＝Ｗｓ＋Ｇｓ−Ｍｓ＝２Ｇｓ

式１２〜１５は、それぞれ式１〜４においてＣ１ｓをＢｓに、Ｃ２ｓをＲｓに、Ｃ３ｓをＧｓに、Ｃ４ｓをＭｓに置換したものに相当する。すなわち、本実施形態では、第１の色成分はＢ光、第２の色成分はＲ光、第３の色成分はＧ光であり、第４の色成分はＭ光に相当する。

画像信号生成部１５（図３）は、式１２〜１５で示される光電変換信号を用いた演算によって色情報を生成する。以下、図７を参照しながら、画像信号生成部１５による色情報生成処理を説明する。図７は、本実施形態における色情報生成処理の手順を示すフロー図である。

画像信号生成部１５は、まず、ステップＳ１０において、光電変換信号Ｓ２ａ〜Ｓ２ｄを取得する。続いて、ステップＳ１２において、（Ｓ２ａ−Ｓ２ｂ）の演算によって２（Ｒｓ−Ｂｓ）を生成し、（Ｓ２ｄ−Ｓ２ｃ）の演算によって２（Ｒｓ＋Ｂｓ−Ｇｓ）を生成する。次に、ステップＳ１４において、生成された２つの信号２（Ｒｓ−Ｂｓ）および２（Ｒｓ＋Ｂｓ−Ｇｓ）の加減算により、色差信号２（２Ｒｓ−Ｇｓ）および２（２Ｂｓ−Ｇｓ）をそれぞれ生成する。さらに、ステップＳ１６において、画素信号Ｓ２ａ〜Ｓ２ｄを合算することによってセル入射光の強度を示す信号４（Ｒｓ＋Ｇｓ＋Ｂｓ）＝４Ｗｓを生成し、これを輝度信号とする。最後に、ステップＳ１８において、２つの色差信号と１つの輝度信号から行列演算によりＲＧＢカラー信号を得る。

色差信号（２Ｒｓ−Ｇｓ）、（２Ｂｓ−Ｇｓ）を用いたカラー化の具体的方法については、例えば特許文献６に開示されている。本実施形態においても、特許文献６に開示された方法を利用することができる。２つの色差信号と１つの輝度信号、すなわち３つの情報があれば、行列演算によりＲＧＢ信号を算出できる。

画像信号生成部１５は、以上の信号演算を光感知セルアレイ２の単位ブロック４０ごとに実行することによってＲ、Ｇ、Ｂの各色成分の画像を示す信号（「カラー画像信号」と呼ぶ。）を生成する。生成されたカラー画像信号は、画像信号出力部１６によって不図示の記録媒体や表示部に出力される。

このように、本実施形態の撮像装置によれば、光電変換信号Ｓ２ａ〜Ｓ２ｄを用いた加減算処理により、カラー画像信号が得られる。本実施形態における撮像素子１０によれば、光を吸収する光学素子を用いないため、色フィルタなどを用いる従来技術と比較して光の損失を大幅に低減することができる。また、特許文献６に開示された色差信号よりも高いレベルの色差信号を得ることができるため、色再現性もさらに良好となる。

以上のように、本実施形態の撮像素子１０では、光感知セルアレイに対向して２行２列を基本構成とする分光要素アレイが配置される。１行１列目には光を青光と青光以外とに分ける分光要素１ａが配置される。１行２列目には光を赤光と赤光以外とに分ける分光要素１ｂが配置される。２行１列目には光を緑光と緑光以外とに分ける分光要素１ｃが配置される。２行２列目には光をマゼンタ光とマゼンタ光以外とに分ける分光要素１ｄが配置される。このような分光要素の配列パターンが撮像面上に繰り返し形成されているため、光感知セルアレイ２００における単位ブロック４０の選び方を１行または１列ずつ変えても、得られる４つの光電変換信号は、常に式１２〜１５で表される４つの信号の組み合わせとなる。すなわち、演算対象の画素ブロックを１行および１列ずつずらしながら上記の信号演算を行うことにより、ＲＧＢ各色成分の情報をほぼ画素数分だけ得ることができる。このことは、撮像装置の解像度を画素数の程度まで高めることができることを意味している。したがって、本実施形態の撮像装置は、従来の撮像装置よりも高感度であることに加えて、高解像度のカラー画像を生成することが可能である。

なお、画像信号生成部１５は、必ずしも３つの色成分の画像信号を全て生成しなくてもよい。用途に応じて１色または２色の画像信号だけを生成するように構成されていてもよい。また、必要に応じて信号の増幅、合成、補正を行ってもよい。

また、各分光要素は上述した分光性能を厳密に有していることが理想であるが、それらの分光性能が多少ずれていてもよい。すなわち、各光感セルから実際に出力される光電変換信号が、式１２〜１５に示す光電変換信号から多少ずれていてもよい。各分光要素の分光性能が理想的な性能からずれている場合であっても、ずれの程度に応じて信号を補正することによって良好な色情報を得ることができる。

さらに、本実施形態における画像信号生成部１５が行う信号演算を、撮像装置自身ではなく他の機器に実行させることも可能である。例えば、撮像素子１０から出力される光電変換信号の入力を受けた外部の機器に本実施形態における信号演算処理を規定するプログラムを実行させることによっても色情報を生成することができる。

なお、撮像素子１０の基本構造は図６に示す構成に限られるものではない。例えば、分光要素１ａと分光要素１ｂとが入れ替わった構成、あるいは分光要素１ｃと分光要素１ｄとが入れ替わった構成で配置されていても本実施形態の効果に変わりはない。また、図６（ａ）に示す１行目の配置と２行目の配置とが入れ替わっていてもよいし、分光要素１ａ、１ｂおよび分光要素１ｃ、１ｄが行方向ではなく、列方向に並ぶように配置されていてもその有効性に変わりはない。

さらに、分光要素アレイは、単位ブロック４０に含まれる４つの光感知セル２ａ、２ｂ、２ｃ、２ｄに、それぞれ（２Ｒ＋Ｇ）、（Ｇ＋２Ｂ）、２Ｍ（＝２Ｒ＋２Ｂ）、２Ｇで表される光が入射するように構成されていれば、どのように構成されていてもよい。例えば、図８に示す構成を採用することができる。

図８は、本実施形態の１つの変形例を示す図である。図８（ａ）は、本変形例における撮像素子１０の基本構造を示す平面図である。図８（ｂ）は、図８（ａ）におけるＡ−Ａ´線断面図であり、図８（ｃ）は、図８（ａ）におけるＢ−Ｂ´線断面図である。図８（ｂ）、（ｃ）には、着目する単位ブロックに隣接する２つの単位ブロックに含まれる光感知セルと、それらに対向する分光要素も示されている。図８（ｂ）、（ｃ）において点線で囲まれた部分は、撮像素子１０の１つの単位要素を表している。

本変形例では、図６に示す分光要素１ａ、１ｂ、１ｄの代わりに、分光要素１ａ´、１ｂ´、１ｄ´がそれぞれ配置される。分光要素１ａ´、１ｂ´、１ｄ´は、光が出射する側の先端に段差を有し、自身と透明層６ａとの間の屈折率差により、入射光を０次、１次、−１次などの回折光に分ける。これらの回折角が波長によって異なるため、光を色成分に応じて３方向に分けることが可能となる。

図８（ｂ）に示すように、点線で囲まれた単位要素に含まれる分光要素１ａ´、１ｂ´は、ともに入射光をＲ、Ｇ、Ｂの３つの色成分の光に分離するように構成されている。分光要素１ａ´、１ｂ´の向きは揃っており、ともにＧ光を対向する光感知セルに入射させ、Ｒ光を図８において左側に隣接する光感知セルに入射させ、Ｂ光を図８において右側に隣接する光感知セルに入射させる。一方、隣接する単位要素に含まれる２つの分光要素の向きは上記の向きと逆であり、Ｇ光を対向する光感知セルに入射させ、Ｒ光を図８において右側に隣接する光感知セルに入射させ、Ｂ光を図８において左側に隣接する光感知セルに入射させる。その結果、光感知セル２ａ、２ｂには、それぞれ（２Ｒ＋Ｇ）、（Ｇ＋２Ｂ）で表される光が入射する。本変形例では、ある単位要素における（２Ｒ＋Ｇ）で表される光を受ける光感知セルおよび（Ｇ＋２Ｂ）で表される光を受ける光感知セルの並びは、両側に隣接する他の単位要素における並びと逆である。

また、図８（ｃ）に示すように、分光要素１ｄ´も、入射光をＲ、Ｇ、Ｂの３つの色成分の光に分離するように構成されている。分光要素１ｄ´は、対向する光感知セル２ｄにＧ光を入射させ、図８における左側に隣接する光感知セルにＲ光を入射させ、右側に隣接する光感知セルにＢ光を入射させるように配置されている。このような構成により、図６に示す構成と同様、光感知セル２ｃ、２ｄには、それぞれ２Ｍ、２Ｇで表される光が入射する。その結果、図６に示す構成と同様の処理によって色情報を得ることができる。

以上の説明では、分光要素として、２つの部材の屈折率差を利用して分光する光学素子を用いているが、本発明における分光要素は、各光感知セルに所望の色成分の光を入射できればどのようなものであってもよい。例えば、分光要素としてマイクロプリズムやダイクロイックミラーを用いてもよい。また、異なる種類の分光要素を組み合わせて用いることも可能である。

一例として、ダイクロイックミラーによる光の透過と反射とを一部に利用した撮像素子の構成例を図９に示す。図９（ａ）は、この例における基本画素構成を示す平面図である。図９（ｂ）、（ｃ）は、それぞれ図９（ａ）におけるＡＡ´線断面およびＢＢ´線断面を示す図である。この構成例では、図６に示す分光要素１ａ、１ｂの代わりに、ダイクロイックミラーを含む分光要素１ｅ、１ｆがそれぞれ配置されている。分光要素１ｃ、１ｄは、図６に示す分光要素１ｃ、１ｄと同様の特性を有している。なお、図９に示す撮像素子１０は、配線層５の反対側から光が入射する裏面照射型の構造を有しているが、このことは特に重要ではなく、表面照射型の構造を有していてもよい。

撮像素子１０は、図９（ｂ）、（ｃ）に示すように、シリコンなどの材料からなる半導体基板７と、半導体基板７内に配置された光感知セル２ａ〜２ｄと、半導体基板７の裏面側（光が入射する側）に形成された透明層６ｂと、透明層６ｂの内部に配置された分光要素１ｅ、１ｆ、および分光要素１ｃ、１ｄとを備えている。半導体基板７の表面側（光が入射する側の反対側）には配線層５が形成されている。また、表面側には半導体基板７や配線層５などを支持する固定基盤９が配置されている。固定基板９は透明層６ｂを介して半導体基板７と接合されている。透明層６ｂは、空気よりも屈折率が高く、分光要素１ｃ、１ｄよりも屈折率が低い透光性の部材から形成される。

分光要素１ｅは、Ｂ光を反射し、Ｂ光以外を透過させるダイクロイックミラーを２つ接合したものを含んでいる。分光要素１ｆは、Ｒ光を反射し、Ｒ光以外を透過させるダイクロイックミラーを２つ接合したものを含んでいる。各分光要素に含まれる２つのダイクロイックミラーは、撮像面の法線に対して対称に傾斜して配置されている。これらのダイクロイックミラーの傾斜角度は、その反射光が撮像素子１０の外部の空気層との界面で全反射し、対向画素に隣接する２つの画素に入射するように設定されている。

分光要素１ｅに光が入射すると、Ｂ光は反射され、Ｒ光およびＧ光は透過する。反射されたＢ光の半分は、透明層６ｂと空気との界面で全反射し、光感知セル２ｂに入射する。反射されたＢ光の残りの半分は、透明層６ｂと空気との界面で全反射し、隣接する単位ブロックに含まれる光感知セルに入射する。分光要素１ｅを透過したＲ光およびＧ光は光感知セル２ａに入射する。

分光要素１ｆに光が入射すると、Ｒ光は反射され、Ｇ光およびＢ光は透過する。反射されたＲ光の半分は、透明層６ｂと空気との界面で全反射し、光感知セル２ａに入射する。反射されたＲ光の残りの半分は、透明層６ｂと空気との界面で全反射し、隣接する他の単位ブロックに含まれる光感知セルに入射する。分光要素１ｆを透過したＧ光およびＢ光は光感知セル２ａに入射する。

分光要素１ｃは、図６に示す構成と同様、Ｍ光を光感知セル２ｃに入射させ、Ｇ光を光感知セル２ｄと隣接する単位ブロックに含まれる光感知セルに入射させる。また、分光要素１ｄについても、上記と同様、Ｇ光を光感知セル２ｄに入射させ、Ｍ光を光感知セル２ｃと隣接する単位ブロックに含まれる光感知セルに入射させる。なお、分光要素１ｃ、１ｄのサイズおよび形状は、透明層６ｂと半導体基板７との界面での屈折を考慮して設計される。

このような構成により、各光感知セル２ａ〜２ｄは、図６に示す構成を採用した場合と全く同様の光を受ける。したがって、各光感知セル２ａ〜２ｄから出力される光電変換信号も図６の構成における光電変換信号と変わりはなく、上述の信号演算がそのまま適用できる。このように、図９に示す構成を採用しても、図６に示す構成を採用した場合と同様の効果を得ることができる。

（実施形態２）
次に、図１０を参照しながら、本発明の第２の実施形態を説明する。本実施形態の撮像装置は、実施形態１の撮像装置と比較して、撮像素子１０の構造のみが異なっており、その他の構成要素は同一である。以下、実施形態１の撮像装置との相違点を中心に説明し、重複する点は説明を省略する。

本実施形態における撮像素子１０は、回折を利用する分光要素ではなく、光を原色と補色とに分離するダイクロイックミラーを備えている。また、本実施形態における各分光要素は、隣接単位ブロックの光感知セルに光を入射させず、各単位ブロック内の光感知セルのみに光を入射させる。以下、本実施形態における撮像素子１０の基本構造を説明する。

図１０は、本実施形態における撮像素子１０の基本構造を示す図である。本実施形態における撮像素子１０は、裏面照射型の撮像素子である。なお、本実施形態においても撮像素子１０のタイプが裏面照射型であるか表面照射型であるかは重要ではなく、撮像素子１０は表面照射型であってもよい。図１０（ａ）は、撮像素子１０の受光面側の平面図である。本実施形態における撮像素子１０の光感知セルの配列は実施形態１における配列と同様であり、１つの単位ブロックは、４つの光感知セル２ａ〜２ｄを有している。光感知セル２ａ、２ｂ、２ｃに対向してダイクロイックミラー３ａ、３ｂ、３ｃ、３ｄがそれぞれ撮像面に対して傾斜して配置されている。ここで、ダイクロイックミラーの傾斜角度は、その反射光が撮像素子１０外の空気層との界面で全反射し、対向画素の隣接画素に入射するように設定されている。

図１０（ｂ）、（ｃ）は、図１０（ａ）におけるＣＣ´線断面およびＤＤ´線断面をそれぞれ示す図である。図示されるように、撮像素子１０は、シリコンなどの材料からなる半導体基板７と、半導体基板７内に配置された光感知セル２ａ〜２ｄと、半導体基板７の裏面側（光が入射する側）に形成された透明層６ｂと、透明層６ｂの内部に配置されたダイクロイックミラー３ａ、３ｂ、３ｃ、３ｄとを備えている。半導体基板７の表面側（光が入射する側の反対側）には配線層５が形成されている。また、表面側には半導体基板７や配線層５などを支持する固定基盤９が配置されている。固定基板９は透明層６ｂを介して半導体基板７と接合されている。

図１０（ｂ）に示されるように、ダイクロイックミラー３ａは、Ｒ光とＧ光とを透過させ、Ｂ光を反射する特性を有している。また、ダイクロイックミラー３ｂは、Ｇ光とＢ光とを透過させ、Ｒ光を反射する特性を有している。その結果、ダイクロイックミラー３ａを透過したＲ光およびＧ光は、光感知セル２ａに入射する。ダイクロイックミラー３ａで反射されたＢ光は、透明層６ｂと空気との界面で全反射し、光感知セル２ｂに入射する。ダイクロイックミラー３ｂを透過したＧ光およびＢ光は、光感知セル２ｂに入射する。ダイクロイックミラー３ｂで反射されたＲ光は、透明層６ｂと空気との界面で全反射し、光感知セル２ａに入射する。

図１０（ｃ）に示されるように、ダイクロイックミラー３ｃは、Ｍ光を透過させ、Ｇ光を反射する特性を有している。また、ダイクロイックミラー３ｄは、Ｇ光を透過させ、Ｍ光を反射する特性を有している。その結果、ダイクロイックミラー３ｃを透過したＭ光は、光感知セル２ｃに入射する。ダイクロイックミラー３ｃで反射されたＧ光は、透明層６ｂと空気との界面で全反射し、光感知セル２ｄに入射する。ダイクロイックミラー３ｄを透過したＧ光は、光感知セル２ｄに入射する。ダイクロイックミラー３ｄで反射されたＭ光は、透明層６ｂと空気との界面で全反射し、光感知セル２ｃに入射する。

このようなダイクロイックミラー３ａ〜３ｄを用いることにより、各光感知セル２ａ〜２ｄは、実施形態１における構成を採用した場合と全く同様の色成分の光を受ける。すなわち、光感知セル２ａは、ダイクロイックミラー３ａを透過したＲ光およびＧ光と、ダイクロイックミラー３ｂで反射されたＲ光とを受ける。光感知セル２ｂは、ダイクロイックミラー３ｂを透過したＧ光およびＢ光と、ダイクロイックミラー３ａで反射されたＢ光とを受ける。光感知セル２ｃは、ダイクロイックミラー３ｃを透過したＭ光と、ダイクロイックミラー３ｄで反射されたＭ光とを受ける。光感知セル２ｄは、ダイクロイックミラー３ｄを透過したＧ光と、ダイクロイックミラー３ｃで反射されたＧ光とを受ける。その結果、各光感知セル２ａ〜２ｄから出力される光電変換信号Ｓ２ａ〜Ｓ２ｄは、実施形態１における構成を採用した場合と同様、それぞれ式１２〜１５で表すことができる。したがって、実施形態１における処理と全く同様の処理によって色情報を得ることができる。

以上のように、本実施形態の撮像装置によれば、実施形態１の撮像装置と同様、光電変換信号Ｓ２ａ〜Ｓ２ｄを用いた信号演算処理により、カラー画像信号が得られる。本実施形態における撮像素子１０によっても、光を吸収する光学素子を用いないため、色フィルタなどを用いる従来技術と比較して光の損失を大幅に低減することができる。また、４つの光電変換信号を用いた演算によって３つの色信号が得られるため、画素数に対して得られる色情報の量が従来の撮像素子による場合よりも多いという効果を有する。

以上のように、本実施形態の撮像素子１０では、１行１列目には光を青光と青光以外とに分けるダイクロイックミラー３ａが配置される。１行２列目には光を赤光と赤光以外とに分けるダイクロイックミラー３ｂが配置される。２行１列目には光を緑光と緑光以外とに分けるダイクロイックミラー３ｃが配置される。２行２列目には光をマゼンタ光とマゼンタ光以外とに分けるダイクロイックミラー３ｄが配置される。このような分光要素の配列パターンが撮像面上に繰り返し形成されているため、光感知セルアレイ２００における単位ブロックの選び方を１行または１列ずつ変えても、得られる４つの光電変換信号は、常に式１２〜１５で表される４つの信号の組み合わせとなる。すなわち、演算対象の画素ブロックを１行および１列ずつずらしながら上記の信号演算を行うことによって、ＲＧＢ各色成分の情報をほぼ画素数分だけ得ることができる。したがって、本実施形態の撮像装置は、従来の撮像装置よりも高感度であることに加えて、高解像度のカラー画像を生成することが可能である。

なお、撮像素子１０の基本構造は図１０に示す構成に限られるものではない。例えば、ダイクロイックミラー３ａとダイクロイックミラー３ｂとが入れ替わり、ダイクロイックミラー３ｃとダイクロイックミラー３ｄが入れ替わった構成で配置されていても本実施形態の効果に変わりはない。また、図１０（ａ）に示す１行目の配置と２行目の配置とが入れ替わっていてもよいし、ダイクロイックミラー３ａ、３ｂが行方向ではなく、列方向に並ぶように配置されていてもその有効性に変わりはない。

本実施形態では、分光要素として、ダイクロイックミラーを用いているが、本発明における分光要素は、原色光とその補色の光とに分離するものであればどのようなものでもよい。例えば、分光要素として、マイクロプリズムや、実施形態１で用いられる回折を利用する光学素子を用いてもよい。また、異なる種類の分光要素を組み合わせて用いることも可能である。

本発明の実施形態における固体撮像素子、撮像装置、および画像処理方法は、固体撮像素子を用いるすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。

１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ 分光要素
２，２ａ，２ｂ，２ｃ，２ｄ 撮像素子の光感知セル
３ａ、３ｂ、３ｃ、３ｄ 分光要素（ダイクロイックミラー）
４ａ、４ｂ マイクロレンズ
５ 撮像素子の配線層
６ａ、６ｂ 透明層
７ シリコン基板
９ 固定基板
１０ 撮像素子
１１ 光学フィルタ
１２ 光学レンズ
１３ 信号発生／受信部
１４ 素子駆動部
１５ 画像信号生成部
１６ 画像信号出力部
１７ 赤（Ｒ）以外を反射する多層膜フィルタ（ダイクロイックミラー）
１８ 緑（Ｇ）のみを反射する多層膜フィルタ（ダイクロイックミラー）
１９ 青（Ｂ）のみを反射する多層膜フィルタ（ダイクロイックミラー）
２０ 遮光部
２１ 透光性の樹脂
２２ Ｇ光透過の多層膜フィルタ（ダイクロイックミラー）
２３ Ｒ光透過の多層膜フィルタ（ダイクロイックミラー）
２４ Ｇ光透過の有機色素フィルタ
２５ Ｒ光透過の有機色素フィルタ
２６ マイクロレンズ
２７ 金属層
３０ メモリ
４０ 光感知セルの単位ブロック
１００ 分光要素アレイ
２００ 光感知セルアレイ
３００ 撮像部
４００ 信号処理部

Claims (13)

1. 各々が第１の光感知セル、第２の光感知セル、第３の光感知セル、および第４の光感知セルを含む複数の単位ブロックが２次元状に配列された光感知セルアレイと、
   前記光感知セルアレイに対向して配置され、複数の分光要素を含む分光要素アレイと、
   を備え、
   前記分光要素アレイが存在しないと仮定した場合に各光感知セルが受ける光を各光感知セルのセル入射光とするとき、
   前記分光要素アレイは、
   前記第１の光感知セルのセル入射光から第１の色成分の光を除いた光に第２の色成分の光を加えた光を前記第１の光感知セルに入射させ、
   前記第２の光感知セルのセル入射光から前記第２の色成分の光を除いた光に前記第１の色成分の光を加えた光を前記第２の光感知セルに入射させ、
   前記第３の光感知セルのセル入射光から第３の色成分の光を除いた光に前記第１および第２の色成分の光を加えた光を前記第３の光感知セルに入射させ、
   前記第４の光感知セルのセル入射光から前記第１および第２の色成分の光を除いた光に前記第３の色成分の光を加えた光を前記第４の光感知セルに入射させるように構成されている、
   固体撮像素子。
2. 前記分光要素アレイは、各単位ブロックにおいて、前記第１の光感知セルに対向して配置された第１の分光要素、前記第２の光感知セルに対向して配置された第２の分光要素、前記第３の光感知セルに対向して配置された第３の分光要素、および前記第４の光感知セルに対向して配置された第４の分光要素を含み、
   前記第１の分光要素は、前記第１の色成分の光の少なくとも一部を前記第２の光感知セルに入射させ、前記第１の色成分以外の光を前記第１の光感知セルに入射させ、
   前記第２の分光要素は、前記第２の色成分の光の少なくとも一部を前記第１の光感知セルに入射させ、前記第２の色成分以外の光を前記第２の光感知セルに入射させ、
   前記第３の分光要素は、前記第３の色成分の光の少なくとも一部を前記第４の光感知セルに入射させ、前記第３の色成分以外の光を前記第３の光感知セルに入射させ、
   前記第４の分光要素は、前記第１および第２の色成分の光の少なくとも一部を前記第３の光感知セルに入射させ、前記第３の色成分の光を前記第４の光感知セルに入射させる、請求項１に記載の固体撮像素子。
3. 前記第１の分光要素は、前記第１の色成分の光の半分を前記第２の光感知セルに入射させ、前記第１の色成分の光の残りの半分を隣接する第１の隣接単位ブロックに含まれる１つの光感知セルに入射させ、
   前記第２の分光要素は、前記第２の色成分の光の半分を前記第１の光感知セルに入射させ、前記第２の色成分の光の残りの半分を隣接する第２の隣接単位ブロックに含まれる１つの光感知セルに入射させ、
   前記第３の分光要素は、前記第３の色成分の光の半分を前記第４の光感知セルに入射させ、前記第３の色成分の光の残りの半分を隣接する前記第１および第２の隣接単位ブロックの一方に含まれる１つの光感知セルに入射させ、
   前記第４の分光要素は、前記第１および第２の色成分の光の半分を前記第３の光感知セルに入射させ、前記第１および第２の色成分の光の残りの半分を隣接する前記第１および第２の隣接単位ブロックの他方に含まれる１つの光感知セルに入射させる、請求項２に記載の固体撮像素子。
4. 前記第１の分光要素は、前記第１の色成分の光のほぼ全てを前記第２の光感知セルに入射させ、
   前記第２の分光要素は、前記第２の色成分の光のほぼ全てを前記第１の光感知セルに入射させ、
   前記第３の分光要素は、前記第３の色成分の光のほぼ全てを前記第４の光感知セルに入射させ、
   前記第４の分光要素は、前記第１および第２の色成分の光のほぼ全てを前記第３の光感知セルに入射させる、請求項２に記載の固体撮像素子。
5. 前記第１の色成分は赤および青の一方の色成分であり、前記第２の色成分は赤および青の他方の色成分であり、前記第３の色成分は緑の色成分である、請求項１から４のいずれかに記載の固体撮像素子。
6. 前記第１の分光要素、前記第２の分光要素、前記第３の分光要素、および前記第４の分光要素の各々は、透光性部材を有し、前記透光性部材の形状、および前記透光性部材と前記透光性部材よりも屈折率の低い他の透光性部材との屈折率の差を利用して分光する、請求項２から４のいずれかに記載の固体撮像素子。
7. 前記第１の分光要素、前記第２の分光要素、前記第３の分光要素および前記第４の分光要素の各々は、ダイクロイックミラーを含み、前記ダイクロイックミラーによって分光する、請求項２から４のいずれかに記載の固体撮像素子。
8. 請求項１から７のいずれかに記載の固体撮像素子と、
   前記固体撮像素子に像を形成する光学系と、
   前記固体撮像素子から出力される信号を処理する信号処理部であって、前記第１の光感知セルから出力される第１の光電変換信号、前記第２の光感知セルから出力される第２の光電変換信号、および前記第３の光感知セルから出力される第３の光電変換信号、前記第４の光感知セルから出力される第４の光電変換信号を用いた演算によって色情報を生成する信号処理部と、
   を備える撮像装置。
9. 前記信号処理部は、前記第１の光電変換信号と前記第２の光電変換信号との差分を表す第１の差信号と、前記第３の光電変換信号と前記第４の光電変換信号との差分を表す第２の差信号との加減算を含む演算により、第１の色差信号および第２の色差信号を生成する、請求項８に記載の撮像装置。
10. 前記信号処理部は、前記第１および第２の光電変換信号の加算、前記第３および第４の光電変換信号の加算、および前記第１から第４の光電変換信号の加算のいずれかを含む演算により、輝度信号を生成する、請求項８または９に記載の撮像装置。
11. 請求項１から７のいずれかに記載の固体撮像素子から出力される信号を処理する方法であって、
    前記第１の光感知セルから出力される第１の光電変換信号、前記第２の光感知セルから出力される第２の光電変換信号、前記第３の光感知セルから出力される第３の光電変換信号、および前記第４の光感知セルから出力される第４の光電変換信号を取得するステップＡと、
    前記第１から第４の光電変換信号を用いて色情報を生成するステップＢと、
    を含む方法。
12. 前記ステップＢは、
    前記第１の光電変換信号と前記第２の光電変換信号との差分を示す第１の差分信号を生成するステップと、
    前記第３の光電変換信号と前記第４の光電変換信号との差分を示す第２の差分信号を生成するステップと、
    前記第１の差分信号と前記第２の差分信号との加減算を含む演算により、第１の色差信号および第２の色差信号を生成するステップと、
    を含む、請求項１１に記載の方法。
13. 前記ステップＢは、
    前記第１および第２の光電変換信号の加算、前記第３および第４の光電変換信号の加算、および前記第１から第４の光電変換信号の加算のいずれかを含む演算によって輝度信号を生成するステップと、
    前記輝度信号、前記第１の色差信号、および前記第２の色差信号を用いて前記セル入射光に含まれる赤、緑、および青の色信号を生成するステップと、
    をさらに含む請求項１２に記載の方法。

Images