JP4815124B2 - 撮像装置及び固体撮像素子の信号処理方法、並びにデジタルカメラ及びその制御方法 - Google Patents

Description

本発明は、複数の画素を有する光電変換層を複数層使用し、これら光電変換層の各画素から各々の信号電荷を画素信号として読み出す撮像装置及び固体撮像素子の信号処理方法、並びにデジタルカメラ及びその制御方法に関する。

多層構造の固体撮像素子の原型的な素子として、例えば下記特許文献１記載のものがある。この固体撮像素子は、半導体基板の上に感光層を３層積層し、各感光層で検出された赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の夫々の電気信号を、半導体基板表面に形成されているＭＯＳ回路で読み出すという構成になっている。

上記構成の固体撮像素子が過去に提案されたが、その後、半導体基板表面部に多数の受光部（フォトダイオード）を集積すると共に各受光部上に赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の各色カラーフィルタを積層したＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサが著しく進歩し、現在では、数百万もの受光部（画素）を１チップ上に集積したイメージセンサがデジタルスチルカメラに搭載されるようになっている。

しかしながら、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサは、その技術進歩が限界近くまで進み、１つの受光部の開口の大きさが２μｍ程度と、入射光の波長オーダに近づいており、そのために、製造歩留まりが悪いという問題に直面している。

また、微細化された１つの受光部に蓄積される光電荷量の上限は、電子３０００個程度と少なく、これで２５６階調を奇麗に表現することが困難にもなってきている。そのため、画質や感度の点から更に高品位出力が可能なイメージセンサをＣＣＤ型やＣＭＯＳ型で期待するのは困難になっている。

そこで、これらの問題を解決する固体撮像素子として、改めて特許文献１で提案された固体撮像素子が注目を集めるようになり、特許文献２に記載されているイメージセンサが新たに提案されるようになってきている。

特開昭５８−１０３１６５号公報 特開２００３−３３２５５１号公報

ところが、上記特許文献１，２に示すような光電変換部が多層構造の固体撮像素子では、ＲＧＢ光電変換部で発生した信号電荷を下部の信号電荷転送部に導くために、透明画素電極と下部電荷蓄積ダイオードを接続するＶｉａコンタクトが必要となる。このＶｉａコンタクトの材料は、タングステン、銅、モリブデン等の金属であり、可視光に対して不透明である。このため、３層構造の光電変換部のうち最上層の光電変換部は開口が１００％であっても、下位層の光電変換部開口はＶｉａコンタクトによる遮光により狭くなる。特に、画素の微細化が進むと、下層ほど開口率の低下が著しくなる。上位層の光吸収が大きいと下位層への光到達量が減少し、その結果、上位層が感度が高く、下位層の感度が低くなるという現象を生じる。また、最上層の光吸収率を大きくし、分光感度の半値幅を広めることで最上層の感度をアップすると、下層に到達する光量が著しく低下する。感度が低下すると受光量確保のため撮影条件の制約が増える上、信号のＳ／Ｎが下がり画質が低下する。従って、高画質化のためには下位層の高感度化が別途必要となり、コストアップが免れない。

また、撮影画像の色解像度と画素信号のＳ／Ｎはトレードオフの関係となっており、固体撮像素子の画素数（受光面積）に応じて、結果的には一律に画素信号のＳ／Ｎが設定されることになる。そのため、撮影目的や撮影対象に応じて色解像度を重視するかＳ／Ｎを重視するかを自由に選択することができず、撮影シーンに対するフレキシブルな撮影条件の最適化ができなかった。

また、固体撮像素子には、各色相（Ｒ，Ｇ，Ｂ等）の光電変換部が異なる位置に配置され、プリズム等により特定波長域の光を偏向して検出する多板方式の撮像素子がある。この種の固体撮像素子においては、各色相に対する光電変換層の感度特性をそれぞれ一致させることは困難であり、感度調整には、材料選択や層形成条件を変更する他、術が無かった。このため、特定の色相に対する光電変換層に高感度の材料が適用可能であっても、他の色相に対する光電変換層に比較的低感度の材料を用いざるを得ない場合には、この低感度の材料に基づいて素子の性能が設定され、高感度の材料の性能を十分に発揮することができなかった。

本発明は上記問題に鑑みてなされたものであり、その目的は、第１に撮影対象の輝度が低い場合でも視覚的な色解像度の低下を抑えつつ画素信号のＳ／Ｎを高めることができ、これにより、各色相の光電変換部の感度バランスを向上して高画質化、高感度化を図ることができる撮像装置及び固体撮像素子の信号処理方法を提供することにある。また、第２に撮影条件等に応じて色解像度を重視するかＳ／Ｎを重視するかを自由に選定することができる撮像装置及び固体撮像素子の信号処理方法、並びにデジタルカメラ及びその制御方法を提供することにある。

本発明の上記目的は、下記構成により達成される。
（１） 複数の画素を有する光電変換層を複数層使用し、これら光電変換層の各画素から各々の信号電荷を画素信号として読み出す固体撮像素子を備えた撮像装置であって、緑色の波長域の光を吸収して信号電荷を発生する第１光電変換層と、前記緑色の波長域とは異なる波長域の光を主に吸収して信号電荷を発生する少なくとも１層の第２光電変換層と、前記第１光電変換層と前記第２光電変換層からの信号電荷に応じて画素信号を生成する画素信号生成手段とを具備し、前記画素信号生成手段が、前記第１光電変換層の１画素に対して、この１画素に対応する位置の前記第２光電変換層の対応画素及び該対応画素に隣接する周辺画素の各信号電荷の処理に応じた値と、前記第１光電変換層の前記１画素の信号電荷に応じた値とに基づいて、前記１画素の位置に対する画素信号を生成することを特徴とする撮像装置。

この撮像装置によれば、第１光電変換層の各画素の解像度をそのままとして画素信号を生成し、視覚的な解像度に影響の少ない第２光電変換層に対する複数画素を処理して画素信号を生成することで、撮影対象の輝度が低い場合でも視覚的な色解像度の低下を抑えつつ画素信号のＳ／Ｎを高めることができ、これにより、各色相の光電変換部の感度バランスを向上して高画質化、高感度化を図ることができる。

（２） 前記第１光電変換層と前記少なくとも１層の第２光電変換層受が積層されてなり、前記第１光電変換層が、光入射側に配置されて前記緑色の波長域以外の光を透過することを特徴とする（１）記載の撮像装置。

この撮像装置によれば、光電変換部が積層構造の固体撮像素子であっても、下位層の光電変換部への光到達量減少による画質劣化の影響を受けることがなくなる。

（３）複数の画素を有する光電変換層が複数積層され、これら光電変換層の各画素から各々の信号電荷を読み出す多層構造の固体撮像素子を備えた撮像装置であって、光入射側となる最上層に配置され、Ｇ（緑）光を吸収して該Ｇ光の光量に対応するＧ信号電荷を発生し、Ｒ（赤）光とＢ（青）光を透過するＧ光光電変換層と、Ｂ光を吸収して該Ｂ光の光量に対応するＢ信号電荷を発生し、Ｒ光を透過するＢ光光電変換層と、Ｒ光を吸収して該Ｒ光の光量に対応するＲ信号電荷を発生するＲ光光電変換層と、前記Ｇ光光電変換層、Ｂ光光電変換層、Ｒ光光電変換層の各層の画素からの信号電荷をそれぞれ読み出して画素信号を生成する信号処理部と、を具備し、前記信号処理部が、前記Ｇ光光電変換層の１画素に対して、この１画素に対応する位置における他の光電変換層の対応画素及び該対応画素に隣接する周辺画素の各信号電荷の処理に応じた値と、前記Ｇ光光電変換層の前記１画素の信号電荷に応じた値とに基づいて、前記１画素の位置に対する画素信号を生成することを特徴とする撮像装置。

この撮像装置によれば、Ｇ光光電変換層の各画素の解像度をそのままとして画素信号を生成し、他の光電変換層に対する複数画素を処理して画素信号を生成することで、各色相の光電変換部の感度バランスを向上して高画質化、高感度化を図ることができる。また、光電変換部が積層構造の固体撮像素子でありながら、下位層の光電変換部への光到達量減少による画質劣化の影響を受けることがない。

（４） 前記他の光電変換層が、Ｂ光光電変換層を含むことを特徴とする（３）記載の撮像装置。

この撮像装置によれば、視覚的な解像度に影響の少ないＢ光光電変換層の複数画素を処理して画素信号を生成するので、視覚的な色解像度の低下を抑えつつ画素信号のＳ／Ｎを高めることができる。

（５） 前記他の光電変換層が、Ｒ光光電変換層を含むことを特徴とする（３）又は（４）記載の撮像装置。

この撮像装置によれば、視覚的な解像度に影響の少ないＲ光光電変換層の複数画素を処理して画素信号を生成するので、視覚的な色解像度の低下を抑えつつ画素信号のＳ／Ｎを高めることができる。

（６） 前記信号電荷の処理が、前記第２光電変換層の各画素に蓄積される電荷を混合する処理であることを特徴とする（１）又は（２）の撮像装置。

この撮像装置によれば、電荷混合により実質的な感度が高められ、信号のＳ／Ｎも向上する。また、高速処理も可能となる。

（７） 前記信号電荷の処理が、前記Ｂ光光電変換層の各画素に蓄積される電荷を混合する処理、及び前記Ｒ光光電変換層の各画素に蓄積される電荷を混合する処理であることを特徴とする（３）〜（５）のいずれか１項記載の撮像装置。
（８） 前記信号電荷の処理が、前記第２光電変換層の各画素の信号電荷に基づいて生成した画素信号を加算する処理であることを特徴とする（１）又は（２）記載の撮像装置。
（９） 前記信号電荷の処理が、前記Ｂ光光電変換層の各画素の信号電荷に基づいて生成した画素信号を加算する処理、及び前記Ｒ光光電変換層の各画素の信号電荷に基づいて生成した画素信号を加算する処理であることを特徴とする請求項３〜請求項５のいずれか１項記載の撮像装置。

この撮像装置によれば、画素加算により実質的な感度が高められ、信号のＳ／Ｎも向上する。また、加算する画素を簡単に任意で選択でき、画素加算の効果を容易に調整することができる。

（１０） 前記画素信号をアナログ信号処理により加算するアナログ回路を備えたことを特徴とする（８）又は（９）記載の撮像装置。

この撮像装置によれば、簡単な回路で高速に加算処理を行うことができる。

（１１） 前記画素信号を通過させるローパスフィルタを備えたことを特徴とする（８）又は（９）記載の撮像装置。

この撮像装置によれば、画素信号がローパスフィルタを通過することで、簡単に加算処理に相当する効果が得られる。

（１２） 前記画素信号をデジタル信号処理により加算するデジタル回路を備えたことを特徴とする（８）又は（９）記載の撮像装置。

この撮像装置によれば、加算処理を細かに設定することができ、加算効果の調整の自由度が高められる。

（１３） 前記信号電荷の処理において、処理対象とする画素に対する相対画素位置に応じて重み付けを行う重み付け手段を備えたことを特徴とする（７）〜（１２）のいずれか１項記載の撮像装置。

この撮像装置によれば、処理対象とする画素に対する相対画素位置に応じて重み付けを行うことで、画素位置に応じて独立した重み付け度合いを付与することができる。もって、処理対象とする画素以外の画素からの画素信号を実質的に合算するか、或いはしないか、また、どの程度加算に寄与させるかを任意に設定することができる。

（１４） 被写体の明るさを検出する測光手段と、
前記測光手段による明るさの検出結果に応じて前記重み係数を設定する重み係数設定手段とを備えたことを特徴とする（１３）記載の撮像装置。

この撮像装置によれば、被写体の明るさに応じて重み係数を設定することで、撮像画像の輝度に応じた最適な撮影が可能となる。つまり、被写体が明るい場合には、画像の解像度が画質の優劣を支配する要因となることが多いので、色解像度を重視して各画素に対する実質的な合算処理は行わないようにする。また、被写体が暗い場合には、ノイズ比率の増加により、むしろ画像のＳ／Ｎが画質の優劣を支配する要因となり得るので、Ｇ画素以外の各画素に対して実質的に合算処理を行って、感度向上によりＳ／Ｎを高める。これにより、撮影対象の輝度が低い場合でも色解像度の低下を抑えつつ、Ｓ／Ｎの高い画素信号を得ることが可能となる。

（１５） 高感度撮影と通常撮影のいずれかの撮影モードを設定する撮影モード設定手段と、
前記撮影モード設定手段により設定された撮影モードに応じて前記重み係数を設定する重み係数設定手段とを備えたことを特徴とする（１３）記載の撮像装置。

この撮像装置によれば、撮影対象の輝度の低い高感度撮影時において、Ｇ画素以外の画素に対して実質的に合算処理を行って、感度を向上して画素信号のＳ／Ｎを高めることができる。そして、撮影モードに応じて重み係数を変更できるため、最適な撮影条件で撮影することができる。

（１６） 静止画撮影と動画撮影のいずれかの撮影モードを設定する撮影モード設定手段と、
前記撮影モード設定手段により設定された撮影モードに応じて前記重み係数を設定する重み係数設定手段とを備えたことを特徴とする（１３）記載の撮像装置。

この撮像装置によれば、高解像度でスムーズな描画を行うため高速な画素信号の読み出しが必要となる動画画像データの生成と、それ以外の場合とを区別して信号処理することができる。また、動画撮影モードか否かにより重み係数を変更できるため、最適な撮影条件で撮影することができる。

（１７） （１）〜（１６）のいずれか１項記載の撮像装置を用いて、撮像することを特徴とするデジタルカメラ。

このデジタルカメラによれば、撮像装置をデジタルカメラとして利用することで、デジタルカメラの撮像性能を使用目的に応じて最適化することができる。

（１８） 複数の画素を有する光電変換層を複数層使用し、これら光電変換層の各画素から各々の信号電荷を画素信号として読み出す固体撮像素子であって、緑色の波長域の光を吸収して信号電荷を発生する第１光電変換層と、前記緑色の波長域とは異なる波長域の光を主に吸収して信号電荷を発生する少なくとも１層の第２光電変換層を有した固体撮像素子を用い、多色の画素信号を生成する固体撮像素子の信号処理方法であって、前記第１光電変換層の１画素の信号電荷と、この１画素に対応する位置の前記第２光電変換層の対応画素及び該対応画素に隣接する周辺画素の各信号電荷とをそれぞれ読み出し、前記第１光電変換層の１画素の信号電荷に応じた値と、前記第２光電変換層の前記対応画素及び前記周辺画素の各信号電荷に応じた値とに基づいて、前記１画素に対する多色の画素信号を生成することを、全画素位置に対して行うことを特徴とする固体撮像素子の信号処理方法。

この固体撮像素子の信号処理方法によれば、第１光電変換層の各画素の解像度をそのままとして画素信号を生成し、視覚的な解像度に影響の少ない第２光電変換層に対する複数画素を処理して画素信号を生成することで、撮影対象の輝度が低い場合でも視覚的な色解像度の低下を抑えつつ画素信号のＳ／Ｎを高めることができ、これにより、各色相の光電変換部の感度バランスを向上して高画質化、高感度化を図ることができる。

（１９） 複数の画素を有する光電変換層が積層され、これら光電変換層の各画素からの信号電荷を読み出して多色の画素信号を生成する多層構造の固体撮像素子の信号処理方法であって、光入射側となる最上層に配置され、Ｇ（緑）光を吸収して該Ｇ光の光量に対応するＧ信号電荷を発生するＧ光光電変換層と、Ｂ（青）光を吸収して該Ｂ光の光量に対応するＢ信号電荷を発生するＢ光光電変換層と、Ｒ（赤）光を吸収して該Ｒ光の光量に対応するＲ信号電荷を発生するＲ光光電変換層とを有する固体撮像素子を用い、前記Ｇ光光電変換層の１画素の信号電荷と、この１画素に対応する位置の他の光光電変換層の対応画素及び該対応画素に隣接する周辺画素の各信号電荷とをそれぞれ読み出し、前記Ｇ光光電変換層の１画素の信号電荷に応じた値と、前記他の光電変換層の前記対応画素及び前記周辺画素の各信号電荷に応じた値とに基づいて、前記１画素に対する多色の画素信号を生成することを、全画素位置に対して行うことを特徴とする固体撮像素子の信号処理方法。

この固体撮像素子の信号処理方法によれば、Ｇ光光電変換層の各画素の解像度をそのままとして画素信号を生成し、他の光電変換層に対する複数画素を処理して画素信号を生成することで、各色相の光電変換部の感度バランスを向上して高画質化、高感度化を図ることができる。

（２０） 前記他の光電変換層の前記対応画素及び前記周辺画素の各信号電荷に応じた値を求める処理が、２次元配列された前記Ｇ光光電変換層の画素Ｇ（ｍ，ｎ）（但し、ｍ，ｎは整数）に対して、この画素Ｇ（ｍ，ｎ）の位置に対応する前記Ｂ光光電変換層の対応画素Ｂ（ｍ，ｎ）及び周辺画素Ｂ（ｍ＋ａ，ｎ＋ｂ）（但し、ａ，ｂは正又は負の整数）の各信号電荷を最終的に合算する処理を含むことを特徴とする（１９）記載の固体撮像素子の信号処理方法。

この固体撮像素子の信号処理方法によれば、画素Ｇ（ｍ，ｎ）の位置に対応するＢ光光電変換層の対応画素Ｂ（ｍ，ｎ）及び周辺画素Ｂ（ｍ＋ａ，ｎ＋ｂ）の各信号電荷を最終的に合算することにより、隣接する画素同士が合算されて、感度が高められ、信号のＳ／Ｎが向上する。

（２１） 前記他の光電変換層の前記対応画素及び前記周辺画素の各信号電荷に応じた値を求める処理が、２次元配列された前記Ｇ光光電変換層の画素Ｇ（ｍ，ｎ）（但し、ｍ，ｎは整数）の画素位置に対して、このＧ（ｍ，ｎ）の位置に対応する前記Ｒ光光電変換層の対応画素Ｒ（ｍ，ｎ）及び周辺画素Ｒ（ｍ＋ａ，ｎ＋ｂ）（但し、ａ，ｂは正又は負の整数）の各信号電荷を最終的に合算する処理を含むことを特徴とする（１９）記載の固体撮像素子の信号処理方法。

この固体撮像素子の信号処理方法によれば、画素Ｇ（ｍ，ｎ）の位置に対応するＢ光光電変換層の対応画素Ｒ（ｍ，ｎ）及び周辺画素Ｒ（ｍ＋ａ，ｎ＋ｂ）の各信号電荷を最終的に合算することにより、隣接する画素同士が合算されて、感度が高められ、画素信号のＳ／Ｎが向上する。

（２２） 前記信号電荷を最終的に合算する処理が、前記光電変換層の各画素に蓄積される電荷を混合する処理であることを特徴とする（２０）又は（２１）記載の固体撮像素子の信号処理方法。

この撮像装置によれば、各画素に蓄積された電荷を混合することで、画像信号作成の際、後段の信号処理を軽減することができる。

（２３） 前記信号電荷を最終的に合算する処理が、前記光電変換層の各画素の信号電荷に基づいて生成した画素信号を加算する処理であることを特徴とする（２０）又は（２１）記載の固体撮像素子の信号処理方法。

この撮像装置によれば、各画素の信号電荷に基づいて生成した画素信号を、簡単な処理で合算させることができる。

（２４） 前記信号電荷を最終的に合算する処理が、前記対応画素と前記周辺画素のそれぞれに対して、画素位置に応じた重み係数を乗じる処理を含むことを特徴とする（２３）記載の固体撮像素子の信号処理方法。

この固体撮像素子の信号処理方法によれば、処理対象とする画素位置に対応する対応画素と周辺画素のそれぞれに対して、画素位置に応じた重み係数を乗じることにより、画素位置に応じて独立した重み付け度合いを付与することができる。もって、処理対象とする画素以外の画素からの画素信号を実質的に合算するか、或いはしないか、また、どの程度加算に寄与させるかを任意に設定することができる。

（２５） 前記重み係数を、撮影用途に応じて設定することを特徴とする（２２）記載の固体撮像素子の信号処理方法。

この固体撮像素子の信号処理方法によれば、重み係数を撮影用途に応じて設定することにより、撮影用途に即した最適な条件で撮影ができる。

（２６） 前記重み係数を、前記対応画素に対しては大きく、前記周辺画素に対しては小さく設定することを特徴とする（２４）又は（２５）記載の固体撮像素子の信号処理方法。

この固体撮像素子の信号処理方法によれば、重み係数を対応画素に対しては大きく、周辺画素に対しては小さく設定することにより、処理対象としている画素に対し、その位置の画素値については反映度が大きく、周辺画素の画素値については反映度が小さくなって画素信号が生成される。そして、重み係数の大小により画質のボケ度合いを調整でき、撮像性能の最適化が図られる。

（２７） 前記重み係数が、撮影対象の輝度が高いほど前記対応画素の重み係数を前記周辺画素の重み係数より大きく設定し、撮影対象の輝度が低いほど前記対応画素の重み係数と前記周辺画素の重み係数との差を小さく設定することを特徴とする（２４）又は（２５）記載の固体撮像素子の信号処理方法。

この固体撮像素子の信号処理方法によれば、撮影対象の輝度が高いほど対応画素の重み係数を周辺画素の重み係数より大きく設定してボケ度合いを少なくし、撮影輝度が低いほど対応画素の重み係数と周辺画素の重み係数との差を小さく設定してボケ度合いを大きくする。これにより、高輝度では画素同士の実質的な合算を抑えて解像度を高め、低輝度では画素同士の実質的な合算を行って感度を高め、画素信号のＳ／Ｎを向上させることができる。

（２８） 前記重み係数が、静止画撮影の場合に前記対応画素の重み係数を前記周辺画素の重み係数より大きく設定し、動画撮影の場合に前記対応画素の重み係数と前記周辺画素の重み係数との差を小さく設定することを特徴とする（２４）又は（２５）記載の固体撮像素子の信号処理方法。

この固体撮像素子の信号処理方法によれば、静止画撮影の場合に対応画素の重み係数を周辺画素の重み係数より大きく設定してボケ度合いを少なくして、動画撮影の場合に対応画素の重み係数と周辺画素の重み係数との差を小さく設定してボケ度合いを大きくする。これにより、静止画撮影では画素同士の実質的な合算を抑えて解像度を高め、動画撮影では画素同士の実質的な合算を行って１フレームの画素数を減少させることで高速処理を可能とする。

（２９） （１８）〜（２８）のいずれか１項記載の固体撮像素子の信号処理方法を用いて撮像することを特徴とするデジタルカメラの制御方法。

このデジタルカメラの制御方法によれば、固体撮像素子の信号処理方法に基づいて撮像することで、デジタルカメラの撮像性能を使用目的に応じて最適化することができる。

本発明によれば、撮影対象の輝度が低い場合でも視覚的な色解像度の低下を抑えつつ画素信号のＳ／Ｎを高めることができ、これにより、各色相の光電変換部の感度バランスを向上して高画質化、高感度化を図ることができる。もって、光電変換部が積層構造の固体撮像素子であっても、下位層の光電変換部への光到達量減少による画質劣化の影響を受けることがなく、また、多板式の固体撮像素子であっても、各光電変換部の特性を無駄なく発揮させる構成にできる。そして、Ｇ光以外の光に対して光電変換部の電荷を複数画素で処理することを撮影条件等に応じて選択的に或いは自動的に設定することで、撮影者の意図した画質の画像データを形成することができる。

以下、本発明に係る撮像装置及び固体撮像素子の信号処理方法、並びにデジタルカメラ及びその制御方法の好適な実施の形態について、図面を参照して詳細に説明する。
図１は、本発明の固体撮像装置の一実施形態に係る多層構造の固体撮像素子における１画素分の断面模式図である。この実施形態では、光電変換層を３層積層して、赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の３原色に対応する電気信号を取り出す構成、即ち、カラー画像を撮像する構成になっているが、さらに、これ以外の色（例えば中間色であるエメラルド色ＧＢ）に対応する光電変換層を追加して、色再現性を向上した構成としてもよい。

図１において、ｎ型シリコン基板１０に形成されたＰウェル層１１の表面側には、下位層としての転送路層１３が形成され、この転送路層１３の上方には上位層としての３層の光電変換部１５が形成されている。
光電変換部１５は、Ｇ光を吸収してＧ信号電荷を発生するＧ光光電変換層１７（以降はＧ感光層と称する）、Ｂ光を吸収してＢ信号電荷を発生するＢ光光電変換層１９（以降はＢ感光層と称する）、Ｒ光を吸収してＲ信号電荷を発生するＲ光光電変換層２１（以降Ｒ感光層と称する）で構成され、各感光層１７，１９，２１は、透明電極２３ｇ、２３ｂ、２３ｒと透明対向電極２５ｇ，２５ｂ，２５ｒとの間に挟まれている。
また、Ｇ感光層１７はＲ（赤）光とＢ（青）光を透過し、Ｂ感光層１９はＧ光とＲ光を透過し、Ｒ感光層２１はＢ光とＧ光を透過する。これにより、各感光層１７，１９，２１が積層された状態でも、感光層自体に起因して下層側の感光層への光到達量が減少することはない。

各透明対向電極２５ｇ，２５ｂ，２５ｒは、画素毎に独立して設けられ、コンタクト電極２７ｇ，２７ｂ，２７ｒを介して各画素の信号電荷蓄積ダイオード２９ｇ，２９ｂ，２９ｒに接続されている。

ｎ型シリコン基板１０に形成されたＰウェル層１１の表面部には、赤色信号蓄積用の信号電荷蓄積ダイオード２９ｒと、赤色信号読出用の垂直転送路３１ｒと、緑色信号蓄積用の信号電荷蓄積ダイオード２９ｇと、緑色信号読出用の垂直転送路３１ｇと、青色信号蓄積用の信号電荷蓄積ダイオード２９ｂと、青色信号読出用の垂直転送路３１ｂとが形成されている。

各信号電荷蓄積ダイオード２９ｇ，２９ｂ，２９ｒに蓄積された信号電荷は、回路層３０のＣＣＤ転送回路である垂直転送路３１ｇ，３１ｂ，３１ｒにより、画素信号として読み出される。

各垂直転送路３１ｇ，３１ｂ，３１ｒの上部には絶縁層と遮光層からなる絶縁・遮光膜３３が形成されている。なお、ここではＧ感光層１７を最上部として、Ｇ感光層１７の下部にＢ感光層１９、Ｒ感光層２１の順番で配置した例を示したが、Ｇ感光層１７の下部にＲ感光層２１、Ｂ感光層１９の順番で配置された構成であってもよい。

上述した色信号蓄積用の信号電荷蓄積ダイオード２９ｂ，２９ｂ，２９ｒに蓄積された信号電荷量に応じた信号は、垂直転送路３１ｇ，３１ｂ，３１ｒによって読み出され、更に、図示は省略するが、半導体基板に形成された読み出し電極によって外部に取り出される。その構成は、従来のＣＣＤイメージセンサ等と同様である。

また、この例では、半導体基板に形成したＣＣＤ転送回路で信号電荷量に応じた信号を読み出す構成としたが、色信号蓄積用の信号電荷蓄積ダイオード２９ｇ，２９ｂ，２９ｒの蓄積電荷を、従来のＣＭＯＳイメージセンサと同様に、半導体基板に形成したＭＯＳ回路で信号電荷量に応じた信号をアドレッシング操作により読み出す構成にすることもできる。

透明電極２３ｇ，２３ｂ，２３ｒや透明対向電極２５ｇ，２５ｂ，２５ｒは、均質な透明電極膜であって、酸化錫（ＳｎＯ_２）、酸化チタン（ＴｉＯ_２）、酸化インジウム（ＩｎＯ_２）、酸化インジウム−錫（ＩＴＯ）薄膜を用いることができる。また、その形成方法としては、レーザアブレージョン法，スパッタ法等がある。ただし、電極材料としては、これに限るものではない。

各色の感光層１７，１９，２１は、光伝導型、ｐ−ｎ接合型、ショットキー接合型、ＰＩＮ接合型、ＭＳＭ（金属−半導体−金属）型の受光素子やフォトトランジスタ型の受光素子を適用することができる。受光素子を構成する材料としては、Ｓｉ、ａ−Ｓｉ、ＣｄＳ、ＺｎＳ、Ｓｅ、ＳｅＴｅＡｓ、ＺｎＳｅ、ＧａＡｓ等の無機半導体材料や、任意の有機半導体材料を用いることができる。

有機半導体材料としては、入射光に対して吸収ピークを持つ材料を適用することが好ましく、例えば以下に示す化合物を好適に用いることができる。ペリレン、テトラセン、ペンタセン、ピレン、に代表されるアセン類、およびその誘導体。ポリアセチレン誘導体、チオフェン環を有するポリチオフェン誘導体、ポリ（３−アルキルチオフェン）誘導体、ポリ（３，４−エチレンジオキシチオフェン）誘導体、ポリチエニレンビニレン誘導体、ベンゼン環を有するポリフェニレン誘導体、ポリフェニレンビニレン誘導体、窒素原子を有するポリピリジン誘導体、ポリピロール誘導体、ポリアニリン誘導体、ポリキノリン誘導体等の共役高分子化合物。ジメチルセクシチオフェン、クオータチオフェンに代表されるオリゴマー。銅フタロシアニン誘導体に代表される有機分子、トリフェニレン誘導体に代表されるディスコチック液晶、フェニルナフタレン誘導体、ベンゾチアゾール誘導体に代表されるスメクチック液晶、ポリ（９，９−ジアルキルフルオレン−ビチオフェン）共重合体に代表される液晶ポリマー等が挙げられるが、これらに限定されるものではない。

また、ここでいう有機半導体とは、広義にはキャリア（電子、ホール）の移動を利用できる有機材料であり、一般的な色素や顔料を含み、例えば、ローダミンＢ、エオシン−Ｙ、クマリン等の色素材料を適用することもでき、アゾ顔料やスクアリリウム顔料、アズレニウム顔料、フタロシアニン顔料等を適用することもできる。

受光素子を構成する材料として、これらの有機半導体材料、色素材料を混合したり、積層したりすることも可能である。例えば、受光スペクトルを制御した有機半導体（色素）材料と電気伝導度の優れた有機半導体材料を混合すること等が考えられる。

また、本発明で用いられる有機化合物半導体層はその電気伝導度を調整する為に適当なドーパントを含有していても良い。ドーパントの種類としてアクセプター性のＩ_２、Ｂｒ_２、Ｃｌ_２、ＩＣｌ、ＢＦ_３、ＰＦ_５、Ｈ_２ＳＯ_４、ＦｅＣｌ_３、ＴＣＮＱ（テトラシアノキノジメタン）、ドナー性のＬｉ、Ｋ、Ｎａ、Ｅｕ、界面活性剤であるアルキルスルホン酸塩、アルキルベンゼンスルホン酸塩等があげられる。

以上の固体撮像素子１００の構成は、従来のＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサの半導体プロセスによって製造される。

図２は上記構成の固体撮像素子１００を含む撮像装置２００の概念的なブロック構成図である。
固体撮像素子１００は、上述の光電変換部１５が水平・垂直方向に複数配列されてなり、入射光量に応じて各光電変換部１５に蓄積される信号電荷を、光電変換部１５の下層に配置した垂直転送路３１ｇ，３１ｂ，３１ｒに送り、送り出した信号電荷を垂直転送路３１ｇ，３１ｂ，３１ｒによって順次転送して水平転送路３５に送り、さらに水平転送路３５によって順次転送してフローティングディフィージョンアンプ３７に送り、画素信号を出力する。出力された画素信号は、アナログ信号処理部３９で所定のアナログ信号処理が施され、Ａ／Ｄ変換部４１でデジタル信号に変換された後、デジタル信号処理部４３等に送られる。ここで、垂直転送路３１ｇ，３１ｂ，３１ｒと水平転送路３５による信号電荷の転送は、撮像素子駆動部４５からの駆動信号によりなされる。なお、光電変換部１５の配列パターンは、図示のような正方格子配列の他、この正方格子配列を４５゜回転させた配列パターンとしてもよい。

次に、上記の多層構造の固体撮像素子１００の信号処理方法について説明する。
図３は固体撮像素子の画素を模式的に示した説明図である。
Ｇ感光層１７、Ｂ感光層１９、Ｒ感光層２１の３層構造である固体撮像素子１００は、例えば３×３画素分の画素領域を各層毎に示すと、３×３の画素領域が上下方法に重なった画素配列を呈する。

従って、最上層のＧ感光層１７は入射光ａを殆ど直接受けることができるが、Ｂ感光層１９はＧ感光層１７からの透過光ｂが照射されることになる。また、Ｒ感光層２１はさらにＢ感光層１９からの透過光ｃが照射されることになる。また、図１にも示したように、コンタクト電極２７ｇ，２７ｂ，２７ｒが画素領域の一部を遮光するため、下層の感光層ほど光到達量が減少して感度が低下する傾向がある。一般に、信号処理により感度を向上させるにはゲインを上げればよいが、ノイズ成分も併せて増幅されることになり、結果としてＳ／Ｎが低下することになる。
そこで、本発明においては、人間の視覚解像度特性がＧ光の波長域に対しては高く、Ｂ光、Ｒ光の波長域に対しては低いことを利用して、Ｇ光に対しては通常通りに１画素単位で画素信号を生成し、Ｂ光とＲ光に対しては、Ｂ感光層１９とＲ感光層２１の画素からの信号電荷を複数画素で合算してＳ／Ｎを高めて画素信号を生成するようにしている。
この方法では、Ｂ画素とＲ画素に対しては、生成する画像がボケを生じることとなるが、人間の視覚解像度特性は、元々ＲやＢに対しては低いので、Ｂ画素とＲ画素に対してそれぞれ画素同士を合算しても実質的に画質が劣化することは殆どない。つまり、視覚的な色解像度やＳ／Ｎを下げることなく、撮影対象が低輝度であっても良好な光検出が可能となる。

各感光層における複数画素の信号電荷を合算する方法としては、大略的には、感光層の各画素に蓄積される電荷を混合する処理である電荷混合と、感光層の各画素の信号電荷に基づいて生成した画素信号を加算する処理である画素加算とがある。いずれの方法でも本発明の信号電荷の合算が可能であるが、ここではまず、画素加算を例にとり、画素信号をデジタル化した後に加算処理する手法を説明する。

図４は３×３画素に対する画素加算の具体例を示す説明図で、（ａ）はＧ画素、（ｂ）はＢ画素、（ｃ）はＲ画素を示す図である。
以下の処理は、図２におけるデジタル信号処理部４３によりなされる。
いま、水平方向位置をｍ、垂直方向位置をｎで表し、画素（ｍ，ｎ）の位置に対する画素加算の手順を説明する。ここでは、Ｇ信号は画素加算なし、Ｂ信号及びＲ信号は、隣接８画素を中心画素に加算する処理を行う。
画素加算処理後のＧ信号をＧ（ｍ，ｎ）、画素加算処理後のＢ信号をＢ（ｍ，ｎ）、画素加算処理後のＲ信号をＲ（ｍ，ｎ）として、具体的な処理内容を（１）〜（３）式に示した。

Ｇ（ｍ，ｎ）信号＝ｇ（ｍ，ｎ） ・・・（１）

Ｂ（ｍ，ｎ）信号＝
ｋ(-1，1)×ｂ(m-1，n-1)＋ｋ(0，1)×ｂ(m，n-1)＋ｋ(1，1)×ｂ(m+1，n-1)
＋ｋ(-1，0)×ｂ(m-1，n) ＋ｋ(0，0)×ｂ(m，n) ＋ｋ(1，0)×ｂ(m+1，n)
＋ｋ(-1，-1)×ｂ(m-1，n+1)＋ｋ(0，-1)×ｂ(m，n+1)＋ｋ(1，-1)×ｂ(m+1，n+1)
・・・（２）

Ｒ（ｍ，ｎ）信号＝
ｋ(-1，1)×ｒ(m-1，n-1)＋ｋ(0，1)×ｒ(m，n-1)＋ｋ(1，1)×ｒ(m+1，n-1)
＋ｋ(-1，0)×ｒ(m-1，n) ＋ｋ(0，0)×ｒ(m，n) ＋ｋ(1，0)×ｒ(m+1，n)
＋ｋ(-1，-1)×ｒ(m-1，n+1)＋ｋ(0，-1)×ｒ(m，n+1)＋ｋ(1，-1)×ｒ(m+1，n+1)
・・・（３）

但し、
ｇ（ｍ，ｎ）：画素加算処理前のＧ信号
ｂ（ｍ，ｎ）：画素加算処理前のＢ信号
ｒ（ｍ，ｎ）：画素加算処理前のＲ信号
ｋ：重み係数
である。

重み係数ｋは、ここでは３×３のマスクパターンであり、図５に一例を示した。図５は、画素加算を行わないマスクパターン（ａ）と、３倍画素加算するマスクパターン（ｂ）と、９倍画素加算するマスクパターン（ｃ）を示す図である。図５（ａ）のマスクパターンでは、マスク中央の重み係数ｋ（０，０）のみが１であり、他は０とされており、上記（１）〜（３）式にこのマスクパターンを適用する場合には、中心画素（ｍ，ｎ）に対するＧ、Ｂ、Ｒ各色の信号のみが有効となり、結果として中心画素と周辺画素との加算は行われない。

図５（ｂ）のマスクパターンでは、マスク中央の重み係数ｋ（０，０）が１／３で、他は１／１２とされている。この場合では、中心画素（ｍ，ｎ）の重み付けを大きくして、周辺画素との画素加算がなされる。これにより中心画素と隣接する周辺画素との間で画素信号が平均化されてＳ／Ｎが向上する。

図５（ｃ）のマスクパターンでは、いずれの重み係数ｋも１／９とされており、中心画素と周辺画素とが、図５（ｂ）のマスクパターンの場合よりも平均化度合いを一層高められて、Ｓ／Ｎがより向上する。

なお、重み係数ｋ（-1，1）〜ｋ（1，-1）のすべてを１とすると、Ｂ（ｍ，ｎ）信号、Ｒ（ｍ，ｎ）信号は、画素加算処理前のｂ（ｍ，ｎ）信号、ｒ（ｍ，ｎ）信号の９倍となる。但し、Ｂ（ｍ，ｎ）信号、Ｒ（ｍ，ｎ）信号は周辺一画素まで広がり、ボケを生ずる。一方、重み係数ｋ（0，0）を最大値として、ｋ（-1，1）〜ｋ（1，-1）の各係数に重み付けすると、ボケ量は小さくなり、感度アップも小さくなる。そのため、重み係数ｋは、撮像装置２００の撮影用途や撮影目的に応じて最適な状態が得られるよう、重み係数ｋの値が適宜設定される。

図６は画素加算の処理対象点を移動させる様子を示す説明図で、（ａ）はＧ信号、（ｂ）はＢ信号、（ｃ）はＲ信号を表している。
図６（ａ）の左側に示す画素（ｍ，ｎ）に対するＧ信号をＧ（ｍ，ｎ）信号として表すと、Ｂ（ｍ，ｎ）信号及びＲ（ｍ，ｎ）信号は、図６（ｂ）、（ｃ）に示すように、Ｇ画素（ｍ，ｎ）に対応する対応画素（ｍ，ｎ）と、この対応画素（ｍ，ｎ）に隣接する周辺画素とを画素加算した信号となる。そして、処理対象点である画素（ｍ，ｎ）を水平方向隣（図中右側）に移動して、画素（ｍ＋１，ｎ）に対する画素信号を求めるには、Ｇ信号では、図６（ａ）の右側に示すＧ（ｍ＋１，ｎ）信号となる。また、Ｂ信号、Ｒ信号では、図６（ｂ）、（ｃ）の右側に示すように、対応画素（ｍ＋１，ｎ）と、この対応画素（ｍ＋１，ｎ）に隣接する周辺画素とを画素加算した信号となる。このようにして、処理対象点を水平方向、垂直方向に移動させていくことで、画面全体の画素加算処理を行う。
なお、加算する画素数が多いほど、色信号のＳ／Ｎが向上するが、その一方で色解像度が低下する。つまり、加算する隣接画素数は、色信号のＳ／Ｎと色解像度のトレードオフとなる。また、マスクパターンは３×３画素を例示しているが、これに限らず更に大きなサイズであってもよい。そして、本構成ではデジタル信号処理部４３が重み付け手段として機能して、最適な重み係数が記憶されている。

以上説明したように、本実施形態の撮像装置２００によれば、Ｇ，Ｂ，Ｒの３つの感光層を積層して一つ（１画素分）の光電変換部を構成するため、下層の感光層ほど透過光量が減少して感度が低くなり、Ｓ／Ｎが低下する傾向があるが、上層の感光層の１画素の信号電荷に対して、この１画素に対応する位置の下層の感光層の対応画素及び該対応画素に隣接する周辺画素の各信号電荷の処理結果、即ち、各信号電荷を実質的に合算する処理をし、この合算処理した値と、上層の感光層の１画素の信号電荷による値とにより、当該１画素に対する画素信号を生成する。これにより、下層の感光層（Ｂ，Ｒ）の画素に対する画素信号のＳ／Ｎを向上して、高品位な画像形成が可能となる。また、下層の感光層に対して複数画素で信号電荷の合算を行っても、視覚的には解像度の低下が目立たず、実質的に画像にボケを感じさせることがない。また、デジタル信号処理により画素加算を行うので、固体撮像素子の構造を変えることなく、使用目的に応じた撮像性能の最適化が容易に可能となる。

また、上記実施形態の固体撮像素子としてＣＣＤイメージセンサを示しているが、本発明はこれに限らず、ＣＭＯＳイメージセンサを用いることもできる。
このようなＣＭＯＳイメージセンサでも上述のＣＣＤイメージセンサと同様の処理が行え、同様の作用効果が得られる。

次に、本発明に係る撮像装置の第２実施形態を説明する。
本実施形態における各画素の信号電荷の合算は、図２におけるアナログ信号処理部３９によりなされる。
ここでは、フローティングディフィージョンアンプ３７から出力されてくるアナログ信号のうち、Ｂ信号とＲ信号に対して、信号電荷に応じたアナログ信号を増幅（或いは減衰）させて、所定の画素同士を加算することに相当する画素加算処理を行う。また、信号増幅する以外にも、出力されたアナログ信号をローパスフィルタＬＰＦを通過させて、平均化することでもよい。この方法ではアナログ回路をより簡単な構成にできる。

上記アナログ回路による画素の信号電荷の合算によれば、デジタル回路で合算する場合と比較して高速処理が可能となり、装置構成を簡単化することができる。

次に、本発明に係る撮像装置の第３実施形態を説明する。
本実施形態における画素の信号電荷の合算は、感光層の各画素に蓄積される信号電荷を混合する電荷混合によるものである。
この場合にはＣＣＤイメージセンサが用いられる。電荷混合の手法としては、前述した画素信号の加算を固体撮像素子１００内で電荷読み出しの際の電荷移送ライン（垂直転送路３１ｇ，３１ｂ，３１ｒ、水平転送路３５）での混合等が挙げられる。また場合によっては、水平転送路３５に電荷の蓄積部を介装して、この蓄積部で混合することもできる。つまり、電荷読み出し方法としては、ラインアドレス（line address）型、フレーム転送（frame transfer）型やインターライン転送（interline transfer）型、フレームインターライン転送（frame interline transfer）型等のいずれの方式であってもよい。

図７に電荷混合の場合の画素信号生成手順の説明図を示した。図中（ａ）は各画素のＧ信号であり、（ｂ）、（ｃ）はそれぞれＢ信号、Ｒ信号を表している。例えば電荷混合により、図４に示す３×３画素の画素加算と同等な処理を行う場合を考えると、Ｇ信号に示す各画素のうちＡ_G1で示す位置の画素信号は、Ｇ信号としてＡ_G1を用い、Ｂ信号として、Ａ_G1で示す位置を含む３×３画素を電荷混合した結果Ａ_Bを用い、Ｒ信号として、Ａ_G1で示す位置を含む３×３画素を電荷混合した結果Ａ_Rを用いる。Ｂ信号とＲ信号に関しては、Ｇ信号のＡ_G1〜 Ａ_G9画素に対応するＢ信号の対応画素は全てＡ_Bを用い、Ｒ信号の対応画素は全てＡ_Rを用いる。つまり、Ａ_G1〜Ａ_G9の画素に対するＢ信号、Ｒ信号は、画素混合した値Ａ_B、Ａ_Rを一律に用いる。

そして、Ｇ信号のうちＡ_G3の隣の画素であるＢ_G１に対しては、Ｇ信号としてＢ_G1を用い、Ｂ信号として、Ｇ信号のB_G1〜Ｂ_G9の画素に対応する対応画素は全てＢ_Bを用い、Ｒ信号の対応画素は全てＢ_Rを用いる。
このように、Ｇ信号に対しては、画素単位で各画像信号を生成し、Ｂ信号、Ｒ信号に対しては、３×３のブロック内の画素に対して電荷混合を行い、その結果をブロック内の画素に対して共通に用いて画素信号を生成している。

本実施形態の撮像装置によれば、画素加算に代えて電荷混合を行うことで、各画素からの信号電荷の読み出し後に演算処理することなく、高速な画素信号の生成が可能となる。なお、電荷混合する画素は上記例に限らず、更に他の画素との混合であってもよい。

また、以上説明した複数画素の画素信号或いは信号電荷の合算処理は、Ｂ画素とＲ画素の双方に対して行っているが、これに限らず、Ｂ画素のみ、或いはＲ画素のみ合算するものであってもよい。例えば、撮影状況に応じて感度や色解像度、Ｓ／Ｎが十分なレベルで得られる場合には、Ｂ画素、Ｒ画素に対して個別に合算するしないを適宜選択することで、より適切な信号処理が行えるようになる。その結果、感度、色解像度、Ｓ／Ｎの良好な画像データを確実に生成することができる。

次に、上記の固体撮像素子の信号処理方法を用いた本発明に係る撮像装置の第４実施形態を説明する。
図８に本実施形態に係る撮像装置の一例としての構成図を示した。
本実施形態の撮像装置３００は、所謂、デジタルカメラであって、静止画撮影と動画撮影とを可能に構成している。以下に撮像装置３００の構成を説明する。
撮像装置３００は、固体撮像素子１００とレンズや絞り等の光学系を搭載した撮像部７１、アナログ信号処理部３９、Ａ／Ｄ変換部４１、撮像素子駆動部４５と光学系駆動部７３を有する駆動部７５、デジタル信号処理部４３、記録メディア７７を着脱可能に備える記録部７９、撮像画像の輝度情報を抽出して積分することにより測光を行う測光手段としての測光部８１、表示部８３、内部メモリ８５、各部を制御するシステム制御部８７、システム制御部８７に必要情報を入力する操作部８９を含んで構成される。

撮像部７１は、撮影レンズ、絞り、光学フィルタ（赤外吸収フィルタ、光学ＬＰＦ）等の光学系及び固体撮像素子１００を含み、被写体の撮影を行うものであって、アナログの撮像画素信号を出力する。撮像部７１で得られた撮像画像信号は、アナログ信号処理部３９に送られ、所定のアナログ信号処理を施し、Ａ／Ｄ変換部４１でデジタル信号に変換して撮影画像データとした後、デジタル信号処理部４３等に送られる。

撮影に際しては、駆動部７５を介して撮像部７１が制御される。ＣＣＤイメージセンサ等の電荷転送型の固体撮像素子１００は、操作部８９が備えるシャッターレリーズボタン等の操作によるレリーズスイッチオンを契機として、所定のタイミングで、駆動部７５に含まれるタイミングジェネレータ（図示略）からの駆動信号によって駆動される。

駆動部７５は、主に、システム制御部８７の制御に基づいて所定の駆動信号を出力するものであり、撮像素子駆動部４５と光学系駆動部７３等を備える。撮像素子駆動部４５は、固体撮像素子の露光後に光電変換素子からの信号電荷を読み出して転送するものである。

内部メモリ８５は、例えばＤＲＡＭからなり、各種撮影シーンに適応してプログラムした各種撮影モードのプログラム等が記憶されている。また、デジタル信号処理部４３、システム制御部８７のワークメモリとして利用される他、記録メディア７７に記録される撮影画像データを一時的に記憶するバッファメモリ、表示部８３への表示画像データのバッファメモリとしても利用される。

デジタル信号処理部４３は、Ａ／Ｄ変換部４１からのデジタル画像データに対して、操作部８９によって指示された動作モードに応じたデジタル信号処理を行うものであり、例えばＤＳＰ等で構成される。デジタル信号処理部４３が行う処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理（撮像部からの原色信号に対して、撮像素子の光電変換特性に起因する混色成分を除去する補正を行う処理で、ＲＧＢ入力に対する３×３のマトリクス演算によるもの）、ホワイトバランス調整処理（ゲイン調整）、ガンマ補正処理、画像合成処理、同時化処理、Ｙ／Ｃ変換処理等が含まれる。

記録部７９は、メモリカード等の記録メディア７７との間のデータの入出力を行うものである。
測光部８１は、予め設定された検出範囲に対応する撮像画像の輝度を抽出して積分することにより測光を行い、この測光によって取得した検出値をシステム制御部８７に送信する。システム制御部８７は、この検出値に基づいて、露光時間Ｔ（電荷蓄積時間）と絞り値等を算出し駆動部７５に送信する。

表示部８３は、例えばＬＣＤ装置を含んで構成され、撮影されアナログ・デジタル信号処理を経た画像データに基づく画像や、記録メディア７７に記録された圧縮画像データを伸張処理して得た画像データに基づく画像等を表示する。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。

操作部８９は、デジタルカメラ使用時の各種操作を行うもので、デジタルカメラの動作モード（静止画撮影モード、動画撮影モード、全自動撮影モード、高感度撮影モード等）、撮影時の撮影方法、撮影条件、設定等を行う。つまり、撮影モード設定手段としても機能する。操作部８９は、それぞれの機能に対応する操作部材を設けてもよいが、表示部８３の表示と連動して操作部材を共用してもよい。

次に、上記構成の撮像装置３００の動作例を説明する。
本実施形態の撮像装置３００は、設定された撮影モードに応じて前述した各実施形態の画素加算又は電荷混合の処理を選択的に実施することができる。なお、ここでは第１実施形態で説明した画素加算を例にとり説明する。
図９は撮影モードに応じて画素加算を行う手順を示すフローチャートである。
図９に沿って手順を説明すると、まず、操作部８９からの入力によりシステム制御部８７において撮影モードを設定する（ステップ１１、以降はＳ１１と略記する）。次に、設定された撮影モードが高感度撮影モードであるか判定する（Ｓ１２）。例えば、夜景撮影モードが選択された場合やストロボ撮影時では高感度撮影モードとなっている。その他、全自動撮影モードにおいては、測光部８１によって撮影対象が輝度の低いと判定された場合に、撮影条件が自動的に高感度設定に変更される。この場合も高感度撮影モードが選択されたものとする。

高感度撮影モードが選択された場合には、画素加算条件を設定する（Ｓ１３）。即ち、Ｂ画素とＲ画素（或いはＢ画素のみ、Ｒ画素のみ）に対して、画素加算に寄与する画素範囲を設定する。また、画素加算時の重み付け用として、この画素範囲と同じサイズのマスクパターンの重み係数ｋをそれぞれ設定する。具体的には、例えば、Ｇ感光層の１画素に対して、この１画素に対応する位置のＢ感光層、Ｒ感光層の対応画素及び該対応画素に隣接する周辺画素の各信号電荷に基づく信号を、（２）、（３）式に基づいてマスクパターンの重み係数ｋを設定する。このときの隣接する周辺画素としては、対応画素に隣接する８画素とすること以外にも、例えば上下、左右の２画素、上下左右の４画素、或いは斜め方向の４画素等と任意に設定することができる。

そして、固体撮像素子１００により撮影を行い（Ｓ１４）、素子１００から出力されるアナログ信号をデジタル変換して、Ｂ画素とＲ画素に対して画素加算処理を行う（Ｓ１５）。これにより、画素加算を行わずに出力するＧ画素と、画素加算を施したＢ画素及びＲ画素の各画素信号により、画像データを作成する（Ｓ１６）。

一方、Ｓ１２において、高感度撮影モードが選択されていない場合には、画素加算を行うことのない通常の撮影を行い（Ｓ１７）、撮影されて得られる各画素信号により、通常の処理による画像データを作成する（Ｓ１６）。

このようにして、高感度撮影モードか否かにより画素加算を選択的に行うことで、撮影対象の輝度が高く、画像の解像度が画質の優劣を支配する要因である場合には、色解像度を重視して画素加算を行わない。つまり、Ｒ，Ｇ，Ｂの各画素に対する色解像度をそのまま保持して画像データを作成する。これにより、固体撮像素子１００自体が有する解像力を犠牲にすることなく、高い色解像度で画像データを作成することが可能となる。

また、撮影対象の輝度が低く、ノイズ比率の増加により、むしろ画像のＳ／Ｎが画質の優劣を支配する要因となる場合には、Ｂ画素とＲ画素に対して上記の画素加算を行って、実質的な感度向上によりＳ／Ｎを高め、かつ、視覚解像度の画質への影響が比較的高いＧ色に対しては、Ｇ画素の画素加算は行わず、各Ｇ画素に対する解像度をそのまま保持して画像データを作成する。これにより、撮影対象の輝度が低い場合でも色解像度の低下を抑えつつ、Ｓ／Ｎの高い画像データを作成することが可能となる。

そして、本撮像装置においては撮影対象の輝度に応じて色解像度を重視するか、Ｓ／Ｎを重視するかを選択的に設定することができるため、固体撮像素子１００の構造を変更することなく、撮影条件に応じて撮像性能の最適化が可能となり、撮影者が意図した画質の画像データを形成することができる。

次に、上記構成の撮像装置３００の他の動作例を説明する。
ここでの撮像装置３００は、静止画撮影モードか動画撮影モードかに応じて、前述した各実施形態の画素加算又は電荷混合の処理を選択的に実施するものである。動画撮影モードでは、高速駆動が可能な電荷混合を例に取り説明する。
図１０は撮影モードに応じて電荷混合を行う手順を示すフローチャートである。
図１０に沿って説明すると、まず、操作部８９からの入力によりシステム制御部８７において撮影モードを設定する（Ｓ２１）。次に、設定された撮影モードが動画撮影モードであるか判定する（Ｓ２２）。

動画撮影モードが選択された場合には、固体撮像素子１００の電荷移送ラインで電荷混合を行うときは、撮像素子駆動部４５から出力される垂直転送路３１ｂ，３１ｎ，３１ｒや水平転送路３５に印加する電荷転送パルスを、所望の電荷混合させるパターンに設定する（Ｓ２３）。即ち、Ｂ画素とＲ画素（或いはＢ画素のみ、Ｒ画素のみ）に対して、所定の画素範囲の画素にそれぞれ蓄積される電荷を、それぞれ足し合わせるように電荷転送パルスを生成する。このときの所定の画素範囲とは、ある１画素に対しては、この１画素に隣接する周辺画素で、隣接する８画素とすること以外にも、例えば上下、左右の２画素、上下左右の４画素、或いは斜め方向の４画素等と任意に設定することができる。そして、画素加算する際の重み係数は、撮影状況に応じてシステム制御部８７が重み係数設定手段として機能して設定される。

次に、固体撮像素子１００により撮影を開始し（Ｓ２４）、素子１００のＢ画素とＲ画素の各画素に蓄積された信号電荷を、設定して電荷転送パルスにより電荷混合しながら転送することで各画素信号を読み出す。つまり、Ｂ画素とＲ画素に対して、周辺画素との電荷混合を行い、Ｇ画素に対しては電荷混合を行わずにそれぞれ信号電荷を読み出す（Ｓ２５）。これらの信号電荷により、動画の画像データを作成する（Ｓ２６）。この画像データは記録部７９にて保存される。このようにして動画撮影を終了する（Ｓ２７）。

一方、Ｓ２２において、動画撮影モードが選択されていない場合には、静止画の撮影を行い（Ｓ２８）、撮影されて得られる各画素信号により、静止画の画像データを作成する（Ｓ２９）。ここで、静止画撮影時には、図９に示す手順により高感度撮影モードでは画素加算（或いは電荷混合）の処理が為される。

このように、動画撮影モードにおいては、１つ１つの画素の光電変換部から電荷を読み出す場合と比較して、固体撮像素子内の電荷転送ラインで電荷が混合されるため、画素信号生成のための処理時間が短く、高速な読み出しが可能となる。また、動画撮影モードか否かにより電荷混合を選択的に行うことで、高解像度でスムーズな描画を行うため高速な画素信号の読み出しが必要となる動画画像データの生成と、それ以外の場合とを区別して信号処理することができる。このため、本撮像装置においては、撮影モードに応じて撮像性能の最適化が可能となり、撮像装置の使用目的に即した性能を発揮することができる。

なお、上記のいずれの撮影モードの場合でも、画素加算と電荷混合の２種類の手法のうち、いずれの手法であっても適用することができる。

以上各実施形態にて説明した多層構造の固体撮像素子によれば、光電変換層をＲＧＢの３層構造（或いはＲＧＢとＧＢの４層構造）とすることで、様々な利点を享受することができる。例えば、従来のＲＧＢの各色フィルタを備えたイメージセンサと比較して、光電変換部の面積を大きく取ることができる。即ち、同一サイズの受光部を適用した場合には、色の数（例えばＲＧＢであれば３つ）の分だけ、解像度が高いことになる。これにより、解像度が高い撮像素子や、大きな開口率を有した撮像素子を形成することができる。即ち、同一の精細度で作成した場合でも、より高精細の画像を撮像できる撮像素子となる。また、マイクロレンズを使用しなくても開口率が高く、撮像レンズに対する射出瞳距離に制約がないためシェーディングが無い。このように、従来の一般的なＣＣＤ型やＣＭＯＳ型のイメージセンサが抱えていた問題を解決することができる。

なお、本発明は、積層型の固体撮像素子に限らず、各色相（Ｒ，Ｇ，Ｂ等）の光電変換部が異なる位置に配置され、プリズム等により特定波長域の光を偏向して検出する多板方式の撮像素子に対しても適用できる。つまり、各色相に対する光電変換層の感度特性が異なる場合に、電荷混合や画素加算により複数画素を実質的に合算して、感度調整することも可能である。これにより、各色相の光電変換層に感度の異なる材料を適用しても、各光電変換部の材料それぞれの特性を無駄なく発揮させる構成にできる。

本発明の固体撮像装置の一実施形態に係る多層構造の固体撮像素子における１画素分の断面模式図である。 固体撮像素子を含む撮像装置の概念的なブロック構成図である。 固体撮像素子の画素を模式的に示した説明図である。 ３×３画素に対する画素加算の具体例を示す説明図で、（ａ）はＧ画素、（ｂ）はＢ画素、（ｃ）はＲ画素を示す図である。 画素加算を行わないマスクパターン（ａ）と、３倍画素加算するマスクパターン（ｂ）と、９倍画素加算するマスクパターン（ｃ）を示す図である。 画素加算の処理対象点を移動させる様子を示す説明図で、（ａ）はＧ信号、（ｂ）はＢ信号、（ｃ）はＲ信号を表す図である。 電荷混合の場合の画素信号生成手順を示す説明図で（ａ）は各画素のＧ信号、（ｂ）、（ｃ）はそれぞれＢ信号、Ｒ信号を表す図である。 第４実施形態に係る撮像装置の一例としての構成図である。 撮影モードに応じて画素加算を行う手順を示すフローチャートである。 撮影モードに応じて電荷混合を行う手順を示すフローチャートである。

符号の説明

１０ ｎ型シリコン基板
１１ Ｐウェル層
１３ 転送路層
１５ 光電変換部
１７ Ｇ感光層
１９ Ｂ感光層
２１ Ｒ感光層
２３ｒ，２３ｇ，２３ｂ 透明電極
２５ｒ，２５ｇ，２５ｂ 透明対向電極
２７ｒ，２７ｇ，２７ｂ コンタクト電極
２９ｒ，２９ｇ，２９ｂ 信号電荷蓄積ダイオード
３０ 回路層
３１ｒ，３１ｇ，３１ｂ 垂直転送路
３３ 絶縁・遮光膜
３５ 水平転送路
３７ フローティングディフィージョンアンプ
３９ アナログ信号処理部
４１ Ａ／Ｄ変換部
４３ デジタル信号処理部
５１ 垂直アドレス回路
５３ 光電変換部
５５ 電荷検出増幅アンプ
５７ 単位セル
５９ ノイズキャンセラ
６１ 水平アドレス回路
６３ 水平読み出し回路
６５ 垂直信号線
７１ 撮像部
７３ 光学系駆動部
７５ 駆動部
７７ 記録メディア
７９ 記録部
８１ 測光部
１００ 固体撮像素子
２００，３００ 撮像装置

Claims (29)

1. 複数の画素を有する光電変換層を複数層使用し、これら光電変換層の各画素から各々の信号電荷を画素信号として読み出す固体撮像素子を備えた撮像装置であって、
   緑色の波長域の光を吸収して信号電荷を発生する第１光電変換層と、
   前記緑色の波長域とは異なる波長域の光を主に吸収して信号電荷を発生する少なくとも１層の第２光電変換層と、
   前記第１光電変換層と前記第２光電変換層からの信号電荷に応じて画素信号を生成する画素信号生成手段とを具備し、
   前記画素信号生成手段が、前記第１光電変換層の１画素に対して、この１画素に対応する位置の前記第２光電変換層の対応画素及び該対応画素に隣接する周辺画素の各信号電荷の処理に応じた値と、前記第１光電変換層の前記１画素の信号電荷に応じた値とに基づいて、前記１画素の位置に対する画素信号を生成することを特徴とする撮像装置。
2. 前記第１光電変換層と前記少なくとも１層の第２光電変換層とが積層されてなり、前記第１光電変換層が、光入射側に配置されて前記緑色の波長域以外の光を透過することを特徴とする請求項１記載の撮像装置。
3. 複数の画素を有する光電変換層が複数積層され、これら光電変換層の各画素から各々の信号電荷を読み出す多層構造の固体撮像素子を備えた撮像装置であって、
   光入射側となる最上層に配置され、Ｇ（緑）光を吸収して該Ｇ光の光量に対応するＧ信号電荷を発生し、Ｒ（赤）光とＢ（青）光を透過するＧ光光電変換層と、
   Ｂ光を吸収して該Ｂ光の光量に対応するＢ信号電荷を発生し、Ｒ光を透過するＢ光光電変換層と、
   Ｒ光を吸収して該Ｒ光の光量に対応するＲ信号電荷を発生するＲ光光電変換層と、
   前記Ｇ光光電変換層、Ｂ光光電変換層、Ｒ光光電変換層の各層の画素からの信号電荷をそれぞれ読み出して画素信号を生成する信号処理部と、を具備し、
   前記信号処理部が、前記Ｇ光光電変換層の１画素に対して、この１画素に対応する位置における他の光電変換層の対応画素及び該対応画素に隣接する周辺画素の各信号電荷の処理に応じた値と、前記Ｇ光光電変換層の前記１画素の信号電荷に応じた値とに基づいて、前記１画素の位置に対する画素信号を生成することを特徴とする撮像装置。
4. 前記他の光電変換層が、Ｂ光光電変換層を含むことを特徴とする請求項３記載の撮像装置。
5. 前記他の光電変換層が、Ｒ光光電変換層を含むことを特徴とする請求項３又は請求項４記載の撮像装置。
6. 前記信号電荷の処理が、前記第２光電変換層の各画素に蓄積される電荷を混合する処理であることを特徴とする請求項１又は請求項２記載の撮像装置。
7. 前記信号電荷の処理が、前記Ｂ光光電変換層の各画素に蓄積される電荷を混合する処理、及び前記Ｒ光光電変換層の各画素に蓄積される電荷を混合する処理であることを特徴とする請求項３〜請求項５のいずれか１項記載の撮像装置。
8. 前記信号電荷の処理が、前記第２光電変換層の各画素の信号電荷に基づいて生成した画素信号を加算する処理であることを特徴とする請求項１又は請求項２記載の撮像装置。
9. 前記信号電荷の処理が、前記Ｂ光光電変換層の各画素の信号電荷に基づいて生成した画素信号を加算する処理、及び前記Ｒ光光電変換層の各画素の信号電荷に基づいて生成した画素信号を加算する処理であることを特徴とする請求項３〜請求項５のいずれか１項記載の撮像装置。
10. 前記画素信号をアナログ信号処理により加算するアナログ回路を備えたことを特徴とする請求項８又は請求項９記載の撮像装置。
11. 前記画素信号を通過させるローパスフィルタを備えたことを特徴とする請求項８又は請求項９記載の撮像装置。
12. 前記画素信号をデジタル信号処理により加算するデジタル回路を備えたことを特徴とする請求項８又は請求項９記載の撮像装置。
13. 前記信号電荷の処理において、処理対象とする画素に対する相対画素位置に応じて重み付けを行う重み付け手段を備えたことを特徴とする請求項７〜請求項１２のいずれか１項記載の撮像装置。
14. 被写体の明るさを検出する測光手段と、
    前記測光手段による明るさの検出結果に応じて前記重み係数を設定する重み係数設定手段とを備えたことを特徴とする請求項１３記載の撮像装置。
15. 高感度撮影と通常撮影のいずれかの撮影モードを設定する撮影モード設定手段と、
    前記撮影モード設定手段により設定された撮影モードに応じて前記重み係数を設定する重み係数設定手段とを備えたことを特徴とする請求項１３記載の撮像装置。
16. 静止画撮影と動画撮影のいずれかの撮影モードを設定する撮影モード設定手段と、
    前記撮影モード設定手段により設定された撮影モードに応じて前記重み係数を設定する重み係数設定手段とを備えたことを特徴とする請求項１３記載の撮像装置。
17. 請求項１〜請求項１６のいずれか１項記載の撮像装置を用いて、撮像することを特徴とするデジタルカメラ。
18. 複数の画素を有する光電変換層を複数層使用し、これら光電変換層の各画素から各々の信号電荷を画素信号として読み出す固体撮像素子であって、緑色の波長域の光を吸収して信号電荷を発生する第１光電変換層と、前記緑色の波長域とは異なる波長域の光を主に吸収して信号電荷を発生する少なくとも１層の第２光電変換層を有した固体撮像素子を用い、多色の画素信号を生成する固体撮像素子の信号処理方法であって、
    前記第１光電変換層の１画素の信号電荷と、この１画素に対応する位置の前記第２光電変換層の対応画素及び該対応画素に隣接する周辺画素の各信号電荷とをそれぞれ読み出し、
    前記第１光電変換層の１画素の信号電荷に応じた値と、前記第２光電変換層の前記対応画素及び前記周辺画素の各信号電荷に応じた値とに基づいて、前記１画素に対する多色の画素信号を生成することを、全画素位置に対して行うことを特徴とする固体撮像素子の信号処理方法。
19. 複数の画素を有する光電変換層が積層され、これら光電変換層の各画素からの信号電荷を読み出して多色の画素信号を生成する多層構造の固体撮像素子の信号処理方法であって、
    光入射側となる最上層に配置され、Ｇ（緑）光を吸収して該Ｇ光の光量に対応するＧ信号電荷を発生するＧ光光電変換層と、Ｂ（青）光を吸収して該Ｂ光の光量に対応するＢ信号電荷を発生するＢ光光電変換層と、Ｒ（赤）光を吸収して該Ｒ光の光量に対応するＲ信号電荷を発生するＲ光光電変換層とを有する固体撮像素子を用い、
    前記Ｇ光光電変換層の１画素の信号電荷と、この１画素に対応する位置の他の光光電変換層の対応画素及び該対応画素に隣接する周辺画素の各信号電荷とをそれぞれ読み出し、
    前記Ｇ光光電変換層の１画素の信号電荷に応じた値と、前記他の光電変換層の前記対応画素及び前記周辺画素の各信号電荷に応じた値とに基づいて、前記１画素に対する多色の画素信号を生成することを、全画素位置に対して行うことを特徴とする固体撮像素子の信号処理方法。
20. 前記他の光電変換層の前記対応画素及び前記周辺画素の各信号電荷に応じた値を求める処理が、２次元配列された前記Ｇ光光電変換層の画素Ｇ（ｍ，ｎ）（但し、ｍ，ｎは整数）に対して、この画素Ｇ（ｍ，ｎ）の位置に対応する前記Ｂ光光電変換層の対応画素Ｂ（ｍ，ｎ）及び周辺画素Ｂ（ｍ＋ａ，ｎ＋ｂ）（但し、ａ，ｂは正又は負の整数）の各信号電荷を最終的に合算する処理を含むことを特徴とする請求項１９記載の固体撮像素子の信号処理方法。
21. 前記他の光電変換層の前記対応画素及び前記周辺画素の各信号電荷に応じた値を求める処理が、２次元配列された前記Ｇ光光電変換層の画素Ｇ（ｍ，ｎ）（但し、ｍ，ｎは整数）の画素位置に対して、このＧ（ｍ，ｎ）の位置に対応する前記Ｒ光光電変換層の対応画素Ｒ（ｍ，ｎ）及び周辺画素Ｒ（ｍ＋ａ，ｎ＋ｂ）（但し、ａ，ｂは正又は負の整数）の各信号電荷を最終的に合算する処理を含むことを特徴とする請求項１９記載の固体撮像素子の信号処理方法。
22. 前記信号電荷を最終的に合算する処理が、前記光電変換層の各画素に蓄積される電荷を混合する処理であることを特徴とする請求項２０又は請求項２１記載の固体撮像素子の信号処理方法。
23. 前記信号電荷を最終的に合算する処理が、前記光電変換層の各画素の信号電荷に基づいて生成した画素信号を加算する処理であることを特徴とする請求項２０又は請求項２１記載の固体撮像素子の信号処理方法。
24. 前記信号電荷を最終的に合算する処理が、前記対応画素と前記周辺画素のそれぞれに対して、画素位置に応じた重み係数を乗じる処理を含むことを特徴とする請求項２３記載の固体撮像素子の信号処理方法。
25. 前記重み係数を、撮影用途に応じて設定することを特徴とする請求項２４記載の固体撮像素子の信号処理方法。
26. 前記重み係数を、前記対応画素に対しては大きく、前記周辺画素に対しては小さく設定することを特徴とする請求項２４又は請求項２５記載の固体撮像素子の信号処理方法。
27. 前記重み係数が、撮影対象の輝度が高いほど前記対応画素の重み係数を前記周辺画素の重み係数より大きく設定し、撮影対象の輝度が低いほど前記対応画素の重み係数と前記周辺画素の重み係数との差を小さく設定することを特徴とする請求項２４又は請求項２５記載の固体撮像素子の信号処理方法。
28. 前記重み係数が、静止画撮影の場合に前記対応画素の重み係数を前記周辺画素の重み係数より大きく設定し、動画撮影の場合に前記対応画素の重み係数と前記周辺画素の重み係数との差を小さく設定することを特徴とする請求項２４又は請求項２５記載の固体撮像素子の信号処理方法。
29. 請求項１８〜請求項２８のいずれか１項記載の固体撮像素子の信号処理方法を用いて撮像することを特徴とするデジタルカメラの制御方法。

Images