JP4377428B2 - 固体撮像素子及びそれを用いた撮像装置 - Google Patents

Description

本発明は、単板式カラーイメージセンサに関し、特に、高解像度の画像信号を高速で出力できて、静止画及び動画表示に兼用可能な単板式カラーイメージセンサ及びそれを用いた撮像装置に関する。

従来、デジタルカメラなどの撮像装置において、レンズを介して撮像素子に被写体像を結像し、この撮像素子によって被写体像を光電変換して画像信号を生成する画像処理方法が知られている。

また、近年、デジタルカメラ等の撮像装置において、静止画撮影に加えて動画撮影機能の搭載が普及している。さらに、ビデオカメラでも、高解像度の静止画撮影機能に対する要求が高まっている。そして、これらのデジタルカメラやビデオカメラ等の撮像装置では、静止画の高画素撮影が要求される一方で、動画撮影においても、ハイビジョン等、高精細な画像が要求されている。

また、このような静止画と動画兼用の撮像装置では、一般に、静止画撮影の際には全画素を読み出して高精細な画像を生成するが、動画撮影の際には高速読み出しや消費電力の低減のために、全画素の信号を読み出すのではなく、限られた画素数を読み出して画像を生成する。

例えば、静止画の画像撮影の要求により８Ｍピクセルのイメージセンサ（所謂、固体撮像素子である）が使用されている。この際、各画素の深度を１２ｂｉｔとすれば、１画面出力するために、８Ｍｐｉｘｅｌ＊１２ｂｉｔ／ｐｉｘ＝９６Ｍｂｉｔの情報を、イメージセンサ（所謂、本発明の固体撮像素子である）から出力する必要がある。

また、静止画であれば出力に要する時間が特に問題にならないが、動画撮影においては例えば、３０ｆｐｓ等の高速フレームレートで動画像を読み出すために、前述の８Ｍピクセルのイメージセンサの全画素を用いれば、９６Ｍｂｉｔ／ｆｒａｍｅ＊３０ｆｒａｍｅ／ｓｅｃ＝２．８８Ｇｂｐｓの情報をイメージセンサから出力する必要がある。しかしながら、このような出力データレートを実現することが困難であって消費電力も多大になるので、動画撮影の際にはイメージセンサから出力する画素数を絞っておく必要がある。

そして、イメージセンサから出力する画素数を絞りこむ際に、画面の一部を切りだして出力する切り出し出力が知られている。

例えば、切り出し出力は、静止画８Ｍピクセルのイメージセンサであれば、２Ｍピクセルの動画を出力する際に、画面の中央部１／４を切り出して出力する方法であり、静止画像撮影時に比べて、動画撮影時の画角が狭くなってしまうという問題がある。

また、イメージセンサから出力する画素数を絞りこむ際の別の手法として、画素信号を間引いて出力する間引き出力や、同色の複数の画素信号を混合して出力する画素混合出力が知られている（例えば、特許文献１参照）。例えば、縦横夫々２画素につき、間引いたり画素混合を行ったりすることで１画素だけ出力し、出力データレートを１／４にできる。

例えば、図９に表したように、Ｒ（赤）Ｇ（緑）Ｂ（青）３原色のベイヤー配列のカラーフィルタを備えたカラーメージセンサでは、Ｇの出力画素が市松模様で配置され、Ｇの出力画素とＲの出力画素が交互に配置された列とＢの出力画素とＧの出力画素が交互に配置された列とが、交互に構成されている。そして、この際の画素混合出力では、注目画素の周囲に位置する同色の画素信号２×２画素を加算し、一つの信号にして出力する。

詳しくは、図９（ａ）に表したベイヤー配列の画素群において、（ｂ）に表したように一画素おきに縦２画素、横２画素の同色の４画素が混合加算されて、（ｃ）に表したように画素データが縮小されて出力される。
特開２００７−０８８７３３号公報

しかしながら、間引き出力は、イメージセンサから出力する画素数を絞りこむ際に、イメージセンサが受光した画素のうち読み出さない画素が発生することを意味し、出力画像データの解像度を低下させる要因となる。

また、図９に表したように、画素混合出力をベイヤー配列のカラーイメージセンサに用いると、ベイヤー配列の位置関係が崩れて、実効解像度が１／２未満に低下したり、折り返しノイズが発生したりするという問題がある。

詳しくは、図９（ｃ）に表したように、Ｒ、Ｇｒ、Ｇｂ、Ｂの混合出力の画素配列（サンプリング重心）が、図９（ａ）の正格子配列から崩れてしまう。例えば、水平方向に、ＲとＧｒとの間隔及びＧｂとＢとの間隔が１画素未満となり、続くＧｒとＲとの間隔及びＢとＧｂとの間隔が１画素より離れてしまう。また、垂直方向に、ＲとＧｂとの間隔及びＧｒとＢとの間隔が１画素未満となり、続くＧｂとＲとの間隔及びＢとＧｒとの間隔が１画素より離れてしまう。

そこで、本発明は、イメージセンサから画像データを出力する際に、ピクセルレートを下げつつ、狭画角化や画質劣化を抑制できる固体撮像素子及びそれを用いた撮像装置を提供することを目的とする。

かかる目的を達成するためになされた請求項１に記載の固体撮像素子に係る発明は、行及び列方向に格子状に配列され、受光量に応じたアナログ信号を出力する複数の光電変換素子と、前記複数の光電変換素子から出力されたアナログ信号を、デジタル信号に量子化して出力するＡ／Ｄ変換部と、を備え、前記複数の光電変換素子には、夫々、異なる色成分の光を透過するカラーフィルタが備えられて、該複数のカラーフィルタが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３原色のベイヤー（Ｂａｙｅｒ）配列で構成されて、複数色を１単位として周期的に配列され、前記Ａ／Ｄ変換部を介して出力された複数のデジタル信号を、所定のサンプリング位置で異なる所定の比率でＲＧＢの色毎に混合し、前記光電変換素子の数より少ない信号の数にしてベイヤー配列で出力する信号出力部を備え、前記信号出力部が、前記Ａ／Ｄ変換部を介して出力された複数のデジタル信号において、ベイヤー配列の２行２列の単位領域が複数配列された領域でありＲＧＢの異なる色間で大きさが等しい所定の方形領域ごとに、当該所定の方形領域内の複数の画素値を参照し、その参照値にそれぞれ重み係数を乗算した値の和を重み係数の合計値で除算し、その除算値を１つの画素値として出力するように構成され、前記所定の方形領域ごとの重み係数の重心であるサンプリング重心が、前記所定の方形領域の中心に配置され、行方向及び列方向のいずれの方向に関しても等間隔となり、且つ、行方向の間隔と列方向の間隔とが同じになるように配列されていることを特徴とする。

請求項１に記載の固体撮像素子は、Ａ／Ｄ変換部を介して出力された複数のデジタル信号を、所定のサンプリング位置で異なる所定の比率で混合し、光電変換素子の数より少ない信号の数にして出力する信号出力部を備えるとともに、信号出力部から出力される複数の出力信号のサンプリング重心が、前記所定の方形領域の中心に配置され、行方向及び列方向のいずれの方向に関しても等間隔となり、且つ、行方向の間隔と列方向の間隔とが同じになることにより、当該固体撮像素子から画像データを出力する際に、ピクセルレートを下げつつ、狭画角化や画質劣化を抑制できる。

また、請求項１に記載の固体撮像素子は、前記カラーフィルタがＲＧＢ３原色のベイヤー（Ｂａｙｅｒ）配列で構成され、前記信号出力部で生成される出力信号も前記ＲＧＢ３原色のベイヤー（Ｂａｙｅｒ）であることにより、ベイヤー配列の画素配列から縮小画像を生成する際に、ＲＧＢの画素間隔を崩すことなく、画質劣化を抑制できる。

請求項２に記載の固体撮像素子は、行及び列方向に格子状に配列され、受光量に応じたアナログ信号を出力する複数の光電変換素子と、前記複数の光電変換素子から出力されたアナログ信号を、デジタル信号に量子化して出力するＡ／Ｄ変換部と、を備え、前記複数の光電変換素子には、夫々、異なる色成分の光を透過するカラーフィルタが備えられて、該複数のカラーフィルタが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３原色のベイヤー（Ｂａｙｅｒ）配列で構成されて、複数色を１単位として周期的に配列され、前記Ａ／Ｄ変換部を介して出力された複数のデジタル信号を、所定のサンプリング位置で異なる所定の比率でＲＧＢのうちの１つ又は複数色で混合し、前記光電変換素子の数より少ない信号の数にして、Ｃ（シアン）、Ｙｅ（イエロー）、Ｇ（グリーン）、Ｍ（マゼンダ）からなる配列で出力する信号出力部を備え、前記信号出力部が、前記Ａ／Ｄ変換部を介して出力された複数のデジタル信号において複数の行及び複数の列からなる所定の方形領域ごとに、当該所定の方形領域内の複数の画素値を参照し、その参照値にそれぞれ重み係数を乗算した値の和を重み係数の合計値で除算し、その除算値を１つの画素値として出力するように構成され、前記所定の方形領域ごとの重み係数の重心であるサンプリング重心が、行方向及び列方向のいずれの方向に関しても等間隔となり、且つ、行方向の間隔と列方向の間隔とが同じになるように配列されていることを特徴とする。

請求項３に記載の固体撮像素子は、行及び列方向に格子状に配列され、受光量に応じたアナログ信号を出力する複数の光電変換素子と、前記複数の光電変換素子から出力されたアナログ信号を、デジタル信号に量子化して出力するＡ／Ｄ変換部と、を備え、前記複数の光電変換素子には、夫々、異なる色成分の光を透過するカラーフィルタが備えられて、該複数のカラーフィルタが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３原色のベイヤー（Ｂａｙｅｒ）配列で構成されて、複数色を１単位として周期的に配列され、前記Ａ／Ｄ変換部を介して出力された複数のデジタル信号を、所定のサンプリング位置で異なる所定の比率でＲＧＢのうちの複数色で混合し、前記光電変換素子の数より少ない信号の数にして、輝度信号Ｙ、色差信号Ｃ１、Ｃ２からなる配列で出力する信号出力部を備え、前記信号出力部が、前記Ａ／Ｄ変換部を介して出力された複数のデジタル信号において複数の行及び複数の列からなる所定の方形領域ごとに、当該所定の方形領域内の複数の画素値を参照し、その参照値にそれぞれ重み係数を乗算した値の和を重み係数の合計値で除算し、その除算値を１つの画素値として出力するように構成され、前記所定の方形領域ごとの重み係数の重心であるサンプリング重心が、行方向及び列方向のいずれの方向に関しても等間隔となり、且つ、行方向の間隔と列方向の間隔とが同じになるように配列されていることを特徴とする。

請求項２に記載の固体撮像素子、及び、請求項３に記載の固体撮像素子は、Ａ／Ｄ変換部を介して出力された複数のデジタル信号を、所定のサンプリング位置で異なる所定の比率で混合し、光電変換素子の数より少ない信号の数にして出力する信号出力部を備えるとともに、信号出力部から出力される複数の出力信号のサンプリング重心が、行方向及び列方向のいずれの方向に関しても等間隔となり、且つ、行方向の間隔と列方向の間隔とが同じになることにより、当該固体撮像素子から画像データを出力する際に、ピクセルレートを下げつつ、狭画角化や画質劣化を抑制できる。

また、請求項３に記載の固体撮像素子は、請求項４に記載の発明のように、前記信号出力部で生成される前記色差信号Ｃ１及びＣ２の数が、前記輝度Ｙの信号の数よりも少ないように構成してもよい。

また、請求項３又は請求項４に記載の固体撮像素子は、請求項５に記載の発明のように、前記信号出力部が、前記色差信号Ｃ１及びＣ２の少なくとも一方の生成において、偽色の抑制を行うようにしてもよい。

また、請求項１乃至請求項５の何れか記載の固体撮像素子は、請求項６に記載の発明のように、前記光電変換素子から出力されるアナログ信号量を、前記複数色の色毎に可変する可変ゲインアンプを備え、前記ゲインアンプを介して、当該固体撮像素子を介して撮像された画像色のホワイトバランスが調整可能に構成されており、前記ホワイトバランスが調整されたアナログ信号が前記Ａ／Ｄ変換部に入力されることにより、さらに利便性を向上できる。

また、請求項１乃至請求項６の何れか記載の固体撮像素子は、請求項７に記載の発明のように、前記信号出力部から出力信号を出力する際に、前記複数のデジタル信号を混合して出力する第一出力モードと、前記複数のデジタル信号を混合することなしに、前記光電変換素子毎のデジタル信号を出力する第二出力モードと、を切り替える切り替え手段を備えていることにより、当該固体撮像素子から画像データを読み出す際のデータレートや解像度を容易に切り替えることができる。

次に、請求項８に記載の発明は、被写体像を固体撮像素子に導いて結像させる撮像光学系と、前記結像された被写体像を光電変換して出力する固体撮像素子と、前記固体撮像素子から出力された出力信号に対して所定の画像処理を加え、前記被写体像を再現する画像処理装置と、を備えた撮像装置であって、前記固体撮像素子が請求項１乃至請求項７の何れかであることを特徴とする。

請求項８に記載の撮像装置は、請求項１乃至請求項７の何れか記載の固体撮像素子を備えているので、固体撮像素子から読み出す画素信号のピクセルレートを下げつつ、狭画角化や画質劣化を抑制でき、さらには、ＲＧＢ３原色のベイヤー（Ｂａｙｅｒ）配列の固体撮像素子を効果的に用いることができる。

また、請求項８に記載の撮像装置は、ホワイトバランスが調整可能な固体撮像素子を備えていることにより、一層、画質の向上を図ることができる。

また、請求項８に記載の撮像装置は、固体撮像素子に、複数のデジタル信号を混合して出力する第一出力モードと、前複数のデジタル信号を混合することなしに、光電変換素子毎のデジタル信号を出力する第二出力モードと、を切り替える切り替え手段を備えていることにより、データレートや解像度を容易に切り替えることができる。

次に、請求項９に記載の発明は、被写体像を固体撮像素子に導いて結像させる撮像光学系と、前記結像された被写体像を光電変換して出力する固体撮像素子と、前記固体撮像素子から出力された出力信号に対して所定の画像処理を加え、前記被写体像を再現する画像処理装置と、を備えた撮像装置であって、前記固体撮像素子が請求項２記載の固体撮像素子であり、前記固体撮像素子から出力される連続した２つのフレームの平均を算出することで、１つのフレーム内の全出力画素における輝度信号Ｙを生成すると共に、前記連続した２つのフレームの差を算出することで、１つのフレーム内のＧ又はＭｇの画素位置における第一の色差信号Ｃ１及び１つのフレーム内のＣｙ又はＹｅの画素位置における第二の色差信号Ｃ２を生成して、前記被写体像を再現する、ことを特徴とする。

請求項９に記載の撮像装置によれば、固体撮像素子が請求項８であり、画像処理装置が複数のフレームから前記被写体像を再現するように構成されているので、画像処理で複数のフレームから高品位な画像を生成できる。また、前記固体撮像素子から出力される連続した２つのフレームから輝度信号Ｙ、色差信号Ｃ１、Ｃ２を生成するので、動きの少ない被写体には高品位な画像を生成できる。また、請求項９記載の撮像素子は、請求項１０記載の発明のように、前記固体撮像素子の前記信号出力部が、同一のサンプリング位置においても、フレームによって前記複数色の異なる色光の出力の混合比率を変化させることができるように構成してもよい。これにより、高品位な画像を生成できる。

本発明の固体撮像素子は、Ａ／Ｄ変換部を介して出力された複数のデジタル信号を、所定のサンプリング位置で異なる所定の比率で混合し、光電変換素子の数より少ない信号の数にして出力する信号出力部を備えるとともに、信号出力部から出力される複数の出力信号のサンプリング重心が、夫々、等間隔であることにより、当該固体撮像素子から画像データを出力する際に、ピクセルレートを下げつつ、狭画角化や画質劣化を抑制できる。

また、本発明の固体撮像素子は、カラーフィルタがＲＧＢ３原色のベイヤー（Ｂａｙｅｒ）配列で構成され、信号出力部で生成される出力信号もＲＧＢ３原色のベイヤー（Ｂａｙｅｒ）であることにより、ＲＧＢの画素間隔を崩すことなく、既存の画像処理で被写体像を再現できる。

また、本発明の固体撮像素子は、信号処理部において、複数色の異なる色光の出力を混合し、Ｃｙ（シアン）、Ｙｅ（イエロー）、Ｇ（グリーン）、Ｍｇ（マゼンダ）等の出力信号を生成したり、輝度Ｙ、色差信号Ｃ１、Ｃ２等の出力信号を生成したりできて、より画質劣化を抑制することもできる。

また、本発明の固体撮像素子は、信号処理部が、同一のサンプリング位置においても、フレームによって前記複数色の異なる色光の出力の混合比率を変化させることができるように構成されていることにより、画像処理で複数のフレームから高品位な画像を生成できる。

また、本発明の固体撮像素子は、光電変換素子から出力されるアナログ信号量を、前記複数色の色毎に可変する可変ゲインアンプを備え、ゲインアンプを介して、画像色のホワイトバランスが調整可能に構成されていることにより、利便性を向上できる。

また、本発明の固体撮像素子は、信号出力部から出力信号を出力する際に、複数のデジタル信号を混合して出力する第一出力モードと、複数のデジタル信号を混合することなしに、光電変換素子毎のデジタル信号を出力する第二出力モードと、を切り替える切り替え手段を備えていることにより、データレートや解像度を容易に切り替えることができる。

また、本発明の撮像装置は、読み出す画素信号のピクセルレートを下げつつ、狭画角化や画質劣化を抑制できる固体撮像素子を備えているので、動画撮影の際には、フレームレートを向上させつつ、画質の劣化を抑制できる。

また、本発明の撮像装置は、固定撮像素子に、信号出力部から出力信号を出力する際に、複数のデジタル信号を混合して出力する第一出力モードと、光電変換素子毎のデジタル信号を出力する第二出力モードとを切り替える切り替え手段を備えているので、静止画像と動画画像の切り替えに応じて、撮像素子の好ましい出力モードを選択でき、用途に応じた解像度や出力データレートを得ることができる。

また、本発明の撮像装置は、固体撮像素子の信号処理部が、同一のサンプリング位置においても、フレームよって前記複数色の異なる色光の出力の混合比率を変化させることができるように構成してもよい。これにより、画像処理で複数のフレームから高品位な画像を生成できる。

(第１の実施形態)
次に、本発明の固定撮像素子及び撮像装置の第１の実施形態を、図面にもとづいて説明する。

図１は、本発明の固定撮像素子及び撮像装置が適用された第１の実施形態の撮像装置１の構成を表したブロック図、図２は、同第１の実施形態の固体撮像素子における信号出力処理の説明図である。

図１に表したように、撮像装置１は、被写体像を固体撮像素子２０に導いて結像させる撮像光学系１０と、結像された被写体像を光電変換して出力する固体撮像素子２０と、固体撮像素子２０から出力された出力信号に対して所定の信号処理を加え、被写体像を再現する画像処理チップ３０と、によって構成されている。

固体撮像素子２０は、行及び列方向に格子状に配列され、受光量に応じたアナログ信号を出力する複数の光電変換素子（受光素子）２１と、複数の光電変換素子から出力されたアナログ信号を、デジタル信号に量子化して出力するＡ／Ｄ変換部２２と、Ａ／Ｄ変換部２２を介して出力された複数のデジタル信号を、所定のサンプリング位置で異なる所定の比率で混合し光電変換素子の数より少ない信号の数にして出力する信号出力部２３とを備えている。

また、複数の光電変換素子２１には、夫々、異なる色成分の光を透過するカラーフィルタが備えられて、該複数のカラーフィルタが、複数色を１単位として周期的に配列されている。

また、固体撮像素子２０は、単板式撮像素子であって、複数の光電変換素子２１がマトリクス状に配置され、その前面には光電変換素子に対応付けて、Ｒ（赤）Ｇ（緑）Ｂ（青）３原色のベイヤー（Ｂａｙｅｒ）配列からなるカラーフィルタ（図２（ａ）参照）を備え、各色のフィルタ部を通過した単一色の光量をアナログ電気信号に変換するように構成されている。

詳しくは、図２（ａ）に表したように、前述の原色ベイヤー配列は、Ｇ色のフィルタが市松模様で配置され、Ｇ色フィルタとＲ色フィルタが交互に配置された列とＧフィルタとＢフィルタが配置された列とが交互に構成されている。また、本実施例では、図２（ａ）において、Ｒに並んで一方向に配置されたＧ色をＧｒと表し、Ｂに並んで一方向に配置されたＧ色をＧｂと表す。

また、本実施例では、固体撮像素子２０が８Ｍピクセル（ｐｉｘｅｌ）の画素数（所謂、光電変換素子２１の数である）で構成され、静止画撮影の際には８Ｍｐｉｘｅｌを出力し、動画撮影の際には、幅方向及び高さ方向の画素数を１／２にして、ＨＤ動画撮影に必要な２Ｍｐｉｘｅｌを出力するものとする。

光電変換素子２１から出力された電気信号は、Ａ／Ｄ変換部２２でデジタル信号に変換され、オリジナルのＲＡＷデータとして信号処理部２３に出力される。

信号処理部２３は、ＲＡＷデータを間引き処理を行って出力信号を生成する画像処理部２４と、画像処理部２４で生成された出力信号を画像処理チップ３０に出力する出力部２５によって構成されている。

画像処理部２４は、ＲＡＷデータを受け取り、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に、ローパスフィルタを適用するとともに画素データを縦横１／２に間引いて信号出力部に渡す。

例えば、以下のように、一方向における画像の縮小率を１／２とすれば、ｆｓ／４（（ｆｓ／２）×（１／２））をカットオフとするローパスフィルタを適用できる。この際、図５（ａ）に表したように、ベイヤー配列に対応付けて各画素番号が割り当てられているものとする。

まず、Ｇｒを生成するために、Ｇｒ００を先頭の画素とする６×６画素範囲内の画素に、図２（ｃ）に表したフィルタを掛ける。

詳しくは、（Ｇｒ００×１＋Ｇｒ０１×２＋Ｇｒ０２×１＋Ｇｒ１０×２＋Ｇｒ１１×８＋Ｇｒ１２×６＋Ｇｒ２０×１＋Ｇｒ２１×６＋Ｇｒ２２×５）÷３２、の演算式を用いてＧｒの出力信号を算出する。この際、フィルタの係数は、Ｇｒ００を先頭の画素とする６×６画素範囲の中心に重心をもつように設定され、且つ、エイリアシング（ａｌｉａｓｉｎｇ）を抑制する高周波フィルタを構成している。本実施例は、高解像度の元画像から低解像度の画素をサンプリングする。この際、元画像に縮小後の画像で表すことができない高い周波数（ナイキスト（Ｎｙｑｕｉｓｔ）以上）が含まれていると、縮小後の画像が暗くなる。そこで、本実施例は、高周波フィルタを用いて縮小前の画像を平滑することにより、縮小後の画像に適切な明るさが得られるようにしている。

次に、Ｒを生成するために、Ｇｒに対して走査範囲を２画素だけ右方向にずらし、Ｇｒ０１を先頭の画素とする６×６画素範囲内の画素に、図２（ｄ）に表したフィルタを掛ける。

詳しくは、（Ｒ０１×１＋Ｒ０２×２＋Ｒ０３×１＋Ｒ１１×６＋Ｒ１２×８＋Ｒ１３×２＋Ｒ２１×５＋Ｒ２２×６＋Ｒ２３×１）÷３２、の演算式を用いてＲの出力信号を算出する。この際、フィルタの係数は、Ｇｒ０１を先頭の画素とする６×６画素範囲の中心に重心をもつように設定され、且つ、エイリアシングを抑制する高周波フィルタを構成している。

次に、Ｇｂを生成するために、Ｒの生成に対して走査範囲を２画素だけ下方向にずらし、Ｇｒ１１を先頭の画素とする６×６画素範囲内の画素に、図２（ｆ）に表したフィルタを掛ける。

詳しくは、（Ｇｂ１１×５＋Ｇｂ１２×６＋Ｇｂ１３×１＋Ｇｂ２１×６＋Ｇｂ２２×８＋Ｇｂ２３×２＋Ｇｂ３１×１＋Ｇｂ３２×２＋Ｇｂ３３×１）÷３２、の演算式を用いてＧｂの出力信号を算出する。この際、フィルタの係数は、Ｇｒ１１を先頭の画素とする６×６画素範囲の中心に重心をもつように設定され、且つ、エイリアシングを抑制する高周波フィルタを構成している。

次に、Ｂを生成するために、Ｇｒの生成に対して走査範囲を２画素だけ下方向にずらし、Ｇｒ１０を先頭の画素とする６×６画素範囲内の画素に図３（ｅ）に表したフィルタを掛ける。

詳しくは、（Ｂ１０×１＋Ｂ１１×６＋Ｂ１２×５＋Ｂ２０×２＋Ｂ２１×８＋Ｂ２２×６＋Ｂ３０×１＋Ｂ３１×２＋Ｂ３２×１）÷３２、の演算式を用いてＢの出力信号を算出する。この際、フィルタの係数は、Ｇｒ１０を先頭の画素とする６×６画素範囲の中心に重心をもつように設定され、且つ、エイリアシングを抑制する高周波フィルタを構成している。

これらの処理を縦横４画素ごとに繰り返して行うことにより、図２（ｇ）に表したように、縦横１／２の縮小された画像データを元のベイヤー配列を崩すことなく出力でき、後段の画像処理チップ２５でカラー画像を生成する際の画質劣化を抑制できる。つまり、信号出力部２３から、サンプリング重心が等間隔の出力信号を得ることができる。

次に、画像処理チップ３０は、固定撮像素子２０から出力された画像データを用いてカラー画像を生成する。

つまり、単板式の撮像素子では各画素が単色の色情報しか持たないが、カラー画像を表示するためには、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の値すべてが各画素で必要である。このため単板式撮像素子を用いた画像処理では、各画素がＲ、Ｇ、Ｂ成分のうちの何れかのみを有する色モザイク画像にもとづいて、所謂公知のデモザイク処理を行う。ここで、デモザイク処理とは、色モザイク画像の各画素の単色情報に対してその周辺画素から集めた他の足りない色の輝度情報を用いて補間演算を行うことにより、各画素がそれぞれＲ、Ｇ、Ｂ成分の全てを有するカラー画像を生成する処理である（所謂、色補間処理である）。

以上、第１の実施形態の固定撮像素子２０及び撮像装置によれば、Ａ／Ｄ変換部を介して出力された複数のデジタル信号を、所定のサンプリング位置で異なる所定の比率で混合し、光電変換素子の数より少ない信号の数にして出力する信号出力部を備えるとともに、信号出力部から出力される複数の出力信号のサンプリング重心が、夫々、等間隔であることにより、当該固体撮像素子から画像データを出力する際に、ピクセルレートを下げつつ、狭画角化や画質劣化を抑制できる。また、カラーフィルタがＲＧＢ３原色のベイヤー（Ｂａｙｅｒ）配列で構成され、信号処理部によって生成される出力信号も前記ＲＧＢ３原色のベイヤー（Ｂａｙｅｒ）であることにより、オリジナルのＲＡＷデータを処理するのと同様の画像処理チップ３０によって、画質劣化を抑制した被写体像を生成できる。

なお、信号処理部でフィルタリングする際には、ローパスフィルタの強さの調整や、画像処理チップ３０の処理に応じて、フィルタの係数を変えてもよい。

(第２の実施形態)
次に、図３を用いて、本発明の第２の実施形態を説明する。図３は、本発明の固体撮像素子における画像処理の説明図である。

第２の実施の形態の固体撮像素子及び撮像装置は、第１の実施形態で表した画像処理部２４の動作が異なるものであって、基本的に第１の実施形態と同じ構成なので、共通と成る構成部分につては詳細な説明を省き、特徴と成る部分について以下に説明する。

第２の実施形態における画像処理部２４は、図３に表したように、出力信号を、総画素数の１／２にして、補色系のＣＹＧＭ形式で出力する。ここでは、固体撮像素子の各光電変換素子２１から出力される画素配列が図５（ａ）で表したベイヤー配列であって、Ａ／Ｄ変換部２２オリジナルのＲＡＷデータとして画像処理部２４に出力される。

画像処理部２４は、ＲＡＷデータを受け取って、異なる色の画素信号を混合しつつ、ローパスフィルタを適用するとともに画素データを縦横１／２に間引いて出力信号を生成する。

例えば、以下のように、一方向における画像の縮小率を１／２とすれば、ｆｓ／４（（ｆｓ／２）×（１／２））をカットオフとするローパスフィルタを適用できる。この際、図５（ａ）に表したように、ベイヤー配列に対応付けて各画素番号が割り当てられているものとする。

まず、Ｇを生成するために、Ｇｒ００を先頭の画素とする５×５画素範囲内の画素に、図３（ｃ）に表したフィルタを掛ける。

詳しくは、（Ｇｒ００×２＋Ｇｒ０１×４＋Ｇｒ０２×２＋Ｇｂ００×８＋Ｇｂ０１×８＋Ｇｒ１０×４＋Ｇｒ１１×８＋Ｇｒ１２×４＋Ｇｂ１０×８＋Ｇｂ１１×８＋Ｇｒ２０×２＋Ｇｒ２１×４＋Ｇｒ２２×２）÷６４、の演算式を用いてＧの出力信号を算出する。

次に、Ｃｙを生成するために、Ｇに対して走査範囲を２画素だけ右方向にずらし、Ｇｒ０１を先頭の画素とする５×５画素範囲内の画素に、図３（ｄ）に表したフィルタを掛ける。

詳しくは、（Ｇｒ０１×１＋Ｇｒ０２×２＋Ｇｒ０３×１＋Ｂ０１×４＋Ｇｂ０１×４＋Ｂ０２×８＋Ｇｂ０２×４＋Ｂ０３×４＋Ｇｒ１１×２＋Ｇｒ１２×４＋Ｇｒ１３×２＋Ｂ１１×４＋Ｇｂ１１×４＋Ｂ１２×８＋Ｇｂ１２×４＋Ｂ１３×４＋Ｇｒ２１×１＋Ｇｒ２２×２＋Ｇｒ２３×１）÷６４、の演算式を用いてＣｙの出力信号を算出する。

次に、Ｙｅを生成するために、Ｇの生成に対して走査範囲を２画素だけ下方向にずらし、Ｇｒ１０を先頭の画素とする５×５画素範囲内の画素に、図３（ｅ）に表したフィルタを掛ける。

詳しくは、（Ｇｒ１０×１＋Ｒ１０×４＋Ｇｒ１１×２＋Ｒ１１×４＋Ｇｒ１２×１＋Ｇｂ１０×４＋Ｇｂ１１×４＋Ｇｒ２０×２＋Ｒ２０×８＋Ｇｒ２１×４＋Ｒ２１×８＋Ｇｒ２２×２＋Ｇｂ２０×４＋Ｇｂ２１×４＋Ｇｒ３０×１＋Ｒ３０×４＋Ｇｒ３１×２＋Ｒ３１×４＋Ｇｒ３２×１）÷６４、の演算式を用いてＹｅの出力信号を算出する。

次に、Ｍｇを生成するために、Ｙｅの生成に対して走査範囲を２画素だけ右方向にずらし、Ｇｒ１１を先頭の画素とする５×５画素範囲内の画素に図３（ｇ）に表したフィルタを掛ける。

詳しくは、（Ｒ１１×４＋Ｒ１２×４＋Ｂ１１×４＋Ｂ１２×８＋Ｂ１３×４＋Ｒ２１×８＋Ｒ２２×８＋Ｂ２１×４＋Ｂ２２×８＋Ｂ２３×４＋Ｒ３１×４＋Ｒ３２×４）÷６４、の演算式を用いてＭｇの出力信号を算出する。

前述の演算式によれば、２画素間隔でＣＹＧＭ配列を生成するようにフィルタリングされる。これらの処理を縦横４画素ごとに繰り返して行うことによりサンプリング重心が等間隔になるので、画素間引きによる解像度の低下を抑制できる。なお、フィルタリングする際には、必要に応じて、ローパスフィルタの強さを変えたり、フィルタの係数を変更したりしてもよい。

次に、画像処理部２４で縮小されたＲＡＷデータは、画像処理チップ３０に出力され、画像処理チップ３０において補色系に基づいた公知のデモザイク処理が行われ、カラー画像が生成される。

さらに、動画撮影の際には、画像処理部において、フレームによって画素混合の仕方を変えてもよい。

例えば、奇数フレームに対しては、図６（ａ）の各Ｇｂ画素位置周辺で３×３画素範囲を図中の数字で示すフィルタを掛け、図６（ｂ）に表したように間引き出力する。Ｇ、Ｃｙ、Ｙｅ、Ｍｇの指し示すフィルタは異なる色の画素信号を各々異なる比率で混合し、この間引き出力は２画素間隔でＣＹＧＭ配列を生成する。偶数フレームに対しては、図７（ａ）に表したようにＧとＭｇ、ＣｙとＹｅのフィルタを入れ替え、図７（ｂ）で表したように間引き出力する。

そして、この際、画像処理チップ３０では、図８に表したように、所謂３次元ＹＣ分離を行って、カラー画像を生成する。具体的には、画像処理チップ３０では、ｎ番目のフレームＦ_ｎを受けた際、直前のＦ_ｎ−１との平均を算出することで、全出力画素における輝度信号Ｙ＝（Ｇｒ＋Ｇｂ＋Ｒ＋Ｂ）／２を生成する。

また、Ｆ_ｎとその直前のＦ_ｎ−１との差を算出することで、ＧやＭｇ画素位置における第一の色差Ｃ１＝（Ｇ−Ｍｇ）＝（Ｇｒ＋Ｇｂ−Ｒ−Ｂ）／２、及び、ＣｙやＹｅ画素位置における第二の色差Ｃ２＝（Ｃｙ−Ｙｅ）＝（Ｂ−Ｒ）／２、を得ることができ、これらから生成されるカラー画像を出力する。

これにより、動きの少ない被写体には高品位な画像を生成できる。また、画像処理チップ３０では、被写体の動きの大きさに応じて、単一フレームからの画像生成と、所謂３次元ＹＣ分離による画像生成とを切り替えてもよい。

（第３の実施形態）
次に、図４を用いて、本発明の第３の実施形態を説明する。図４は、本発明の固体撮像素子における画像処理の説明図である。

第３の実施の形態の固体撮像素子及び撮像装置は、第１の実施形態で表した画像処理部２４の動作が異なるものであって、基本的に第１の実施形態と同じ構成なので、共通と成る構成部分につては詳細な説明を省き、特徴と成る部分について以下に説明する。

第３の実施形態における画像処理部２４は、図４に表したように、出力信号を、総画素数の１／２にして、ＹＣＣ形式で出力する（つまり、輝度Ｙと二つの色差Ｃ１、Ｃ２を出力する）。また、その際、サンプリングフォーマット４：２：２で出力するものとする。

ここでは、固体撮像素子の各光電変換素子２１から出力される画素配列が図５（ｂ）で表したベイヤー配列であって、Ａ／Ｄ変換部２２オリジナルのＲＡＷデータとして画像処理部２４に出力される。また、色毎に可変ゲインアンプが備えられ、Ａ／Ｄ変換部２２によってＡＤ変換される前に、光電変換素子２１の出力信号が調整され、ホワイトバランスをとるように構成されることが望ましい。

まず、Ｙを生成するために、Ｂ００を先頭の画素とする３×３画素範囲内の画素に、図４（ｃ）に表したフィルタを掛ける。この際、図５（ｂ）に表したように、ベイヤー配列に対応付けて各画素番号が割り当てられているものとする。

詳しくは、（Ｂ００×１＋Ｇｂ０１×２＋Ｂ０１×１＋Ｇｒ１０×２＋Ｒ１１×４＋Ｇｒ１１×２＋Ｂ１０×１＋Ｇｂ１１×２＋Ｂ１１×１）÷１６、の演算式を用いてＹの出力信号を算出する。この信号のサンプリング重心はＲ１１の位置となる。この演算式は、ｆｓ／２（ナイキスト周波数）をカットオフとするロ−パスフィルタであり、これによって生成されるＹは、Ｒ：Ｇ：Ｂ＝１：２：１の混合比率である。

次に、Ｃ２を生成するために、Ｒ００を先頭の画素とする５×５画素範囲内の画素に、図４（ｄ）に表したフィルタを掛ける。

詳しくは、（Ｒ００×１＋Ｒ０１×２＋Ｒ０２×１＋Ｂ００×（−４）＋Ｂ０１×（−４）＋Ｒ１０×２＋Ｒ１１×４＋Ｒ１２×２＋Ｂ１０×（−４）＋Ｂ１１×（−４）＋Ｒ２０×１＋Ｒ２１×２＋Ｒ２２×１）÷３２、の演算式を用いてＣ２の出力信号を算出する。この信号のサンプリング重心はＲ１１の位置となる。このフィルタは、Ｒ及びＢにｆｓ／４のフィルタを掛けた後にＲとＢの差分をとるのと等価であり、Ｃ２は、Ｒ：Ｇ：Ｂ＝１：０：（−１）の混合比率である。

次に、Ｙを生成するために、Ｂ０１を先頭の画素とする３×３画素範囲内の画素に、図４（ｃ）に表したフィルタを掛けサンプリング重心がＲ１２の位置となるＹの出力信号を生成する。その後、Ｃ１を生成するために、Ｒ０１を先頭の画素とする５×５画素範囲内の画素に図４（ｅ）に表したフィルタを掛ける。

詳しくは、（Ｒ０１×（−１）＋Ｇｒ０１×２＋Ｒ０２×（−２）＋Ｇｒ０２×２＋Ｒ０３×（−１）＋Ｇｂ０１×２＋Ｂ０１×（−４）＋Ｇｂ０２×４＋Ｂ０２×（−４）＋Ｇｂ０３×２＋Ｒ１１×（−２）＋Ｇｒ１１×４＋Ｒ１２×（−４）＋Ｇｒ１２×４＋Ｒ１３×（−２）＋Ｇｂ１１×２＋Ｂ１１×（−４）＋Ｇｂ１２×４＋Ｂ１２×（−４）＋Ｇｂ１３×２＋Ｒ２１×（−１）＋Ｇｒ２１×２＋Ｒ２２×（−２）＋Ｇｒ２２×２＋Ｒ２３×（−１））÷３２、の演算式を用いてＣ１の出力信号を生成する。この信号のサンプリング重心はＲ１２の位置となる。このフィルタは、Ｒ、Ｇｒ、Ｇｂ、Ｂの夫々にｆｓ／４のフィルタを掛けた後に（Ｇｒ＋ＧＢ）と（Ｒ＋Ｂ）との差分をとるのと等価であり、Ｃ１は、Ｒ：Ｇ：Ｂ＝（−１）：２：（−１）の混合比率である。

これらの処理を縦２画素、横４画素間隔で繰り返し行うことにより、図４（ｆ）に表したように、縦横２画素間隔で間引き生成される輝度Ｙ、縦２画素、横４画素間隔で間引き生成されるＣ１及びＣ２から、Ｙ：Ｃ１：Ｃ２＝４：２：２の、１／２出力のイメージ画像を生成する。

なお、信号処理部でフィルタリングする際には、ローパスフィルタの強さの調整をするフィルタの大きさを変えたりフィルタ係数を変更したりしてもよい。また、輝度に対しては色差よりも弱いローパスフィルタを施し、色差に対しては輝度よりも強いローパスフィルタを施すことが望ましい。

以上、第３の実施形態によれば、ＹＣＣ４：２：２の出力形式では、画素数が１／４に縮小されるが、その際、色差情報も含み、１画素あたり２値になり、一つの値を１２ｂｉｔとすれば１画素あたり２４ｂｉｔになる。そして、２Ｍピクセルの動画出力画像を行う際の情報出力は、２４ｂｉｔ×２Ｍｐｉｘｅｌ×６０ｆｐｓ＝２．８８Ｇｂｐｓとなって、帯域を１／２に抑えられる。

なお、図４（ｇ）に表したように、画像処理部２３における色差の間引きを縦横４画素間隔とすることにより、ＹＣＣ＝４：２：０のサンプリングフォーマットを得ることができる。その際は、１画素あたり平均１８ｂｉｔになり、２Ｍピクセルの動画出力画像を行う際の情報出力は、１８ｂｉｔ×２Ｍｐｉｘｅｌ×６０ｆｐｓ＝２．１６Ｇｂｐｓとなって、帯域を３／８に抑えられる。

次に、画像処理チップ３０では、固体撮像素子から出力するＹＣＣから公知のＲＧＢ又はＹＣｂＣｒ（ＩＴＵ−Ｒ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ−Ｒａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ） ＢＴ．６０１）といった、標準的なカラー画像の色空間へ変換され、カラー画像が生成される。

以上のように、第３の実施形態によれば、３原色のベイヤー（Ｂａｙｅｒ）配列から、輝度Ｙ、色差信号Ｃ１、Ｃ２の出力信号を生成する際に、サンプリング重心が等間隔で構成される輝度Ｙ及び色差Ｃ１、Ｃ２が得られ、出力データレートを低減できるとともに、すべての出力画素に対して輝度Ｙが得られるため、解像度の高い画像を得ることができる。

また、色差信号Ｃ１、Ｃ２を生成する際に、さらに偽色抑制を行うこともできる。偽色抑制の一例として、Ｃ２に乗る赤や青の偽色抑制を説明する。固体撮像素子２０によって構成されるベイヤー配列のカラーイメージセンサでは、ナイキスト周波数付近の高周波に赤や青の偽色が発生し易いので、ＧｒとＧｂの差分をとることでこれらの縞模様が検出でき、偽色を抑制できる。

詳しくは、前述のように、Ｃ２＝（Ｒ００×１＋Ｒ０１×２＋Ｒ０２×１＋Ｂ００×（−４）＋Ｂ０１×（−４）＋Ｒ１０×２＋Ｒ１１×４＋Ｒ１２×２＋Ｂ１０×（−４）＋Ｂ１１×（−４）＋Ｒ２０×１＋Ｒ２１×２＋Ｒ２２×１）÷３２、の演算式を用いてＣ２を算出する。

次に、Ｋ＝（（Ｇｒ００×１＋Ｇｒ１０×２＋Ｇｒ２０×１＋Ｇｒ０１×１＋Ｇｒ１１×２＋Ｇｒ２１×１）−（Ｇｂ００×１＋Ｇｂ０１×２＋Ｇｂ０２×１＋Ｇｂ１０×１＋Ｇｂ１１×２＋Ｇｂ１２×１））÷１６、の演算式を用いて高周波成分Ｋを算出する。

次に、下記式を用いて、Ｃ２の絶対値から（ゼロを跨がない限りにおいて）、Ｋ２の絶対値を減じればよい。
Ｃ２→ｓｉｇｎ（Ｃ２）ｍａｘ（ａｂｓ（Ｃ２）−ａｂｓ（Ｋ），０）

以上、本発明の実施形態について説明したが、本発明は、前記実施形態に限定されるものでなく、画像処理部２４で用いるフィルタの形状や信号出力部２５から出力するデータの出力形式など、種々の態様をとることができる。

本発明の固体撮像素子及び撮像装置が適用された第１の実施形態の、撮像装置１の構成を表したブロック図である。 同第１の実施形態の固体撮像素子における、信号出力部の説明図である。 本発明の固体撮像素子及び撮像装置が適用された第２の実施形態の、信号出力部の動作を表す説明図である。 本発明の固体撮像素子及び撮像装置が適用された第３の実施形態の、信号出力部の動作を表す説明図である。 本実施形態における、ベイヤー配列の画素配置図である。 同第２の実施形態の固体撮像素子における、奇数フレームの画素混合の説明図である。 同第２の実施形態の固体撮像素子における、偶数フレームの画素混合の説明図である。 同第２の実施形態の画像処理チップにおける、３次元ＹＣ分離の説明図である。 従来例における、カラーイメージセンサの出力信号の間引き処理の説明図である。

符号の説明

１０…撮像光学系、２０…固体撮像素子、２１…光電変換素子（受光素子）、２２…Ａ／Ｄ変換部、２３…信号出力部、２４…画像処理部、２５…出力部、３０…画像処理チップ。

Claims (10)

1. 行及び列方向に格子状に配列され、受光量に応じたアナログ信号を出力する複数の光電変換素子と、
   前記複数の光電変換素子から出力されたアナログ信号を、デジタル信号に量子化して出力するＡ／Ｄ変換部と、
   を備え、
   前記複数の光電変換素子には、夫々、異なる色成分の光を透過するカラーフィルタが備えられて、該複数のカラーフィルタが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３原色のベイヤー（Ｂａｙｅｒ）配列で構成されて、複数色を１単位として周期的に配列され、
   前記Ａ／Ｄ変換部を介して出力された複数のデジタル信号を、所定のサンプリング位置で異なる所定の比率でＲＧＢの色毎に混合し、前記光電変換素子の数より少ない信号の数にしてベイヤー配列で出力する信号出力部を備え、
   前記信号出力部が、前記Ａ／Ｄ変換部を介して出力された複数のデジタル信号において、ベイヤー配列の２行２列の単位領域が複数配列された領域でありＲＧＢの異なる色間で大きさが等しい所定の方形領域ごとに、当該所定の方形領域内の複数の画素値を参照し、その参照値にそれぞれ重み係数を乗算した値の和を重み係数の合計値で除算し、その除算値を１つの画素値として出力するように構成され、
   前記所定の方形領域ごとの重み係数の重心であるサンプリング重心が、前記所定の方形領域の中心に配置され、行方向及び列方向のいずれの方向に関しても等間隔となり、且つ、行方向の間隔と列方向の間隔とが同じになるように配列されている、
   ことを特徴とする固体撮像素子。
2. 行及び列方向に格子状に配列され、受光量に応じたアナログ信号を出力する複数の光電変換素子と、
   前記複数の光電変換素子から出力されたアナログ信号を、デジタル信号に量子化して出力するＡ／Ｄ変換部と、
   を備え、
   前記複数の光電変換素子には、夫々、異なる色成分の光を透過するカラーフィルタが備えられて、該複数のカラーフィルタが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３原色のベイヤー（Ｂａｙｅｒ）配列で構成されて、複数色を１単位として周期的に配列され、
   前記Ａ／Ｄ変換部を介して出力された複数のデジタル信号を、所定のサンプリング位置で異なる所定の比率でＲＧＢのうちの１つ又は複数色で混合し、前記光電変換素子の数より少ない信号の数にして、Ｃ（シアン）、Ｙｅ（イエロー）、Ｇ（グリーン）、Ｍ（マゼンダ）からなる配列で出力する信号出力部を備え、
   前記信号出力部が、前記Ａ／Ｄ変換部を介して出力された複数のデジタル信号において複数の行及び複数の列からなる所定の方形領域ごとに、当該所定の方形領域内の複数の画素値を参照し、その参照値にそれぞれ重み係数を乗算した値の和を重み係数の合計値で除算し、その除算値を１つの画素値として出力するように構成され、
   前記所定の方形領域ごとの重み係数の重心であるサンプリング重心が、行方向及び列方向のいずれの方向に関しても等間隔となり、且つ、行方向の間隔と列方向の間隔とが同じになるように配列されている、
   ことを特徴とする固体撮像素子。
3. 行及び列方向に格子状に配列され、受光量に応じたアナログ信号を出力する複数の光電変換素子と、
   前記複数の光電変換素子から出力されたアナログ信号を、デジタル信号に量子化して出力するＡ／Ｄ変換部と、
   を備え、
   前記複数の光電変換素子には、夫々、異なる色成分の光を透過するカラーフィルタが備えられて、該複数のカラーフィルタが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３原色のベイヤー（Ｂａｙｅｒ）配列で構成されて、複数色を１単位として周期的に配列され、
   前記Ａ／Ｄ変換部を介して出力された複数のデジタル信号を、所定のサンプリング位置で異なる所定の比率でＲＧＢのうちの複数色で混合し、前記光電変換素子の数より少ない信号の数にして、輝度信号Ｙ、色差信号Ｃ１、Ｃ２からなる配列で出力する信号出力部を備え、
   前記信号出力部が、前記Ａ／Ｄ変換部を介して出力された複数のデジタル信号において複数の行及び複数の列からなる所定の方形領域ごとに、当該所定の方形領域内の複数の画素値を参照し、その参照値にそれぞれ重み係数を乗算した値の和を重み係数の合計値で除算し、その除算値を１つの画素値として出力するように構成され、
   前記所定の方形領域ごとの重み係数の重心であるサンプリング重心が、行方向及び列方向のいずれの方向に関しても等間隔となり、且つ、行方向の間隔と列方向の間隔とが同じになるように配列されている、
   ことを特徴とする固体撮像素子。
4. 前記信号出力部で生成される前記色差信号Ｃ１及びＣ２の数が、前記輝度Ｙの信号の数よりも少ない、
   ことを特徴とする請求項３に記載の固体撮像素子。
5. 前記信号出力部が、前記色差信号Ｃ１及びＣ２の少なくとも一方の生成において、偽色の抑制を行う、
   ことを特徴とする請求項３又は請求項４に記載の固体撮像素子。
6. 前記光電変換素子から出力されるアナログ信号量を、前記複数色の色毎に可変する可変ゲインアンプを備え、
   前記ゲインアンプを介して、当該固体撮像素子を介して撮像された画像色のホワイトバランスが調整可能に構成されており、
   前記ホワイトバランスが調整されたアナログ信号が前記Ａ／Ｄ変換部に入力される、
   ことを特徴とする請求項１乃至請求項５の何れか記載の固体撮像素子。
7. 前記信号出力部から出力信号を出力する際に、
   前記複数のデジタル信号を混合して出力する第一出力モードと、
   前記複数のデジタル信号を混合することなしに、前記光電変換素子毎のデジタル信号を出力する第二出力モードと、
   を切り替える切り替え手段を備えている、
   ことを特徴とする請求項１乃至請求項６の何れか記載の固体撮像素子。
8. 被写体像を固体撮像素子に導いて結像させる撮像光学系と、
   前記結像された被写体像を光電変換して出力する固体撮像素子と、
   前記固体撮像素子から出力された出力信号に対して所定の画像処理を加え、前記被写体像を再現する画像処理装置と、
   を備えた撮像装置であって、
   前記固体撮像素子が請求項１乃至請求項７の何れかであることを特徴とする撮像装置。
9. 被写体像を固体撮像素子に導いて結像させる撮像光学系と、
   前記結像された被写体像を光電変換して出力する固体撮像素子と、
   前記固体撮像素子から出力された出力信号に対して所定の画像処理を加え、前記被写体像を再現する画像処理装置と、
   を備えた撮像装置であって、
   前記固体撮像素子が請求項２記載の固体撮像素子であり、
   前記画像処理装置が、
   前記固体撮像素子から出力される連続した２つのフレームの平均を算出することで、１つのフレーム内の全出力画素における輝度信号Ｙを生成すると共に、前記連続した２つのフレームの差を算出することで、１つのフレーム内のＧ又はＭｇの画素位置における第一の色差信号Ｃ１及び１つのフレーム内のＣｙ又はＹｅの画素位置における第二の色差信号Ｃ２を生成して、前記被写体像を再現する、
   ことを特徴とする撮像装置。
10. 前記固体撮像素子の前記信号出力部が、同一のサンプリング位置においても、フレームによって前記複数色の異なる色光の出力の混合比率を変化させることができるように構成されている、
    ことを特徴とする請求項９記載の撮像装置。

Images