JP4307780B2 - 固体撮像装置およびその信号読出し方法 - Google Patents
固体撮像装置およびその信号読出し方法 Download PDFInfo
- Publication number
- JP4307780B2 JP4307780B2 JP2002061547A JP2002061547A JP4307780B2 JP 4307780 B2 JP4307780 B2 JP 4307780B2 JP 2002061547 A JP2002061547 A JP 2002061547A JP 2002061547 A JP2002061547 A JP 2002061547A JP 4307780 B2 JP4307780 B2 JP 4307780B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- color
- horizontal
- solid
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/713—Transfer or readout registers; Split readout registers or multiple readout registers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
Description
【０００１】
【発明の属する技術分野】
本発明は、固体撮像装置およびその信号読出し方法に関し、受光素子から読み出された信号電荷を水平方向に混合することによって間引きを行う固体撮像装置に適用して好適なものであり、この固体撮像装置を駆動させて水平混合を行わせて間引き読出しを行う信号読出し方法に適用して好適なものである。
【０００２】
【従来の技術】
ディジタルカメラは、エリアイメージセンサを利用して被写界を撮像している。エリアイメージセンサは、高画質化を目指して光電変換するセンサの受光素子数、すなわち画素数を数百万以上有する高画素イメージセンサも市場に提供されてきている。ディジタルカメラにおける撮像には、静止画モードと動画モード（ムービモード）がある。この内、動画モードでの撮像は、得られる画像を動画表示させるため所定の時間間隔で周期的に行うことになる。また、動画モードは、使用者が静止画の画角を決める際に用いることからモニタモードとも呼ばれる。
【０００３】
高画素イメージセンサを用いてモニタモードを行い、撮像して得られた信号電荷をそのまま読み出すと、上述した時間内に完了できなくなるので、追従可能な画素数の読出しが行われる。この際の信号電荷読出しでは、水平（行）方向に配された受光素子を１ラインとするとき、複数のラインから読み出した信号電荷を混合して垂直加算が行われる。垂直加算は、信号電荷の加算により信号電荷量が増加するので、信号電荷量に応じて撮像感度が高められる。
【０００４】
また、エリアイメージセンサを用いてカラー画像を撮像する場合、このセンサの被写界側に入射光を色分解する色フィルタが配されている。一般的に、ディジタルスチルカメラの場合、１つのエリアイメージセンサに色フィルタを１つ配する単板方式が用いられる。単板方式の色フィルタは、各受光素子に対して１つの色フィルタセグメントが対応している。このため、単板を用いるディジタルスチルカメラは、色フィルタセグメントの色が同色同士の信号電荷を垂直混合している。このように垂直間引きを受けた場合、画像の垂直解像度は、間引きに応じて低下する。
【０００５】
将来、さらなるエリアイメージセンサの高画素化に対応し、モニタモードでの信号電荷読出しに対応する場合が考えられる。このときの対策としては、垂直混合だけでなく、水平混合も考慮することが考えられる。水平混合に対応すべく検討が行われつつある。特開2001-86519号公報の固体撮像装置は、混合するラインの位置関係に着目し、エリアイメージセンサから出力された色混合した信号から、たとえば三原色R, G, Bの生成を行っている。固体撮像装置は、三原色R, G, Bを生成するため色混合した信号に対して複雑な演算処理を施す特別な画像処理を後段で行っている。
【０００６】
【発明が解決しようとする課題】
ところで、エリアイメージセンサの水平間引きは、エリアイメージセンサ内で水平方向の画素混合が行われているので、生成した画素信号は、新たな色の画素空間（画像）を構築することになる。このとき、この画素空間は、明らかに従来の画素位置と異なる色空間を示し、その画素配置は均等性が崩れている。前述したような特別な画像処理を適用しないで、これまで行っていた信号処理を均等性の崩れている画素配置として得られた画像に施すと、画像には、縦筋、偽色等を発生させてしまい、画質劣化を招いてしまう。
【０００７】
また、通常のモニタモードの動画を表示する場合、静止画より少ない画素数で動画像を表示しているが、表示画像には画質劣化の目立たない画素数を確保している。しかしながら、この動画像に倍率を高くする電子ズームをかけると、同じ画素データの繰返し表示が行われ、実質的に表示画像に寄与する画素数が減少することから、この表示画像には画質劣化が顕著になってしまう可能性がある。
【０００８】
前述した特開2001-86519号公報の固体撮像装置では、水平方向に色混合して得られた画素データから、三原色R, G, Bを再現する手順から混合する色の条件が限定される。固体撮像装置において、さらなる信号読出しの高速化を図るとき、この混色させる条件が問題になる可能性がある。
【０００９】
本発明はこのような従来技術の欠点を解消し、水平混合による画像を高画質にし、信号電荷の読出しにおけるこれまで以上の高速化および柔軟な読出し対応を行うことのできる固体撮像装置およびその信号読出し方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の固体撮像装置は上述の課題を解決するために、被写界からの入射光を各色に分離する色フィルタセグメントがパターン配列された色フィルタ、この色フィルタで透過させ、該透過光を光電変換して信号電荷を生成する受光素子、色フィルタセグメントの色に応じた色属性を有する信号電荷を受光素子に蓄積させたり、受光素子から蓄積した信号電荷を読み出す開閉が行われるゲート、このゲートに隣接して垂直方向にゲートを介して読み出した信号電荷を転送する複数の第１の転送素子、この複数の第１の転送素子と直交する水平方向に前記蓄積した信号電荷を転送する第２の転送素子、第１の転送素子のそれぞれの最下段と第２の転送素子との間に配設され、最下段の素子から供給される信号電荷を一時保持する電荷保持手段、および色フィルタセグメントのパターン配列で同一行方向に色属性が同じ信号電荷の混合により水平方向の間引きを行わせて生成した色のパターンが、色フィルタのパターンと異なる位置関係にある信号電荷を間引く電荷間引き手段を有する固体撮像素子と、ゲートの開閉、第１および第２の転送素子に対する駆動信号、ならびに電荷保持手段に保持された信号電荷の読出し信号の生成を行い、さらに電荷間引き手段に対する間引き駆動信号を生成する駆動信号生成手段とを含むことを特徴とする。
【００１１】
本発明の固体撮像装置は、駆動信号生成手段からの駆動信号に応じて受光素子に各色属性の信号電荷を蓄積し、電荷保持手段を駆使して第２の転送素子にて水平混合を行うことにより水平間引きし、水平混合によって得られる色パターンが色フィルタのパターンと異なるパターンにしてしまう色属性の信号電荷に対して電荷間引き手段に駆動信号生成手段から供給される間引き駆動信号により所定の列の信号電荷を間引きし、この間引きした信号電荷の水平混合に対応する信号電荷を水平混合することなく、そのままに読み出すことにより、色フィルタのパターンと同じ位置関係の色パターンを得ることができる。
【００１２】
本発明の固体撮像装置は上述の課題を解決するために、被写界からの入射光を各色に分離する色フィルタセグメントがパターン配列された色フィルタ、この色フィルタで透過させ、この透過光を光電変換して信号電荷を生成する受光素子、色フィルタセグメントの色に応じた色属性を有する信号電荷を受光素子に蓄積させたり、受光素子に蓄積された信号電荷を読み出す開閉が行われるゲート、このゲートに隣接して垂直方向にゲートを介して読み出した信号電荷を転送する複数の第１の転送素子、この複数の第１の転送素子と直交する水平方向に蓄積した信号電荷を転送する第２の転送素子、および第１の転送素子のそれぞれの最下段と第２の転送素子との間に配設され、最下段の素子から供給される信号電荷を一時保持する電荷保持手段を有する固体撮像素子と、ゲートの開閉、第１および第２の転送素子に対する駆動信号、ならびに電荷保持手段に保持された信号電荷の読出し信号を生成し、水平方向の同色の色属性を有する信号電荷を水平混合させる駆動信号も生成する駆動信号生成手段と、固体撮像素子から水平混合により得られたアナログ出力信号を画素としてディジタル化を施し、得られた画素データのうち、水平混合により色フィルタのパターンと異なるパターンをもたらす位置ずれした画素データをこの画素データの左右に位置する同色の画素データを用いて補間する信号処理手段とを含むことを特徴とする。
【００１３】
本発明の固体撮像装置は、受光素子で蓄積された信号電荷を第１の転送素子を介して電荷保持手段に送り、電荷保持手段から第２の転送素子に読み出した信号電荷を水平方向の同色の色属性を有する信号電荷同士で水平混合させ、信号処理手段で色フィルタのパターンと異なるパターンをもたらす位置ずれした画素データをこの画素データの左右に位置する同色の画素データを用いて補間を行って、水平混合した色パターンを色フィルタと同じパターンにすることができる。
【００１４】
また、本発明の固体撮像装置の信号読出し方法は上述の課題を解決するために、被写界からの入射光を色分解する色フィルタセグメントを用いて色分解し、色分解した入射光に応じてそれぞれの色属性を有する信号電荷に変換する第１の工程と、信号電荷を画素として水平方向に同色の信号電荷同士を水平混合させる場合、この水平混合により得られる間引き読出しの色パターンが本来の色フィルタセグメントの配置パターンと異なるパターンの位置関係にある信号電荷に対する間引き処理を含めて水平混合読出しを行う第２の工程と、間引き処理して得られた位置の信号電荷のレベルに対して正常な配置パターンを示す位置の水平混合による信号電荷の生成に用いた画素数に応じてレベル調整する第３の工程とを含むことを特徴とする。
【００１５】
本発明の固体撮像装置の信号読出し方法は、色属性を有する信号電荷を画素とし、水平混合した結果、本来の色フィルタセグメントの配置パターンと異なるパターンの位置関係にある信号電荷を間引き読出しし、この間引きに対応する信号電荷に対してレベルを同色同士の水平混合に用いた画素の混合数を倍数としてレベル調整することにより、画面全体のレベルバランスを一定に保ちながら、水平方向の間引きを行っている。
【００１６】
さらに、本発明の画像処理方法は上述の課題を解決するために、被写界からの入射光を色分解するパターンを介して各色に分解し、この色分解した光に対する光電変換により色属性を有する信号電荷を生成し、水平方向に同色の色属性を有する信号電荷同士を混合する水平混合を行う第１の工程と、水平混合により得られたアナログ出力信号を画素としてディジタル化を施し、得られた画素データが示すパターンが色分解するパターンと異なるパターンをもたらす位置ずれした画素に対する左右に位置した同色の画素データを用いて位置ずれした画素を正常な位置に補間する第２の工程とを含むことを特徴とする。
【００１７】
本発明の画像処理方法は、同色の水平混合を行い、色分解するパターンに対して位置ずれしている画素をこの画素の左右に位置する同色の画素データで補間することにより位置ずれを解消して、生成するパターンを色分解するパターンと同じ関係にすることができる。
【００１８】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。
【００１９】
本実施例は、本発明の固体撮像装置をディジタルカメラ10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００２０】
ディジタルカメラ10には、図２に示すように、光学レンズ系12、絞り機構14、撮像部16、前処理部18、システム制御部20、信号処理部22、タイミング信号生成部（TG：Timing signal Generator）24、ドライバ26、ストレージ28およびモニタ30が含まれている。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されて絞り機構14でつくるアイリスを介して入射光束が撮像部16に焦点を結ぶように結像させる。光学レンズ系12は、本撮像の前に行う予備の撮像から被写体とカメラ10との距離を求め、得られた距離に応じてピント調節する、AF（Automatic Focus：自動焦点）調節機構および入射光量を調節するAE（Automatic Exposure）調節機構を含んでいる。これらの機構は、後述するドライバ26から供給される駆動信号に応動する。
【００２１】
絞り機構14は、具体的に図示しないが、ドライバ26からの駆動信号に応じてリング部を回転させる。リング部は羽根を部分的に重ならせてアイリスの形状を丸く形成し、入射する光束を通すようにアイリスを形成する。このようにして絞り機構14はアイリスの口径を変えている。絞り機構14は、メカニカルシャッタ（図示せず）をレンズシャッタとして組み込んでもよい。
【００２２】
撮像部16には、光学ローパスフィルタ16a、色フィルタ16bおよび固体撮像素子16cが含まれている。光学ローパスフィルタ16aは、入射光の空間周波数をナイキスト周波数以下にするフィルタである。色フィルタ16bは、たとえば三原色RGBの色フィルタセグメントが固体撮像素子16cの個々の受光素子（photosensitive cell）と一対一に所定の位置関係に配されたフィルタである。したがって、色フィルタ16bは、固体撮像素子16cの受光素子の配置に依存する。固体撮像素子16cが水平方向および垂直方向に画素を半ピッチずつずらした、いわゆるハニカム配置の場合、三原色R, G, Bの色フィルタセグメントは、図１に示すように、色Gの色フィルタセグメントを正方格子状に配し、色R, Bの色フィルタセグメントの一方の１つを正方格子の中心位置に配し、色Gフィルタセグメントを挟んで対角に位置する色フィルタセグメントの色を同色にする、G正方RB完全市松パターン等が用いられる。
【００２３】
また、色フィルタ16bは、ハニカム配置に限定されるものでなく、正方格子配置もある。この配置の色フィルタパターンには、ベイヤ（Bayer）パターンやGストライプRB完全市松パターン等がある。ベイヤパターンは、一方の対角の色フィルタセグメントをGにして、他方の対角の色フィルタセグメントを色R, Bにするパターンである。GストライプRB完全市松パターンは、縦一列に色Gの色フィルタセグメントを配し、この縦一列のGストライプを挟む両側の色を異色（R, B)にし、かつ隣接する２行の対角する色を同色にすることにより完全市松パターンにしている。
【００２４】
なお、色フィルタ16bは三原色RGBに限定するものでなく、補色系の色フィルタセグメントであってもよい。ただし、この場合、後段の信号処理には補色を原色に変換する処理が追加される。
【００２５】
固体撮像素子16cには、図１に示すCCD（Charge Coupled Device）型が用いられる。固体撮像素子16cは、光学レンズ系12、絞り機構14のアイリスを通った入射光を光電変換して信号電荷を生成している。受光素子160のアレイ配置は、図１に示すように、同一な列（垂直）および同一行（水平）方向の画素間隔をピッチとし、互いに隣接する素子間隔が垂直および水平方向に半ピッチずつ画素がずれた位置関係にしている。固体撮像素子16cにおいてあらわにゲートおよび垂直転送レジスタを示していないが、ゲートの開閉および垂直転送レジスタ内に読み出した信号電荷の転送を行うための駆動信号が電極V1, V3A, V3Bを介して供給される。
【００２６】
静止画を読み出すモードでは、電極V1と電極V3A, V3Bとにそれぞれの駆動信号を供給して露光により蓄積した信号電荷を読み出して、水平転送レジスタの方向に向けて信号電荷を転送する。水平間引きによる読出しモードでは、電極V1と電極V3Aとにそれぞれの駆動信号を供給して露光により蓄積した信号電荷を読み出して、水平転送レジスタの方向に向けて信号電荷を転送する。特に、電極V3Bには、後述するように、水平間引きに応じて水平混合した場合、使用した色フィルタ16bの色パターンと異なる位置関係に画素を生成してしまうので、信号電荷の読出しを禁止するように駆動する。このため、電極V3A, V3Bが別々に配設されている。図１の固体撮像素子16cでは、左側から５番目の列、13番目の列の受光素子を各行方向の受光素子と個別に駆動させるように配線する。第１行目における配線は、電極V3B-B14-B112-・・・をつなぐ。第３行目における配線は、電極V3B-R34-R312-・・・をつなぐ。これにより、第０列の受光素子160が水平混合されずにそのまま残り、第５列の受光素子160の位置に第２列と第６列で読み出した同色の信号電荷を水平混合して本来読み出される色と異色の色属性を有する信号電荷を生成する。第３行では、本来の色B14, B112が色R14, R112になる。
【００２７】
垂直方向に信号電荷を転送するこの垂直転送レジスタ（図示せず）に対する垂直方向と直交する水平方向にラインメモリ162が配設されている。ラインメモリ162は、垂直転送レジスタのそれぞれに対応したメモリを有している。このメモリは、信号電荷の保持/読出しを行うために入出力用のゲートが形成されている。固体撮像素子16cは、さらに、ラインメモリ162に対して並行に水平転送レジスタ164が形成されている。水平転送レジスタ164は、ラインメモリ162に対応して転送レジスタを有している。水平転送レジスタ164の各レジスタには、図１に示すように、ポテンシャル井戸を形成し、形成するポテンシャル井戸の形状に応じて信号電荷を転送させる水平駆動信号H1〜H8のいずれかが供給される。水平転送される信号電荷は、水平混合されて、出力アンプ部166に供給される。なお、固体撮像素子16cにおける間引き水平混合については、後段にて動作について詳述する。間引き水平混合とは、単なる水平混合でなく、水平間引き処理を行っても使用する本来の色フィルタの配置と同じパターンが得られるように異常をもたらす受光素子からの信号電荷を間引く読出しを意味している。
【００２８】
出力アンプ部166は、供給される信号電荷（Q）を電圧信号（V）に変換するFDA（Floating Diffusion Amplifier)が備えられている。レベル調整機能を有する場合、出力アンプ部166には、図３に示すように、水平転送レジスタ164から出力される信号電荷をシステム制御部20から供給される制御信号20aに応動して信号レベルのゲインを切り換える切換スイッチSW1, SW2と、水平混合した信号電荷に対するアンプ166aと、水平間引き混合により読み出した信号電荷に対して水平混合する画素数に応じてゲインアップさせるアンプ166bとが含まれている。切換スイッチSW1は、切換スイッチの端子a, bとアンプ166a, 166bの入力側をそれぞれ接続している。また、切換スイッチSW2は、切換スイッチSW2の端子c, dとアンプ166a, 166bの出力側が接続されている。切換スイッチSW1, SW2は、制御信号20aに同期して切り換える。切換スイッチSW1の入力端子a, bとアンプ166a, 166bの入力側の信号線には、信号レベルのベースのレベル位置をクランプするようにダイオード166c, 166dがそれぞれ、並列接続されている。
【００２９】
切換スイッチSW1は、供給される信号電荷が水平混合されたものか否かに応じて切換えを行う。図４のグラフは、時間経過に応じてG, R, B, G, ・・・と供給される中で、たとえば、図１の第３行からの信号電荷読出しを実線3H, 3Lで表す。色R30に対する増幅は、水平間引きにより得られた信号電荷を用いることから、他の色が示す入力の大きさに比べてゲインを２倍にしている。また、図１の第１行からの信号読出しを破線1H, 1Lで表す。この場合、たとえば色B18に対する増幅も他の色に比べてゲインを同様に２倍にしている。
【００３０】
このように撮像部16は、固体撮像素子16cでQ/V変換された信号16dを撮像信号として前処理部18に出力する。
【００３１】
前処理部18は、図５に示すように、コンデンサ180、相関二重サンプリング（Correlated Double Sampling:以下、CDSという)回路182、ゲイン調整増幅（Gain Control Amplifier:以下、GCAという)回路184およびA/D変換器（Analog-to-Digital Converter:以下、ADCという）186を有している。コンデンサ180は、撮像部16から供給される画像信号16dに含まれる直流成分を除去してCDS回路182に送る。CDS回路182は、供給される撮像信号16dが含む低周波のノイズ成分を除去する。
【００３２】
GCA回路184は、ノイズ除去された信号18aをシステム制御部20から供給される制御信号20bに応じて増幅することにより波形整形する。
【００３３】
ここで、GCA回路184は、固体撮像素子16cの出力アンプ部166が水平混合の有無に応じた出力レベルの調整を行っていない場合、上述した波形整形のゲイン調整を行うとともに、水平混合しない、露光により得られたそのままの信号レベルに対応したレベル調整も行う。このレベル調整を簡単に説明すると、単に水平混合した場合、各色のレベルは、図6(a)に示すように、水平混合により各色の信号レベルを反映して得られる。本実施例のように特定の列の受光素子からの信号電荷に対して読出し禁止が行われると、図6(b)に示すように、色Rの信号レベルが半分になってしまう。この色毎に得られる信号レベルを同じレベルにすべてするため、GCA回路184は、水平間引き混合の信号レベルを考慮してレベル調整を行い、図6(c)に示すように各色の信号レベルが同じにされたアナログ信号18bをADC 186に出力する。
【００３４】
ADC 186は、供給されるアナログ信号18bをディジタル信号に変換された画像データ18cを信号処理部22に出力する。
【００３５】
図２に戻って、信号処理部22は、画像信号処理部で、RISC（Reduced Instruction Set Computer：縮小命令セットコンピュータ）チップである。このチップ内には、図示しないが、信号発生回路（SG）、メモリ、ガンマ補正回路、評価値算出部、画素補間処理回路、マトリクス処理回路、および圧縮／伸長処理回路が含まれている。
【００３６】
信号処理部22には、システム制御部20からの制御信号20cが供給され、信号発生回路はこの制御信号20cに応動して動作する。信号発生回路は、複数の周波数を生成することができるPLL（Phase Locked Loop）回路を有している。信号発生回路は、源発の発振周波数を基準クロック信号として整数倍に逓倍してクロック信号を生成してもよい。信号処理部22は、生成したクロック信号を含むバスライン22a、システムバス100、信号線22bを介してシステム制御部20およびタイミング信号生成部24に供給する。
【００３７】
ここで、信号処理部22は、水平混合を２画素で行った場合に、前述した固体撮像素子16cおよび前処理部18において水平間引きして水平混合していない画素データと水平混合した画素データとを区別したレベル調整が行われていないとき、この区別を行い、水平間引きして得られた水平混合していない画素データを選択してビットシフトさせる選択シフト回路を信号処理部22の入力段側に配設するとよい。選択シフト回路は、ビットシフトさせる画素データだけを倍にすることができる。これにより、水平間引きによる低い画素データレベルを容易に補正することができる。
【００３８】
なお、選択シフト回路は、２画素の混合に限定されるものでなく、水平混合の画素数が2n（nは自然数）の場合、nビットのシフトで画素データを補正することができる。
【００３９】
図示しないがメモリは、ディジタルデータに変換した画像データ18cまたは上述の条件の場合、選択シフト回路でレベル調整が施された画素データを含む画像データを入力し、一時的に記憶し、ガンマ補正回路に画像データとして出力する。メモリは、繰り返しデータの読出しを行う場合、不揮発性メモリを用いることが好ましい。ガンマ補正回路には、たとえばガンマ補正用のルックアップテーブルが含まれている。ガンマ補正回路は、画像処理における前処理の一つとして供給される画像データに対してテーブルのデータを用いてガンマ補正する。ガンマ補正回路は、ガンマ補正した画像データをそれぞれ評価値算出部および画素補間処理回路に供給する。
【００４０】
評価値算出部には、絞り値・シャッタ速度、ホワイトバランス（White Balance：以下、WBという）調整値および階調補正値を算出する演算回路が含まれている。評価値算出部は、上述した演算回路にて、供給される画像データを基に適切な各パラメータを演算処理により算出する。これらの算出結果は、パラメータをデータバス22a、システムバス100、制御およびデータを含むバス200を介してシステム制御部20に供給される。
【００４１】
なお、評価値算出部は、信号処理部22の配設に限定されることなく、システム制御部20に配設するようにしてもよい。この場合、信号処理部22は、ガンマ補正した画像データをシステム制御部20に供給する。
【００４２】
画素補間処理回路は、画素データを補間生成して算出する機能および生成した画素データを広帯域化する機能を有する。撮像部16は単板の色フィルタ16bを用いているため、実在する色フィルタセグメントの色以外の色が撮像素子から得られない。そこで、画素補間処理回路は、この得られない色の画素データを補間により生成する。さらに、最初に得られた色を含めて生成した画素データを用いて高周波化、すなわち広帯域化処理を行う。画素補間処理回路は、広帯域化したプレーンな画像データをマトリクス処理回路に供給する。マトリクス処理回路は、輝度および色差データをそれぞれ、生成する。
【００４３】
また、画素補間処理回路は、ハニカムタイプの固体撮像素子16cを撮像部16に用いている場合、このガンマ補正した画像データを用いて実際に画素の存在する位置（実画素）や画素の存在しない位置（仮想画素）に三原色RGBの画素データを補間処理により生成する。
【００４４】
マトリクス処理回路は、画像データから輝度データYと色データCb, Crを生成する。生成した画像データは、圧縮／伸長処理回路に供給される。
【００４５】
圧縮／伸長処理回路は、本撮像モードにおいて供給される画像データ（Y/C）にJPEG（Joint Photographic Experts Group）等の規格で圧縮処理を施す。圧縮／伸長処理回路は、本撮像後の圧縮した画像データをデータバス22a、システムバス100、バス28aを介してストレージ28に送って記録する。また、圧縮／伸長処理部は、ストレージ28に記録した画像データを読み出し、バス28a、システムバス100、データバス22aを介して供給される画像データに伸長処理を施す。伸長処理は、圧縮処理の逆処理である。伸長した画像データ（Y/C）は、信号処理部22内でD/A変換される。信号処理部22は、このアナログ信号を再生した画像信号22cとしてモニタ30に出力する。信号処理部22は、再生に限らず、撮像した画像を静止画や動画で表示する場合も信号処理したアナログ信号22cにしてモニタ30に出力する。
【００４６】
システム制御部20は、カメラ全体の汎用な部分やディジタル処理を行う部分を制御するマイクロコンピュータまたはCPU（Central Processing Unit）である。 システム制御部20は、図示しないキー操作部から供給されるタイミング信号、モード信号および選択信号が含まれるトリガ信号202を受けて、各部に対する制御信号を生成する。具体的に説明すると、システム制御部20は、前処理部18および信号処理部22を制御信号200, 22b, 22cにより制御する他、撮像部16の設計に応じて特定の位置の出力に対してレベル調整を行うように制御信号20aを供給する。システム制御部20は、図２に制御線を図示していないがタイミング信号生成部24、ドライバ26およびストレージ28も制御している。
【００４７】
システム制御部20には、信号発生回路からクロック信号22bが供給される。そして、システム制御部20には、信号処理部22で求めた各種パラメータの情報も供給される。システム制御部20は、クロック信号22bに基づいて動作させるように各種パラメータに対応する制御信号20aないし20cをそれぞれ、生成している。
【００４８】
タイミング信号生成部24は、供給されるクロック信号22bを基に水平同期信号、垂直同期信号、フィールドシフトゲートパルス、水平転送信号、垂直転送信号、ラインメモリ162のR/W等の各種タイミング信号を生成する。タイミング信号生成部24は、生成したタイミング信号240aをドライバ26に供給する。タイミング信号生成部24は、前処理部18にもサンプリング用のタイミング信号240bを供給している。
【００４９】
ドライバ26は、光学レンズ系12のAF調節機構を駆動させて、ピント調節を行う駆動信号26a、露出に関わるパラメータのうち、あらかじめ設定された目標の絞り値と測光値との差がなくなるように図示しない制御信号に応じてリング部を回転させる駆動信号26bを供給する。そして、ドライバ26は、露出時間を管理し、光電変換により生成された信号電荷を転送路に読み出してこの信号電荷を垂直／水平方向に転送させ、動作モードに応じて水平間引き混合等を破綻なく、行わせるように駆動信号26cを撮像部16に供給する。
【００５０】
ストレージ28は、半導体メモリ等を記録媒体として用いて、供給される画像データを記録する。記録媒体には、光ディスクや光磁気ディスクを用いてもよい。
【００５１】
モニタ30は、液晶モニタを用いる。液晶モニタは、バックライト型、反射型、等がある。モニタ30には、信号処理部22から供給される画像信号に応じた画像が表示される。
【００５２】
次に固体撮像素子16cにおいて水平間引き混合を行う場合の動作を説明する。図７は、図８および図９の接続関係を示す配置図である。図８および図９は、ラインメモリ（LM）162の保持する信号電荷および水平転送レジスタ164に形成されるポテンシャルならびに供給される駆動信号のタイミングを示している。また、時間経過方向は矢印Aで示す。図８のラインメモリ162には、図１の第２行および第３行目の受光素子160から読み出し、垂直転送された信号電荷の格納状態を示している。ラインメモリ162は、第０行から数えている。電極V3Bと接続しているゲートには、間引き水平混合においてトランスファゲートパルスが印加されない。固体撮像素子16cは、電極V1およびV3Aで作動させている。これにより、これらの２行の内、水平駆動信号H5が供給される色Rの信号電荷は読み出されない。そして、水平転送レジスタ164には、何も信号電荷がない状態を示している。
【００５３】
ラインメモリ162には、水平駆動信号H5が供給される位置の信号電荷と水平駆動信号H1が供給される位置の信号電荷とを水平混合するため位置H5に読出し制御信号が印加される。位置H5に読み出した信号電荷を入れるためのポテンシャル井戸を形成するように水平駆動信号H5だけレベルHを印加する。水平駆動信号H1〜H8が示すように水平転送レジスタには、８相の駆動信号が供給されている。
【００５４】
しかしながら、水平混合することにより、本来の色フィルタのパターン配置と異なる位置関係に水平混合の信号電荷が形成されることがあらかじめわかっているから、位置H5の信号電荷は空である。したがって、水平混合に到るまでの水平駆動は、空のパケットを転送してしまう。この期間の転送は、無駄な駆動であるから省略することができる。このような省略は、読出し時間を短縮させることにつながり、大きな効果が得られる。
【００５５】
図９のラインメモリ162とこの直下に示されたポテンシャル井戸は、ラインメモリ162の位置H1, H4, H7, H8の信号電荷を水平転送レジスタ164に読み出し、ポテンシャル井戸を形成した状態を示している。ラインメモリ162は、信号電荷の読出しゲートを開くようにレベルHが供給されている。これらの位置H1, H4, H7, H8に供給される水平駆動信号は、レベルHにしている。位置H8における信号電荷（色G）は、次の転送において水平駆動信号H8およびH4がレベルH、そして水平駆動信号H7およびH3がレベルLで供給されるから、そのままの位置に留まる。また、位置H1も、レベルHの水平駆動信号が供給され続けているので、信号電荷（色R)はそのままの位置に停留する。
【００５６】
この後、位置H4, H6, H8の信号電荷は、水平駆動信号H1を除き、規則的にレベルL/Hを交互に位相のずれた水平駆動信号H2〜H8が供給されるから、順に信号電荷の格納するポテンシャル井戸の形成位置を１つずつシフトさせる。この結果、位置H1〜H8を１つの単位とみなすと、ポテンシャル井戸がH1 (R), H2 (G), H3 (/), H4 (B), H5 (/), H6 (G), H7 (/), H8 (-)のように形成される。
【００５７】
ここで、(/)は、ポテンシャル井戸が形成されていない状態を示し、(-)は、ポテンシャル井戸が形成されていながら、信号電荷がない、空の状態を示している。
【００５８】
上述した状態において水平駆動信号H4をレベルLにし、水平駆動信号H3をレベルHにする。これにより、ポテンシャル井戸は、H1 (R), H2 (G), H3 (B), H4 (/), H5 (/), H6 (G), H7 (/), H8 (/)となる。この位置関係において、ラインメモリ162の位置H2, H3およびH6にそれぞれ格納されている色G, B, Gの信号電荷を読み出す。位置H2, H3およびH6の信号電荷は、これまで転送されてきた信号電荷と混合して２倍になる。すなわち、位置H2, H3およびH6は、信号電荷が2G, 2B, 2Gになる。
【００５９】
この水平混合の後に、これまで停留させていた位置H1の信号電荷（R)だけを１つだけ読出し方向にシフトさせる。次に、位置H8に移動した信号電荷（R)および位置H2の信号電荷（2G)を、それぞれ１つだけ読出し方向にシフトさせる。これにより、図９に示すように最下段の位置関係に間引き水平混合が行うことができる。この行の場合、水平混合しない信号電荷（R)と水平混合させた２倍の信号電荷（G)および（B)とが得られる。
【００６０】
読み出した信号電荷に対して色Gと色R, Bとが異なる行として扱うことにより、固体撮像素子16cは、間引き水平混合を行っても、本来の色フィルタの配置パターンと同じ位置関係に色の関係が保たれた信号電荷の読出しを行うことができる。この点について後述する比較例との比較でさらに説明する。
【００６１】
図10に比較例の固体撮像素子40を示す。固体撮像素子40は、基本的に上述した実施例と同じである。各部に付される参照番号は、上述の実施例と同じにしている。固体撮像素子40は、電極V1, V3からの信号線がライン毎にそれぞれ接続されている。この接続は、垂直方向の間引き読出しで行われてきた接続である。水平混合による水平間引き読出しは、何も考慮されていない。
【００６２】
固体撮像素子40を用いて水平混合による水平間引き読出しを説明する。図11は、図12および図13の接続関係を示す配置図である。図12および図13は、ラインメモリ（LM）162の保持する信号電荷および水平転送レジスタ164に形成されるポテンシャルならびに供給される駆動信号のタイミングを示している。また、時間経過方向は矢印Aで示す。図12のラインメモリ162には、図10の第２行および第３行目の受光素子160から読み出し、垂直転送された信号電荷の格納状態を示している。図12では、ラインメモリ162の位置H5から水平転送レジスタ164に信号電荷（色R）を読み出して、この信号電荷（色R）を位置H1までシフトさせる。
【００６３】
固体撮像素子40は、色フィルタ16bの色フィルタセグメントを透過した光を光電変換することで色属性を有する信号電荷を受光素子160にて生成している。水平混合において混色しないように、同色同士を混合させる。この関係を図14(a)に示す。実線は、混合する信号電荷の組または対を表している。図14(a)のように水平混合した場合、図14(b)の位置関係に信号電荷が生成されることになる。このとき、色Rの水平混合した信号電荷は、色Gの水平混合した信号電荷と同じ列になり、位置ずれしてしまう。これに対して、水平混合した色Rの所望の位置は、破線で示した矢印の位置である。
【００６４】
ここで、色Rの信号電荷に着目するのは、この色Rを本来の色フィルタ16bが色フィルタセグメントRと同じ位置関係をもたらす位置に水平混合した信号電荷を移動させるためである。
【００６５】
図13では、位置H1, H4,およびH8の信号電荷がラインメモリ162から読み出される。この読出しにより、位置H1の信号電荷は、直下の色Rの信号電荷と水平混合して2Rになる。以後、前述した実施例と同じ水平駆動を行うことにより、位置H1〜H8を１つの単位とみなすと、ポテンシャル井戸がH1 (2R), H2 (G), H3 (/), H4 (B), H5 (/), H6 (G), H7 (/), H8 (-)のように形成される。さらに、前述の実施例と同様に水平駆動し、ラインメモリ162に残る信号電荷を読み出す。これにより、ポテンシャル井戸は、H1 (2R), H2 (2G), H3 (2B), H4 (/), H5 (/), H6 (2G), H7 (/), H8 (/)となる。そして、各信号電荷をポテンシャル障壁毎に均等に配するようにできる。すなわち、H1 (2G), H2 (/), H3 (2B), H4 (/), H5 (2G), H6 (/), H7 (2R), H8 (/)である。
【００６６】
図14に示したように単純に水平混合を行わせると、色ずれを起こす。そこで、比較例では、色Rを考慮して色ずれを起こさない位置まであらかじめシフトさせている。本実施例は、あらかじめ色ずれを発生させる信号電荷を間引いている。この場合、色ずれを生じさせる信号電荷の読出しを禁止させる電極構造を採用している。この構造を用いることにより、色ずれを起こす位置の信号電荷を上述したようにシフトさせる操作が無駄になる。ドライバ26は、この無駄な電荷転送操作になる図８の走査期間Dを除くようにタイミング信号240aを受けて駆動信号26cを撮像部16に出力する。したがって、本実施例の固体撮像素子16cは、固体撮像素子40に比べて走査期間Dの分、水平走査を速くすることができる。
【００６７】
固体撮像素子16cは、図15に示すように、G正方RB完全市松パターンにおいて通常行われる８×８を１つのブロック単位（実画素32個：仮想画素32個）とみなして水平２画素混合を行うと、色ずれを考慮しない場合、図16において矢印32の列の矢印32a〜32dに示す画素の配置が本来のパターンと異なってしまう。前述した水平間引き水平２画素混合を行うと、図17に示すように、色ずれが考慮されて本来の色パターンと同じG正方RB完全市松パターンを生成することができる。このようにパターンの生成を行うため、実画素をそのまま読み出したことによって、ブロックの右端の信号電荷は、理論的に水平混合した画素の半分になっている。
【００６８】
また、固体撮像素子16cは、図18に示すように、G正方RB完全市松パターンにおいて通常行われる12×８を１つのブロック単位（実画素48個：仮想画素48個）とみなして水平３画素混合を行うと、色ずれを考慮しない場合、図19において矢印34の列の矢印34a〜34dに示す画素の配置が本来のパターンと異なってしまう。前述した水平間引き水平３画素混合を行うと、図20に示すように、色ずれが考慮されて本来の色パターンと同じG正方RB完全市松パターンを生成することができる。このようにパターンの生成を行うため、実画素をそのまま読み出したことによって、ブロックの右端の信号電荷は、理論的に水平混合した画素の1/3になっている。上述した水平間引き２画素および３画素水平混合からわかるように、この２種類の混合を行う場合、電極3VBを接続する画素のゲートは、同じにならない。したがって、本実施例の間引き水平混合は、水平混合する画素数を念頭において設計するとよい。
【００６９】
このように固体撮像素子は、動画のように信号読出し時間が規定され、数百万の画素数を有する場合、信号読出しが重要な要件になる。このように間引き水平混合は、読出し時間の短縮という大きな効果をもたらす。また、色ずれを起こす位置の信号電荷（読出し禁止）に対応する信号電荷は、そのまま読み出されるが、水平混合していない分、信号電荷量が他の水平混合した信号電荷量に比べて低い。この信号電荷の不足分は、固体撮像素子16cの出力アンプ部166、GCA回路184および信号処理部22のいずれか１つにおいてレベル調整する。
【００７０】
これにより、ディジタルカメラ10は、画素数が増加しても間引き水平混合を行うことにより、高速に信号電荷を読み出すことができ、かつ読み出す信号の色フィルタパターンを静止画と同じにできるので、得られる画像を高画質化することができる。
【００７１】
上述した実施例は、色フィルタ16bにG正方RB完全市松パターンを適用したが、本発明は、このパターンに限定されることなく、ベイヤパターンやGストライプRB完全市松パターンにおいても水平間引き２画素水平混合が適用できる。図21にベイヤパターンを示す。ベイヤパターンは、４画素の正方配置を考えるとき、色Gの色フィルタセグメントを一方の対角にし、色R, Bを他方の対角にする配置である。色ずれを考慮せずに、２画素水平混合した場合、図22に示すように、ベイヤパターンは再現されるが、生成される画素の配置バランスに偏りが生じる。そこで、水平間引き２画素水平混合を適用すると、図23に示すように、生成される。水平間引き２画素水平混合における水平間引きは、ブロック単位の第２列目を間引いている。これにより、生成される色パターンは、２ブロックを含めて水平方向に対して均等にバランスよく配置されることがわかる。ただし、１ブロック内における右端側の画素列は、水平混合しないで読み出される画素を示している。図23の色パターンは、色温度が低い、すなわち赤味がかった画像において有効である。
【００７２】
また、水平間引き２画素水平混合における水平間引きをブロック単位の第３列目を電極V3Bと接続され、第１列目をそのままに読み出した場合、図24に示す色パターンがバランスよく得られる。この色パターンは、色温度が高い、すなわち青味がかった画像において有効である。これにより、画像全体の色S/Nを稼ぐことができる。
【００７３】
次に色フィルタ16bが、GストライプRB完全市松パターンの場合について説明する。GストライプRB完全市松パターンは、図25に示すように、色Gを縦方向にストライプ形成し、この色Gのストライプを挟む２列の色R, Bの色フィルタセグメントが異色の関係に配されるパターン、すなわち完全市松パターンである。このパターンにおいて色ずれを考慮せずに２画素水平混合を行うと、図26の矢印36が示す列に不要な画素が生成される。すなわち、この列における色2B, 2Rの画素である。
【００７４】
GストライプRG完全市松パターンにおいて、図25のブロックパターンの内、右端の列をそのまま残し、左端から第４列目が電極V3Bに接続されることにより間引きされる間引き水平混合が行われることにより、図27に示すように色パターンは、バランスよく生成することができる。
【００７５】
次に本発明の固体撮像装置における他の実施例を適用したディジタルカメラ10について説明する（図28を参照）。前述した実施例と異なる点は、固体撮像素子16cにある。固体撮像素子16cは、同一行内の信号電荷を読み出すゲート（あらわに図示せず）を電極V3と接続する比較例と同じ電極構造である。本実施例の固体撮像素子16cには、水平転送レジスタ164に並行して水平ドレイン168が配設されている。水平ドレイン168は、水平転送レジスタ164に供給された信号電荷を水平ドレイン168に供給される水平掃出し信号168aに応動して廃棄する。この信号電荷の廃棄により、色ずれを発生させる信号電荷が間引かれる。
【００７６】
なお、水平ドレイン168は、ラインメモリ162と水平転送レジスタ164の間に配設するようにしてもよい。
【００７７】
本実施例における固体撮像素子16cの動作を説明する。図29は、動作を説明する図30および図31のタイミングチャートの配置を示す図である。図30では、第０行目を考慮した第２行目および第３行目から信号電荷を読み出し、ラインメモリ162に格納された状態を示している。また、時間経過方向は矢印Aで示す。G正方RB完全市松パターンにおける色ずれの原因は、前述した実施例での説明からもわかるように位置H5（この場合の色属性R）の信号電荷である。ラインメモリ162は、駆動信号のレベルをHにしてこの位置の信号電荷を水平転送レジスタ164に読み出す。次に水平転送レジスタ164における位置H5と並行して配設されている水平ドレイン168に駆動信号168a（HDR）が供給される。この供給により、位置H5の信号電荷は、水平ドレイン168に廃棄される。この廃棄により、水平間引きが行われる。このような水平間引きは、色ずれの原因をもたらさない位置まで対象の信号電荷を移動させることを不要にする。
【００７８】
図31では、上述した水平間引きした画素と水平混合する相手の画素、すなわち位置H1の信号電荷を水平転送レジスタ164に読み出し、そのままの位置に停留させる。したがって、停留の間、位置H1に供給される水平駆動信号H1は、レベルHのままである。色B, Gの水平混合を行うため、ラインメモリ162には、位置H4, H7およびH8にレベルHの信号162aが供給される。これにより、位置H4, H7およびH8の信号電荷が水平転送レジスタ164に読み出される。このとき、水平転送レジスタ164には、レベルHの水平駆動信号H4, H7およびH8が供給される。これらの位置の水平転送レジスタ164には、ポテンシャル井戸が形成される。
【００７９】
次に位置H4およびH8の色Gの信号電荷は、位置をそのままに停留させ、位置H7の信号電荷（色B）だけを読出し方向に１つシフトさせる。この操作によりポテンシャル井戸を形成された位置の前にポテンシャル障壁が形成される。次に位置H4, H6およびH8の信号電荷は、読出し方向にそれぞれ２つずつシフトさせる。そして、図示していないが、位置H4の信号電荷（色B）だけを読出し方向に１つだけシフトさせる。これにより、読み出された信号電荷（色G, B, G）は、ラインメモリ162に残る信号電荷の直下に移動させられる。
【００８０】
ここで、ラインメモリ162には、信号電荷を読み出すように駆動信号162a（LM）が供給される。そして、水平転送レジスタ164には、位置H1, H2, H4およびH6にレベルHの水平駆動信号が供給される。
【００８１】
次に位置H1をレベルL、位置H2, H3, H6, H8をレベルHの水平駆動信号が供給されることにより、色Rの信号電荷が読出し方向にシフトされる。そして、位置H2, H6およびH8に供給される水平駆動信号のレベルをHからLにし、隣接する位置H1, H5およびH7をレベルLからHにする。これにより、水平転送レジスタ164は、水平駆動信号にレベル変化のあった位置の信号電荷を１つシフトさせる。
【００８２】
本実施例の固体撮像素子16cは、先の実施例が電極の区別という設計時に固定されてしまう点に比べて水平駆動信号の内、水平間引きする対象の信号電荷を選んで廃棄することから、駆動のさせ方を考慮して駆動させることができる。駆動させる手順をソフトウェア的に書き換えて信号読出しさせることが可能なので、使用する色フィルタの種類やブロック単位に対応した読出しに合わせることができる点で有利である。
【００８３】
たとえば、ベイヤパターンでは、色温度に応じた２つの信号読出しができることを説明した。先の実施例にようにハードウェアに固定された読出しの場合、一方にしか対応できないが、ディジタルカメラ10は、本実施例のように２つの信号読出しを行うようにタイミング信号生成部24にあらかじめ手順を書き込んでおく。ユーザの操作により被写界が赤味および青味のいずれか一方を選択し、システム制御部20にトリガ信号202として供給する。システム制御部20は、タイミング信号生成部24を制御し、ユーザが所望する読出しに対応して撮像させることができる。
【００８４】
このように本実施例は、これまでより短時間に間引き水平混合の信号読出しを行って高画質な静止画や動画の画像を提供するとともに、色フィルタの種類やブロック単位等の変更に対しても柔軟にソフトウェア的に対応することができる点で有利である。
【００８５】
さらに、本発明の画像処理装置をディジタルカメラ10に適用した実施例を説明する。ここで、ディジタルカメラ10は、固体撮像素子および信号処理部を除いて同じ構成である。特に、固体撮像素子は、図10に示した固体撮像素子40を用いて色ずれを考慮することなく、水平混合を行う。信号処理部22には、図示しないが、供給される水平混合により得られた画像データ18cを用いて、色ずれを補正して本来の所望する位置に生成する機能を有する色ずれ補正処理部がある。
【００８６】
色ずれ補正処理部の動作を説明する。固体撮像素子40は、色フィルタ16bに図32(a)のG正方RB完全市松パターンを使用する。図32(a)は、説明の容易化を図るため、２行分を用いて説明する。ここでは、色ずれを考慮することなく水平混合を行う。この結果、図32(b)に示すパターンの位置関係で画像データが得られる。このとき、水平混合により画素b1, b2で示す位置に色Bの信号電荷2Bが生成される。本来の位置は、破線の八角形で示す位置である。
【００８７】
信号処理部22の色ずれ補正処理部では、図32(c)に示すこの本来の位置での画素データをB1, B2として画素データを算出する。算出には、水平混合して得られた色ずれの画素データb1, b2と、画素データB1に対する画素データb1, b2までのそれぞれの空間距離とを用いる。空間距離は、補間係数として用いられる。
【００８８】
ここで、空間距離は、水平方向に見て、画素と画素のピッチを１とする。したがって、画素データB1と画素データb1の距離は、１であり、画素データB1と画素データb2の距離は、３である。また、画素データb1-b2の空間距離は、４であるから、加算平均すると、画素データB1は、(b1×3＋b2×1)/4の演算により得られる。このように本来の位置に対して同一行内で色ずれの水平混合した左右に位置する画素データおよび空間距離を用いて加算平均して本来の位置に画素データを生成することができる。
【００８９】
この場合、固体撮像素子16cにおいて、色ずれを考慮した間引き水平混合を用いた信号読出しでなく、単なる水平混合を行っているだけなので、ディジタルカメラ10は、固体撮像素子16cからの信号読出しに要する時間を比較例の信号読出し時間に比べて短縮化することができる。また、信号レベルの調整を行うためのハードウェア的な構成も不要である。ただし、読み出した信号電荷の位置関係には、色ずれが含まれている。この色ずれに対処するため、信号処理部22では、本来の位置の画素データに対して左右に色ずれしている画素データを用い、空間距離を係数とする加算平均によって、本来の画素データを生成することができる。読み出した画素データを基に補正する方法を用いることにより、水平混合の仕方に限定されず、信号電荷の高速読出しに柔軟に対応することができる。このような画像処理により、正確な画像の再現が可能になるので、ディジタルカメラ10は、水平混合した画素データをそのままストレージ28に送って保存し、後で輝度および色データを生成することもできる。
【００９０】
これまで、間引き水平混合が静止画や動画に適用して有用な点を説明してきたが、間引き水平混合は、図33に示す電子ズームを行う場合にも有効である。たとえば、3000×4000画素（＝1200万画素）を有する画像300を出力する撮像部16がある。モニタ30は、このような多画素を有していないので、通常間引いて表示される。この間引きは、画像300を640×480（VGA：Video Graphics Array）の画像400にして表示する。このとき、動画モードにおける間引きは、水平混合により読み出す。この場合、画素数が多いので画質劣化は目立たない。しかしながら、電子ズームで狭い領域410を拡大する場合、水平混合した画像500では、画質劣化が顕著に現れる可能性がある。
【００９１】
そこで、画質劣化を回避するため、本発明の固体撮像装置にて適用した間引き水平混合を適用する。この適用により、拡大サイズの画像500において水平間引きしても色フィルタの本来のパターンを維持するように画像が読み出されるので、偽色の発生が抑制され、高画質な画像を得ることができる。水平混合/間引き水平混合の切換えは、倍率に応じて行う。ここで、倍率は、たとえばモニタの表示サイズがVGAのとき、この表示サイズと画素数が同じ等倍を切換えの境界とする。 間引き水平混合は、倍率１より拡大された場合に適用する。このように動作させることにより、ディジタルカメラ10は、動画モードにおいて様々な大きさに画像を表示させても高い画質を保って表示させることができる。
【００９２】
以上のように構成することにより、比較例のように色ずれを考慮しながら水平混合を行う場合に比べて前述した間引き水平混合を行うと、色ずれする信号電荷を所望の位置までシフトさせる時間を省くことができるので、信号電荷の読出し時間を短縮することができる。具体的に、水平間引きは、電極を区別し、色ずれを考慮して行うことができる。また、水平間引きは、水平転送レジスタに並行させて水平ドレインを配設し、色ずれを発生させる信号電荷を廃棄させることによっても行うことができる。後者の水平間引きは、色フィルタの種類や間引くブロック単位に応じて間引く位置の設定を変更できるから、前者に比べて柔軟性が高い。
【００９３】
これらの場合、そのまま読み出した信号電荷は、水平混合した信号電荷に比べて理論的にも低いから、画像のバランスをよくするため、そのまま読み出した信号電荷に対してレベル調整を施して静止画や動画において画質劣化を防いでいる。
【００９４】
また、水平混合を行い、所望する画素データに対して左右に位置する色ずれした画素データを用いて、補正して所望する画素データを生成することにより、比較例よりも信号電荷の読出しを短時間で行い、色ずれのない画像を高画質に得ることができる。読出し後の補正により、水平混合の仕方にとらわれないので、信号読出しに対して柔軟に対応することができる。
【００９５】
さらに、モニタへの表示を行う場合、モニタが有する表示サイズを倍率１として通常の水平混合/間引き水平混合とを切り換えて表示させることにより、画像を電子ズームさせて一層の拡大を行っても画質を維持してモニタに表示させることができる。
【００９６】
【発明の効果】
このように本発明の固体撮像装置によれば、駆動信号生成手段からの駆動信号に応じて受光素子に各色属性の信号電荷を蓄積し、電荷保持手段を駆使して第２の転送素子にて水平混合を行うことにより水平間引きし、水平混合によって得られる色パターンが色フィルタのパターンと異なるパターンにしてしまう色属性の信号電荷に対して電荷間引き手段に駆動信号生成手段から供給される間引き駆動信号により所定の列の信号電荷を間引きし、この間引きした信号電荷の水平混合に対応する信号電荷を水平混合することなく、そのままに読み出して色フィルタのパターンと同じ位置関係の色パターンにすることにより、これまでの色ずれを考慮した信号電荷の読出しに比べて読出し時間を短縮化でき、かつ偽色のない高画質な静止画や動画の画像を得ることができる。また、信号電荷の読出しに対して柔軟に対応することもできる。
【００９７】
また、本発明の固体撮像装置によれば、受光素子で蓄積された信号電荷を第１の転送素子を介して電荷保持手段に送り、電荷保持手段から第２の転送素子に読み出した信号電荷を水平方向の同色の色属性を有する信号電荷同士で水平混合させ、信号処理手段で色フィルタのパターンと異なるパターンをもたらす位置ずれした画素データをこの画素データの左右に位置する同色の画素データを用いて補間して、水平混合した色パターンを色フィルタと同じパターンにすることにより、これまでの色ずれを考慮した信号電荷の読出しに比べて読出し時間を短縮化でき、かつ偽色のない高画質な静止画や動画の画像を得ることができる。また、信号電荷の読出し後の色ずれ補正のため信号読出しに影響することなく、読み出した画素データに対して柔軟に対応することもできる。
【００９８】
本発明の固体撮像装置の信号読出し方法によれば、色属性を有する信号電荷を画素とし、水平混合した結果、本来の色フィルタセグメントの配置パターンと異なるパターンの位置関係にある信号電荷を間引き読出しし、この間引きに対応する信号電荷に対してレベルを同色同士の水平混合に用いた画素の混合数を倍数としてレベル調整し、画面全体のレベルバランスを一定に保ちながら、水平方向の間引きを行うことにより、これまでの色ずれを考慮した信号電荷の読出しに比べて読出し時間を短縮化でき、そして偽色のない高画質な静止画や動画の画像を得ることができる。また、信号電荷の読出しに対して柔軟に対応することもできる。
【００９９】
さらに、本発明の画像処理方法によれば、同色の水平混合を行い、色分解するパターンに対して位置ずれしている画素をこの画素の左右に位置する同色の画素データで補間して位置ずれを解消して、生成するパターンを色分解するパターンと同じ関係にすることにより、偽色のない高画質な画像を得ることができる。この方法でもこれまでの色ずれを考慮した信号電荷の読出しに比べて読出し時間を短縮化でき、かつ偽色のない高画質な静止画や動画の画像を得ることができる。また、信号電荷の読出し後の色ずれ補正のため信号読出しに影響することなく、読み出した画素データに対して柔軟に対応することもできる。
【図面の簡単な説明】
【図１】本発明の固体撮像装置における実施例で用いる固体撮像素子の概略的な構成を示す図である。
【図２】本発明の固体撮像装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図３】図１の固体撮像素子に用いる出力アンプ部の回路構成を示す図である。
【図４】図３の出力アンプ部の動作に応じた信号レベルの変化を示すグラフである。
【図５】図２のディジタルカメラにおける前処理部の概略的な構成を示すブロック図である。
【図６】図５の前処理部における水平間引き混合を考慮した色毎のレベル調整を説明するグラフである。
【図７】図８および図９の接続関係を示す配置図である。
【図８】図１の固体撮像素子の動作を説明するタイミングチャートである。
【図９】図８に続く動作を説明するタイミングチャートである。
【図１０】図１の固体撮像素子に対する比較例の概略的な構成を示す図である。
【図１１】図12および図13の接続関係を示す配置図である。
【図１２】図10の固体撮像素子の動作を説明するタイミングチャートである。
【図１３】図12に続く動作を説明するタイミングチャートである。
【図１４】図１に用いたG正方RB完全市松パターンで水平混合して得られる位置関係を示す図である。
【図１５】図１のG正方RB完全市松パターンを８×８のブロック単位で表した図である。
【図１６】図15の位置関係で色ずれを考慮せずに水平２画素混合した場合に得られるパターンを示す図である。
【図１７】図15の位置関係で色ずれを考慮して水平間引き水平２画素混合した場合に得られるパターンを示す図である。
【図１８】図１のG正方RB完全市松パターンを８×12のブロック単位で表した図である。
【図１９】図18の位置関係で色ずれを考慮せずに水平３画素混合した場合に得られるパターンを示す図である。
【図２０】図18の位置関係で色ずれを考慮して水平間引き水平３画素混合した場合に得られるパターンを示す図である。
【図２１】図１の色フィルタに適用したベイヤパターンを表した図である。
【図２２】図21の位置関係で色ずれを考慮せず水平２画素混合した場合に得られるパターンを示す図である。
【図２３】図15の位置関係で色ずれを考慮して水平間引き水平２画素混合した場合に得られる第１のパターンを示す図である。
【図２４】図15の位置関係で色ずれを考慮して水平間引き水平２画素混合した場合に得られる第２のパターンを示す図である。
【図２５】図１の色フィルタに適用したGストライプRB完全市松パターンを表した図である。
【図２６】図25の位置関係で色ずれを考慮せず水平２画素混合した場合に得られるパターンを示す図である。
【図２７】図25の位置関係で色ずれを考慮して水平間引き水平２画素混合した場合に得られるパターンを示す図である。
【図２８】本発明の固体撮像装置における他の実施例で用いる固体撮像素子の概略的な構成を示す図である。
【図２９】図30および図31の接続関係を示す配置図である。
【図３０】図28の固体撮像素子の動作を説明するタイミングチャートである。
【図３１】図30に続く固体撮像素子の動作を説明するタイミングチャートである。
【図３２】図１のG正方RB完全市松パターンで水平混合を行い、得られるパターンに対する補正処理を説明する図である。
【図３３】図２のディジタルカメラにおいて通常の水平混合/間引き水平混合の切換えを説明する図である。
【符号の説明】
10 ディジタルカメラ
12 光学レンズ系
14 絞り調節機構
16 撮像部
16a 光学ローパスフィルタ
16b 色フィルタ
16c 固体撮像素子
18 前処理部
20 システム制御部
22 信号処理部
24 タイミング信号生成部
26 ドライバ
28 ストレージ
30 モニタ
160 受光素子
162 ラインメモリ
164 水平転送レジスタ
168 水平ドレイン
【発明の属する技術分野】
本発明は、固体撮像装置およびその信号読出し方法に関し、受光素子から読み出された信号電荷を水平方向に混合することによって間引きを行う固体撮像装置に適用して好適なものであり、この固体撮像装置を駆動させて水平混合を行わせて間引き読出しを行う信号読出し方法に適用して好適なものである。
【０００２】
【従来の技術】
ディジタルカメラは、エリアイメージセンサを利用して被写界を撮像している。エリアイメージセンサは、高画質化を目指して光電変換するセンサの受光素子数、すなわち画素数を数百万以上有する高画素イメージセンサも市場に提供されてきている。ディジタルカメラにおける撮像には、静止画モードと動画モード（ムービモード）がある。この内、動画モードでの撮像は、得られる画像を動画表示させるため所定の時間間隔で周期的に行うことになる。また、動画モードは、使用者が静止画の画角を決める際に用いることからモニタモードとも呼ばれる。
【０００３】
高画素イメージセンサを用いてモニタモードを行い、撮像して得られた信号電荷をそのまま読み出すと、上述した時間内に完了できなくなるので、追従可能な画素数の読出しが行われる。この際の信号電荷読出しでは、水平（行）方向に配された受光素子を１ラインとするとき、複数のラインから読み出した信号電荷を混合して垂直加算が行われる。垂直加算は、信号電荷の加算により信号電荷量が増加するので、信号電荷量に応じて撮像感度が高められる。
【０００４】
また、エリアイメージセンサを用いてカラー画像を撮像する場合、このセンサの被写界側に入射光を色分解する色フィルタが配されている。一般的に、ディジタルスチルカメラの場合、１つのエリアイメージセンサに色フィルタを１つ配する単板方式が用いられる。単板方式の色フィルタは、各受光素子に対して１つの色フィルタセグメントが対応している。このため、単板を用いるディジタルスチルカメラは、色フィルタセグメントの色が同色同士の信号電荷を垂直混合している。このように垂直間引きを受けた場合、画像の垂直解像度は、間引きに応じて低下する。
【０００５】
将来、さらなるエリアイメージセンサの高画素化に対応し、モニタモードでの信号電荷読出しに対応する場合が考えられる。このときの対策としては、垂直混合だけでなく、水平混合も考慮することが考えられる。水平混合に対応すべく検討が行われつつある。特開2001-86519号公報の固体撮像装置は、混合するラインの位置関係に着目し、エリアイメージセンサから出力された色混合した信号から、たとえば三原色R, G, Bの生成を行っている。固体撮像装置は、三原色R, G, Bを生成するため色混合した信号に対して複雑な演算処理を施す特別な画像処理を後段で行っている。
【０００６】
【発明が解決しようとする課題】
ところで、エリアイメージセンサの水平間引きは、エリアイメージセンサ内で水平方向の画素混合が行われているので、生成した画素信号は、新たな色の画素空間（画像）を構築することになる。このとき、この画素空間は、明らかに従来の画素位置と異なる色空間を示し、その画素配置は均等性が崩れている。前述したような特別な画像処理を適用しないで、これまで行っていた信号処理を均等性の崩れている画素配置として得られた画像に施すと、画像には、縦筋、偽色等を発生させてしまい、画質劣化を招いてしまう。
【０００７】
また、通常のモニタモードの動画を表示する場合、静止画より少ない画素数で動画像を表示しているが、表示画像には画質劣化の目立たない画素数を確保している。しかしながら、この動画像に倍率を高くする電子ズームをかけると、同じ画素データの繰返し表示が行われ、実質的に表示画像に寄与する画素数が減少することから、この表示画像には画質劣化が顕著になってしまう可能性がある。
【０００８】
前述した特開2001-86519号公報の固体撮像装置では、水平方向に色混合して得られた画素データから、三原色R, G, Bを再現する手順から混合する色の条件が限定される。固体撮像装置において、さらなる信号読出しの高速化を図るとき、この混色させる条件が問題になる可能性がある。
【０００９】
本発明はこのような従来技術の欠点を解消し、水平混合による画像を高画質にし、信号電荷の読出しにおけるこれまで以上の高速化および柔軟な読出し対応を行うことのできる固体撮像装置およびその信号読出し方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の固体撮像装置は上述の課題を解決するために、被写界からの入射光を各色に分離する色フィルタセグメントがパターン配列された色フィルタ、この色フィルタで透過させ、該透過光を光電変換して信号電荷を生成する受光素子、色フィルタセグメントの色に応じた色属性を有する信号電荷を受光素子に蓄積させたり、受光素子から蓄積した信号電荷を読み出す開閉が行われるゲート、このゲートに隣接して垂直方向にゲートを介して読み出した信号電荷を転送する複数の第１の転送素子、この複数の第１の転送素子と直交する水平方向に前記蓄積した信号電荷を転送する第２の転送素子、第１の転送素子のそれぞれの最下段と第２の転送素子との間に配設され、最下段の素子から供給される信号電荷を一時保持する電荷保持手段、および色フィルタセグメントのパターン配列で同一行方向に色属性が同じ信号電荷の混合により水平方向の間引きを行わせて生成した色のパターンが、色フィルタのパターンと異なる位置関係にある信号電荷を間引く電荷間引き手段を有する固体撮像素子と、ゲートの開閉、第１および第２の転送素子に対する駆動信号、ならびに電荷保持手段に保持された信号電荷の読出し信号の生成を行い、さらに電荷間引き手段に対する間引き駆動信号を生成する駆動信号生成手段とを含むことを特徴とする。
【００１１】
本発明の固体撮像装置は、駆動信号生成手段からの駆動信号に応じて受光素子に各色属性の信号電荷を蓄積し、電荷保持手段を駆使して第２の転送素子にて水平混合を行うことにより水平間引きし、水平混合によって得られる色パターンが色フィルタのパターンと異なるパターンにしてしまう色属性の信号電荷に対して電荷間引き手段に駆動信号生成手段から供給される間引き駆動信号により所定の列の信号電荷を間引きし、この間引きした信号電荷の水平混合に対応する信号電荷を水平混合することなく、そのままに読み出すことにより、色フィルタのパターンと同じ位置関係の色パターンを得ることができる。
【００１２】
本発明の固体撮像装置は上述の課題を解決するために、被写界からの入射光を各色に分離する色フィルタセグメントがパターン配列された色フィルタ、この色フィルタで透過させ、この透過光を光電変換して信号電荷を生成する受光素子、色フィルタセグメントの色に応じた色属性を有する信号電荷を受光素子に蓄積させたり、受光素子に蓄積された信号電荷を読み出す開閉が行われるゲート、このゲートに隣接して垂直方向にゲートを介して読み出した信号電荷を転送する複数の第１の転送素子、この複数の第１の転送素子と直交する水平方向に蓄積した信号電荷を転送する第２の転送素子、および第１の転送素子のそれぞれの最下段と第２の転送素子との間に配設され、最下段の素子から供給される信号電荷を一時保持する電荷保持手段を有する固体撮像素子と、ゲートの開閉、第１および第２の転送素子に対する駆動信号、ならびに電荷保持手段に保持された信号電荷の読出し信号を生成し、水平方向の同色の色属性を有する信号電荷を水平混合させる駆動信号も生成する駆動信号生成手段と、固体撮像素子から水平混合により得られたアナログ出力信号を画素としてディジタル化を施し、得られた画素データのうち、水平混合により色フィルタのパターンと異なるパターンをもたらす位置ずれした画素データをこの画素データの左右に位置する同色の画素データを用いて補間する信号処理手段とを含むことを特徴とする。
【００１３】
本発明の固体撮像装置は、受光素子で蓄積された信号電荷を第１の転送素子を介して電荷保持手段に送り、電荷保持手段から第２の転送素子に読み出した信号電荷を水平方向の同色の色属性を有する信号電荷同士で水平混合させ、信号処理手段で色フィルタのパターンと異なるパターンをもたらす位置ずれした画素データをこの画素データの左右に位置する同色の画素データを用いて補間を行って、水平混合した色パターンを色フィルタと同じパターンにすることができる。
【００１４】
また、本発明の固体撮像装置の信号読出し方法は上述の課題を解決するために、被写界からの入射光を色分解する色フィルタセグメントを用いて色分解し、色分解した入射光に応じてそれぞれの色属性を有する信号電荷に変換する第１の工程と、信号電荷を画素として水平方向に同色の信号電荷同士を水平混合させる場合、この水平混合により得られる間引き読出しの色パターンが本来の色フィルタセグメントの配置パターンと異なるパターンの位置関係にある信号電荷に対する間引き処理を含めて水平混合読出しを行う第２の工程と、間引き処理して得られた位置の信号電荷のレベルに対して正常な配置パターンを示す位置の水平混合による信号電荷の生成に用いた画素数に応じてレベル調整する第３の工程とを含むことを特徴とする。
【００１５】
本発明の固体撮像装置の信号読出し方法は、色属性を有する信号電荷を画素とし、水平混合した結果、本来の色フィルタセグメントの配置パターンと異なるパターンの位置関係にある信号電荷を間引き読出しし、この間引きに対応する信号電荷に対してレベルを同色同士の水平混合に用いた画素の混合数を倍数としてレベル調整することにより、画面全体のレベルバランスを一定に保ちながら、水平方向の間引きを行っている。
【００１６】
さらに、本発明の画像処理方法は上述の課題を解決するために、被写界からの入射光を色分解するパターンを介して各色に分解し、この色分解した光に対する光電変換により色属性を有する信号電荷を生成し、水平方向に同色の色属性を有する信号電荷同士を混合する水平混合を行う第１の工程と、水平混合により得られたアナログ出力信号を画素としてディジタル化を施し、得られた画素データが示すパターンが色分解するパターンと異なるパターンをもたらす位置ずれした画素に対する左右に位置した同色の画素データを用いて位置ずれした画素を正常な位置に補間する第２の工程とを含むことを特徴とする。
【００１７】
本発明の画像処理方法は、同色の水平混合を行い、色分解するパターンに対して位置ずれしている画素をこの画素の左右に位置する同色の画素データで補間することにより位置ずれを解消して、生成するパターンを色分解するパターンと同じ関係にすることができる。
【００１８】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。
【００１９】
本実施例は、本発明の固体撮像装置をディジタルカメラ10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００２０】
ディジタルカメラ10には、図２に示すように、光学レンズ系12、絞り機構14、撮像部16、前処理部18、システム制御部20、信号処理部22、タイミング信号生成部（TG：Timing signal Generator）24、ドライバ26、ストレージ28およびモニタ30が含まれている。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されて絞り機構14でつくるアイリスを介して入射光束が撮像部16に焦点を結ぶように結像させる。光学レンズ系12は、本撮像の前に行う予備の撮像から被写体とカメラ10との距離を求め、得られた距離に応じてピント調節する、AF（Automatic Focus：自動焦点）調節機構および入射光量を調節するAE（Automatic Exposure）調節機構を含んでいる。これらの機構は、後述するドライバ26から供給される駆動信号に応動する。
【００２１】
絞り機構14は、具体的に図示しないが、ドライバ26からの駆動信号に応じてリング部を回転させる。リング部は羽根を部分的に重ならせてアイリスの形状を丸く形成し、入射する光束を通すようにアイリスを形成する。このようにして絞り機構14はアイリスの口径を変えている。絞り機構14は、メカニカルシャッタ（図示せず）をレンズシャッタとして組み込んでもよい。
【００２２】
撮像部16には、光学ローパスフィルタ16a、色フィルタ16bおよび固体撮像素子16cが含まれている。光学ローパスフィルタ16aは、入射光の空間周波数をナイキスト周波数以下にするフィルタである。色フィルタ16bは、たとえば三原色RGBの色フィルタセグメントが固体撮像素子16cの個々の受光素子（photosensitive cell）と一対一に所定の位置関係に配されたフィルタである。したがって、色フィルタ16bは、固体撮像素子16cの受光素子の配置に依存する。固体撮像素子16cが水平方向および垂直方向に画素を半ピッチずつずらした、いわゆるハニカム配置の場合、三原色R, G, Bの色フィルタセグメントは、図１に示すように、色Gの色フィルタセグメントを正方格子状に配し、色R, Bの色フィルタセグメントの一方の１つを正方格子の中心位置に配し、色Gフィルタセグメントを挟んで対角に位置する色フィルタセグメントの色を同色にする、G正方RB完全市松パターン等が用いられる。
【００２３】
また、色フィルタ16bは、ハニカム配置に限定されるものでなく、正方格子配置もある。この配置の色フィルタパターンには、ベイヤ（Bayer）パターンやGストライプRB完全市松パターン等がある。ベイヤパターンは、一方の対角の色フィルタセグメントをGにして、他方の対角の色フィルタセグメントを色R, Bにするパターンである。GストライプRB完全市松パターンは、縦一列に色Gの色フィルタセグメントを配し、この縦一列のGストライプを挟む両側の色を異色（R, B)にし、かつ隣接する２行の対角する色を同色にすることにより完全市松パターンにしている。
【００２４】
なお、色フィルタ16bは三原色RGBに限定するものでなく、補色系の色フィルタセグメントであってもよい。ただし、この場合、後段の信号処理には補色を原色に変換する処理が追加される。
【００２５】
固体撮像素子16cには、図１に示すCCD（Charge Coupled Device）型が用いられる。固体撮像素子16cは、光学レンズ系12、絞り機構14のアイリスを通った入射光を光電変換して信号電荷を生成している。受光素子160のアレイ配置は、図１に示すように、同一な列（垂直）および同一行（水平）方向の画素間隔をピッチとし、互いに隣接する素子間隔が垂直および水平方向に半ピッチずつ画素がずれた位置関係にしている。固体撮像素子16cにおいてあらわにゲートおよび垂直転送レジスタを示していないが、ゲートの開閉および垂直転送レジスタ内に読み出した信号電荷の転送を行うための駆動信号が電極V1, V3A, V3Bを介して供給される。
【００２６】
静止画を読み出すモードでは、電極V1と電極V3A, V3Bとにそれぞれの駆動信号を供給して露光により蓄積した信号電荷を読み出して、水平転送レジスタの方向に向けて信号電荷を転送する。水平間引きによる読出しモードでは、電極V1と電極V3Aとにそれぞれの駆動信号を供給して露光により蓄積した信号電荷を読み出して、水平転送レジスタの方向に向けて信号電荷を転送する。特に、電極V3Bには、後述するように、水平間引きに応じて水平混合した場合、使用した色フィルタ16bの色パターンと異なる位置関係に画素を生成してしまうので、信号電荷の読出しを禁止するように駆動する。このため、電極V3A, V3Bが別々に配設されている。図１の固体撮像素子16cでは、左側から５番目の列、13番目の列の受光素子を各行方向の受光素子と個別に駆動させるように配線する。第１行目における配線は、電極V3B-B14-B112-・・・をつなぐ。第３行目における配線は、電極V3B-R34-R312-・・・をつなぐ。これにより、第０列の受光素子160が水平混合されずにそのまま残り、第５列の受光素子160の位置に第２列と第６列で読み出した同色の信号電荷を水平混合して本来読み出される色と異色の色属性を有する信号電荷を生成する。第３行では、本来の色B14, B112が色R14, R112になる。
【００２７】
垂直方向に信号電荷を転送するこの垂直転送レジスタ（図示せず）に対する垂直方向と直交する水平方向にラインメモリ162が配設されている。ラインメモリ162は、垂直転送レジスタのそれぞれに対応したメモリを有している。このメモリは、信号電荷の保持/読出しを行うために入出力用のゲートが形成されている。固体撮像素子16cは、さらに、ラインメモリ162に対して並行に水平転送レジスタ164が形成されている。水平転送レジスタ164は、ラインメモリ162に対応して転送レジスタを有している。水平転送レジスタ164の各レジスタには、図１に示すように、ポテンシャル井戸を形成し、形成するポテンシャル井戸の形状に応じて信号電荷を転送させる水平駆動信号H1〜H8のいずれかが供給される。水平転送される信号電荷は、水平混合されて、出力アンプ部166に供給される。なお、固体撮像素子16cにおける間引き水平混合については、後段にて動作について詳述する。間引き水平混合とは、単なる水平混合でなく、水平間引き処理を行っても使用する本来の色フィルタの配置と同じパターンが得られるように異常をもたらす受光素子からの信号電荷を間引く読出しを意味している。
【００２８】
出力アンプ部166は、供給される信号電荷（Q）を電圧信号（V）に変換するFDA（Floating Diffusion Amplifier)が備えられている。レベル調整機能を有する場合、出力アンプ部166には、図３に示すように、水平転送レジスタ164から出力される信号電荷をシステム制御部20から供給される制御信号20aに応動して信号レベルのゲインを切り換える切換スイッチSW1, SW2と、水平混合した信号電荷に対するアンプ166aと、水平間引き混合により読み出した信号電荷に対して水平混合する画素数に応じてゲインアップさせるアンプ166bとが含まれている。切換スイッチSW1は、切換スイッチの端子a, bとアンプ166a, 166bの入力側をそれぞれ接続している。また、切換スイッチSW2は、切換スイッチSW2の端子c, dとアンプ166a, 166bの出力側が接続されている。切換スイッチSW1, SW2は、制御信号20aに同期して切り換える。切換スイッチSW1の入力端子a, bとアンプ166a, 166bの入力側の信号線には、信号レベルのベースのレベル位置をクランプするようにダイオード166c, 166dがそれぞれ、並列接続されている。
【００２９】
切換スイッチSW1は、供給される信号電荷が水平混合されたものか否かに応じて切換えを行う。図４のグラフは、時間経過に応じてG, R, B, G, ・・・と供給される中で、たとえば、図１の第３行からの信号電荷読出しを実線3H, 3Lで表す。色R30に対する増幅は、水平間引きにより得られた信号電荷を用いることから、他の色が示す入力の大きさに比べてゲインを２倍にしている。また、図１の第１行からの信号読出しを破線1H, 1Lで表す。この場合、たとえば色B18に対する増幅も他の色に比べてゲインを同様に２倍にしている。
【００３０】
このように撮像部16は、固体撮像素子16cでQ/V変換された信号16dを撮像信号として前処理部18に出力する。
【００３１】
前処理部18は、図５に示すように、コンデンサ180、相関二重サンプリング（Correlated Double Sampling:以下、CDSという)回路182、ゲイン調整増幅（Gain Control Amplifier:以下、GCAという)回路184およびA/D変換器（Analog-to-Digital Converter:以下、ADCという）186を有している。コンデンサ180は、撮像部16から供給される画像信号16dに含まれる直流成分を除去してCDS回路182に送る。CDS回路182は、供給される撮像信号16dが含む低周波のノイズ成分を除去する。
【００３２】
GCA回路184は、ノイズ除去された信号18aをシステム制御部20から供給される制御信号20bに応じて増幅することにより波形整形する。
【００３３】
ここで、GCA回路184は、固体撮像素子16cの出力アンプ部166が水平混合の有無に応じた出力レベルの調整を行っていない場合、上述した波形整形のゲイン調整を行うとともに、水平混合しない、露光により得られたそのままの信号レベルに対応したレベル調整も行う。このレベル調整を簡単に説明すると、単に水平混合した場合、各色のレベルは、図6(a)に示すように、水平混合により各色の信号レベルを反映して得られる。本実施例のように特定の列の受光素子からの信号電荷に対して読出し禁止が行われると、図6(b)に示すように、色Rの信号レベルが半分になってしまう。この色毎に得られる信号レベルを同じレベルにすべてするため、GCA回路184は、水平間引き混合の信号レベルを考慮してレベル調整を行い、図6(c)に示すように各色の信号レベルが同じにされたアナログ信号18bをADC 186に出力する。
【００３４】
ADC 186は、供給されるアナログ信号18bをディジタル信号に変換された画像データ18cを信号処理部22に出力する。
【００３５】
図２に戻って、信号処理部22は、画像信号処理部で、RISC（Reduced Instruction Set Computer：縮小命令セットコンピュータ）チップである。このチップ内には、図示しないが、信号発生回路（SG）、メモリ、ガンマ補正回路、評価値算出部、画素補間処理回路、マトリクス処理回路、および圧縮／伸長処理回路が含まれている。
【００３６】
信号処理部22には、システム制御部20からの制御信号20cが供給され、信号発生回路はこの制御信号20cに応動して動作する。信号発生回路は、複数の周波数を生成することができるPLL（Phase Locked Loop）回路を有している。信号発生回路は、源発の発振周波数を基準クロック信号として整数倍に逓倍してクロック信号を生成してもよい。信号処理部22は、生成したクロック信号を含むバスライン22a、システムバス100、信号線22bを介してシステム制御部20およびタイミング信号生成部24に供給する。
【００３７】
ここで、信号処理部22は、水平混合を２画素で行った場合に、前述した固体撮像素子16cおよび前処理部18において水平間引きして水平混合していない画素データと水平混合した画素データとを区別したレベル調整が行われていないとき、この区別を行い、水平間引きして得られた水平混合していない画素データを選択してビットシフトさせる選択シフト回路を信号処理部22の入力段側に配設するとよい。選択シフト回路は、ビットシフトさせる画素データだけを倍にすることができる。これにより、水平間引きによる低い画素データレベルを容易に補正することができる。
【００３８】
なお、選択シフト回路は、２画素の混合に限定されるものでなく、水平混合の画素数が2n（nは自然数）の場合、nビットのシフトで画素データを補正することができる。
【００３９】
図示しないがメモリは、ディジタルデータに変換した画像データ18cまたは上述の条件の場合、選択シフト回路でレベル調整が施された画素データを含む画像データを入力し、一時的に記憶し、ガンマ補正回路に画像データとして出力する。メモリは、繰り返しデータの読出しを行う場合、不揮発性メモリを用いることが好ましい。ガンマ補正回路には、たとえばガンマ補正用のルックアップテーブルが含まれている。ガンマ補正回路は、画像処理における前処理の一つとして供給される画像データに対してテーブルのデータを用いてガンマ補正する。ガンマ補正回路は、ガンマ補正した画像データをそれぞれ評価値算出部および画素補間処理回路に供給する。
【００４０】
評価値算出部には、絞り値・シャッタ速度、ホワイトバランス（White Balance：以下、WBという）調整値および階調補正値を算出する演算回路が含まれている。評価値算出部は、上述した演算回路にて、供給される画像データを基に適切な各パラメータを演算処理により算出する。これらの算出結果は、パラメータをデータバス22a、システムバス100、制御およびデータを含むバス200を介してシステム制御部20に供給される。
【００４１】
なお、評価値算出部は、信号処理部22の配設に限定されることなく、システム制御部20に配設するようにしてもよい。この場合、信号処理部22は、ガンマ補正した画像データをシステム制御部20に供給する。
【００４２】
画素補間処理回路は、画素データを補間生成して算出する機能および生成した画素データを広帯域化する機能を有する。撮像部16は単板の色フィルタ16bを用いているため、実在する色フィルタセグメントの色以外の色が撮像素子から得られない。そこで、画素補間処理回路は、この得られない色の画素データを補間により生成する。さらに、最初に得られた色を含めて生成した画素データを用いて高周波化、すなわち広帯域化処理を行う。画素補間処理回路は、広帯域化したプレーンな画像データをマトリクス処理回路に供給する。マトリクス処理回路は、輝度および色差データをそれぞれ、生成する。
【００４３】
また、画素補間処理回路は、ハニカムタイプの固体撮像素子16cを撮像部16に用いている場合、このガンマ補正した画像データを用いて実際に画素の存在する位置（実画素）や画素の存在しない位置（仮想画素）に三原色RGBの画素データを補間処理により生成する。
【００４４】
マトリクス処理回路は、画像データから輝度データYと色データCb, Crを生成する。生成した画像データは、圧縮／伸長処理回路に供給される。
【００４５】
圧縮／伸長処理回路は、本撮像モードにおいて供給される画像データ（Y/C）にJPEG（Joint Photographic Experts Group）等の規格で圧縮処理を施す。圧縮／伸長処理回路は、本撮像後の圧縮した画像データをデータバス22a、システムバス100、バス28aを介してストレージ28に送って記録する。また、圧縮／伸長処理部は、ストレージ28に記録した画像データを読み出し、バス28a、システムバス100、データバス22aを介して供給される画像データに伸長処理を施す。伸長処理は、圧縮処理の逆処理である。伸長した画像データ（Y/C）は、信号処理部22内でD/A変換される。信号処理部22は、このアナログ信号を再生した画像信号22cとしてモニタ30に出力する。信号処理部22は、再生に限らず、撮像した画像を静止画や動画で表示する場合も信号処理したアナログ信号22cにしてモニタ30に出力する。
【００４６】
システム制御部20は、カメラ全体の汎用な部分やディジタル処理を行う部分を制御するマイクロコンピュータまたはCPU（Central Processing Unit）である。 システム制御部20は、図示しないキー操作部から供給されるタイミング信号、モード信号および選択信号が含まれるトリガ信号202を受けて、各部に対する制御信号を生成する。具体的に説明すると、システム制御部20は、前処理部18および信号処理部22を制御信号200, 22b, 22cにより制御する他、撮像部16の設計に応じて特定の位置の出力に対してレベル調整を行うように制御信号20aを供給する。システム制御部20は、図２に制御線を図示していないがタイミング信号生成部24、ドライバ26およびストレージ28も制御している。
【００４７】
システム制御部20には、信号発生回路からクロック信号22bが供給される。そして、システム制御部20には、信号処理部22で求めた各種パラメータの情報も供給される。システム制御部20は、クロック信号22bに基づいて動作させるように各種パラメータに対応する制御信号20aないし20cをそれぞれ、生成している。
【００４８】
タイミング信号生成部24は、供給されるクロック信号22bを基に水平同期信号、垂直同期信号、フィールドシフトゲートパルス、水平転送信号、垂直転送信号、ラインメモリ162のR/W等の各種タイミング信号を生成する。タイミング信号生成部24は、生成したタイミング信号240aをドライバ26に供給する。タイミング信号生成部24は、前処理部18にもサンプリング用のタイミング信号240bを供給している。
【００４９】
ドライバ26は、光学レンズ系12のAF調節機構を駆動させて、ピント調節を行う駆動信号26a、露出に関わるパラメータのうち、あらかじめ設定された目標の絞り値と測光値との差がなくなるように図示しない制御信号に応じてリング部を回転させる駆動信号26bを供給する。そして、ドライバ26は、露出時間を管理し、光電変換により生成された信号電荷を転送路に読み出してこの信号電荷を垂直／水平方向に転送させ、動作モードに応じて水平間引き混合等を破綻なく、行わせるように駆動信号26cを撮像部16に供給する。
【００５０】
ストレージ28は、半導体メモリ等を記録媒体として用いて、供給される画像データを記録する。記録媒体には、光ディスクや光磁気ディスクを用いてもよい。
【００５１】
モニタ30は、液晶モニタを用いる。液晶モニタは、バックライト型、反射型、等がある。モニタ30には、信号処理部22から供給される画像信号に応じた画像が表示される。
【００５２】
次に固体撮像素子16cにおいて水平間引き混合を行う場合の動作を説明する。図７は、図８および図９の接続関係を示す配置図である。図８および図９は、ラインメモリ（LM）162の保持する信号電荷および水平転送レジスタ164に形成されるポテンシャルならびに供給される駆動信号のタイミングを示している。また、時間経過方向は矢印Aで示す。図８のラインメモリ162には、図１の第２行および第３行目の受光素子160から読み出し、垂直転送された信号電荷の格納状態を示している。ラインメモリ162は、第０行から数えている。電極V3Bと接続しているゲートには、間引き水平混合においてトランスファゲートパルスが印加されない。固体撮像素子16cは、電極V1およびV3Aで作動させている。これにより、これらの２行の内、水平駆動信号H5が供給される色Rの信号電荷は読み出されない。そして、水平転送レジスタ164には、何も信号電荷がない状態を示している。
【００５３】
ラインメモリ162には、水平駆動信号H5が供給される位置の信号電荷と水平駆動信号H1が供給される位置の信号電荷とを水平混合するため位置H5に読出し制御信号が印加される。位置H5に読み出した信号電荷を入れるためのポテンシャル井戸を形成するように水平駆動信号H5だけレベルHを印加する。水平駆動信号H1〜H8が示すように水平転送レジスタには、８相の駆動信号が供給されている。
【００５４】
しかしながら、水平混合することにより、本来の色フィルタのパターン配置と異なる位置関係に水平混合の信号電荷が形成されることがあらかじめわかっているから、位置H5の信号電荷は空である。したがって、水平混合に到るまでの水平駆動は、空のパケットを転送してしまう。この期間の転送は、無駄な駆動であるから省略することができる。このような省略は、読出し時間を短縮させることにつながり、大きな効果が得られる。
【００５５】
図９のラインメモリ162とこの直下に示されたポテンシャル井戸は、ラインメモリ162の位置H1, H4, H7, H8の信号電荷を水平転送レジスタ164に読み出し、ポテンシャル井戸を形成した状態を示している。ラインメモリ162は、信号電荷の読出しゲートを開くようにレベルHが供給されている。これらの位置H1, H4, H7, H8に供給される水平駆動信号は、レベルHにしている。位置H8における信号電荷（色G）は、次の転送において水平駆動信号H8およびH4がレベルH、そして水平駆動信号H7およびH3がレベルLで供給されるから、そのままの位置に留まる。また、位置H1も、レベルHの水平駆動信号が供給され続けているので、信号電荷（色R)はそのままの位置に停留する。
【００５６】
この後、位置H4, H6, H8の信号電荷は、水平駆動信号H1を除き、規則的にレベルL/Hを交互に位相のずれた水平駆動信号H2〜H8が供給されるから、順に信号電荷の格納するポテンシャル井戸の形成位置を１つずつシフトさせる。この結果、位置H1〜H8を１つの単位とみなすと、ポテンシャル井戸がH1 (R), H2 (G), H3 (/), H4 (B), H5 (/), H6 (G), H7 (/), H8 (-)のように形成される。
【００５７】
ここで、(/)は、ポテンシャル井戸が形成されていない状態を示し、(-)は、ポテンシャル井戸が形成されていながら、信号電荷がない、空の状態を示している。
【００５８】
上述した状態において水平駆動信号H4をレベルLにし、水平駆動信号H3をレベルHにする。これにより、ポテンシャル井戸は、H1 (R), H2 (G), H3 (B), H4 (/), H5 (/), H6 (G), H7 (/), H8 (/)となる。この位置関係において、ラインメモリ162の位置H2, H3およびH6にそれぞれ格納されている色G, B, Gの信号電荷を読み出す。位置H2, H3およびH6の信号電荷は、これまで転送されてきた信号電荷と混合して２倍になる。すなわち、位置H2, H3およびH6は、信号電荷が2G, 2B, 2Gになる。
【００５９】
この水平混合の後に、これまで停留させていた位置H1の信号電荷（R)だけを１つだけ読出し方向にシフトさせる。次に、位置H8に移動した信号電荷（R)および位置H2の信号電荷（2G)を、それぞれ１つだけ読出し方向にシフトさせる。これにより、図９に示すように最下段の位置関係に間引き水平混合が行うことができる。この行の場合、水平混合しない信号電荷（R)と水平混合させた２倍の信号電荷（G)および（B)とが得られる。
【００６０】
読み出した信号電荷に対して色Gと色R, Bとが異なる行として扱うことにより、固体撮像素子16cは、間引き水平混合を行っても、本来の色フィルタの配置パターンと同じ位置関係に色の関係が保たれた信号電荷の読出しを行うことができる。この点について後述する比較例との比較でさらに説明する。
【００６１】
図10に比較例の固体撮像素子40を示す。固体撮像素子40は、基本的に上述した実施例と同じである。各部に付される参照番号は、上述の実施例と同じにしている。固体撮像素子40は、電極V1, V3からの信号線がライン毎にそれぞれ接続されている。この接続は、垂直方向の間引き読出しで行われてきた接続である。水平混合による水平間引き読出しは、何も考慮されていない。
【００６２】
固体撮像素子40を用いて水平混合による水平間引き読出しを説明する。図11は、図12および図13の接続関係を示す配置図である。図12および図13は、ラインメモリ（LM）162の保持する信号電荷および水平転送レジスタ164に形成されるポテンシャルならびに供給される駆動信号のタイミングを示している。また、時間経過方向は矢印Aで示す。図12のラインメモリ162には、図10の第２行および第３行目の受光素子160から読み出し、垂直転送された信号電荷の格納状態を示している。図12では、ラインメモリ162の位置H5から水平転送レジスタ164に信号電荷（色R）を読み出して、この信号電荷（色R）を位置H1までシフトさせる。
【００６３】
固体撮像素子40は、色フィルタ16bの色フィルタセグメントを透過した光を光電変換することで色属性を有する信号電荷を受光素子160にて生成している。水平混合において混色しないように、同色同士を混合させる。この関係を図14(a)に示す。実線は、混合する信号電荷の組または対を表している。図14(a)のように水平混合した場合、図14(b)の位置関係に信号電荷が生成されることになる。このとき、色Rの水平混合した信号電荷は、色Gの水平混合した信号電荷と同じ列になり、位置ずれしてしまう。これに対して、水平混合した色Rの所望の位置は、破線で示した矢印の位置である。
【００６４】
ここで、色Rの信号電荷に着目するのは、この色Rを本来の色フィルタ16bが色フィルタセグメントRと同じ位置関係をもたらす位置に水平混合した信号電荷を移動させるためである。
【００６５】
図13では、位置H1, H4,およびH8の信号電荷がラインメモリ162から読み出される。この読出しにより、位置H1の信号電荷は、直下の色Rの信号電荷と水平混合して2Rになる。以後、前述した実施例と同じ水平駆動を行うことにより、位置H1〜H8を１つの単位とみなすと、ポテンシャル井戸がH1 (2R), H2 (G), H3 (/), H4 (B), H5 (/), H6 (G), H7 (/), H8 (-)のように形成される。さらに、前述の実施例と同様に水平駆動し、ラインメモリ162に残る信号電荷を読み出す。これにより、ポテンシャル井戸は、H1 (2R), H2 (2G), H3 (2B), H4 (/), H5 (/), H6 (2G), H7 (/), H8 (/)となる。そして、各信号電荷をポテンシャル障壁毎に均等に配するようにできる。すなわち、H1 (2G), H2 (/), H3 (2B), H4 (/), H5 (2G), H6 (/), H7 (2R), H8 (/)である。
【００６６】
図14に示したように単純に水平混合を行わせると、色ずれを起こす。そこで、比較例では、色Rを考慮して色ずれを起こさない位置まであらかじめシフトさせている。本実施例は、あらかじめ色ずれを発生させる信号電荷を間引いている。この場合、色ずれを生じさせる信号電荷の読出しを禁止させる電極構造を採用している。この構造を用いることにより、色ずれを起こす位置の信号電荷を上述したようにシフトさせる操作が無駄になる。ドライバ26は、この無駄な電荷転送操作になる図８の走査期間Dを除くようにタイミング信号240aを受けて駆動信号26cを撮像部16に出力する。したがって、本実施例の固体撮像素子16cは、固体撮像素子40に比べて走査期間Dの分、水平走査を速くすることができる。
【００６７】
固体撮像素子16cは、図15に示すように、G正方RB完全市松パターンにおいて通常行われる８×８を１つのブロック単位（実画素32個：仮想画素32個）とみなして水平２画素混合を行うと、色ずれを考慮しない場合、図16において矢印32の列の矢印32a〜32dに示す画素の配置が本来のパターンと異なってしまう。前述した水平間引き水平２画素混合を行うと、図17に示すように、色ずれが考慮されて本来の色パターンと同じG正方RB完全市松パターンを生成することができる。このようにパターンの生成を行うため、実画素をそのまま読み出したことによって、ブロックの右端の信号電荷は、理論的に水平混合した画素の半分になっている。
【００６８】
また、固体撮像素子16cは、図18に示すように、G正方RB完全市松パターンにおいて通常行われる12×８を１つのブロック単位（実画素48個：仮想画素48個）とみなして水平３画素混合を行うと、色ずれを考慮しない場合、図19において矢印34の列の矢印34a〜34dに示す画素の配置が本来のパターンと異なってしまう。前述した水平間引き水平３画素混合を行うと、図20に示すように、色ずれが考慮されて本来の色パターンと同じG正方RB完全市松パターンを生成することができる。このようにパターンの生成を行うため、実画素をそのまま読み出したことによって、ブロックの右端の信号電荷は、理論的に水平混合した画素の1/3になっている。上述した水平間引き２画素および３画素水平混合からわかるように、この２種類の混合を行う場合、電極3VBを接続する画素のゲートは、同じにならない。したがって、本実施例の間引き水平混合は、水平混合する画素数を念頭において設計するとよい。
【００６９】
このように固体撮像素子は、動画のように信号読出し時間が規定され、数百万の画素数を有する場合、信号読出しが重要な要件になる。このように間引き水平混合は、読出し時間の短縮という大きな効果をもたらす。また、色ずれを起こす位置の信号電荷（読出し禁止）に対応する信号電荷は、そのまま読み出されるが、水平混合していない分、信号電荷量が他の水平混合した信号電荷量に比べて低い。この信号電荷の不足分は、固体撮像素子16cの出力アンプ部166、GCA回路184および信号処理部22のいずれか１つにおいてレベル調整する。
【００７０】
これにより、ディジタルカメラ10は、画素数が増加しても間引き水平混合を行うことにより、高速に信号電荷を読み出すことができ、かつ読み出す信号の色フィルタパターンを静止画と同じにできるので、得られる画像を高画質化することができる。
【００７１】
上述した実施例は、色フィルタ16bにG正方RB完全市松パターンを適用したが、本発明は、このパターンに限定されることなく、ベイヤパターンやGストライプRB完全市松パターンにおいても水平間引き２画素水平混合が適用できる。図21にベイヤパターンを示す。ベイヤパターンは、４画素の正方配置を考えるとき、色Gの色フィルタセグメントを一方の対角にし、色R, Bを他方の対角にする配置である。色ずれを考慮せずに、２画素水平混合した場合、図22に示すように、ベイヤパターンは再現されるが、生成される画素の配置バランスに偏りが生じる。そこで、水平間引き２画素水平混合を適用すると、図23に示すように、生成される。水平間引き２画素水平混合における水平間引きは、ブロック単位の第２列目を間引いている。これにより、生成される色パターンは、２ブロックを含めて水平方向に対して均等にバランスよく配置されることがわかる。ただし、１ブロック内における右端側の画素列は、水平混合しないで読み出される画素を示している。図23の色パターンは、色温度が低い、すなわち赤味がかった画像において有効である。
【００７２】
また、水平間引き２画素水平混合における水平間引きをブロック単位の第３列目を電極V3Bと接続され、第１列目をそのままに読み出した場合、図24に示す色パターンがバランスよく得られる。この色パターンは、色温度が高い、すなわち青味がかった画像において有効である。これにより、画像全体の色S/Nを稼ぐことができる。
【００７３】
次に色フィルタ16bが、GストライプRB完全市松パターンの場合について説明する。GストライプRB完全市松パターンは、図25に示すように、色Gを縦方向にストライプ形成し、この色Gのストライプを挟む２列の色R, Bの色フィルタセグメントが異色の関係に配されるパターン、すなわち完全市松パターンである。このパターンにおいて色ずれを考慮せずに２画素水平混合を行うと、図26の矢印36が示す列に不要な画素が生成される。すなわち、この列における色2B, 2Rの画素である。
【００７４】
GストライプRG完全市松パターンにおいて、図25のブロックパターンの内、右端の列をそのまま残し、左端から第４列目が電極V3Bに接続されることにより間引きされる間引き水平混合が行われることにより、図27に示すように色パターンは、バランスよく生成することができる。
【００７５】
次に本発明の固体撮像装置における他の実施例を適用したディジタルカメラ10について説明する（図28を参照）。前述した実施例と異なる点は、固体撮像素子16cにある。固体撮像素子16cは、同一行内の信号電荷を読み出すゲート（あらわに図示せず）を電極V3と接続する比較例と同じ電極構造である。本実施例の固体撮像素子16cには、水平転送レジスタ164に並行して水平ドレイン168が配設されている。水平ドレイン168は、水平転送レジスタ164に供給された信号電荷を水平ドレイン168に供給される水平掃出し信号168aに応動して廃棄する。この信号電荷の廃棄により、色ずれを発生させる信号電荷が間引かれる。
【００７６】
なお、水平ドレイン168は、ラインメモリ162と水平転送レジスタ164の間に配設するようにしてもよい。
【００７７】
本実施例における固体撮像素子16cの動作を説明する。図29は、動作を説明する図30および図31のタイミングチャートの配置を示す図である。図30では、第０行目を考慮した第２行目および第３行目から信号電荷を読み出し、ラインメモリ162に格納された状態を示している。また、時間経過方向は矢印Aで示す。G正方RB完全市松パターンにおける色ずれの原因は、前述した実施例での説明からもわかるように位置H5（この場合の色属性R）の信号電荷である。ラインメモリ162は、駆動信号のレベルをHにしてこの位置の信号電荷を水平転送レジスタ164に読み出す。次に水平転送レジスタ164における位置H5と並行して配設されている水平ドレイン168に駆動信号168a（HDR）が供給される。この供給により、位置H5の信号電荷は、水平ドレイン168に廃棄される。この廃棄により、水平間引きが行われる。このような水平間引きは、色ずれの原因をもたらさない位置まで対象の信号電荷を移動させることを不要にする。
【００７８】
図31では、上述した水平間引きした画素と水平混合する相手の画素、すなわち位置H1の信号電荷を水平転送レジスタ164に読み出し、そのままの位置に停留させる。したがって、停留の間、位置H1に供給される水平駆動信号H1は、レベルHのままである。色B, Gの水平混合を行うため、ラインメモリ162には、位置H4, H7およびH8にレベルHの信号162aが供給される。これにより、位置H4, H7およびH8の信号電荷が水平転送レジスタ164に読み出される。このとき、水平転送レジスタ164には、レベルHの水平駆動信号H4, H7およびH8が供給される。これらの位置の水平転送レジスタ164には、ポテンシャル井戸が形成される。
【００７９】
次に位置H4およびH8の色Gの信号電荷は、位置をそのままに停留させ、位置H7の信号電荷（色B）だけを読出し方向に１つシフトさせる。この操作によりポテンシャル井戸を形成された位置の前にポテンシャル障壁が形成される。次に位置H4, H6およびH8の信号電荷は、読出し方向にそれぞれ２つずつシフトさせる。そして、図示していないが、位置H4の信号電荷（色B）だけを読出し方向に１つだけシフトさせる。これにより、読み出された信号電荷（色G, B, G）は、ラインメモリ162に残る信号電荷の直下に移動させられる。
【００８０】
ここで、ラインメモリ162には、信号電荷を読み出すように駆動信号162a（LM）が供給される。そして、水平転送レジスタ164には、位置H1, H2, H4およびH6にレベルHの水平駆動信号が供給される。
【００８１】
次に位置H1をレベルL、位置H2, H3, H6, H8をレベルHの水平駆動信号が供給されることにより、色Rの信号電荷が読出し方向にシフトされる。そして、位置H2, H6およびH8に供給される水平駆動信号のレベルをHからLにし、隣接する位置H1, H5およびH7をレベルLからHにする。これにより、水平転送レジスタ164は、水平駆動信号にレベル変化のあった位置の信号電荷を１つシフトさせる。
【００８２】
本実施例の固体撮像素子16cは、先の実施例が電極の区別という設計時に固定されてしまう点に比べて水平駆動信号の内、水平間引きする対象の信号電荷を選んで廃棄することから、駆動のさせ方を考慮して駆動させることができる。駆動させる手順をソフトウェア的に書き換えて信号読出しさせることが可能なので、使用する色フィルタの種類やブロック単位に対応した読出しに合わせることができる点で有利である。
【００８３】
たとえば、ベイヤパターンでは、色温度に応じた２つの信号読出しができることを説明した。先の実施例にようにハードウェアに固定された読出しの場合、一方にしか対応できないが、ディジタルカメラ10は、本実施例のように２つの信号読出しを行うようにタイミング信号生成部24にあらかじめ手順を書き込んでおく。ユーザの操作により被写界が赤味および青味のいずれか一方を選択し、システム制御部20にトリガ信号202として供給する。システム制御部20は、タイミング信号生成部24を制御し、ユーザが所望する読出しに対応して撮像させることができる。
【００８４】
このように本実施例は、これまでより短時間に間引き水平混合の信号読出しを行って高画質な静止画や動画の画像を提供するとともに、色フィルタの種類やブロック単位等の変更に対しても柔軟にソフトウェア的に対応することができる点で有利である。
【００８５】
さらに、本発明の画像処理装置をディジタルカメラ10に適用した実施例を説明する。ここで、ディジタルカメラ10は、固体撮像素子および信号処理部を除いて同じ構成である。特に、固体撮像素子は、図10に示した固体撮像素子40を用いて色ずれを考慮することなく、水平混合を行う。信号処理部22には、図示しないが、供給される水平混合により得られた画像データ18cを用いて、色ずれを補正して本来の所望する位置に生成する機能を有する色ずれ補正処理部がある。
【００８６】
色ずれ補正処理部の動作を説明する。固体撮像素子40は、色フィルタ16bに図32(a)のG正方RB完全市松パターンを使用する。図32(a)は、説明の容易化を図るため、２行分を用いて説明する。ここでは、色ずれを考慮することなく水平混合を行う。この結果、図32(b)に示すパターンの位置関係で画像データが得られる。このとき、水平混合により画素b1, b2で示す位置に色Bの信号電荷2Bが生成される。本来の位置は、破線の八角形で示す位置である。
【００８７】
信号処理部22の色ずれ補正処理部では、図32(c)に示すこの本来の位置での画素データをB1, B2として画素データを算出する。算出には、水平混合して得られた色ずれの画素データb1, b2と、画素データB1に対する画素データb1, b2までのそれぞれの空間距離とを用いる。空間距離は、補間係数として用いられる。
【００８８】
ここで、空間距離は、水平方向に見て、画素と画素のピッチを１とする。したがって、画素データB1と画素データb1の距離は、１であり、画素データB1と画素データb2の距離は、３である。また、画素データb1-b2の空間距離は、４であるから、加算平均すると、画素データB1は、(b1×3＋b2×1)/4の演算により得られる。このように本来の位置に対して同一行内で色ずれの水平混合した左右に位置する画素データおよび空間距離を用いて加算平均して本来の位置に画素データを生成することができる。
【００８９】
この場合、固体撮像素子16cにおいて、色ずれを考慮した間引き水平混合を用いた信号読出しでなく、単なる水平混合を行っているだけなので、ディジタルカメラ10は、固体撮像素子16cからの信号読出しに要する時間を比較例の信号読出し時間に比べて短縮化することができる。また、信号レベルの調整を行うためのハードウェア的な構成も不要である。ただし、読み出した信号電荷の位置関係には、色ずれが含まれている。この色ずれに対処するため、信号処理部22では、本来の位置の画素データに対して左右に色ずれしている画素データを用い、空間距離を係数とする加算平均によって、本来の画素データを生成することができる。読み出した画素データを基に補正する方法を用いることにより、水平混合の仕方に限定されず、信号電荷の高速読出しに柔軟に対応することができる。このような画像処理により、正確な画像の再現が可能になるので、ディジタルカメラ10は、水平混合した画素データをそのままストレージ28に送って保存し、後で輝度および色データを生成することもできる。
【００９０】
これまで、間引き水平混合が静止画や動画に適用して有用な点を説明してきたが、間引き水平混合は、図33に示す電子ズームを行う場合にも有効である。たとえば、3000×4000画素（＝1200万画素）を有する画像300を出力する撮像部16がある。モニタ30は、このような多画素を有していないので、通常間引いて表示される。この間引きは、画像300を640×480（VGA：Video Graphics Array）の画像400にして表示する。このとき、動画モードにおける間引きは、水平混合により読み出す。この場合、画素数が多いので画質劣化は目立たない。しかしながら、電子ズームで狭い領域410を拡大する場合、水平混合した画像500では、画質劣化が顕著に現れる可能性がある。
【００９１】
そこで、画質劣化を回避するため、本発明の固体撮像装置にて適用した間引き水平混合を適用する。この適用により、拡大サイズの画像500において水平間引きしても色フィルタの本来のパターンを維持するように画像が読み出されるので、偽色の発生が抑制され、高画質な画像を得ることができる。水平混合/間引き水平混合の切換えは、倍率に応じて行う。ここで、倍率は、たとえばモニタの表示サイズがVGAのとき、この表示サイズと画素数が同じ等倍を切換えの境界とする。 間引き水平混合は、倍率１より拡大された場合に適用する。このように動作させることにより、ディジタルカメラ10は、動画モードにおいて様々な大きさに画像を表示させても高い画質を保って表示させることができる。
【００９２】
以上のように構成することにより、比較例のように色ずれを考慮しながら水平混合を行う場合に比べて前述した間引き水平混合を行うと、色ずれする信号電荷を所望の位置までシフトさせる時間を省くことができるので、信号電荷の読出し時間を短縮することができる。具体的に、水平間引きは、電極を区別し、色ずれを考慮して行うことができる。また、水平間引きは、水平転送レジスタに並行させて水平ドレインを配設し、色ずれを発生させる信号電荷を廃棄させることによっても行うことができる。後者の水平間引きは、色フィルタの種類や間引くブロック単位に応じて間引く位置の設定を変更できるから、前者に比べて柔軟性が高い。
【００９３】
これらの場合、そのまま読み出した信号電荷は、水平混合した信号電荷に比べて理論的にも低いから、画像のバランスをよくするため、そのまま読み出した信号電荷に対してレベル調整を施して静止画や動画において画質劣化を防いでいる。
【００９４】
また、水平混合を行い、所望する画素データに対して左右に位置する色ずれした画素データを用いて、補正して所望する画素データを生成することにより、比較例よりも信号電荷の読出しを短時間で行い、色ずれのない画像を高画質に得ることができる。読出し後の補正により、水平混合の仕方にとらわれないので、信号読出しに対して柔軟に対応することができる。
【００９５】
さらに、モニタへの表示を行う場合、モニタが有する表示サイズを倍率１として通常の水平混合/間引き水平混合とを切り換えて表示させることにより、画像を電子ズームさせて一層の拡大を行っても画質を維持してモニタに表示させることができる。
【００９６】
【発明の効果】
このように本発明の固体撮像装置によれば、駆動信号生成手段からの駆動信号に応じて受光素子に各色属性の信号電荷を蓄積し、電荷保持手段を駆使して第２の転送素子にて水平混合を行うことにより水平間引きし、水平混合によって得られる色パターンが色フィルタのパターンと異なるパターンにしてしまう色属性の信号電荷に対して電荷間引き手段に駆動信号生成手段から供給される間引き駆動信号により所定の列の信号電荷を間引きし、この間引きした信号電荷の水平混合に対応する信号電荷を水平混合することなく、そのままに読み出して色フィルタのパターンと同じ位置関係の色パターンにすることにより、これまでの色ずれを考慮した信号電荷の読出しに比べて読出し時間を短縮化でき、かつ偽色のない高画質な静止画や動画の画像を得ることができる。また、信号電荷の読出しに対して柔軟に対応することもできる。
【００９７】
また、本発明の固体撮像装置によれば、受光素子で蓄積された信号電荷を第１の転送素子を介して電荷保持手段に送り、電荷保持手段から第２の転送素子に読み出した信号電荷を水平方向の同色の色属性を有する信号電荷同士で水平混合させ、信号処理手段で色フィルタのパターンと異なるパターンをもたらす位置ずれした画素データをこの画素データの左右に位置する同色の画素データを用いて補間して、水平混合した色パターンを色フィルタと同じパターンにすることにより、これまでの色ずれを考慮した信号電荷の読出しに比べて読出し時間を短縮化でき、かつ偽色のない高画質な静止画や動画の画像を得ることができる。また、信号電荷の読出し後の色ずれ補正のため信号読出しに影響することなく、読み出した画素データに対して柔軟に対応することもできる。
【００９８】
本発明の固体撮像装置の信号読出し方法によれば、色属性を有する信号電荷を画素とし、水平混合した結果、本来の色フィルタセグメントの配置パターンと異なるパターンの位置関係にある信号電荷を間引き読出しし、この間引きに対応する信号電荷に対してレベルを同色同士の水平混合に用いた画素の混合数を倍数としてレベル調整し、画面全体のレベルバランスを一定に保ちながら、水平方向の間引きを行うことにより、これまでの色ずれを考慮した信号電荷の読出しに比べて読出し時間を短縮化でき、そして偽色のない高画質な静止画や動画の画像を得ることができる。また、信号電荷の読出しに対して柔軟に対応することもできる。
【００９９】
さらに、本発明の画像処理方法によれば、同色の水平混合を行い、色分解するパターンに対して位置ずれしている画素をこの画素の左右に位置する同色の画素データで補間して位置ずれを解消して、生成するパターンを色分解するパターンと同じ関係にすることにより、偽色のない高画質な画像を得ることができる。この方法でもこれまでの色ずれを考慮した信号電荷の読出しに比べて読出し時間を短縮化でき、かつ偽色のない高画質な静止画や動画の画像を得ることができる。また、信号電荷の読出し後の色ずれ補正のため信号読出しに影響することなく、読み出した画素データに対して柔軟に対応することもできる。
【図面の簡単な説明】
【図１】本発明の固体撮像装置における実施例で用いる固体撮像素子の概略的な構成を示す図である。
【図２】本発明の固体撮像装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図３】図１の固体撮像素子に用いる出力アンプ部の回路構成を示す図である。
【図４】図３の出力アンプ部の動作に応じた信号レベルの変化を示すグラフである。
【図５】図２のディジタルカメラにおける前処理部の概略的な構成を示すブロック図である。
【図６】図５の前処理部における水平間引き混合を考慮した色毎のレベル調整を説明するグラフである。
【図７】図８および図９の接続関係を示す配置図である。
【図８】図１の固体撮像素子の動作を説明するタイミングチャートである。
【図９】図８に続く動作を説明するタイミングチャートである。
【図１０】図１の固体撮像素子に対する比較例の概略的な構成を示す図である。
【図１１】図12および図13の接続関係を示す配置図である。
【図１２】図10の固体撮像素子の動作を説明するタイミングチャートである。
【図１３】図12に続く動作を説明するタイミングチャートである。
【図１４】図１に用いたG正方RB完全市松パターンで水平混合して得られる位置関係を示す図である。
【図１５】図１のG正方RB完全市松パターンを８×８のブロック単位で表した図である。
【図１６】図15の位置関係で色ずれを考慮せずに水平２画素混合した場合に得られるパターンを示す図である。
【図１７】図15の位置関係で色ずれを考慮して水平間引き水平２画素混合した場合に得られるパターンを示す図である。
【図１８】図１のG正方RB完全市松パターンを８×12のブロック単位で表した図である。
【図１９】図18の位置関係で色ずれを考慮せずに水平３画素混合した場合に得られるパターンを示す図である。
【図２０】図18の位置関係で色ずれを考慮して水平間引き水平３画素混合した場合に得られるパターンを示す図である。
【図２１】図１の色フィルタに適用したベイヤパターンを表した図である。
【図２２】図21の位置関係で色ずれを考慮せず水平２画素混合した場合に得られるパターンを示す図である。
【図２３】図15の位置関係で色ずれを考慮して水平間引き水平２画素混合した場合に得られる第１のパターンを示す図である。
【図２４】図15の位置関係で色ずれを考慮して水平間引き水平２画素混合した場合に得られる第２のパターンを示す図である。
【図２５】図１の色フィルタに適用したGストライプRB完全市松パターンを表した図である。
【図２６】図25の位置関係で色ずれを考慮せず水平２画素混合した場合に得られるパターンを示す図である。
【図２７】図25の位置関係で色ずれを考慮して水平間引き水平２画素混合した場合に得られるパターンを示す図である。
【図２８】本発明の固体撮像装置における他の実施例で用いる固体撮像素子の概略的な構成を示す図である。
【図２９】図30および図31の接続関係を示す配置図である。
【図３０】図28の固体撮像素子の動作を説明するタイミングチャートである。
【図３１】図30に続く固体撮像素子の動作を説明するタイミングチャートである。
【図３２】図１のG正方RB完全市松パターンで水平混合を行い、得られるパターンに対する補正処理を説明する図である。
【図３３】図２のディジタルカメラにおいて通常の水平混合/間引き水平混合の切換えを説明する図である。
【符号の説明】
10 ディジタルカメラ
12 光学レンズ系
14 絞り調節機構
16 撮像部
16a 光学ローパスフィルタ
16b 色フィルタ
16c 固体撮像素子
18 前処理部
20 システム制御部
22 信号処理部
24 タイミング信号生成部
26 ドライバ
28 ストレージ
30 モニタ
160 受光素子
162 ラインメモリ
164 水平転送レジスタ
168 水平ドレイン
Claims (22)
- 被写界からの入射光を各色に分離する色フィルタセグメントがパターン配列された色フィルタ、
該色フィルタで透過させ、該透過光を光電変換して信号電荷を生成する受光素子、
前記色フィルタセグメントの色に応じた色属性を有する信号電荷を前記受光素子に蓄積させたり、前記受光素子に前記蓄積された信号電荷を読み出す開閉が行われるゲート、
該ゲートに隣接して垂直方向に前記ゲートを介して読み出した信号電荷を転送する複数の第１の転送素子、
該複数の第１の転送素子と直交する水平方向に前記蓄積した信号電荷を転送する第２の転送素子、および
第１の転送素子のそれぞれの最下段と第２の転送素子との間に配設され、前記最下段の素子から供給される信号電荷を一時保持する電荷保持手段を有する固体撮像素子と、
前記ゲートの開閉、第１および第２の転送素子に対する駆動信号、ならびに前記電荷保持手段に保持された信号電荷の読出し信号の生成を行い、さらに前記電荷間引き手段に対する間引き駆動信号を生成する駆動信号生成手段とを含み、
第２の転送素子は、前記色フィルタセグメントの前記パターン配列で同一行方向に前記色属性が同じ信号電荷の混合により水平方向の間引きを行わせて生成した色のパターンが、前記色フィルタのパターンを保つ位置関係に信号電荷を読み出し、
前記固体撮像素子は、前記色フィルタのパターンにあるゲートの電極と異なる位置関係にあるゲートの電極の配線を別にする電極構造を有することを特徴とする固体撮像装置。 - 請求項１に記載の装置において、前記駆動信号生成手段は、前記水平方向の間引きに応じて異なる位置関係の前記ゲートを開状態にする駆動信号の生成を禁止することを特徴とする固体撮像装置。
- 請求項１に記載の装置において、前記固体撮像素子は、前記色フィルタセグメントの前記パターン配列で同一行方向に前記色属性が同じ信号電荷の混合により水平方向の間引きを行わせて生成した色のパターンが、前記色フィルタのパターンと異なる位置関係にある第２の転送素子の信号電荷を捨てる第２の転送素子に並行して配設された水平電荷廃棄手段を含む固体撮像装置。
- 請求項３に記載の装置において、前記駆動信号生成手段は、前記水平方向の間引きに応じて前記異なる位置関係にある前記信号電荷を前記水平電荷廃棄手段に捨てさせる駆動信号の生成を行うことを特徴とする固体撮像装置。
- 請求項１ないし４のいずれかに記載の装置において、前記固体撮像素子は、前記同色同士の色混合された信号電荷を増幅する第１の増幅手段と、
前記受光素子から読み出されたままの信号電荷を増幅する第２の増幅手段と、
供給される信号電荷の混合の有無に応じて第１および第２の増幅手段の入力先を切り換え、該入力先の増幅手段から出力させる切り換えを同時に行う切換手段とを第２の転送素子の出力先に配設することを特徴とする固体撮像装置。 - 請求項１ないし４のいずれかに記載の装置において、該装置は、前記固体撮像素子からの出力信号が前記同色同士の色混合された信号か否かに応じて増幅の大きさを調整する増幅調整手段を含むことを特徴とする固体撮像装置。
- 請求項１ないし４のいずれかに記載の装置において、該装置は、前記固体撮像素子からのアナログ出力信号にディジタル化が施され、得られたディジタルデータのうち、前記受光素子から読み出されたままのデータに対して該データの要素であるビットを該データの大きくなる方向に変位させる信号処理手段を含むことを特徴とする固体撮像装置。
- 請求項１ないし４のいずれかに記載の装置において、前記色フィルタは、一方の対角に位置する色を同色にし、他方の対角に位置する色を異色、かつ前記一方の対角の色とも異なる色パターンを含み、
前記電荷間引き手段は、複数の列単位で扱う前記色パターンのうち、特定の一列の信号電荷を捨てることを特徴とする固体撮像装置。 - 請求項８に記載の装置において、前記特定の一列は、水平の同色同士の２画素混合に応じて配色する３色のうち、最も配色数の多い色を除く２色のいずれか一方を含む列であることを特徴とする固体撮像装置。
- 請求項１、２または４に記載の装置において、前記駆動信号生成手段は、前記固体撮像素子における信号電荷の読出しを水平混合して得られた画像データを動画表示させる第１の動画モードと、該画像データの倍率に応じて色パターンの位置ずれを起こす信号電荷を水平間引き混合して読み出して動画表示させる第２の動画モードとに対応した駆動信号を生成することを特徴とする固体撮像装置。
- 請求項10に記載の装置において、前記駆動信号生成手段は、前記倍率が１以上の倍率に応じて第２の動画モードに切り換えることを特徴とする固体撮像装置。
- 請求項１に記載の装置において、前記駆動信号生成手段は、前記ゲートの開閉、第１および第２の転送素子に対する駆動信号、ならびに前記電荷保持手段に保持された信号電荷の読出し信号を生成し、水平方向の同色の色属性を有する信号電荷を水平混合させる駆動信号も生成し、
該装置は、さらに、前記固体撮像素子から前記水平混合により得られたアナログ出力信号を画素としてディジタル化を施し、得られた画素データのうち、前記水平混合により前記色フィルタのパターンと異なるパターンをもたらす位置ずれした画素データを該画素データの左右に位置する同色の画素データを用いて補間する信号処理手段とを含むことを特徴とする固体撮像装置。 - 請求項12に記載の装置において、前記信号処理手段は、前記補間に用いる補間係数を前記位置ずれした画素データに対して左右に位置する同色の画素データまでの空間距離とすることを特徴とする固体撮像装置。
- 被写界からの入射光を色分解する色フィルタセグメントを用いて色分解し、色分解した入射光に応じてそれぞれの色属性を有する信号電荷に変換する第１の工程と、
前記信号電荷を画素として水平方向に同色の信号電荷同士を水平混合させる場合、該水平混合により得られる間引き読出しの色パターンが本来の色フィルタセグメントの配置パターンを保つ位置関係に信号電荷を読み出す第２の工程と、
前記間引き処理して得られた位置の信号電荷のレベルに対して正常な配置パターンを示す位置の前記水平混合による信号電荷の生成に用いた画素数に応じてレベル調整する第３の工程とを含むことを特徴とする信号読出し方法。 - 請求項14に記載の信号読出し方法において、第２の工程は、前記本来の色フィルタセグメントの配置パターンと異なるパターンの位置関係にある前記信号電荷の読出し禁止または該信号電荷の消去を含むことを特徴とする信号読出し方法。
- 請求項14に記載の信号読出し方法において、前記レベル調整は、前記水平混合が２つの信号電荷による場合、各信号電荷をディジタル化した後、１つの信号電荷分だけを有する画素データをビットシフトさせることを特徴とする信号読出し方法。
- 請求項14に記載の信号読出し方法において、第３の工程は、前記水平混合用に読み出された信号電荷のレベルと前記水平混合した他の信号電荷のレベルとを切り換えて前者のレベルを定数倍に調整することを特徴とする信号読出し方法。
- 請求項14に記載の信号読出し方法において、第２の工程は、前記色パターンが、一方の対角に位置する色を同色にし、他方の対角に位置する色を異色、かつ前記一方の対角の色とも異なる色パターンを含む場合、複数の列単位で扱う前記色パターンのうち、特定の一列の信号電荷を捨てることを特徴とする信号読出し方法。
- 請求項14ないし18のいずれかに記載の信号読出し方法において、該方法は、前記信号電荷の読出しを水平混合して得られた画像データを動画表示させる第１の動画モードと、該画像データの倍率に応じて色パターンの位置ずれを起こす信号電荷を水平間引き混合して読み出して動画表示させる第２の動画モードとに対応して行うことを特徴とする信号読出し方法。
- 請求項19に記載の信号読出し方法において、該方法は、前記倍率が１以上の倍率に応じて第２の動画モードに切り換えることを特徴とする信号読出し方法。
- 請求項14に記載の信号読出し方法において、さらに、前記水平混合して読み出し、レベル調整して得られたアナログ信号を用い、該アナログ出力信号を画素毎のデータとしてディジタル化を施し、得られた画素データが示すパターンが前記色分解するパターンと異なるパターンをもたらす位置ずれした画素データに対する左右に位置した同色の画素データを用いて前記位置ずれした画素を正常な位置に補間する第４の工程とを含むことを特徴とする画像処理方法。
- 請求項21に記載の画像処理方法において、第４の工程は、前記補間に用いる補間係数を前記位置ずれした画素データに対して左右に位置する同色の画素データまでの空間距離とすることを特徴とする画像処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002061547A JP4307780B2 (ja) | 2002-03-07 | 2002-03-07 | 固体撮像装置およびその信号読出し方法 |
| US10/382,579 US7372488B2 (en) | 2002-03-07 | 2003-03-07 | Solid-state image pickup apparatus with horizontal thinning and a signal reading method for the same |
| US12/062,333 US20080186391A1 (en) | 2002-03-07 | 2008-04-03 | Solid-state image pickup apparatus with horizontal thinning and a signal reading method for the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002061547A JP4307780B2 (ja) | 2002-03-07 | 2002-03-07 | 固体撮像装置およびその信号読出し方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003264844A JP2003264844A (ja) | 2003-09-19 |
| JP2003264844A5 JP2003264844A5 (ja) | 2005-06-09 |
| JP4307780B2 true JP4307780B2 (ja) | 2009-08-05 |
Family
ID=27784858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002061547A Expired - Fee Related JP4307780B2 (ja) | 2002-03-07 | 2002-03-07 | 固体撮像装置およびその信号読出し方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7372488B2 (ja) |
| JP (1) | JP4307780B2 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7773129B2 (en) | 2002-08-02 | 2010-08-10 | Canon Kabushiki Kaisha | Image pickup device, imaging apparatus containing the same, and control method thereof |
| JP3942569B2 (ja) * | 2003-09-04 | 2007-07-11 | オリンパス株式会社 | 撮像装置および画像データの変換方法 |
| JP4497872B2 (ja) * | 2003-09-10 | 2010-07-07 | キヤノン株式会社 | 撮像装置 |
| US7385638B2 (en) * | 2004-04-28 | 2008-06-10 | Eastman Kodak Company | Image sensor for still or video photography |
| JP4633413B2 (ja) * | 2004-09-01 | 2011-02-16 | 富士フイルム株式会社 | 撮像装置及び信号処理方法 |
| US7876980B2 (en) * | 2004-11-11 | 2011-01-25 | Panasonic Corporation | Imaging apparatus and imaging method for outputting a specified number of pixels in a specified area |
| JP2006352466A (ja) * | 2005-06-15 | 2006-12-28 | Fujitsu Ltd | 撮像装置 |
| US7710458B2 (en) | 2005-06-17 | 2010-05-04 | Casio Computer Co., Ltd. | Image pick-up apparatus with a shake reducing function |
| JP4542958B2 (ja) * | 2005-07-11 | 2010-09-15 | 富士フイルム株式会社 | 撮影装置 |
| US8306362B2 (en) * | 2005-07-20 | 2012-11-06 | Omnivision Technologies, Inc. | Selective pixel binning and averaging based on scene illuminant |
| JP2007088733A (ja) * | 2005-09-21 | 2007-04-05 | Fujifilm Corp | Ｃｃｄ型単板式カラー固体撮像素子 |
| JP4639406B2 (ja) | 2006-03-31 | 2011-02-23 | 富士フイルム株式会社 | 撮像装置 |
| US7768569B2 (en) * | 2006-08-17 | 2010-08-03 | Altasens, Inc. | High sensitivity color filter array |
| JP2008244738A (ja) * | 2007-03-27 | 2008-10-09 | Fujifilm Corp | 撮像装置および撮像素子の駆動制御方法 |
| JP4854620B2 (ja) * | 2007-07-19 | 2012-01-18 | 三洋電機株式会社 | 電子ズーム装置およびプログラム |
| EP2181349B1 (en) * | 2007-08-06 | 2019-05-29 | Canon Kabushiki Kaisha | Image sensing apparatus |
| JP2009065478A (ja) * | 2007-09-06 | 2009-03-26 | Fujifilm Corp | 固体撮像素子の駆動方法及び撮像装置 |
| JP2011171885A (ja) * | 2010-02-17 | 2011-09-01 | Renesas Electronics Corp | 画像処理装置及び画像処理方法 |
| JP5592944B2 (ja) * | 2010-04-28 | 2014-09-17 | 富士フイルム株式会社 | 撮像装置 |
| JP5640509B2 (ja) * | 2010-07-09 | 2014-12-17 | ソニー株式会社 | 固体撮像素子およびカメラシステム |
| US8324701B2 (en) * | 2010-07-16 | 2012-12-04 | Visera Technologies Company Limited | Image sensors |
| JP2012175600A (ja) | 2011-02-24 | 2012-09-10 | Sony Corp | 撮像装置、および撮像装置制御方法、並びにプログラム |
| EP2800384A4 (en) * | 2011-12-27 | 2015-06-03 | Fujifilm Corp | COLOR IMAGING ELEMENT |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4541010A (en) | 1983-06-17 | 1985-09-10 | Polaroid Corporation | Electronic imaging camera |
| JP3392564B2 (ja) * | 1995-02-27 | 2003-03-31 | 三洋電機株式会社 | 単板式カラービデオカメラ |
| JPH11234569A (ja) * | 1998-02-13 | 1999-08-27 | Sony Corp | 固体撮像装置の駆動方法及び固体撮像素子、並びにカメラ |
| JP4140077B2 (ja) * | 1998-02-18 | 2008-08-27 | ソニー株式会社 | 固体撮像素子の駆動方法及び固体撮像素子、並びにカメラ |
| JP3893424B2 (ja) * | 1998-11-06 | 2007-03-14 | 富士フイルム株式会社 | 固体撮像装置および信号読出し方法 |
| JP3967853B2 (ja) | 1999-09-08 | 2007-08-29 | 富士フイルム株式会社 | 固体撮像装置および信号読出し方法 |
| JP4294810B2 (ja) | 1999-09-10 | 2009-07-15 | 富士フイルム株式会社 | 固体撮像装置および信号読出し方法 |
| JP4497261B2 (ja) | 2000-09-28 | 2010-07-07 | 富士フイルム株式会社 | 電荷転送装置、ｃｃｄイメージセンサおよびｃｃｄ撮像システム |
| JP2003299112A (ja) * | 2002-03-29 | 2003-10-17 | Fuji Photo Film Co Ltd | デジタルカメラ |
-
2002
- 2002-03-07 JP JP2002061547A patent/JP4307780B2/ja not_active Expired - Fee Related
-
2003
- 2003-03-07 US US10/382,579 patent/US7372488B2/en not_active Expired - Fee Related
-
2008
- 2008-04-03 US US12/062,333 patent/US20080186391A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US7372488B2 (en) | 2008-05-13 |
| US20080186391A1 (en) | 2008-08-07 |
| JP2003264844A (ja) | 2003-09-19 |
| US20030169355A1 (en) | 2003-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4307780B2 (ja) | 固体撮像装置およびその信号読出し方法 | |
| JP4378804B2 (ja) | 撮像装置 | |
| JP4738907B2 (ja) | 固体撮像素子および固体撮像装置 | |
| JP2002010276A (ja) | 撮像装置 | |
| JP2004064165A (ja) | 撮像装置および撮像方法 | |
| JP3548465B2 (ja) | 撮像装置及び撮像方法 | |
| JP4616429B2 (ja) | 画像処理装置 | |
| KR100462260B1 (ko) | 영상픽업장치 | |
| JP3893424B2 (ja) | 固体撮像装置および信号読出し方法 | |
| US6707494B1 (en) | Solid-state image pickup apparatus free from limitations on thin-down reading in a four-field interline transfer system and method of reading signals out of the same | |
| JP4294810B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP3967853B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP2000106678A (ja) | 撮像装置 | |
| JP2004007133A (ja) | 撮像装置 | |
| JP2004112768A (ja) | 撮像装置 | |
| JP3985275B2 (ja) | 撮像装置および撮像方法 | |
| JP2001352483A (ja) | 動画静止画撮像装置 | |
| JP3967500B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP4243462B2 (ja) | 固体撮像装置および受光素子の感度対応出力調整方法 | |
| US5251036A (en) | High-definition still picture cameras having a solid-state imaging device with photoelectric conversion elements divided into four fields | |
| JP2002084548A (ja) | カラー撮像素子及び撮像装置 | |
| JP4309618B2 (ja) | 固体撮像装置の駆動方法 | |
| JP2004194248A (ja) | 撮像素子及び撮像装置 | |
| JP3999417B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP3767338B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040902 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040902 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061106 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070710 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070910 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090430 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |