JP4501350B2 - 固体撮像装置および撮像装置 - Google Patents
固体撮像装置および撮像装置 Download PDFInfo
- Publication number
- JP4501350B2 JP4501350B2 JP2003073282A JP2003073282A JP4501350B2 JP 4501350 B2 JP4501350 B2 JP 4501350B2 JP 2003073282 A JP2003073282 A JP 2003073282A JP 2003073282 A JP2003073282 A JP 2003073282A JP 4501350 B2 JP4501350 B2 JP 4501350B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- charge
- pixel
- sensitivity
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Heads (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、単位画素が２次元マトリクス状に配置された固体撮像装置（撮像素子）、並びにこのような固体撮像装置を有してなる撮像装置に関する。より詳細には、ＭＯＳ型やＣＭＯＳ型など、単位画素からの画素信号をアドレス制御にて読み出す方式におけるダイナミックレンジの拡大技術に関する。
【０００２】
【従来の技術】
撮像部内に複数の光電変換素子（フォトダイオードなど）からなる電荷生成部から画素信号を読み出す際、画素位置をアドレス制御によりコントロールして読み出す方式の固体撮像素子（アクティブピクセルイメージセンサ；以下アドレス制御型固体撮像素子という）として、ＭＯＳ（Metal Oxide Semiconductor ）型やＣＭＯＳ（Complementary Metal 0xide Semiconductor ）型（以下特に断りのない限りＭＯＳ型で代表して説明する）のものがある。たとえば、単位画素が２次元マトリクス状に配設されたものを、Ｘ−Ｙアドレス制御型固体撮像素子と称している。
【０００３】
アドレス制御型固体撮像素子は、たとえば画素を選択するスイッチング素子や、信号電荷を読み出すスイッチング素子にＭＯＳトランジスタが用いられている。また、水平走査回路や垂直走査回路にＭＯＳトランジスタが用いられ、スイッチング素子と一連の構成で製造を行なうことができる利点を有している。
【０００４】
そして、たとえばＭＯＳ型固体撮像素子では、各単位画素がＭＯＳトランジスタを有して構成され、光電変換により画素に蓄積された信号電荷を画素信号生成部に読み出して、信号電荷を電流信号や電圧信号に変換して出力する構成となっている。
【０００５】
画素信号生成部からは、光電変換によって単位画素に蓄積される電荷量に対してほぼ線形な出力信号が得られ、単位画素に蓄積できる電荷量によって撮像素子のダイナミックレンジが決定される。この撮像素子のダイナミックレンジは、画素の飽和信号量とノイズレベルで一義的に決まる。つまり、撮像素子の出力レベルの下限はノイズレベルで限定され、上限は飽和レベルで限定されて使用可能な動作レンジが定まるとともに、撮像素子の出力レベル特性の傾きは一定の値となっているために、結果として撮像素子のダイナミックレンジは一義的に定まる。
【０００６】
このようなダイナミックレンジの制限により、被写体の高輝度部分（たとえば金属光沢を有する部分など）でハレーションが発生したり、逆に自動露光調節がこの高輝度部分の影響を受けて、被写体の全体が暗くなってしまうことがある。
【０００７】
このような問題を解消する一手法として、ＣＣＤ（電荷結合素子；Charge Coupled Device） を撮像素子として備える方式においては、低速シャッタ（長時間の電荷蓄積）で撮像した低輝度部分が比較的明瞭な画像と、高速シャッタ（短時間の電荷蓄積）で撮像した高輝度部分が比較的明瞭な画像とを混合するなど、異なった露光時間により得られた複数の画像を合成することで、広ダイナミックレンジの画像を生成する技術が提案されている。
【０００８】
たとえば、インタレース読出しをする方式においては、１フレーム中のたとえば奇数フィールドで低速シャッタ撮像を行なうとともに偶数フィールドで高速シャッタ撮像を行ない、これにより得た２つの画像に基づいてダイナミックレンジ拡大処理を行なうようになっている。しかしながら、この方式では、２フィールドの画像から１画像を生成するために、撮像素子が本来有する画素構成に比して、垂直解像度が半分に低下してしまうという難点がある。
【０００９】
また、この垂直解像度の低下の問題を解消しつつ広ダイナミックレンジの画像を生成する技術が特許文献１に提案されている。
【００１０】
【特許文献１】
特開平１１−１５０６８７号公報
【００１１】
この特許文献１に記載の技術は、撮像素子を構成する奇数ライン画素と偶数ライン画素とで異なる時間の電荷蓄積を行ない、奇数ライン画素からの撮像信号と偶数ライン画素からの撮像信号とに基づいてダイナミックレンジを拡大した１つの画像を得るものである。
【００１２】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の技術では、ＣＣＤのデバイス構成上の理由から、垂直方向の偶奇ラインで蓄積時間を制御することしかできない、つまり蓄積時間の制御の自由度が２段階しかないという難点がある。
【００１３】
本発明は、上記事情に鑑みてなされたものであり、蓄積時間の制御の自由度を持ちつつ広ダイナミックレンジの画像を得ることのできる固体撮像装置およびこの固体撮像装置を備えてなる撮像装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明に係る固体撮像装置は、それぞれ画素に対応して、光を受光する受光面を有し受光した光に対応する電荷を生成する電荷生成部、前記電荷生成部により生成された電荷を蓄積する電荷蓄積部、前記電荷生成部と前記電荷蓄積部との間に配設され前記電荷生成部により生成された電荷を前記電荷蓄積部に転送する転送ゲート部、前記電荷蓄積部に蓄積されている電荷を掃き出させるリセット部、および、前記電荷蓄積部に蓄積した電荷に応じた画素信号を生成して指示されたタイミングで後段回路へ出力する画素信号生成部を含む単位画素が２次元状に備えられている撮像部と、前記撮像部に配線されている前記転送ゲート部を駆動するための駆動パルスを伝送する転送クロック線、および前記転送クロック線と互いに交差するように配置され、前記リセット部を駆動するための駆動パルスを伝送するリセットクロック線と、を備え、ｍ×ｎの単位画素で構成された単位マトリクス内では各単位画素の電荷蓄積時間が異なり、かつ、単位マトリクス同士では対応する位置の単位画素の電荷蓄積時間が同じとなる対応する駆動パルスが前記転送クロック線と前記リセットクロック線に印加されることにより、単位マトリクス内では画素の感度特性が異なり、単位マトリクス同士では対応する位置の画素の感度特性が同じ状態となる、感度特性がモザイク状を呈する感度モザイク画像を表わす撮像信号が前記撮像部から出力される。
【００１６】
また、本発明に係る撮像装置は、それぞれ画素に対応して、光を受光する受光面を有し受光した光に対応する電荷を生成する電荷生成部、前記電荷生成部により生成された電荷を蓄積する電荷蓄積部、前記電荷生成部と前記電荷蓄積部との間に配設され前記電荷生成部により生成された電荷を前記電荷蓄積部に転送する転送ゲート部、前記電荷蓄積部に蓄積されている電荷を掃き出させるリセット部、および、前記電荷蓄積部に蓄積した電荷に応じた画素信号を生成して指示されたタイミングで後段回路へ出力する画素信号生成部を含む単位画素が２次元状に備えられている撮像部と、前記撮像部に配線されている前記転送ゲート部を駆動するための駆動パルスを伝送する転送クロック線、および前記転送クロック線と互いに交差するように配置され、前記リセット部を駆動するための駆動パルスを伝送するリセットクロック線とを備えた固体撮像素子と、ｍ×ｎの単位画素で構成された単位マトリクス内では各単位画素の電荷蓄積時間が異なり、かつ、単位マトリクス同士では対応する位置の単位画素の電荷蓄積時間が同じとなる駆動パルスを前記転送クロック線と前記リセットクロック線に対して印加する駆動制御部と、を備え、単位マトリクス内では画素の感度特性が異なり、単位マトリクス同士では対応する位置の画素の感度特性が同じ状態となる、感度特性がモザイク状を呈する感度モザイク画像を表わす撮像信号が前記撮像部から出力される。
【００１７】
また従属項に記載された発明は、本発明に係る固体撮像素子や固体撮像装置のさらなる有利な具体例を規定する。たとえば、単位画素の表面には光を遮光する遮光部材を、少なくとも電荷生成部の上部には開口部が形成されるように配置することが望ましい。
【００１８】
また、駆動制御部は、固体撮像素子から得られる感度モザイク画像の単位マトリクス内では、カラムごとに、それぞれ異なる蓄積露光時間となるように駆動パルスの印加タイミングを制御するとよい。
【００１９】
また、カラー画像を撮像するためのカラーフィルタが配列されたものとしてもよい。この場合、３原色成分がベイヤ配列されたものであることが望ましい。また、カラーフィルタの配列における繰返し単位ごとに露光蓄積時間（すなわち感度特性）が制御されるものとすることが望ましい。つまり、カラーフィルタの配列における繰返し単位では全画素が同一の露光蓄積時間となり、複数の繰返し単位で形成される単位マトリクスでは、各繰返し単位に対して異なる露光蓄積時間（好ましくは全繰返し単位がそれぞれ異なる露光蓄積時間）となるようにするとよい。
【００２０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。なお、以下においては、Ｘ−Ｙアドレス型の固体撮像装置の一例である、ＣＭＯＳ撮像素子に適用した場合を例に説明する。
【００２１】
＜固体撮像装置の構成＞
図１は、本発明の一実施形態に係る固体撮像装置の概略構成図である。この固体撮像装置１は、カラー画像を撮像し得る電子スチルカメラとして適用されるようになっている。また、静止画撮像モードに限らず、３０フレーム／秒に近いフレームレート（たとえば１０フレーム以上／秒）での動画撮影モードも用意されている。また、通常の露光制御を行なう通常モードと、広ダイナミックレンジの画像を得る広ダイナミックレンジモードとが用意されている。
【００２２】
固体撮像装置１は、画素が行および列に配列された（すなわち２次元マトリクス状の）撮像部を有し、各画素からの信号出力が電圧信号であって、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理機能部が各列ごとに設けられたカラム型のものである。すなわち、図１（Ａ）に示すように、固体撮像装置１は、複数の単位画素３が行および列に配列された撮像部１０と、撮像部１０の外側に設けられた駆動制御部７と、ＣＤＳ処理部２６とを備えている。駆動制御部７としては、たとえば、水平走査回路１２と垂直走査回路１４を備える。
【００２３】
図１（Ａ）では、簡単のため行および列の一部を省略して示しているが、現実には、各行や各列には、数十から数千の画素が配置される。また、駆動制御部７の他の構成要素として、水平走査回路１２、垂直走査回路１４、およびＣＤＳ処理部２６に所定タイミングのパルス信号を供給するタイミングジェネレータ２０が設けられている。これらの駆動制御部７の各要素は、撮像部１０とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され固体撮像素子として構成される。
【００２４】
単位画素３は、垂直列選択のための垂直制御線１５を介して垂直走査回路１４と、垂直信号線１９を介してＣＤＳ処理部２６と、それぞれ接続されている。水平走査回路１２や垂直走査回路１４は、たとえばシフトレジスタによって構成され、タイミングジェネレータ２０から与えられる駆動パルスに応答してシフト動作（走査）を開始するようになっている。このため、垂直制御線１５には、単位画素３を駆動するための種々のパルス信号が含まれる。
【００２５】
ＣＤＳ処理部２６は列ごとに設けられており、タイミングジェネレータ２０から与えられるサンプルパルスＳＨＰとサンプルパルスＳＨＤといった２つのサンプルパルスに基づいて、垂直信号線１９を介して入力された電圧モードの画素信号に対して、画素リセット直後の信号レベル（ノイズレベル）と信号レベルとの差分をとる処理を行なうことで、固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise ）やリセットノイズといわれるノイズ信号成分を取り除く。なお、ＣＤＳ処理部２６の後段には、必要に応じてＡＧＣ(Auto Gain Control) 回路やＡＤＣ(Analog Digital Converter)回路などをＣＤＳ処理部２６と同一の半導体領域に設けることも可能である。
【００２６】
ＣＤＳ処理部２６により処理された電圧信号は、水平信号線１８に伝達され、その後、水平走査回路１２からの水平選択信号により駆動される図示しない水平選択スイッチを介して出力バッファ２８に入力され、この後、撮像信号Ｓ０として外部回路１００に供給される。つまり、カラム型の固体撮像装置１においては、単位画素３からの出力信号（電圧信号）が、垂直信号線１９→ＣＤＳ処理部２６→水平信号線１８→出力バッファ２８の順で出力される。その駆動は、１行分の画素出力信号を垂直信号線１９を介してパラレルにＣＤＳ処理部２６に送り、ＣＤＳ処理後の信号を水平信号線１８を介してシリアルに出力するようにする。垂直制御線１５は、各行の選択を制御するものである。
【００２７】
ここで、本実施形態の固体撮像装置１の特徴部分として、駆動制御部７は、撮像部１０における単位画素３の行方向および列方向ともに複数を１つの単位マトリクスとして、単位マトリクス内の各単位画素３の電荷蓄積時間を個別に制御するようになっている。こうすることで、撮像部１０を中心とする図示しない光学系の撮像処理によって、被写体を画素ごとに異なる色と感度（露光時間を変えることで感度可変を実現）で撮像し、色と感度がモザイク（２次元マトリクス）状になった画像（以下、色・感度モザイク画像と記述し、その詳細は後述する）を得ることができるようになる。
【００２８】
なお、垂直列や水平列ごとの駆動が可能である限り、それぞれのパルス信号を単位画素３に対して行方向および列方向の何れに配するか、すなわちパルス信号を印加するための駆動クロック線の物理的な配線方法は自由である。典型例としては、蓄積部間の電荷の移動を行なう転送クロック線と蓄積部のリセットを行なうリセットクロック線とを、それぞれ独立に駆動パルスを印加可能な複数系統に分けるとともに、転送クロック線とリセットクロック線とを交差するように配置し、マトリクス状に蓄積時間を制御する構成とする。
【００２９】
固体撮像装置１の外部回路１００としては、広ダイナミックレンジモードに対応した回路構成が採られる。この場合、蓄積時間の制御手法に応じた回路構成とする。たとえば、図１（Ｂ）に示すように、出力バッファ２８から出力されたアナログの撮像信号Ｓ０をデジタルの撮像データＤ０に変換するＡ／Ｄ（Analog to Digital ）変換部１１０と、電荷蓄積時間に応じた色・感度モザイク画像に対して所定の画像処理を施すことで各画素が全ての色成分を有しかつ均一の感度を有する画像を表す画像データＤ１を生成するダイナミックレンジ拡大処理部の一例であるデモザイク処理部１２０と、Ａ／Ｄ変換部１１０から出力された撮像データＤ０に基づいてデジタル信号処理を施すデジタル信号処理部（ＤＳＰ；Digital Signal Processor）１３０とを備える。
【００３０】
デモザイク処理部１２０は、行方向および列方向ともに複数の単位画素３からなる２次元マトリクス内において個別の電荷蓄積時間が設定されて読み出された各単位画素３からの画素信号により表される色・感度モザイク画像に基づいて、信号処理（デモザイク処理）により画像のダイナミックレンジを拡大する信号処理部としての機能を備える。このダイナミックレンジを拡大するデモザイク処理に際しては、色・感度モザイク画像を元にして、補間処理にて、正常な被写体画像を取得する。
【００３１】
補間処理は、カラーフィルタの色配列や電荷蓄積時間の配列、すなわち色や感度のモザイクパターンに応じて、その仕組みを工夫する。たとえばデモザイク処理部１２０は、色・感度モザイク画像をフィールド単位で色や感度のモザイクパターンに応じて画素補間することにより広ダイナミックレンジの画像を生成する。あるいは、読出フィールドごとに単位マトリクス内の各単位画素３の電荷蓄積時間の組合せを切り替えることで得られる複数の色・感度モザイク画像に基づいて時間補間により広ダイナミックレンジの画像を生成する。
【００３２】
デジタル信号処理部１３０は、通常モードのときに、従来と同様の色分離処理を施してＲ（赤），Ｇ（緑），Ｂ（青）の各画像を表す画像データＲＧＢを生成し、この画像データＲＧＢに対してその他の信号処理を施してモニター出力用の画像データＤ２を生成する。
【００３３】
また外部回路１００は、通常モードのときにはデジタル信号処理部１３０にてデジタル処理された画像データＤ２を選択し広ダイナミックレンジモードのときにはデモザイク処理部１２０から出力された画像データＤ１を選択する選択部１３２と、この選択部１３２から出力されたデータＤ３（Ｄ１およびＤ２のうちの何れか一方）をアナログの画像信号Ｓ１に変換するＤ／Ａ（Digital to Analog ）変換部１３６とを備える。Ｄ／Ａ変換部１３６から出力された画像信号Ｓ１は、図示しない液晶モニターなどの表示デバイスに送られる。操作者は、この表示デバイスの表示画像を見ながら各種の操作を行なうことが可能になっている。
【００３４】
また図１（Ｃ）に示す構成の外部回路１００では、選択部１３２の配置位置が図１（Ｂ）に示す構成と異なる。すなわち、この外部回路１００は、広ダイナミックレンジモードのときにはデモザイク処理部１２０から出力された画像データＤ１を選択し、通常モードのときにはＡ／Ｄ変換部１１０から出力された撮像データＤ０を選択する選択部１３２と、この選択部１３２から出力されたデータＤ３（Ｄ０およびＤ１のうちの何れか一方）に対してデジタル信号処理を施すデジタル信号処理部（ＤＳＰ）１３０と、デジタル信号処理部１３０にてデジタル処理された画像データＤ２をアナログの画像信号Ｓ１に変換するＤ／Ａ変換部１３６とを備える。
【００３５】
デジタル信号処理部１３０は、通常モードのときには従来と同様の色分離処理を施してＲ，Ｇ，Ｂの各画像を表す画像データＲＧＢを生成し、この画像データＲＧＢに対してその他の信号処理を施してモニター出力用の画像データＤ２を生成し、Ｄ／Ａ変換部１３６に渡す。また、広ダイナミックレンジモードのときには、デモザイク処理部１２０からＲ，Ｇ，Ｂの各画像を表す画像データＤ２（画像データＲＧＢ）を取得し、通常モードと同様にしてモニター出力用の画像データＤ２を生成し、Ｄ／Ａ変換部１３６に渡す。つまり、この図１（Ｃ）に示す構成は、通常モードと広ダイナミックレンジモードとで、デジタル信号処理部１３０を共用する構成となっている。
【００３６】
＜単位画素の構成；第１例＞
図２は、図１に示した固体撮像装置１の撮像部１０における単位画素３の第１実施形態の詳細例を示した図である。ここで図２（Ａ）は単位画素３（一部周辺部を含む）の基本的な等価回路図、図２（Ｂ）は断面図である。
【００３７】
この第１実施形態の単位画素３は、ｍ×ｎ（画素またはエリア；ｍ，ｎは正の整数でｍ＝ｎも可）の単位マトリクスからなる組について、組（単位マトリクス）内では蓄積時間差を有するが組（単位マトリクス）間では蓄積時間差を生じることのない電子シャッタ機能である“擬似グローバルシャッタ機能”を実現するように構成されている。以下、具体的に説明する。
【００３８】
単位画素３は、図２（Ａ）に示すように、光を電荷に変換する光電変換機能とともに、その電荷を蓄積する電荷蓄積機能の各機能を兼ね備えた電荷生成部３２と、電荷生成部３２に対して、電荷読出部（転送ゲート部／読出ゲート部）の一例である読出選択用トランジスタ３４、リセットゲート部の一例であるリセットトランジスタ３６、垂直選択用トランジスタ４０、およびフローティングディフュージョン３８の電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタ４２の４つのＭＯＳトランジスタを有する。また、単位画素３は、電荷蓄積部の機能を備えた電荷注入部の一例であるフローティングディフュージョン３８とからなるＦＤＡ（Floating Diffusion Amp）構成の画素信号生成部５を有するものとなっている。なお、このような単位画素３の構成は、汎用的な４トランジスタ画素のＣＭＯＳセンサであって、従来からよく知られた構成である。
【００３９】
画素信号生成部５におけるリセットトランジスタ３６は、ソースがフローティングディフュージョン３８に、ドレインが電源ＶＤＤにそれぞれ接続され、ゲート（リセットゲートＲＧ）にはリセットパルスが入力される。このリセットトランジスタ３６は、フローティングディフュージョン３８を電源ＶＤＤにリセットするためにデプレッション型である。また、増幅用トランジスタ４２は、ドレインが電源ＶＤＤに接続され、ソースが垂直選択用トランジスタ４０のドレインに接続されている。また、垂直選択用トランジスタ４０は、ドレインが画素線５１を介して垂直信号線１９に接続され、ゲート（特に垂直選択ゲートＳＥＬＶという）は垂直選択線５２に接続されている。この垂直選択線５２には、垂直選択信号が印加される。
【００４０】
この第１実施形態の単位画素３は、単位マトリクス内では蓄積時間差を有するが組間では蓄積時間差を生じることのない“擬似グローバルシャッタ機能”を実現するために、電荷生成部３２（フォトダイオードＰＤ）にて生成された信号電荷を全画素同時に転送させた後一定期間保持する電荷蓄積部をフローティングディフュージョン３８のみで機能させるようにした点に特徴を有する。この場合、読出選択用トランジスタ３４の読出ゲートＲＯＧが、フレームシフトゲートＦＳＧの機能を果たす。すなわち、電荷生成部３２を構成するフォトダイオードＰＤのカソードには読出選択用トランジスタ３４のソースが接続され、読出選択用トランジスタ３４のドレインが電荷蓄積部であるフローティングディフュージョン３８に接続されている。
【００４１】
単位画素３は、その断面図を図２（Ｂ）に示すように、シリコンからなる半導体基板ＮＳＵＢ（ｎ型のＳｉ基板）上にオーバーフローバリアを形成するｐ型層であるｐ型ウェル（Ｐ−Ｗｅｌｌ）が形成されている。そして、このｐ型ウェル上にｎ型層（Ｎ＋）が形成されることで、ｐｎ接合のフォトダイオードＰＤによる電荷生成部３２が構成されている。
【００４２】
単位画素３の最終的な構造としては、単位画素３のほぼ全面に光を遮光する遮光部材（遮光膜）３９を設け、電荷生成部３２上に開口部３９ａを設けて電荷生成部３２の受光面を形成する。つまり、電荷生成部３２よりも感光性の弱いフローティングディフュージョン３８などの、この開口部３９ａを除く部分を遮光膜で覆うことで、電荷生成部３２以外の部分への外部光の入射を阻止する構造を採る。なお、この遮光部材３９は、電荷生成部３２上の開口部３９ａを除く全面を覆うものでなくてもよい。ただしこの場合でも、少なくとも、転送ゲート部をなす読出選択用トランジスタ３４部分と画素信号生成部５との間に配されている電荷蓄積部をなすフローティングディフュージョン３８上には遮光部材３９が配されるようにする。このフローティングディフュージョン３８は、画素信号生成部５にて検知される信号電荷を蓄積する直接的な部分であるので、この部分への光の入射により不要な電荷が発生することを防止するためである。
【００４３】
こうすることで、電荷生成部３２で光電変換された電荷のみを信号電荷量として考慮すればよくなり、各画素に対する露光時間制御の精度を高めることができる。また、電荷生成部３２上には、カラーフィルタやマイクロレンズなどをオンチップにて形成する。こうすることで、カラー撮像が可能となるとともに、画像電荷生成部３２への入射光量を高めることでＳ／Ｎの良好な画像が得られるようになる。
【００４４】
電荷生成部３２を構成するフォトダイオードＰＤは、界面準位によって発生する電荷の湧出し（暗電流）を抑制するようにＳｉ界面をピニングさせるｐ型高濃度（ｐ++）層を正孔蓄積層として感光領域の基板表面側に付加形成した構造となっている。そして、この電荷生成部３２は、入射光をその光量に応じた電荷量の信号電荷に光電変換し、かつその信号電荷をｎ型層（Ｎ＋）に蓄積する。
【００４５】
そして、このフォトダイオードＰＤに対して図２（Ｂ）中左側に、読出選択用トランジスタ３４、フローティングディフュージョン３８を形成するＮ++層、リセットトランジスタ３６、電源ＶＤＤに接続されリセットドレインＲＤを形成するＮ++層、およびチャネルストップＣＳａを形成するＰ＋層およびＳｉＯ２層がこの順に水平方向（図の左方向）に形成されている。電荷生成部３２の図中右側にも、チャネルストップＣＳｂを形成するＰ＋層およびＳｉＯ２層が設けられている。チャネルストップＣＳａ，ＣＳｂは、当該単位画素３に隣接する他の単位画素３のチャネルストップＣＳａを意味する。これらの構造は従来のＣＭＯＳ型固体撮像素子のそれと同じである。
【００４６】
読出選択用トランジスタ３４およびリセットトランジスタ３６の基板表面側には、たとえばポリシリコンによって単層もしくは２層構造にて形成された電極（ゲート電極）が配設されている。そして、読出選択用トランジスタ３４のゲート電極（特に読出ゲートＲＯＧという）には読出パルスが入力され、リセットトランジスタ３６のゲート電極（特にリセットゲートＲＧという）にはリセットパルスが入力されるようになっている。
【００４７】
また、電荷生成部３２のフォトダイオードＰＤとフローティングディフュージョン３８との間に配される読出選択用トランジスタ３４、あるいはフローティングディフュージョン３８とリセットドレインＲＤとしての電源ＶＤＤとの間に配されるリセットトランジスタ３６は、オフ状態でチャネルの表面が信号電荷とは反対の導電形の電荷を蓄積した状態を形成可能となる。なお、このような状態を形成させるためにオフ時にゲート電極に印加する電圧は、各素子の不純物のイオン濃度（ドーズ量）やゲート電極の膜厚に依存する。このため、読出選択用トランジスタ３４やリセットトランジスタ３６の部分には、ｎ−またはｐ−によるイオンインプランテーションにて不純物濃度差を付ける、あるいは、読出選択用トランジスタ３４とリセットトランジスタ３６との酸化膜厚差を付ける、などによる障壁（ポテンシャル差）を付けておくとよい。
【００４８】
イオンインプランテーション量や酸化膜厚差を制御することでポテンシャル差を制御することができるので、電荷生成部３２からフローティングディフュージョン３８への信号電荷の転送効率を調整することも可能となる。加えて、ゲート電極下のチャネル領域表面が反転状態になるよう所定の電位を印加してオフさせると界面準位が正孔で埋められる（ピニング；pinning という）。このため、電荷転送路としての読出選択用トランジスタ３４やリセットトランジスタ３６では、オフ時に所定の電位を印加することで界面準位が原因となって発生する暗電流を抑制することもできる。
【００４９】
このように、第１実施形態の単位画素３は、高感度側の撮像を伴う高ダイナミックレンジモード時においてもノイズの少ない良好な画像が得られるように、様々な観点から、ノイズ対策が採られている。
【００５０】
図３は、第１実施形態の単位画素３を備えた固体撮像装置１における走査のタイミングチャートの一例である。ここでは、先ず、全画素について共通の電荷蓄積時間を設定する通常モードでの動作で示す。単位マトリクス内の単位画素３に対して個別に電荷蓄積時間を設定する広ダイナミックレンジモードの場合には、図示する露光蓄積期間内で、後述するようなタイミングで、転送ゲートパルス（読出パルス）ＲＯＧとリセットパルスＲＳＴ（ＲＧ）を単位マトリクス内の各単位画素３に対して個別に設定するとよい。
【００５１】
先ず、電荷生成部３２のフォトダイオードＰＤを露光して信号電荷をそのフォトダイオードＰＤに蓄積するのに先立って、読出パルスをアクティブ（Ｈ；ハイ）にして読出選択用トランジスタ３４をオンさせることで、この時点においてフォトダイオードＰＤに蓄積されている不要な電荷（不要電間）をフローティングディフュージョン３８側に掃き捨てる（ｔ０〜ｔ２）。その後、フォトダイオードＰＤとフローティングディフュージョン３８との間のゲート機能部分である読出選択用トランジスタ３４を閉じて、露光蓄積開始となる。これらの処理は、全画素について略同時に行なう。
【００５２】
この露光蓄積状態と並行して、リセットパルスをアクティブにしてリセットトランジスタ３６をオンさせることで、フローティングディフュージョン３８をリセットトランジスタ３６を通して電源ＶＤＤにリセットする。これにより、電荷生成部３２から読出選択用トランジスタ３４を経由してフローティングディフュージョン３８に転送された不要電荷が電源ＶＤＤに掃き出される。この処理は、信号電荷蓄積の完了前に完結していればよい。図では、ｔ２〜ｔ４にてリセットパルスをアクティブにしているが、この例に限らず、図中において、多少右側にシフトした位置にてこの処理を行なってもよい。
【００５３】
次に、電荷生成部３２にて得た信号電荷を全画素同時にフローティングディフュージョン３８に転送させる（フレームシフトさせる）のに先立って、再度フローティングディフュージョンＦＤをクリアにしておく。このため、露光蓄積完了時にフレームシフトパルスをアクティブにするのに先立って、リセットパルスをアクティブにしてリセットトランジスタ３６をオンさせる（ｔ６〜ｔ８）。
【００５４】
次に、電荷生成部３２にて得た信号電荷を全画素同時にフローティングディフュージョン３８に転送させるため、全画素について略同時に、読出パルスをアクティブにして、フォトダイオードＰＤが露光されることで生成された信号電荷をフローティングディフュージョンＦＤに転送させる（ｔ１０〜ｔ１２）。こうすることで、信号電荷がフローティングディフュージョンＦＤに注入され、フローティングディフュージョンＦＤでは、その電荷量に応じた電位変化が現れる。
【００５５】
次に、信号電荷を電荷生成部３２からフローティングディフュージョン３８に転送させた後の所定の時点において、読出対象画素である、任意の水平ラインにおける所定位置の画素について、水平選択信号をアクティブにすることで、水平選択用トランジスタ５０をオンさせる（ｔ１４）。
【００５６】
次に、サンプルパルスＳＨＤをアクティブにすることで、ＣＤＳ処理部２６においては、信号電荷量に応じた画素信号レベルを保持する（ｔ１６〜ｔ１８）。この後、リセットゲートパルスをアクティブにしてリセットトランジスタ３６をオンさせ、フローティングディフュージョンＦＤをクリアにしてからリセットゲートパルスをインアクティブにする（ｔ２０〜ｔ２２）。この状態にてサンプルパルスＳＨＰをアクティブにすることで、ＣＤＳ処理部２６においては、クリアにされた時点の画素信号レベル（リセットレベル）を保持する（ｔ２８〜ｔ３０）。この後、水平選択信号をインアクティブにする（ｔ３２）。ＣＤＳ処理部２６は、サンプルパルスＳＨＰにて取得したリセットレベルとサンプルパルスＳＨＤにて取得した画素信号レベルとの差を取ることで、固定パターンノイズＦＰＮやリセットノイズを取り除く。このように、第１実施形態の単位画素３の構成では、通常モード時にグローバルシャッタ機能を実現することができる。
【００５７】
なお、第１実施形態の単位画素３の構成においては、通常の駆動制御方法のようにして、フローティングディフュージョン３８に信号電荷を転送させるタイミングは、画素ごとに異なるものとしてもよい。つまり、第１実施形態の単位画素３のような構造の場合、グローバルシャッタ機能を使わないこともできる。この点は、後述する広ダイナミックレンジモード時でも同様である。
【００５８】
＜マトリクス制御形態＞
図４、図５、および図６は、第１実施形態の単位画素３を備えた固体撮像装置１において、単位マトリクス内で個々の単位画素３に蓄積時間差を持たせる仕組みについて説明する図である。説明を簡単にするため、先ず、単位画素３を２×２画素とする単位マトリクスを１組として、この単位マトリクス内にて、個々の単位画素３の電荷蓄積時間をコントロールすることを例に説明する。図４に２×２画素の単位マトリクスの概略構成図を示し、図５に２×２画素の単位マトリクスとする場合のリセットトランジスタ３６を駆動するためのリセットクロック線（リセットＴｒ駆動クロック線）と読出選択用トランジスタ３４を駆動するための転送クロック線（転送ゲート駆動クロック線）の配線形態の一例を示し、図６に単位マトリクス内の個々の単位画素３に対する駆動タイミングと電荷量の時間変化の一例を示す。
【００５９】
図４に示すように、単位マトリクス内の画素構成は、電荷生成部３２（フォトダイオードＰＤ）、フローティングディフュージョン３８、行方向の画素を選択するための垂直選択用トランジスタ４０、およびフローティングディフュージョン３８の電位を検出するための増幅用トランジスタ４２を有する単位画素３、フローティングディフュージョン３８の電位をリセットレベルにリセットするリセットトランジスタ３６、電荷生成部３２からフローティングディフュージョン３８に電荷を転送するための読出選択用トランジスタ３４が２次元状に配列されている。なお、図４では垂直選択用トランジスタ４０および増幅用トランジスタ４２を割愛して示している。
【００６０】
図４および図５（Ａ）に示すように、リセットトランジスタ３６を駆動するためのリセットＴｒ駆動クロック線は行方向に、読出選択用トランジスタ３４を駆動するための転送ゲート駆動クロック線は列方向に、互いに交差するように配線されている。そして、図４に示すようにそれぞれバッファ６０，６２を介して対応するパルス信号が入力されることで、図４および図５（Ａ）に示すようにマトリクス状に電荷蓄積時間を制御可能な構成となっている。
【００６１】
リセットトランジスタ３６は奇数行（２ｐ−１；ｐは正の整数）と偶数行（２ｐ）とで個別に駆動されるようになっている。たとえば、奇数行を駆動するためのクロック線は奇数行用のバッファ６０ｏを介し、また偶数行を駆動するためのクロック線は偶数行用のバッファ６０ｅを介し、対応するリセットゲートパルス信号ＲＳＴが入力されるようになっている。また、読出選択用トランジスタ３４は奇数列（２ｑ−１；ｑは正の整数）と偶数列（２ｑ）とで個別に駆動されるようになっている。たとえば、奇数列を駆動するためのクロック線は奇数列用のバッファ６２ｏを介し、また偶数列を駆動するためのクロック線は偶数列用のバッファ６２ｅを介し、対応する転送パルス信号ＲＯＧが入力されるようになっている。
【００６２】
すなわち、リセットＴｒ駆動クロック線は奇数行と偶数行とで、転送ゲート駆動クロック線は奇数列と偶数列とで、図６（Ａ）の各図における上部のタイミングチャートに示された駆動が行なわれる。このとき、電荷生成部３２（フォトダイオードＰＤ）とフローティングディフュージョン３８の電荷量の時間変化は図６（Ａ）の各図における下部のようになる。シャッタ動作をさせる前には、リセットゲートパルスＲＳＴをリセットトランジスタ３６に印加してフローティングディフュージョン３８の電荷をクリアしておく（図６（Ａ）中のｔａ）。この状態で撮像を行なうと、先ず電荷生成部３２に電荷が蓄積される。この蓄積電荷は読出選択用トランジスタ３４への転送ゲートパルスの印加によりフローティングディフュージョン３８に渡される（図６（Ａ）中のｔｂ，ｔｃ時点）。したがって、増幅用トランジスタ４２のドレインには、このフローティングディフュージョン３８の電荷量に応じた信号電圧が現れる。しかしながら、この時点では垂直選択用トランジスタ４０がオンしないので、実質的には読出しが行なわれない。
【００６３】
撮像し電荷生成部３２に電荷を蓄積している過程の所定のタイミングで、リセットトランジスタ３６にリセットゲートパルスが印加され、フローティングディフュージョン３８がクリアされる（図６（Ａ）中のｔｒ）。この後、実質的な読出タイミングを規定するべく、選択用トランジスタ３４に転送ゲートパルスが印加にされ、リセットゲートパルスＲＳＴがリセットトランジスタ３６に印加される直前の転送パルスＲＯＧ以降の期間に電荷生成部３２に蓄積されていた信号電荷がフローティングディフュージョン３８に渡される（図６（Ａ）中のｔｅ時点）。
【００６４】
したがって、増幅用トランジスタ４２のドレインには、このフローティングディフュージョン３８の電荷量に応じた信号電圧が現れる。この後、所定のタイミングで垂直選択用トランジスタ４０に垂直シフトパルスが印加され、ｔｅ時点におけるフローティングディフュージョン３８の電荷量に応じた信号電圧が、垂直信号線１９を介してＣＤＳ処理部２６に入力される。つまり、ｔｅ時点が実質的な読出タイミングとなり、最終的なリセットゲートパルスＲＳＴが立つ直前の転送パルスＲＯＧ以降の期間がその画素での電荷蓄積時間（露光蓄積期間）となり、２×２マトリクスのカラムごとに異なった電荷蓄積時間（つまり感度やシャッタ速度）を持たせることができる。
【００６５】
たとえば、奇数行かつ奇数列の単位画素３では、ｔｂ時点にフローティングディフュージョン３８に渡された信号電荷がその後のｔｒ時点のリセット動作により無効化されるため、ｔｅ時点にフローティングディフュージョン３８に渡された信号電荷のみが有効に利用されるので、図中“２”で示すように、ｔｂ時点からｔｅ時点までの２単位時間分が実質的な電荷蓄積時間となる。また、奇数行かつ偶数列の単位画素３では、ｔｂ時点にフローティングディフュージョン３８に渡されさらにｔｃ時点にもフローティングディフュージョン３８に渡された信号電荷がその後のｔｒ時点のリセット動作により無効化されるため、ｔｅ時点にフローティングディフュージョン３８に渡された信号電荷のみが有効に利用されるので、図中“１”で示すように、ｔｃ時点からｔｅ時点までの１単位時間分が実質的な電荷蓄積時間となる。
【００６６】
さらに、偶数行かつ奇数列の単位画素３では、ｔａ後のｔｂ時点の前にフローティングディフュージョン３８に対して行なわれるリセット動作は事実上何の影響も与えないので、ｔｂ時点にフローティングディフュージョン３８に渡されさらにｔｅ時点にもフローティングディフュージョン３８に渡された信号電荷が有効に利用されるので、図中“４”で示すように、ｔａ時点からｔｅ時点までの４単位時間分が実質的な電荷蓄積時間となる。また、偶数行かつ偶数列の単位画素３では、ｔｂ時点にフローティングディフュージョン３８に渡された信号電荷がその後のｔｒ時点のリセット動作により無効化されるため、ｔｃ時点にフローティングディフュージョン３８に渡されさらにｔｅ時点にもフローティングディフュージョン３８に渡された信号電荷のみが有効に利用されるので、図中“３”で示すように、ｔｂ時点からｔｅ時点までの３単位時間分が実質的な電荷蓄積時間となる。
【００６７】
よって、２×２画素の単位マトリクスについて、図６に示すようなタイミングで各単位画素３を駆動制御すれば、単位マトリクスにおける最大露光蓄積時間は、偶数行かつ奇数列の単位画素３の電荷蓄積時間にて決定される。そして、各単位画素３の電荷蓄積時間Ｔ１〜Ｔ４すなわち感度Ｓ０〜Ｓ３は、駆動パルスタイミングに応じた重み付けが設定されることとなる。つまり、駆動パルスの印加タイミングを調整することで、単位マトリクス内のそれぞれの感度が全て異なるようにすることができる。また、行および列の各駆動パルスによる重付けの組合せ変更することで、図６（Ｃ）に示すように、単位マトリクス内の各単位画素３の電荷蓄積時間（感度）の組合せを切り替えることができる。つまり、単位マトリクス内の各単位画素３の露光蓄積時間を違えることで、様々な感度モザイクパターンを構成することが可能となる。
【００６８】
また、カラーフィルタの配列パターンに対して上述した露光蓄積時間を違えることで実現される感度の配列パターンを適用することで、様々な色・感度モザイクパターンを構成することが可能となる。何れの場合も、同一の感度特性を有する複数の単位画素３に直目すればその単位画素３は格子状に配置され、感度モザイク画像を生成するようになる。また、色にも着目すれば、同一の色成分および感度特性を有する複数の単位画素３が格子状に配置され、かつ、感度特性に拘わらず、同一の色成分を有する複数の単位画素３も格子状に配置された色・感度モザイク画像を生成するようになる。
【００６９】
ただし、様々な感度モザイクパターンを構成することが可能となるとはいっても、たとえば２×２の単位マトリクスにて４段階の露光蓄積時間を設定する際の配列順には一定の制限があり、形成可能なモザイクパターンにも制限が生じる。たとえば、３段階の感度を設定することはできないし、たとえば感度Ｓ０の画素の上（下）あるいは右（左）には必ず感度Ｓ１もしくは感度Ｓ２の画素が存在するため、４段階の感度であっても対応できない配列パターンがある。たとえば、図６（Ｄ）に示すように、感度Ｓ０の画素の上（下）あるいは右（左）に感度Ｓ３が配されたものは対応できない。
【００７０】
なお、上記実施形態の駆動方法では、図６（Ｂ１）に示すように、単位マトリクス内の各画素からの実質的な読出しを同じタイミングとすることで、単位マトリクス内の各単位画素３の電荷蓄積期間を、最も長い蓄積時間を持つ画素すなわち最も感度の高い画素（本例では偶数行かつ奇数列の感度レベルＳ３の単位画素３）の蓄積期間に内包させることができる。図６（Ｂ２）に示すように、単位マトリクス内の各画素の露光期間がずれていると移動物体に対する破綻（具体的には画像のブレ）が多くなるが、図６（Ｂ１）に示すように駆動することで、単位マトリクス内の各画素からの読出しを同じタイミングとすることができ、各画素の電荷蓄積時間は異なるものの露光期間をほぼ同じ期間とすることができる。これにより、各画素の露光期間の同時性が高く、移動物体があった場合でも、広ダイナミックレンジ画像を生成したときの破綻が少ないという利点が得られる。
【００７１】
ただし、移動物体を対象としないケースや移動物体のブレを許容するケースでは、図６（Ｂ２）に示すような駆動タイミングで読出選択用トランジスタ３４やリセットトランジスタ３６を制御するようにしても構わない。つまり、第１実施形態の単位画素３の構成においては、通常の駆動制御方法のようにして、フローティングディフュージョン３８に信号電荷を転送させるタイミングは、画素ごとに異なるものとすることで、擬似グローバルシャッタ機能を使わないこともできる。
【００７２】
また、個々の単位画素３にそれぞれ異なる電荷蓄積時間を持たせることができるため、広ダイナミックレンジモード時には各単位画素３に対応するそれぞれ電荷蓄積時間の異なる画像を用いて１つの画像を合成することで、滑らかな階調を持つ広ダイナミックレンジ画像を示す映像出力信号を生成することができる。
【００７３】
加えて、電子シャッタのシャッタ速度、すなわち画素の電荷蓄積時間に相当する時間は信号電荷の排出時点から信号電荷の読み出し時点までで決まるが、各単位マトリクスに対しての実質的な読出タイミング（ｔｅ）を共通としているので、水平方向の右と左で蓄積時間が異なってしまうという問題も生じないので、ライン方向（行方向）のシェーディングを防止することができる。つまり、この方式では、電荷生成部３２の光電変換素子（フォトダイオードＰＤ）に光が入射することで発生した信号電荷を全画素同時に一旦電荷蓄積部としてのフローティングディフュージョン３８に転送して蓄積させておき、所定の読出タイミング（本例ではｔｅ時点）で順次画素信号に変換する。また転送後に光電変換素子に光が入射することで、電荷生成部３２に蓄積される電荷を、次の露光蓄積に先立って排出させる。これにより、電荷蓄積部としてのフローティングディフュージョン３８に蓄積された信号電荷量に応じた画素信号が得られ、電荷生成部３２に対する露光後のフローティングディフュージョン３８への転送タイミングを調整することで、単位マトリクス相互の間では露光蓄積時間差を生じることのない電子シャッタ機能（擬似グローバルシャッタ機能）を実現することができる。
【００７４】
たとえば、上述のようなタイミングで読出選択用トランジスタ３４とリセットトランジスタ３６とを２次元マトリクス状に駆動することで、電荷蓄積時間を、一定の制限の元で（任意に制御可能という訳ではなく）、画素ごとに制御することができる。たとえば、低速シャッタ時の電荷蓄積時間を１／６０秒とする場合、駆動制御部７による広ダイナミックレンジモード時の読出制御は次のようになる。なお、１／６０秒以外でも同様に考えることができる。たとえば、電荷生成部３２（フォトダイオードＰＤ）に電荷の蓄積を行なうが、このとき、奇数行かつ奇数列の単位画素３には１／１２０秒（＝２／２４０秒）、奇数行かつ偶数列の単位画素３には１／２４０秒、偶数行かつ奇数列の単位画素３には１／６０秒（＝４／２４０秒）、偶数行かつ偶数列の単位画素３には１／８０秒（＝３／２４０秒）、というように、駆動制御部７は、各単位画素３が各々異なる電荷蓄積時間となるように制御する。
【００７５】
つまり、偶数行かつ奇数列の単位画素３を１／６０秒のシャッタ速度とする場合は、この偶数行かつ奇数列の単位画素３が電荷を蓄積する１／６０秒（＝４／２４０秒）の内、奇数行かつ奇数列の単位画素３では２／２４０秒の間は電荷の掃き出しを行ない残りの２／２４０秒のみで電荷の蓄積を行なうようにすればよい。同様に、奇数行かつ偶数列の単位画素３では、３／２４０秒の間は電荷の掃き出しを行ない残りの１／２４０秒のみで電荷の蓄積を行ない、偶数行かつ偶数列の単位画素３では１／２４０秒の間は電荷の掃き出しを行ない残りの３／２４０秒のみで電荷の蓄積を行なうようにすればよい。
【００７６】
増幅用トランジスタ４２は、電荷生成部３２が各電荷蓄積時間に受光して得た信号電荷に対応する画素信号を生成する。この後、垂直選択用トランジスタ４０への垂直シフトパルスの駆動により、ｔｅ時点における増幅用トランジスタ４２の電圧信号が、実質的に有効な画素信号として垂直信号線１９に伝達され、ＣＤＳ処理部２６に入力される。そして、水平選択用トランジスタ５０への水平シフトパルスの駆動により水平信号線１８を介して出力バッファ２８に伝達され、外部回路１００に出力される。
【００７７】
このような構成により、たとえば、カラーフィルタを備えていない撮像部の場合には、ｍ×ｎ画素のマトリクスからなる組について、各単位画素３の蓄積時間をそれぞれ異なるものに制御し、その画素信号を処理することにより、すなわち、撮像により得られる感度モザイク画像に対して感度に着目したデモザイク処理を施すことにより、広ダイナミックレンジのモノクロ画像を得ることができる。また、通常モード時には、通常の映像出力信号を得ることができる。
【００７８】
すなわち、各単位画素３は１種類の露光蓄積時間が設定されるので１種類の感度だけを有する。よって、撮像された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報しか取得することができない。しかしながら、外部回路１００では、出力バッファ２８からの撮像信号Ｓ０に基づいてデモザイク処理を施して、全ての画素の感度が均一になるようにすることによって、結果的にダイナミックレンジが広い画像を生成することができる。その詳細については後述するが、画素補間処理により通常のフィールド周期（たとえば１／６０秒や１／５０秒）に対応して広ダイナミックレンジ処理された画像データを得ることができるために、垂直解像度が低下することはない。また、全ての単位画素３がほぼ同時に露光されるので、動きのある被写体を正しく撮像することができる。さらに、１つの受光素子が出力画像の１画素に対応しているので、ユニットセルサイズが大きくなる問題も生じない。
【００７９】
また、カラーフィルタを備えてなる撮像部１０の場合には、色や感度の配列パターンを参照して、画素ごとに色や感度が異なる画像から、全ての画素について、全ての色成分の画像信号を生成し、かつ、感度を均一化することで、モノクロ画像に限らず、広ダイナミックレンジのカラー画像を得ることも可能である。たとえば、図５（Ｂ）に示すように、リセットＴｒ駆動クロック線と転送ゲート駆動クロック線とをカラーフィルタ単位を１ブロックとしてブロックについてマトリクス状に（図ではベイヤ（Ｂａｙｅｒ）配列）動作させ、すなわちカラーフィルタ繰返し単位を単位エリアとして、ｍ×ｎ単位エリアのマトリクスからなる組について、各単位エリア内の複数の単位画素３を纏めてかつ各単位エリアの蓄積時間をそれぞれ異なるものに制御する。たとえば、リセットトランジスタ３６はベイヤブロックの奇数番目の行（２ｓ−１；ｓは正の整数）と偶数番目の行（２ｓ）とで個別に駆動され、また読出選択用トランジスタ３４はベイヤブロックの奇数番目の列（２ｔ−１；ｔは正の整数）と偶数番目の列（２ｔ）とで個別に駆動されるようにする。
【００８０】
そしてこれにより得られる色・感度モザイク画像に対して感度の配列パターンに着目したデモザイク処理を施すことにより、ダイナミックレンジの広いカラー画像を得ることができる。カラーフィルタ繰返し単位内の全単位画素３に対しては共通の蓄積時間を設定するので、通常の色分離処理をカラーフィルタ繰返し単位ごとに施して感度モザイク画像を色成分ごとに生成した後に感度均一化処理を施すことで、ダイナミックレンジの広いカラー画像を得ることができる。つまり、カラーフィルタ単位で処理を行なうことにより、広ダイナミックレンジ画像の生成が行ない易くなる。
【００８１】
なお、カラーフィルタを備えてなる撮像部１０の場合においても、カラーフィルタ繰返し単位に拘わらず、モノクロ時と同様に、ｍ×ｎ画素のマトリクスからなる組について、各単位画素３の蓄積時間をそれぞれ異なるものに制御してもよい。ただしこの場合には、カラーフィルタ繰返し単位内で各単位画素３の電荷蓄積時間が異なるものとなるので、同一の電荷蓄積時間が設定されていることを前提とした通常の色分離処理を用いたのでは、適切に色分離を行なうことができない。よって、カラーフィルタ繰返し単位内でのフィルタ配列と各単位画素３に対する露光時間に応じた補間処理を伴うデモザイク処理、すなわち色・感度モザイク画像に対して色および感度の双方の配列に着目したデモザイク処理を施すことが必要となる。一方この場合、１つの単位画素３を出力画像の１画素に対応させることができ、ユニットセルサイズが大きくなる問題が生じないという利点がある。ただし、空間的な補間処理を伴うので鮮鋭度低下を避けることはできない。
【００８２】
なお、読出フィールドで単位マトリクス内の各単位画素３の電荷蓄積時間の組合せを切り替えることで、時間補間を利用しかつ感度に着目したデモザイク処理を行なうようにしてもよい。こうすることで、フリッカが生じ得るものの、同一画素位置には全ての電荷蓄積時間の信号が得られるので画素補間によらずにデモザイク処理を行なうことができ、高解像度かつ広ダイナミックレンジの画像を生成することができる。フィールド単位での画素補間処理により得られる画像は、鮮鋭度が低下し暈けた画像となるがフィールドフリッカは生じない。これに対して、ｎフィールド単位での時間補間処理により得られる画像は、フィールドフリッカが生じるものの鮮鋭度の良好な画像となる。
【００８３】
たとえば図６では、２×２画素を単位マトリクスとしているので、図６（Ｃ）に円状に矢指するように、４つのフィールドでその組合せが順次切り替わるようにするとよい。このとき、基準のフィールド周期を通常のフィールド周期の４倍としておき、合成して得た広ダイナミックレンジの画像をレート変換して通常のフィールド周期あるいはフレーム周期の画像を生成することで、通常のモニタ（インタレーススキャンおよびプログレッシブスキャンの何れでもよい）との整合を採るようにしてもよい。こうすることで、フリッカも目立たず、高解像度かつ広ダイナミックレンジの画像を通常のＴＶモニタ上に提示することができる。時間補間を伴わないデモザイク処理では、空間的な補間処理を伴うので鮮鋭度低下を避けることはできないのと対照的である。また、通常のフィールド周期（たとえば１／６０秒や１／５０秒）に対応して広ダイナミックレンジ処理されたデータを得ることができるために、垂直解像度が低下することはない。
【００８４】
＜単位画素のその他の構成例＞
図７は、図１に示した固体撮像装置１の撮像部１０における単位画素３の第２実施形態の詳細例を示した図である。ここで図７（Ａ）は単位画素３（一部周辺部を含む）の基本的な等価回路図、図７（Ｂ）は断面図である。第１実施形態の単位画素３は、２箇所の電荷蓄積部として電荷生成部３２とフローティングディフュージョン３８を持つ構成であったが、この第２実施形態の単位画素３は、フォトゲート６６とフローティングディフュージョン３８とにより構成している点に特徴を有する。
【００８５】
図示するように、フォトゲート６６をなすポリシリコン電極が電荷生成部３２の感光面上を覆って形成されている。この場合、開口部については光透過性を呈し、開口部を除く部分は遮光性を呈するものとする。このフォトゲート６６の電極は読出選択用トランジスタ３４のゲート電極と共通に転送ゲート駆動クロック線に接続される。通常モードおよび広ダイナミックレンジモードの何れについても、電荷蓄積時間の制御や読出タイミングの制御などに関しては、第１実施形態と同様であるので、説明を割愛する。
【００８６】
図８は、図１に示した固体撮像装置１の撮像部１０における単位画素３の第３実施形態の詳細例を示した図である。ここで図８（Ａ）は単位画素３（一部周辺部を含む）の基本的な等価回路図、図８（Ｂ）は断面図である。この第３実施形態の単位画素３は、フローティングディフュージョン３８を有するとともに、フローティングディフュージョン３８とは別に電荷蓄積部４４を構成するようにした点、つまり２箇所の蓄積部として電荷生成部３２と蓄積専用キャパシタとを備える構成とした点に特徴を有する。以下具体的に説明する。
【００８７】
第３実施形態の電荷生成部３２は、第１実施形態のものと同様に、光を電荷に変換する光電変換機能とともに、その電荷を蓄積する電荷蓄積機能の各機能を兼ね備えたものを使用する。そして、この電荷生成部３２のフォトダイオードＰＤに対して、単位マトリクス間では蓄積時間差を生じることのない電子シャッタ機能である擬似グローバルシャッタ機能を実現するために、単位画素３ごとに、電荷生成部３２の読出選択用トランジスタ３４と画素信号生成部５との間に電荷蓄積部４４と、全画素についての電荷生成部３２（フォトダイオードＰＤ）を露光した後その電荷生成部３２にて生成された信号電荷を同時に電荷蓄積部４４に転送させる転送ゲート部４６とを備えた構造となっている。電荷蓄積部４４は、１Ｈ（Ｈ：水平走査期間）以上の期間電荷を蓄積する部分である。
【００８８】
たとえば、単位画素３の断面図を図８（Ｂ）に示すように、フォトダイオードＰＤと読出選択用トランジスタ３４との間に、転送ゲート部４６および電荷蓄積部４４がこの順に水平方向（図の左方向）に形成されている。そして、読出選択用トランジスタ３４、電荷蓄積部４４、および転送ゲート部４６は、ソースおよびドレイン端子を共通とするマルチゲート構造となっている。そして、これらの３つの中間に配置される電荷蓄積部４４は、事実上、ゲートを持つＭＯＳダイオードとして構成されている。
【００８９】
転送ゲート部４６および電荷蓄積部４４の部分の基板表面側には、たとえばポリシリコンによって単層もしくは２層構造で形成された転送電極（ゲート電極）が配設されている。そして、転送ゲート部４６のゲート電極（特にフレームシフトゲートＦＳＧという）には蓄積部転送駆動線を介してフレームシフトパルスが入力され、電荷蓄積部４４のゲート電極（特にストレージゲートＳＴＧという）にはストレージパルスが入力される構造とする。
【００９０】
垂直選択用トランジスタ４０は、ドレインが電源ＶＤＤに、ソースが増幅用トランジスタ４２のドレインにそれぞれ接続され、ゲート（特に垂直選択ゲートＳＥＬＶという）は垂直選択線５２に接続されている。この垂直選択線５２には、垂直選択信号が印加される。増幅用トランジスタ４２は、ゲートがフローティングディフュージョン３８に接続され、ドレインが垂直選択用トランジスタ４０のソースに、ソースは画素線５１に接続されている。なお、垂直選択用トランジスタ４０と増幅用トランジスタ４２は、第１実施形態と同様の接続構成であってもよい。
【００９１】
フレームシフトゲートＦＳＧに入力されるフレームシフトパルス、ストレージゲートＳＴＧに入力されるストレージパルス、読出ゲートＲＯＧに入力される読出パルス、リセットゲートＲＧに入力されるリセットパルス、垂直選択ゲートＳＥＬＶに入力される垂直選択信号、および水平選択ゲートＳＥＬＨに入力される水平選択信号は、単位画素３に対して行方向もしくは列方向に配線される。
【００９２】
図８（Ｂ）に示した第３実施形態の単位画素３の素子構造では、電荷蓄積部４４がゲートを持つＭＯＳダイオードであり、電荷蓄積部４４のゲート電極下には電荷を蓄積する部分が形成される。この場合、フォトダイオードＰＤと電荷蓄積部４４との間に配される転送ゲート部４６のゲート電極を、電荷蓄積部４４のゲート電極と共通にし、このゲート電極を電荷生成部３２の際まで延在するように形成した１枚ゲート構成にしている。この場合、当然に、フレームシフトパルスとストレージパルスとが共通に使用される。この構造の転送ゲート部４６としての働きは、ｎ−またはｐ−によるイオンインプランテーションにて転送ゲート部４６と電荷蓄積部４４との不純物濃度差を付ける、あるいは、転送ゲート部４６と電荷蓄積部４４との酸化膜厚差を付ける、などによる障壁（ポテンシャル差）を付けることで行なうとよい。なお、図２（Ｂ）に示すように、読出選択用トランジスタ３４やリセットトランジスタ３６の部分にも、ｎ−またはｐ−によるイオンインプランテーションをしておく。
【００９３】
１枚ゲート構成とした場合の電荷蓄積部４４および転送ゲート部４６近傍の等価回路図を図８（Ｃ）に、また各ゲートがオフ時の電圧ポテンシャル図を図８（Ｄ）に示す。この１枚ゲート構成に限らず、電荷蓄積部４４と転送ゲート部４６の各ゲートを別々に設けた２枚ゲート構成としてもよい。ただし、２枚ゲート構成とすると、２つのゲート電極の加工位置ズレの問題や、電極間にギャップがあることにより、電荷生成部３２から電荷蓄積部４４に信号電荷を転送させ難い部分が生じる。これに対して１枚ゲート構成とすると、単位画素３への配線を１つ減らすことやゲートと配線コンタクトを減らすことができる（図８（Ｃ）参照）。加えて、イオンインプランテーション量や酸化膜厚差を制御することでポテンシャル差を制御することができるので、素子の加工精度が高まる。また、ゲート電極間にギャップが生じないので、電荷生成部３２から電荷蓄積部４４への信号電荷の転送効率が高まる。
【００９４】
なお、１枚ゲート構成であるのか２枚ゲート構成であるのかに拘わらず、電荷生成部３２のフォトダイオードＰＤと電荷蓄積部４４との間に配される転送ゲート部４６は、オフ状態でチャネルの表面が信号電荷とは反対の導電形の電荷を蓄積した状態を形成可能にする。また、読出選択用トランジスタ３４やリセットトランジスタ３６についても同様である。なお、このような状態を形成させるためにオフ時にゲート電極に印加する電圧は、各素子の不純物のイオン濃度（ドーズ量）やゲート電極の膜厚に依存する。ゲート電極下のチャネル領域表面が反転状態になるよう所定の電位を印加してオフさせると界面準位が正孔で埋められる（ピニング；pinning という）。このため、電荷転送路としての転送ゲート部４６や読出選択用トランジスタ３４やリセットトランジスタ３６では、オフ時に所定の電位を印加することで界面準位が原因となって発生する暗電流を抑制することができる。
【００９５】
このように、第３実施形態の単位画素３においても、高感度側の撮像を伴う高ダイナミックレンジモード時においてもノイズの少ない良好な画像が得られるように、様々な観点から、ノイズ対策が採られている。
【００９６】
図９は、第３実施形態の単位画素３を備えた固体撮像装置１における走査のタイミングチャートの一例である。なお、第３実施形態では、フレームシフトゲートＦＳＧに入力されるフレームシフトパルスを、ストレージゲートＳＴＧに入力されるストレージパルスと共通に使用する。
【００９７】
先ず、電荷生成部３２のフォトダイオードＰＤを露光して信号電荷をそのフォトダイオードＰＤに蓄積するのに先立って、フレームシフトパルスをアクティブ（Ｈ；ハイ）にして転送ゲート部４６をオンさせることで、この時点においてフォトダイオードＰＤに蓄積されている不要な電荷（不要電間）を電荷蓄積部４４側に掃き捨てる（ｔ０〜ｔ２）。その後、フォトダイオードＰＤと電荷蓄積部４４との間のゲート機能部分である転送ゲート部４６を閉じて、露光蓄積開始となる。これらの処理は、全画素について略同時に行なう。
【００９８】
次に、フレームシフトパルスもインアクティブにして、フォトダイオードＰＤが露光されることで生成される信号電荷を、そのフォトダイオードＰＤに蓄積する動作を開始する（ｔ２）。そして、通常モード時には、全画素共通に、信号電荷の露光蓄積状態をｔ１２まで継続する。また、露光蓄積状態と並行して、読出パルスをアクティブにして読出選択用トランジスタ３４をオンさせることで、電荷蓄積部４４に掃き出した不要電荷をフローティングディフュージョン３８に転送する。そして読出選択用トランジスタ３４をオフさせ、さらにリセットパルスをアクティブにしてリセットトランジスタ３６をオンさせることで、フローティングディフュージョン３８をリセットトランジスタ３６を通して電源ＶＤＤにリセットする。これにより、電荷生成部３２から、転送ゲート部４６、電荷蓄積部４４、読出選択用トランジスタ３４を順に経由してフローティングディフュージョン３８に転送された不要電荷が電源ＶＤＤに掃き出される。
【００９９】
通常モード時におけるこれらの処理は、信号電荷蓄積の完了前に完結していればよい。図では、ｔ２〜ｔ４にて読出パルスをアクティブにし、ｔ４〜ｔ６にてリセットパルスをアクティブにしているが、この例に限らず、図中において、多少右側にシフトした位置にてこれらの処理を行なってもよい。また、単位マトリクス内の単位画素３に対して個別に電荷蓄積時間を設定する広ダイナミックレンジモードの場合には、図示する露光蓄積期間内で、第１実施形態で示したと同様のタイミングで、転送ゲートパルス（読出パルス）ＲＯＧとリセットパルスＲＳＴ（ＲＧ）を単位マトリクス内の各単位画素３に対して個別に設定するとよい。
【０１００】
次に、モードに拘わらず、電荷生成部３２にて得た信号電荷を全画素同時に電荷蓄積部４４に転送させる（フレームシフトさせる）のに先立って、電荷蓄積部４４をクリアにしておく。このため、露光蓄積完了時にフレームシフトパルスをアクティブにするのに先立って、読出パルスをアクティブにして読出選択用トランジスタ３４をオンさせることで、電荷蓄積部４４に蓄積されている不要電荷をフローティングディフュージョン３８に転送する（ｔ８〜ｔ１０）。そして、読出選択用トランジスタ３４をオフさせ、さらにリセットパルスをアクティブにしてリセットトランジスタ３６をオンさせて、フローティングディフュージョン３８をリセットトランジスタ３６を通して電源ＶＤＤにリセットすることで、電荷蓄積部４４からフローティングディフュージョン３８に転送された不要電荷を電源ＶＤＤに掃き出す（ｔ１０〜ｔ１２）。なお、前述のｔ２〜ｔ４，ｔ４〜ｔ６の処理を割愛し、ｔ８〜ｔ１０，ｔ１０〜ｔ１２の処理にて兼用するようにしてもかまわない。
【０１０１】
次に、電荷生成部３２にて得た信号電荷を全画素同時に電荷蓄積部４４に転送させるため、全画素について略同時に、フレームシフトパルスをアクティブにして、フォトダイオードＰＤが露光されることで生成された信号電荷を電荷蓄積部４４に転送させる（ｔ１０〜ｔ１２）。次に、信号電荷を電荷生成部３２から電荷蓄積部４４に転送させた後の所定の時点において、画素信号生成部５は、電荷蓄積部４４から信号電荷を読み出して（ラインシフトして）画素信号を得る。このため、先ず読出対象画素である、任意の水平ラインにおける所定位置の画素について、水平選択信号をアクティブにすることで、水平選択用トランジスタ５０をオンさせる（ｔ１４）。
【０１０２】
この後、リセットパルスをアクティブにしてリセットトランジスタ３６をオンさせて、フローティングディフュージョン３８をリセットトランジスタ３６を通して電源ＶＤＤにリセットすることで、フローティングディフュージョン３８をクリアにする（ｔ１６〜ｔ１８）。こうすることで、リセットレベルに応じた電圧が画素線５１に現れ、さらに垂直信号線１９、ＣＤＳ処理部２６、水平選択用トランジスタ５０を介して出力バッファ２８に伝達される。そして、この直後に、サンプルパルスＳＨＰをアクティブにすることで、ＣＤＳ処理部２６においては、クリアにされた時点の画素信号レベル（リセットレベル）を保持する（ｔ２０〜ｔ２２）。たとえば、その時点の電圧値を予め定められている所定電圧にクランプする。
【０１０３】
次に、読出パルスをアクティブにして読出選択用トランジスタ３４をオンさせることで、電荷蓄積部４４に蓄積されている不要電荷をフローティングディフュージョン３８に読み出す（ｔ２４〜ｔ２６）。この後、読出パルスをインアクティブにすることで（ｔ２６）、読出対象画素について、フローティングディフュージョン３８に読み出された信号電荷は、その電荷量に応じて増幅用トランジスタ４２で増幅されて信号電圧となり垂直信号線１９に現れ、さらにＣＤＳ処理部２６、水平信号線１８、および水平選択用トランジスタ５０を介して出力バッファ２８に伝達される。
【０１０４】
そして、この直後に、サンプルパルスＳＨＤをアクティブにすることで、ＣＤＳ処理部２６においては、信号電荷量に応じた画素信号レベルを保持する（ｔ２８〜ｔ３０）。この後、水平選択信号をインアクティブにする（ｔ３２）。ＣＤＳ処理部２６は、サンプルパルスＳＨＰにて取得したリセットレベルとサンプルパルスＳＨＤにて取得した画素信号レベルとの差を取ることで、固定パターンノイズＦＰＮやリセットノイズを取り除く。
【０１０５】
上述した一連の動作の繰り返しにより、単位画素３が２次元マトリクス状に配設された撮像部１０から画素信号が順次出力され、最終的にＣＤＳ処理部２６から撮像信号が得られる。
【０１０６】
このように、第３実施形態の単位画素３の場合、電荷蓄積部４４への転送後にフォトダイオードＰＤに光が入射することで電荷生成部３２に蓄積される電荷を、次の露光蓄積に先立って排出させる。これにより、電荷蓄積部４４に蓄積された信号電荷量に応じた画素信号が増幅用トランジスタ４２から得られ、露光後の電荷蓄積部４４への転送タイミングを調整することで、単位マトリクス間では露光蓄積時間差を生じることのない擬似グローバル電子シャッタ機能を実現することができる。また、フローティングディフュージョンＦＤに掃き出した不要電荷をリセットドレインＲＤとして機能する電源ＶＤＤに排出するモード（ｔ４〜ｔ６期間）で、電荷蓄積期間を除く期間に擬似ブルーミング現象によって電荷蓄積部４４などに漏れ込んだ不要電荷や電荷蓄積部４４内に発生した暗電流を排出することができ、擬似ブルーミング現象や暗電流に伴う画質劣化を抑制することができるという利点がある。
【０１０７】
ここで、「擬似ブルーミング現象」とは、ＣＣＤ撮像デバイスにおけるブルーミング現象に似た現象のことである。たとえば、電荷生成部の光電変換素子に強い光が入射すると、光電変換素子で蓄積できる最大電荷量以上の電荷が生成されることで、その電荷が光電変換素子から溢れ出し、転送ゲートやチャネルストップ領域を通って、画素信号生成部や隣接画素内の電荷生成部などへ流出してしまう、いわゆる「ブルーミング現象」が問題となる。光電変換素子で得た信号電荷を全画素同時に一旦電荷蓄積部に転送させるなどによりグローバルシャッタ機能を実現する構造においても同様に「ブルーミング現象」が生じる。
【０１０８】
そして、「ブルーミング現象」が生じると、撮像画像に白い帯状または白い円状パターンが観察され、画質が劣化する。特に、電荷蓄積部を設けてグローバルシャッタ機能を実現する構造のものでは、電荷生成部で生成された過剰電荷が自身の画素内の電荷蓄積部にも溢れ出す。前述のように、電荷蓄積部に蓄積された信号電荷量に応じて画素信号を得るので、ブルーミング現象が自身の画素そのものの信号成分を変化させることになる。また、信号電荷を電荷蓄積部に転送した後に光電変換素子に光が入射することで生じる電荷が電荷蓄積部に漏れると、「ブルーミング現象」と同様の問題（擬似ブルーミング現象）が生じる。
【０１０９】
＜他のマトリクス制御形態＞
図１０〜図１２は、単位マトリクスのサイズや単位マトリクス内の読出選択用トランジスタ３４およびリセットトランジスタ３６に対する駆動手法の他の事例を説明する図である。
【０１１０】
図１０は、３×３画素を単位マトリクスとした駆動手法を説明する図である。図１０（Ａ）に示すように、リセットトランジスタ３６は３ｐ−２番目の行（ｐは正の整数）、３ｐ−１番目の行、および３ｐ番目の行とで個別に駆動され、また読出選択用トランジスタ３４は３ｑ−２番目の列（ｑは正の整数）、３ｑ−１番目の行、および３ｑ番目の列とで個別に駆動されるようにしている。また、図１０（Ｂ）に示すように、それぞれの行や列に対する電荷蓄積時間の重付けの関係として、３ｐ−２番目および３ｑ−２番目については“１”、３ｐ−１番目および３ｑ−１番目については“２”、３ｐ番目および３ｑ番目については“３”を設定することで、３×３画素の単位マトリクス全体としては、９段階の電荷蓄積時間の重付けが設定されるようにしている。ｉ行ｊ列の単位画素３の重付け値は、ｉ行の重付け加算分（＝ｉ行の重付け値ｓ×（ｉ−１））とｊ列の重付け値ｔの和となる。
【０１１１】
このことから推測されるように、ｍ×ｎ画素を単位マトリクスに展開した場合、リセットトランジスタ３６は行ごとに個別に駆動され、また読出選択用トランジスタ３４は列ごとに個別に駆動されるようにし、それぞれの行や列に対する電荷蓄積時間の重付けの関係として、１，２，…と設定することで、ｍ×ｎ画素の単位マトリクス全体としては、ｍ×ｎ段階の電荷蓄積時間の重付けを設定することが可能となる。この場合においても、ｉ行ｊ列の単位画素３の重付け値は、ｉ行の重付け加算分（＝ｉ行の重付け値ｓ×（ｉ−１））とｊ列の重付け値ｔの和となる。また、それぞれの行や列に対する電荷蓄積時間の重付けの配列順を変えることで、単位マトリクス内における電荷蓄積時間の重付けの配列順を組み替えることができる（図６（Ｃ）参照）。
【０１１２】
図１１は、２×２画素を単位マトリクスとしつつ、読出選択用トランジスタ３４とリセットトランジスタ３６の配線対象の行／列を第１〜第３実施形態と逆にした構成を示す図である。すなわち、読出選択用トランジスタ３４は奇数行（２ｐ−１；ｐは正の整数）と偶数行（２ｐ）とで個別に駆動され、またリセットトランジスタ３６は奇数列（２ｑ−１；ｑは正の整数）と偶数列（２ｑ）とで個別に駆動されるようにしている。また、図１１（Ｂ）に示すように、それぞれの行や列に対する電荷蓄積時間の重付けの関係として、２ｐ−１番目および２ｑ−１番目については“１”、２ｐ番目および２ｑ番目については“２”を設定することで、２×２画素の単位マトリクス全体としては、４段階の電荷蓄積時間の重付けが設定されるようにしている。同様の手法は、ｍ×ｎ画素を単位マトリクスとする場合にも適用可能である。そして、何れのマトリクスサイズであっても、ｉ行ｊ列の単位画素３の重付け値は、ｊ列の重付け加算分（＝ｊ列の重付け値ｔ×（ｊ−１））とｉ行の重付け値ｓの和となる。
【０１１３】
図１２は、２×２画素を単位マトリクスとしつつ、行列方向に対して斜め方向に読出選択用トランジスタ３４とリセットトランジスタ３６の駆動クロック線を設けた構成を示す図である。この場合、これまでに述べてきた形態と異なり、リセットトランジスタ３６に対して咬み合う読出選択用トランジスタ３４の駆動線の番号が同じものとなる。このため、それぞれのクロック線には異なるレベルの電荷蓄積時間の重付けを設定しているにも拘わらず、２×２画素の単位マトリクス全体としては、４（＝２×２）段階とはならずに２段階の電荷蓄積時間の重付けに限定されたものとなる。
【０１１４】
たとえば、図１２（Ａ）に示す配線形態では、レベル１の重付けが設定された第１リセットＴｒ駆動クロック線と交差する転送ゲート駆動クロック線は必ずレベル１の重付けが設定された第１番目のものとなり、電荷蓄積時間の重付けとして“１”が設定される。また、レベル２の重付けが設定された第２リセットＴｒ駆動クロック線と交差する転送ゲート駆動クロック線は必ずレベル２の重付けが設定された第２番目のものとなり、電荷蓄積時間の重付けとして“４”が設定される。
【０１１５】
これに対して図１２（Ｂ）に示す配線形態では、レベル１の重付けが設定された第１リセットＴｒ駆動クロック線と交差する転送ゲート駆動クロック線は必ずレベル２の重付けが設定された第２番目のものとなり、電荷蓄積時間の重付けとして“３”が設定される。また、レベル２の重付けが設定された第２リセットＴｒ駆動クロック線と交差する転送ゲート駆動クロック線は必ずレベル１の重付けが設定された第１番目のものとなり、電荷蓄積時間の重付けとして“２”が設定される。同様の手法は、ｍ×ｎ画素を単位マトリクスとする場合にも適用可能である。そして、何れのマトリクスサイズであっても、ｉ行ｊ列の単位画素３の重付け値は、ｉ番目のリセットＴｒ駆動クロック線の重付け加算分とｊ番目の転送ゲート駆動クロック線の重付け値ｓの和となるが、ｍ×ｎ段階とはならずに限定されたものとなる。
【０１１６】
次に、広ダイナミックレンジモード時における出力バッファ２８から出力された撮像信号Ｓ０を用いた外部回路１００内でのデモザイク処理について説明する。この広ダイナミックレンジモード時には、選択部１３２はデモザイク処理部１２０側に切り替えられている。出力バッファ２８からの撮像信号Ｓ０は、Ａ／Ｄ変換部１１０によりデジタル信号Ｄ０に変換された後に、たとえば図示しないルック・アップ・テーブルにより後段の加算器で加算して広ダイナミックレンジ処理された出力とするための、所定のデータに変換される。以下、具体的に説明する。
【０１１７】
＜色・感度モザイクパターン＞
図１３〜図１６は、色・感度モザイク画像を構成する画素の色成分および感度（つまり露光蓄積期間）の配列パターン（色・感度モザイクパターン）を説明する図である。なお、図１３〜図１６においては、各正方形が１画素に対応しており、英文字がその色を示し、英文字の添え字としての数字がその感度を示している。たとえば、Ｇ１と表示された画素は、色がＧ（緑）であって感度がＳ１であることを示している。また、感度については数字が大きいほど、より露光蓄積時間が長く高感度であるとする。なお、図１３〜図１６に示す色・感度モザイクパターンＰ１〜Ｐ４に関連し、画素の感度に拘わらず色だけに注目して「色のモザイク配列」と記述する。また、色に拘わらず感度だけに注目して「感度のモザイク配列」と記述する。
【０１１８】
色・感度モザイクパターンを構成する色の組合せとしては、Ｒ（赤），Ｇ（緑），およびＢ（青）からなる３色の組合せに限らず、たとえば、Ｙ（黄），Ｍ（マゼンタ），Ｃ（シアン），およびＧ（緑）からなる４色の組合せなどもある。露光蓄積時間を違えることで実現される感度の段階としては、Ｓ０，Ｓ１の２段階や、２×２画素の単位マトリクスとする場合にはＳ０，Ｓ１，Ｓ２，Ｓ３からなる４（＝２×２）段階が設定される。ｍ×ｎ画素の単位マトリクスとする場合において、それぞれを独立とする場合にはｍ×ｎ段階が設定される。
【０１１９】
図１３に示す色・感度モザイクパターンＰ１は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、感度に拘わらず同一の色を有する画素に注目した場合、それらが格子状に配列されている。すなわち、図１３の色・感度モザイクパターンＰ１において、感度に拘わらず色がＲである画素に注目した場合、図面を右回りに４５度だけ回転させた状態で見れば明らかなように、それらは、水平方向には２＾１／２（＾はべき乗を示す）の間隔で、垂直方向には２＾３／２の間隔で格子状の配置されている。また、感度に拘わらず色がＢである画素に注目した場合、それらも同様に配置されている。感度に拘わらず色がＧである画素に注目した場合、それらは、水平方向および垂直方向に２＾１／２の間隔で格子状の配置されている。
【０１２０】
なお、図１３に示す色・感度モザイクパターンＰ１を２×２画素の単位マトリクスに適用する場合には、第１〜第３実施形態で説明したように、リセットＴｒ駆動クロック線と転送ゲート駆動クロック線の奇数／偶数の配線順序を撮像部１０の全面について維持する構成でよい。
【０１２１】
図１４に示す色・感度モザイクパターンＰ２は、色・感度モザイクパターンＰ１と同様の特徴を有しており、さらに、３種類の色が用いられていて、それらがベイヤ（Ｂａｙｅｒ）配列をなしている。すなわち、図１４の色・感度モザイクパターンＰ２において、感度に拘わらず色がＧである画素に注目した場合、それらは１画素おきに市松状に配置されている。感度に拘わらず色がＲである画素に注目した場合、それらは１ラインおきに配置されている。また、感度に拘わらず色がＢである画素に注目した場合も同様に、１ラインおきに配置されている。したがって、このパターンＰ２は、画素の色だけに注目すれば、ベイヤ配列であるといえる。この図１４に示す色・感度モザイクパターンＰ２を２×２画素の単位マトリクスに適用する場合には、単位画素３の配列位置に応じて、リセットＴｒ駆動クロック線と転送ゲート駆動クロック線の配線対象の行／列を逆にする（図１１参照）などの対応を採ることで実現する。
【０１２２】
図１５に示す色・感度モザイクパターンＰ３は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、色に拘わらず同一の感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、任意の画素に注目した場合、その画素とその上下左右に位置する４画素の合計５画素が有する色の中に、当該色・感度モザイクパターンに含まれる全ての色が含まれている。感度だけに着目すれば、そのパターンは図１３に示す色・感度モザイクパターンＰ１と同様である。
【０１２３】
図１６に示す色・感度モザイクパターンＰ４は、色・感度モザイクパターンＰ３の特徴に加えて、同一の感度を有する画素に注目した場合、それらの配列がベイヤ配列をなしている。たとえば、図１６の色・感度モザイクパターンＰ４において、感度Ｓ０の画素だけに注目した場合、図面を斜め４５度だけ傾けて見れば明らかなように、それらは２＾１／２の間隔を空けてベイヤ配列をなしている。また、感度Ｓ３の画素だけに注目した場合も同様に、それらはベイヤ配列をなしている。図１６に示す色・感度モザイクパターンＰ４を２×２画素の単位マトリクスに適用する場合には、図１２に示したように、画素配列における行列方向に対して斜め方向に読出選択用トランジスタ３４とリセットトランジスタ３６の駆動クロック線を設けることで、２段階の感度を設定する構成とすればよい。
【０１２４】
上記において、色・感度モザイクパターンＰ１〜Ｐ３を２×２画素の単位マトリクスにて実現する場合について、それぞれ示したが、ここで述べた３つの手法を組み合わせたり、配線の接続順序を切り替えたりなどすることで、一定の制限はあるものの、他のパターンについても、実現することが可能となる。
【０１２５】
上述した色・感度モザイクパターンを実現するに際して、色のモザイク配列については、電荷生成部３２のフォトダイオードＰＤの上面に、画素ごとに異なる色の光だけを透過させるオンチップカラーフィルタを配置することによって実現する。また、色・感度モザイクパターンのうち、感度のモザイク配列については、上記第１〜第３実施形態で説明したように、読出選択用トランジスタ３４とリセットトランジスタ３６に対する駆動パルスの印加タイミングを調整することで、隣接する２つの受光素子（第１および第２の受光素子）に対し制御のタイミングを違えることにより２つの受光素子を異なる感度に設定する電子的な方法によって実現する。必要に応じて配線形態（行／列や偶／奇などの順序）を組み替える。つまり、上述した感度のモザイク配列を電子的に実現するには、感度がＳ０，Ｓ１，Ｓ２，Ｓ３の各画素グループについて、それぞれに露光時間を制御可能な電極構造とすればよい。要するに、複数種類の感度設定に応じてリセットＴｒ駆動クロック線や転送ゲート駆動クロック線を複数系統に分け、それぞれの駆動クロック線が蓄積時間の違う信号に対応するように、それぞれの駆動クロック線に独立にパルスを印加する構造とすればよい。
【０１２６】
このとき、２次元マトリクス状に蓄積時間を異なるように単位画素３を配列する場合、理解の容易さから言えば、リセットトランジスタ３６を駆動するためのリセットＴｒ駆動クロック線は行方向に、読出選択用トランジスタ３４を駆動するための転送ゲート駆動クロック線は列方向に配線する、つまり、リセットＴｒ駆動クロック線と転送ゲート駆動クロック線の奇数／偶数の配線順序を撮像部１０の全面について維持する構成が望ましいが、これに限らず、リセットＴｒ駆動クロック線と転送ゲート駆動クロック線の奇数／偶数の配線順序を組み替えても構わない。何れにしても、感度モザイクパターンによって、その接続形態が決まる。なお、カラー画像撮像の構成とする場合には、色分離処理と広ダイナミックレンジ化処理との関わりから言えば、画素単位で露光蓄積時間を制御するのではなく、先にも述べたように、カラーフィルタ繰返し単位内の全単位画素３に対しては共通の露光蓄積時間を設定しかつカラーフィルタ繰返し単位で露光蓄積時間を制御してもよい。
【０１２７】
＜デモザイク処理の詳細＞
次に、広ダイナミックレンジモード時におけるデモザイク処理部１２０を中心とする画像処理系のモザイク処理、すなわちモザイク画像から元画像を復元する処理について説明する。最初に、カラー画像撮像時においても１つの単位画素３が出力画像の１画素に対応するようにする４つの手法について説明する。なお、以下の説明では、特に断りのない限り、最も基本的なものとして、画素の色は３原色ＲＧＢのうちの何れかの色であり、２×２画素を単位マトリクスとして感度をＳ０，Ｓ１、Ｓ２，Ｓ３の４段階（つまり露光蓄積時間が４段階）のうちの何れかに設定するものとして説明する。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色あるいはそれ以上からなる色・感度モザイク画像に適用することも可能である。また、感度が４段階以上などである色・感度モザイクパターンに適用することも可能である。
【０１２８】
何れの手法においても、色・感度モザイク画像の画素配列パターンにおける、色に着目した色モザイクパターン情報と感度に着目した感度モザイクパターン情報を参照して画素補間処理などを施すことで、Ｒ，Ｇ，Ｂのそれぞれについて感度の均一化された画像を得る。色モザイクパターン情報は、色・感度モザイク画像の各画素の色の種類（本例では、Ｒ，Ｇ，Ｂの何れかの色）を示す情報であり、画素位置をインデックスとして、その画素が有する色成分の情報を取得できるようになされている。また、感度モザイクパターン情報は、色・感度モザイク画像の各画素の感度の種類（本例では、Ｓ０，Ｓ１，Ｓ２，Ｓ３）を示す情報であり、画素位置をインデックスとして、その画素の感度の情報を取得できるようになされている。
【０１２９】
図１７は、デモザイク処理部１２０を中心とする画像処理系の第１のデモザイク処理の概要を示している。ここでは図１４に示す色・感度モザイクパターンＰ２で例示しているが、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色からなる色・感度モザイク画像に適用することも可能である。この第１のデモザイク処理は、図１７に示すように、感度を均一化して色モザイク画像Ｍを生成する感度均一化処理と、色・感度モザイク画像Ｍの各画素のＲＧＢ成分を復元する色補正処理からなる。
【０１３０】
感度均一化処理に際しては、撮像系の処理によって得られた色・感度モザイク画像の画素の色を変更することなく、補間処理を行なって本来の光強度を復元する。たとえば、第１段階の処理として、当該画素の感度と異なる感度の画素値を、近傍に存在する同色であって対象感度の画素の画素値を用いて補間することで対象感度の推定値を求める。たとえば、色βであって感度Ｓ０の画素については、感度Ｓ０での画素値はそのまま用いられる。また、感度Ｓ１での推定値が、当該画素の近傍に存在する色βであって感度Ｓ１の画素の画素値を用いて補間される。同様に、感度Ｓ２での推定値が、当該画素の近傍に存在する色βであって感度Ｓ２の画素の画素値を用いて補間され、感度Ｓ３での推定値が、当該画素の近傍に存在する色βであって感度Ｓ３の画素の画素値を用いて補間される。これにより、各画素は、元の色β感度Ｓ０の画素値と、感度Ｓ１の画素値と、感度Ｓ２の画素値と、感度Ｓ３の画素値とを有するようになる。
【０１３１】
このような補間処理に際しては、フィルタ処理が適用される。たとえば、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に設定する。そして、色・感度モザイク画像の各画素の色を変更せずに補間処理を施すことにより、それぞれ感度Ｓ０，Ｓ１，Ｓ２、または感度Ｓ３に対応する補間値を生成する。すなわち、色・感度モザイク画像の注目画素の近傍に位置する画素（たとえば注目画素を中心とする５×５画素）のうち、色が注目画素と同じであり、かつ、感度がＳαである画素を検出し、検出した参照画素の画素値を抽出する。
【０１３２】
そして、検出した参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を参照画素の数だけ取得する。この後、各参照画素の画素値と対応するフィルタ係数とを乗算し、それらの積の総和を演算し、さらに、その積の総和を用いたフィルタ係数の総和で除算し、その商を注目画素の感度Ｓαに対応する補間値とする。最後に、求めた注目画素に対応する全ての感度Ｓαの各補間値を加算し、その和を注目画素に対応する色モザイク候補画像の画素値とし、色モザイク候補画像の画素値をインデックスとして色モザイク画像Ｍの画素値を取得できるように設定されている合成感度補償ＬＵＴ（ルック・アップ・テーブル；図２５，図２６参照）に照らし合わせ、得られた値を注目画素に対応する色モザイク画像Ｍの画素値とする。このような処理を全ての画素について繰り返すことで、感度が均一化された色モザイク画像Ｍを生成する。
【０１３３】
色補正処理に際しては、感度均一化処理によって得られた色モザイク画像Ｍに対し、色モザイクパターン情報を用いる色補間処理（フィルタ処理）を施すことによって出力画像Ｒ，Ｇ，Ｂを生成する。この際には、予め、色モザイク画像Ｍに対して階調変調処理を施す（たとえば変調色モザイク画像Ｍｇの各画素値をγ乗する）ことにより、変調色モザイク画像Ｍｇを生成し、この変調色モザイク画像Ｍｇを処理対象画として用いる。出力画像Ｒ，Ｇ，Ｂを生成する際には、先ず色差画像Ｃ，Ｄと輝度画像Ｌとを生成する色分離処理を行ない、得られた色差画像Ｃ，Ｄと輝度画像Ｌとを用いて色空間変換処理を行なうことで出力画像Ｒ，Ｇ，Ｂを生成する。
【０１３４】
図１８は、デモザイク処理部１２０を中心とする画像処理系の第２のデモザイク処理の概要を示している。ここでは図１６に示す色・感度モザイクパターンＰ４で例示しているが、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色からなる色・感度モザイク画像に適用することも可能である。この第２のデモザイク処理は、最初に色成分ごとに感度別の色補間処理を行なって色成分ごとの感度モザイク画像Ｍｓを生成した後に、この感度モザイク画像Ｍｓのそれぞれの感度を均一化して出力画像Ｒ，Ｇ，Ｂを生成するというもので、第１のデモザイク処理と色補間処理と感度均一化処理が逆の手順となっている点に特徴を有する。
【０１３５】
すなわち、第２のデモザイク処理は、図１８に示すように、撮像部の処理によって得られた色・感度モザイク画像の画素の感度を変更することなく、各画素のＲＧＢ成分を補間してＲ成分の感度モザイク画像ＭｓＲ、Ｇ成分の感度モザイク画像ＭｓＧ、およびＢ成分の感度モザイク画像ＭｓＢを生成する感度別色補間処理と、Ｒ成分の感度モザイク画像ＭｓＲ、Ｇ成分の感度モザイク画像ＭｓＧ、およびＢ成分の感度モザイク画像ＭｓＢのそれぞれの感度を均一化して出力画像Ｒ，Ｇ，Ｂを生成する感度均一化処理からなる。
【０１３６】
第２のデモザイク処理における感度別色補間処理は、色・感度モザイク画像から同一の感度の画素だけを抽出する抽出処理と、抽出処理で抽出された画素のＲＧＢ成分の画素値を補間する色補間処理と、色補間処理で補間された画素値をＲＧＢ成分ごとに合成して感度モザイク画像を生成する挿入処理からなる。
【０１３７】
図１９は、第２のデモザイク処理における抽出処理と色補間処理の概要を示している。抽出処理では、図１９（Ａ）に示すような色・感度モザイク画像から、対象感度Ｓαごとに、対象感度Ｓαの画素だけを抽出して、画素が市松状に配置された色モザイク画像ＭｃＳαを生成する。たとえば、感度Ｓ０の画素だけを抽出して、画素が市松状に配置された図１９（Ｂ）に示すような色モザイク画像ＭｃＳ０を生成する。
【０１３８】
色補間処理では、対象感度Ｓαごとに、色モザイク画像ＭｃＳαから、対象感度Ｓαであってβ色成分を有する画素が市松状に配置された画像βＳαを各色成分について生成する。たとえば、図１９（Ｂ）に示す色モザイク画像ＭｃＳ０から、たとえば感度Ｓ０であってＲ成分を有する画素が市松状に配置された図１９（Ｃ）に示すような画像ＲＳ０、感度Ｓ０であってＧ成分を有する画素が市松状に配置された画像ＧＳ０、および感度Ｓ０であってＢ成分を有する画素が市松状に配置された画像ＢＳ０を生成する。この色補間処理に際しては、第１のデモザイク処理における補間処理と同様にフィルタ処理を適用する。
【０１３９】
図２０は、第２のデモザイク処理における挿入処理の概要を示している。挿入処理では、処理対象色βごとに、色補間処理によって生成された各感度に対応する画像βＳαを組み合わせて、感度モザイク画像Ｍｓβを生成する。たとえば、Ｒ成分については、図２０（Ａ）に示すような画像ＲＳ０と図２０（Ｂ）に示すような画像ＲＳ３とを組み合わせて、図２０（Ｃ）に示すような感度モザイク画像ＭｓＲを生成する。
【０１４０】
第２のデモザイク処理における感度均一化処理では、第１のデモザイク処理における感度均一化処理と同様にフィルタ処理を適用して、処理対象色βについて、感度モザイク画像ＭｓＸβの左下の画素から右上の画素まで、順次１画素ずつ注目画素に設定し、注目画素に対応する局所和を算出する。たとえば、注目画素を中心とする５×５画素からなる参照画素の画素値を抽出し、それらの画素値と、参照画素の注目画素に対する相対的な位置に対応して予め設定されている所定のフィルタ係数とをそれぞれ乗算し、それらの積の総和を演算する。そして、その積の総和を、たとえば２５個のフィルタ係数の総和で除算し、その商を注目画素に対応する局所和とする。最後に、インデックスとして対応する補償値を供給するように設定されている合成感度補償ＬＵＴ（図２５，図２６参照）に、求めた局所和を照らし合わせることにより、感度特性を補償した対応する補償値を取得し、補償値を注目画素に対応する出力画像Ｒの画素値とする。これを全画素について繰り返すことで、処理対象色βの出力画像βを生成する。
【０１４１】
図２１は、デモザイク処理部１２０を中心とする画像処理系の第３のデモザイク処理を主に実行するデモザイク処理部１２０の構成例を示している。なお、以下、特に断りがある場合を除き、色・感度モザイク画像は、図１４の色・感度モザイクパターンＰ２であるとする。すなわち、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度はＳ０，Ｓ１，Ｓ２，Ｓ３のうちの一方であって、さらに、感度に拘わらず色だけに注目すれば、それらはベイヤ配列をなしているものとする。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色からなる色・感度モザイク画像に適用することも可能である。
【０１４２】
この第３のデモザイク処理は、撮像部の処理によって得られた色・感度モザイク画像から輝度画像を生成する輝度画像生成処理、および、色・感度モザイク画像と輝度画像を用いて出力画像Ｒ，Ｇ，Ｂを生成する単色画像処理からなる。この第３のデモザイク処理は、画素の色は３原色ＲＧＢのうちの何れかの色であり、さらに感度に拘わらず色だけに注目すれば、それらはベイヤ配列をなしているものに適用するのに好適である。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色からなる色・感度モザイク画像に適用することも可能である。
【０１４３】
第３のデモザイク処理を実行するデモザイク処理部１２０の構成例において、撮像系からの色・感度モザイク画像、色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報、および、色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、輝度画像生成部１８１、並びに単色画像生成部１８２〜１８４に供給される。
【０１４４】
単色画像生成部１８２は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｒを生成する。単色画像生成部１８３は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｇを生成する。単色画像生成部１８４は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｂを生成する。
【０１４５】
図２２は、デモザイク処理部１２０による第３のデモザイク処理の手順の概要を示すフローチャートである。デモザイク処理部１２０は、先ず、色・感度モザイク画像に輝度画像生成処理を施することによって輝度画像を生成するとともに、ノイズ除去処理を施す（Ｓ２１１）。この後、色・感度モザイク画像および輝度画像を用いて、それぞれ出力画像Ｒ，Ｇ，Ｂを生成する（Ｓ２１２）。
【０１４６】
図２３は、輝度画像生成処理（Ｓ２１１）の詳細手順を示すフローチャートである。先ず、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定する（Ｓ２２１）。そして、全ての画素を注目画素としていないと判定した場合、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ２２１−Ｎｏ，Ｓ２２２）。
【０１４７】
そして、色・感度モザイク画像に対して処理対象色βごとに、β成分推定処理を施すことにより、注目画素に対応する推定値Ｒ’を推定する（Ｓ２２３）。たとえば、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（たとえば、注目画素を中心とする１５×１５画素）のうち、β成分を有し、かつ、感度Ｓαである画素を検出し、検出した画素（参照画素）の画素値を抽出する。そして、参照画素の注目画素に対する相対的な位置に対応し、予め設定されているβ成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算し、その積の総和を、用いたβ成分用補間フィルタ係数の総和で除算して感度Ｓαについての商を取得する。これを、全ての感度Ｓα（本例ではＳ０，Ｓ１，Ｓ２，Ｓ３）について求める。この後、それぞれの商を加算して和を求める（感度均一化処理に相当する）。この後、合成感度補償ＬＵＴ（図２５，図２６参照）に照らし合わせることにより、感度特性を補償した補償値を取得することで、注目画素に対応する推定値β’とする。
【０１４８】
各色ごとに推定値β’を求めた後には、この推定値β’に色バランス係数ｋβを乗算する。そして、それぞれの積β’・ｋβを加算して、その和を注目画素に対応する輝度候補画像の画素値（輝度候補値）とする（Ｓ２２４）。ここで、色バランス係数ｋβは、予め設定されている値であり、たとえば、ｋＲ＝０．３、ｋＧ＝０．６、ｋＢ＝０．１である。なお、色バランス係数ｋＲ，ｋＧ，ｋＢの値は、基本的には輝度候補値として輝度変化に相関がある値を算出することができればよい。したがって、たとえば、ｋＲ＝ｋＧ＝ｋＢとしてもよい。
【０１４９】
処理は、ステップＳ２２１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ２２１〜２２４の処理が繰り返される。ステップＳ２２１において、全ての画素を注目画素としたと判定された場合、ステップＳ２２５にすすむ。なお、ステップＳ２２１〜２２４の処理によって生成された輝度候補画像はノイズ除去処理に供される（Ｓ２２５）。
【０１５０】
ノイズ除去処理（Ｓ２２５）においては、輝度候補画像にノイズ除去処理を施すことによって輝度画像を生成する。具体的には、先ず、輝度候補画像の左下の画素から右上の画素まで順次１画素ずつ注目画素に設定する。そして、注目画素の上下左右に位置する画素の画素値（輝度候補値）を取得し、取得した注目画素の上下左右に位置する画素輝度候補値を、それぞれ変数ａ３，ａ０，ａ１，ａ２に代入する。次に、輝度勾配を考慮した方向選択的平滑化処理、すなわち注目画素に対応する水平方向の平滑化成分Ｈｈと垂直方向の平滑化成分Ｈｖの寄与率を考慮した平滑化処理を実行することにより、注目画素に対応する平滑化値Ａｖｅを取得する。この後、注目画素の画素値（輝度候補値）と注目画素に対応する平滑化値Ａｖｅの平均値を演算し、当該平均値を注目画素に対応する輝度画像の画素値（輝度値）とする。これを全ての画素について繰り返すことで、ノイズ除去処理が施された輝度画像を生成する。単純な平滑化処理ではノイズを低減可能であるもののエッジ成分も平滑化されしまうが、この処理により、エッジ成分を保存しつつノイズだけを低減可能で、エッジ保存性のよい平滑化処理となる。
【０１５１】
なお、ノイズ除去処理に際しては、注目画素の勾配ベクトルと位置ベクトルとの内積の絶対値を１から除算し、その差のρ乗を演算することにより、参照画素に対する重要度を求め、この重要度を加味した平滑化処理を実行してもよい。この場合、画像内の物体の輪郭を検出し、輪郭に平行して平滑化を実行するようになるので、色モアレの発生を抑止するこができる。
【０１５２】
図２４は、単色画像生成処理の詳細手順を示したフローチャートである。単色画像生成処理においては、先ず、色・感度モザイク画像に補間処理を施すことによって、全ての画素がＲ成分の画素値を有するＲ候補画像を生成する（Ｓ１６１）。なお、補間処理は、輝度画像生成処理におけるβ成分推定処理と同様であるので、その説明は省略する。
【０１５３】
この後、比率値算出処理を施すことによって強度比率を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成する（Ｓ１６２）。たとえば、β成分候補画像の左下の画素から右上の画素まで順次１画素ずつ注目画素に設定する。そして、注目画素の近傍に位置する画素（たとえば注目画素を中心とする７×７画素）を参照画素し、それらの画素値（β成分の単色候補値）と、参照画素と同じ座標に位置する輝度画像の画素値（輝度値）を抽出する。そして、参照画素の注目画素に対する相対的な位置に対応し、予め設定されている平滑化フィルタ係数を参照画素の数だけ取得する。この後、各参照画素のβ成分の単色候補値に対応する平滑化フィルタ係数を乗算し、その積を対応する輝度値で除算して、それらの商の総和を演算する。さらに、その商の総和を、用いた平滑化フィルタ係数の総和で除算して、その商を注目画素に対応する強度比率として、比率値情報を生成する。これをβ候補画像の全ての画素を注目画素としたと判定するまで繰り返すことで、β候補画像の全ての画素についての強度比率を生成する。
【０１５４】
この後、輝度画像の各画素の画素値に、対応する強度比率を乗算することで、処理対象色βについて、その積を画素値とする出力画像βを生成する（Ｓ１６３）。
【０１５５】
図２５および図２６は、２×２（画素あるいはエリア）を単位マトリクスとして、異なるシャッタ速度（電荷蓄積時間）で撮像を行なったときの、感度均一化処理や推定処理（Ｓ２２３）にて用いる合成感度補償ＬＵＴの一例を示す図である。先ず図２５（Ａ）は、低感度側Ｓ０，Ｓ１の画素の特性曲線と、高感度側Ｓ２，Ｓ３の画素の特性曲線を示しており、図２５（Ｂ）は、合成処理により得られる広ダイナミックレンジ画像の特性曲線を示しており、それぞれ、横軸は入射光の強度（Ｌ）、縦軸は画素値（Ｉ）を示す。また図２６は、合成感度補償ＬＵＴの特性曲線を示しており、縦軸は入射光の強度（Ｌ）、横軸は画素値（Ｉ）を示す。図２５（Ｂ）において、符号ＢＤ１（ＢＤ；Broad Dynamic range ）に示す非線形の曲線は上述した第１や第３のデモザイク処理におけるもので、符号ＢＤ２に示す非線形の曲線は上述した第２のデモザイク処理におけるものである。
【０１５６】
図２５（Ａ）において、高感度側つまり電荷蓄積時間の最も長い感度Ｓ３は、最も低感度側つまり電荷蓄積時間の短い方の感度Ｓ０に対して４倍の感度を有しており、また、２番目に高感度側つまり電荷蓄積時間が２番目に長い感度Ｓ２は、最も電荷蓄積時間の短い感度Ｓ０に対して３倍の感度を有する。また、２番目に低感度側つまり電荷蓄積時間が２番目に長短い感度Ｓ１は、最も電荷蓄積時間の短い感度Ｓ０に対して２倍の感度を有している。
【０１５７】
すなわち、低速シャッタ速度に相当する長時間露光蓄積（感度Ｓ２，Ｓ３）での撮像は、電荷の蓄積時間が長いために、被写体の暗部をより明確に撮像することができる一方で、被写体の明るさが、感度Ｓ３のものは１００％、感度Ｓ２のものは２００％を越える高輝度部分については撮像素子出力が１００％のレベルで飽和してしまい、良好な画像を得ることができない。
【０１５８】
一方、高速なシャッタ速度に相当する短時間露光蓄積（感度Ｓ０，Ｓ１）で撮像を行なうと、電荷生成部３２に蓄積される光量が減少することになるために、より傾斜の緩やかな撮像素子出力を得ることができ、図２５（Ａ）の前記１００％，２００％を越える明るさの被写体についても撮像信号が飽和してしまうことはない。ただしこの場合でも、それぞれ図示の３００％あるいは４００％を越える高輝度部分については撮像素子出力が１００％のレベルで飽和してしまう。
【０１５９】
こうして、相対的に低速のシャッタでの撮像において飽和してしまうような高輝度部分の画像を、相対的に高速のシャッタでの画像で補うことにより、図２５（Ｂ）の符号ＢＤ１，ＢＤ２に示す非線形の曲線で示されるように、暗部が潰れることがなく、かつ高輝度部分が白飛びすることのない広ダイナミックレンジの画像を得ることができる。なお、符号ＢＤ１で示す曲線は、感度設定すなわち露光蓄積時間設定を４段階としているので、符号ＢＤ２で示す２段階で設定される場合よりも滑らかな階調を持つ広ダイナミックレンジ画像となる。
【０１６０】
このとき、高速側のシャッタで得られるデータをそれぞれｘ０（感度Ｓ０），ｘ１（感度Ｓ１）、低速側のシャッタで得られるデータをｙ２（感度Ｓ２），ｙ３（感度Ｓ３）とすると、第１や第３のデモザイク処理にてダイナミックレンジ拡大処理されたデータｚ１（曲線ＢＤ１に相当）は式（１−１）、第２のデモザイク処理にてダイナミックレンジ拡大処理されたデータｚ２（曲線ＢＤ２に相当）は式（１−２）のように表される。なお、関数ＬＳ０，ＬＳ１，ＨＳ０，ＨＳ１は、単位マトリクス内の個々の単位画素３の出力特性その他を考慮して定義される関数である。
ｚ１＝Ｌｓ０（ｘ０，ｘ１，ｙ２，ｙ３）＋Ｌｓ１（ｘ０，ｘ１，ｙ２，ｙ３）＋Ｈｓ０（ｘ０，ｘ１，ｙ２，ｙ３）＋Ｈｓ１（ｘ０，ｘ１，ｙ２，ｙ３）…（１−１）
ｚ２＝Ｌｓ０（ｘ０，ｙ３）＋Ｌｓ１（ｘ０，ｙ３）＋Ｈｓ０（ｘ０，ｙ３）＋Ｈｓ１（ｘ０，ｙ３）…（１−２）
【０１６１】
このようにダイナミックレンジ拡大処理は、一般的に非線形の処理となるために、各撮像の度に演算処理を行なっていたのでは、処理の負担が増加して処理時間も長くなってしまう。そこで、この数式（１−１），（１−２）により行なわれる処理を予めテーブル化してルック・アップ・テーブルとしておき、実際の処理ではこれを参照した結果を出力すれば良いように構成することが望ましい。
【０１６２】
たとえば、推定処理（Ｓ２２３）では、図２５（Ａ）の特性曲線Ｓ０，Ｓ１に示すような特性で測定された低感度側の画素から算出された商と、同図の特性曲線Ｓ２，Ｓ３に示すような特性で測定された高感度側の画素を用いて算出された商とが加算されている。したがって、求められた和は、図２５（Ｂ）の特性曲線ＢＤ１に示すように、低感度側と高感度側の特性が合成された特性を有することになる。この合成された特性曲線ＢＤ１は、低輝度から高輝度にわたる広ダイナミックレンジの特性となるが、図２５（Ａ）に示すように折れ線となっているので、感度特性曲線ＢＤの逆特性曲線を用いることにより、元のリニアな特性を復元するようにする。
【０１６３】
具体的には、図２６に示すように、全ての感度についての商の和を図２５（Ｂ）の感度特性曲線ＢＤ１の逆特性曲線ｄ１に適用して非線形性を補償するようにする。第１のデモザイク処理でも、逆特性曲線ｄ１に適用して非線形性を補償する。また、第２のデモザイク処理では感度特性曲線ＢＤ２の逆特性曲線ｄ２に適用して非線形性を補償する。すなわち、合成感度補償ＬＵＴは、図２６の逆特性曲線ｄ１，ｄ２をルック・アップ・テーブル化したものである。
【０１６４】
以上説明したように、本実施形態の固体撮像装置１の構成によれば、フォトダイオードＰＤなどの電荷生成部により生成された電荷を蓄積する電荷蓄積部（電荷蓄積機能を兼ね備えていてもよい）、この電荷生成部と電荷蓄積部との間に配設され電荷生成部により生成された電荷を電荷蓄積部に転送する転送ゲート部、および電荷蓄積部に蓄積した電荷に応じた画素信号を生成する画素信号生成部を含む単位画素を２次元状に備えてなるアクティブピクセルイメージセンサにおいて、２次元状の複数の単位画素からなる単位マトリクスごとに、各単位画素についての電荷蓄積時間を所定の段階で制御するようにした。たとえば、電荷の移動を行なう転送ゲート部を駆動するための転送クロック線と電荷蓄積部をリセットするためのリセットクロック線とを、それぞれ独立に駆動パルスを印加可能な複数系統に分けるとともに、転送クロック線とリセットクロック線とを交差するように配置する。
【０１６５】
これにより、偶奇ラインだけの制御に限らずライン内でも細かに電荷蓄積時間を制御可能となり、たとえば単位エリアをｍ×ｎのマトリクスで蓄積時間をコントロールすることができる。そしてこのような制御の元で得られる画素信号を処理することにより、ダイナミックレンジの広いモノクロ画像やカラー画像を得ることができるようになった。加えて、ライン内でも細かに電荷蓄積時間を制御可能としたので、２段階に限らずより多段階（たとえば４段階以上）の蓄積時間を細かに設定することが可能となり、非常に滑らかな階調をもつ広ダイナミックレンジ画像の生成に有利となる。
【０１６６】
また、電荷生成部により生成された電荷をフローティングディフュージョンＦＤなどの電荷蓄積部に一旦転送してから所定のタイミングで信号電荷を取り出す構成としているので、グローバルシャッタ機能と組み合わせることで、異なった蓄積時間を持つ画素の露光期間の同時性を高めることができる。このことは、ライン方向（行方向）のシェーディングを防止しつつ、動きのある被写体（移動体）を広ダイナミックレンジで正しく撮像する上で有利である。
【０１６７】
図２７は、第４のデモザイク処理の概要を示す図である。この第４のデモザイク処理は、カラー画像撮像時において、カラーフィルタ繰返し単位で露光制御を行なう場合の第１例の処理手法を示すものである。ここでは、Ｒ，Ｇ，Ｂのカラーフィルタ配列がベイヤ配列であり、感度がＳ０，Ｓ１，Ｓ２，Ｓ３の４段階でる場合で説明する。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色あるいはそれ以上からなる色・感度モザイク画像に適用することも可能である。また、感度が９段階やそれ以上などである色・感度モザイクパターンに適用することも可能である。
【０１６８】
第４のデモザイク処理は、図２７に示すように、撮像系の処理によって得られたカラーフィルタ繰返し単位で露光制御された色・感度モザイク画像について、そのカラーフィルタ繰返し単位ごとに色分離処理を行なうことでＲＧＢ成分ごとに感度モザイク画像を復元する色分離処理と、色分離処理により得られる感度モザイク画像の感度を均一化して画像を復元する感度均一化処理と、復元された画像に基づいて最終的な出力画像（輝度信号Ｙ＋色信号Ｃ）を生成する出力画像生成処理とからなる。
【０１６９】
色分離処理としては、ベイヤ配列に応じた処理を施すのは言うまでもない。これにより、感度に拘わらず、カラーフィルタ繰返し単位ごとに、比較的低周波のＲＬ成分およびＢＬ成分（参照符号ＬはLow Frequency を示す）と、Ｒ成分およびＢ成分に対して２倍の周波数成分を有する比較的高周波のＧＨ成分（参照符号ＨはHigh Frequencyを示す）とが得られる。ただし、カラーフィルタ繰返し単位で露光蓄積時間がそれぞれ異なる値に設定されているので、得られる各画像は、感度の面でモザイク状となった感度モザイク画像となっている。
【０１７０】
そこで、感度均一化処理では、先ず、比較的低周波のＲＬ成分およびＢＬ成分の各感度モザイク画像に基づいて、カラーフィルタ繰返し単位（本例では２×２画素の単位マトリクス）で、各単位マトリクスについての画素値を、その近傍の同じ色の有効な単位マトリクスの画素値を用いて補間する。また、比較的高周波のＧＨ成分の感度モザイク画像に基づいて、各画素についての画素値を、その近傍の同じ色の有効な画素の画素値を用いて補間する。これにより、Ｒ成分およびＢ成分についての単位マトリクスは、元の色の感度Ｓ０，Ｓ１，Ｓ２，Ｓ３の各画素値を有するようになる。この後、単位マトリクスごとに感度Ｓ０，Ｓ１，Ｓ２，Ｓ３の画素値を合成することで、Ｒ成分とＢ成分とについて感度が均一化された画像を得る。このＲ成分およびＢ成分の画像は、１つの単位マトリクスが出力画像の４画素に対応する。一方、Ｇ成分についての画素は、元の色の感度Ｓ０，Ｓ１，Ｓ２，Ｓ３の各画素値を有するようになる。この後、画素ごとに感度Ｓ０，Ｓ１，Ｓ２，Ｓ３の画素値を合成することで、Ｇ成分について感度が均一化された画像を得る。このＧ成分の画像は、１つの単位画素３が出力画像の１画素に対応する。
【０１７１】
出力画像生成処理においては、従来から行なわれていると同様にして、専ら色情報の生成に寄与するＲ成分およびＢ成分と、Ｒ成分およびＢ成分に対して２倍の周波数成分を有するＧ成分とに基づいて、高域および低域に分けた輝度信号生成処理と色差信号生成処理を伴う色信号生成処理を行なうことで、最終的な出力画像（輝度信号＋色信号）を生成する。
【０１７２】
このように、第４のデモザイク処理によれば、カラーフィルタ繰返し単位での露光制御を行なうことによりえた画素信号に基づいて、通常の色分離処理を行なった後に感度均一化処理にて画像を復元することができ、広ダイナミックレンジのカラー画像の生成が容易であるという利点が得られる。
【０１７３】
図２８は、第５のデモザイク処理の概要を示す図である。この第５のデモザイク処理は、カラー画像撮像時において、カラーフィルタ繰返し単位で露光制御を行なう場合の第２例の処理手法を示すものである。この第５のデモザイク処理は、図２８に示すように、撮像系の処理によって得られたカラーフィルタ繰返し単位で露光制御された色・感度モザイク画像の感度を均一化することで、通常の露光状態と同様の画像を得る感度均一化処理と、通常露光状態に戻された画像から各画素のＲＧＢ成分を復元する色分離処理と、色分離処理により得られる画像に基づいて最終的な出力画像（輝度信号Ｙ＋色信号Ｃ）を生成する出力画像生成処理とからなる。第４のデモザイク処理との違いは、色分離処理と感度均一化処理が逆の手順となっている点にある。この第５のデモザイク処理の場合、感度均一化処理後の処理は、通常モード時の処理と完全に同じにすることができるので、全体の回路構成がコンパクトになり、たとえば、図１（Ｃ）に示した外部回路１００のように、デジタル信号処理部（ＤＳＰ）１３０を兼用することが可能となる。
【０１７４】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０１７５】
また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０１７６】
たとえば、上記実施形態では、複数系統に分けられた各転送クロック線とリセットクロック線とを互いに交差するように配置していたが、これに限らず、少なくとも水平列と垂直列の単位画素がそれぞれ複数系統に分けられて駆動される構造として、結果的に、転送クロック線とリセットクロック線に対して対応する駆動パルスを印加することで感度特性がモザイク状を呈する感度モザイク画像が固体撮像素子から出力されるようになっていればよい。たとえば、単位画素ごとにゲート回路を設けて単位マトリクス内で個別の露光蓄積時間が設定可能な構造としてもよい。
【０１７７】
また、上記実施形態では、電荷注入部の一例であるフローティングディフュージョンを利用したＦＤＡ構成の画素信号生成部５を一例に説明したが、画素信号生成部５は、必ずしもＦＤＡ構成のものでなくてもよい。たとえば、転送電極の下の基板に電荷注入部の一例であるフローティングゲートＦＧ（Floating Gate ）を設け、フローティングゲートＦＧ下のチャネルを通過する信号電荷の量でフローティングゲートＦＧの電位変化が生じることを利用した検出方式の構成としてもよい。
【０１７８】
また、電荷蓄積部４４は、転送電極を備えた構成のものとして説明したが、転送電極を持たないバーチャルゲートＶＧ（Virtual Gate）構造のものとしてもよい。
【０１７９】
また、上記実施形態では、行および列状に配列された画素からの信号出力が電圧信号であって、ＣＤＳ処理機能部が各列ごとに設けられたカラム型の固体撮像装置を一例として説明したが、固体撮像装置は、カラム型のものに限らない。たとえば、画素からの信号出力が電流信号である固体撮像装置に、単位マトリクス実施形態の構成を適用することも可能である。
【０１８０】
また、上記実施形態の固体撮像装置は、水平走査回路１２や垂直走査回路１４などの駆動制御部７の各要素を撮像部１０とともに単結晶シリコンなどの半導体領域に一体的に形成されているものとして説明したが、撮像部１０と駆動制御部７とは別体のものであってもよい。たとえば、撮像部１０と駆動制御部７とが別体の半導体領域に形成され、撮像部１０がカメラヘッドとして使用される形態の構成としてもよい。あるいは、上記実施形態で示した駆動制御部７の一部のみが撮像部１０と一体的に形成されたものであってもよい。この場合、水平走査回路１２、垂直走査回路１４、垂直列選択駆動部１６の部分を撮像部１０と一体化するのが好ましい。
【０１８１】
【発明の効果】
以上のように、本発明によれば、電荷生成部により生成された電荷を電荷蓄積部に一旦転送してから所定のタイミングで信号電荷を取り出す構成のアドレス制御型固体撮像素子において、ｍ×ｎの単位画素で構成された単位マトリクス内では各単位画素の電荷蓄積時間が異なり、かつ、単位マトリクス同士では対応する位置の単位画素の電荷蓄積時間が同じとなるように駆動可能な構成にすることにより、単位マトリクス内では画素の感度特性が異なり、単位マトリクス同士では対応する位置の画素の感度特性が同じとなる、感度特性がモザイク状を呈する感度モザイク画像を表わす撮像信号が前記撮像部から出力されるようにした。
【０１８２】
これにより、偶奇ラインに拘わらずライン内でも細かに電荷蓄積時間を制御可能となり、ｍ×ｎの単位マトリクス内の単位画素や単位フィルタごとに蓄積時間を違えて撮像することで感度モザイク画像が得られる。そして、この感度モザイク画像の単位画素の感度を均一化する処理を施すことで、ダイナミックレンジの広いモノクロ画像やカラー画像を得ることができるようになった。
【０１８３】
加えて、ライン内でも細かに電荷蓄積時間を制御することができるので、２段階に限らずより多段階（たとえば４段階以上）の蓄積時間を細かに設定することが可能となり、非常に滑らかな階調をもつ広ダイナミックレンジ画像を得ることができる。
【０１８４】
また、電荷生成部により生成された電荷を電荷蓄積部に一旦転送してから所定のタイミングで信号電荷を取り出す構成としているので、グローバルシャッタ機能と組み合わせることで、異なった蓄積時間を持つ画素の露光期間の同時性を高めることができ、ライン方向のシェーディングを防止しつつ、動きのある被写体（移動体）を広ダイナミックレンジで正しく撮像することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る固体撮像装置の概略構成図である。
【図２】図１に示した固体撮像装置の撮像部における単位画素の第１実施形態の詳細例を示した図である。
【図３】第１実施形態の単位画素を備えた固体撮像装置における走査のタイミングチャートの一例である。
【図４】２×２画素の単位マトリクスの概略構成を示す図である。
【図５】２×２画素の単位マトリクスとする場合のリセットＴｒ駆動クロック線と転送ゲート駆動クロック線の配線形態の一例を示す図である。
【図６】単位マトリクス内の個々の単位画素に対する駆動タイミングと電荷量の時間変化の一例を示す図である。
【図７】図１に示した固体撮像装置の撮像部における単位画素の第２実施形態の詳細例を示した図である。
【図８】図１に示した固体撮像装置の撮像部における単位画素の第３実施形態の詳細例を示した図である。
【図９】第３実施形態の単位画素を備えた固体撮像装置における走査のタイミングチャートの一例である。
【図１０】３×３画素を単位マトリクスとした駆動手法を説明する図である。
【図１１】２×２画素を単位マトリクスとしつつ、読出選択用トランジスタとリセットトランジスタの配線対象の行／列を逆にした構成を示す図である。
【図１２】２×２画素を単位マトリクスとしつつ、行列方向に対して斜め方向に読出選択用トランジスタとリセットトランジスタの駆動クロック線を設けた構成を示す図である。
【図１３】色・感度モザイクパターンＰ１を示す図である。
【図１４】色・感度モザイクパターンＰ２を示す図である。
【図１５】色・感度モザイクパターンＰ３を示す図である。
【図１６】色・感度モザイクパターンＰ４を示す図である。
【図１７】第１のデモザイク処理の概要を示す図である。
【図１８】第２のデモザイク処理の概要を示す図である。
【図１９】第２のデモザイク処理における抽出処理と色補間処理の概要を示す図である。
【図２０】第２のデモザイク処理における挿入処理の概要を示す図である。
【図２１】第３のデモザイク処理の概要を示す図である。
【図２２】第３のデモザイク処理の手順を示すフローチャートである。
【図２３】輝度画像生成処理（Ｓ１１１）の詳細手順を示すフローチャートである。
【図２４】単色画像生成処理の詳細手順を示したフローチャートである。
【図２５】合成感度補償ＬＵＴについて説明するための図である。（その１）
【図２６】合成感度補償ＬＵＴについて説明するための図である。（その１）
【図２７】第４のデモザイク処理の概要を示す図である。
【図２８】第５のデモザイク処理の概要を示す図である。
【符号の説明】
１…固体撮像装置、３…単位画素、５…画素信号生成部、７…駆動制御部、１０…撮像部、１２…水平走査回路、１４…垂直走査回路、１６…垂直列選択駆動部、２０…タイミングジェネレータ、２６…ＣＤＳ処理部、２８…出力バッファ、３２…電荷生成部、３４…読出選択用トランジスタ、３６…リセットトランジスタ、３８…フローティングディフュージョン、３９…遮光部材、４０…垂直選択用トランジスタ、４２…増幅用トランジスタ、４４…電荷蓄積部、４６…転送ゲート部、４８…制御スイッチ、５０…水平選択用トランジスタ、１００…外部回路１００、１１０…Ａ／Ｄ変換部、１２０…デモザイク処理部、１３０…デジタル信号処理部、１３２…選択部、１３６…Ｄ／Ａ変換部
【発明の属する技術分野】
本発明は、単位画素が２次元マトリクス状に配置された固体撮像装置（撮像素子）、並びにこのような固体撮像装置を有してなる撮像装置に関する。より詳細には、ＭＯＳ型やＣＭＯＳ型など、単位画素からの画素信号をアドレス制御にて読み出す方式におけるダイナミックレンジの拡大技術に関する。
【０００２】
【従来の技術】
撮像部内に複数の光電変換素子（フォトダイオードなど）からなる電荷生成部から画素信号を読み出す際、画素位置をアドレス制御によりコントロールして読み出す方式の固体撮像素子（アクティブピクセルイメージセンサ；以下アドレス制御型固体撮像素子という）として、ＭＯＳ（Metal Oxide Semiconductor ）型やＣＭＯＳ（Complementary Metal 0xide Semiconductor ）型（以下特に断りのない限りＭＯＳ型で代表して説明する）のものがある。たとえば、単位画素が２次元マトリクス状に配設されたものを、Ｘ−Ｙアドレス制御型固体撮像素子と称している。
【０００３】
アドレス制御型固体撮像素子は、たとえば画素を選択するスイッチング素子や、信号電荷を読み出すスイッチング素子にＭＯＳトランジスタが用いられている。また、水平走査回路や垂直走査回路にＭＯＳトランジスタが用いられ、スイッチング素子と一連の構成で製造を行なうことができる利点を有している。
【０００４】
そして、たとえばＭＯＳ型固体撮像素子では、各単位画素がＭＯＳトランジスタを有して構成され、光電変換により画素に蓄積された信号電荷を画素信号生成部に読み出して、信号電荷を電流信号や電圧信号に変換して出力する構成となっている。
【０００５】
画素信号生成部からは、光電変換によって単位画素に蓄積される電荷量に対してほぼ線形な出力信号が得られ、単位画素に蓄積できる電荷量によって撮像素子のダイナミックレンジが決定される。この撮像素子のダイナミックレンジは、画素の飽和信号量とノイズレベルで一義的に決まる。つまり、撮像素子の出力レベルの下限はノイズレベルで限定され、上限は飽和レベルで限定されて使用可能な動作レンジが定まるとともに、撮像素子の出力レベル特性の傾きは一定の値となっているために、結果として撮像素子のダイナミックレンジは一義的に定まる。
【０００６】
このようなダイナミックレンジの制限により、被写体の高輝度部分（たとえば金属光沢を有する部分など）でハレーションが発生したり、逆に自動露光調節がこの高輝度部分の影響を受けて、被写体の全体が暗くなってしまうことがある。
【０００７】
このような問題を解消する一手法として、ＣＣＤ（電荷結合素子；Charge Coupled Device） を撮像素子として備える方式においては、低速シャッタ（長時間の電荷蓄積）で撮像した低輝度部分が比較的明瞭な画像と、高速シャッタ（短時間の電荷蓄積）で撮像した高輝度部分が比較的明瞭な画像とを混合するなど、異なった露光時間により得られた複数の画像を合成することで、広ダイナミックレンジの画像を生成する技術が提案されている。
【０００８】
たとえば、インタレース読出しをする方式においては、１フレーム中のたとえば奇数フィールドで低速シャッタ撮像を行なうとともに偶数フィールドで高速シャッタ撮像を行ない、これにより得た２つの画像に基づいてダイナミックレンジ拡大処理を行なうようになっている。しかしながら、この方式では、２フィールドの画像から１画像を生成するために、撮像素子が本来有する画素構成に比して、垂直解像度が半分に低下してしまうという難点がある。
【０００９】
また、この垂直解像度の低下の問題を解消しつつ広ダイナミックレンジの画像を生成する技術が特許文献１に提案されている。
【００１０】
【特許文献１】
特開平１１−１５０６８７号公報
【００１１】
この特許文献１に記載の技術は、撮像素子を構成する奇数ライン画素と偶数ライン画素とで異なる時間の電荷蓄積を行ない、奇数ライン画素からの撮像信号と偶数ライン画素からの撮像信号とに基づいてダイナミックレンジを拡大した１つの画像を得るものである。
【００１２】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の技術では、ＣＣＤのデバイス構成上の理由から、垂直方向の偶奇ラインで蓄積時間を制御することしかできない、つまり蓄積時間の制御の自由度が２段階しかないという難点がある。
【００１３】
本発明は、上記事情に鑑みてなされたものであり、蓄積時間の制御の自由度を持ちつつ広ダイナミックレンジの画像を得ることのできる固体撮像装置およびこの固体撮像装置を備えてなる撮像装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明に係る固体撮像装置は、それぞれ画素に対応して、光を受光する受光面を有し受光した光に対応する電荷を生成する電荷生成部、前記電荷生成部により生成された電荷を蓄積する電荷蓄積部、前記電荷生成部と前記電荷蓄積部との間に配設され前記電荷生成部により生成された電荷を前記電荷蓄積部に転送する転送ゲート部、前記電荷蓄積部に蓄積されている電荷を掃き出させるリセット部、および、前記電荷蓄積部に蓄積した電荷に応じた画素信号を生成して指示されたタイミングで後段回路へ出力する画素信号生成部を含む単位画素が２次元状に備えられている撮像部と、前記撮像部に配線されている前記転送ゲート部を駆動するための駆動パルスを伝送する転送クロック線、および前記転送クロック線と互いに交差するように配置され、前記リセット部を駆動するための駆動パルスを伝送するリセットクロック線と、を備え、ｍ×ｎの単位画素で構成された単位マトリクス内では各単位画素の電荷蓄積時間が異なり、かつ、単位マトリクス同士では対応する位置の単位画素の電荷蓄積時間が同じとなる対応する駆動パルスが前記転送クロック線と前記リセットクロック線に印加されることにより、単位マトリクス内では画素の感度特性が異なり、単位マトリクス同士では対応する位置の画素の感度特性が同じ状態となる、感度特性がモザイク状を呈する感度モザイク画像を表わす撮像信号が前記撮像部から出力される。
【００１６】
また、本発明に係る撮像装置は、それぞれ画素に対応して、光を受光する受光面を有し受光した光に対応する電荷を生成する電荷生成部、前記電荷生成部により生成された電荷を蓄積する電荷蓄積部、前記電荷生成部と前記電荷蓄積部との間に配設され前記電荷生成部により生成された電荷を前記電荷蓄積部に転送する転送ゲート部、前記電荷蓄積部に蓄積されている電荷を掃き出させるリセット部、および、前記電荷蓄積部に蓄積した電荷に応じた画素信号を生成して指示されたタイミングで後段回路へ出力する画素信号生成部を含む単位画素が２次元状に備えられている撮像部と、前記撮像部に配線されている前記転送ゲート部を駆動するための駆動パルスを伝送する転送クロック線、および前記転送クロック線と互いに交差するように配置され、前記リセット部を駆動するための駆動パルスを伝送するリセットクロック線とを備えた固体撮像素子と、ｍ×ｎの単位画素で構成された単位マトリクス内では各単位画素の電荷蓄積時間が異なり、かつ、単位マトリクス同士では対応する位置の単位画素の電荷蓄積時間が同じとなる駆動パルスを前記転送クロック線と前記リセットクロック線に対して印加する駆動制御部と、を備え、単位マトリクス内では画素の感度特性が異なり、単位マトリクス同士では対応する位置の画素の感度特性が同じ状態となる、感度特性がモザイク状を呈する感度モザイク画像を表わす撮像信号が前記撮像部から出力される。
【００１７】
また従属項に記載された発明は、本発明に係る固体撮像素子や固体撮像装置のさらなる有利な具体例を規定する。たとえば、単位画素の表面には光を遮光する遮光部材を、少なくとも電荷生成部の上部には開口部が形成されるように配置することが望ましい。
【００１８】
また、駆動制御部は、固体撮像素子から得られる感度モザイク画像の単位マトリクス内では、カラムごとに、それぞれ異なる蓄積露光時間となるように駆動パルスの印加タイミングを制御するとよい。
【００１９】
また、カラー画像を撮像するためのカラーフィルタが配列されたものとしてもよい。この場合、３原色成分がベイヤ配列されたものであることが望ましい。また、カラーフィルタの配列における繰返し単位ごとに露光蓄積時間（すなわち感度特性）が制御されるものとすることが望ましい。つまり、カラーフィルタの配列における繰返し単位では全画素が同一の露光蓄積時間となり、複数の繰返し単位で形成される単位マトリクスでは、各繰返し単位に対して異なる露光蓄積時間（好ましくは全繰返し単位がそれぞれ異なる露光蓄積時間）となるようにするとよい。
【００２０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。なお、以下においては、Ｘ−Ｙアドレス型の固体撮像装置の一例である、ＣＭＯＳ撮像素子に適用した場合を例に説明する。
【００２１】
＜固体撮像装置の構成＞
図１は、本発明の一実施形態に係る固体撮像装置の概略構成図である。この固体撮像装置１は、カラー画像を撮像し得る電子スチルカメラとして適用されるようになっている。また、静止画撮像モードに限らず、３０フレーム／秒に近いフレームレート（たとえば１０フレーム以上／秒）での動画撮影モードも用意されている。また、通常の露光制御を行なう通常モードと、広ダイナミックレンジの画像を得る広ダイナミックレンジモードとが用意されている。
【００２２】
固体撮像装置１は、画素が行および列に配列された（すなわち２次元マトリクス状の）撮像部を有し、各画素からの信号出力が電圧信号であって、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理機能部が各列ごとに設けられたカラム型のものである。すなわち、図１（Ａ）に示すように、固体撮像装置１は、複数の単位画素３が行および列に配列された撮像部１０と、撮像部１０の外側に設けられた駆動制御部７と、ＣＤＳ処理部２６とを備えている。駆動制御部７としては、たとえば、水平走査回路１２と垂直走査回路１４を備える。
【００２３】
図１（Ａ）では、簡単のため行および列の一部を省略して示しているが、現実には、各行や各列には、数十から数千の画素が配置される。また、駆動制御部７の他の構成要素として、水平走査回路１２、垂直走査回路１４、およびＣＤＳ処理部２６に所定タイミングのパルス信号を供給するタイミングジェネレータ２０が設けられている。これらの駆動制御部７の各要素は、撮像部１０とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され固体撮像素子として構成される。
【００２４】
単位画素３は、垂直列選択のための垂直制御線１５を介して垂直走査回路１４と、垂直信号線１９を介してＣＤＳ処理部２６と、それぞれ接続されている。水平走査回路１２や垂直走査回路１４は、たとえばシフトレジスタによって構成され、タイミングジェネレータ２０から与えられる駆動パルスに応答してシフト動作（走査）を開始するようになっている。このため、垂直制御線１５には、単位画素３を駆動するための種々のパルス信号が含まれる。
【００２５】
ＣＤＳ処理部２６は列ごとに設けられており、タイミングジェネレータ２０から与えられるサンプルパルスＳＨＰとサンプルパルスＳＨＤといった２つのサンプルパルスに基づいて、垂直信号線１９を介して入力された電圧モードの画素信号に対して、画素リセット直後の信号レベル（ノイズレベル）と信号レベルとの差分をとる処理を行なうことで、固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise ）やリセットノイズといわれるノイズ信号成分を取り除く。なお、ＣＤＳ処理部２６の後段には、必要に応じてＡＧＣ(Auto Gain Control) 回路やＡＤＣ(Analog Digital Converter)回路などをＣＤＳ処理部２６と同一の半導体領域に設けることも可能である。
【００２６】
ＣＤＳ処理部２６により処理された電圧信号は、水平信号線１８に伝達され、その後、水平走査回路１２からの水平選択信号により駆動される図示しない水平選択スイッチを介して出力バッファ２８に入力され、この後、撮像信号Ｓ０として外部回路１００に供給される。つまり、カラム型の固体撮像装置１においては、単位画素３からの出力信号（電圧信号）が、垂直信号線１９→ＣＤＳ処理部２６→水平信号線１８→出力バッファ２８の順で出力される。その駆動は、１行分の画素出力信号を垂直信号線１９を介してパラレルにＣＤＳ処理部２６に送り、ＣＤＳ処理後の信号を水平信号線１８を介してシリアルに出力するようにする。垂直制御線１５は、各行の選択を制御するものである。
【００２７】
ここで、本実施形態の固体撮像装置１の特徴部分として、駆動制御部７は、撮像部１０における単位画素３の行方向および列方向ともに複数を１つの単位マトリクスとして、単位マトリクス内の各単位画素３の電荷蓄積時間を個別に制御するようになっている。こうすることで、撮像部１０を中心とする図示しない光学系の撮像処理によって、被写体を画素ごとに異なる色と感度（露光時間を変えることで感度可変を実現）で撮像し、色と感度がモザイク（２次元マトリクス）状になった画像（以下、色・感度モザイク画像と記述し、その詳細は後述する）を得ることができるようになる。
【００２８】
なお、垂直列や水平列ごとの駆動が可能である限り、それぞれのパルス信号を単位画素３に対して行方向および列方向の何れに配するか、すなわちパルス信号を印加するための駆動クロック線の物理的な配線方法は自由である。典型例としては、蓄積部間の電荷の移動を行なう転送クロック線と蓄積部のリセットを行なうリセットクロック線とを、それぞれ独立に駆動パルスを印加可能な複数系統に分けるとともに、転送クロック線とリセットクロック線とを交差するように配置し、マトリクス状に蓄積時間を制御する構成とする。
【００２９】
固体撮像装置１の外部回路１００としては、広ダイナミックレンジモードに対応した回路構成が採られる。この場合、蓄積時間の制御手法に応じた回路構成とする。たとえば、図１（Ｂ）に示すように、出力バッファ２８から出力されたアナログの撮像信号Ｓ０をデジタルの撮像データＤ０に変換するＡ／Ｄ（Analog to Digital ）変換部１１０と、電荷蓄積時間に応じた色・感度モザイク画像に対して所定の画像処理を施すことで各画素が全ての色成分を有しかつ均一の感度を有する画像を表す画像データＤ１を生成するダイナミックレンジ拡大処理部の一例であるデモザイク処理部１２０と、Ａ／Ｄ変換部１１０から出力された撮像データＤ０に基づいてデジタル信号処理を施すデジタル信号処理部（ＤＳＰ；Digital Signal Processor）１３０とを備える。
【００３０】
デモザイク処理部１２０は、行方向および列方向ともに複数の単位画素３からなる２次元マトリクス内において個別の電荷蓄積時間が設定されて読み出された各単位画素３からの画素信号により表される色・感度モザイク画像に基づいて、信号処理（デモザイク処理）により画像のダイナミックレンジを拡大する信号処理部としての機能を備える。このダイナミックレンジを拡大するデモザイク処理に際しては、色・感度モザイク画像を元にして、補間処理にて、正常な被写体画像を取得する。
【００３１】
補間処理は、カラーフィルタの色配列や電荷蓄積時間の配列、すなわち色や感度のモザイクパターンに応じて、その仕組みを工夫する。たとえばデモザイク処理部１２０は、色・感度モザイク画像をフィールド単位で色や感度のモザイクパターンに応じて画素補間することにより広ダイナミックレンジの画像を生成する。あるいは、読出フィールドごとに単位マトリクス内の各単位画素３の電荷蓄積時間の組合せを切り替えることで得られる複数の色・感度モザイク画像に基づいて時間補間により広ダイナミックレンジの画像を生成する。
【００３２】
デジタル信号処理部１３０は、通常モードのときに、従来と同様の色分離処理を施してＲ（赤），Ｇ（緑），Ｂ（青）の各画像を表す画像データＲＧＢを生成し、この画像データＲＧＢに対してその他の信号処理を施してモニター出力用の画像データＤ２を生成する。
【００３３】
また外部回路１００は、通常モードのときにはデジタル信号処理部１３０にてデジタル処理された画像データＤ２を選択し広ダイナミックレンジモードのときにはデモザイク処理部１２０から出力された画像データＤ１を選択する選択部１３２と、この選択部１３２から出力されたデータＤ３（Ｄ１およびＤ２のうちの何れか一方）をアナログの画像信号Ｓ１に変換するＤ／Ａ（Digital to Analog ）変換部１３６とを備える。Ｄ／Ａ変換部１３６から出力された画像信号Ｓ１は、図示しない液晶モニターなどの表示デバイスに送られる。操作者は、この表示デバイスの表示画像を見ながら各種の操作を行なうことが可能になっている。
【００３４】
また図１（Ｃ）に示す構成の外部回路１００では、選択部１３２の配置位置が図１（Ｂ）に示す構成と異なる。すなわち、この外部回路１００は、広ダイナミックレンジモードのときにはデモザイク処理部１２０から出力された画像データＤ１を選択し、通常モードのときにはＡ／Ｄ変換部１１０から出力された撮像データＤ０を選択する選択部１３２と、この選択部１３２から出力されたデータＤ３（Ｄ０およびＤ１のうちの何れか一方）に対してデジタル信号処理を施すデジタル信号処理部（ＤＳＰ）１３０と、デジタル信号処理部１３０にてデジタル処理された画像データＤ２をアナログの画像信号Ｓ１に変換するＤ／Ａ変換部１３６とを備える。
【００３５】
デジタル信号処理部１３０は、通常モードのときには従来と同様の色分離処理を施してＲ，Ｇ，Ｂの各画像を表す画像データＲＧＢを生成し、この画像データＲＧＢに対してその他の信号処理を施してモニター出力用の画像データＤ２を生成し、Ｄ／Ａ変換部１３６に渡す。また、広ダイナミックレンジモードのときには、デモザイク処理部１２０からＲ，Ｇ，Ｂの各画像を表す画像データＤ２（画像データＲＧＢ）を取得し、通常モードと同様にしてモニター出力用の画像データＤ２を生成し、Ｄ／Ａ変換部１３６に渡す。つまり、この図１（Ｃ）に示す構成は、通常モードと広ダイナミックレンジモードとで、デジタル信号処理部１３０を共用する構成となっている。
【００３６】
＜単位画素の構成；第１例＞
図２は、図１に示した固体撮像装置１の撮像部１０における単位画素３の第１実施形態の詳細例を示した図である。ここで図２（Ａ）は単位画素３（一部周辺部を含む）の基本的な等価回路図、図２（Ｂ）は断面図である。
【００３７】
この第１実施形態の単位画素３は、ｍ×ｎ（画素またはエリア；ｍ，ｎは正の整数でｍ＝ｎも可）の単位マトリクスからなる組について、組（単位マトリクス）内では蓄積時間差を有するが組（単位マトリクス）間では蓄積時間差を生じることのない電子シャッタ機能である“擬似グローバルシャッタ機能”を実現するように構成されている。以下、具体的に説明する。
【００３８】
単位画素３は、図２（Ａ）に示すように、光を電荷に変換する光電変換機能とともに、その電荷を蓄積する電荷蓄積機能の各機能を兼ね備えた電荷生成部３２と、電荷生成部３２に対して、電荷読出部（転送ゲート部／読出ゲート部）の一例である読出選択用トランジスタ３４、リセットゲート部の一例であるリセットトランジスタ３６、垂直選択用トランジスタ４０、およびフローティングディフュージョン３８の電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタ４２の４つのＭＯＳトランジスタを有する。また、単位画素３は、電荷蓄積部の機能を備えた電荷注入部の一例であるフローティングディフュージョン３８とからなるＦＤＡ（Floating Diffusion Amp）構成の画素信号生成部５を有するものとなっている。なお、このような単位画素３の構成は、汎用的な４トランジスタ画素のＣＭＯＳセンサであって、従来からよく知られた構成である。
【００３９】
画素信号生成部５におけるリセットトランジスタ３６は、ソースがフローティングディフュージョン３８に、ドレインが電源ＶＤＤにそれぞれ接続され、ゲート（リセットゲートＲＧ）にはリセットパルスが入力される。このリセットトランジスタ３６は、フローティングディフュージョン３８を電源ＶＤＤにリセットするためにデプレッション型である。また、増幅用トランジスタ４２は、ドレインが電源ＶＤＤに接続され、ソースが垂直選択用トランジスタ４０のドレインに接続されている。また、垂直選択用トランジスタ４０は、ドレインが画素線５１を介して垂直信号線１９に接続され、ゲート（特に垂直選択ゲートＳＥＬＶという）は垂直選択線５２に接続されている。この垂直選択線５２には、垂直選択信号が印加される。
【００４０】
この第１実施形態の単位画素３は、単位マトリクス内では蓄積時間差を有するが組間では蓄積時間差を生じることのない“擬似グローバルシャッタ機能”を実現するために、電荷生成部３２（フォトダイオードＰＤ）にて生成された信号電荷を全画素同時に転送させた後一定期間保持する電荷蓄積部をフローティングディフュージョン３８のみで機能させるようにした点に特徴を有する。この場合、読出選択用トランジスタ３４の読出ゲートＲＯＧが、フレームシフトゲートＦＳＧの機能を果たす。すなわち、電荷生成部３２を構成するフォトダイオードＰＤのカソードには読出選択用トランジスタ３４のソースが接続され、読出選択用トランジスタ３４のドレインが電荷蓄積部であるフローティングディフュージョン３８に接続されている。
【００４１】
単位画素３は、その断面図を図２（Ｂ）に示すように、シリコンからなる半導体基板ＮＳＵＢ（ｎ型のＳｉ基板）上にオーバーフローバリアを形成するｐ型層であるｐ型ウェル（Ｐ−Ｗｅｌｌ）が形成されている。そして、このｐ型ウェル上にｎ型層（Ｎ＋）が形成されることで、ｐｎ接合のフォトダイオードＰＤによる電荷生成部３２が構成されている。
【００４２】
単位画素３の最終的な構造としては、単位画素３のほぼ全面に光を遮光する遮光部材（遮光膜）３９を設け、電荷生成部３２上に開口部３９ａを設けて電荷生成部３２の受光面を形成する。つまり、電荷生成部３２よりも感光性の弱いフローティングディフュージョン３８などの、この開口部３９ａを除く部分を遮光膜で覆うことで、電荷生成部３２以外の部分への外部光の入射を阻止する構造を採る。なお、この遮光部材３９は、電荷生成部３２上の開口部３９ａを除く全面を覆うものでなくてもよい。ただしこの場合でも、少なくとも、転送ゲート部をなす読出選択用トランジスタ３４部分と画素信号生成部５との間に配されている電荷蓄積部をなすフローティングディフュージョン３８上には遮光部材３９が配されるようにする。このフローティングディフュージョン３８は、画素信号生成部５にて検知される信号電荷を蓄積する直接的な部分であるので、この部分への光の入射により不要な電荷が発生することを防止するためである。
【００４３】
こうすることで、電荷生成部３２で光電変換された電荷のみを信号電荷量として考慮すればよくなり、各画素に対する露光時間制御の精度を高めることができる。また、電荷生成部３２上には、カラーフィルタやマイクロレンズなどをオンチップにて形成する。こうすることで、カラー撮像が可能となるとともに、画像電荷生成部３２への入射光量を高めることでＳ／Ｎの良好な画像が得られるようになる。
【００４４】
電荷生成部３２を構成するフォトダイオードＰＤは、界面準位によって発生する電荷の湧出し（暗電流）を抑制するようにＳｉ界面をピニングさせるｐ型高濃度（ｐ++）層を正孔蓄積層として感光領域の基板表面側に付加形成した構造となっている。そして、この電荷生成部３２は、入射光をその光量に応じた電荷量の信号電荷に光電変換し、かつその信号電荷をｎ型層（Ｎ＋）に蓄積する。
【００４５】
そして、このフォトダイオードＰＤに対して図２（Ｂ）中左側に、読出選択用トランジスタ３４、フローティングディフュージョン３８を形成するＮ++層、リセットトランジスタ３６、電源ＶＤＤに接続されリセットドレインＲＤを形成するＮ++層、およびチャネルストップＣＳａを形成するＰ＋層およびＳｉＯ２層がこの順に水平方向（図の左方向）に形成されている。電荷生成部３２の図中右側にも、チャネルストップＣＳｂを形成するＰ＋層およびＳｉＯ２層が設けられている。チャネルストップＣＳａ，ＣＳｂは、当該単位画素３に隣接する他の単位画素３のチャネルストップＣＳａを意味する。これらの構造は従来のＣＭＯＳ型固体撮像素子のそれと同じである。
【００４６】
読出選択用トランジスタ３４およびリセットトランジスタ３６の基板表面側には、たとえばポリシリコンによって単層もしくは２層構造にて形成された電極（ゲート電極）が配設されている。そして、読出選択用トランジスタ３４のゲート電極（特に読出ゲートＲＯＧという）には読出パルスが入力され、リセットトランジスタ３６のゲート電極（特にリセットゲートＲＧという）にはリセットパルスが入力されるようになっている。
【００４７】
また、電荷生成部３２のフォトダイオードＰＤとフローティングディフュージョン３８との間に配される読出選択用トランジスタ３４、あるいはフローティングディフュージョン３８とリセットドレインＲＤとしての電源ＶＤＤとの間に配されるリセットトランジスタ３６は、オフ状態でチャネルの表面が信号電荷とは反対の導電形の電荷を蓄積した状態を形成可能となる。なお、このような状態を形成させるためにオフ時にゲート電極に印加する電圧は、各素子の不純物のイオン濃度（ドーズ量）やゲート電極の膜厚に依存する。このため、読出選択用トランジスタ３４やリセットトランジスタ３６の部分には、ｎ−またはｐ−によるイオンインプランテーションにて不純物濃度差を付ける、あるいは、読出選択用トランジスタ３４とリセットトランジスタ３６との酸化膜厚差を付ける、などによる障壁（ポテンシャル差）を付けておくとよい。
【００４８】
イオンインプランテーション量や酸化膜厚差を制御することでポテンシャル差を制御することができるので、電荷生成部３２からフローティングディフュージョン３８への信号電荷の転送効率を調整することも可能となる。加えて、ゲート電極下のチャネル領域表面が反転状態になるよう所定の電位を印加してオフさせると界面準位が正孔で埋められる（ピニング；pinning という）。このため、電荷転送路としての読出選択用トランジスタ３４やリセットトランジスタ３６では、オフ時に所定の電位を印加することで界面準位が原因となって発生する暗電流を抑制することもできる。
【００４９】
このように、第１実施形態の単位画素３は、高感度側の撮像を伴う高ダイナミックレンジモード時においてもノイズの少ない良好な画像が得られるように、様々な観点から、ノイズ対策が採られている。
【００５０】
図３は、第１実施形態の単位画素３を備えた固体撮像装置１における走査のタイミングチャートの一例である。ここでは、先ず、全画素について共通の電荷蓄積時間を設定する通常モードでの動作で示す。単位マトリクス内の単位画素３に対して個別に電荷蓄積時間を設定する広ダイナミックレンジモードの場合には、図示する露光蓄積期間内で、後述するようなタイミングで、転送ゲートパルス（読出パルス）ＲＯＧとリセットパルスＲＳＴ（ＲＧ）を単位マトリクス内の各単位画素３に対して個別に設定するとよい。
【００５１】
先ず、電荷生成部３２のフォトダイオードＰＤを露光して信号電荷をそのフォトダイオードＰＤに蓄積するのに先立って、読出パルスをアクティブ（Ｈ；ハイ）にして読出選択用トランジスタ３４をオンさせることで、この時点においてフォトダイオードＰＤに蓄積されている不要な電荷（不要電間）をフローティングディフュージョン３８側に掃き捨てる（ｔ０〜ｔ２）。その後、フォトダイオードＰＤとフローティングディフュージョン３８との間のゲート機能部分である読出選択用トランジスタ３４を閉じて、露光蓄積開始となる。これらの処理は、全画素について略同時に行なう。
【００５２】
この露光蓄積状態と並行して、リセットパルスをアクティブにしてリセットトランジスタ３６をオンさせることで、フローティングディフュージョン３８をリセットトランジスタ３６を通して電源ＶＤＤにリセットする。これにより、電荷生成部３２から読出選択用トランジスタ３４を経由してフローティングディフュージョン３８に転送された不要電荷が電源ＶＤＤに掃き出される。この処理は、信号電荷蓄積の完了前に完結していればよい。図では、ｔ２〜ｔ４にてリセットパルスをアクティブにしているが、この例に限らず、図中において、多少右側にシフトした位置にてこの処理を行なってもよい。
【００５３】
次に、電荷生成部３２にて得た信号電荷を全画素同時にフローティングディフュージョン３８に転送させる（フレームシフトさせる）のに先立って、再度フローティングディフュージョンＦＤをクリアにしておく。このため、露光蓄積完了時にフレームシフトパルスをアクティブにするのに先立って、リセットパルスをアクティブにしてリセットトランジスタ３６をオンさせる（ｔ６〜ｔ８）。
【００５４】
次に、電荷生成部３２にて得た信号電荷を全画素同時にフローティングディフュージョン３８に転送させるため、全画素について略同時に、読出パルスをアクティブにして、フォトダイオードＰＤが露光されることで生成された信号電荷をフローティングディフュージョンＦＤに転送させる（ｔ１０〜ｔ１２）。こうすることで、信号電荷がフローティングディフュージョンＦＤに注入され、フローティングディフュージョンＦＤでは、その電荷量に応じた電位変化が現れる。
【００５５】
次に、信号電荷を電荷生成部３２からフローティングディフュージョン３８に転送させた後の所定の時点において、読出対象画素である、任意の水平ラインにおける所定位置の画素について、水平選択信号をアクティブにすることで、水平選択用トランジスタ５０をオンさせる（ｔ１４）。
【００５６】
次に、サンプルパルスＳＨＤをアクティブにすることで、ＣＤＳ処理部２６においては、信号電荷量に応じた画素信号レベルを保持する（ｔ１６〜ｔ１８）。この後、リセットゲートパルスをアクティブにしてリセットトランジスタ３６をオンさせ、フローティングディフュージョンＦＤをクリアにしてからリセットゲートパルスをインアクティブにする（ｔ２０〜ｔ２２）。この状態にてサンプルパルスＳＨＰをアクティブにすることで、ＣＤＳ処理部２６においては、クリアにされた時点の画素信号レベル（リセットレベル）を保持する（ｔ２８〜ｔ３０）。この後、水平選択信号をインアクティブにする（ｔ３２）。ＣＤＳ処理部２６は、サンプルパルスＳＨＰにて取得したリセットレベルとサンプルパルスＳＨＤにて取得した画素信号レベルとの差を取ることで、固定パターンノイズＦＰＮやリセットノイズを取り除く。このように、第１実施形態の単位画素３の構成では、通常モード時にグローバルシャッタ機能を実現することができる。
【００５７】
なお、第１実施形態の単位画素３の構成においては、通常の駆動制御方法のようにして、フローティングディフュージョン３８に信号電荷を転送させるタイミングは、画素ごとに異なるものとしてもよい。つまり、第１実施形態の単位画素３のような構造の場合、グローバルシャッタ機能を使わないこともできる。この点は、後述する広ダイナミックレンジモード時でも同様である。
【００５８】
＜マトリクス制御形態＞
図４、図５、および図６は、第１実施形態の単位画素３を備えた固体撮像装置１において、単位マトリクス内で個々の単位画素３に蓄積時間差を持たせる仕組みについて説明する図である。説明を簡単にするため、先ず、単位画素３を２×２画素とする単位マトリクスを１組として、この単位マトリクス内にて、個々の単位画素３の電荷蓄積時間をコントロールすることを例に説明する。図４に２×２画素の単位マトリクスの概略構成図を示し、図５に２×２画素の単位マトリクスとする場合のリセットトランジスタ３６を駆動するためのリセットクロック線（リセットＴｒ駆動クロック線）と読出選択用トランジスタ３４を駆動するための転送クロック線（転送ゲート駆動クロック線）の配線形態の一例を示し、図６に単位マトリクス内の個々の単位画素３に対する駆動タイミングと電荷量の時間変化の一例を示す。
【００５９】
図４に示すように、単位マトリクス内の画素構成は、電荷生成部３２（フォトダイオードＰＤ）、フローティングディフュージョン３８、行方向の画素を選択するための垂直選択用トランジスタ４０、およびフローティングディフュージョン３８の電位を検出するための増幅用トランジスタ４２を有する単位画素３、フローティングディフュージョン３８の電位をリセットレベルにリセットするリセットトランジスタ３６、電荷生成部３２からフローティングディフュージョン３８に電荷を転送するための読出選択用トランジスタ３４が２次元状に配列されている。なお、図４では垂直選択用トランジスタ４０および増幅用トランジスタ４２を割愛して示している。
【００６０】
図４および図５（Ａ）に示すように、リセットトランジスタ３６を駆動するためのリセットＴｒ駆動クロック線は行方向に、読出選択用トランジスタ３４を駆動するための転送ゲート駆動クロック線は列方向に、互いに交差するように配線されている。そして、図４に示すようにそれぞれバッファ６０，６２を介して対応するパルス信号が入力されることで、図４および図５（Ａ）に示すようにマトリクス状に電荷蓄積時間を制御可能な構成となっている。
【００６１】
リセットトランジスタ３６は奇数行（２ｐ−１；ｐは正の整数）と偶数行（２ｐ）とで個別に駆動されるようになっている。たとえば、奇数行を駆動するためのクロック線は奇数行用のバッファ６０ｏを介し、また偶数行を駆動するためのクロック線は偶数行用のバッファ６０ｅを介し、対応するリセットゲートパルス信号ＲＳＴが入力されるようになっている。また、読出選択用トランジスタ３４は奇数列（２ｑ−１；ｑは正の整数）と偶数列（２ｑ）とで個別に駆動されるようになっている。たとえば、奇数列を駆動するためのクロック線は奇数列用のバッファ６２ｏを介し、また偶数列を駆動するためのクロック線は偶数列用のバッファ６２ｅを介し、対応する転送パルス信号ＲＯＧが入力されるようになっている。
【００６２】
すなわち、リセットＴｒ駆動クロック線は奇数行と偶数行とで、転送ゲート駆動クロック線は奇数列と偶数列とで、図６（Ａ）の各図における上部のタイミングチャートに示された駆動が行なわれる。このとき、電荷生成部３２（フォトダイオードＰＤ）とフローティングディフュージョン３８の電荷量の時間変化は図６（Ａ）の各図における下部のようになる。シャッタ動作をさせる前には、リセットゲートパルスＲＳＴをリセットトランジスタ３６に印加してフローティングディフュージョン３８の電荷をクリアしておく（図６（Ａ）中のｔａ）。この状態で撮像を行なうと、先ず電荷生成部３２に電荷が蓄積される。この蓄積電荷は読出選択用トランジスタ３４への転送ゲートパルスの印加によりフローティングディフュージョン３８に渡される（図６（Ａ）中のｔｂ，ｔｃ時点）。したがって、増幅用トランジスタ４２のドレインには、このフローティングディフュージョン３８の電荷量に応じた信号電圧が現れる。しかしながら、この時点では垂直選択用トランジスタ４０がオンしないので、実質的には読出しが行なわれない。
【００６３】
撮像し電荷生成部３２に電荷を蓄積している過程の所定のタイミングで、リセットトランジスタ３６にリセットゲートパルスが印加され、フローティングディフュージョン３８がクリアされる（図６（Ａ）中のｔｒ）。この後、実質的な読出タイミングを規定するべく、選択用トランジスタ３４に転送ゲートパルスが印加にされ、リセットゲートパルスＲＳＴがリセットトランジスタ３６に印加される直前の転送パルスＲＯＧ以降の期間に電荷生成部３２に蓄積されていた信号電荷がフローティングディフュージョン３８に渡される（図６（Ａ）中のｔｅ時点）。
【００６４】
したがって、増幅用トランジスタ４２のドレインには、このフローティングディフュージョン３８の電荷量に応じた信号電圧が現れる。この後、所定のタイミングで垂直選択用トランジスタ４０に垂直シフトパルスが印加され、ｔｅ時点におけるフローティングディフュージョン３８の電荷量に応じた信号電圧が、垂直信号線１９を介してＣＤＳ処理部２６に入力される。つまり、ｔｅ時点が実質的な読出タイミングとなり、最終的なリセットゲートパルスＲＳＴが立つ直前の転送パルスＲＯＧ以降の期間がその画素での電荷蓄積時間（露光蓄積期間）となり、２×２マトリクスのカラムごとに異なった電荷蓄積時間（つまり感度やシャッタ速度）を持たせることができる。
【００６５】
たとえば、奇数行かつ奇数列の単位画素３では、ｔｂ時点にフローティングディフュージョン３８に渡された信号電荷がその後のｔｒ時点のリセット動作により無効化されるため、ｔｅ時点にフローティングディフュージョン３８に渡された信号電荷のみが有効に利用されるので、図中“２”で示すように、ｔｂ時点からｔｅ時点までの２単位時間分が実質的な電荷蓄積時間となる。また、奇数行かつ偶数列の単位画素３では、ｔｂ時点にフローティングディフュージョン３８に渡されさらにｔｃ時点にもフローティングディフュージョン３８に渡された信号電荷がその後のｔｒ時点のリセット動作により無効化されるため、ｔｅ時点にフローティングディフュージョン３８に渡された信号電荷のみが有効に利用されるので、図中“１”で示すように、ｔｃ時点からｔｅ時点までの１単位時間分が実質的な電荷蓄積時間となる。
【００６６】
さらに、偶数行かつ奇数列の単位画素３では、ｔａ後のｔｂ時点の前にフローティングディフュージョン３８に対して行なわれるリセット動作は事実上何の影響も与えないので、ｔｂ時点にフローティングディフュージョン３８に渡されさらにｔｅ時点にもフローティングディフュージョン３８に渡された信号電荷が有効に利用されるので、図中“４”で示すように、ｔａ時点からｔｅ時点までの４単位時間分が実質的な電荷蓄積時間となる。また、偶数行かつ偶数列の単位画素３では、ｔｂ時点にフローティングディフュージョン３８に渡された信号電荷がその後のｔｒ時点のリセット動作により無効化されるため、ｔｃ時点にフローティングディフュージョン３８に渡されさらにｔｅ時点にもフローティングディフュージョン３８に渡された信号電荷のみが有効に利用されるので、図中“３”で示すように、ｔｂ時点からｔｅ時点までの３単位時間分が実質的な電荷蓄積時間となる。
【００６７】
よって、２×２画素の単位マトリクスについて、図６に示すようなタイミングで各単位画素３を駆動制御すれば、単位マトリクスにおける最大露光蓄積時間は、偶数行かつ奇数列の単位画素３の電荷蓄積時間にて決定される。そして、各単位画素３の電荷蓄積時間Ｔ１〜Ｔ４すなわち感度Ｓ０〜Ｓ３は、駆動パルスタイミングに応じた重み付けが設定されることとなる。つまり、駆動パルスの印加タイミングを調整することで、単位マトリクス内のそれぞれの感度が全て異なるようにすることができる。また、行および列の各駆動パルスによる重付けの組合せ変更することで、図６（Ｃ）に示すように、単位マトリクス内の各単位画素３の電荷蓄積時間（感度）の組合せを切り替えることができる。つまり、単位マトリクス内の各単位画素３の露光蓄積時間を違えることで、様々な感度モザイクパターンを構成することが可能となる。
【００６８】
また、カラーフィルタの配列パターンに対して上述した露光蓄積時間を違えることで実現される感度の配列パターンを適用することで、様々な色・感度モザイクパターンを構成することが可能となる。何れの場合も、同一の感度特性を有する複数の単位画素３に直目すればその単位画素３は格子状に配置され、感度モザイク画像を生成するようになる。また、色にも着目すれば、同一の色成分および感度特性を有する複数の単位画素３が格子状に配置され、かつ、感度特性に拘わらず、同一の色成分を有する複数の単位画素３も格子状に配置された色・感度モザイク画像を生成するようになる。
【００６９】
ただし、様々な感度モザイクパターンを構成することが可能となるとはいっても、たとえば２×２の単位マトリクスにて４段階の露光蓄積時間を設定する際の配列順には一定の制限があり、形成可能なモザイクパターンにも制限が生じる。たとえば、３段階の感度を設定することはできないし、たとえば感度Ｓ０の画素の上（下）あるいは右（左）には必ず感度Ｓ１もしくは感度Ｓ２の画素が存在するため、４段階の感度であっても対応できない配列パターンがある。たとえば、図６（Ｄ）に示すように、感度Ｓ０の画素の上（下）あるいは右（左）に感度Ｓ３が配されたものは対応できない。
【００７０】
なお、上記実施形態の駆動方法では、図６（Ｂ１）に示すように、単位マトリクス内の各画素からの実質的な読出しを同じタイミングとすることで、単位マトリクス内の各単位画素３の電荷蓄積期間を、最も長い蓄積時間を持つ画素すなわち最も感度の高い画素（本例では偶数行かつ奇数列の感度レベルＳ３の単位画素３）の蓄積期間に内包させることができる。図６（Ｂ２）に示すように、単位マトリクス内の各画素の露光期間がずれていると移動物体に対する破綻（具体的には画像のブレ）が多くなるが、図６（Ｂ１）に示すように駆動することで、単位マトリクス内の各画素からの読出しを同じタイミングとすることができ、各画素の電荷蓄積時間は異なるものの露光期間をほぼ同じ期間とすることができる。これにより、各画素の露光期間の同時性が高く、移動物体があった場合でも、広ダイナミックレンジ画像を生成したときの破綻が少ないという利点が得られる。
【００７１】
ただし、移動物体を対象としないケースや移動物体のブレを許容するケースでは、図６（Ｂ２）に示すような駆動タイミングで読出選択用トランジスタ３４やリセットトランジスタ３６を制御するようにしても構わない。つまり、第１実施形態の単位画素３の構成においては、通常の駆動制御方法のようにして、フローティングディフュージョン３８に信号電荷を転送させるタイミングは、画素ごとに異なるものとすることで、擬似グローバルシャッタ機能を使わないこともできる。
【００７２】
また、個々の単位画素３にそれぞれ異なる電荷蓄積時間を持たせることができるため、広ダイナミックレンジモード時には各単位画素３に対応するそれぞれ電荷蓄積時間の異なる画像を用いて１つの画像を合成することで、滑らかな階調を持つ広ダイナミックレンジ画像を示す映像出力信号を生成することができる。
【００７３】
加えて、電子シャッタのシャッタ速度、すなわち画素の電荷蓄積時間に相当する時間は信号電荷の排出時点から信号電荷の読み出し時点までで決まるが、各単位マトリクスに対しての実質的な読出タイミング（ｔｅ）を共通としているので、水平方向の右と左で蓄積時間が異なってしまうという問題も生じないので、ライン方向（行方向）のシェーディングを防止することができる。つまり、この方式では、電荷生成部３２の光電変換素子（フォトダイオードＰＤ）に光が入射することで発生した信号電荷を全画素同時に一旦電荷蓄積部としてのフローティングディフュージョン３８に転送して蓄積させておき、所定の読出タイミング（本例ではｔｅ時点）で順次画素信号に変換する。また転送後に光電変換素子に光が入射することで、電荷生成部３２に蓄積される電荷を、次の露光蓄積に先立って排出させる。これにより、電荷蓄積部としてのフローティングディフュージョン３８に蓄積された信号電荷量に応じた画素信号が得られ、電荷生成部３２に対する露光後のフローティングディフュージョン３８への転送タイミングを調整することで、単位マトリクス相互の間では露光蓄積時間差を生じることのない電子シャッタ機能（擬似グローバルシャッタ機能）を実現することができる。
【００７４】
たとえば、上述のようなタイミングで読出選択用トランジスタ３４とリセットトランジスタ３６とを２次元マトリクス状に駆動することで、電荷蓄積時間を、一定の制限の元で（任意に制御可能という訳ではなく）、画素ごとに制御することができる。たとえば、低速シャッタ時の電荷蓄積時間を１／６０秒とする場合、駆動制御部７による広ダイナミックレンジモード時の読出制御は次のようになる。なお、１／６０秒以外でも同様に考えることができる。たとえば、電荷生成部３２（フォトダイオードＰＤ）に電荷の蓄積を行なうが、このとき、奇数行かつ奇数列の単位画素３には１／１２０秒（＝２／２４０秒）、奇数行かつ偶数列の単位画素３には１／２４０秒、偶数行かつ奇数列の単位画素３には１／６０秒（＝４／２４０秒）、偶数行かつ偶数列の単位画素３には１／８０秒（＝３／２４０秒）、というように、駆動制御部７は、各単位画素３が各々異なる電荷蓄積時間となるように制御する。
【００７５】
つまり、偶数行かつ奇数列の単位画素３を１／６０秒のシャッタ速度とする場合は、この偶数行かつ奇数列の単位画素３が電荷を蓄積する１／６０秒（＝４／２４０秒）の内、奇数行かつ奇数列の単位画素３では２／２４０秒の間は電荷の掃き出しを行ない残りの２／２４０秒のみで電荷の蓄積を行なうようにすればよい。同様に、奇数行かつ偶数列の単位画素３では、３／２４０秒の間は電荷の掃き出しを行ない残りの１／２４０秒のみで電荷の蓄積を行ない、偶数行かつ偶数列の単位画素３では１／２４０秒の間は電荷の掃き出しを行ない残りの３／２４０秒のみで電荷の蓄積を行なうようにすればよい。
【００７６】
増幅用トランジスタ４２は、電荷生成部３２が各電荷蓄積時間に受光して得た信号電荷に対応する画素信号を生成する。この後、垂直選択用トランジスタ４０への垂直シフトパルスの駆動により、ｔｅ時点における増幅用トランジスタ４２の電圧信号が、実質的に有効な画素信号として垂直信号線１９に伝達され、ＣＤＳ処理部２６に入力される。そして、水平選択用トランジスタ５０への水平シフトパルスの駆動により水平信号線１８を介して出力バッファ２８に伝達され、外部回路１００に出力される。
【００７７】
このような構成により、たとえば、カラーフィルタを備えていない撮像部の場合には、ｍ×ｎ画素のマトリクスからなる組について、各単位画素３の蓄積時間をそれぞれ異なるものに制御し、その画素信号を処理することにより、すなわち、撮像により得られる感度モザイク画像に対して感度に着目したデモザイク処理を施すことにより、広ダイナミックレンジのモノクロ画像を得ることができる。また、通常モード時には、通常の映像出力信号を得ることができる。
【００７８】
すなわち、各単位画素３は１種類の露光蓄積時間が設定されるので１種類の感度だけを有する。よって、撮像された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報しか取得することができない。しかしながら、外部回路１００では、出力バッファ２８からの撮像信号Ｓ０に基づいてデモザイク処理を施して、全ての画素の感度が均一になるようにすることによって、結果的にダイナミックレンジが広い画像を生成することができる。その詳細については後述するが、画素補間処理により通常のフィールド周期（たとえば１／６０秒や１／５０秒）に対応して広ダイナミックレンジ処理された画像データを得ることができるために、垂直解像度が低下することはない。また、全ての単位画素３がほぼ同時に露光されるので、動きのある被写体を正しく撮像することができる。さらに、１つの受光素子が出力画像の１画素に対応しているので、ユニットセルサイズが大きくなる問題も生じない。
【００７９】
また、カラーフィルタを備えてなる撮像部１０の場合には、色や感度の配列パターンを参照して、画素ごとに色や感度が異なる画像から、全ての画素について、全ての色成分の画像信号を生成し、かつ、感度を均一化することで、モノクロ画像に限らず、広ダイナミックレンジのカラー画像を得ることも可能である。たとえば、図５（Ｂ）に示すように、リセットＴｒ駆動クロック線と転送ゲート駆動クロック線とをカラーフィルタ単位を１ブロックとしてブロックについてマトリクス状に（図ではベイヤ（Ｂａｙｅｒ）配列）動作させ、すなわちカラーフィルタ繰返し単位を単位エリアとして、ｍ×ｎ単位エリアのマトリクスからなる組について、各単位エリア内の複数の単位画素３を纏めてかつ各単位エリアの蓄積時間をそれぞれ異なるものに制御する。たとえば、リセットトランジスタ３６はベイヤブロックの奇数番目の行（２ｓ−１；ｓは正の整数）と偶数番目の行（２ｓ）とで個別に駆動され、また読出選択用トランジスタ３４はベイヤブロックの奇数番目の列（２ｔ−１；ｔは正の整数）と偶数番目の列（２ｔ）とで個別に駆動されるようにする。
【００８０】
そしてこれにより得られる色・感度モザイク画像に対して感度の配列パターンに着目したデモザイク処理を施すことにより、ダイナミックレンジの広いカラー画像を得ることができる。カラーフィルタ繰返し単位内の全単位画素３に対しては共通の蓄積時間を設定するので、通常の色分離処理をカラーフィルタ繰返し単位ごとに施して感度モザイク画像を色成分ごとに生成した後に感度均一化処理を施すことで、ダイナミックレンジの広いカラー画像を得ることができる。つまり、カラーフィルタ単位で処理を行なうことにより、広ダイナミックレンジ画像の生成が行ない易くなる。
【００８１】
なお、カラーフィルタを備えてなる撮像部１０の場合においても、カラーフィルタ繰返し単位に拘わらず、モノクロ時と同様に、ｍ×ｎ画素のマトリクスからなる組について、各単位画素３の蓄積時間をそれぞれ異なるものに制御してもよい。ただしこの場合には、カラーフィルタ繰返し単位内で各単位画素３の電荷蓄積時間が異なるものとなるので、同一の電荷蓄積時間が設定されていることを前提とした通常の色分離処理を用いたのでは、適切に色分離を行なうことができない。よって、カラーフィルタ繰返し単位内でのフィルタ配列と各単位画素３に対する露光時間に応じた補間処理を伴うデモザイク処理、すなわち色・感度モザイク画像に対して色および感度の双方の配列に着目したデモザイク処理を施すことが必要となる。一方この場合、１つの単位画素３を出力画像の１画素に対応させることができ、ユニットセルサイズが大きくなる問題が生じないという利点がある。ただし、空間的な補間処理を伴うので鮮鋭度低下を避けることはできない。
【００８２】
なお、読出フィールドで単位マトリクス内の各単位画素３の電荷蓄積時間の組合せを切り替えることで、時間補間を利用しかつ感度に着目したデモザイク処理を行なうようにしてもよい。こうすることで、フリッカが生じ得るものの、同一画素位置には全ての電荷蓄積時間の信号が得られるので画素補間によらずにデモザイク処理を行なうことができ、高解像度かつ広ダイナミックレンジの画像を生成することができる。フィールド単位での画素補間処理により得られる画像は、鮮鋭度が低下し暈けた画像となるがフィールドフリッカは生じない。これに対して、ｎフィールド単位での時間補間処理により得られる画像は、フィールドフリッカが生じるものの鮮鋭度の良好な画像となる。
【００８３】
たとえば図６では、２×２画素を単位マトリクスとしているので、図６（Ｃ）に円状に矢指するように、４つのフィールドでその組合せが順次切り替わるようにするとよい。このとき、基準のフィールド周期を通常のフィールド周期の４倍としておき、合成して得た広ダイナミックレンジの画像をレート変換して通常のフィールド周期あるいはフレーム周期の画像を生成することで、通常のモニタ（インタレーススキャンおよびプログレッシブスキャンの何れでもよい）との整合を採るようにしてもよい。こうすることで、フリッカも目立たず、高解像度かつ広ダイナミックレンジの画像を通常のＴＶモニタ上に提示することができる。時間補間を伴わないデモザイク処理では、空間的な補間処理を伴うので鮮鋭度低下を避けることはできないのと対照的である。また、通常のフィールド周期（たとえば１／６０秒や１／５０秒）に対応して広ダイナミックレンジ処理されたデータを得ることができるために、垂直解像度が低下することはない。
【００８４】
＜単位画素のその他の構成例＞
図７は、図１に示した固体撮像装置１の撮像部１０における単位画素３の第２実施形態の詳細例を示した図である。ここで図７（Ａ）は単位画素３（一部周辺部を含む）の基本的な等価回路図、図７（Ｂ）は断面図である。第１実施形態の単位画素３は、２箇所の電荷蓄積部として電荷生成部３２とフローティングディフュージョン３８を持つ構成であったが、この第２実施形態の単位画素３は、フォトゲート６６とフローティングディフュージョン３８とにより構成している点に特徴を有する。
【００８５】
図示するように、フォトゲート６６をなすポリシリコン電極が電荷生成部３２の感光面上を覆って形成されている。この場合、開口部については光透過性を呈し、開口部を除く部分は遮光性を呈するものとする。このフォトゲート６６の電極は読出選択用トランジスタ３４のゲート電極と共通に転送ゲート駆動クロック線に接続される。通常モードおよび広ダイナミックレンジモードの何れについても、電荷蓄積時間の制御や読出タイミングの制御などに関しては、第１実施形態と同様であるので、説明を割愛する。
【００８６】
図８は、図１に示した固体撮像装置１の撮像部１０における単位画素３の第３実施形態の詳細例を示した図である。ここで図８（Ａ）は単位画素３（一部周辺部を含む）の基本的な等価回路図、図８（Ｂ）は断面図である。この第３実施形態の単位画素３は、フローティングディフュージョン３８を有するとともに、フローティングディフュージョン３８とは別に電荷蓄積部４４を構成するようにした点、つまり２箇所の蓄積部として電荷生成部３２と蓄積専用キャパシタとを備える構成とした点に特徴を有する。以下具体的に説明する。
【００８７】
第３実施形態の電荷生成部３２は、第１実施形態のものと同様に、光を電荷に変換する光電変換機能とともに、その電荷を蓄積する電荷蓄積機能の各機能を兼ね備えたものを使用する。そして、この電荷生成部３２のフォトダイオードＰＤに対して、単位マトリクス間では蓄積時間差を生じることのない電子シャッタ機能である擬似グローバルシャッタ機能を実現するために、単位画素３ごとに、電荷生成部３２の読出選択用トランジスタ３４と画素信号生成部５との間に電荷蓄積部４４と、全画素についての電荷生成部３２（フォトダイオードＰＤ）を露光した後その電荷生成部３２にて生成された信号電荷を同時に電荷蓄積部４４に転送させる転送ゲート部４６とを備えた構造となっている。電荷蓄積部４４は、１Ｈ（Ｈ：水平走査期間）以上の期間電荷を蓄積する部分である。
【００８８】
たとえば、単位画素３の断面図を図８（Ｂ）に示すように、フォトダイオードＰＤと読出選択用トランジスタ３４との間に、転送ゲート部４６および電荷蓄積部４４がこの順に水平方向（図の左方向）に形成されている。そして、読出選択用トランジスタ３４、電荷蓄積部４４、および転送ゲート部４６は、ソースおよびドレイン端子を共通とするマルチゲート構造となっている。そして、これらの３つの中間に配置される電荷蓄積部４４は、事実上、ゲートを持つＭＯＳダイオードとして構成されている。
【００８９】
転送ゲート部４６および電荷蓄積部４４の部分の基板表面側には、たとえばポリシリコンによって単層もしくは２層構造で形成された転送電極（ゲート電極）が配設されている。そして、転送ゲート部４６のゲート電極（特にフレームシフトゲートＦＳＧという）には蓄積部転送駆動線を介してフレームシフトパルスが入力され、電荷蓄積部４４のゲート電極（特にストレージゲートＳＴＧという）にはストレージパルスが入力される構造とする。
【００９０】
垂直選択用トランジスタ４０は、ドレインが電源ＶＤＤに、ソースが増幅用トランジスタ４２のドレインにそれぞれ接続され、ゲート（特に垂直選択ゲートＳＥＬＶという）は垂直選択線５２に接続されている。この垂直選択線５２には、垂直選択信号が印加される。増幅用トランジスタ４２は、ゲートがフローティングディフュージョン３８に接続され、ドレインが垂直選択用トランジスタ４０のソースに、ソースは画素線５１に接続されている。なお、垂直選択用トランジスタ４０と増幅用トランジスタ４２は、第１実施形態と同様の接続構成であってもよい。
【００９１】
フレームシフトゲートＦＳＧに入力されるフレームシフトパルス、ストレージゲートＳＴＧに入力されるストレージパルス、読出ゲートＲＯＧに入力される読出パルス、リセットゲートＲＧに入力されるリセットパルス、垂直選択ゲートＳＥＬＶに入力される垂直選択信号、および水平選択ゲートＳＥＬＨに入力される水平選択信号は、単位画素３に対して行方向もしくは列方向に配線される。
【００９２】
図８（Ｂ）に示した第３実施形態の単位画素３の素子構造では、電荷蓄積部４４がゲートを持つＭＯＳダイオードであり、電荷蓄積部４４のゲート電極下には電荷を蓄積する部分が形成される。この場合、フォトダイオードＰＤと電荷蓄積部４４との間に配される転送ゲート部４６のゲート電極を、電荷蓄積部４４のゲート電極と共通にし、このゲート電極を電荷生成部３２の際まで延在するように形成した１枚ゲート構成にしている。この場合、当然に、フレームシフトパルスとストレージパルスとが共通に使用される。この構造の転送ゲート部４６としての働きは、ｎ−またはｐ−によるイオンインプランテーションにて転送ゲート部４６と電荷蓄積部４４との不純物濃度差を付ける、あるいは、転送ゲート部４６と電荷蓄積部４４との酸化膜厚差を付ける、などによる障壁（ポテンシャル差）を付けることで行なうとよい。なお、図２（Ｂ）に示すように、読出選択用トランジスタ３４やリセットトランジスタ３６の部分にも、ｎ−またはｐ−によるイオンインプランテーションをしておく。
【００９３】
１枚ゲート構成とした場合の電荷蓄積部４４および転送ゲート部４６近傍の等価回路図を図８（Ｃ）に、また各ゲートがオフ時の電圧ポテンシャル図を図８（Ｄ）に示す。この１枚ゲート構成に限らず、電荷蓄積部４４と転送ゲート部４６の各ゲートを別々に設けた２枚ゲート構成としてもよい。ただし、２枚ゲート構成とすると、２つのゲート電極の加工位置ズレの問題や、電極間にギャップがあることにより、電荷生成部３２から電荷蓄積部４４に信号電荷を転送させ難い部分が生じる。これに対して１枚ゲート構成とすると、単位画素３への配線を１つ減らすことやゲートと配線コンタクトを減らすことができる（図８（Ｃ）参照）。加えて、イオンインプランテーション量や酸化膜厚差を制御することでポテンシャル差を制御することができるので、素子の加工精度が高まる。また、ゲート電極間にギャップが生じないので、電荷生成部３２から電荷蓄積部４４への信号電荷の転送効率が高まる。
【００９４】
なお、１枚ゲート構成であるのか２枚ゲート構成であるのかに拘わらず、電荷生成部３２のフォトダイオードＰＤと電荷蓄積部４４との間に配される転送ゲート部４６は、オフ状態でチャネルの表面が信号電荷とは反対の導電形の電荷を蓄積した状態を形成可能にする。また、読出選択用トランジスタ３４やリセットトランジスタ３６についても同様である。なお、このような状態を形成させるためにオフ時にゲート電極に印加する電圧は、各素子の不純物のイオン濃度（ドーズ量）やゲート電極の膜厚に依存する。ゲート電極下のチャネル領域表面が反転状態になるよう所定の電位を印加してオフさせると界面準位が正孔で埋められる（ピニング；pinning という）。このため、電荷転送路としての転送ゲート部４６や読出選択用トランジスタ３４やリセットトランジスタ３６では、オフ時に所定の電位を印加することで界面準位が原因となって発生する暗電流を抑制することができる。
【００９５】
このように、第３実施形態の単位画素３においても、高感度側の撮像を伴う高ダイナミックレンジモード時においてもノイズの少ない良好な画像が得られるように、様々な観点から、ノイズ対策が採られている。
【００９６】
図９は、第３実施形態の単位画素３を備えた固体撮像装置１における走査のタイミングチャートの一例である。なお、第３実施形態では、フレームシフトゲートＦＳＧに入力されるフレームシフトパルスを、ストレージゲートＳＴＧに入力されるストレージパルスと共通に使用する。
【００９７】
先ず、電荷生成部３２のフォトダイオードＰＤを露光して信号電荷をそのフォトダイオードＰＤに蓄積するのに先立って、フレームシフトパルスをアクティブ（Ｈ；ハイ）にして転送ゲート部４６をオンさせることで、この時点においてフォトダイオードＰＤに蓄積されている不要な電荷（不要電間）を電荷蓄積部４４側に掃き捨てる（ｔ０〜ｔ２）。その後、フォトダイオードＰＤと電荷蓄積部４４との間のゲート機能部分である転送ゲート部４６を閉じて、露光蓄積開始となる。これらの処理は、全画素について略同時に行なう。
【００９８】
次に、フレームシフトパルスもインアクティブにして、フォトダイオードＰＤが露光されることで生成される信号電荷を、そのフォトダイオードＰＤに蓄積する動作を開始する（ｔ２）。そして、通常モード時には、全画素共通に、信号電荷の露光蓄積状態をｔ１２まで継続する。また、露光蓄積状態と並行して、読出パルスをアクティブにして読出選択用トランジスタ３４をオンさせることで、電荷蓄積部４４に掃き出した不要電荷をフローティングディフュージョン３８に転送する。そして読出選択用トランジスタ３４をオフさせ、さらにリセットパルスをアクティブにしてリセットトランジスタ３６をオンさせることで、フローティングディフュージョン３８をリセットトランジスタ３６を通して電源ＶＤＤにリセットする。これにより、電荷生成部３２から、転送ゲート部４６、電荷蓄積部４４、読出選択用トランジスタ３４を順に経由してフローティングディフュージョン３８に転送された不要電荷が電源ＶＤＤに掃き出される。
【００９９】
通常モード時におけるこれらの処理は、信号電荷蓄積の完了前に完結していればよい。図では、ｔ２〜ｔ４にて読出パルスをアクティブにし、ｔ４〜ｔ６にてリセットパルスをアクティブにしているが、この例に限らず、図中において、多少右側にシフトした位置にてこれらの処理を行なってもよい。また、単位マトリクス内の単位画素３に対して個別に電荷蓄積時間を設定する広ダイナミックレンジモードの場合には、図示する露光蓄積期間内で、第１実施形態で示したと同様のタイミングで、転送ゲートパルス（読出パルス）ＲＯＧとリセットパルスＲＳＴ（ＲＧ）を単位マトリクス内の各単位画素３に対して個別に設定するとよい。
【０１００】
次に、モードに拘わらず、電荷生成部３２にて得た信号電荷を全画素同時に電荷蓄積部４４に転送させる（フレームシフトさせる）のに先立って、電荷蓄積部４４をクリアにしておく。このため、露光蓄積完了時にフレームシフトパルスをアクティブにするのに先立って、読出パルスをアクティブにして読出選択用トランジスタ３４をオンさせることで、電荷蓄積部４４に蓄積されている不要電荷をフローティングディフュージョン３８に転送する（ｔ８〜ｔ１０）。そして、読出選択用トランジスタ３４をオフさせ、さらにリセットパルスをアクティブにしてリセットトランジスタ３６をオンさせて、フローティングディフュージョン３８をリセットトランジスタ３６を通して電源ＶＤＤにリセットすることで、電荷蓄積部４４からフローティングディフュージョン３８に転送された不要電荷を電源ＶＤＤに掃き出す（ｔ１０〜ｔ１２）。なお、前述のｔ２〜ｔ４，ｔ４〜ｔ６の処理を割愛し、ｔ８〜ｔ１０，ｔ１０〜ｔ１２の処理にて兼用するようにしてもかまわない。
【０１０１】
次に、電荷生成部３２にて得た信号電荷を全画素同時に電荷蓄積部４４に転送させるため、全画素について略同時に、フレームシフトパルスをアクティブにして、フォトダイオードＰＤが露光されることで生成された信号電荷を電荷蓄積部４４に転送させる（ｔ１０〜ｔ１２）。次に、信号電荷を電荷生成部３２から電荷蓄積部４４に転送させた後の所定の時点において、画素信号生成部５は、電荷蓄積部４４から信号電荷を読み出して（ラインシフトして）画素信号を得る。このため、先ず読出対象画素である、任意の水平ラインにおける所定位置の画素について、水平選択信号をアクティブにすることで、水平選択用トランジスタ５０をオンさせる（ｔ１４）。
【０１０２】
この後、リセットパルスをアクティブにしてリセットトランジスタ３６をオンさせて、フローティングディフュージョン３８をリセットトランジスタ３６を通して電源ＶＤＤにリセットすることで、フローティングディフュージョン３８をクリアにする（ｔ１６〜ｔ１８）。こうすることで、リセットレベルに応じた電圧が画素線５１に現れ、さらに垂直信号線１９、ＣＤＳ処理部２６、水平選択用トランジスタ５０を介して出力バッファ２８に伝達される。そして、この直後に、サンプルパルスＳＨＰをアクティブにすることで、ＣＤＳ処理部２６においては、クリアにされた時点の画素信号レベル（リセットレベル）を保持する（ｔ２０〜ｔ２２）。たとえば、その時点の電圧値を予め定められている所定電圧にクランプする。
【０１０３】
次に、読出パルスをアクティブにして読出選択用トランジスタ３４をオンさせることで、電荷蓄積部４４に蓄積されている不要電荷をフローティングディフュージョン３８に読み出す（ｔ２４〜ｔ２６）。この後、読出パルスをインアクティブにすることで（ｔ２６）、読出対象画素について、フローティングディフュージョン３８に読み出された信号電荷は、その電荷量に応じて増幅用トランジスタ４２で増幅されて信号電圧となり垂直信号線１９に現れ、さらにＣＤＳ処理部２６、水平信号線１８、および水平選択用トランジスタ５０を介して出力バッファ２８に伝達される。
【０１０４】
そして、この直後に、サンプルパルスＳＨＤをアクティブにすることで、ＣＤＳ処理部２６においては、信号電荷量に応じた画素信号レベルを保持する（ｔ２８〜ｔ３０）。この後、水平選択信号をインアクティブにする（ｔ３２）。ＣＤＳ処理部２６は、サンプルパルスＳＨＰにて取得したリセットレベルとサンプルパルスＳＨＤにて取得した画素信号レベルとの差を取ることで、固定パターンノイズＦＰＮやリセットノイズを取り除く。
【０１０５】
上述した一連の動作の繰り返しにより、単位画素３が２次元マトリクス状に配設された撮像部１０から画素信号が順次出力され、最終的にＣＤＳ処理部２６から撮像信号が得られる。
【０１０６】
このように、第３実施形態の単位画素３の場合、電荷蓄積部４４への転送後にフォトダイオードＰＤに光が入射することで電荷生成部３２に蓄積される電荷を、次の露光蓄積に先立って排出させる。これにより、電荷蓄積部４４に蓄積された信号電荷量に応じた画素信号が増幅用トランジスタ４２から得られ、露光後の電荷蓄積部４４への転送タイミングを調整することで、単位マトリクス間では露光蓄積時間差を生じることのない擬似グローバル電子シャッタ機能を実現することができる。また、フローティングディフュージョンＦＤに掃き出した不要電荷をリセットドレインＲＤとして機能する電源ＶＤＤに排出するモード（ｔ４〜ｔ６期間）で、電荷蓄積期間を除く期間に擬似ブルーミング現象によって電荷蓄積部４４などに漏れ込んだ不要電荷や電荷蓄積部４４内に発生した暗電流を排出することができ、擬似ブルーミング現象や暗電流に伴う画質劣化を抑制することができるという利点がある。
【０１０７】
ここで、「擬似ブルーミング現象」とは、ＣＣＤ撮像デバイスにおけるブルーミング現象に似た現象のことである。たとえば、電荷生成部の光電変換素子に強い光が入射すると、光電変換素子で蓄積できる最大電荷量以上の電荷が生成されることで、その電荷が光電変換素子から溢れ出し、転送ゲートやチャネルストップ領域を通って、画素信号生成部や隣接画素内の電荷生成部などへ流出してしまう、いわゆる「ブルーミング現象」が問題となる。光電変換素子で得た信号電荷を全画素同時に一旦電荷蓄積部に転送させるなどによりグローバルシャッタ機能を実現する構造においても同様に「ブルーミング現象」が生じる。
【０１０８】
そして、「ブルーミング現象」が生じると、撮像画像に白い帯状または白い円状パターンが観察され、画質が劣化する。特に、電荷蓄積部を設けてグローバルシャッタ機能を実現する構造のものでは、電荷生成部で生成された過剰電荷が自身の画素内の電荷蓄積部にも溢れ出す。前述のように、電荷蓄積部に蓄積された信号電荷量に応じて画素信号を得るので、ブルーミング現象が自身の画素そのものの信号成分を変化させることになる。また、信号電荷を電荷蓄積部に転送した後に光電変換素子に光が入射することで生じる電荷が電荷蓄積部に漏れると、「ブルーミング現象」と同様の問題（擬似ブルーミング現象）が生じる。
【０１０９】
＜他のマトリクス制御形態＞
図１０〜図１２は、単位マトリクスのサイズや単位マトリクス内の読出選択用トランジスタ３４およびリセットトランジスタ３６に対する駆動手法の他の事例を説明する図である。
【０１１０】
図１０は、３×３画素を単位マトリクスとした駆動手法を説明する図である。図１０（Ａ）に示すように、リセットトランジスタ３６は３ｐ−２番目の行（ｐは正の整数）、３ｐ−１番目の行、および３ｐ番目の行とで個別に駆動され、また読出選択用トランジスタ３４は３ｑ−２番目の列（ｑは正の整数）、３ｑ−１番目の行、および３ｑ番目の列とで個別に駆動されるようにしている。また、図１０（Ｂ）に示すように、それぞれの行や列に対する電荷蓄積時間の重付けの関係として、３ｐ−２番目および３ｑ−２番目については“１”、３ｐ−１番目および３ｑ−１番目については“２”、３ｐ番目および３ｑ番目については“３”を設定することで、３×３画素の単位マトリクス全体としては、９段階の電荷蓄積時間の重付けが設定されるようにしている。ｉ行ｊ列の単位画素３の重付け値は、ｉ行の重付け加算分（＝ｉ行の重付け値ｓ×（ｉ−１））とｊ列の重付け値ｔの和となる。
【０１１１】
このことから推測されるように、ｍ×ｎ画素を単位マトリクスに展開した場合、リセットトランジスタ３６は行ごとに個別に駆動され、また読出選択用トランジスタ３４は列ごとに個別に駆動されるようにし、それぞれの行や列に対する電荷蓄積時間の重付けの関係として、１，２，…と設定することで、ｍ×ｎ画素の単位マトリクス全体としては、ｍ×ｎ段階の電荷蓄積時間の重付けを設定することが可能となる。この場合においても、ｉ行ｊ列の単位画素３の重付け値は、ｉ行の重付け加算分（＝ｉ行の重付け値ｓ×（ｉ−１））とｊ列の重付け値ｔの和となる。また、それぞれの行や列に対する電荷蓄積時間の重付けの配列順を変えることで、単位マトリクス内における電荷蓄積時間の重付けの配列順を組み替えることができる（図６（Ｃ）参照）。
【０１１２】
図１１は、２×２画素を単位マトリクスとしつつ、読出選択用トランジスタ３４とリセットトランジスタ３６の配線対象の行／列を第１〜第３実施形態と逆にした構成を示す図である。すなわち、読出選択用トランジスタ３４は奇数行（２ｐ−１；ｐは正の整数）と偶数行（２ｐ）とで個別に駆動され、またリセットトランジスタ３６は奇数列（２ｑ−１；ｑは正の整数）と偶数列（２ｑ）とで個別に駆動されるようにしている。また、図１１（Ｂ）に示すように、それぞれの行や列に対する電荷蓄積時間の重付けの関係として、２ｐ−１番目および２ｑ−１番目については“１”、２ｐ番目および２ｑ番目については“２”を設定することで、２×２画素の単位マトリクス全体としては、４段階の電荷蓄積時間の重付けが設定されるようにしている。同様の手法は、ｍ×ｎ画素を単位マトリクスとする場合にも適用可能である。そして、何れのマトリクスサイズであっても、ｉ行ｊ列の単位画素３の重付け値は、ｊ列の重付け加算分（＝ｊ列の重付け値ｔ×（ｊ−１））とｉ行の重付け値ｓの和となる。
【０１１３】
図１２は、２×２画素を単位マトリクスとしつつ、行列方向に対して斜め方向に読出選択用トランジスタ３４とリセットトランジスタ３６の駆動クロック線を設けた構成を示す図である。この場合、これまでに述べてきた形態と異なり、リセットトランジスタ３６に対して咬み合う読出選択用トランジスタ３４の駆動線の番号が同じものとなる。このため、それぞれのクロック線には異なるレベルの電荷蓄積時間の重付けを設定しているにも拘わらず、２×２画素の単位マトリクス全体としては、４（＝２×２）段階とはならずに２段階の電荷蓄積時間の重付けに限定されたものとなる。
【０１１４】
たとえば、図１２（Ａ）に示す配線形態では、レベル１の重付けが設定された第１リセットＴｒ駆動クロック線と交差する転送ゲート駆動クロック線は必ずレベル１の重付けが設定された第１番目のものとなり、電荷蓄積時間の重付けとして“１”が設定される。また、レベル２の重付けが設定された第２リセットＴｒ駆動クロック線と交差する転送ゲート駆動クロック線は必ずレベル２の重付けが設定された第２番目のものとなり、電荷蓄積時間の重付けとして“４”が設定される。
【０１１５】
これに対して図１２（Ｂ）に示す配線形態では、レベル１の重付けが設定された第１リセットＴｒ駆動クロック線と交差する転送ゲート駆動クロック線は必ずレベル２の重付けが設定された第２番目のものとなり、電荷蓄積時間の重付けとして“３”が設定される。また、レベル２の重付けが設定された第２リセットＴｒ駆動クロック線と交差する転送ゲート駆動クロック線は必ずレベル１の重付けが設定された第１番目のものとなり、電荷蓄積時間の重付けとして“２”が設定される。同様の手法は、ｍ×ｎ画素を単位マトリクスとする場合にも適用可能である。そして、何れのマトリクスサイズであっても、ｉ行ｊ列の単位画素３の重付け値は、ｉ番目のリセットＴｒ駆動クロック線の重付け加算分とｊ番目の転送ゲート駆動クロック線の重付け値ｓの和となるが、ｍ×ｎ段階とはならずに限定されたものとなる。
【０１１６】
次に、広ダイナミックレンジモード時における出力バッファ２８から出力された撮像信号Ｓ０を用いた外部回路１００内でのデモザイク処理について説明する。この広ダイナミックレンジモード時には、選択部１３２はデモザイク処理部１２０側に切り替えられている。出力バッファ２８からの撮像信号Ｓ０は、Ａ／Ｄ変換部１１０によりデジタル信号Ｄ０に変換された後に、たとえば図示しないルック・アップ・テーブルにより後段の加算器で加算して広ダイナミックレンジ処理された出力とするための、所定のデータに変換される。以下、具体的に説明する。
【０１１７】
＜色・感度モザイクパターン＞
図１３〜図１６は、色・感度モザイク画像を構成する画素の色成分および感度（つまり露光蓄積期間）の配列パターン（色・感度モザイクパターン）を説明する図である。なお、図１３〜図１６においては、各正方形が１画素に対応しており、英文字がその色を示し、英文字の添え字としての数字がその感度を示している。たとえば、Ｇ１と表示された画素は、色がＧ（緑）であって感度がＳ１であることを示している。また、感度については数字が大きいほど、より露光蓄積時間が長く高感度であるとする。なお、図１３〜図１６に示す色・感度モザイクパターンＰ１〜Ｐ４に関連し、画素の感度に拘わらず色だけに注目して「色のモザイク配列」と記述する。また、色に拘わらず感度だけに注目して「感度のモザイク配列」と記述する。
【０１１８】
色・感度モザイクパターンを構成する色の組合せとしては、Ｒ（赤），Ｇ（緑），およびＢ（青）からなる３色の組合せに限らず、たとえば、Ｙ（黄），Ｍ（マゼンタ），Ｃ（シアン），およびＧ（緑）からなる４色の組合せなどもある。露光蓄積時間を違えることで実現される感度の段階としては、Ｓ０，Ｓ１の２段階や、２×２画素の単位マトリクスとする場合にはＳ０，Ｓ１，Ｓ２，Ｓ３からなる４（＝２×２）段階が設定される。ｍ×ｎ画素の単位マトリクスとする場合において、それぞれを独立とする場合にはｍ×ｎ段階が設定される。
【０１１９】
図１３に示す色・感度モザイクパターンＰ１は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、感度に拘わらず同一の色を有する画素に注目した場合、それらが格子状に配列されている。すなわち、図１３の色・感度モザイクパターンＰ１において、感度に拘わらず色がＲである画素に注目した場合、図面を右回りに４５度だけ回転させた状態で見れば明らかなように、それらは、水平方向には２＾１／２（＾はべき乗を示す）の間隔で、垂直方向には２＾３／２の間隔で格子状の配置されている。また、感度に拘わらず色がＢである画素に注目した場合、それらも同様に配置されている。感度に拘わらず色がＧである画素に注目した場合、それらは、水平方向および垂直方向に２＾１／２の間隔で格子状の配置されている。
【０１２０】
なお、図１３に示す色・感度モザイクパターンＰ１を２×２画素の単位マトリクスに適用する場合には、第１〜第３実施形態で説明したように、リセットＴｒ駆動クロック線と転送ゲート駆動クロック線の奇数／偶数の配線順序を撮像部１０の全面について維持する構成でよい。
【０１２１】
図１４に示す色・感度モザイクパターンＰ２は、色・感度モザイクパターンＰ１と同様の特徴を有しており、さらに、３種類の色が用いられていて、それらがベイヤ（Ｂａｙｅｒ）配列をなしている。すなわち、図１４の色・感度モザイクパターンＰ２において、感度に拘わらず色がＧである画素に注目した場合、それらは１画素おきに市松状に配置されている。感度に拘わらず色がＲである画素に注目した場合、それらは１ラインおきに配置されている。また、感度に拘わらず色がＢである画素に注目した場合も同様に、１ラインおきに配置されている。したがって、このパターンＰ２は、画素の色だけに注目すれば、ベイヤ配列であるといえる。この図１４に示す色・感度モザイクパターンＰ２を２×２画素の単位マトリクスに適用する場合には、単位画素３の配列位置に応じて、リセットＴｒ駆動クロック線と転送ゲート駆動クロック線の配線対象の行／列を逆にする（図１１参照）などの対応を採ることで実現する。
【０１２２】
図１５に示す色・感度モザイクパターンＰ３は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、色に拘わらず同一の感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、任意の画素に注目した場合、その画素とその上下左右に位置する４画素の合計５画素が有する色の中に、当該色・感度モザイクパターンに含まれる全ての色が含まれている。感度だけに着目すれば、そのパターンは図１３に示す色・感度モザイクパターンＰ１と同様である。
【０１２３】
図１６に示す色・感度モザイクパターンＰ４は、色・感度モザイクパターンＰ３の特徴に加えて、同一の感度を有する画素に注目した場合、それらの配列がベイヤ配列をなしている。たとえば、図１６の色・感度モザイクパターンＰ４において、感度Ｓ０の画素だけに注目した場合、図面を斜め４５度だけ傾けて見れば明らかなように、それらは２＾１／２の間隔を空けてベイヤ配列をなしている。また、感度Ｓ３の画素だけに注目した場合も同様に、それらはベイヤ配列をなしている。図１６に示す色・感度モザイクパターンＰ４を２×２画素の単位マトリクスに適用する場合には、図１２に示したように、画素配列における行列方向に対して斜め方向に読出選択用トランジスタ３４とリセットトランジスタ３６の駆動クロック線を設けることで、２段階の感度を設定する構成とすればよい。
【０１２４】
上記において、色・感度モザイクパターンＰ１〜Ｐ３を２×２画素の単位マトリクスにて実現する場合について、それぞれ示したが、ここで述べた３つの手法を組み合わせたり、配線の接続順序を切り替えたりなどすることで、一定の制限はあるものの、他のパターンについても、実現することが可能となる。
【０１２５】
上述した色・感度モザイクパターンを実現するに際して、色のモザイク配列については、電荷生成部３２のフォトダイオードＰＤの上面に、画素ごとに異なる色の光だけを透過させるオンチップカラーフィルタを配置することによって実現する。また、色・感度モザイクパターンのうち、感度のモザイク配列については、上記第１〜第３実施形態で説明したように、読出選択用トランジスタ３４とリセットトランジスタ３６に対する駆動パルスの印加タイミングを調整することで、隣接する２つの受光素子（第１および第２の受光素子）に対し制御のタイミングを違えることにより２つの受光素子を異なる感度に設定する電子的な方法によって実現する。必要に応じて配線形態（行／列や偶／奇などの順序）を組み替える。つまり、上述した感度のモザイク配列を電子的に実現するには、感度がＳ０，Ｓ１，Ｓ２，Ｓ３の各画素グループについて、それぞれに露光時間を制御可能な電極構造とすればよい。要するに、複数種類の感度設定に応じてリセットＴｒ駆動クロック線や転送ゲート駆動クロック線を複数系統に分け、それぞれの駆動クロック線が蓄積時間の違う信号に対応するように、それぞれの駆動クロック線に独立にパルスを印加する構造とすればよい。
【０１２６】
このとき、２次元マトリクス状に蓄積時間を異なるように単位画素３を配列する場合、理解の容易さから言えば、リセットトランジスタ３６を駆動するためのリセットＴｒ駆動クロック線は行方向に、読出選択用トランジスタ３４を駆動するための転送ゲート駆動クロック線は列方向に配線する、つまり、リセットＴｒ駆動クロック線と転送ゲート駆動クロック線の奇数／偶数の配線順序を撮像部１０の全面について維持する構成が望ましいが、これに限らず、リセットＴｒ駆動クロック線と転送ゲート駆動クロック線の奇数／偶数の配線順序を組み替えても構わない。何れにしても、感度モザイクパターンによって、その接続形態が決まる。なお、カラー画像撮像の構成とする場合には、色分離処理と広ダイナミックレンジ化処理との関わりから言えば、画素単位で露光蓄積時間を制御するのではなく、先にも述べたように、カラーフィルタ繰返し単位内の全単位画素３に対しては共通の露光蓄積時間を設定しかつカラーフィルタ繰返し単位で露光蓄積時間を制御してもよい。
【０１２７】
＜デモザイク処理の詳細＞
次に、広ダイナミックレンジモード時におけるデモザイク処理部１２０を中心とする画像処理系のモザイク処理、すなわちモザイク画像から元画像を復元する処理について説明する。最初に、カラー画像撮像時においても１つの単位画素３が出力画像の１画素に対応するようにする４つの手法について説明する。なお、以下の説明では、特に断りのない限り、最も基本的なものとして、画素の色は３原色ＲＧＢのうちの何れかの色であり、２×２画素を単位マトリクスとして感度をＳ０，Ｓ１、Ｓ２，Ｓ３の４段階（つまり露光蓄積時間が４段階）のうちの何れかに設定するものとして説明する。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色あるいはそれ以上からなる色・感度モザイク画像に適用することも可能である。また、感度が４段階以上などである色・感度モザイクパターンに適用することも可能である。
【０１２８】
何れの手法においても、色・感度モザイク画像の画素配列パターンにおける、色に着目した色モザイクパターン情報と感度に着目した感度モザイクパターン情報を参照して画素補間処理などを施すことで、Ｒ，Ｇ，Ｂのそれぞれについて感度の均一化された画像を得る。色モザイクパターン情報は、色・感度モザイク画像の各画素の色の種類（本例では、Ｒ，Ｇ，Ｂの何れかの色）を示す情報であり、画素位置をインデックスとして、その画素が有する色成分の情報を取得できるようになされている。また、感度モザイクパターン情報は、色・感度モザイク画像の各画素の感度の種類（本例では、Ｓ０，Ｓ１，Ｓ２，Ｓ３）を示す情報であり、画素位置をインデックスとして、その画素の感度の情報を取得できるようになされている。
【０１２９】
図１７は、デモザイク処理部１２０を中心とする画像処理系の第１のデモザイク処理の概要を示している。ここでは図１４に示す色・感度モザイクパターンＰ２で例示しているが、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色からなる色・感度モザイク画像に適用することも可能である。この第１のデモザイク処理は、図１７に示すように、感度を均一化して色モザイク画像Ｍを生成する感度均一化処理と、色・感度モザイク画像Ｍの各画素のＲＧＢ成分を復元する色補正処理からなる。
【０１３０】
感度均一化処理に際しては、撮像系の処理によって得られた色・感度モザイク画像の画素の色を変更することなく、補間処理を行なって本来の光強度を復元する。たとえば、第１段階の処理として、当該画素の感度と異なる感度の画素値を、近傍に存在する同色であって対象感度の画素の画素値を用いて補間することで対象感度の推定値を求める。たとえば、色βであって感度Ｓ０の画素については、感度Ｓ０での画素値はそのまま用いられる。また、感度Ｓ１での推定値が、当該画素の近傍に存在する色βであって感度Ｓ１の画素の画素値を用いて補間される。同様に、感度Ｓ２での推定値が、当該画素の近傍に存在する色βであって感度Ｓ２の画素の画素値を用いて補間され、感度Ｓ３での推定値が、当該画素の近傍に存在する色βであって感度Ｓ３の画素の画素値を用いて補間される。これにより、各画素は、元の色β感度Ｓ０の画素値と、感度Ｓ１の画素値と、感度Ｓ２の画素値と、感度Ｓ３の画素値とを有するようになる。
【０１３１】
このような補間処理に際しては、フィルタ処理が適用される。たとえば、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に設定する。そして、色・感度モザイク画像の各画素の色を変更せずに補間処理を施すことにより、それぞれ感度Ｓ０，Ｓ１，Ｓ２、または感度Ｓ３に対応する補間値を生成する。すなわち、色・感度モザイク画像の注目画素の近傍に位置する画素（たとえば注目画素を中心とする５×５画素）のうち、色が注目画素と同じであり、かつ、感度がＳαである画素を検出し、検出した参照画素の画素値を抽出する。
【０１３２】
そして、検出した参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を参照画素の数だけ取得する。この後、各参照画素の画素値と対応するフィルタ係数とを乗算し、それらの積の総和を演算し、さらに、その積の総和を用いたフィルタ係数の総和で除算し、その商を注目画素の感度Ｓαに対応する補間値とする。最後に、求めた注目画素に対応する全ての感度Ｓαの各補間値を加算し、その和を注目画素に対応する色モザイク候補画像の画素値とし、色モザイク候補画像の画素値をインデックスとして色モザイク画像Ｍの画素値を取得できるように設定されている合成感度補償ＬＵＴ（ルック・アップ・テーブル；図２５，図２６参照）に照らし合わせ、得られた値を注目画素に対応する色モザイク画像Ｍの画素値とする。このような処理を全ての画素について繰り返すことで、感度が均一化された色モザイク画像Ｍを生成する。
【０１３３】
色補正処理に際しては、感度均一化処理によって得られた色モザイク画像Ｍに対し、色モザイクパターン情報を用いる色補間処理（フィルタ処理）を施すことによって出力画像Ｒ，Ｇ，Ｂを生成する。この際には、予め、色モザイク画像Ｍに対して階調変調処理を施す（たとえば変調色モザイク画像Ｍｇの各画素値をγ乗する）ことにより、変調色モザイク画像Ｍｇを生成し、この変調色モザイク画像Ｍｇを処理対象画として用いる。出力画像Ｒ，Ｇ，Ｂを生成する際には、先ず色差画像Ｃ，Ｄと輝度画像Ｌとを生成する色分離処理を行ない、得られた色差画像Ｃ，Ｄと輝度画像Ｌとを用いて色空間変換処理を行なうことで出力画像Ｒ，Ｇ，Ｂを生成する。
【０１３４】
図１８は、デモザイク処理部１２０を中心とする画像処理系の第２のデモザイク処理の概要を示している。ここでは図１６に示す色・感度モザイクパターンＰ４で例示しているが、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色からなる色・感度モザイク画像に適用することも可能である。この第２のデモザイク処理は、最初に色成分ごとに感度別の色補間処理を行なって色成分ごとの感度モザイク画像Ｍｓを生成した後に、この感度モザイク画像Ｍｓのそれぞれの感度を均一化して出力画像Ｒ，Ｇ，Ｂを生成するというもので、第１のデモザイク処理と色補間処理と感度均一化処理が逆の手順となっている点に特徴を有する。
【０１３５】
すなわち、第２のデモザイク処理は、図１８に示すように、撮像部の処理によって得られた色・感度モザイク画像の画素の感度を変更することなく、各画素のＲＧＢ成分を補間してＲ成分の感度モザイク画像ＭｓＲ、Ｇ成分の感度モザイク画像ＭｓＧ、およびＢ成分の感度モザイク画像ＭｓＢを生成する感度別色補間処理と、Ｒ成分の感度モザイク画像ＭｓＲ、Ｇ成分の感度モザイク画像ＭｓＧ、およびＢ成分の感度モザイク画像ＭｓＢのそれぞれの感度を均一化して出力画像Ｒ，Ｇ，Ｂを生成する感度均一化処理からなる。
【０１３６】
第２のデモザイク処理における感度別色補間処理は、色・感度モザイク画像から同一の感度の画素だけを抽出する抽出処理と、抽出処理で抽出された画素のＲＧＢ成分の画素値を補間する色補間処理と、色補間処理で補間された画素値をＲＧＢ成分ごとに合成して感度モザイク画像を生成する挿入処理からなる。
【０１３７】
図１９は、第２のデモザイク処理における抽出処理と色補間処理の概要を示している。抽出処理では、図１９（Ａ）に示すような色・感度モザイク画像から、対象感度Ｓαごとに、対象感度Ｓαの画素だけを抽出して、画素が市松状に配置された色モザイク画像ＭｃＳαを生成する。たとえば、感度Ｓ０の画素だけを抽出して、画素が市松状に配置された図１９（Ｂ）に示すような色モザイク画像ＭｃＳ０を生成する。
【０１３８】
色補間処理では、対象感度Ｓαごとに、色モザイク画像ＭｃＳαから、対象感度Ｓαであってβ色成分を有する画素が市松状に配置された画像βＳαを各色成分について生成する。たとえば、図１９（Ｂ）に示す色モザイク画像ＭｃＳ０から、たとえば感度Ｓ０であってＲ成分を有する画素が市松状に配置された図１９（Ｃ）に示すような画像ＲＳ０、感度Ｓ０であってＧ成分を有する画素が市松状に配置された画像ＧＳ０、および感度Ｓ０であってＢ成分を有する画素が市松状に配置された画像ＢＳ０を生成する。この色補間処理に際しては、第１のデモザイク処理における補間処理と同様にフィルタ処理を適用する。
【０１３９】
図２０は、第２のデモザイク処理における挿入処理の概要を示している。挿入処理では、処理対象色βごとに、色補間処理によって生成された各感度に対応する画像βＳαを組み合わせて、感度モザイク画像Ｍｓβを生成する。たとえば、Ｒ成分については、図２０（Ａ）に示すような画像ＲＳ０と図２０（Ｂ）に示すような画像ＲＳ３とを組み合わせて、図２０（Ｃ）に示すような感度モザイク画像ＭｓＲを生成する。
【０１４０】
第２のデモザイク処理における感度均一化処理では、第１のデモザイク処理における感度均一化処理と同様にフィルタ処理を適用して、処理対象色βについて、感度モザイク画像ＭｓＸβの左下の画素から右上の画素まで、順次１画素ずつ注目画素に設定し、注目画素に対応する局所和を算出する。たとえば、注目画素を中心とする５×５画素からなる参照画素の画素値を抽出し、それらの画素値と、参照画素の注目画素に対する相対的な位置に対応して予め設定されている所定のフィルタ係数とをそれぞれ乗算し、それらの積の総和を演算する。そして、その積の総和を、たとえば２５個のフィルタ係数の総和で除算し、その商を注目画素に対応する局所和とする。最後に、インデックスとして対応する補償値を供給するように設定されている合成感度補償ＬＵＴ（図２５，図２６参照）に、求めた局所和を照らし合わせることにより、感度特性を補償した対応する補償値を取得し、補償値を注目画素に対応する出力画像Ｒの画素値とする。これを全画素について繰り返すことで、処理対象色βの出力画像βを生成する。
【０１４１】
図２１は、デモザイク処理部１２０を中心とする画像処理系の第３のデモザイク処理を主に実行するデモザイク処理部１２０の構成例を示している。なお、以下、特に断りがある場合を除き、色・感度モザイク画像は、図１４の色・感度モザイクパターンＰ２であるとする。すなわち、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度はＳ０，Ｓ１，Ｓ２，Ｓ３のうちの一方であって、さらに、感度に拘わらず色だけに注目すれば、それらはベイヤ配列をなしているものとする。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色からなる色・感度モザイク画像に適用することも可能である。
【０１４２】
この第３のデモザイク処理は、撮像部の処理によって得られた色・感度モザイク画像から輝度画像を生成する輝度画像生成処理、および、色・感度モザイク画像と輝度画像を用いて出力画像Ｒ，Ｇ，Ｂを生成する単色画像処理からなる。この第３のデモザイク処理は、画素の色は３原色ＲＧＢのうちの何れかの色であり、さらに感度に拘わらず色だけに注目すれば、それらはベイヤ配列をなしているものに適用するのに好適である。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色からなる色・感度モザイク画像に適用することも可能である。
【０１４３】
第３のデモザイク処理を実行するデモザイク処理部１２０の構成例において、撮像系からの色・感度モザイク画像、色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報、および、色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、輝度画像生成部１８１、並びに単色画像生成部１８２〜１８４に供給される。
【０１４４】
単色画像生成部１８２は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｒを生成する。単色画像生成部１８３は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｇを生成する。単色画像生成部１８４は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｂを生成する。
【０１４５】
図２２は、デモザイク処理部１２０による第３のデモザイク処理の手順の概要を示すフローチャートである。デモザイク処理部１２０は、先ず、色・感度モザイク画像に輝度画像生成処理を施することによって輝度画像を生成するとともに、ノイズ除去処理を施す（Ｓ２１１）。この後、色・感度モザイク画像および輝度画像を用いて、それぞれ出力画像Ｒ，Ｇ，Ｂを生成する（Ｓ２１２）。
【０１４６】
図２３は、輝度画像生成処理（Ｓ２１１）の詳細手順を示すフローチャートである。先ず、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定する（Ｓ２２１）。そして、全ての画素を注目画素としていないと判定した場合、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ２２１−Ｎｏ，Ｓ２２２）。
【０１４７】
そして、色・感度モザイク画像に対して処理対象色βごとに、β成分推定処理を施すことにより、注目画素に対応する推定値Ｒ’を推定する（Ｓ２２３）。たとえば、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（たとえば、注目画素を中心とする１５×１５画素）のうち、β成分を有し、かつ、感度Ｓαである画素を検出し、検出した画素（参照画素）の画素値を抽出する。そして、参照画素の注目画素に対する相対的な位置に対応し、予め設定されているβ成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算し、その積の総和を、用いたβ成分用補間フィルタ係数の総和で除算して感度Ｓαについての商を取得する。これを、全ての感度Ｓα（本例ではＳ０，Ｓ１，Ｓ２，Ｓ３）について求める。この後、それぞれの商を加算して和を求める（感度均一化処理に相当する）。この後、合成感度補償ＬＵＴ（図２５，図２６参照）に照らし合わせることにより、感度特性を補償した補償値を取得することで、注目画素に対応する推定値β’とする。
【０１４８】
各色ごとに推定値β’を求めた後には、この推定値β’に色バランス係数ｋβを乗算する。そして、それぞれの積β’・ｋβを加算して、その和を注目画素に対応する輝度候補画像の画素値（輝度候補値）とする（Ｓ２２４）。ここで、色バランス係数ｋβは、予め設定されている値であり、たとえば、ｋＲ＝０．３、ｋＧ＝０．６、ｋＢ＝０．１である。なお、色バランス係数ｋＲ，ｋＧ，ｋＢの値は、基本的には輝度候補値として輝度変化に相関がある値を算出することができればよい。したがって、たとえば、ｋＲ＝ｋＧ＝ｋＢとしてもよい。
【０１４９】
処理は、ステップＳ２２１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ２２１〜２２４の処理が繰り返される。ステップＳ２２１において、全ての画素を注目画素としたと判定された場合、ステップＳ２２５にすすむ。なお、ステップＳ２２１〜２２４の処理によって生成された輝度候補画像はノイズ除去処理に供される（Ｓ２２５）。
【０１５０】
ノイズ除去処理（Ｓ２２５）においては、輝度候補画像にノイズ除去処理を施すことによって輝度画像を生成する。具体的には、先ず、輝度候補画像の左下の画素から右上の画素まで順次１画素ずつ注目画素に設定する。そして、注目画素の上下左右に位置する画素の画素値（輝度候補値）を取得し、取得した注目画素の上下左右に位置する画素輝度候補値を、それぞれ変数ａ３，ａ０，ａ１，ａ２に代入する。次に、輝度勾配を考慮した方向選択的平滑化処理、すなわち注目画素に対応する水平方向の平滑化成分Ｈｈと垂直方向の平滑化成分Ｈｖの寄与率を考慮した平滑化処理を実行することにより、注目画素に対応する平滑化値Ａｖｅを取得する。この後、注目画素の画素値（輝度候補値）と注目画素に対応する平滑化値Ａｖｅの平均値を演算し、当該平均値を注目画素に対応する輝度画像の画素値（輝度値）とする。これを全ての画素について繰り返すことで、ノイズ除去処理が施された輝度画像を生成する。単純な平滑化処理ではノイズを低減可能であるもののエッジ成分も平滑化されしまうが、この処理により、エッジ成分を保存しつつノイズだけを低減可能で、エッジ保存性のよい平滑化処理となる。
【０１５１】
なお、ノイズ除去処理に際しては、注目画素の勾配ベクトルと位置ベクトルとの内積の絶対値を１から除算し、その差のρ乗を演算することにより、参照画素に対する重要度を求め、この重要度を加味した平滑化処理を実行してもよい。この場合、画像内の物体の輪郭を検出し、輪郭に平行して平滑化を実行するようになるので、色モアレの発生を抑止するこができる。
【０１５２】
図２４は、単色画像生成処理の詳細手順を示したフローチャートである。単色画像生成処理においては、先ず、色・感度モザイク画像に補間処理を施すことによって、全ての画素がＲ成分の画素値を有するＲ候補画像を生成する（Ｓ１６１）。なお、補間処理は、輝度画像生成処理におけるβ成分推定処理と同様であるので、その説明は省略する。
【０１５３】
この後、比率値算出処理を施すことによって強度比率を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成する（Ｓ１６２）。たとえば、β成分候補画像の左下の画素から右上の画素まで順次１画素ずつ注目画素に設定する。そして、注目画素の近傍に位置する画素（たとえば注目画素を中心とする７×７画素）を参照画素し、それらの画素値（β成分の単色候補値）と、参照画素と同じ座標に位置する輝度画像の画素値（輝度値）を抽出する。そして、参照画素の注目画素に対する相対的な位置に対応し、予め設定されている平滑化フィルタ係数を参照画素の数だけ取得する。この後、各参照画素のβ成分の単色候補値に対応する平滑化フィルタ係数を乗算し、その積を対応する輝度値で除算して、それらの商の総和を演算する。さらに、その商の総和を、用いた平滑化フィルタ係数の総和で除算して、その商を注目画素に対応する強度比率として、比率値情報を生成する。これをβ候補画像の全ての画素を注目画素としたと判定するまで繰り返すことで、β候補画像の全ての画素についての強度比率を生成する。
【０１５４】
この後、輝度画像の各画素の画素値に、対応する強度比率を乗算することで、処理対象色βについて、その積を画素値とする出力画像βを生成する（Ｓ１６３）。
【０１５５】
図２５および図２６は、２×２（画素あるいはエリア）を単位マトリクスとして、異なるシャッタ速度（電荷蓄積時間）で撮像を行なったときの、感度均一化処理や推定処理（Ｓ２２３）にて用いる合成感度補償ＬＵＴの一例を示す図である。先ず図２５（Ａ）は、低感度側Ｓ０，Ｓ１の画素の特性曲線と、高感度側Ｓ２，Ｓ３の画素の特性曲線を示しており、図２５（Ｂ）は、合成処理により得られる広ダイナミックレンジ画像の特性曲線を示しており、それぞれ、横軸は入射光の強度（Ｌ）、縦軸は画素値（Ｉ）を示す。また図２６は、合成感度補償ＬＵＴの特性曲線を示しており、縦軸は入射光の強度（Ｌ）、横軸は画素値（Ｉ）を示す。図２５（Ｂ）において、符号ＢＤ１（ＢＤ；Broad Dynamic range ）に示す非線形の曲線は上述した第１や第３のデモザイク処理におけるもので、符号ＢＤ２に示す非線形の曲線は上述した第２のデモザイク処理におけるものである。
【０１５６】
図２５（Ａ）において、高感度側つまり電荷蓄積時間の最も長い感度Ｓ３は、最も低感度側つまり電荷蓄積時間の短い方の感度Ｓ０に対して４倍の感度を有しており、また、２番目に高感度側つまり電荷蓄積時間が２番目に長い感度Ｓ２は、最も電荷蓄積時間の短い感度Ｓ０に対して３倍の感度を有する。また、２番目に低感度側つまり電荷蓄積時間が２番目に長短い感度Ｓ１は、最も電荷蓄積時間の短い感度Ｓ０に対して２倍の感度を有している。
【０１５７】
すなわち、低速シャッタ速度に相当する長時間露光蓄積（感度Ｓ２，Ｓ３）での撮像は、電荷の蓄積時間が長いために、被写体の暗部をより明確に撮像することができる一方で、被写体の明るさが、感度Ｓ３のものは１００％、感度Ｓ２のものは２００％を越える高輝度部分については撮像素子出力が１００％のレベルで飽和してしまい、良好な画像を得ることができない。
【０１５８】
一方、高速なシャッタ速度に相当する短時間露光蓄積（感度Ｓ０，Ｓ１）で撮像を行なうと、電荷生成部３２に蓄積される光量が減少することになるために、より傾斜の緩やかな撮像素子出力を得ることができ、図２５（Ａ）の前記１００％，２００％を越える明るさの被写体についても撮像信号が飽和してしまうことはない。ただしこの場合でも、それぞれ図示の３００％あるいは４００％を越える高輝度部分については撮像素子出力が１００％のレベルで飽和してしまう。
【０１５９】
こうして、相対的に低速のシャッタでの撮像において飽和してしまうような高輝度部分の画像を、相対的に高速のシャッタでの画像で補うことにより、図２５（Ｂ）の符号ＢＤ１，ＢＤ２に示す非線形の曲線で示されるように、暗部が潰れることがなく、かつ高輝度部分が白飛びすることのない広ダイナミックレンジの画像を得ることができる。なお、符号ＢＤ１で示す曲線は、感度設定すなわち露光蓄積時間設定を４段階としているので、符号ＢＤ２で示す２段階で設定される場合よりも滑らかな階調を持つ広ダイナミックレンジ画像となる。
【０１６０】
このとき、高速側のシャッタで得られるデータをそれぞれｘ０（感度Ｓ０），ｘ１（感度Ｓ１）、低速側のシャッタで得られるデータをｙ２（感度Ｓ２），ｙ３（感度Ｓ３）とすると、第１や第３のデモザイク処理にてダイナミックレンジ拡大処理されたデータｚ１（曲線ＢＤ１に相当）は式（１−１）、第２のデモザイク処理にてダイナミックレンジ拡大処理されたデータｚ２（曲線ＢＤ２に相当）は式（１−２）のように表される。なお、関数ＬＳ０，ＬＳ１，ＨＳ０，ＨＳ１は、単位マトリクス内の個々の単位画素３の出力特性その他を考慮して定義される関数である。
ｚ１＝Ｌｓ０（ｘ０，ｘ１，ｙ２，ｙ３）＋Ｌｓ１（ｘ０，ｘ１，ｙ２，ｙ３）＋Ｈｓ０（ｘ０，ｘ１，ｙ２，ｙ３）＋Ｈｓ１（ｘ０，ｘ１，ｙ２，ｙ３）…（１−１）
ｚ２＝Ｌｓ０（ｘ０，ｙ３）＋Ｌｓ１（ｘ０，ｙ３）＋Ｈｓ０（ｘ０，ｙ３）＋Ｈｓ１（ｘ０，ｙ３）…（１−２）
【０１６１】
このようにダイナミックレンジ拡大処理は、一般的に非線形の処理となるために、各撮像の度に演算処理を行なっていたのでは、処理の負担が増加して処理時間も長くなってしまう。そこで、この数式（１−１），（１−２）により行なわれる処理を予めテーブル化してルック・アップ・テーブルとしておき、実際の処理ではこれを参照した結果を出力すれば良いように構成することが望ましい。
【０１６２】
たとえば、推定処理（Ｓ２２３）では、図２５（Ａ）の特性曲線Ｓ０，Ｓ１に示すような特性で測定された低感度側の画素から算出された商と、同図の特性曲線Ｓ２，Ｓ３に示すような特性で測定された高感度側の画素を用いて算出された商とが加算されている。したがって、求められた和は、図２５（Ｂ）の特性曲線ＢＤ１に示すように、低感度側と高感度側の特性が合成された特性を有することになる。この合成された特性曲線ＢＤ１は、低輝度から高輝度にわたる広ダイナミックレンジの特性となるが、図２５（Ａ）に示すように折れ線となっているので、感度特性曲線ＢＤの逆特性曲線を用いることにより、元のリニアな特性を復元するようにする。
【０１６３】
具体的には、図２６に示すように、全ての感度についての商の和を図２５（Ｂ）の感度特性曲線ＢＤ１の逆特性曲線ｄ１に適用して非線形性を補償するようにする。第１のデモザイク処理でも、逆特性曲線ｄ１に適用して非線形性を補償する。また、第２のデモザイク処理では感度特性曲線ＢＤ２の逆特性曲線ｄ２に適用して非線形性を補償する。すなわち、合成感度補償ＬＵＴは、図２６の逆特性曲線ｄ１，ｄ２をルック・アップ・テーブル化したものである。
【０１６４】
以上説明したように、本実施形態の固体撮像装置１の構成によれば、フォトダイオードＰＤなどの電荷生成部により生成された電荷を蓄積する電荷蓄積部（電荷蓄積機能を兼ね備えていてもよい）、この電荷生成部と電荷蓄積部との間に配設され電荷生成部により生成された電荷を電荷蓄積部に転送する転送ゲート部、および電荷蓄積部に蓄積した電荷に応じた画素信号を生成する画素信号生成部を含む単位画素を２次元状に備えてなるアクティブピクセルイメージセンサにおいて、２次元状の複数の単位画素からなる単位マトリクスごとに、各単位画素についての電荷蓄積時間を所定の段階で制御するようにした。たとえば、電荷の移動を行なう転送ゲート部を駆動するための転送クロック線と電荷蓄積部をリセットするためのリセットクロック線とを、それぞれ独立に駆動パルスを印加可能な複数系統に分けるとともに、転送クロック線とリセットクロック線とを交差するように配置する。
【０１６５】
これにより、偶奇ラインだけの制御に限らずライン内でも細かに電荷蓄積時間を制御可能となり、たとえば単位エリアをｍ×ｎのマトリクスで蓄積時間をコントロールすることができる。そしてこのような制御の元で得られる画素信号を処理することにより、ダイナミックレンジの広いモノクロ画像やカラー画像を得ることができるようになった。加えて、ライン内でも細かに電荷蓄積時間を制御可能としたので、２段階に限らずより多段階（たとえば４段階以上）の蓄積時間を細かに設定することが可能となり、非常に滑らかな階調をもつ広ダイナミックレンジ画像の生成に有利となる。
【０１６６】
また、電荷生成部により生成された電荷をフローティングディフュージョンＦＤなどの電荷蓄積部に一旦転送してから所定のタイミングで信号電荷を取り出す構成としているので、グローバルシャッタ機能と組み合わせることで、異なった蓄積時間を持つ画素の露光期間の同時性を高めることができる。このことは、ライン方向（行方向）のシェーディングを防止しつつ、動きのある被写体（移動体）を広ダイナミックレンジで正しく撮像する上で有利である。
【０１６７】
図２７は、第４のデモザイク処理の概要を示す図である。この第４のデモザイク処理は、カラー画像撮像時において、カラーフィルタ繰返し単位で露光制御を行なう場合の第１例の処理手法を示すものである。ここでは、Ｒ，Ｇ，Ｂのカラーフィルタ配列がベイヤ配列であり、感度がＳ０，Ｓ１，Ｓ２，Ｓ３の４段階でる場合で説明する。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色あるいはそれ以上からなる色・感度モザイク画像に適用することも可能である。また、感度が９段階やそれ以上などである色・感度モザイクパターンに適用することも可能である。
【０１６８】
第４のデモザイク処理は、図２７に示すように、撮像系の処理によって得られたカラーフィルタ繰返し単位で露光制御された色・感度モザイク画像について、そのカラーフィルタ繰返し単位ごとに色分離処理を行なうことでＲＧＢ成分ごとに感度モザイク画像を復元する色分離処理と、色分離処理により得られる感度モザイク画像の感度を均一化して画像を復元する感度均一化処理と、復元された画像に基づいて最終的な出力画像（輝度信号Ｙ＋色信号Ｃ）を生成する出力画像生成処理とからなる。
【０１６９】
色分離処理としては、ベイヤ配列に応じた処理を施すのは言うまでもない。これにより、感度に拘わらず、カラーフィルタ繰返し単位ごとに、比較的低周波のＲＬ成分およびＢＬ成分（参照符号ＬはLow Frequency を示す）と、Ｒ成分およびＢ成分に対して２倍の周波数成分を有する比較的高周波のＧＨ成分（参照符号ＨはHigh Frequencyを示す）とが得られる。ただし、カラーフィルタ繰返し単位で露光蓄積時間がそれぞれ異なる値に設定されているので、得られる各画像は、感度の面でモザイク状となった感度モザイク画像となっている。
【０１７０】
そこで、感度均一化処理では、先ず、比較的低周波のＲＬ成分およびＢＬ成分の各感度モザイク画像に基づいて、カラーフィルタ繰返し単位（本例では２×２画素の単位マトリクス）で、各単位マトリクスについての画素値を、その近傍の同じ色の有効な単位マトリクスの画素値を用いて補間する。また、比較的高周波のＧＨ成分の感度モザイク画像に基づいて、各画素についての画素値を、その近傍の同じ色の有効な画素の画素値を用いて補間する。これにより、Ｒ成分およびＢ成分についての単位マトリクスは、元の色の感度Ｓ０，Ｓ１，Ｓ２，Ｓ３の各画素値を有するようになる。この後、単位マトリクスごとに感度Ｓ０，Ｓ１，Ｓ２，Ｓ３の画素値を合成することで、Ｒ成分とＢ成分とについて感度が均一化された画像を得る。このＲ成分およびＢ成分の画像は、１つの単位マトリクスが出力画像の４画素に対応する。一方、Ｇ成分についての画素は、元の色の感度Ｓ０，Ｓ１，Ｓ２，Ｓ３の各画素値を有するようになる。この後、画素ごとに感度Ｓ０，Ｓ１，Ｓ２，Ｓ３の画素値を合成することで、Ｇ成分について感度が均一化された画像を得る。このＧ成分の画像は、１つの単位画素３が出力画像の１画素に対応する。
【０１７１】
出力画像生成処理においては、従来から行なわれていると同様にして、専ら色情報の生成に寄与するＲ成分およびＢ成分と、Ｒ成分およびＢ成分に対して２倍の周波数成分を有するＧ成分とに基づいて、高域および低域に分けた輝度信号生成処理と色差信号生成処理を伴う色信号生成処理を行なうことで、最終的な出力画像（輝度信号＋色信号）を生成する。
【０１７２】
このように、第４のデモザイク処理によれば、カラーフィルタ繰返し単位での露光制御を行なうことによりえた画素信号に基づいて、通常の色分離処理を行なった後に感度均一化処理にて画像を復元することができ、広ダイナミックレンジのカラー画像の生成が容易であるという利点が得られる。
【０１７３】
図２８は、第５のデモザイク処理の概要を示す図である。この第５のデモザイク処理は、カラー画像撮像時において、カラーフィルタ繰返し単位で露光制御を行なう場合の第２例の処理手法を示すものである。この第５のデモザイク処理は、図２８に示すように、撮像系の処理によって得られたカラーフィルタ繰返し単位で露光制御された色・感度モザイク画像の感度を均一化することで、通常の露光状態と同様の画像を得る感度均一化処理と、通常露光状態に戻された画像から各画素のＲＧＢ成分を復元する色分離処理と、色分離処理により得られる画像に基づいて最終的な出力画像（輝度信号Ｙ＋色信号Ｃ）を生成する出力画像生成処理とからなる。第４のデモザイク処理との違いは、色分離処理と感度均一化処理が逆の手順となっている点にある。この第５のデモザイク処理の場合、感度均一化処理後の処理は、通常モード時の処理と完全に同じにすることができるので、全体の回路構成がコンパクトになり、たとえば、図１（Ｃ）に示した外部回路１００のように、デジタル信号処理部（ＤＳＰ）１３０を兼用することが可能となる。
【０１７４】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０１７５】
また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０１７６】
たとえば、上記実施形態では、複数系統に分けられた各転送クロック線とリセットクロック線とを互いに交差するように配置していたが、これに限らず、少なくとも水平列と垂直列の単位画素がそれぞれ複数系統に分けられて駆動される構造として、結果的に、転送クロック線とリセットクロック線に対して対応する駆動パルスを印加することで感度特性がモザイク状を呈する感度モザイク画像が固体撮像素子から出力されるようになっていればよい。たとえば、単位画素ごとにゲート回路を設けて単位マトリクス内で個別の露光蓄積時間が設定可能な構造としてもよい。
【０１７７】
また、上記実施形態では、電荷注入部の一例であるフローティングディフュージョンを利用したＦＤＡ構成の画素信号生成部５を一例に説明したが、画素信号生成部５は、必ずしもＦＤＡ構成のものでなくてもよい。たとえば、転送電極の下の基板に電荷注入部の一例であるフローティングゲートＦＧ（Floating Gate ）を設け、フローティングゲートＦＧ下のチャネルを通過する信号電荷の量でフローティングゲートＦＧの電位変化が生じることを利用した検出方式の構成としてもよい。
【０１７８】
また、電荷蓄積部４４は、転送電極を備えた構成のものとして説明したが、転送電極を持たないバーチャルゲートＶＧ（Virtual Gate）構造のものとしてもよい。
【０１７９】
また、上記実施形態では、行および列状に配列された画素からの信号出力が電圧信号であって、ＣＤＳ処理機能部が各列ごとに設けられたカラム型の固体撮像装置を一例として説明したが、固体撮像装置は、カラム型のものに限らない。たとえば、画素からの信号出力が電流信号である固体撮像装置に、単位マトリクス実施形態の構成を適用することも可能である。
【０１８０】
また、上記実施形態の固体撮像装置は、水平走査回路１２や垂直走査回路１４などの駆動制御部７の各要素を撮像部１０とともに単結晶シリコンなどの半導体領域に一体的に形成されているものとして説明したが、撮像部１０と駆動制御部７とは別体のものであってもよい。たとえば、撮像部１０と駆動制御部７とが別体の半導体領域に形成され、撮像部１０がカメラヘッドとして使用される形態の構成としてもよい。あるいは、上記実施形態で示した駆動制御部７の一部のみが撮像部１０と一体的に形成されたものであってもよい。この場合、水平走査回路１２、垂直走査回路１４、垂直列選択駆動部１６の部分を撮像部１０と一体化するのが好ましい。
【０１８１】
【発明の効果】
以上のように、本発明によれば、電荷生成部により生成された電荷を電荷蓄積部に一旦転送してから所定のタイミングで信号電荷を取り出す構成のアドレス制御型固体撮像素子において、ｍ×ｎの単位画素で構成された単位マトリクス内では各単位画素の電荷蓄積時間が異なり、かつ、単位マトリクス同士では対応する位置の単位画素の電荷蓄積時間が同じとなるように駆動可能な構成にすることにより、単位マトリクス内では画素の感度特性が異なり、単位マトリクス同士では対応する位置の画素の感度特性が同じとなる、感度特性がモザイク状を呈する感度モザイク画像を表わす撮像信号が前記撮像部から出力されるようにした。
【０１８２】
これにより、偶奇ラインに拘わらずライン内でも細かに電荷蓄積時間を制御可能となり、ｍ×ｎの単位マトリクス内の単位画素や単位フィルタごとに蓄積時間を違えて撮像することで感度モザイク画像が得られる。そして、この感度モザイク画像の単位画素の感度を均一化する処理を施すことで、ダイナミックレンジの広いモノクロ画像やカラー画像を得ることができるようになった。
【０１８３】
加えて、ライン内でも細かに電荷蓄積時間を制御することができるので、２段階に限らずより多段階（たとえば４段階以上）の蓄積時間を細かに設定することが可能となり、非常に滑らかな階調をもつ広ダイナミックレンジ画像を得ることができる。
【０１８４】
また、電荷生成部により生成された電荷を電荷蓄積部に一旦転送してから所定のタイミングで信号電荷を取り出す構成としているので、グローバルシャッタ機能と組み合わせることで、異なった蓄積時間を持つ画素の露光期間の同時性を高めることができ、ライン方向のシェーディングを防止しつつ、動きのある被写体（移動体）を広ダイナミックレンジで正しく撮像することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る固体撮像装置の概略構成図である。
【図２】図１に示した固体撮像装置の撮像部における単位画素の第１実施形態の詳細例を示した図である。
【図３】第１実施形態の単位画素を備えた固体撮像装置における走査のタイミングチャートの一例である。
【図４】２×２画素の単位マトリクスの概略構成を示す図である。
【図５】２×２画素の単位マトリクスとする場合のリセットＴｒ駆動クロック線と転送ゲート駆動クロック線の配線形態の一例を示す図である。
【図６】単位マトリクス内の個々の単位画素に対する駆動タイミングと電荷量の時間変化の一例を示す図である。
【図７】図１に示した固体撮像装置の撮像部における単位画素の第２実施形態の詳細例を示した図である。
【図８】図１に示した固体撮像装置の撮像部における単位画素の第３実施形態の詳細例を示した図である。
【図９】第３実施形態の単位画素を備えた固体撮像装置における走査のタイミングチャートの一例である。
【図１０】３×３画素を単位マトリクスとした駆動手法を説明する図である。
【図１１】２×２画素を単位マトリクスとしつつ、読出選択用トランジスタとリセットトランジスタの配線対象の行／列を逆にした構成を示す図である。
【図１２】２×２画素を単位マトリクスとしつつ、行列方向に対して斜め方向に読出選択用トランジスタとリセットトランジスタの駆動クロック線を設けた構成を示す図である。
【図１３】色・感度モザイクパターンＰ１を示す図である。
【図１４】色・感度モザイクパターンＰ２を示す図である。
【図１５】色・感度モザイクパターンＰ３を示す図である。
【図１６】色・感度モザイクパターンＰ４を示す図である。
【図１７】第１のデモザイク処理の概要を示す図である。
【図１８】第２のデモザイク処理の概要を示す図である。
【図１９】第２のデモザイク処理における抽出処理と色補間処理の概要を示す図である。
【図２０】第２のデモザイク処理における挿入処理の概要を示す図である。
【図２１】第３のデモザイク処理の概要を示す図である。
【図２２】第３のデモザイク処理の手順を示すフローチャートである。
【図２３】輝度画像生成処理（Ｓ１１１）の詳細手順を示すフローチャートである。
【図２４】単色画像生成処理の詳細手順を示したフローチャートである。
【図２５】合成感度補償ＬＵＴについて説明するための図である。（その１）
【図２６】合成感度補償ＬＵＴについて説明するための図である。（その１）
【図２７】第４のデモザイク処理の概要を示す図である。
【図２８】第５のデモザイク処理の概要を示す図である。
【符号の説明】
１…固体撮像装置、３…単位画素、５…画素信号生成部、７…駆動制御部、１０…撮像部、１２…水平走査回路、１４…垂直走査回路、１６…垂直列選択駆動部、２０…タイミングジェネレータ、２６…ＣＤＳ処理部、２８…出力バッファ、３２…電荷生成部、３４…読出選択用トランジスタ、３６…リセットトランジスタ、３８…フローティングディフュージョン、３９…遮光部材、４０…垂直選択用トランジスタ、４２…増幅用トランジスタ、４４…電荷蓄積部、４６…転送ゲート部、４８…制御スイッチ、５０…水平選択用トランジスタ、１００…外部回路１００、１１０…Ａ／Ｄ変換部、１２０…デモザイク処理部、１３０…デジタル信号処理部、１３２…選択部、１３６…Ｄ／Ａ変換部
Claims (14)
- それぞれ画素に対応して、光を受光する受光面を有し受光した光に対応する電荷を生成する電荷生成部、前記電荷生成部により生成された電荷を蓄積する電荷蓄積部、前記電荷生成部と前記電荷蓄積部との間に配設され前記電荷生成部により生成された電荷を前記電荷蓄積部に転送する転送ゲート部、前記電荷蓄積部に蓄積されている電荷を掃き出させるリセット部、および、前記電荷蓄積部に蓄積した電荷に応じた画素信号を生成して指示されたタイミングで後段回路へ出力する画素信号生成部を含む単位画素が２次元状に備えられている撮像部と、
前記撮像部に配線されている前記転送ゲート部を駆動するための駆動パルスを伝送する転送クロック線、および前記転送クロック線と互いに交差するように配置され、前記リセット部を駆動するための駆動パルスを伝送するリセットクロック線と、
を備え、
ｍ×ｎの単位画素で構成された単位マトリクス内では各単位画素の電荷蓄積時間が異なり、かつ、単位マトリクス同士では対応する位置の単位画素の電荷蓄積時間が同じとなる対応する駆動パルスが前記転送クロック線と前記リセットクロック線に印加されることにより、単位マトリクス内では画素の感度特性が異なり、単位マトリクス同士では対応する位置の画素の感度特性が同じ状態となる、感度特性がモザイク状を呈する感度モザイク画像を表わす撮像信号が前記撮像部から出力される
固体撮像装置。 - 前記電荷生成部の受光面上に、複数の色成分からなるカラー画像を撮像するためのカラーフィルタが配列されており、
前記転送クロック線と前記リセットクロック線は、互いに交差するように配置されるとともに、前記カラーフィルタの配列における繰返し単位を単位エリアとし、ｍ×ｎの単位エリアで構成された単位マトリクス内では各単位エリアの電荷蓄積時間が異なり、かつ、単位マトリクス内の各単位画素の電荷蓄積時間が同じとなるように、対応する駆動パルスが印加される
請求項１に記載の固体撮像装置。 - 同一の受光感度を有する複数の前記単位画素が格子状に配置されている
ことを特徴とする請求項１または２に記載の固体撮像装置。 - 前記電荷生成部の受光面上に、複数の色成分からなるカラー画像を撮像するためのカラーフィルタが配列されており、
前記転送クロック線と前記リセットクロック線は、前記カラーフィルタの配列における繰返し単位を単位エリアとし、ｍ×ｎの単位エリアで構成された単位マトリクス内では各単位エリアの感度特性がそれぞれ異なり、かつ、単位マトリクス同士では対応する位置の単位エリアの感度特性がそれぞれ同じ状態の、色特性もモザイク状を呈する色・感度モザイク画像を表わす撮像信号が前記撮像部から出力されるように、対応する駆動パルスが印加される
請求項１または２に記載の固体撮像装置。 - 前記複数の色成分は、３原色成分であり、
前記カラーフィルタは、前記色・感度モザイク画像を色成分だけに注目した場合には、ベイヤ配列をなすように配列されている
請求項４に記載の固体撮像装置。 - 前記色・感度モザイク画像を感度だけに注目した場合には、前記カラーフィルタの配列における繰返し単位ごとに、同一の感度特性を有する画素が格子状に配置される
請求項４または５に記載の固体撮像装置。 - 前記単位画素の表面には光を遮光する遮光部材が設けられており、この遮光部材の少なくとも前記電荷生成部の上部には開口部が形成されている
請求項１，２，４の内の何れか一項に記載の固体撮像装置。 - 前記遮光部材は、少なくとも、前記転送ゲート部と前記画素信号生成部との間に配されている前記電荷蓄積部の表面部分に設けられている、
請求項７に記載の固体撮像装置。 - 前記電荷生成部は当該電荷生成部にて生成した電荷を蓄積する第２の電荷蓄積部の機能を備えている
請求項１または２に記載の固体撮像装置。 - それぞれ画素に対応して、光を受光する受光面を有し受光した光に対応する電荷を生成する電荷生成部、前記電荷生成部により生成された電荷を蓄積する電荷蓄積部、前記電荷生成部と前記電荷蓄積部との間に配設され前記電荷生成部により生成された電荷を前記電荷蓄積部に転送する転送ゲート部、前記電荷蓄積部に蓄積されている電荷を掃き出させるリセット部、および、前記電荷蓄積部に蓄積した電荷に応じた画素信号を生成して指示されたタイミングで後段回路へ出力する画素信号生成部を含む単位画素が２次元状に備えられている撮像部と、前記撮像部に配線されている前記転送ゲート部を駆動するための駆動パルスを伝送する転送クロック線、および前記転送クロック線と互いに交差するように配置され、前記リセット部を駆動するための駆動パルスを伝送するリセットクロック線とを備えた固体撮像素子と、
ｍ×ｎの単位画素で構成された単位マトリクス内では各単位画素の電荷蓄積時間が異なり、かつ、単位マトリクス同士では対応する位置の単位画素の電荷蓄積時間が同じとなる駆動パルスを前記転送クロック線と前記リセットクロック線に対して印加する駆動制御部と、
を備え、
単位マトリクス内では画素の感度特性が異なり、単位マトリクス同士では対応する位置の画素の感度特性が同じ状態となる、感度特性がモザイク状を呈する感度モザイク画像を表わす撮像信号が前記撮像部から出力される
撮像装置。 - 前記駆動制御部は、前記感度モザイク画像の単位マトリクス内のそれぞれの感度が全て異なるように前記駆動パルスの印加タイミングを調整する
請求項１０に記載の撮像装置。 - 前記固体撮像素子から出力された前記モザイク画像に基づいて感度が均一化された被写体画像を復元する画像処理部
を備えた請求項１０または１１に記載の撮像装置。 - 前記画像処理部は、１枚分の前記モザイク画像を用いて空間的な補間処理を施すことにより前記被写体画像を復元する
請求項１２に記載の撮像装置。 - 前記駆動制御部は、同位置の画素では１枚の前記モザイク画像にて取り得る全ての感度の画素値を取り得るように前記駆動パルスの印加タイミングを調整して複数枚の前記モザイク画像を前記固体撮像素子に撮像させ、
前記画像処理部は、それぞれが感度パターンの異なる複数枚分の前記モザイク画像を用いて時間的な補間処理を施すことにより前記被写体画像を復元する
請求項１２に記載の撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003073282A JP4501350B2 (ja) | 2003-03-18 | 2003-03-18 | 固体撮像装置および撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003073282A JP4501350B2 (ja) | 2003-03-18 | 2003-03-18 | 固体撮像装置および撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004282552A JP2004282552A (ja) | 2004-10-07 |
| JP4501350B2 true JP4501350B2 (ja) | 2010-07-14 |
Family
ID=33289215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003073282A Expired - Fee Related JP4501350B2 (ja) | 2003-03-18 | 2003-03-18 | 固体撮像装置および撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4501350B2 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4646655B2 (ja) * | 2005-03-01 | 2011-03-09 | キヤノン株式会社 | 固体撮像装置及びその駆動方法並びに撮像システム |
| JP4655785B2 (ja) * | 2005-07-06 | 2011-03-23 | 日本ビクター株式会社 | 固体撮像素子の駆動方法 |
| JP2007074435A (ja) * | 2005-09-07 | 2007-03-22 | Funai Electric Co Ltd | 固体撮像装置およびその駆動方法 |
| JP4747781B2 (ja) | 2005-10-27 | 2011-08-17 | 船井電機株式会社 | 撮像装置 |
| KR100769548B1 (ko) | 2005-12-30 | 2007-10-23 | 엠텍비젼 주식회사 | 컬러 필터 어레이 및 영상 보간 방법 |
| JP2007258837A (ja) * | 2006-03-20 | 2007-10-04 | Sharp Corp | 固体撮像素子、撮像処理方法、欠陥画素補正方法、撮像処理ユニット、及び欠陥画素補正ユニット |
| JP5090692B2 (ja) * | 2006-04-28 | 2012-12-05 | イーストマン コダック カンパニー | 撮像装置 |
| KR100776146B1 (ko) | 2006-05-04 | 2007-11-15 | 매그나칩 반도체 유한회사 | 화소를 버스트 리셋 동작과 통합하여 개선된 성능을 갖는ｃｍｏｓ이미지 센서 |
| JPWO2008004302A1 (ja) * | 2006-07-07 | 2009-12-03 | 富士通マイクロエレクトロニクス株式会社 | 固体撮像装置及びその制御方法 |
| JP4375364B2 (ja) | 2006-07-14 | 2009-12-02 | ソニー株式会社 | 固体撮像装置の駆動方法 |
| JP2008187615A (ja) | 2007-01-31 | 2008-08-14 | Canon Inc | 撮像素子、撮像装置、制御方法、及びプログラム |
| US7940311B2 (en) * | 2007-10-03 | 2011-05-10 | Nokia Corporation | Multi-exposure pattern for enhancing dynamic range of images |
| JP5292939B2 (ja) | 2008-06-20 | 2013-09-18 | ソニー株式会社 | 画像処理装置および方法、製造装置 |
| JP5478215B2 (ja) | 2009-11-25 | 2014-04-23 | オリンパスイメージング株式会社 | 撮影装置および撮影装置の制御方法 |
| JP5516960B2 (ja) | 2010-04-02 | 2014-06-11 | ソニー株式会社 | 固体撮像装置、固体撮像装置の駆動方法、および、電子機器 |
| JP5771079B2 (ja) * | 2010-07-01 | 2015-08-26 | 株式会社半導体エネルギー研究所 | 撮像装置 |
| JP6402624B2 (ja) * | 2012-03-30 | 2018-10-10 | 株式会社ニコン | 撮像素子および撮像装置 |
| KR20150099716A (ko) | 2012-12-25 | 2015-09-01 | 소니 주식회사 | 고체 촬상 소자 및 그 구동 방법, 및 전자 기기 |
| JP5557071B2 (ja) * | 2013-06-12 | 2014-07-23 | ソニー株式会社 | 固体撮像素子、電子装置 |
| CN105578005B (zh) * | 2015-12-18 | 2018-01-19 | 广东欧珀移动通信有限公司 | 图像传感器的成像方法、成像装置和电子装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000059688A (ja) * | 1998-08-05 | 2000-02-25 | Canon Inc | 光電変換装置 |
| JP2000316163A (ja) * | 1999-04-30 | 2000-11-14 | Olympus Optical Co Ltd | カラー撮像素子及び撮像装置 |
| JP2001024952A (ja) * | 1999-07-12 | 2001-01-26 | Sony Corp | 固体撮像素子およびその駆動方法ならびにカメラシステム |
| JP2002064754A (ja) * | 2000-07-13 | 2002-02-28 | Eastman Kodak Co | 撮像装置の有効ダイナミックレンジを拡張する方法及び装置 |
| JP2002335452A (ja) * | 2001-05-07 | 2002-11-22 | Sharp Corp | 固体撮像装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0834570B2 (ja) * | 1987-07-15 | 1996-03-29 | 株式会社日立製作所 | 固体撮像装置 |
| JP3166776B2 (ja) * | 1990-11-30 | 2001-05-14 | キヤノン株式会社 | 撮像装置及び撮像方法 |
| JPH0575931A (ja) * | 1991-09-13 | 1993-03-26 | Canon Inc | 撮像装置 |
| JPH08256293A (ja) * | 1995-03-17 | 1996-10-01 | Fujitsu Ltd | 固体撮像素子及び固体撮像ユニット並びに撮像カメラ |
| JPH10294949A (ja) * | 1997-02-19 | 1998-11-04 | Sony Corp | カラー方式固体撮像装置 |
-
2003
- 2003-03-18 JP JP2003073282A patent/JP4501350B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000059688A (ja) * | 1998-08-05 | 2000-02-25 | Canon Inc | 光電変換装置 |
| JP2000316163A (ja) * | 1999-04-30 | 2000-11-14 | Olympus Optical Co Ltd | カラー撮像素子及び撮像装置 |
| JP2001024952A (ja) * | 1999-07-12 | 2001-01-26 | Sony Corp | 固体撮像素子およびその駆動方法ならびにカメラシステム |
| JP2002064754A (ja) * | 2000-07-13 | 2002-02-28 | Eastman Kodak Co | 撮像装置の有効ダイナミックレンジを拡張する方法及び装置 |
| JP2002335452A (ja) * | 2001-05-07 | 2002-11-22 | Sharp Corp | 固体撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004282552A (ja) | 2004-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4501350B2 (ja) | 固体撮像装置および撮像装置 | |
| JP5085140B2 (ja) | 固体撮像装置 | |
| US20080218598A1 (en) | Imaging method, imaging apparatus, and driving device | |
| US8174590B2 (en) | Image pickup apparatus and image pickup method | |
| US7812301B2 (en) | Solid-state imaging device, method of driving solid-state imaging device and imaging apparatus | |
| KR101241702B1 (ko) | 고체 촬상 소자, 그 구동 방법 및 촬상 장치 | |
| JP4691930B2 (ja) | 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール | |
| KR101624748B1 (ko) | 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치 | |
| JP4683121B2 (ja) | 固体撮像装置、固体撮像装置の信号処理方法および撮像装置 | |
| US7978240B2 (en) | Enhancing image quality imaging unit and image sensor | |
| KR101473275B1 (ko) | 이미지 센서, 전자 기기, 및 전자 기기의 구동 방법 | |
| JP4821921B2 (ja) | 固体撮像装置および電子機器 | |
| JP4626706B2 (ja) | 固体撮像装置、固体撮像装置の信号処理方法および撮像装置 | |
| WO2013031368A1 (ja) | 撮像装置、および信号処理方法、並びにプログラム | |
| JP3492029B2 (ja) | 撮像装置 | |
| WO2013172205A1 (ja) | 撮像装置および撮像方法、電子機器、並びにプログラム | |
| US7683956B2 (en) | Solid-state imaging device, driving method thereof, and camera that separate image component signal and non-image component signal | |
| KR20110030328A (ko) | 고체 촬상 장치 및 전자 기기 | |
| JP2007135200A (ja) | 撮像方法および撮像装置並びに駆動装置 | |
| JP2006014117A (ja) | 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置 | |
| JP5884847B2 (ja) | 固体撮像装置、固体撮像装置の信号処理方法および撮像装置 | |
| JP5500193B2 (ja) | 固体撮像装置、撮像装置、撮像及び信号処理方法 | |
| JP5212536B2 (ja) | 固体撮像装置、固体撮像装置の信号処理方法および撮像装置 | |
| JP5141757B2 (ja) | 撮像装置、撮像及び信号処理方法 | |
| JP2004194248A (ja) | 撮像素子及び撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051102 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090427 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20091007 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100330 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100412 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |