JP6334908B2 - 撮像装置及びその制御方法、及び撮像素子 - Google Patents

Description

本発明はＣＭＯＳイメージセンサに代表される撮像素子、及び該撮像素子を用いた撮像装置及びその制御方法に関する。

近年の電子カメラやビデオカメラではＣＭＯＳ型固体撮像装置を搭載しているものが増えている。一般的なＣＭＯＳ型固体撮像装置では、二次元マトリックス状に配列された各画素の光電変換部で生成・蓄積された信号電荷を、行毎に順次読み出す方式が採られている。近年は信号電荷の蓄積の同時刻性を実現する同時撮像機能（グローバルシャッタ機能）が提案されており、グローバルシャッタ機能を有するＣＭＯＳ型固体撮像素子の用途も多くなってきている。

特許文献１では画素内に電荷保持部であるＣＣＤを複数直列に有し、蓄積時間の異なる信号を得ることでダイナミックレンジ拡大をしている。ただし高画素化が進む固体撮像装置において１画素内に複数のＣＣＤを設けることは、光電変換部であるフォトダイオード部が小さくなり、感度低下の恐れがある。

特開２０１１−２１７３１５号公報

特許文献１では、グローバルシャッタでもセンサからの出力は１行毎であるため、蓄積時間の異なる信号を得るためには読み出し時間がかかってしまう。また、特許文献１では、電荷保持部分は第１チップの各画素に配置されているため、フォトダイオード部のサイズは従来と同等である。

本発明は上記問題点を鑑みてなされたものであり、光電変換手段のサイズを小さくすることなく、ダイナミックレンジの広い画像を得ることを目的とする。

上記目的を達成するために、本発明の撮像装置は、複数の画素から構成され、各画素が、光電変換手段と、前記光電変換手段で発生した信号を保持するための複数の信号保持手段と、前記複数の信号保持手段それぞれにおける信号の保持を制御する制御手段と、前記複数の信号保持手段の信号を出力する複数の出力手段と、を有する撮像素子と、前記複数の信号保持手段から出力された信号から、各画素の信号を生成する生成手段とを有し、前記光電変換手段を第１チップに構成し、前記複数の信号保持手段と、前記制御手段と、前記複数の出力手段とを第２チップに構成し、前記各画素において、前記複数の信号保持手段が並列に接続されるとともに、前記複数の出力手段が前記複数の信号保持手段の各々に対応して並列に接続されることを特徴とする。

本発明によれば、光電変換手段のサイズを小さくすることなく、ダイナミックレンジの広い画像を得ることができる。

本発明の第１の実施形態における撮像装置の概略構成を示すブロック図。 第１の実施形態における撮像素子の積層構造の概略図。 第１の実施形態における撮像素子の構成を示すブロック図。 第１の実施形態における画素の等価回路図と断面図。 従来技術における画素の駆動パターンを示すタイミングチャート。 従来技術におけるポテンシャル遷移図。 第１の実施形態における画素の駆動パターンを示すタイミングチャート。 第１の実施形態におけるポテンシャル遷移図。 第１の実施形態における画素信号のレベルと出力選択を説明する図。 第１の実施形態における撮像素子の読み出し制御を示すフローチャート。 第２の実施形態における画素の駆動パターンを示すタイミングチャート。 第２の実施形態におけるポテンシャル遷移図。 第２の実施形態における画素信号のレベルと出力選択を説明する図。 第２の実施形態における撮像素子の読み出し制御を示すフローチャート。 第３の実施形態における撮像素子の構成を示すブロック図。 第３の実施形態における画素信号のレベルと出力選択を説明する図。 第３の実施形態における撮像素子の読み出し制御を示すフローチャート。 第４の実施形態における画素の駆動パターンを示すタイミングチャート。 第４の実施形態におけるポテンシャル遷移図。 第４の実施形態における撮像素子の読み出し制御を示すフローチャート。 第５の実施形態における撮像素子の構成を示すブロック図。 第５の実施形態における画素の等価回路図。 第５の実施形態における画素の駆動パターンを示すタイミングチャート。 第５の実施形態におけるポテンシャル遷移図。 第５の実施形態における撮像素子の読み出し制御を示すフローチャート。 第６の実施形態における加算制御の説明図。 第６の実施形態における撮像素子の読み出し制御を示すフローチャート。 第７の実施形態における携帯電話機の概略構成を示すブロック図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置の構成を示すブロック図である。撮像装置は主に、画像処理装置１００、メモリカードやハードディスク等の記録媒体２００、レンズユニット３００を含む。

レンズユニット３００は、撮影レンズ３１０、絞り３１２、レンズマウント３１６、レンズ制御部３２０、コネクタ３２２を備えている。レンズマウント３１６は、レンズユニット３００を画像処理装置のレンズマウント１０６にメカ的に接続する。コネクタ３２２は、画像処理装置１００側のコネクタ１２２を介して画像処理装置１００と電気的に接続する。レンズ制御部３２０は、コネクタ３２２、１２２を介して、画像処理装置１００からの信号を受け取り、受け取った信号により撮影レンズ３１０の光軸上での位置を変更し、焦点調節を行う。同じようにレンズ制御部３２０は、画像処理装置１００からの信号を受け取り、絞り３１２の開口を制御する。

画像処理装置１００において、ミラー１３０が光軸上にあるときに、ミラー１３０及び１３１を介して、入射した入射光を結像して、光学ファインダ１０４からユーザが撮影する静止画の構図を確認することが可能である。撮像素子１４００は、後述する列ＡＤ回路やタイミング制御ブロックを含み、ミラー１３０が光軸から退避しているときに、レンズユニット３００を介して入射した光学像を光電変換して電気信号に変換する。シャッター１２は、撮像素子１４００への露光量を制御する。

アナログフロントエンド（ＡＦＥ）１７００は、撮像素子１４００から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器を内蔵する。タイミングジェネレータ（ＴＧ）１８００は、撮像素子１４００やＡＦＥ１７００のＡ／Ｄ変換器にクロック信号や制御信号を供給する。システム制御回路５０（以下、「ＣＰＵ」と呼ぶ。）は、画像処理を含む画像処理装置１００全体を制御する。

モニタ１２００は、液晶ディスプレイ（ＬＣＤ）などにより構成され、ライブビュー画像の表示や、撮影した静止画像を表示することが可能である。シャッタースイッチ６１は、静止画の撮影を指示するためのもので、２段階の構成を有する。１段目まで浅く押す、いわゆる半押し操作に応じて、自動焦点調節や、撮影前の状態における自動露出機構によるシャッター速度と絞り数値の設定を含む自動露出制御が行われる。また、２段目まで深く押す、いわゆる全押し操作に応じてシャッター１２が動作し、撮影動作が実施される。動画記録スタート・ストップスイッチ６２は、動画の撮影を指示するためのもので、記録開始が指示されると、連続して動画記録動作を行う。

電源スイッチ６０は、画像処理装置１００の電源オン、電源オフの切り替えを行う。また、画像処理装置１００に接続されたレンズユニット３００、外部ストロボ、記録媒体２００等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。

揮発性メモリ（ＲＡＭ）７０は、撮像素子１４００から出力される画像データや、画像処理部７２で画像処理された画像データを一時的に記録する。またＣＰＵ５０のワークメモリとしての機能も持つ。不揮発性メモリ（ＲＯＭ）７１は、ＣＰＵ５０が動作を行う際のプログラムを格納している。画像処理部７２は、静止画の補正・圧縮等の処理を行う。画素出力選択部７３は、後述するように各画素から複数の出力がある場合に、その中から適切なレベルの出力を選択する。画素加算部７４は、後述する各画素から複数の出力がある場合に、出力を加算する。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等から構成されている。さらに電池の装着の有無、電池の種類、電池残量の検出を行い、その検出結果及びＣＰＵ５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部に供給する。電源制御部８０は、コネクタ８２及び８４を介して電源部８６と接続される。電源部８６は、アルカリ電池やリチウム電池等の一次電池、Ｌｉ電池などの二次電池、ＡＣアダプタ等から成る。

インターフェース９０は、コネクタ９２を介して電気的に接続される記録媒体２００との通信を行う。記録媒体２００は、メモリーカードやハードディスク等の記録媒体であり、半導体メモリや磁気ディスク等から構成される記録部２５２、画像処理装置１００とのコネクタ２５６を有している。

また、インターフェース１２０は、コネクタ１２２を介して電気的に接続されるレンズユニット３００と電気信号で通信する。レンズマウント１０６は、レンズユニット３００をメカ的に接続する。

本実施形態における撮像素子１４００は積層構造を有し、図２はその概略を示す斜投影図である。撮像素子１４００では、受光部分を含む第１チップ１４０１と電荷保持部を含む第２チップ１４０２とがチップレベルで積層している。第１チップ１４０１には後述する画素部２０６の内部の光電変換部（フォトダイオード、以下、「ＰＤ」と記す。）を含む部分が構成されている。第２チップ１４０２にはＰＤから転送されてきたデータを一時保持する電荷保持部である電荷結合素子（以下、「ＣＣＤ」と記す。）を含む回路で構成されている。

図３は、撮像素子１４００の構成を示すブロック図である。画素２０３がマトリクス状に配置されており、以下、垂直方向の並びを「列」、水平方向の並びを「行」と呼ぶ。画素２０３の列、行すべて集めたものが画素部２０６である。垂直走査回路２０２は、選択行を読み出すための行選択と、各行の電荷の読み出しとに必要な信号を各画素の回路に出力する。

各列の画素２０３は、垂直出力線（列出力線）４２１，４２２の２本につながっている。垂直出力線４２１，４２２に出力された信号は、それぞれ列アンプ２０４、列回路２０５を介して水平出力線２１１，２１２に出力される。水平出力線（行出力線）２１１，２１２に出力された１行分の信号出力は不図示の水平走査回路の駆動により水平方向に順次出力される。

図４（ａ）は画素２０３の等価回路図、図４（ｂ）は画素２０３の断面図を示している。図４（ａ）において、ＰＤ４０８にて発生及び蓄積された電荷を、ＣＣＤ制御信号φ４０１，φ４０４を制御してＣＣＤ４０９，４１５にて一度保持する。ＣＣＤ４０９で保持された電荷は、転送制御信号φ４００により転送スイッチ４１０を制御してフローティングデフュージョン部（以下、「ＦＤ」と記す。）４１１に転送される。ソースフォロアアンプ４１３はＦＤ４１１に蓄積された電荷に基づく電圧を増幅して、画素信号として出力する。出力された画素信号は、行選択制御信号φ４０６により行選択スイッチ４１４を制御することで垂直出力線４２１へ出力される。なお、図４（ａ）ではＰＤ４０８にＣＣＤ４０９，４１５が直接接続されているが、ＰＤ４０８とＣＣＤ４０９の間に別のＭＯＳトランジスタを転送ゲートとして接続してもよい。ここで、ＰＤ４０８は第１チップ１４０１に構成され、そのほかの部分は第２チップ１４０２に構成される。

一方、ＣＣＤ４１５で保持された電荷は、転送制御信号φ４０３により転送スイッチ４１６を制御してフローティングデフュージョン部（ＦＤ）４１７に転送される。ソースフォロアアンプ４１９はＦＤ４１７に蓄積された電荷に基づく電圧を増幅して、画素信号として出力する。出力された画素信号は、行選択制御信号φ４０７により行選択スイッチ４２０を制御することで垂直出力線４２２へ出力される。

ＦＤ４１１，４１７に蓄積されている不要電荷をリセットする場合はそれぞれリセット制御信号φ４０２，φ４０５によりリセットスイッチ４１２，４１８を制御する。ＰＤ４０８のリセットについては後述する。

ＣＣＤ制御信号φ４０１，φ４０４、転送制御信号φ４００，φ４０３、リセット制御信号φ４０２，φ４０５、行選択制御信号φ４０６，φ４０７は、ＣＰＵ５０がＴＧ１８００を介して垂直走査回路２０２を制御して出力する。

図４（ｂ）は、図４（ａ）で示した等価回路中、第２チップ１４０２の各部分が積層センサで配置されている個所を示している。第１チップ１４０１のＰＤ４０８で蓄積された電荷に対応した電荷蓄積部分を電荷保持部４０８Ａとし、ＰＤ４０８で発生した電荷が第２チップ１４０２の電荷保持部４０８Ａに転送される。なお第１チップ１４０１と第２チップ１４０２との境界はマイクロバンプなどの技術で接続する方法がある。電荷保持部４０８Ａに隣接してＣＣＤ４０９が配置されている。ＣＣＤ４０９には、ゲート電極４０９Ａ及びＣＣＤ電荷保持部４３４があり、ＣＣＤ４０９に隣接して転送スイッチ４１０Ａ、ＦＤ４１１が配置されている。図示していないが、他方のＣＣＤ４１５側もＣＣＤ４０９と同じように、電荷保持部４０８Ａに隣接してＣＣＤ４１５が配置されている。転送スイッチ４１６、ＦＤ４１７も同じように配置されている。

次に、図５及び図６を参照して、ＰＤ４０８のリセット動作と、片方のＣＣＤ（ここでは、ＣＣＤ４０９）だけを使った従来の読み出し方式による電荷の転送について説明する。図５は通常読み出しの制御信号のタイミングチャート、図６は通常の読み出しのポテンシャル遷移図を示す。なお、以降に示すポテンシャル遷移図では、下方向が電子にとってポテンシャルが低く（電位が高く）なる。なお、図５に示す各制御信号φ４００〜φ４０７の制御は、ＣＰＵ５０が、ＴＧ１８００及び垂直走査回路２０２を介して行う。

読み出し前であるタイミングＴ５００では、電荷保持部４０８ＡやＣＣＤ４０９に余剰電荷が残っているので（図６（ａ））、これをリセットする。タイミングＴ５００とＴ５０１との間に、転送制御信号φ４００、ＣＣＤ制御信号φ４０１、リセット制御信号φ４０２をＨＩＧＨにする。その結果、タイミングＴ５０１ではＣＣＤ４０９のポテンシャルも下がり、転送スイッチ４１０のポテンシャルも下がる。これにより、電荷保持部４０８ＡやＣＣＤ４０９にあった余剰電荷は、ＣＣＤ４０９及びＦＤ４１１まで転送される（図６（ｂ））。このとき、リセット制御信号φ４０２がＨＩＧＨになっているため、ＦＤ４１１の電荷は排出される。

タイミングＴ５０１とＴ５０２との間では、ＣＣＤ制御信号φ４０１をＬＯＷにして、ＣＣＤ４０９のポテンシャルを上げる。これにより、ＣＣＤ４０９にある不要電荷はすべてＦＤ４１１まで転送される（図６（ｃ））。

タイミングＴ５０２とＴ５０３との間では、転送制御信号φ４００をＬＯＷにする。不要電荷がすべて削除できたら、リセット制御信号φ４０２もＬＯＷにする（図６（ｄ））。

タイミングＴ５０３とＴ５０４との間では、電荷の蓄積を開始する。そして、電荷蓄積期間中にＰＤ４０８で発生し、電荷保持部４０８Ａに転送された電荷をＣＣＤ４０９に転送するために、ＣＣＤ制御信号φ４０１をＨＩＧＨにする（図６（ｅ））。

電荷の蓄積を開始してから所定の電荷蓄積期間の経過後、タイミングＴ５０５の直前で、ＣＣＤ制御信号φ４０１をＬＯＷにする。タイミングＴ５０５では、ＰＤ４０８で発生した電荷がＣＣＤ４０９に移動して保持されている（図６（ｆ））。

タイミングＴ５０５とＴ５０６との間では、転送制御信号φ４００をＨＩＧＨにする。これにより、タイミングＴ５０６では、ＣＣＤ４０９に保持されていた電荷がＦＤ４１１に転送される（図６（ｇ））。

タイミングＴ５０６とＴ５０７との間では、転送制御信号φ４００をＬＯＷにする。これにより、タイミングＴ５０７では、全画素の電荷が各ＦＤ４１１に転送された状態になる（図６（ｈ））。タイミングＴ５０７の後、１行ごとに行選択制御信号φ４０６をＨＩＧＨにすることで、電荷が保持されているＦＤ４１１の電圧がソースフォロアアンプ４１３により増幅され、垂直出力線４２１に出力される。

続いて、図７及び図８を参照して、第１の実施形態における、ＣＣＤ４０９，４１５を両方用いた読み出し方式による電荷の転送について説明する。図７は第１の実施形態における制御信号のタイミングチャート、図８は第１の実施形態におけるポテンシャル遷移図を示す。なお、図７に示す各制御信号φ４００〜φ４０７の制御も、ＣＰＵ５０が、ＴＧ１８００及び垂直走査回路２０２を介して行う。

まず、リセット動作として、図５及び図６のタイミングＴ５００〜Ｔ５０３と同じ制御を行うため、ここでは詳細説明を省略する。ただし、ＣＣＤ４０９，４１５を両方用いた本第１の実施形態の読み出し方式では、制御信号φ４０３〜φ４０５を、制御信号φ４００〜φ４０２と同じように制御する。リセット後、タイミングＴ７００では、電荷保持部４０８Ａ、ＣＣＤ４０９，ＣＣＤ４１５、ＦＤ４１１、ＦＤ４１７の余剰電荷はすべてリセットされた状態である（図８（ａ））。

タイミングＴ７００とＴ７０１との間では、電荷の蓄積を開始する。そして、ＣＣＤ制御信号φ４０１、φ４０４をＨＩＧＨにすることで、タイミングＴ７０１では、電荷蓄積期間中にＰＤ４０８で発生する電荷は、電荷保持部４０８Ａを介してＣＣＤ４０９，ＣＣＤ４１５それぞれに転送される（図８（ｂ））。

電荷の蓄積を開始してから所定の電荷蓄積期間の経過後、タイミングＴ７０２の直前で、ＣＣＤ制御信号φ４０１をＬＯＷにし、タイミングＴ７０２では、ＣＣＤ４０９のポテンシャルを上げる（図８（ｃ））。そのため、タイミングＴ７０２以降ではＰＤ４０８で発生された電荷はＣＣＤ４１５にのみ転送される（図８（ｃ）〜（ｅ））。

タイミングＴ７０２とＴ７０３との間では、転送制御信号φ４００をＨＩＧＨにする。これにより、タイミングＴ７０３では、ＣＣＤ４０９に保持されていた電荷がＦＤ４１１に転送される（図８（ｄ））。

タイミングＴ７０３とＴ７０４との間では、転送制御信号φ４００をＬＯＷにする。これにより、タイミングＴ７０４では、全画素の電荷が各ＦＤ４１１に転送された状態になる（図８（ｅ））。タイミングＴ７０４の後、１行ごとに行選択制御信号φ４０６をＨＩＧＨにすることで、電荷が保持されているＦＤ４１１の電圧がソースフォロアアンプ４１３により増幅され、垂直出力線４２１に出力される。

一方、タイミングＴ７０５の直前で、ＣＣＤ制御信号φ４０４信号をＬＯＷにする。これにより、タイミングＴ７０５では、ＣＣＤ４１５のポテンシャルが上がり、電荷保持部４０８ＡからＣＣＤ４１５への転送が止まる（図８（ｆ））。

タイミングＴ７０５とＴ７０６との間では、転送制御信号φ４０３をＨＩＧＨにする。これにより、タイミングＴ７０６では、ＣＣＤ４１５に保持されていた電荷がＦＤ４１７に転送される（図８（ｇ））。

タイミングＴ７０６とＴ７０７との間では、転送制御信号φ４０３をＬＯＷにする。これにより、タイミングＴ７０７では、全画素の電荷が各ＦＤ４１７に転送された状態になる（図８（ｈ））。タイミングＴ７０７の後、１行ごとに行選択制御信号φ４０７をＨＩＧＨにすることで、電荷が保持されているＦＤ４１７の電圧がソースフォロアアンプ４１９により増幅され、垂直出力線４２２に出力される。

図９は、第１の実施形態における特定画素の画素信号のレベルとそれに対する出力選択を説明する図であり、特定画素の画素信号のレベルを示している。Ｌ９００は飽和レベルである。図９（ａ）は、図８で説明したうちのＣＣＤ４０９側、つまり蓄積秒時が短い方の駆動で得た出力を示す。画素Ｐ９０２の出力はレベルＬ９０５で、飽和レベルＬ９００に対してかなり小さい値である。また、画素Ｐ９０３の出力はレベルＬ９０４である。これに対し、図９（ｂ）は図８で説明したうちのＣＣＤ４１５側、つまり蓄積秒時の長い駆動で得た出力を示す。画素Ｐ９０２の出力はレベルＬ９０７、画素Ｐ９０３の出力は飽和レベルＬ９００に達している。

この結果から、ＣＰＵ５０が画素出力選択部７３を介して、画素Ｐ９０２からはＣＣＤ４１５を用いて出力したレベルＬ９０７を選択し、画素Ｐ９０３からはＣＣＤ４０９を用いて出力したレベルＬ９０４を選択する。なお出力の整合性を保つため、必要に応じて各出力のレベル変換を行う。例えば、ＣＣＤ４０９に対し、ＣＣＤ４１５は２倍の蓄積時間の信号であるとする。この条件の場合、ＣＣＤ４１５の出力に対して、ＣＰＵ５０が画像処理部７２を介して１／２倍のゲインをかける。このような適切レベルを出力するための出力選択をすべての画素について行う。

図１０は、第１の実施形態における撮像素子１４００の読み出し制御を示すフローチャートである。撮影を開始すると、ダイナミックレンジ（Ｄレンジ）拡大モードにするかどうか設定を確認する（Ｓ１００）。Ｄレンジ拡大モードでないときは、図５及び図６を参照して説明したように、ＰＤ４０８からＣＣＤ４０９のみに転送して（Ｓ１１２）、全画素からそのまま通常出力を行う（Ｓ１１３）。

Ｄレンジ拡大モードのときは、２つのＣＣＤ４０９，４１５に信号を転送するように、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介して、ＣＣＤ４０９，４１５のポテンシャルを下げ、ＣＣＤ４０９，４１５に電荷が転送されるようにする（Ｓ１０１）。ＣＣＤ４０９の所定の電荷蓄積期間が経過すると（Ｓ１０２でＹＥＳ）、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介して、ＣＣＤ４０９のポテンシャルを元に戻す（Ｓ１０３）。そして、蓄積された電荷を、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介して、ＣＣＤ４０９から読み出す（Ｓ１０４）。

また、もう一方のＣＣＤ４１５の蓄積期間が経過すると（Ｓ１０５でＹＥＳ）、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介してＣＣＤ４１５のポテンシャルを元に戻す（Ｓ１０６）。そして、蓄積された電荷を、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介してＣＣＤ４１５から読み出す（Ｓ１０７）。

ＣＰＵ５０のメモリにＣＣＤ４０９とＣＣＤ４１５から読み出した信号が揃うと、長秒で読み出した１画素のＣＣＤ４１５の出力が飽和レベルであるか確認する（Ｓ１０８）。飽和していればＣＣＤ４０９の出力を選択し（Ｓ１０９）、飽和していなければＣＣＤ４１５の出力を選択する（Ｓ１１０）。ここでのレベルの比較と出力の選択は、ＣＰＵ５０が画素出力選択部７３を介して行う。

上記画素の出力の確認を全画素について終了したかどうか確認し（Ｓ１１１）、終了していなければＳ１０８に戻って次の画素について確認を行う。全画素終了したら、読み出しを終了する。

上記の通り本第１の実施形態によれば、ＰＤに複数のＣＣＤ部分がつながり、蓄積時間の異なる出力をそれぞれで得ることにより、各画素においてより適切な出力レベルの画像を生成することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態における撮像装置及び撮像素子の構成は、上述した第１の実施形態で図１〜図４を参照して説明したものと同様であるので、ここでは説明を省略する。本第２の実施形態では、それぞれのＣＣＤ４０９，４１５に対して同じタイミングで駆動し、同じ電荷蓄積期間になるようにして、後段で２つの出力を加算するか、そのまま出力するかを選択する。

図１１、図１２を参照して、第２の実施形態における読み出し方式による電荷の転送について説明する。図１１に第２の実施形態における制御信号のタイミングチャート、図１２に第２の実施形態におけるポテンシャル遷移図を示す。なお、図１１に示す各制御信号φ４００〜φ４０７の制御は、ＣＰＵ５０が、ＴＧ１８００及び垂直走査回路２０２を介して行う。

まず、第１の実施形態と同じく、リセット動作は図５及び図６のタイミングＴ５００〜Ｔ５０３と同じ動作を行うため、ここでは詳細説明を省略する。ただし、本第２の実施形態の読み出し方式ではＣＣＤ４０９，４１５を両方用いるため、制御信号φ４０３〜φ４０５を、制御信号φ４００〜φ４０２と同じように制御する。リセット後、タイミングＴ１１００では、電荷保持部４０８Ａ、ＣＣＤ４０９、ＣＣＤ４１５、ＦＤ４１１、ＦＤ４１７の余剰電荷はすべてリセットされた状態である（図１２（ａ））。

タイミングＴ１１００とＴ１１０１との間では、電荷の蓄積を開始する。そして、ＣＣＤ制御信号φ４０１、φ４０４をＨＩＧＨにすることで、タイミングＴ１１０１では電荷蓄積期間中にＰＤ４０８で発生する電荷は、電荷保持部４０８Ａを介してＣＣＤ４０９、ＣＣＤ４１５それぞれに転送される（図１２（ｂ））。

電荷の蓄積を開始してから所定の電荷蓄積期間の経過後、タイミングＴ１１０２の直前で、ＣＣＤ制御信号φ４０１、φ４０４をＬＯＷにすることで、タイミングＴ１１０２では、ＣＣＤ４０９とＣＣＤ４１５のポテンシャルを上げる（図１２（ｃ））。

タイミングＴ１１０２とＴ１１０３との間では、転送制御信号φ４００、φ４０３をＨＩＧＨにする。これにより、タイミングＴ１１０３では、ＣＣＤ４０９に保持されていた電荷がＦＤ４１１に、ＣＣＤ４１５に保持されていた電荷がＦＤ４１７に転送される（図１２（ｄ））。

タイミングＴ１１０３と１１０４との間では、転送制御信号φ４００、φ４０３をＬＯＷにする。これにより、タイミングＴ１１０４では、全画素の電荷が各ＦＤ４１１とＦＤ４１７に転送された状態になる（図１２（ｅ））。タイミングＴ１１０４の後、１行ごとに行選択制御信号φ４０６とφ４０７のそれぞれをＨＩＧＨにすることで、電荷が保持されているＦＤ４１１の電圧がソースフォロアアンプ４１３により増幅され、垂直出力線４２１に出力される。またＦＤ４１７の電圧がソースフォロアアンプ４１９により増幅され、垂直出力線４２２に出力される。

図１３は、第２の実施形態における特定画素の画素信号のレベルとそれに対する出力選択を説明する図である。図９と同様に、特定画素の画素信号のレベルを示している。Ｌ９００は飽和レベルである。図１３（ａ）は１つのＣＣＤ出力を示している。ここでは例えばＣＣＤ４０９の出力とする。画素Ｐ９０２の出力はレベルＬ１３０２で、飽和レベルＬ９００に対してかなり小さい値である。また、画素Ｐ９０３の出力はレベルＬ１３０１である。図１３（ｂ）は２つのＣＣＤ４０９，４１５の出力を加算したときのレベルを示している。画素Ｐ９０２の出力はレベルＬ１３０４となり、画素Ｐ９０３の出力は加算してしまうと飽和レベルＬ９００に達している。

この結果から、ＣＰＵ５０が画素加算部７４を介して、画素Ｐ９０２の出力として、ＣＣＤ４０９とＣＣＤ４１５とを加算したレベルＬ１３０４を選択し、画素Ｐ９０３の出力として、ＣＣＤ４０９そのままの出力のレベルＬ１３０１を選択する。なお、出力の整合性を保つため、必要に応じて各出力のレベル変換を行う。例えば、加算した場合のレベルは、加算しないレベルのおよそ２倍になる。この条件の場合、加算した出力に対し、ＣＰＵ５０が画像処理部７２を介し、１／２倍のゲインをかける。

図１４は、第２の実施形態における撮像素子１４００の読み出し制御を示すフローチャートである。撮影を開始すると、Ｄレンジ拡大モードにするかどうか設定を確認する（Ｓ２００）。Ｄレンジ拡大モードでないときは、第１の実施形態において図５及び図６を参照して説明したように、ＰＤ４０８からＣＣＤ４０９のみに転送して（Ｓ２０９）、全画素からそのまま通常出力を行う（Ｓ２１０）。

Ｄレンジ拡大モードのときは、２つのＣＣＤ４０９，４１５に信号を転送するように、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介して、ＣＣＤ４０９，４１５のポテンシャルを下げ、ＣＣＤ４０９，４１５に電荷が転送されるようにする（Ｓ２０１）。そして、所定の電荷蓄積時間が経過すると（Ｓ２０２でＹＥＳ）、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介して、ＣＣＤ４０９，４１５のポテンシャルを元に戻す（Ｓ２０３）。そして、蓄積された電荷を、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介して、ＣＣＤ４０９，４１５から読み出す（Ｓ２０４）。

ＣＰＵ５０のメモリにＣＣＤ４０９とＣＣＤ４１５から読み出したデータが揃うと、両方の信号を加算したときのレベルが飽和しているかどうかを確認する（Ｓ２０５）。飽和していなければＣＣＤ４０９とＣＣＤ４１５の信号を加算した結果を選択し（Ｓ２０７）、飽和していればＣＣＤ４０９の出力を選択する（Ｓ２０６）。なおＣＣＤ４０９とＣＣＤ４１５のレベルを平均した出力を選択してもよい。

そして、上記画素の出力の確認を全画素について終了したかどうか確認し（Ｓ２０８）、終了していなければＳ２０５に戻って次の画素について確認を行う。全画素終了したら、読み出しを終了する。

上記の通り本第２の実施形態によれば、ＰＤに複数のＣＣＤ部分がつながり、同じタイミングで駆動した同じ電荷蓄積期間の出力を得て、加算するかしないかを選択することにより、各画素においてより適切な出力レベルの画像を生成することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。なお、第３の実施形態における撮像装置及び撮像素子の構成は、上述した第１の実施形態で図１〜図４を参照して説明したものと比較して、撮像素子１４００の構成が異なる。それ以外は同様であるので、ここでは説明を省略する。また、第３の実施形態では、本第２の実施形態と同じく、それぞれのＣＣＤ４０９，４１５に対して、図１１に示すように同じタイミングで駆動し、同じ電荷蓄積期間になるようにし、それぞれ読み出す際に列アンプに異なるゲインをかけて読み出す。

図１５は、第３の実施形態における撮像素子の構成を示すブロック図であり、画素、列アンプ２０４、列回路２０５等に関しては、図３に示す撮像素子１４００の構成の内、画素部２０６中、列１５０２につながる列アンプと列回路を示している。ここでは、ＣＣＤ４０９に接続される列アンプを２０４、列回路を２０５とし、ＣＣＤ４１５に接続される列アンプを１５０１、列回路を１５００とする。

上述した第２の実施形態では、ＣＣＤ４０９，４１５から読み出された信号が垂直出力線４２１、４２２に出力された後、列アンプ２０４に同じゲインをかけていた。これに対し、第３の実施形態では、列アンプ２０４、１５０１に異なるゲインをかける。

図１６は、第３の実施形態における特定画素の画素信号のレベルとそれに対する出力選択を説明する図である。図９と同様に、特定画素の画素信号のレベルを示している。Ｌ９００は飽和レベルである。図１６（ａ）は、ＣＣＤ４０９の出力を示している。各画素Ｐ９０２，Ｐ９０３の出力のレベルＬ１３０１，Ｌ１３０２は、図１３（ａ）と同じとする。図１６（ｂ）は、ＣＣＤ４１５の出力を示している。ここでは、ＣＣＤ４１５に接続される列アンプ１５０１の方がＣＣＤ４０９に接続される列アンプ２０４よりもゲインが大きいときの例を示している。これにより、画素Ｐ９０２の出力レベルはＬ１６０１、画素Ｐ９０３の出力レベルは飽和レベルＬ９００であることを示している。

この結果から、ＣＰＵ５０が画素出力選択部７３を介して、画素Ｐ９０２の出力として、ＣＣＤ４１５の出力のレベルＬ１６０１を選択する。また、画素Ｐ９０３の出力としては、ＣＣＤ４０９の出力のレベルＬ１３０１を選択する。なお、出力の整合性を保つため、必要に応じて各出力のレベル変換を行う。たとえばＣＣＤ４１５の出力レベルに対し、ＣＰＵ５０が画像処理部７２で列アンプのゲイン比、例えば、列アンプ１５０１のゲインがＧ１、列アンプ２０４のゲインがＧ２としたときに、Ｇ２／Ｇ１を乗じて整合性を保つようにする。

図１７は、第３の実施形態における撮像素子１４００の読み出し制御を示すフローチャートである。なお、Ｓ２００〜Ｓ２０３及びＳ２０９、Ｓ２１０の処理は、図１４を参照して第２の実施形態において説明した処理と同様であるので、ここでは説明を省略する。

所定の電荷蓄積時間が経過すると、蓄積された電荷を、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介してＣＣＤ４０９，ＣＣＤ４１５から読み出す。このとき、ＣＣＤ４１５に接続される列アンプ１５０１のゲインが、ＣＣＤ４０９に接続される列アンプ２０４のゲインよりも大きい（Ｓ３０４）。

ＣＰＵ５０のメモリにＣＣＤ４０９とＣＣＤ４１５から読み出したデータが揃うと、ＣＣＤ４１５から読み出した信号のレベルが飽和しているかどうかを確認する（Ｓ３０５）。飽和していなければ、列アンプ１５０１のゲインが大きいＣＣＤ４１５の出力を選択し（Ｓ３０７）、飽和していればＣＣＤ４０９の出力を選択する（Ｓ３０６）。

そして、上記画素の出力の確認を全画素について終了したかどうか確認し（Ｓ３０８）、終了していなければＳ３０５に戻って次の画素について確認を行う。全画素終了したら、読み出しを終了する。

上記の通り本第３の実施形態によれば、ＰＤに複数のＣＣＤ部分がつながり、同じタイミングで駆動した同じ電荷蓄積期間の出力に、列アンプにより異なるゲインをかけ、どちらかの出力を選択する。これにより、各画素においてより適切な出力レベルの画像を生成することができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。なお、第４の実施形態における撮像装置及び撮像素子の構成は、上述した第１の実施形態で図１〜図４を参照して説明したものと同様であるので、ここでは説明を省略する。本第４の実施形態では、ＣＣＤ４０９，４１５を異なるタイミングで同期間駆動して、各ＣＣＤ４０９，４１５の出力を加算するか、一部を選択して出すかのどちらかを選択する。

図１８、図１９を参照して、第４の実施形態における読み出し方式による電荷の転送について説明する。図１８に第４の実施形態における制御信号のタイミングチャート、図１９に第４の実施形態におけるポテンシャル遷移図を示す。なお、図１８に示す各制御信号φ４００〜φ４０７の制御は、ＣＰＵ５０が、ＴＧ１８００及び垂直走査回路２０２を介して行う。

まず、第１の実施形態と同じく、リセット動作は図５及び図６のタイミングＴ５００〜Ｔ５０３と同じ動作を行うため、ここでは詳細説明を省略する。ただし、本第４の実施形態の読み出し方式ではＣＣＤ４０９，４１５を両方用いるため、制御信号φ４０３〜φ４０５を、制御信号φ４００〜φ４０２と同じように制御する。リセット後、タイミングＴ１８００では、電荷保持部４０８Ａ、ＣＣＤ４０９，ＣＣＤ４１５、ＦＤ４１１、ＦＤ４１７の余剰電荷はすべてリセットされた状態である（図１９（ａ））。

タイミングＴ１８００とＴ１８０１との間では、電荷の蓄積を開始する。そして、ＣＣＤ制御信号φ４０１をＨＩＧＨにすることで、タイミングＴ１８０１では、電荷蓄積期間中にＰＤ４０８で発生する電荷は、電荷保持部４０８Ａを介してＣＣＤ４０９に転送される（図１９（ｂ））。

電荷の蓄積を開始してから所定の電荷蓄積期間の経過後、タイミングＴ１８０２の直前で、ＣＣＤ制御信号φ４０１をＬＯＷにすることで、タイミングＴ１８０２では、ＣＣＤ４０９のポテンシャルを上げる（図１９（ｃ））。

タイミングＴ１８０２とＴ１８０３との間では、転送制御信号φ４００をＨＩＧＨにする。これにより、タイミングＴ１８０３では、ＣＣＤ４０９に保持されていた電荷がＦＤ４１１に転送される（図１９（ｄ））。

タイミングＴ１８０３とＴ１８０４との間では、転送制御信号φ４００をＬＯＷにし、その後、ＣＣＤ制御信号φ４０４をＨＩＧＨにする。これにより、タイミングＴ１８０４では、全画素の電荷が各ＦＤ４１１に転送された状態になる。タイミングＴ１８０４の後、１行ごとに行選択制御信号φ４０６をＨＩＧＨにすることで、電荷が保持されているＦＤ４１１の電圧がソースフォロアアンプ４１３により増幅され、垂直出力線４２１に出力される。さらにＴ１８０４ではＣＣＤ４１５のポテンシャルを下げることで、電荷蓄積期間中にＰＤ４０８で発生する電荷がＣＣＤ４１５に転送される（図１９（ｅ））。

ＣＣＤ４１５の電荷の蓄積を開始してから所定の電荷蓄積期間の経過後、タイミングＴ１８０５の直前で、ＣＣＤ制御信号φ４０４信号をＬＯＷにし、タイミングＴ１８０５でＣＣＤ４１５のポテンシャルを上げる。これにより、電荷保持部４０８ＡからＣＣＤ４１５への転送が止まる（図１９（ｆ））。

タイミングＴ１８０５とＴ１８０６との間では、転送制御信号φ４０３をＨＩＧＨにする。これにより、タイミングＴ１８０６では、ＣＣＤ４１５に保持されていた電荷がＦＤ４１７に転送される（図１９（ｇ））。

タイミングＴ１８０６とＴ１８０７との間では、転送制御信号φ４０３をＬＯＷにする。これにより、タイミングＴ１８０７では、全画素の電荷が各ＦＤ４１７に転送された状態になる（図１９（ｈ））。タイミングＴ１８０７の後、１行ごとに行選択制御信号φ４０７をＨＩＧＨにすることで、電荷が保持されているＦＤ４１７の電圧がソースフォロアアンプ４１９により増幅され、垂直出力線４２２に出力される。

第４の実施形態では、連続的に蓄積した結果を基に、どちらかの出力を選択するか、加算するかを決めることができる。ＣＣＤ４０９，４１５の出力の両方が所定レベルに対して大きく下回っている画素であれば、第２の実施形態と同じように加算すればよく、加算しない場合はどちらの出力を選択してもよい。また、例えばＣＣＤが３個あり、それぞれ別タイミングで電荷蓄積を行う場合は、常に中央に近いタイミングである２番目の蓄積をするＣＣＤ出力を選択したり、常に開始に近いタイミングである１番目の蓄積をするＣＣＤ出力を選択してもよい。また手ぶれの情報を基に、手ぶれの影響がより少ない蓄積期間の出力を選んでもよい。なお、第４の実施形態においても、第１〜第３の実施形態と同様に、出力の整合性を保つため必要に応じて各出力のレベル変換を適宜行う。

図２０は、第４の実施形態における撮像素子１４００の読み出し制御を示すフローチャートである。撮影を開始すると、Ｄレンジ拡大モードにするかどうか設定を確認する（Ｓ４００）。Ｄレンジ拡大モードでないときは、図５及び図６を参照して説明したように、ＰＤ４０８からＣＣＤ４０９のみに転送して（Ｓ４１３）、全画素からそのまま通常出力を行う（Ｓ４１４）。

Ｄレンジ拡大モードのときは、まず、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介して、ＣＣＤ４０９のポテンシャルを下げ、ＣＣＤ４０９に電荷が転送されるようにする（Ｓ４０１）。ＣＣＤ４０９の所定の電荷蓄積期間が経過すると（Ｓ４０２でＹＥＳ）、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介して、ＣＣＤ４０９のポテンシャルを元に戻す（Ｓ４０３）。そして、蓄積された電荷を、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介して、ＣＣＤ４０９から読み出す（Ｓ４０４）。

並行して、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介して、ＣＣＤ４１５のポテンシャルを下げて、ＣＣＤ４１５に電荷が転送されるようにする（Ｓ４０５）。ＣＣＤ４１５の所定の電荷蓄積期間が経過すると（Ｓ４０６でＹＥＳ）、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介して、ＣＣＤ４１５ポテンシャルを元に戻す（Ｓ４０７）。そして、蓄積された電荷を、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介してＣＣＤ４１５から読み出す（Ｓ４０８）。

ＣＰＵ５０のメモリにＣＣＤ４０９とＣＣＤ４１５から読み出した信号が揃うと、同じ画素の信号について、ＣＣＤ４０９とＣＣＤ４１５から読み出した両方の信号を加算したときのレベルが飽和レベルであるか確認する（Ｓ４０９）。飽和していなければ、ＣＰＵ５０が画素加算部７４を介して両方の信号を加算する（Ｓ４１０）。飽和していれば、ＣＣＤ４０９とＣＣＤ４１５のどちらか一方の出力を選択する（Ｓ４１１）。

上記画素の出力の確認を全画素について終了したかどうか確認し（Ｓ４１２）、終了していなければＳ４０９に戻って次の画素について確認を行う。全画素終了したら、読み出しを終了する。

上記の通り本第４の実施形態によれば、ＰＤに複数のＣＣＤ部分がつながり、連続して別タイミングで電荷蓄積を行い、蓄積タイミングが異なる出力をそれぞれで得、得られた信号のレベルにより加算するかしないかを選択できる。これにより、各画素においてより適切な出力レベルの画像を生成ことができる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。第５の実施形態における撮像素子１４００は、第１〜第４の実施形態では２つのＣＣＤにそれぞれＦＤが接続されていたのに対し、１つのＦＤが２つのＣＣＤに接続されているところが異なる。なお、その他の撮像装置の構成は、第１の実施形態で図１及び図２を参照して説明したものと同様であるので、ここでは説明を省略する。

図２１は、第５の実施形態における撮像素子１４００の構成を示すブロック図である。図３に示す構成との差異は、各列２組ずつあった列アンプと列回路が、１組になっている点である。

図２２は、第５の実施形態における画素２０３の等価回路図である。図４に示す構成との差異は、ＣＣＤ４１５の後段に転送スイッチ４１６を介して繋がるＦＤとして、ＣＣＤ４０９につながるＦＤ４１１を共用している点である。

次に、図２３と図２４を参照して、第５の実施形態における、ＣＣＤ４０９，４１５を両方用いた読み出し方式による電荷の転送について説明する。図２３は第５の実施形態における制御信号のタイミングチャート、図２４は第５の実施形態におけるポテンシャル遷移図を示す。なお、図２３に示す各制御信号φ４００〜φ４０６の制御は、ＣＰＵ５０が、ＴＧ１８００及び垂直走査回路２０２を介して行う。

まず、第１の実施形態と同じく、リセット動作は図５及び図６のタイミングＴ５００〜Ｔ５０３と同じ動作を行うため、ここでは詳細説明を省略する。ただし、本第５の実施形態の読み出し方式ではＣＣＤ４０９，４１５を両方用いるため、制御信号φ４０３〜φ４０４を、制御信号φ４００〜φ４０１と同じように制御する。リセット後、タイミングＴ２４００では、電荷保持部４０８Ａ、ＣＣＤ４０９、ＣＣＤ４１５、ＦＤ４１１、ＦＤ４１７の余剰電荷はすべてリセットされた状態である（図２４（ａ））。

タイミングＴ２４００とＴ２４０１との間では、電荷の蓄積を開始する。そして、ＣＣＤ制御信号φ４０１とＣＣＤ制御信号φ４０４とをＨＩＧＨにする。タイミングＴ２４０１では、電荷蓄積期間中にＰＤ４０８で発生する電荷は、電荷保持部４０８Ａを介してＣＣＤ４０９、ＣＣＤ４１５それぞれに転送される（図２４（ｂ））。

電荷の蓄積を開始してから所定の電荷蓄積期間の経過後、タイミングＴ２４０２の直前で、ＣＣＤ制御信号φ４０１とＣＣＤ制御信号φ４０４をＬＯＷにする。これにより、タイミングＴ２４０２では、ＣＣＤ４０９とＣＣＤ４１５のポテンシャルが上がる（図２４（ｃ））。

タイミングＴ２４０２とＴ２４０３との間では、転送制御信号φ４００をＨＩＧＨにする。これにより、タイミングＴ２４０３では、ＣＣＤ４０９に保持されていた電荷がＦＤ４１１に転送される（図２４（ｄ））。

その後、タイミングＴ２４０３とＴ２４０４との間では、転送制御信号φ４００をＬＯＷにする。これにより、タイミングＴ２４０４では、全画素の電荷が各ＦＤ４１１に転送された状態になる。タイミングＴ２４０４の後、１行ごとに行選択制御信号φ４０６をＨＩＧＨにすることで、電荷が保持されているＦＤ４１１の電圧がソースフォロアアンプ４１３により増幅され垂直出力線４２１に出力される（図２４（ｅ））。タイミングＴ２４０５でＦＤ４１１に転送された電荷に対応する信号の垂直線への転送が全行終わる。

タイミングＴ２４０５とＴ２４０６との間では、転送制御信号φ４０３をＨＩＧＨにする。これにより、タイミングＴ２４０６ではＣＣＤ４１５に保持されていた電荷が、もともとＣＣＤ４０９から転送された電荷に追加される形で、ＦＤ４１１に転送される（図２４（ｆ））。

その後、タイミングＴ２４０６とＴ２４０７との間では、転送制御信号φ４０３をＬＯＷにする。これにより、タイミングＴ２４０７では、全画素の電荷が各ＦＤ４１１に転送された状態になる。タイミングＴ２４０７の後、１行ごとに行選択制御信号φ４０６をＨＩＧＨにすることで、電荷が保持されているＦＤ４１１の電圧がソースフォロアアンプ４１９により増幅され垂直出力線４２１に出力される（図２４（ｇ））。なお、第５の実施形態においても、第１〜第４の実施形態と同様に、出力の整合性を保つため必要に応じて各出力のレベル変換を適宜行う。

図２５は、第５の実施形態における撮像素子１４００の読み出し制御を示すフローチャートである。撮影を開始すると、Ｄレンジ拡大モードにするかどうか設定を確認する（Ｓ５００）。Ｄレンジ拡大モードでないときは、図５及び図６を参照して説明したように、ＰＤ４０８からＣＣＤ４０９のみに転送して（Ｓ５１３）、全画素からそのまま通常出力を行う（Ｓ５１４）。

Ｄレンジ拡大モードのときは、２つのＣＣＤ４０９，４１５に信号を転送するように、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介して、ＣＣＤ４０９，４１５のポテンシャルを下げ、ＣＣＤ４０９，４１５に電荷が転送されるようにする（Ｓ５０１）。そして、所定の電荷蓄積時間が経過すると（Ｓ５０２でＹＥＳ）、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介して、ＣＣＤ４０９，４１５のポテンシャルを元に戻す（Ｓ５０３）。そして、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介して、転送スイッチ４１０のポテンシャルを上げ、ＣＣＤ４０９蓄積された電荷のみをＦＤ４１１に転送し、ＣＣＤ４０９の電荷を垂直走査回路２０２を介して読み出す（Ｓ５０４）。

すべての行のＦＤ４１１からＣＣＤ４０９の信号が垂直出力線４２１に読み出されると（Ｓ５０５）、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介して、ＣＣＤ４１５に蓄積された電荷をＦＤ４１１に転送する。これにより、ＣＣＤ４０９に蓄積された電荷とＣＣＤ４１５に蓄積された電荷がＦＤ４１１で加算される。そして、ＣＰＵ５０がＴＧ１８００、垂直走査回路２０２を介して、ＦＤ４１１に蓄積された電荷を垂直走査回路２０２を介して読み出す（Ｓ５０６）。

ＣＰＵ５０のメモリに、ＣＣＤ４０９から単独で非加算読み出しした信号と、ＣＣＤ４０９とＣＣＤ４１５から加算して読み出した信号とが揃うと（Ｓ５０７）、加算して読み出した信号のレベルが飽和レベルであるか確認する（Ｓ５０９）。飽和していなければ、加算して読み出した信号を選択し（Ｓ５１０）、飽和していれば、ＣＣＤ４０９から読み出した信号を選択する（Ｓ５１１）。その後、Ｓ５１２で全画素の選択が終了したと判断されるまでＳ５０９に戻って上記処理を繰り返す。

上記の通り本第５の実施形態によれば、ＰＤに複数のＣＣＤ部分がつながり、ＣＣＤにつながるＦＤが１つである場合に、単体で非加算読み出しした信号とＦＤで加算した信号のそれぞれを順次読み出し、信号レベルによりどちらかを選択する。これにより、第２の実施形態の構成に比べ、垂直線が１つであるため読み出しに時間はかかるが、加算信号をより低ノイズで得ることができる。

＜第６の実施形態＞
次に、本発明の第６の実施形態について説明する。第６の実施形態では、第５の実施形態で示した信号レベルが低い画素を加算する例において、動画撮影するときに複数のＣＣＤに読み出した信号を単独で非加算で転送するか、加算して転送するかを前フレームの信号から判定する。なお、撮像装置及び撮像素子の構成は、第１の実施形態及び第５の実施形態で図１、図２、図２１、図２２を参照して説明したものと同様であるので、ここでは説明を省略する。

図２６は、第６の実施形態における動画撮影した時のフレームと画素のレベルを示している。図２６（ａ）は、予め決められた周期で読み出されたフレームの時間推移を示し、フレームｆ２６００から、例えば１／３０秒ごとにフレームｆ２６０１，ｆ２６０２，ｆ２６０３の信号が読み出されていく様子を示している。そのとき各フレームの同じ位置にある画素ｐｔ２６０４，ｐｔ２６０５，ｐｔ２６０６，ｐｔ２６０７の信号レベルの推移を図２６（ｂ）に示している。なお、図２６（ｂ）において、レベルＬ９００は飽和レベル、レベルＬ９５０は後述する判定に用いる第１の閾値レベルであり、例えば、飽和レベルの半分のレベルである。また、レベルＬ９６０は後述する判定に用いる第２の閾値レベルであり、例えば、第１の閾値レベルＬ９５０の半分程度のレベルである。

また、画素ｐｔ２６０４の信号は、１つのＣＣＤ４０９を用いた通常の読み出しにより得られたものとする。図２６（ｂ）に示す例では、画素ｐｔ２６０４のレベルＬ２６０８、画素ｐｔ２６０５のレベルＬ２６０９、画素ｐｔ２６０６のレベルＬ２６１０というように徐々にレベルが下がってきている。画素ｐｔ２６０７ではＬ２６１０よりさらに下がることが予想されるため、２つのＣＣＤ４０９，４１５の電荷を加算した信号を出力する。これにより、通常読み出しではＬ２６１１になるところ、加算することによりレベルＬ２６１２になる。

第６の実施形態では、動画において上述したようなフレーム毎の信号の変遷を見て、行ごとに次フレームの単独（非加算）読み出しと加算読み出しのいずれかにより読み出しを行うかを決定する。図２７は、第６の実施形態における撮像素子１４００の読み出し制御を示すフローチャートである。図２５を参照して第５の実施形態で説明したように、Ｓ５０３までの処理で２つのＣＣＤ４０９，４１５への電荷の蓄積を終了すると、Ｓ６００において、各行の単独読み出しまたは加算読み出しを判定する処理を行う。ここでは、前フレームの行において、１つのＣＣＤ４０９を用いた通常の読み出しにより得られた信号レベルが第１の閾値より高い画素が存在するか、または、第２の閾値よりも低い画素が存在しないかを判断する。Ｓ６００でＹＥＳの場合、加算読み出しをすることにより飽和する画素が発生するか、または、加算読み出しをしなくても信号レベルが十分であるので、Ｓ５０４に進んで単独読み出しを行う。Ｓ６００でＮＯの場合、即ち、第２の閾値レベルＬ９６０よりも低い画素が存在し、且つ、第１の閾値レベルＬ９５０よりも高い画素が存在しない場合、Ｓ６０１に進んで、２つのＣＣＤ４０９，４１５からＦＤ４１１へ電荷を転送し、読み出しを行う。その後、Ｓ６０２で全行の読み出しが終了したと判断されるまでＳ６００に戻って上記処理を繰り返す。

上記の通り本第６の実施形態によれば、行毎に単独読み出しと加算読み出しを切り替えることにより、各行１回の読み出しで済むため、高速かつ高精度に、適切な出力レベルの画像を得ることができる。また、行ごとの設定では適切な画像が取得できない場合は、フレーム全体の信号レベルを見て、全体の読み出しを単独読み出しか加算読み出しのいずれかに統一して読み出してもかまわない。

＜第７の実施形態＞
図２８は、本発明の第７の実施形態として、携帯電話機５００の構成を示すブロック図である。第７の実施形態の携帯電話機５００は、音声通話機能の他、電子メール機能や、インターネット接続機能、画像の撮影、再生機能等を有する。

図２８において、通信部５０１は、ユーザが契約した通信キャリアに従う通信方式により他の電話機との間で音声データや画像データを通信する。音声処理部５０２は、音声通話時において、マイクロフォン５０３からの音声データを発信に適した形式に変換して通信部５０１に送る。また、音声処理部５０２は、通信部５０１から送られた通話相手からの音声データを復号し、スピーカ５０４に送る。

撮像部５０５は、上記した第１〜第６の実施例で説明した撮像素子１４００を備え、被写体の画像を撮影し、画像データを出力する。画像処理部５０６は、画像の撮影時においては、撮像部５０５により撮影された画像データを処理し、記録に適した形式に変換して出力する。また、画像処理部５０６は、記録された画像の再生時には、再生された画像を処理して表示部５０７に送る。表示部５０７は、数インチ程度の液晶表示パネルを備え、制御部５０９からの指示に応じて各種の画面を表示する。不揮発メモリ５０８は、アドレス帳の情報や、電子メールのデータ、撮像部５０５により撮影された画像データ等のデータを記憶する。

制御部５０９はＣＰＵやメモリ等を有し、不図示のメモリに記憶された制御プログラムに従って電話機５００の各部を制御する。操作部５１０は、電源ボタンや番号キー、その他ユーザがデータを入力するための各種の操作キーを備える。カードＩＦ５１１は、メモリカード５１２に対して各種のデータを記録再生する。外部ＩＦ５１３は、不揮発メモリ５０８やメモリカード５１２に記憶されたデータを外部機器に送信し、また、外部機器から送信されたデータを受信する。外部ＩＦ５１３は、ＵＳＢ等の有線の通信方式や、無線通信など、公知の通信方式により通信を行う。

次に、電話機５００における音声通話機能を説明する。通話相手に対して電話をかける場合、ユーザが操作部５１０の番号キーを操作して通話相手の番号を入力するか、不揮発メモリ５０８に記憶されたアドレス帳を表示部５０７に表示し、通話相手を選択し、発信を指示する。発信が指示されると、制御部５０９は通信部５０１に対し、通話相手に発信する。通話相手に着信すると、通信部５０１は音声処理部５０２に対して相手の音声データを出力すると共に、ユーザの音声データを相手に送信する。

また、電子メールを送信する場合、ユーザは、操作部５１０を用いて、メール作成を指示する。メール作成が指示されると、制御部５０９はメール作成用の画面を表示部５０７に表示する。ユーザは操作部５１０を用いて送信先アドレスや本文を入力し、送信を指示する。制御部５０９はメール送信が指示されると、通信部５０１に対しアドレスの情報とメール本文のデータを送る。通信部５０１は、メールのデータを通信に適した形式に変換し、送信先に送る。また、通信部５０１は、電子メールを受信すると、受信したメールのデータを表示に適した形式に変換し、表示部５０７に表示する。

次に、電話機５００における撮影機能について説明する。ユーザが操作部５１０を操作して撮影モードを設定した後、静止画或いは動画の撮影を指示すると、撮像部５０５は静止画データ或いは動画データを撮影して画像処理部５０６に送る。画像処理部５０６は撮影された静止画データや動画データを処理し、不揮発メモリ５０８に記憶する。また、画像処理部５０６は、撮影された静止画データや動画データをカードＩＦ５１１に送る。カードＩＦ５１１は静止画や動画データをメモリカード５１２に記憶する。

また、電話機５００は、この様に撮影された静止画や動画データを含むファイルを、電子メールの添付ファイルとして送信することができる。具体的には、電子メールを送信する際に、不揮発メモリ５０８やメモリカード５１２に記憶された画像ファイルを選択し、添付ファイルとして送信を指示する。

また、電話機５００は、撮影された静止画や動画データを含むファイルを、外部ＩＦ５１３によりＰＣや他の電話機等の外部機器に送信することもできる。ユーザは、操作部５１０を操作して、不揮発メモリ５０８やメモリカード５１２に記憶された画像ファイルを選択し、送信を指示する。制御部５０９は、選択された画像ファイルを不揮発メモリ５０８或いはメモリカード５１２から読み出し、外部機器に送信するよう、外部ＩＦ５１３を制御する。

Claims (34)

1. 複数の画素から構成され、各画素が、
   光電変換手段と、
   前記光電変換手段で発生した信号を保持するための複数の信号保持手段と、
   前記複数の信号保持手段それぞれにおける信号の保持を制御する制御手段と、
   前記複数の信号保持手段の信号を出力する複数の出力手段と、
   を有する撮像素子と、
   前記複数の信号保持手段から出力された信号から、各画素の信号を生成する生成手段とを有し、
   前記光電変換手段を第１チップに構成し、前記複数の信号保持手段と、前記制御手段と、前記複数の出力手段とを第２チップに構成し、
   前記各画素において、前記複数の信号保持手段が並列に接続されるとともに、前記複数の出力手段が前記複数の信号保持手段の各々に対応して並列に接続されることを特徴とする撮像装置。
2. 前記制御手段は、前記複数の信号保持手段において信号を保持する時間を、前記複数の信号保持手段ごとに異ならせ、
   前記生成手段は、前記複数の信号保持手段からそれぞれ出力された信号のうち、飽和レベルに達していない、より大きいレベルの信号を選択して、対応する画素の画素信号とすることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記複数の信号保持手段において信号を保持する時間が、同じになるように制御し、
   前記生成手段は、前記複数の信号保持手段からそれぞれ出力された信号を混合し、該混合した信号が飽和レベルに達していない場合に、前記混合した信号を選択し、前記混合した信号が飽和レベルに達している場合に、前記複数の信号保持手段からそれぞれ出力された信号のいずれかを選択して、対応する画素の画素信号とすることを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記複数の信号保持手段において信号を保持する時間が、同じになるように制御し、
   前記出力手段は、前記複数の信号保持手段から出力された信号に、互いに異なるゲインを掛けた信号を出力し、
   前記生成手段は、前記異なるゲインを掛けた信号のうち、飽和レベルに達していない、より大きいレベルの信号を選択して、対応する画素の画素信号とすることを特徴とする請求項１に記載の撮像装置。
5. 前記制御手段は、前記複数の信号保持手段において信号を保持するタイミングを、前記複数の信号保持手段ごとに異ならせ、
   前記生成手段は、前記複数の信号保持手段からそれぞれ出力された信号を混合し、該混合した信号が飽和レベルに達していない場合に、前記混合した信号を選択し、前記混合した信号が飽和レベルに達している場合に、前記複数の信号保持手段からそれぞれ出力された信号のいずれかを選択して、対応する画素の画素信号とすることを特徴とする請求項１に記載の撮像装置。
6. 前記生成手段は、前記複数の信号保持手段からそれぞれ読み出された信号のいずれかを選択する場合に、前記複数の信号保持手段に信号を保持する期間の中央に近いタイミングで保持した前記信号保持手段から出力された信号を選択することを特徴とする請求項５に記載の撮像装置。
7. 前記生成手段は、前記複数の信号保持手段からそれぞれ出力された信号のいずれかを選択する場合に、前記複数の信号保持手段に信号を保持する期間の開始に近いタイミングで保持した前記信号保持手段から出力された信号を選択することを特徴とする請求項５に記載の撮像装置。
8. 手ぶれ検出手段を更に有し、
   前記生成手段は、前記複数の信号保持手段からそれぞれ出力された信号のいずれかを選択する場合に、手ぶれの影響がより少ないタイミングで保持した前記信号保持手段から出力された信号を選択することを特徴とする請求項５に記載の撮像装置。
9. 前記第１チップと前記第２チップは互いに積層されることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記生成手段により生成された各画素の信号を取得したときの条件に応じて、前記各画素の信号を増幅する増幅手段を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記生成手段は対応する画素の画素信号として、前記複数の信号保持手段からそれぞれ出力された信号からダイナミックレンジの広い信号を生成することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 複数の画素から構成され、各画素が、
    光電変換手段と、
    前記光電変換手段で発生した電荷を保持するための複数の保持手段と、
    前記複数の保持手段から転送された電荷を蓄積する蓄積手段と、
    前記複数の保持手段それぞれにおける電荷の保持を制御する制御手段と、
    前記複数の保持手段から前記蓄積手段へ電荷を転送する複数の転送手段と、
    前記蓄積手段に蓄積された電荷に対応した信号を出力する出力手段と、
    を有する撮像素子と、
    前記出力手段から出力された信号から、各画素の信号を生成する生成手段とを有し、
    前記光電変換手段を第１チップに構成し、前記複数の保持手段と、前記蓄積手段と、前記制御手段と、前記複数の転送手段と、前記出力手段とを第２チップに構成し、
    前記各画素において、前記複数の保持手段が並列に接続されることを特徴とする撮像装置。
13. 前記撮像素子は、
    前記複数の転送手段のいずれかにより、前記複数の保持手段の１つに保持された電荷を前記蓄積手段に転送し、前記出力手段により、前記転送された電荷に対応した信号を前記蓄積手段から出力する非混合出力と、
    前記複数の転送手段により、前記非混合出力で電荷が出力された後、前記複数の保持手段の他の１つに保持された電荷を更に前記蓄積手段に転送して混合し、前記出力手段により、前記混合された電荷に対応した信号を出力する混合出力を行い、
    前記生成手段は、前記混合出力で得られた信号が飽和レベルに達していない場合に、前記混合出力で得られた信号を選択し、前記混合出力で得られた信号が飽和レベルに達している場合に、前記非混合出力で得られた信号を選択して、対応する画素の画素信号とすることを特徴とする請求項１２に記載の撮像装置。
14. 前記撮像素子は、予め決められた周期でフレーム毎に信号を出力すると共に、
    前記複数の転送手段のいずれかにより、前記複数の保持手段の１つに保持された電荷を前記蓄積手段に転送し、前記出力手段により、前記転送された電荷に対応した信号を出力する非混合出力と、
    前記複数の転送手段により、前記複数の保持手段に保持された電荷を前記蓄積手段に転送して混合し、前記出力手段により、前記混合された電荷に対応した信号を出力する混合出力を行い、
    前フレームの信号のレベルに応じて、行ごとまたはフレームごとに非混合出力と混合出力とを切り替えることを特徴とする請求項１２に記載の撮像装置。
15. 前記第１チップと前記第２チップは互いに積層されることを特徴とする請求項１２乃至１４のいずれか１項に記載の撮像装置。
16. 前記生成手段により生成された各画素の信号を取得したときの条件に応じて、前記各画素の信号を増幅する増幅手段を更に有することを特徴とする請求項１２乃至１５のいずれか１項に記載の撮像装置。
17. 前記生成手段は対応する画素の画素信号として、前記複数の蓄積手段からそれぞれ出力された信号からダイナミックレンジの広い信号を生成することを特徴とする請求項１２乃至１６のいずれか１項に記載の撮像装置。
18. 複数の画素から構成され、各画素が、光電変換手段と、前記光電変換手段で発生した信号を保持するための複数の信号保持手段と、を含む撮像素子を有し、前記光電変換手段を第１チップに構成し、前記複数の信号保持手段と、制御手段と、複数の出力手段とを第２チップに構成し、前記各画素において、前記複数の信号保持手段が並列に接続されるとともに、前記複数の出力手段が前記複数の信号保持手段の各々に対応して並列に接続された撮像装置の制御方法であって、
    前記制御手段が、前記複数の信号保持手段それぞれにおける信号の保持を制御する信号保持工程と、
    前記複数の出力手段が、前記複数の信号保持手段から電荷に応じた信号を出力する出力工程と、
    生成手段が、前記出力工程で前記複数の信号保持手段から出力された信号から、各画素の信号を生成する生成工程と
    を有することを特徴とする撮像装置の制御方法。
19. 前記信号保持工程では、前記複数の信号保持手段ごとに異なる時間で信号を保持させ、
    前記生成工程では、前記複数の信号保持手段からそれぞれ読み出された信号のうち、飽和レベルに達していない、より大きいレベルの信号を選択して、対応する画素の画素信号とすることを特徴とする請求項１８に記載の撮像装置の制御方法。
20. 前記信号保持工程では、前記複数の信号保持手段において、同じ時間、信号を保持させ、
    前記生成工程では、前記複数の信号保持手段からそれぞれ出力された信号を混合し、該混合した信号が飽和レベルに達していない場合に、前記混合した信号を選択し、前記混合した信号が飽和レベルに達している場合に、前記複数の信号保持手段からそれぞれ出力された信号のいずれかを選択して、対応する画素の画素信号とすることを特徴とする請求項１８に記載の撮像装置の制御方法。
21. 前記信号保持工程では、前記複数の信号保持手段において、同じ時間、信号を保持させ、
    前記出力工程では、前記複数の信号保持手段から出力された信号に、互いに異なるゲインを掛けた信号を出力し、
    前記生成工程では、前記異なるゲインを掛けた信号のうち、飽和レベルに達していない、より大きいレベルの信号を選択して、対応する画素の画素信号とすることを特徴とする請求項１８に記載の撮像装置の制御方法。
22. 前記信号保持工程では、前記複数の信号保持手段ごとに異なるタイミングで信号を保持させ、
    前記生成工程では、前記複数の信号保持手段からそれぞれ出力された信号を混合し、該混合した信号が飽和レベルに達していない場合に、前記混合した信号を選択し、前記混合した信号が飽和レベルに達している場合に、前記複数の信号保持手段からそれぞれ出力された信号のいずれかを選択して、対応する画素の画素信号とすることを特徴とする請求項１８に記載の撮像装置の制御方法。
23. 前記生成工程では、前記複数の信号保持手段からそれぞれ読み出された信号のいずれかを選択する場合に、前記複数の信号保持手段に信号を保持する期間の中央に近いタイミングで保持した前記信号保持手段から出力された信号を選択することを特徴とする請求項２２に記載の撮像装置の制御方法。
24. 前記生成工程では、前記複数の信号保持手段からそれぞれ出力された信号のいずれかを選択する場合に、前記複数の信号保持手段に信号を保持する期間の開始に近いタイミングで保持した前記信号保持手段から出力された信号を選択することを特徴とする請求項２２に記載の撮像装置の制御方法。
25. 手ぶれ検出手段が、手ぶれを検出する工程を更に有し、
    前記生成工程では、前記複数の信号保持手段からそれぞれ出力された信号のいずれかを選択する場合に、手ぶれの影響がより少ないタイミングで保持した前記信号保持手段から出力された信号を選択することを特徴とする請求項２２に記載の撮像装置の制御方法。
26. 前記第１チップと前記第２チップは互いに積層されることを特徴とする請求項１８乃至２５のいずれか１項に記載の撮像装置の制御方法。
27. 増幅手段が、前記生成工程で生成された各画素の信号を取得したときの条件に応じて、前記各画素の信号を増幅する工程を更に有することを特徴とする請求項１８乃至２６のいずれか１項に記載の撮像装置の制御方法。
28. 前記生成手段は対応する画素の画素信号として、前記複数の信号保持手段からそれぞれ出力された信号からダイナミックレンジの広い信号を生成することを特徴とする請求項１８乃至２７のいずれか１項に記載の撮像装置の制御方法。
29. 複数の画素から構成され、各画素が、光電変換手段と、前記光電変換手段で発生した電荷を保持するための複数の保持手段と、前記複数の保持手段から転送された電荷を蓄積する蓄積手段と、を含む撮像素子を有し、前記光電変換手段を第１チップに構成し、前記複数の保持手段と、前記蓄積手段と、制御手段と、複数の転送手段と、出力手段とを第２チップに構成し、前記複数の保持手段が並列に接続される撮像装置の制御方法であって、
    前記制御手段が、前記複数の保持手段それぞれにおける電荷の保持を制御する制御工程と、
    前記複数の転送手段が、前記複数の保持手段から前記蓄積手段へ電荷を転送する転送工程と、
    前記出力手段が、前記蓄積手段に保持された電荷に対応した信号を出力する出力工程と、
    生成手段が、前記蓄積手段から出力された信号から、各画素の信号を生成する生成工程と
    を有することを特徴とする撮像装置の制御方法。
30. 前記撮像素子を、非混合出力または混合出力のいずれかで制御し、
    前記非混合出力において、
    前記転送工程で、前記複数の保持手段の１つに保持された電荷を前記蓄積手段に転送し、
    前記出力工程で、前記転送された電荷に対応した信号を出力し、
    前記混合出力において、
    前記転送工程で、前記非混合出力で電荷が出力された後、前記複数の保持手段の他の１つに蓄積された電荷を更に前記蓄積手段に転送して混合し、
    前記出力工程において、前記混合された電荷に対応した信号を出力し、
    前記生成工程では、前記混合出力で得られた信号が飽和レベルに達していない場合に、前記混合出力で得られた信号を選択し、前記混合出力で得られた信号が飽和レベルに達している場合に、前記非混合出力で得られた信号を選択して、対応する画素の画素信号とすることを特徴とする請求項２９に記載の撮像装置の制御方法。
31. 前記撮像素子は、予め決められた周期でフレーム毎に信号を読み出すと共に、前記撮像素子を、非混合出力または混合出力のいずれかで制御し、
    前記非混合出力において、
    前記転送工程で、前記複数の保持手段の１つに保持された電荷を前記蓄積手段に転送し、
    前記出力工程で、前記転送された電荷に対応した信号を出力し、
    前記混合出力において、
    前記転送工程で、前記複数の保持手段に保持された電荷を前記蓄積手段に転送して混合し、
    前記出力工程で、前記混合された電荷に対応した信号を前記蓄積手段から出力し、
    前フレームの信号のレベルに応じて、行ごとまたはフレームごとに非混合出力と混合出力とを切り替える切り替え工程を更に有することを特徴とする請求項２９に記載の撮像装置の制御方法。
32. 前記第１チップと前記第２チップは互いに積層されることを特徴とする請求項２９乃至３１のいずれか１項に記載の撮像装置の制御方法。
33. 増幅手段が、前記生成工程で生成された各画素の信号を取得したときの条件に応じて、前記各画素の信号を増幅する工程を更に有することを特徴とする請求項２９乃至３２のいずれか１項に記載の撮像装置の制御方法。
34. 複数の画素から構成され、各画素が、
    光電変換手段と、
    前記光電変換手段で発生した信号を保持するための複数の信号保持手段と、
    前記複数の信号保持手段の信号を出力する複数の出力手段と、
    を有し、
    前記光電変換手段を第１チップに構成し、前記複数の信号保持手段と、前記複数の出力手段とを第２チップに構成し、
    前記各画素において、前記複数の信号保持手段が並列に接続されるとともに、前記複数の出力手段が前記複数の信号保持手段の各々に対応して並列に接続されることを特徴とする撮像素子。

Images