JP6346479B2 - 撮像装置、撮像装置の制御方法及びプログラム - Google Patents

Description

本発明はＣＭＯＳイメージセンサなどの撮像素子を用いた撮像装置及び撮像装置の制御方法に関する。

近年、デジタルカメラやビデオカメラにＣＭＯＳイメージセンサなどの撮像素子が多く使用されている。また、最近では、ビデオカメラだけでなく、デジタルカメラも動画を撮影して記録する機能を備えている。

画素数が１０００万画素を超える撮像素子を用いる場合、静止画の撮像では、撮像素子の全画素を読み出すことで高解像度の画像を得ることができる。一方、動画撮影に必要な画素数は静止画とは異なり、例えば、Ｆｕｌｌ ＨＤと呼ばれるＨＤフォーマットの解像度は１９２０ｘ１０８０画素（約２００万画素）である。すなわち、画素数が１０００万画素を超える撮像素子を用いて動画を記録するためには、画素数を低減する必要がある。

画素数を低減する方法として、所定の間隔で画素を読み飛ばす間引き処理、所定数の画素信号を撮像素子から出力するときに加算する加算処理、特定の画素領域だけを読み出すクロップ処理、といった方法がある。

これらの方法はいずれも、撮像素子から全ての画素の信号を読み出した後に画像処理部などで実施することも、撮像素子内もしくは撮像素子から画素信号を読み出す際に実施することも可能である。後者の方が撮像素子から読み出される画素数が少ないため、撮像素子から転送するデータ量が少なく、画素信号の読み出しを高速化する観点で有利である。

特許文献１には、撮像素子内で画素信号の加算処理を行う方法として、光電変換部につながっている垂直方向の浮遊拡散領域（フローティングデフュージョン：ＦＤ）で電荷を加算する方法が開示されている。

また、特許文献２には、行選択回路によって複数画素行を同時に選択し、複数行の画素信号を同時に出力させることで加算処理を行う方法が開示されている。

特開２０１０−０３４８９５号公報 特開２００７−１７３９５０号公報

特許文献１のように垂直方向の画素の電荷をＦＤにおいて加算する場合、モアレのない高品質な画像を得られる反面、加算スイッチの寄生容量を介したノイズにより画像に横縞状のノイズが発生しやすいという問題があった。特に撮影感度を高くするために高ゲインで画素信号を読み出す場合、画素信号だけでなくノイズも増幅される。そのため、撮影感度が高いほど横縞状のノイズが目立ちやすくなり、高撮影感度の実現の妨げとなっていた。

また、特許文献２に記載されているように、複数画素の出力を信号線上で混合するときに、混合する画素の出力差が大きい場合、混合された出力が動作レンジにより制限され、画質を悪化させてしまうという問題があった。特に、低ゲインでの撮影では、扱う電荷量が多いため、画素信号の出力差が大きくなるため影響を受けやすい。

本発明はこのような従来技術の課題に鑑み、画素数を低減して読み出し可能な撮像装置において、ノイズの影響を抑制し、高画質な動画像を実現するのに有利な技術を提供することを目的とする。

本発明の撮像装置は、行方向及び列方向に複数の画素が配置された画素領域と、前記複数の画素から画素信号を読み出す読み出し手段とを備えた撮像素子と、撮影感度を設定する設定手段と、前記設定手段により設定される撮影感度に応じて、前記複数の画素から間引いて画素信号を読み出す間引きモード及び前記複数の画素の画素信号を混合して読み出す混合モードのいずれかのモードを選択し、選択したモードで前記読み出し手段が前記画素信号を読み出すように制御する制御手段と、を有し、前記制御手段は、撮影感度が予め定められた低感度である場合には前記混合モードで前記画素信号を読み出し、予め定められた高感度である場合には前記間引きモードで前記画素信号を読み出すように前記読み出し手段を制御することを特徴とする。

本発明によれば、画素数を低減して読み出し可能な撮像装置において、ノイズの影響を抑制し、高画質な動画像を実現するのに有利な技術を提供することができる。

本発明の実施形態に係る撮像装置の全体ブロック図 撮像素子の画素領域の構成例 ＣＭＯＳイメージセンサの画素の回路 本発明の撮像素子のレイアウト 垂直混合読み出しの例 撮像素子の構成例を示すブロック図 列アンプと読み出し回路 撮像素子の駆動タイミングチャート 撮像素子の混合駆動のタイミングチャート 本発明の実施形態１に係る混合駆動と間引き駆動の切替条件の例 本発明の実施形態１に係る混合駆動と間引き駆動の切替条件の例 本発明の実施形態２に係る撮像素子の画素領域の構成例 本発明の実施形態２に係る撮像素子の画素領域の構成例 本発明の実施形態３に係る混合駆動と間引き駆動の切替条件の例 本発明の実施形態３に係る混合駆動と間引き駆動の切替条件の例

［実施形態１］
本発明の実施形態１に係る撮像素子を用いる撮像装置について、図１の全体ブロック図により説明する。撮像素子１０１は、例えばＣＭＯＳイメージセンサであり、光学系１１１から入力される被写体の光学像を電気信号に変換する。アナログフロントエンド１０２（ＡＦＥ）は、撮像素子から出力される信号の増幅や黒レベルの調整（ＯＢクランプ）などの信号処理を行う信号処理回路である。ＡＦＥ１０２は、タイミング発生回路１１０からＯＢクランプタイミング信号などを受け取り、上記した信号処理を行った後にアナログ信号をデジタル信号に変換する。

デジタルフロントエンド１０３（ＤＦＥ）は、ＡＦＥ１０２で変換された各画素のデジタル信号の補正や画素の並び替え等のデジタル処理を行う。なお、ＯＢクランプ処理については、ＤＦＥ１０３で行うこともできる。画像処理装置１０５は、例えば、撮影画像を表示回路１０８に表示したり、制御回路１０６の制御により画像データを記録媒体１０９に記録するための処理を行う。記録媒体１０９は、半導体メモリカードなど着脱可能な構成としてもよい。

制御回路１０６は、撮像装置１００全体を制御し、操作部１０７からの指示を受けてタイミング発生回路１１０などの制御も行う。メモリ回路１０４は、画像処理装置１０５の作業用メモリとして使用され、連続撮影時などにおいて画像処理が間に合わないときのバッファーメモリとしても使用される。操作部１０７には、電源スイッチやシャッタースイッチ、撮影条件の設定を行う入力部が含まれる。シャッタースイッチは、測光処理や測距処理などの撮影準備動作の開始を指示し、さらに、ミラーやメカシャッターを駆動して行う撮影動作の開始を指示する。

次に、撮像素子の画素領域の例について図２を用いて説明する。画素領域２００は、光学系１１１からの光が入射する画素を有する開口画素領域２０３と、開口画素領域２０３に隣接し、遮光された画素を有する非開口画素領域からなる。開口画素領域２０３にある画素は、入射光に応じて発生した電荷を蓄積し、蓄積した電荷に応じた電圧信号を画素信号として出力する。非開口画素領域は、水平オプティカルブラック画素領域（以下、ＨＯＢ）２０２及び垂直オプティカルブラック画素領域（以下、ＶＯＢ）２０１と呼ばれる領域に分けられる。ＨＯＢ２０２は、開口画素領域２０３の水平方向（行方向）の先頭（左側）に隣接して設けられた遮光領域である。ＶＯＢ２０１は、開口画素領域２０３の垂直方向（列方向）の先頭（上側）に隣接して設けられた遮光領域である。ＶＯＢ２０１及びＨＯＢ２０２は、開口画素領域２０３と同様な画素を有している。開口画素領域２０３は遮光されず、ＶＯＢ２０１及びＨＯＢ２０２は遮光されている。

次に、撮像素子１０１がＣＭＯＳイメージセンサである場合の３画素分の回路の一例について、図３を用いて説明する。この例は、垂直方向に隣接する３つの画素の電荷を加算（混合）して出力することができる回路を示すが、電荷が加算（混合）される画素の数は３に限定されるものではない。各画素は同じ構成を有するため、代表して一番上の画素について、その構成を説明する。フォトダイオード（ＰＤ）３０１は、光学系１１１により結像された光学像を受けて電荷を発生する。ＰＤ３０１で発生した電荷は、転送ＭＯＳトランジスタ３０２によりフローティングデフュージョン（ＦＤ）３０４に転送され、電荷が電圧に変換される。この電圧は、選択ＭＯＳトランジスタ３０６がオンに制御されると、増幅ＭＯＳトランジスタ３０５を介して画素信号として垂直出力線３０７に出力される。リセットＭＯＳトランジスタ３０３がオンになると、ＦＤ３０４の電位及び転送ＭＯＳトランジスタ３０２を介してＰＤ３０１の電位とが電圧ＶＤＤにリセットされる。加算スイッチ３０８は、垂直方向に隣接して配置された２つの画素のＦＤ３０４間を接続している。加算スイッチ３０８をオンすることにより、加算スイッチ３０８が接続しているＦＤ３０４において電荷を混合することができる。また、加算スイッチ３０８をオンせずに、複数の選択ＭＯＳトランジスタ３０６をオンした場合、複数画素の電荷に応じた電圧を垂直出力線３０７上に出力することができる。

上述したＣＭＯＳ撮像素子を用いて垂直画素加算を行って画像を得る駆動方法を図４、図５を用いて詳細に説明する。図４は、撮像素子の画素レイアウトの一部を示した図である。図４では、説明を簡単にするために１７×３０画素の例を示しているが、実際には数千×数千画素と多画素である。図４の例では、０行目から３行目までがダミー画素、４行目から１５行目までがＶＯＢ画素、１６行目から２９行目までが有効画素である。有効画素には、Ｒ、Ｇ、Ｂの色フィルタがベイヤ状に配列されている。図３は、わかりやすくするために１色についての構成のみを示したものであり、実際には、Ｒ、Ｇ、Ｂの各色についてそれぞれ図３のような構成になっている。本実施例では、垂直方向（列方向）に隣接する同色３画素の出力を加算（混合）する場合について説明する。

図５は、図４の画素レイアウトのある列の画素の垂直加算読み出しを表した図である。ここで、ダミー画素は、黒レベルの基準となる信号出力を得るために設けられた画素であり、図３に示したＰＤ３０１と加算スイッチ３０８を備えていない。そのため、ダミー画素の出力は垂直方向（列方向）で加算（混合）されないで、各行にある画素の信号が別々に読み出される。

有効画素の出力は、垂直方向（列方向）に隣接した同色の３画素の出力が混合されて読み出される。図５は、ＲとＧの列を示しており、Ｒ画素については、１６，１８，２０行目の３画素の出力が混合されて読み出される。また、Ｇ画素については、１９，２１，２３行目の３画素が混合されて読み出される。以降の有効画素についても同様にして読み出される。

ＶＯＢ画素の出力は、有効画素と同様に垂直方向（列方向）の３画素の出力が加算（混合）されて読み出される。ＶＯＢ画素は、遮光された画素であるために色の区別はないが、有効画素と同様の規則で加算（混合）するように駆動することが望ましい。すなわち、図５では、ＶＯＢ画素領域の４，６，８行目の画素の出力が混合されて読み出されるとともに、７，９，１１行目の画素の出力が混合されて読み出される。このように加算（混合）することで、重心を偏らせることなくＶＯＢ画素出力を得ることができる。なお、ＶＯＢ画素と有効画素の境界では、１３，１５行目のＶＯＢ２画素と１７行目の有効画素１画素（Ｇ画素）の出力が加算（混合）されて読み出されることになるが、この出力信号は画像作成に使用しないことが望ましい。

次に、ＤＦＥ１０３は、このようにして読み出されたダミー画素の出力信号及びＶＯＢ画素の出力信号を用いて、有効画素の出力信号を補正する。以下、この補正処理について説明する。なお、この補正処理は、ＤＦＥ１０３で行うのが好適であるが、もちろん画像処理装置１０５などで実行するように構成してもかまわない。

まず、各列におけるダミー画素の出力信号の平均値を算出する。同じ列の有効画素からの色別の出力画素信号からダミー画素の出力信号の平均値を減算する。そして、このような減算処理を行うことにより、読み出し回路の特性に起因する縦縞ノイズやシェーディングをリアルタイムに補正することができる。なお、信頼度の高い補正処理を行うためには、ダミー画素の母数（行数）が多いほど好ましい。しかし、上記したようにダミー画素の出力信号は、有効画素を加算して読み出す場合にも加算処理されないため、ダミー画素から得られる信号の数は減らされない。したがって、ダミー画素の行数を増やさなくても補正値（平均値）の算出に十分な母数のダミー画素出力を得ることができる。

また、通常、光電変換部であるフォトダイオード（ＰＤ）で電荷の蓄積を行うと、その蓄積時間や環境温度に応じて暗電流ノイズが発生する。しかし、ダミー画素には光電変換部であるフォトダイオード（ＰＤ）が設けられていないため、暗電流ノイズが発生しない。そのため、加算読み出しを行わなくても所望の補正値を得ることができ、かつ、列ごとに生じる固定パターンノイズを精度よく補正することができる。

一方、有効画素で発生する暗電流ノイズは、ＶＯＢ画素の出力信号を用いて補正する。暗電流ノイズは、上記したように、電荷蓄積時間と環境温度に依存するものである。ＶＯＢ画素には、有効画素と同様に光電変換部であるフォトダイオード（ＰＤ）が設けられている。そこで、有効画素と同様の加算読み出し駆動を行って読み出されたＶＯＢ画素の出力信号の平均値を算出することによって暗電流量が求まる。求めた暗電流の値を用いて有効画素の出力信号を補正すれば、暗電流の影響を抑制することができる。ＶＯＢ画素は有効画素と同様の加算読み出し駆動を行う必要があるが、ＶＯＢ画素全体から暗電流補正値を算出することができるので、画素数をそれほど増やさなくても精度の良い補正を行うことができる。

なお、本実施例では、ダミー画素に加算スイッチ３０８を備えていない例を説明したが、有効画素と同様に加算スイッチ３０８を備えていてもかまわない。また、ダミー画素を複数回選択して読み出すと、ダミー画素出力信号の母数が増えてランダムノイズの影響をより抑制した補正を行うことができる。本実施例では、水平方向（行方向）の低画素化に関しては特に説明していないが、全画素の信号を読み出してから後で加算処理しても良い。また、公知の技術により、撮像素子内で水平方向（行方向）の加算処理を行っても良い。

以上のような処理を行うことで、高画素の撮像素子の出力を低画素化する駆動を行う際に、回路規模を大きくすることなく良好な画像を得ることができる。

図６は、撮像素子１０１の構成例を示すブロック図である。撮像素子１０１の画素領域４００には、複数の画素が行方向と列方向に配置されている。便宜上図６では、撮像素子１０１に配置された画素のうち、３行３列分の９画素を示している。垂直シフトレジスタ４０１は、タイミング発生回路１１０からのタイミング信号に基づき、第１〜第４の行選択線Ｐｒｅｓ（１）、Ｐｔｘ（１）、Ｐｓｅｌ（１）、Ｐａｄｄ（１）を介して制御信号を画素領域４００に出力して、画素信号の読み出しを制御する。本実施形態では、各画素は行ごとに制御されており、偶数列と奇数列で別々の読み出し回路４０２，４１０に接続された垂直出力線４０８ａ〜４０８ｃに画素信号を出力する。垂直出力線４０８ａ〜４０８ｃは、図３に示した垂直出力線３０７に相当する。電流源４０７ａ〜４０７ｃは、各垂直出力線４０８ａ〜４０８ｃに接続される。垂直出力線上の画素信号が読み出し回路４０２，４１０に入力され、ｎチャネルトランジスタ４０３又は４０４を介して差動増幅器４０５，４１１に入力される。水平シフトレジスタ４０６，４０９は、タイミング発生回路１１０からのタイミング信号に基づき、トランジスタ４０３及び４０４のオン／オフを制御する。差動増幅器４０５，４１１は、画素信号とノイズ信号が入力され、画素信号からノイズ分を除去した差分信号を出力する。

図３に示す転送ＭＯＳトランジスタ３０２のゲートは、図６の横方向に延長して配置される第１の行選択線Ｐｔｘ（１）に接続される。同じ行に配置された他の画素の転送ＭＯＳトランジスタのゲートも上記第１の行選択線Ｐｔｘ（１）に共通に接続される。リセットＭＯＳトランジスタ３０３のゲートは、第２の行選択線Ｐｒｅｓ（１）に接続される。同じ行に配置された他の画素のリセットＭＯＳトランジスタのゲートも上記第２の行選択線Ｐｒｅｓ（１）に共通に接続される。選択ＭＯＳトランジスタ３０６のゲートは、第３の行選択線Ｐｓｅｌ（１）に接続される。同じ行に配置された他の選択ＭＯＳトランジスタ３０６のゲートも上記第３の行選択線Ｐｓｅｌ（１）に共通に接続される。また、加算スイッチ３０８のゲートは、第４の行選択線Ｐａｄｄ（１）に接続される。他の行に配置された画素にも上記垂直シフトレジスタ４０１からの第１〜第４の行選択線Ｐｔｘ（２）〜Ｐｔｘ（３）、Ｐｒｅｓ（２）〜Ｐｒｅｓ（３）、Ｐｓｅｌ（２）〜Ｐｒｅｓ（３）、Ｐａｄｄ（２）〜Ｐａｄｄ（３）が接続されて制御信号が供給される。

選択ＭＯＳトランジスタ３０６のソースは、縦方向に延長して配置される垂直出力線に接続される。ここで、同じ列に配置される画素の選択ＭＯＳトランジスタ３０６のソースは、同じ垂直出力線に接続される。また、垂直出力線は定電流源４０７に接続されている。次に、図６に示した読み出し回路４０２，４１０の１列分の回路動作について図７を用いて説明する。図７において、破線で囲まれた列アンプ５０１は、撮像素子の列数分だけ設けられ、各垂直出力線が端子Ｖｉｎに接続される。

列アンプ５０１は、垂直出力線から端子Ｖｉｎに入力された信号を増幅する。増幅利得はコンデンサＣ０とコンデンサＣｆの容量比Ｃ０／Ｃｆで決まる。コンデンサＣｆの容量は、スイッチにより選択できるように構成されており、コンデンサＣｆとコンデンサＣ０の組み合わせにより様々な利得（増幅率）を設定することができる。なお、本実施形態では列アンプ５０１で列毎に画素信号を増幅しているが、撮像素子から画素信号を読み出した後、ＡＦＥ１０２やＤＦＥ１０３、画像処理装置１０５で増幅することも可能である。このように、画素信号を列アンプや読み出し後の処理で増幅することによって、撮影感度を高めることができる。従って、設定されている撮影感度（ＩＳＯ感度）に応じて、これら増幅時のゲインが設定される。

次に、静止画を撮像する際の撮像素子の全画素からの信号の読み出し動作について、図３、図６、図７及び図８のタイミングチャートを用いて説明する。フォトダイオード３０１からの信号電荷の読み出しに先立って、最初に第２の行選択線Ｐｒｅｓ（１）がハイレベルとなり、リセットＭＯＳトランジスタ３０３のゲートがハイレベルとなる。これによって、増幅ＭＯＳトランジスタ３０５のゲート、すなわちＦＤ３０４の電位がリセット電圧にリセットされる。第２の行選択線Ｐｒｅｓ（１）がローレベルに復帰すると同時にクランプスイッチ５０９のゲートＰｃ０ｒがハイレベルになる。

その後に第３の行選択線Ｐｓｅｌ（１）がハイレベルとなり、選択ＭＯＳトランジスタ３０６のゲートがハイレベルとなる。これによって、リセットノイズが重畳されたリセット信号（ノイズ信号）が垂直出力線に読み出され、各列の列アンプ５０１のクランプ容量Ｃ０にクランプされる。次に、クランプスイッチ５０９のゲートＰｃ０ｒがローレベルに復帰した後、転送スイッチ５０７のゲートＰｃｔｎがハイレベルになると、設定された利得で増幅されたノイズ信号が出力されて、各列に設けられたノイズ保持容量Ｃｔｎに保持される。

次に、転送スイッチ５０８のゲートＰｃｔｓをハイレベルにした後、第１の行選択線Ｐｔｘ（１）がハイレベルとなる。すると、転送ＭＯＳトランジスタ３０２のゲートがハイレベルとなり、フォトダイオード３０１の信号電荷がＦＤ３０４、すなわち増幅ＭＯＳトランジスタ３０５のゲートに転送されて、画素信号が垂直出力線に読み出される。次に、第１の行選択線Ｐｔｘ（１）がローレベルに復帰し、転送ＭＯＳトランジスタ３０２のゲートがローレベルとなり、転送スイッチ５０８のゲートＰｃｔｓがローレベルとなる。これによって、設定された利得で増幅された画素信号が各列に設けられた信号保持容量Ｃｔｓに読み出される。ここまでの動作で、第１行目に接続された画素のノイズ信号と画素信号がそれぞれの列に接続された信号保持容量Ｃｔｎ，Ｃｔｓに保持される。

この後、水平シフトレジスタ４０６，４０９から供給される信号Ｐｈによって、各列の水平転送スイッチゲート５０５，５０６が順次ハイレベルとなる。信号保持容量Ｃｔｎ，Ｃｔｓに保持されていた電圧は、順次、コンデンサＣｈｎ，Ｃｈｓに読み出され、出力アンプ５０２で差分処理されて出力端子ＯＵＴに順次出力される。各列の信号読み出しの合間でリセットスイッチ５０３，５０４によってコンデンサＣｈｎ，Ｃｈｓがリセット電圧ＶＣＨＲＮ，ＶＣＨＲＳにリセットされる。以上で、第１行目に接続された画素の信号読み出しが完了する。以下同様に、垂直シフトレジスタ４０１からの制御信号によって第２行目以降に接続された画素セルＰｉｘｅｌの信号が順次読み出され、全画素の読み出しが完了する。静止画撮影時には、全画素からの出力信号を読み出して、高解像度の画像を得ることができる。

一方、動画を撮影する際は、高フレームレート（例えば３０フレーム／秒以上）を実現できるように、高速読み出しを行うことが必要である。また、現在普及している規格における動画解像度は最大でも１９２０ｘ１０８０画素（約２００万画素）であり、デジタルカメラに用いられている一般的な撮像素子が有する画素数（約１０００万画素以上）よりかなり少ない。そのため、デジタルカメラで動画を撮影する場合、画素数を低減するための低画素化処理を行う。上述の通り、撮像素子から転送するデータ量を少なくする観点から、撮像素子から信号を読み出す画素数が低減されることが望ましい。撮像素子から信号を読み出す画素数を低減する方法としては、画素信号を間引いて読み出す方法（間引きモード）と、画素信号を加算（混合）して読み出す方法（混合モード）がある。

まず、間引きモードについて説明する。間引きモードの場合は、垂直シフトレジスタ４０１を、離散的な行を順次選択するように制御することによって画素信号の読み出しを行う。例えば、３行のうち１行の画素から信号を読み出す１／３間引き駆動では、１行目、４行目、７行目と２行おきに垂直シフトレジスタ４０１により順次、画素の行を選択し、選択した画素からの信号を読み出す。つまり、垂直シフトレジスタ４０１からの行選択信号の出力を２行おきに画素の行を選択するように制御して、垂直出力線４０８へ画素信号を読み出す。読み出し対象の行と行との間の行はスキップする。読み出す行の処理は、全画素読み出し時の１行分の読み出しと同様に行う。また、垂直出力線に読み出した後の列アンプによる処理も同様に行い、撮像素子１０１から画素信号を出力する。

次に、ＦＤ混合モード（第１の混合モード）について説明する。本実施形態では、図３で説明したように、垂直方向に配置されている複数の画素の電荷を混合して画像信号として出力する。ＦＤ混合モードにおいては、フォトダイオードからの信号電荷の読み出し時に、第４の行選択線Ｐａｄｄ（ｎ）をハイレベルにして、ＦＤ同士を接続する加算スイッチ３０８をオンすることによって、隣接するＦＤの電荷を混合することができる。

ＦＤ混合モードの動作例について、図９に示すタイミングチャートにより説明する。ここでは、図６のＣＭＯＳ撮像素子のブロック図に示す垂直方向の３画素の電荷をＦＤにおいて混合する場合を例に説明する。ＦＤ混合モードの期間中は、第４の行選択線Ｐａｄｄ（１）、Ｐａｄｄ（２）をハイレベルにし、垂直方向に隣接する画素のＦＤ間を接続する２つの加算スイッチ３０８をオンにする。この結果、垂直方向の３つの画素のＦＤが接続される。フォトダイオード３０１からの信号電荷の読み出しに先立って、第２の行選択線Ｐｒｅｓ（１），Ｐｒｅｓ（２），Ｐｒｅｓ（３）がハイレベルとなる。すると、図３に示すリセットＭＯＳトランジスタ３０３のゲートがハイレベルになって、リセットＭＯＳトランジスタ３０３がオンする。これによって、増幅ＭＯＳトランジスタ３０５のゲート、すなわちＦＤ３０４の電位がリセット電圧にリセットされる。第２の行選択線Ｐｒｅｓ（１），Ｐｒｅｓ（２），Ｐｒｅｓ（３）がローレベルに復帰すると同時にクランプスイッチ５０９のゲートＰｃ０ｒがハイレベルになってオンする。

次に、第３の行選択線Ｐｓｅｌ（１），Ｐｓｅｌ（２），Ｐｓｅｌ（３）がハイレベルとなり、選択ＭＯＳトランジスタ３０６がオンする。これによって、リセットノイズが重畳されたノイズ信号が垂直出力線に読み出され、各列の列アンプ５０１のクランプ容量Ｃ０にクランプされる。次に、クランプスイッチ５０９のゲートＰｃ０ｒがローレベルに復帰した後、転送スイッチ５０７のゲートＰｃｔｎがハイレベルとなる。この結果、設定された利得で増幅されたノイズ信号は、転送スイッチ５０７を介して各列に設けられたノイズ保持容量Ｃｔｎに保持される。

次に、画素信号の読み出しについて説明する。転送スイッチ５０８のゲートＰｃｔｓをハイレベルにした後、第１の行選択線Ｐｔｘ（１），Ｐｔｘ（２），Ｐｔｘ（３）がハイレベルとなる。転送ＭＯＳトランジスタ３０２がオンとなって、フォトダイオード３０１の信号電荷がＦＤ３０４に転送される。３行分のフォトダイオード３０１の信号電荷はＦＤ３０４で加算されて、増幅ＭＯＳトランジスタ３０５を介して垂直出力線に読み出される。この信号は設定された利得で増幅されて各列に設けられた信号保持容量Ｃｔｓに読み出される。

次に、第１の行選択線Ｐｔｘ（１），Ｐｔｘ（２），Ｐｔｘ（３）がローレベルに復帰し、転送ＭＯＳトランジスタ３０２がオフした後、転送スイッチ５０８のゲート線Ｐｃｔｓがローレベルとなる。ここまでの動作で、画素領域の第１行目、第２行目、第３行目に接続された垂直方向に隣接する画素の信号がＦＤにおいて混合されてそれぞれの列に接続されたノイズ保持容量Ｃｔｎ及び信号保持容量Ｃｔｓに保持される。この後、水平シフトレジスタ４０６，４０９から供給される信号Ｐｈによって、各列の水平転送スイッチゲート５０５，５０６が順次ハイレベルとなる。各信号保持容量Ｃｔｎ，Ｃｔｓに保持されていた電圧は、コンデンサＣｈｎ，Ｃｈｓに読み出され、出力アンプ５０２で差分処理されて出力端子ＯＵＴに順次出力される。各列の信号読み出しの合間でリセットスイッチ５０３，５０４によってコンデンサＣｈｎ，Ｃｈｓがリセット電圧ＶＣＨＲＮ、ＶＣＨＲＳにリセットされる。以上で、第１行目、第２行目、第３行目に接続された垂直方向の画素セルＰｉｘｅｌの加算読み出しが完了する。

上述のように、本実施形態の撮像素子を備える撮像装置は、ＦＤ混合モードと間引きモードの両方を実行することができる。ＦＤ混合モードによって画素数を低減するとモアレの少ない良好な画像が取得できる。また、加算を撮像素子内で行うことによって読み出す画素数を少なくすることができるので、動画記録など高速読み出しが必要な場合に好適である。しかし、加算スイッチ３０８をオンしている間、加算スイッチ３０８に対して寄生容量を介してノイズが入力されるので、ノイズの影響を受けて出力する画像に横縞状のノイズが発生することがある。横縞状のノイズの影響は画素の出力に対する増幅率が高いほど、すなわち設定された撮影感度（ＩＳＯ感度）が高いほど顕著になる。

一方、撮影感度を高くした場合は撮影感度が低い場合に比べてランダムノイズも大きいため、間引きモードであってもモアレが発生しにくい。そこで、本発明の実施形態１の撮像装置は、設定される撮影条件に応じて撮像素子を駆動するための読み出しモードを変更する。例えば、操作部１０７から設定された撮影感度が予め定めた低感度の範囲（図１０の例ではＩＳＯ４００以下）である場合にはＦＤ混合モードとし、予め定めた高感度の範囲（図１０の例ではＩＳＯ８００以上）である場合には間引きモードとする。なお、ＦＤ混合モードと間引きモードとが切り替わる撮影感度は、撮像素子や周辺の回路の特性などに依存するため、予め実験的に設定することができる。なお、ここでは、ＩＳＯ４００と８００との間に設定可能な感度がない場合を想定している。しかし、中間感度が設定可能な撮像装置などの場合、例えば、ＩＳＯ４００以下の場合と、ＩＳＯ４００超の場合のように、１つの閾値を用いて読み出しモードを決定しても良い。

また、半導体は温度により発生するノイズの量が変わるので、図１１に示すように、ＦＤ混合モード、間引きモードの切り替えは撮影感度に加えて撮影時の温度条件（例えば撮像素子１０１近傍の温度）をさらに考慮して決定しても良い。さらに、読み出しモードの切り換え条件の設定や切り換え操作をユーザーができるようにしても良い。

このように画素数を低減するための読み出しモードを切り換える場合、電荷をＦＤで混合して読み出すＦＤ混合モードと、間引きモードとでは、読み出す際の１画素あたりのＦＤの容量が異なる。また、加算スイッチ３０８やＦＤ３０４に対する寄生容量の影響も異なる。従って、ＦＤ混合モードの場合と間引きモードの場合とで出力レベルが異なってしまう。そこで、ＦＤ混合モードと間引きモードにおける出力レベル差の補正係数を予め記憶しておく。このレベル差は厳密には撮像素子ごとに異なるため、撮像素子の製造時に測定し、取得した値をＲＯＭなどに保持しておいて画像処理時に補正する方法が望ましい。もしくは、各ＩＳＯ感度でのＦＤ混合モードと間引きモードとのそれぞれにおいて、所定の標準出力に合うよう感度調整を行い、得られた調整値をＲＯＭに保持しておき、撮影条件と駆動に応じて調整値を読み出して画素信号を補正してもよい。

以上説明したように、本実施形態では、撮像素子の全画素数よりも少ない数の画素信号を読み出す場合、設定された撮影条件に応じて読み出しモードを選択する。読み出しモードを、撮影感度が予め定めた値以下の場合はＦＤ混合モードとし、予め定めた値よりも高い場合には間引きモードに設定する。低感度撮影時および高感度撮影時のいずれにおいても画質の良好な動画撮影を実現することができる。また、撮影時の温度を考慮して読み出しモードを切り替えることで、高感度撮影時のノイズの影響を一層抑制することができる。

［実施形態２］
本発明の実施形態２について説明する。本実施形態では、ＦＤ混合モードと間引きモードの選択を撮影時の画質を評価して行う。撮像装置の構成及び撮像素子の駆動方法は実施形態１と同様であるため省略する。

図１２は、固体撮像装置の画素領域の構成例である。図２と同様に開口画素を有する開口画素領域１００３と、非開口画素領域１００１，１００２とからなる。非開口画素領域は、水平オプティカルブラック画素領域（ＨＯＢ）１００２及び垂直オプティカルブラック画素領域（ＶＯＢ）１００１からなる。開口画素領域１００３の画素は、入射光に応じて発生した電荷を蓄積して出力する。画質を評価するための画質評価領域１００４として、複数行分の画素を含むＶＯＢ１００１の一部の領域を用いる。

ＶＯＢ１００１、ＨＯＢ１００２、開口画素領域１００３の画素から画素信号を読み出す場合には、評価された画質に応じてＦＤ混合モードと間引きモードを切り替える。画質評価領域１００４の画素からは常にＦＤ混合モードで画素信号を読み出す。ＦＤ混合モードで画素信号を読み出した画質評価領域１００４の画質を、例えば横縞状のノイズレベルに基づいて評価する。横縞状のノイズが多く画質が悪いと評価される場合には間引きモード、画質が悪いと評価されなかった場合にはＦＤ混合モードを読み出しモードに設定するように制御する。

画質を評価する方法についてさらに説明する。まず、ＦＤ混合モードにて読み出された画質評価領域１００４の画素信号から、各加算出力の平均値Ａｖｅ（ｉ）を算出する。そして、画質評価領域１００４の全域における平均値Ａｖｅの標準偏差σを算出し、標準偏差σが判定値より小さければＦＤ混合モード、判定値よりも大きければ間引きモードに切り替える。判定値は、ＩＳＯ感度ごとに設定しても良い。または、各加算出力の平均値Ａｖｅ（ｉ）の数行分の移動平均Ｍａｖｅ（ｉ）を算出し、Ａｖｅ（ｉ）−Ｍａｖｅ（ｉ）の最大値Ｘを求める。最大値Ｘが閾値以内であればＦＤ混合モード、閾値以上であれば間引きモードに切り替える。もしくは、閾値を超えるＡｖｅ（ｉ）− Ｍａｖｅ（ｉ）の数を評価に用いても良い。ここで挙げた方法は、画質評価の一例であり、この限りではない。

なお、画質評価のための領域には、図１３のようにＨＯＢ領域１１０４を用いても良い。また、画素領域の一部領域でなくても、例えば、遮光した画素領域全域から出力される画素信号に基づいて、画質を評価しても良い。画質評価領域としてＨＯＢ１１０４や遮光した画素領域全域を用いた場合は、最終行まで読み出さないと判定結果を演算できないので、読み出しモードを反映するのは次のフレームになる。

なお、画質を評価して読み出しモードが切り替わった場合、ユーザーに知らせる機能を持たせても良い。または、画質の劣化が判定された場合には、読み出しモードを切り替えるのではなく、撮影を中止するようにしても良いし、その設定をユーザーが選択できるようにしても良い。

以上のように、本実施形態では、実際に撮影された画像の画質に基づいてＦＤ混合モードと間引きモードのいずれかを選択するので、より厳密な判定が可能となる。そのため、例えば、ノイズが目立ちやすいシーンとそうでないシーンとで読み出しモードを適切に切り替えることが可能になり、きめ細かく適切な読み出しを実現することができる。そのため、動画像の画質を一層改善することが可能になる。

［実施形態３］
本発明の実施形態３について説明する。撮像装置及び撮像素子の構成は、基本的に実施形態１と同様であるため省略する。本実施形態３では、ＦＤ混合モード（第１の混合モード）と間引きモードだけでなく、さらに、複数の画素の画像信号を垂直出力線へ出力して加算する混合モード（第２の混合モード）で撮像素子を駆動することができるように構成したものである。第２の混合モードは、信号電荷読み出し時に、複数の画素の選択ＭＯＳトランジスタ３０６をオンにし、加算スイッチ３０８をオンしないことによって実現することができる。すなわち、本実施形態の撮像素子を備える撮像装置は、加算スイッチ３０８をオンする第１の混合モード、加算スイッチ３０８をオンしない第２の混合モード、及び間引きモードの各読み出し方法を実行することができる。

ＦＤ混合モード（第１の混合モード）によって画素数を低減するとモアレの少ない良好な画像が取得できる。また、画素信号の混合を撮像素子内で行うことによって信号を読み出す画素数を少なくすることができるので、動画記録など高速読み出しが必要な場合に好適である。しかし、加算スイッチ３０８をオンしている間、加算スイッチ３０８に対して寄生容量を介してノイズが入力されるので、ノイズの影響を受けて出力する画像に横縞状のノイズが発生することがある。横縞状のノイズの影響は画素の出力に対する増幅率が高いほど、すなわち設定された撮影感度（ＩＳＯ感度）が高いほど顕著になる。

一方、加算スイッチ３０８をオンしない第２の混合モードでは、加算スイッチ３０８に対して寄生容量を介してノイズが入力されることはないため、高ＩＳＯにおける撮影でも横縞状のノイズが発生することはない。ただし、信号を混合する画素の出力レベル差が大きい場合、混合された出力が動作レンジにより制限され、画質を悪化させてしまう。これは、扱う信号量の多い低ゲインでの撮影で、影響を受けやすい。

そこで、実施形態３の撮像装置は、設定される撮影条件に応じて撮像素子を駆動するための読み出しモードを変更する。例えば、操作部１０７から設定された撮影感度が予め定めた低感度の範囲（図１４の例では、ＩＳＯ４００以下）である場合には、加算スイッチ３０８をオンする第1の混合モードとする。予め定めた高感度の範囲（図１４の例では、ＩＳＯ８００以上）である場合には、加算スイッチをオンしない第２の混合モードとする。なお、第1の混合モードと第２の混合モードとが切り替わる撮影感度は、撮像素子や周辺の回路の特性などに依存するため、予め実験的に設定することができる。なお、ここでは、ＩＳＯ４００と８００との間に設定可能な感度がない場合を想定している。しかし、中間感度が設定可能な撮像装置などの場合、例えば、ＩＳＯ４００以下の場合と、ＩＳＯ４００超の場合のように、１つの閾値を用いて読み出しモードを決定しても良い。

また、半導体は温度により発生するノイズの量が変わるので、図１５に示すように、第1の混合モード、第２の混合モードの切り替えは撮影感度に加えて撮影時の温度条件（例えば撮像素子１０１近傍の温度）をさらに考慮して決定しても良い。さらに、読み出しモードの切り換え条件の設定や切り換え操作をユーザーができるようにしても良い。

このように画素数を低減するための読み出しモードを切り換える場合、第1の混合モードと第２の混合モードとでは、信号を読み出す際の１画素あたりのＦＤの容量が異なる。また、加算スイッチ３０８やＦＤ３０４に対する寄生容量の影響も異なる。従って、第1の混合モードと、第２の混合モードとの場合とで出力レベルが異なってしまう。そこで、第1の混合モードと、第２の混合モードにおける出力レベル差の補正係数を予め記憶しておく。このレベル差は厳密には撮像素子ごとに異なるため、撮像素子の製造時に測定し、取得した値をＲＯＭなどに保持しておいて画像処理時に補正する方法が望ましい。もしくは、各ＩＳＯ感度での第1の混合モードと、第２の混合モードとのそれぞれにおいて、所定の標準出力に合うよう出力レベルの調整を行い、得られた調整値をＲＯＭに保持しておき、撮影条件と駆動に応じて調整値を読み出して画素信号を補正してもよい。

以上説明したように、本実施形態では、撮像素子の全画素数よりも少ない数の画素信号を読み出す場合、設定された撮影条件に応じて読み出しモードを選択する。読み出しモードを、撮影感度が予め定めた値以下の場合は第１の混合モードとし、予め定めた値よりも高い場合には第２の混合モードに設定する。低感度撮影時および高感度撮影時のいずれにおいても画質の良好な動画撮影を実現することができる。また、撮影時の温度を考慮して読み出しモードを切り替えることで、高感度撮影時のノイズの影響を一層抑制することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

３０１ フォトダイオード，３０２ 転送ＭＯＳトランジスタ，３０３ リセットＭＯＳトランジスタ，３０４ フローティングデフュージョン，３０５ 増幅ＭＯＳトランジスタ，３０６ 選択ＭＯＳトランジスタ，３０７ 垂直出力線，３０８ 加算スイッチ

Claims (19)

1. 行方向及び列方向に複数の画素が配置された画素領域と、前記複数の画素から画素信号を読み出す読み出し手段とを備えた撮像素子と、
   撮影感度を設定する設定手段と、
   前記設定手段により設定される撮影感度に応じて、前記複数の画素から間引いて画素信号を読み出す間引きモード及び前記複数の画素の画素信号を混合して読み出す混合モードのいずれかのモードを選択し、選択したモードで前記読み出し手段が前記画素信号を読み出すように制御する制御手段と、
   を有し、
   前記制御手段は、撮影感度が予め定められた低感度である場合には前記混合モードで前記画素信号を読み出し、予め定められた高感度である場合には前記間引きモードで前記画素信号を読み出すように前記読み出し手段を制御することを特徴とする撮像装置。
2. 前記読み出し手段が前記画素信号を読み出す際の間引き又は混合は、前記列方向において行われることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、撮影時の温度に応じて前記混合モードと前記間引きモードとが切り替わる撮影感度を変更することを特徴とする請求項１又は２に記載の撮像装置。
4. 行方向及び列方向に複数の画素が配置された画素領域と、前記複数の画素から画素信号を読み出す読み出し手段とを備えた撮像素子と、
   撮影時の温度に応じて、前記複数の画素から間引いて画素信号を読み出す間引きモード及び前記複数の画素の画素信号を混合して読み出す混合モードのいずれかのモードを選択し、選択したモードで前記読み出し手段が前記画素信号を読み出すように制御する制御手段と、
   を有することを特徴とする撮像装置。
5. 前記読み出し手段が前記画素信号を読み出す際の間引き又は混合は、前記列方向において行われることを特徴とする請求項４に記載の撮像装置。
6. 行方向及び列方向に複数の画素が配置された画素領域と、前記複数の画素から画素信号を読み出す読み出し手段とを備えた撮像素子と、
   前記読み出し手段により前記複数の画素から画素信号を読み出した画素領域の画質に基づいて、前記複数の画素から間引いて画素信号を読み出す間引きモード及び前記複数の画素の画素信号を混合して読み出す混合モードのいずれかのモードを選択し、選択したモードで前記読み出し手段が前記画素信号を読み出すように制御する制御手段と、
   を有し、
   前記制御手段は、オプティカルブラック画素領域の一部領域の画素から読み出した画像信号に基づいて前記画質を評価することを特徴とする撮像装置。
7. 前記読み出し手段が前記画素信号を読み出す際の間引き又は混合は、前記列方向において行われることを特徴とする請求項６に記載の撮像装置。
8. 前記制御手段は、前記オプティカルブラック画素領域の一部領域の画素から読み出した画像信号に含まれるノイズレベルに基づいて画質を評価することを特徴とする請求項６又は７に記載の撮像装置。
9. 前記読み出し手段により混合モードで読み出された出力信号と間引きモードで読み出された出力信号とのレベルの差を補正する補正手段を有することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記混合モードでは、前記複数の画素のフローティングデフュージョンの電荷を混合することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 行方向及び列方向に複数の画素が配置された画素領域と、前記複数の画素から画素信号を読み出す読み出し手段とを備えた撮像素子と、
    撮影条件を設定する設定手段と、
    前記設定手段により設定される撮影条件に応じて、前記複数の画素のフローティングデフュージョンの電荷を混合する第１の混合モード及び前記複数の画素の画像信号を列出力線へ出力して混合する第２の混合モードのいずれかのモードを選択し、選択したモードで前記読み出し手段が前記画素信号を読み出すように制御する制御手段と、
    を有することを特徴とする撮像装置。
12. 前記読み出し手段が前記画素信号を読み出す際の混合は、前記列方向において行われることを特徴とする請求項１１に記載の撮像装置。
13. 前記撮影条件は撮影感度を含み、前記制御手段は、撮影感度が予め定められた低感度である場合には前記第１の混合モードで前記画素信号を読み出し、予め定められた高感度である場合には前記第２の混合モードで前記画素信号を読み出すように前記読み出し手段を制御することを特徴とする請求項１１又は１２に記載の撮像装置。
14. 前記撮影条件は撮影時の温度を含み、前記読み出し手段は、撮影時の温度に応じて前記第１の混合モードと前記第２の混合モードとが切り替わる撮影感度を変更することを特徴とする請求項１１乃至１３のいずれか１項に記載の撮像装置。
15. 行方向及び列方向に複数の画素が配置された画素領域と、前記複数の画素から画素信号を読み出す読み出し手段とを備えた撮像素子と、撮影感度を設定する設定手段とを有する撮像装置の制御方法であって、
    前記制御方法は、前記設定手段により設定される撮影感度に応じて、前記複数の画素から間引いて画素信号を読み出す間引きモード及び前記複数の画素の画素信号を混合して読み出す混合モードのいずれかのモードを選択し、選択したモードで前記読み出し手段が前記画素信号を読み出すように制御し、
    撮影感度が予め定められた低感度である場合には前記混合モードで前記画素信号を読み出し、予め定められた高感度である場合には前記間引きモードで前記画素信号を読み出すように前記読み出し手段を制御することを特徴とする撮像装置の制御方法。
16. 行方向及び列方向に複数の画素が配置された画素領域と、前記複数の画素から画素信号を読み出す読み出し手段とを備えた撮像素子を有する撮像装置の制御方法であって、
    前記制御方法は、撮影時の温度に応じて、前記複数の画素から間引いて画素信号を読み出す間引きモード及び前記複数の画素の画素信号を混合して読み出す混合モードのいずれかのモードを選択し、選択したモードで前記読み出し手段が前記画素信号を読み出すように制御することを特徴とする撮像装置の制御方法。
17. 行方向及び列方向に複数の画素が配置された画素領域と、前記複数の画素から画素信号を読み出す読み出し手段とを備えた撮像素子を有する撮像装置の制御方法であって、
    前記制御方法は、前記読み出し手段により前記複数の画素から画素信号を読み出した画素領域の画質に基づいて、前記複数の画素から間引いて画素信号を読み出す間引きモード及び前記複数の画素の画素信号を混合して読み出す混合モードのいずれかのモードを選択し、選択したモードで前記読み出し手段が前記画素信号を読み出すように制御し、
    オプティカルブラック画素領域の一部領域の画素から読み出した画像信号に基づいて前記画質を評価することを特徴とする撮像装置の制御方法。
18. 行方向及び列方向に複数の画素が配置された画素領域と、前記複数の画素から画素信号を読み出す読み出し手段とを備えた撮像素子と、撮影条件を設定する設定手段とを有する撮像装置の制御方法であって、
    前記制御方法は、前記設定手段により設定される撮影条件に応じて、前記複数の画素のフローティングデフュージョンの電荷を混合する第１の混合モード及び前記複数の画素の画像信号を列出力線へ出力して混合する第２の混合モードのいずれかのモードを選択し、選択したモードで前記読み出し手段が前記画素信号を読み出すように制御することを特徴とする制御方法。
19. 撮像装置のコンピュータを、請求項１乃至１４のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。