JP6700751B2 - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents

Description

本発明は、撮像装置で生成された画像信号のノイズを低減する技術に関するものである。

画像センサなどの光電変換素子が配列された撮像素子が広く使用されているが、ノイズ成分が含まれることで、画質が低下することがあるため、種々のノイズ低減方法が提案されている。

たとえば、画像内のノイズレベルに応じてノイズ低減アルゴリズムのパラメータを変更する方法として、特許文献１が知られている。特許文献１では、デジタル画像の座標の関数としてノイズ情報を取得し、ノイズ低減処理時に、ノイズ低減処理の１個以上のパラメータを、得られたノイズ情報に基づいて変更する方法が開示されている。

特許第５３３７０４９号公報

近年、新しい構造の撮像素子が提案され、上記のノイズ低減処理を使用しても十分なノイズ低減効果が得られない場合がある。たとえば、被写体の光学像を形成する撮影光学系の瞳分割機能を有する画素を複数備え、画素信号を用いて位相差検出方式の焦点検出を行うことを可能にした撮像素子が提案されている。このような撮像素子を用いた撮像装置では、画像全体から焦点検出用の信号を必ずしも読み出す必要はなく、一部の領域からのみ焦点検出用の信号を読み出しても良い。

しかしながら、同じ画像内で、焦点検出用の信号の読み出しを行う領域と、画像生成用の信号の読み出しを行う領域とが混在すると、それぞれの領域に対応する画像信号に重畳されるノイズ量が異なることになる。その理由について、１つの例を挙げて簡単に説明する。例えば、１つの画素に瞳分割機能を実現する２つのフォトダイオードが含まれている場合、焦点検出用の信号の読み出しを行う領域では、まず１つのフォトダイオードで得られる信号を出力してから、２つのフォトダイオードで得られる信号を加算して出力する。これに対し、画像生成用の信号の読み出しを行う領域では、２つのフォトダイオードで得られる信号を加算して出力する動作のみ行う。焦点検出用の信号の読み出しを行う領域では信号を出力する動作を２回行うため、信号を出力する動作を１回だけしか行わない画像生成用の信号の読み出す領域に比べて、リセット動作を行ってから読み出しが完了するまでの時間が長くなる。これにより、信号間の動作周波数が低下し、フリッカ雑音が増加してしまう。そのため、画像の一部分のみで焦点検出を行い、この一部分の領域に対してのみ焦点検出用の信号の読み出しを行うと、焦点検出を行った領域とそうでない領域の間で、ノイズ感が変わってしまうという課題が生じる。

特許文献１に記載の信号処理方法では、座標の関数としてのノイズレベル情報を用い、ノイズ低減を行うとしているが、同じ画像内で領域別に異なる信号の読み出し動作が適用される場合については何ら考慮されていない。

本発明はこのような課題に鑑みてなされたもので、撮像素子に対して領域別に複数の読み出し動作を適用した場合でも、適切なノイズ低減を行うことが可能な撮像装置およびその制御方法を提供することを目的とする。

上述の目的は、撮像素子を有し、前記撮像素子の第１の領域に含まれる画素に対して、蓄積された電荷に応じた信号を読み出す第１の読み出し動作を行い、前記第１の領域とは異なる第２の領域に含まれる画素に対して、前記第１の読み出し動作とは異なる、蓄積された電荷に応じた信号を読み出す第２の読み出し動作を行う読み出し手段と、前記第１の領域と前記第２の領域から得られた信号に基づく画像信号に対して補正を行う補正手段と、を有し、前記補正手段は、処理対象となる画素の周辺に位置する複数の周辺画素から得られた画像信号と、該複数の周辺画素のそれぞれに対応する係数を用いて、前記補正を行うものであって、同じ前記補正の処理対象となる画素に対して補正を行うとしても、同じ前記周辺画素に対して、該周辺画素が前記第１の読み出し動作と前記第２の読み出し動作のどちらが実行されたかに応じて、該周辺画素に対応する係数を変更することを特徴とする撮像装置によって達成される。

撮像素子に対して領域別に複数の読み出し動作を適用した場合でも、適切なノイズ低減を行うことが可能な撮像装置およびその制御方法を提供することができる。

撮像装置の構成を示す図である。 （ａ）は撮像装置で使用される撮像素子の構成を示す図であり、（ｂ）および（ｃ）は画素アレイの構成を示す図である。 撮像素子の構成を示す図である。 （ａ）および（ｂ）は撮像素子の読み出し動作のタイミングを示す図である。 （ａ）は読み出し動作の組合せの例を示す図であり、（ｂ）は動画撮影の読み出し動作に関するフローチャートである。 （ａ）は画像処理部に入力されるラインごとの信号を示す図であり、（ｂ）は画像処理部の構成を示す図である。 本発明の第１の実施形態に係る読み出し手段の変化に応じた加重係数の設定を説明するための図である。 ノイズ低減回路の構成を示す図である。 行内加算回路の構成を示す図である。 本発明の第２の実施形態に係る読み出し手段の変化に応じた加重係数の設定を説明するための図である。 本発明の第３の実施形態に係るノイズ低減回路の構成を示す図である。 使用画素判定回路の構成を示す図である。 本発明の第３の実施形態に係る読み出し手段の変化に応じた加重係数の設定を説明するための図である。 本発明の第４の実施形態に係るノイズ低減回路の構成を示す図である。 本発明の第４の実施形態に係る読み出し手段の変化に応じた加重係数の設定を説明するための図である。 本発明の第４の実施形態に係るノイズ低減回路の構成を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。同図において、撮像素子１００は、撮影光学系で形成された被写体の光学像を電気信号に光電変換する。撮像素子１００は後述する中央処理装置１０３等によって制御され、静止画または動画を撮影する。アナログフロントエンド（以下、これをＡＦＥと称する）１０１は、撮像素子１００から出力されたアナログの画像信号に対して、ゲイン調整や所定の量子化ビットに対応してデジタル変換を行う。タイミングジェネレータ（以下、これをＴＧと称する）１０２は、撮像素子１００及びＡＦＥ１０１の駆動タイミングを制御する。本実施形態では、撮像素子１００の外部にＡＦＥ１０１、ＴＧ１０２を配置しているが、それらは撮像素子内に内蔵される構成であってもかまわない。

上述のように、中央処理装置（以下、これをＣＰＵと称する）１０３は撮像素子の各部を制御するためのプログラムを実行する。操作部１０４は、撮影命令や撮影条件等の設定をＣＰＵ１０３に対して行う。表示部１０５は、撮影した静止画像や動画像およびメニュー等の表示を行う。ＲＡＭ１０６は、ＡＦＥ１０１でデジタル変換された画像データや、後述の画像処理部１０８で処理された画像データを記憶する画像データ記憶手段の機能と、ＣＰＵ１０３が動作を行う際のワークメモリの機能を兼備する。なお、本実施形態では、これらの機能を、ＲＡＭ１０６を用いて行うようにしているが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他のメモリを適用することも可能である。ＲＯＭ１０７は、ＣＰＵ１０３が各部の動作を制御するためにロードして実行するプログラムと、後述するノイズ低減回路で用いられる係数群を格納する。ここで、本実施形態では、フラッシュメモリを示すが、これは一例であり、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他のメモリを適用することも可能である。画像処理部１０８は、撮影された静止画または動画の補正や圧縮等の処理を行う。また、後述するＡ像データとＢ像データへの分離機能や、後述する画像の補正機能や、静止画像、動画像の生成機能を備える。

ＡＦ演算部１０９は、相関演算部１２０から出力される相関演算の結果を用いて、フォーカスレンズの駆動量を算出する。フラッシュメモリ１１０は、静止画データ及び動画データを記録するための、着脱可能なフラッシュメモリである。本実施形態では、記録媒体としてフラッシュメモリを適用しているが、その他のデータ書き込み可能な不揮発性メモリでもよい。また、これらの記録媒体を内蔵した形態でもよい。

フォーカルプレーンシャッタ１１１は、静止画撮影時に露光秒時を調節する。本実施形態では、フォーカルプレーンシャッタにて撮像素子１００の露光秒時を調節する構成であるが、これに限られるものではなく、撮像素子１００が電子シャッタ機能を有し、制御パルスで露光秒時を調節する構成であってもよい。フォーカス駆動回路１１２は、光学系の焦点位置を変更するものであり、ＡＦ演算部１０９の焦点検出結果に基づいてフォーカスアクチュエータ１１４の駆動を制御し、第３レンズ１１９を光軸方向に進退駆動して焦点調節を行う。絞り駆動回路１１３は、絞りアクチュエータ１１５の駆動を制御して絞り１１７の開口径を制御する。第１レンズ１１６は、撮影光学系（共通光学系）の先端に配置され、光軸方向に進退可能に保持される。絞り１１７は、その開口径を調節することで撮影時の光量を調節する。そして、前記絞り１１７及び第２レンズ１１８は一体となって光軸方向に進退し、前記第１レンズ１１６の進退動作との連動により、変倍作用（ズーム機能）を実現する。第３レンズ１１９は、光軸方向の進退により、撮影光学系の焦点を調節する。相関演算部１２０は、撮像素子１００から出力される画素信号を用いて相関演算を行う。

次に撮像素子１００の構成を、図２を参照して説明する。図２（ａ）は、撮像素子１００の構成を示す。図２（ａ）において、撮像素子は、画素が二次元に配列された画素アレイ１００ａと、画素アレイ１００ａの画素の行を選択する垂直走査回路１００ｄ、画素アレイ１００ａの画素の列を選択する水平走査回路１００ｃを持つ。また、撮像素子１００はさらに、画素アレイ１００ａの画素のうち、垂直走査回路１００ｄ及び水平走査回路１００ｃによって選択される画素の信号を読み出すための読み出し回路１００ｂを備える。垂直走査回路１００ｄは、画素アレイ１００ａの行を選択し、ＣＰＵ１０３から出力される水平同期信号に基づいたＴＧ１０２から出力される読み出しパルスを、選択行において有効にする。読み出し回路１００ｂは列毎に設けられたアンプやメモリを有し、走査行の画素信号を、アンプを介してメモリに格納する。メモリに格納された１行分の画素信号は、水平走査回路１００ｃによって列方向に順に選択され、出力回路１００ｅを介して外部に出力される。この動作を繰り返し、全ての画素の信号を外部に出力する。

撮像素子１００の画素アレイ１００ａを図２（ｂ）に示す。図２（ｂ）において、マイクロレンズ１００ｆはマイクロレンズアレイを構成する。フォトダイオード（ＰＤ）１００ｈ、１００ｇは光電変換を行う光電変換手段として、後述するＡ像用光電変換部、Ｂ像用光電変換部を構成する。各画素は、ＰＤ２つに対して１つのマイクロレンズ１００ｆが上部に配置される構成となっている。すなわち、焦点検出用画素は、１つのマイクロレンズに対して光電変換部を複数備える。マイクロレンズ１００ｆを共有している撮像領域を１画素とした場合、画素アレイ１００ａには、この画素が水平方向にｈ画素、垂直方向にｖ画素並んで配置されている。ＰＤ１００ｈとＰＤ１００ｇで蓄積された信号は、後述する画素転送動作によって同時、または独立に電圧に信号に変換され、前述した読出し動作によって外部に出力される。ＰＤ１００ｈとＰＤ１００ｇは、瞳分割構成となっており、互いに位相差を持った別々の像が入射される。そのため、ＰＤ１００ｈとＰＤ１００ｇの信号を独立に読み出し、前述の相関演算部１２０において相関演算処理を行い、その結果を用いて前述のＡＦ演算部１０９でフォーカスレンズの駆動量などを計算することができる。ここではＰＤ１００ｈをＡ像用光電変換部、ＰＤ１００ｇをＢ像用光電変換部とする。図２（ｂ）では、マイクロレンズ１つに対してＰＤが２つ配置される構成であるが、本発明は当該構成に限られるものではない。マイクロレンズ１つに対してＰＤが上下または左右に複数配置される構成であっても本発明を適用することができる。また、１つのマイクロレンズに３つ以上のＰＤを配置して瞳分割する構成においても適用することもできる。

以下においては、マイクロレンズ１つに対してＰＤが２つ配置される構成をもって実施形態を説明するが、本発明は、上述したようにＰＤが２つ配置される形態に限定して解釈されるべきでない。たとえば、図２（ｃ）では、ＰＤが４つ配置される例を示している。画素１００ｉは、瞳分割ＰＤ１００ｊ、ＰＤ１００ｋ、ＰＤ１００ｍ及びＰＤ１００ｎから構成される。ＰＤ１００ｊ、ＰＤ１００ｋ、ＰＤ１００ｍ及びＰＤ１００ｎには、夫々異なる位相の像が入射し、別々に信号を読み出すことが可能である。もしくは、状況に応じ、ＰＤ１００ｊとＰＤ１００ｋの信号を加算して読み出し、ＰＤ１００ｍとＰＤ１００ｎの信号を加算して読み出すことも可能である。かくして、水平方向の位相差を相関演算部１２０での演算を経て取得することができる。または、ＰＤ１００ｊとＰＤ１００ｍの信号を加算して読み出し、ＰＤ１００ｋとＰＤ１００ｎの信号を加算して読み出す。かくして、垂直方向の位相差を相関演算部１２０での演算を経て取得することができ、ＰＤから得られた信号を位相差検出のために使うことができる。

図３は、画素アレイ１００ａに設けられた複数の画素のうち、隣り合う２行（ｊ行と（ｊ＋１）行）、２列（ｉ列と（ｉ＋１）列）分の画素と、２列（ｉ列と（ｉ＋１）列）分の読み出し回路１００ｂの構成を示す等価回路図である。

ｊ行目の画素３０１の転送スイッチ３０２ａには制御信号ΦＴＸＡ（ｊ）が入力され、転送スイッチ３０２ｂのゲートには、制御信号ΦＴＸＢ（ｊ）が入力される。リセットスイッチ３０４は、リセット信号ΦＲ（ｊ）により制御される。なお、制御信号ΦＴＸＡ（ｊ）及びΦＴＸＢ（ｊ）、リセット信号ΦＲ（ｊ）、行選択信号ΦＳ（ｊ）は、垂直走査回路１００ｄにより制御される。同様に、（ｊ＋１）行目の画素３２０は、制御信号ΦＴＸＡ（ｊ＋１）及びΦＴＸＢ（ｊ＋１）、リセット信号ΦＲ（ｊ＋１）、及び行選択信号ΦＳ（ｊ＋１）により制御される。

また、画素列毎に垂直信号線３０８を設けており、各垂直信号線３０８は、各列に設けられた読み出し回路１００ｂの電流源３０７及び転送スイッチ３１０ａ、３１０ｂに接続される。

転送スイッチ３１０ａのゲートには制御信号ΦＴＮが入力し、転送スイッチ３１０ｂのゲートには制御信号ΦＴＳが入力する。また、転送スイッチ３１２ａ及び転送スイッチ３１２ｂのゲートには、水平走査回路１００ｃから出力される制御信号ΦＰＨ（ｉ）が入力される。蓄積容量部３１１ａは、転送スイッチ３１０ａがオン状態で転送スイッチ３１２ａがオフ状態にあるときに、垂直信号線３０８の出力を蓄積する。同様に、蓄積容量部３１１ｂは、転送スイッチ３１０ｂがオン状態で転送スイッチ３１２ｂがオフ状態にあるときに、垂直信号線３０８の出力をする。

水平走査回路１００ｃの列選択信号ΦＰＨ（ｉ）によりｉ列目の転送スイッチ３１２ａ及び転送スイッチ３１２ｂをオン状態にすることで、蓄積容量部３１１ａ及び蓄積容量部３１１ｂの出力がそれぞれ別の水平出力線を介して出力回路１００ｅに転送される。

上記構成を有する撮像素子１００から信号を読み出す読み出し動作として、加算読み出し動作（第１の読み出し動作）と、分割読み出し動作（第２の読み出し動作）とを選択的に行うことが可能である。以下、図３及び図４を参照して、加算読み出し動作と分割読み出し動作について説明する。なお、本実施形態では、各制御信号がＨ（ｈｉｇｈ）の状態の時に各スイッチがオンし、Ｌ（ｌｏｗ）の時にオフとなるものとして説明する。

＜加算読み出し動作＞（第１の読み出し動作）
図４（ａ）は、加算読み出し動作により撮像素子１００のｊ行目の画素から信号を読み出す動作のタイミングを示している。時刻Ｔ１において、リセット信号ΦＲ（ｊ）をＨにする。次に、時刻Ｔ２において、制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＨにして、ｊ行目の画素１００ｆのＰＤ１００ｈ、１００ｇをリセットする。

次に、時刻Ｔ３で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＬにすると、ＰＤ１００ｈ、１００ｇは電荷蓄積を開始する。続いて、時刻Ｔ４で行選択信号ΦＳ（ｊ）をＨにすると、行選択スイッチ３０６がオン状態となって垂直信号線３０８に接続され、ソースフォロアアンプ３０５が動作状態となる。

次に、時刻Ｔ５でリセット信号ΦＲ（ｊ）をＬにした後、時刻Ｔ６で制御信号ΦＴＮをＨにすると、転送スイッチ３１０ａがオン状態となり、垂直信号線３０８上のリセット解除後の信号（ノイズ信号）を蓄積容量部３１１ａに転送する。

次に、時刻Ｔ７で制御信号ΦＴＮをＬにし、蓄積容量部３１１ａにノイズ信号を保持する。その後、時刻Ｔ８で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＨにして、ＰＤ１００ｈ、１００ｇの電荷をフローティングディフュージョン領域（ＦＤ領域）３０３に転送する。このとき、２つのＰＤ１００ｈ、１００ｇの電荷を同じＦＤ領域３０３に転送するので、２つのＰＤ１００ｈ、１００ｇの電荷が混合された信号（１画素分の光信号＋ノイズ信号）が垂直信号線３０８に出力される。

続いて時刻Ｔ９で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＬにする。その後、時刻Ｔ１０で制御信号ΦＴＳをＨにすると、転送スイッチ３１０ｂがオン状態になり、垂直信号線３０８上の信号（１画素分の光信号＋ノイズ信号）が蓄積容量部３１１ｂに転送される。次に時刻Ｔ１１で制御信号ΦＴＳをＬにし、蓄積容量部３１１ｂに１画素分の光信号＋ノイズ信号が保持された後、時刻Ｔ１２で行選択信号ΦＳ（ｊ）をＬにする。

この後、水平走査回路１００ｃの列選択信号ΦＰＨを順にＨにすることよって、第１画素列から最終画素列まで転送スイッチ３１２ａ、３１２ｂを順にオン状態にする。これにより、蓄積容量部３１１ａのノイズ信号と、３１１ｂの１画素分の光信号＋ノイズ信号をそれぞれ異なる水平出力線を介して出力回路１００ｅに転送する。出力回路１００ｅでは、この２つの水平出力線の差分（１画素分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、上述した加算読み出しにより得られた信号を、「第１の加算信号」と呼ぶ。

＜分割読み出し動作＞（第２の読み出し動作）
次に、分割読み出し動作について図４（ｂ）を用いて説明する。図４（ｂ）は、分割読み出し動作により撮像素子１００のｊ行目の画素から信号を読み出す動作のタイミングを示している。時刻Ｔ１においてリセット信号ΦＲ（ｊ）をＨにする。続いて、時刻Ｔ２においてΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＨにして、ｊ行目の画素３０１のＰＤ１００ｈ、１００ｇをリセットする。次に、時刻Ｔ３で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＬにすると、ＰＤ１００ｈ、１００ｇは電荷蓄積を開始する。続いて、時刻Ｔ４で行選択信号ΦＳ（ｊ）をＨにすると、行選択スイッチ３０６がオン状態となって垂直信号線３０８に接続され、ソースフォロアアンプ３０５が動作状態となる。

時刻Ｔ５でリセット信号ΦＲ（ｊ）をＬにした後、時刻Ｔ６で制御信号ΦＴＮをＨにすると、転送スイッチ３１０ａがオン状態となり、垂直信号線３０８上のリセット解除後の信号（ノイズ信号）が蓄積容量部３１１ａに転送される。

次に、時刻Ｔ７で制御信号ΦＴＮをＬにし、蓄積容量部３１１ａにノイズ信号が保持された後、時刻Ｔ８でΦＴＸＡ（ｊ）をＨにすると、ＰＤ１００ｈの電荷がＦＤ領域３０３に転送される。このとき、２つのＰＤ１００ｈ、１００ｇのうち一方（ここではＰＤ１００ｈ）の電荷をＦＤ領域３０３に転送するので、ＰＤ１００ｈの電荷に応じた信号だけを垂直信号線３０８に出力する。

次に、時刻Ｔ９で制御信号ΦＴＸＡ（ｊ）をＬにした後、時刻Ｔ１０で制御信号ΦＴＳをＨにすると、転送スイッチ３１０ｂがオン状態になり、垂直信号線３０８上の信号（１ＰＤ分の光信号＋ノイズ信号）が蓄積容量部３１１ｂに転送される。次に時刻Ｔ１１で制御信号ΦＴＳをＬにする。

この後、水平走査回路１００ｃの列選択信号ΦＰＨを順にＨにすることによって、第１画素列から最終画素列まで転送スイッチ３１２ａ、３１２ｂを順にオン状態にする。これにより、蓄積容量部３１１ａのノイズ信号と、３１１ｂの１ＰＤ分の光信号＋ノイズ信号をそれぞれ別の水平出力線で出力回路１００ｅに転送する。出力回路１００ｅでは、この２つの水平出力線の差分（１ＰＤ分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、上述した読み出しにより得られた信号を、「分割信号」と呼ぶ。

その後、時刻Ｔ１２でΦＴＸＡ（ｊ）及びΦＴＸＢ（ｊ）をＨとし、先に転送したＰＤ１００ｈの電荷に加えて、更にＰＤ１００ｇの電荷と新たに発生したＰＤ１００ｈの電荷とをＦＤ領域３０３に転送する。このとき、２つのＰＤ１００ｈ、１００ｇの電荷を同じＦＤ領域３０３に転送するので、２つのＰＤ１００ｈ、１００ｇの電荷を加算した信号（１画素分の光信号＋ノイズ信号）を垂直信号線３０８に出力する。

続いて時刻Ｔ１３で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＬにした後、時刻Ｔ１４で制御信号ΦＴＳをＨにすると、転送スイッチ３１０ｂがオン状態になる。これにより、垂直信号線３０８上の信号（１画素分の光信号＋ノイズ信号）を蓄積容量部３１１ｂに転送する。

次に時刻Ｔ１５で制御信号ΦＴＳをＬにし、蓄積容量部３１１ｂに１画素分の光信号＋ノイズ信号が保持された後、時刻Ｔ１６で行選択信号ΦＳ（ｊ）をＬにする。

この後、水平走査回路１００ｃの列選択信号ΦＰＨを順にＨにすることによって、第１画素列から最終画素列まで転送スイッチ３１２ａ、３１２ｂを順にオン状態にする。これにより、蓄積容量部３１１ａ、３１１ｂのノイズ信号と、１画素分の光信号＋ノイズ信号をそれぞれ異なる水平出力線で出力回路１００ｅに転送する。出力回路１００ｅでは、この２つの水平出力線の差分（１画素分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、上記読み出しにより得られた信号を、第１の加算信号と区別するために、「第２の加算信号」と呼ぶ。

このようにして読み出した第２の加算信号から、一方のＰＤ１００ｈに対応する分割信号を差し引くことで、他方のＰＤ１００ｇに対応する分割信号を得ることができる。このようにして得られた一対の分割信号を「焦点検出用信号」と呼ぶ。そして、得られた焦点検出用信号に対して公知の相関演算を行うことにより、信号間の位相差を算出することができる。

なお、リセット、電荷の蓄積、および、信号の読み出しという一連の動作をＰＤ１００ｈに対して行った後、同様の動作をＰＤ１００ｇに対して行うことで、１回の電荷蓄積動作に対して２つのＰＤ１００ｈ、１００ｇの信号を独立に読み出すようにしてもよい。このようにして２回に分けて読み出したＰＤ１００ｈ、１００ｇの信号は、加算することで第２の加算信号を得ることができる。また、以上にも述べたように、マイクロレンズ１つに対して２つのＰＤが配置される構成に限られるものではなく、３つ以上の複数のＰＤを複数回に分けて信号を読みだして、合成するようにしてもよい。

ここで、第２の加算信号は、第１の加算信号と比較して読み出しノイズが大きくなってしまう。たとえば、２つのＰＤ１００ｈ、１００ｇの信号を加算して読み出す場合には、第２の加算信号を取得する際に、まずノイズ信号を読み出す。その後に、２つのＰＤ１００ｈ、１００ｇのうち一方の電荷をＦＤ領域３０３に転送して信号を読み出し、その後ＦＤ領域３０３をリセットすることなく２つのＰＤ１００ｈ、１００ｇの信号を加算して読み出して第２の加算信号を得る。この方法では、ノイズ信号を読み出してから第２の加算信号を読み出すまでに、第１の加算信号による読み出しよりも時間がかかるため、信号間の動作周波数が低下し、フリッカ雑音が増加してしまう。

また、たとえば、ＰＤ１００ｈ、１００ｇの信号を夫々独立に読み出す場合は、単一画素を２回に分けて読みだして加算することによって画素信号を得るので、読み出しノイズが２回重畳されることになってしまう。そのため、第１の加算信号と比較すると、読み出しノイズが増加してしまう。

図５（ａ）は、読み出し動作の組み合わせの例を示す。前述の通りスイッチ３０２ａとスイッチ３０２ｂを制御することによって、加算読み出し動作と分割読み出し動作を切り替えることができる。画像内で読み出し動作を切り替えることによって、画像内の一部の画素のみに対して分割読み出し動作行うことで、画像内の一部でのみ焦点検出を行うことができる。こうした焦点検出を行う画像内の一部を、焦点検出領域とする。これにより、画像の全ての画素に対して分割読み出し動作を行う場合に比較して、処理に要する時間を短縮することができる。領域３４２では、焦点検出用の信号を得るために、Ａ像用信号を読み出し、それからＡ像用の信号とＢ像用の信号を同時に読み出す分割読み出し動作を行う。この領域３４２は、後述する測距枠の位置によって決定される。領域３４２以外の領域である領域３４１では、Ａ像用の信号とＢ像用の信号を同時に読み出す加算読み出し動作を行う。なお、図５（ａ）では、ライン単位で読み出し動作の切り替えを示しているが、この限りでない。たとえば、画像内を複数の矩形領域に分割し、領域ごとで読み出し動作を切り替えてもよい。

領域３４３は、この画像の撮影時の測距枠を示している。領域３４３がカメラ動作の中でどのように決定されるかは後述する。本実施形態では読み出し動作の組み合わせの例として、図５（ａ）に示すように測距枠である領域３４３が重畳するラインにおいて、等間隔に配置された複数のラインを分割読み出し動作を行う領域とする例を示したが、この限りではない。たとえば、測距枠である領域３４３が重畳するラインを全て分割読み出し動作を行う領域としてもよいし、測距枠が重畳する領域のみを分割読み出し動作を行う領域として設定するようにしてもよい。

図５（ｂ）は、動画撮影の読み出し動作に関するフローチャートである。動画モードにおいて操作部１０４に含まれている動画記録ボタンを押下することで動画の撮影を開始することができる。動画撮影が開始されると、ステップＳ３０１でＡＦスイッチの状態を調べる。ＯＦＦ状態であればマニュアルフォーカス（ＭＦ）モードで動画の撮影を行う。ステップＳ３０１における判定の後、ステップＳ３１０へ遷移し、焦点検出用信号を得るための分割読み出し動作を行う必要がないため、全ての画素でＡ像用の信号とＢ像用の信号を同時に読み出す加算読み出し動作を行う。その後ステップＳ３１１で読み出した画像をＲＡＭ１０６に保存する。次にステップＳ３１２に遷移し、一連のシーケンスの間に動画記録ボタンが押下されていれば動画撮影を終了し、押下されていなければ次のフレームの読み出しを開始する。

一方ステップＳ３０１の判定の際に、ＡＦスイッチがＯＮ状態で判定されると、動画サーボＡＦモードで動画の撮影を行う。ステップＳ３０２は測距枠である領域３４３の設定を行う。この領域３４３は、従来から知られている方法を用いて設定すればよい。例えば、ユーザーによるタッチパネルやダイヤル操作を反映して領域３４３の位置を設定してもよい。または、画像に含まれる被写体に対して追尾処理を行って新たなフレームにおける被写体の位置を検出し、この検出した被写体の位置やサイズに基づいて領域３４３を設定してもよい。ステップＳ３０３では、ステップＳ３０２で設定された領域３４３に応じて、焦点検出用の読み出し動作を行う領域３４２を設定する。

ステップＳ３０３で設定した読み出し動作に基づいて、ステップＳ３０４で各画素の信号の読み出しを行う。ステップＳ３０４において、ＣＰＵ１０３はＴＧ１０２を駆動し、垂直走査回路１００ｄとスイッチ３０２ａ及びスイッチ３０２ｂを制御し、信号を読み出す。具体的には、領域３４２では測距枠である領域３４３が存在する行のうちの一部の行では、まずスイッチ３０２ａのみをＯＮにして、Ａ像用の信号を読み出す。それから、スイッチ３０２ａとスイッチ３０２ｂを同時にＯＮにすることで、Ａ像用の信号とＢ像用の信号を同時に読み出す。この信号とスイッチ３０２ａのみをＯＮにした場合の信号とを利用し、後述する画像処理部１０８でＢ像用の信号を算出することができる。かくして、Ａ像用の信号とＢ像用の信号を両方取得し、焦点検出用の信号とする。それ以外の行（領域３４１）ではスイッチ３０２ａとスイッチ３０２ｂを同時にＯＮにすることで、Ａ像用の信号とＢ像用の信号を同時に読み出す。このような読み出し動作を行うと、焦点検出用の読み出し動作をする行が、測距枠の設定によって変わることになる。

ステップＳ３０５では、ステップＳ３０４で読み出した信号に基づいて、相関演算部１２０で相関演算を行う。ステップＳ３０６では、ステップＳ３０５の相関演算結果に基づいてＡＦ演算部１０９でＡＦ用の演算を行う。相関演算及びＡＦ用演算の具体的な方法に関しては、ここでは省略する。そしてステップＳ３０７でＡＦ用演算の結果を、フォーカス駆動回路１１２に送り、フォーカス駆動を行う。

ステップＳ３０８では、ステップＳ３０４で読み出された画像をＲＡＭ１０６に保存する。記録後、ステップＳ３０９に遷移する。ステップＳ３０９は一連のシーケンスの間に動画記録ボタンが押下されたかどうかを判定するステップである。動画記録ボタンが押下されていた場合は、動画撮影を終了する。押下されていなかった場合は、ステップＳ３０２から同様の動作を繰り返す。

図６（ａ）は画像処理部１０８に入力される信号を示す図である。加算読み出し動作が行われたラインにおいては、Ａ＋Ｂ像の信号がラインごとに順に画像処理部１０８に入力される。これに対し、分割読み出し動作が行われたラインにおいては、まずそのラインの画素から読み出されたＡ像の信号が画像処理部１０８に入力され、それから同じラインの画素から読み出されたＡ＋Ｂ像の信号が画像処理部１０８に入力される。つまり、図６（ａ）において、領域４０１が加算読み出し動作が行われたラインから読み出されたＡ＋Ｂ像の信号を示す。同様に、領域４０２が分割読み出し動作が行われたラインから読み出されたＡ像信号を示し、領域４０３が分割読み出し動作が行われたラインから読み出されたＡ＋Ｂ像信号を示す。

図６（ｂ）は画像処理部１０８の構成を示す図である。画像処理部１０８に入力された信号は、どちらの読み出し動作で読み出された画素かを問わずにラインメモリ４０５に記憶される。演算制御回路４０６は、垂直同期信号と水平同期信号から画素の位置を特定し、それぞれの画素の読み出し動作に応じた処理を減算回路４０４とノイズ低減回路４０７に指示する。入力された信号のうち、分割読み出し動作が行われた画素の信号のＡ＋Ｂ像の信号は、ラインメモリ４０５に入力されるだけでなく、減算回路４０４が読み込む。減算回路４０４はＡ＋Ｂ像の信号が入力されると、そのＡ＋Ｂ像の信号を読み出した画素と同じ画素から先に読み出したＡ像の信号を、ラインメモリ４０５から読み出し、Ａ＋Ｂ像の信号からＡ像の信号を減算することで、Ｂ像の信号を生成する。そして、減算回路４０４はラインメモリ４０５から読み出したＡ像の信号と、生成したＢ像の信号を図１に示す相関演算部１２０に出力する。

ノイズ低減回路４０７はノイズ低減の処理対象画素の信号と、その近傍に位置する所定範囲の周辺画素の信号をラインメモリ４０５から読み出し、処理対象画素に対してノイズ低減処理を行う。なお、演算制御回路４０６は、処理対象画素とその周辺画素のそれぞれが、加算読み出し動作で読み出されたのか、分割読み出し動作で読み出されたのかに応じて、ノイズ低減回路４０７に対して異なる演算処理を行わせる。

ここで図７乃至図９を参照して、ノイズ低減回路４０７の処理について説明する。本実施形態におけるノイズ低減回路４０７は、ノイズ低減の処理対象画素とその周辺画素を用いて、加重平均を計算し、加重平均値を用いてノイズ低減の処理対象画素の画素値を置換する方法である。

図７（ａ）に、本実施形態における撮像素子の読み出し動作と、ノイズ低減回路４０７の処理ウインドウを示す。前述のノイズ低減回路４０７はこのウインドウ５０１に示す範囲にある画素を用いて前述の加重平均の計算を行う。加重平均値を用いて、処理対象画素５０２を補正することでノイズ低減処理を行う。ウインドウ５０１では、処理対象画素５０２を含むラインのみが分割読み出し動作を行ったラインとなっている。ウインドウ５０３は、処理対象画素５０２を含むラインとは別の１つのラインのみが、分割読み出し動作を行ったラインとなっている。また、ウインドウ５０４は、分割読み出し動作を行ったラインを含んでいない。

図７（ａ）中のαおよびβは、各画素が処理対象画素となった時に使用する補正係数群を示すものである。αは、加算読み出し動作を行った画素に対する係数群である。βは、分割読み出し動作を行った画素に対する係数群である。係数群αは、単一の係数とすることもできるし、処理対象画素からの距離に応じて異なる係数としてもよい。係数群βも同様に、単一の係数とすることもできるし、処理対象画素からの距離に応じて異なる係数としてもよい。ただし、係数群αと係数群βは、互いに完全には一致しない。

適切なノイズ低減処理をするために、処理対象画素５０２に対応する係数は、その周辺画素に対応する係数と周辺画素のノイズ量とに基づいて変更させてよい。

図７（ｂ）は、図７（ａ）のウインドウ中の係数群αおよび係数群βに対する具体的な数値の配置例を示している。（１）は、係数群αに単一の係数を用い、かつ、係数群βに係数群αとは異なる値の単一の係数を用いた場合である。具体的には、係数群αには全ての画素で係数として２を付し、係数群βには全ての画素で係数として１を付している。加算読み出し動作を行った画素に含まれるノイズのほうが、分割読み出し動作を行った画素に含まれるノイズよりも小さいため、係数群αの値を係数群βの値よりも大きくしたほうが、補正後の信号に含まれるノイズの量を小さくすることができる。（２）は、係数群αおよび係数群β内で複数の異なる係数を用いた場合である。この例では係数群α内、係数群β内でみればそれぞれガウシアンフィルタを実現するような係数配置になっている。図７（ｂ）での係数配置の特徴は、係数群αが適用された行または列５つの係数の比が１：４：６：４：１となり、係数群βが適用された行または列が係数群αが適用される場合の半分になることである。

図８は、ノイズ低減回路４０７の具体的な回路の例を示した図である。６０１は行内加算回路であり、演算制御回路４０６からの係数を用いて乗算および加算を行う。詳細な動作は後述する。係数計算回路６０２では、演算制御回路４０６が選択した係数を全て足し合わせて出力する。この係数計算回路６０２の出力で、各行の行内加算回路６０１の出力結果の和を除することで、出力として加重加算平均値が得られる。この加重加算平均値がノイズ低減回路４０７の出力結果であり、この回路のデータ出力を前述の処理対象画素５０２の画素値と置換することによってノイズ低減処理を行っている。

図９は、前述の行内加算回路の動作を詳しく説明するための図である。遅延素子７０１は、１画素分だけ信号を遅延させる。この遅延素子７０１を用いて、ノイズ低減回路４０７の処理ウインドウの水平方向の画素を取り出せるようにする。それぞれの画素に演算制御回路４０６から送信された係数を乗じ、足し合わせる。以上の動作によって行内加算回路６０１はその計算を行っている。

以上述べた様に、本実施形態によれば、異なる読み出し動作によって得られた画素信号に異なる補正係数群を用いて補正を行うことが可能になる。これにより、異なる読み出し動作を組み合わせて得られた１枚の画像のノイズを低減する時に、読み出し動作によって量の変わるノイズを効果的に低減できる。

（第２の実施形態）
本発明の第２の実施形態に係る係数配置を、図１０を参照して説明する。なお、本実施形態の撮像装置の構成は、第１の実施形態における構成と同様であるため、ここでの説明を省略する。第２の実施形態は、ノイズ低減回路４０７の加重加算平均の計算方法において第１の実施形態と異なる。

図１０は本実施形態における撮像素子の読み出し動作と、ノイズ低減回路４０７の処理ウインドウを示す。処理対象画素５０２は左右の画素と読み出し動作は同じであるが、左右の画素に与えた補正係数群（ここでは係数群β）とは異なる係数γを乗じてノイズ低減処理を行う。ノイズ低減回路４０７の計算方法の中では、ノイズ低減の処理対象画素の係数が異なるのみで、回路の構成に変更はない。

ノイズ低減回路４０７の中の、ノイズ低減の処理対象画素を含む行の、行内加算回路６０１で係数の変更を行う。行内加算回路６０１の回路構成を示す図９の図中の係数３が、行内の中央の係数である。本実施形態は５×５の処理ウインドウで、中央に位置する画素に対してノイズ低減処理を行っているため、ノイズ低減の処理対象画素を含む行の行内加算回路において、係数３を係数γとすることによって、本実施形態を実現する構成となる。

この係数γは読み出し動作によらない係数とすることができる。例えば係数群αが全て２であって、係数群βが全て１である場合に、係数γに５を与えることなどが考えられる。

以上述べた様に、本実施形態によれば、処理対象画素５０２にのみ、読み出し動作によらない係数γを与えて補正を行うことが可能になる。処理対象画素に読み出し動作によらない係数を与えて加重加算平均処理を行うことによって、ノイズ処理効果の強さを調節することが可能となる。

（第３の実施形態）
本発明の第３の実施形態に係わる係数配置を、図１１を参照して説明する。なお、本実施形態の撮像装置の構成は、第１の実施形態における構成と同様であるため、ここでの説明を省略する。第３の実施形態は、ノイズ低減回路４０７の加重加算平均の計算方法において第２の実施形態と異なる。

図１１は本実施形態におけるノイズ低減回路４０７の構成を示す。第１及び第２の実施形態と異なる部分は、使用画素判定回路９０１を持つことである。このブロックを用いて、ノイズ処理対象画素５０２と類似の画素だけ選択してノイズ低減処理に用いることが考えられる。このような処理を行うことで、画像の高周波の構造を破壊することなくノイズ低減処理を行うことができる。

図１２は、使用画素判定回路９０１の例である。絶対値計算部１００１では、処理対象画素５０２と、ノイズ低減処理のウインドウ内の周辺画素を入力し、それら画素の信号の差分の絶対値を計算する。しきい値比較部１００２では、絶対値計算部１００１の計算結果を入力し、内部に設定されているしきい値と比較する。計算結果がしきい値より大きい場合は、処理対象画素と周辺画素が非類似画素であるということを意味しており、しきい値より小さい場合は処理対象画素と周辺画素が類似画素であるということを意味している。この類似画素判定をウインドウ内全ての画素に対して行い、判定結果の出力を演算制御回路４０６に伝える。演算制御回路４０６は、判定結果が類似の画素は通常通りの係数を用い、非類似である画素は係数として０を使用することによって、非類似画素を加重加算平均の計算に含めないという処理を行うことができる。なお、本実施形態では非類似画素の係数を０としたが、これを０以外の数にすることも可能である。例えば０．１程度に設定することによって、情報が失われることを防ぐという処理にすることも可能である。この方法を、第１あるいは第２の実施形態で説明した加重加算平均に利用することによって、画素の類似度と画素の読み出し動作の両方を考慮したノイズ低減処理を行うことが可能となる。

しかしながら、一般的に、ノイズ低減処理に用いる画素が多いほどノイズ低減効果が強まる。そのため処理対象画素５０２の係数γが常に一定である時、画像内で空間周波数が高い部分だけノイズが多く見えてしまう。そこで、処理対象画素５０２の係数γは、類似画素の個数によって計算されるのが望ましい。簡単のため、加重係数をａ、類似画素の個数をｎ、画素のノイズ量は処理ウインドウ内で一定でσであり、処理後のノイズ量がｒσになるとすると、次の式１が成立する。

この式１からａを算出することで、類似画素の個数に応じた係数γを得る事ができる。ａの解が存在しないような条件の場合、例えば１などに設定する。ただし、本実施形態では、加算読み出し動作を行った画素に含まれるノイズ量と、分割読み出し動作を行った画素に含まれるノイズ量には差があるため、上記の式１をそのまま用いたとしても、適切な係数γを得ることはできない。そこで、ノイズ低減処理の効果を最適化するため、処理対象画素の補正係数の計算において、それぞれの画素の補正係数と、複数の光電変換部の信号を同時に読み出した画素信号のノイズ量を基準とした、各画素のノイズ量の比を計算に反映する。なお、ノイズ量の基準は必ずしも複数の光電変換部の信号を同時に読み出した画素信号のノイズ量を基準とする必要はなく、任意の読み出し動作を選ぶことが可能である。ノイズ量の比は、例えば画素の読み出し動作などによって変わる。このノイズ量の比は、画素の座標によって判定する。例えば、図５（ｂ）のフローチャートにおいて、焦点検出用の読み出し行の設定はＣＰＵ１０３で生成され、その設定でＴＧ１０２を動作させることで読み出し動作を切り替えている。そこで、同じ設定を演算制御回路４０６に送信することで、演算制御回路４０６は座標によって各画素のノイズ量の比の設定を持つことができる。

図１３は、本実施形態における撮像素子の読み出し動作と、ノイズ低減回路４０７の処理ウインドウを示す。処理ウインドウの各部には具体的な係数を与えてある。係数の与え方として、図７（ｂ）（１）と同じ与え方にした。黒で示した画素１１０１は非類似画素である。この画素は非類似画素と判定されたため、ノイズ低減処理には使われない。

加重係数をａ、Ａ像とＢ像を同時に読み出した画素の個数をｎａ、Ａ像とＢ像を独立に読み出した画素の個数をｎｂ、Ａ像とＢ像を独立に読み出した画素のノイズ量の比をｓとし、ノイズ低減処理後のノイズ量の比を１とすると、以下の式２が成り立つ。

Ａ像とＢ像を独立に読み出した時のノイズ量の比をＮとすると、図１３に示す例において、前記の式２は次の通りになる。

例えば、読み出し動作に応じたノイズ量の比を予め測定しておいてＮに代入することで、この式から、具体的にａを算出することができる。以上の計算によって得られたａを係数γとして用いてノイズ低減回路４０７で計算を行うことによって、好適にノイズの低減を行うことができる。

以上述べたように、本実施形態によれば、処理対象画素５０２の係数γを、ノイズ低減処理に用いる画素の個数と、それぞれの画素の補正係数と、それぞれの画素のノイズ量の比を基にして決定することができる。これにより、処理対象画素の周囲の画素のノイズ量が均一でない場合に、処理対象画素間におけるノイズ量の差をノイズ低減処理に反映させることができるため、より効果的なノイズ低減処理が可能になる。

（第４の実施形態）
本発明の第４の実施形態に係る係数配置を、図１４を参照して説明する。なお、本実施形態の撮像装置の構成は、第一の実施形態における構成と同様であるため、ここでの説明を省略する。第４の実施形態は、ノイズ低減回路４０７の加重加算平均の計算に使用する画素とその係数において異なる。

図１４は、本実施形態における画像処理部１０８を示している。１２０１は、ノイズ低減回路である。ラインメモリと、データ入力または減算回路４０４の出力結果と、ノイズ低減回路１２０１の出力結果を入力し、加重加算平均を計算することでノイズ低減処理を行う。このノイズ低減回路１２０１は、処理済みの画素を加重加算平均に用いる。この場合、処理済みの画素のノイズレベルはノイズ低減処理において基準としている画素のノイズレベルと同等のレベルにノイズの低減ができている。

図１５は、本実施形態における撮像素子の読み出し動作と、ノイズ低減回路４０７の処理ウインドウとそれぞれの画素の係数を示す。図１５において、中央の一行の画素に対し、第１の読み出し動作と第２の読み出し動作とを行い、ほかの行の画素に対し、第１の読み出し動作のみを行う。左から順に画素１３０１のノイズ低減処理を行っていくことを考える場合、処理対象画素５０２の左側の画素は処理済みの画素となる。ノイズ低減処理が行われた画素における信号は、読み出し動作によらずノイズ量が同等になると考えられる。このような場合、画素１３０１を含んで計算する加重加算平均の計算では、画素１３０１に用いる係数を、領域３４１の処理済み画素に用いる係数である係数群δと同じくして、計算を行うとノイズ低減処理をより効果的に行うことができる。

図１６はノイズ低減回路４０７の内部回路を示す。データ出力をもう一度行内加算回路に戻すことによって、加重加算平均に使用している。１４０１は、データ出力に対して加算を行う行内加算回路である。処理対象画素の左に位置する２画素は、演算制御回路で係数を０にすることによって計算に使わず、その代わりにデータ出力の行内加算回路１４０１で処理対象画素の左の２画素を使用することができる。

以上述べたように、本実施形態によれば、ノイズ低減回路４０７でノイズ低減処理を行った画素を、次の画素のノイズ低減の計算に用いることができる。これにより、ノイズ低減処理後の画素を使わない場合と比較して、より効果的にノイズの低減を行うことができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、以上に述べたような信号処理方法は、コンピュータや多機能携帯電話などに内蔵するプログラムで使用してもよい。

１００ 撮像素子
１００ａ 画素アレイ
１００ｂ 読み出し回路
１００ｃ 水平走査回路
１００ｄ 垂直走査回路
１００ｅ 出力回路
１００ｆ、１００ｉ マイクロレンズ
１００ｈ、１００ｇ、１００ｊ、１００ｋ、１００ｍ、１００ｎ 光電変換部
４０４ 減算回路
４０５ ラインメモリ
４０６ 演算制御回路
４０７ ノイズ低減回路

Claims (28)

1. 撮像素子を有し、
   前記撮像素子の第１の領域に含まれる画素に対して、蓄積された電荷に応じた信号を読み出す第１の読み出し動作を行い、前記第１の領域とは異なる第２の領域に含まれる画素に対して、前記第１の読み出し動作とは異なる、蓄積された電荷に応じた信号を読み出す第２の読み出し動作を行う読み出し手段と、
   前記第１の領域と前記第２の領域から得られた信号に基づく画像信号に対して補正を行う補正手段と、を有し、
   前記補正手段は、前記補正の処理対象となる画素の周辺に位置する複数の周辺画素から得られた画像信号と、該複数の周辺画素のそれぞれに対応する係数を用いて、前記補正を行うものであって、同じ前記補正の処理対象となる画素に対して補正を行うとしても、同じ前記周辺画素に対して、該周辺画素が前記第１の読み出し動作と前記第２の読み出し動作のどちらが実行されたかに応じて、該周辺画素に対応する係数を変更することを特徴とする撮像装置。
2. 前記読み出し手段は、前記第１の領域において、前記画像信号を得るために前記第１の読み出し動作を行い、前記第２の領域において、前記画像信号と位相差検出のための信号を得るために前記第２の読み出し動作を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記補正手段は、前記複数の周辺画素から得られた前記画像信号に前記複数の周辺画素のそれぞれに対応する係数を乗算し、該乗算によって得られた値を加算した値を用いて、前記補正を行うことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記係数が、予め定められた複数の係数からいずれかの係数を選択することを特徴とする請求項３に記載の撮像装置。
5. 前記補正手段は、前記補正の処理対象となる画素の画像信号と、前記補正の処理対象となる画素に対応する係数も用いて、前記補正を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記補正の処理対象となる画素に対応する係数と、前記複数の周辺画素に対応する係数が異なることを特徴とする請求項５に記載の撮像装置。
7. 前記補正の処理対象となる画素に対応する係数が、前記複数の周辺画素に対応する係数より大きいことを特徴とする請求項６に記載の撮像装置。
8. 前記複数の周辺画素のそれぞれに対応する係数は、前記補正に用いる前記複数の周辺画素の個数によって変わることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記第２の読み出し動作で読み出した信号に基づく画像信号に含まれるノイズレベルが、前記第１の読み出しで読み出した信号に基づく画像信号に含まれるノイズレベルに対して、異なることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記第２の読み出し動作で読み出した信号に基づく画像信号に含まれるノイズレベルが、前記第１の読み出し動作で読み出した信号に基づく画像信号に含まれるノイズレベルよりも高くなることを特徴とする請求項９に記載の撮像装置。
11. 前記補正の処理対象となる画素に対応する係数は、前記複数の周辺画素に対応する係数と前記複数の周辺画素のノイズ量とに基づくことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記複数の周辺画素に対応する係数が、該周辺画素のノイズ量が小さいほど、小さいことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記補正手段は前記撮像素子に含まれる画素に対して順に前記補正を行うものであって、
    前記複数の周辺画素のうち、前記補正手段によって前記補正が行われた画像信号に対しては、共通の係数を用いて、前記補正を行うことを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 前記読み出し手段は、前記第１の読み出し動作と前記第２の読み出し動作のどちらを実行するかを、前記撮像素子のライン単位で切り替えることを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 前記撮像素子の少なくとも前記第２の領域に含まれるそれぞれの画素は、複数の光電変換部を有することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 前記第１の領域に含まれるそれぞれの画素は、複数の光電変換部を有し、
    前記第１の読み出し動作は、前記画素における複数の光電変換部のうち、２つ以上の光電変換部の信号を加算して読み出すことを特徴とする請求項１５に記載の撮像装置。
17. 前記第１の領域に含まれるそれぞれの画素は、複数の光電変換部を有し、
    前記第１の読み出し動作は、前記画素における複数の光電変換部の全部の信号を加算して読みだすことを特徴とする請求項１ないし１４のいずれか１項に記載の撮像装置。
18. 前記第２の読み出し動作は、前記第２の領域に含まれる画素における複数の光電変換部のうち、
    異なる組み合わせの複数の光電変換部の信号を加算して読み出すか、
    異なる１つ１つの光電変換部の信号を該光電変換部に存在する画素にある他の光電変換部に対し独立に読み出すか、または、
    第１の個数の光電変換部の信号を加算して読み出し、前記第１の個数よりも少ない第２の個数の光電変換部の信号を加算して該光電変換部に存在する画素にある他の光電変換部に対し独立に読み出すか、もしくは、いずれか１つの光電変換部の信号を該光電変換部に存在する画素にあるほかの光電変換部に対し独立に読み出すことを特徴とする請求項１５に記載の撮像装置。
19. 前記画素における複数の光電変換部のうち、２つ以上の光電変換部の信号を加算して読み出すことで得られた信号を、前記画像信号とする請求項１５乃至１８のいずれか１項に記載の撮像装置。
20. 前記画素における前記複数の光電変換部の一部の光電変換部の信号を、前記画素にある他の光電変換部に対し独立に読み出す処理を、前記画素において複数回にわたって行い、前記処理において前記画素におけるすべての前記光電変換部の信号を読み出し、前記光電変換部の信号を合成したものを前記画像信号とすることを特徴とする請求項１５乃至１８のいずれか１項に記載の撮像装置。
21. 前記読み出し手段は、同じ画素に対して、第１の読み出し動作と前記第２の読み出し動作とを切り替えることが可能であることを特徴とする請求項１乃至２０のいずれか１項に記載の撮像装置。
22. 前記撮像素子に被写体までの距離を検出するための焦点検出領域を設定する設定手段を有し、
    前記読み出し手段は、設定された前記焦点検出領域の位置に応じて、夫々の画素に対して、前記第１の読み出し動作を実行するか、または前記第２の読み出し動作を実行するのかを切り替えることを特徴とする請求項２１に記載の撮像装置。
23. 前記読み出し手段によって読み出された信号に基づく画像信号に基づいて、被写体の位置を検出する検出手段を有し、
    前記読み出し手段は、前記被写体の位置に応じて、それぞれの画素に対して前記第１の読み出し動作を実行するか、または前記第２の読み出し動作を実行するのかを切り替えることを特徴とする請求項２１または２２に記載の撮像装置。
24. 撮像素子を備えた撮像装置において、
    撮像素子の第１の領域に含まれる画素に対して、蓄積された電荷に応じた信号を読み出す第１の読み出し動作を行い、前記第１の領域とは異なる第２の領域に含まれる画素に対して、前記第１の読み出し動作とは異なる、蓄積された電荷に応じた信号を読み出す第２の読み出し動作を行う読み出しステップと、
    前記第１の領域と前記第２の領域から得られた信号に基づく画像信号に対して補正を行う補正ステップとを含み、
    前記補正ステップでは、前記補正の処理対象となる画素の周辺に位置する複数の周辺画素から得られた画像信号と、該複数の周辺画素のそれぞれに対応する係数を用いて、前記補正を行うものであって、同じ前記補正の処理対象となる画素に対して補正を行うとしても、同じ前記周辺画素に対して、該周辺画素が前記第１の読み出し動作と前記第２の読み出し動作のどちらが実行されたかに応じて、該周辺画素に対応する係数を変更することを特徴とする撮像装置の制御方法。
25. 撮像素子を備えた撮像装置のコンピュータに動作させるプログラムにおいて、
    前記コンピュータに、
    撮像素子の第１の領域に含まれる画素に対して、蓄積された電荷に応じた信号を読み出す第１の読み出し動作を行い、前記第１の領域とは異なる第２の領域に含まれる画素に対して、前記第１の読み出し動作とは異なる、蓄積された電荷に応じた信号を読み出す第２の読み出し動作を行う読み出しステップと、
    前記第１の領域と前記第２の領域から得られた信号に基づく画像信号に対して補正を行う補正ステップとを行わせ、
    前記補正ステップでは、前記補正の処理対象となる画素の周辺に位置する複数の周辺画素から得られた画像信号と、該複数の周辺画素のそれぞれに対応する係数を用いて、前記補正を行うものであって、同じ前記補正の処理対象となる画素に対して補正を行うとしても、同じ前記周辺画素に対して、該周辺画素が前記第１の読み出し動作と前記第２の読み出し動作のどちらが実行されたかに応じて、該周辺画素に対応する係数を変更することを特徴とするプログラム。
26. 撮像素子を有し、
    前記撮像素子の第１の領域に含まれる画素に対して、蓄積された電荷に応じた信号を読み出す第１の読み出し動作を行い、前記第１の領域とは異なる第２の領域に含まれる画素に対して、前記第１の読み出し動作とは異なる、蓄積された電荷に応じた信号を読み出す第２の読み出し動作を行う読み出し手段と、
    前記第１の領域と前記第２の領域から得られた信号に基づく画像信号に対して補正を行う補正手段と、を有し、
    前記補正手段は、前記補正の処理対象となる画素の周辺に位置する複数の周辺画素から得られた画像信号と、該複数の周辺画素のそれぞれに対応する係数を用いて、前記補正を行うものであって、前記複数の周辺画素のそれぞれが前記第１の読み出し動作と前記第２の読み出し動作のどちらが実行されたかに応じて、前記複数の周辺画素のそれぞれに対応する係数を変更し、
    前記読み出し手段は、前記第１の読み出し動作と前記第２の読み出し動作のどちらを実行するかを、前記撮像素子のライン単位で切り替えることを特徴とする撮像装置。
27. 撮像素子を備えた撮像装置において、
    前記撮像素子の第１の領域に含まれる画素に対して、蓄積された電荷に応じた信号を読み出す第１の読み出し動作を行い、前記第１の領域とは異なる第２の領域に含まれる画素に対して、前記第１の読み出し動作とは異なる、蓄積された電荷に応じた信号を読み出す第２の読み出し動作を行う読み出しステップと、
    前記第１の領域と前記第２の領域から得られた信号に基づく画像信号に対して補正を行う補正ステップと、を含み、
    前記補正ステップでは、前記補正の処理対象となる画素の周辺に位置する複数の周辺画素から得られた画像信号と、該複数の周辺画素のそれぞれに対応する係数を用いて、前記補正を行うものであって、前記複数の周辺画素のそれぞれが前記第１の読み出し動作と前記第２の読み出し動作のどちらが実行されたかに応じて、前記複数の周辺画素のそれぞれに対応する係数を変更し、
    前記読み出しステップでは、前記第１の読み出し動作と前記第２の読み出し動作のどちらを実行するかを、前記撮像素子のライン単位で切り替えることを特徴とする撮像装置の制御方法。
28. 撮像素子を備えた撮像装置のコンピュータに動作させるプログラムにおいて、
    前記コンピュータに、
    前記撮像素子の第１の領域に含まれる画素に対して、蓄積された電荷に応じた信号を読み出す第１の読み出し動作を行い、前記第１の領域とは異なる第２の領域に含まれる画素に対して、前記第１の読み出し動作とは異なる、蓄積された電荷に応じた信号を読み出す第２の読み出し動作を行う読み出しステップと、
    前記第１の領域と前記第２の領域から得られた信号に基づく画像信号に対して補正を行う補正ステップと、を行わせ、
    前記補正ステップでは、前記補正の処理対象となる画素の周辺に位置する複数の周辺画素から得られた画像信号と、該複数の周辺画素のそれぞれに対応する係数を用いて、前記補正を行うものであって、前記複数の周辺画素のそれぞれが前記第１の読み出し動作と前記第２の読み出し動作のどちらが実行されたかに応じて、前記複数の周辺画素のそれぞれに対応する係数を変更し、
    前記読み出しステップでは、前記第１の読み出し動作と前記第２の読み出し動作のどちらを実行するかを、前記撮像素子のライン単位で切り替えることを特徴とするプログラム。

Images