JP2024000839A - 撮像装置および画像処理方法 - Google Patents

Abstract

【課題】高速映像位相差読出モードで読み出される信号を画像処理して得られる観察画像の横スジをより目立たなくできる撮像装置等を提供する。【解決手段】画素領域２ａは、各画素２ｐが複数の光電変換素子ＰＤを有し、遮光領域ＶＯＢと有効領域ＶＲｅｆｆとを備える。読出回路２ｂは、画素領域２ａの、第１の行から複数の光電変換素子ＰＤの信号を加算した画素信号を読み出し、第２の行から位相差情報を複数の信号を読み出す。横スジ補正回路３ｂは、有効領域ＶＲｅｆｆの第２の行から得られる画素信号に、遮光領域ＶＯＢから読み出した信号による第１のオフセット補正と、所定値による第２のオフセット補正との一方を行う。画像処理回路３は、パラメータに応じて画像データを処理する。横スジ補正回路３ｂは、パラメータに応じて、第１または第２のオフセット補正を選択する。【選択図】図１

Description

本発明は、１つのマイクロレンズと複数の光電変換素子とを有する画素から位相差情報を含む複数の信号を読み出す撮像装置および画像処理方法に関する。

近年、１つの画素内の光電変換素子（ＰＤ：Photodetector）が分割された構造を備えるＰＤ分割方式の像面位相差イメージセンサ（ＰＤ分割方式センサ）が提案されている。ＰＤ分割方式センサは、ＰＤへ入射する光線の一部を遮る遮光式の像面位相差イメージセンサと比べて、位相差検知するペア（例えば左右ペア、上下ペアなど）を１画素内で構成できるため、フォーカス検知精度が高い。さらに、ＰＤ分割方式センサは、ペアの位相差画素の値を加算することで、通常の１つの画素の画素値が得られ、画像を生成できる。

ただし、１つの画素がｎ個のＰＤに分割されたＰＤ分割方式センサは、１画素に１つのＰＤが設けられた非像面位相差の通常のイメージセンサと比べて、画素数が同一であればＰＤの数がｎ倍になる。その結果、ＰＤ分割方式センサは、信号読出時間が通常のイメージセンサのｎ倍となって、撮像レートが１／ｎになる。

信号読出時間の増加を抑制するため、例えば国際公開ＷＯ２０２１／１９２１７６号には、ある行について第１の読出モードで画素内の複数のＰＤの信号を全て加算した画素信号を読み出し、他の行について第２の読出モードで画素内の複数のＰＤから位相差情報を含む複数の信号を読み出す高速映像位相差読出モードが記載されている。高速映像位相差読出モードによれば、第１の読出モードを適用する行数と第２の読出モードを適用する行数とを調整することで、信号読出時間を例えば２倍未満に抑制できる。

このとき、第１の読出モードで読み出した１画素の値（第１の画素値）と、第２の読出モードで読み出したペアの位相差画素から得た１画素の値（第２の画素値）とではＯＢ（Optical Black）レベルに差がある。そこで、前記国際公開ＷＯ２０２１／１９２１７６号には、垂直ＯＢ領域から取得した第１の画素値と第２の画素値とに基づき、有効領域から取得した第２の画素値のＯＢレベルを第１の画素値のＯＢレベルに近付ける補正技術が、さらに記載されている。

国際公開ＷＯ２０２１／１９２１７６号

しかし、垂直ＯＢ領域から画素値として取得したＯＢレベルは、有効領域のＯＢレベルと完全に一致するわけではないため、上記補正技術を用いても、有効領域の第１の画素値のＯＢレベルと第２の画素値のＯＢレベルとには、微小な差が残ることになる。補正後に残るＯＢレベルの微小な差は、行方向の横スジ（残留横スジ）として表れる。こうした残留横スジが観察画像上で目立つかどうかは、撮像で得られた画像データにどのような画像処理を行うかに応じて異なる。しかし、画像処理に応じて目立つ場合がある残留横スジを目立たないようにすることについて、前記国際公開ＷＯ２０２１／１９２１７６号では考慮されていなかった。

本発明は上記事情に鑑みてなされたものであり、高速映像位相差読出モードで読み出される信号を画像処理して得られる観察画像の横スジをより目立たなくできる撮像装置および画像処理方法を提供することを目的としている。

本発明の一態様による撮像装置は、１つのマイクロレンズと、複数の光電変換素子と、をそれぞれ備える複数の画素が、行単位で２次元に配置され、遮光された複数の行を有する遮光領域と、光が到達する複数の行を有する有効領域と、を備える画素領域と、前記遮光領域および前記有効領域の第１の行の各画素から前記複数の光電変換素子の信号を全て加算した画素信号を読み出し、前記遮光領域および前記有効領域の第２の行の各画素から位相差情報を含む複数の信号を読み出す読出回路と、前記有効領域の前記第２の行から読み出した複数の信号から得られる画素信号に、前記遮光領域の前記第１の行から読み出した画素信号および前記遮光領域の前記第２の行から読み出した複数の信号に基づく第１のオフセット補正と、予め決められた値に基づく第２のオフセット補正と、の一方を行う横スジ補正回路と、前記第１のオフセット補正または前記第２のオフセット補正が行われた画素信号、および前記有効領域の前記第１の行から読み出した画素信号に基づき構成された画像データを、パラメータに応じて画像処理する画像処理回路と、を有し、前記横スジ補正回路は、前記パラメータに応じて、前記第１のオフセット補正と、前記第２のオフセット補正との何れを行うかを選択する。

本発明の一態様による撮像装置は、１つのマイクロレンズと、複数の光電変換素子と、をそれぞれ備える複数の画素が、行単位で２次元に配置され、遮光された複数の行を有する遮光領域と、光が到達する複数の行を有する有効領域と、を備える画素領域と、前記遮光領域および前記有効領域の第１の行の各画素から前記複数の光電変換素子の信号を全て加算した画素信号を読み出し、前記遮光領域および前記有効領域の第２の行の各画素から位相差情報を含む複数の信号を読み出す読出回路と、前記有効領域の前記第１の行から読み出した画素信号に、前記遮光領域の前記第１の行から読み出した画素信号および前記遮光領域の前記第２の行から読み出した複数の信号に基づく第１のオフセット補正と、予め決められた値に基づく第２のオフセット補正と、の一方を行う横スジ補正回路と、前記第１のオフセット補正または前記第２のオフセット補正が行われた画素信号、および前記有効領域の前記第２の行から読み出した複数の信号から得られる画素信号に基づき構成された画像データを、パラメータに応じて画像処理する画像処理回路と、を有し、前記横スジ補正回路は、前記パラメータに応じて、前記第１のオフセット補正と、前記第２のオフセット補正との何れを行うかを選択する。

本発明の一態様による画像処理方法は、１つのマイクロレンズと、複数の光電変換素子と、をそれぞれ備える複数の画素が、行単位で２次元に配置され、遮光された複数の行を有する遮光領域と、光が到達する複数の行を有する有効領域と、を備える画素領域の、前記遮光領域および前記有効領域の第１の行の各画素から前記複数の光電変換素子の信号を全て加算した画素信号を読み出し、前記遮光領域および前記有効領域の第２の行の各画素から位相差情報を含む複数の信号を読み出し、前記有効領域の前記第２の行から読み出した複数の信号から得られる画素信号に、前記遮光領域の前記第１の行から読み出した画素信号および前記遮光領域の前記第２の行から読み出した複数の信号に基づく第１のオフセット補正と、予め決められた値に基づく第２のオフセット補正と、の一方を行い、前記第１のオフセット補正または前記第２のオフセット補正が行われた画素信号、および前記有効領域の前記第１の行から読み出した画素信号に基づき構成された画像データを、パラメータに応じて画像処理し、前記パラメータに応じて、前記第１のオフセット補正と、前記第２のオフセット補正との何れを行うかを選択する。

本発明の撮像装置および画像処理方法によれば、高速映像位相差読出モードで読み出される信号を画像処理して得られる観察画像の横スジをより目立たなくできる。

本発明の第１の実施形態における撮像装置の構成を示すブロック図である。 上記第１の実施形態のイメージセンサにおける、２分割および４分割の画素分割構成と読出回路との例を示す図表である。 上記第１の実施形態のイメージセンサから、全位相差読出モードで読み出された信号の例を示す図である。 上記第１の実施形態のイメージセンサから、全位相差読出モードで信号を読み出す例を示すタイミングチャートである。 上記第１の実施形態のイメージセンサから、高速映像位相差読出モードで読み出された信号の例を示す図である。 上記第１の実施形態のイメージセンサの構成と高速映像位相差読出モードにおける動作例を示す図である。 上記第１の実施形態において、イメージセンサを遮光して撮像され、高速映像位相差読出モードで読み出された信号をベイヤー化して構成されたＲＡＷ画像データと、ＲＡＷ画像データにおけるＯＢレベルのオフセットの例を示す図である。 上記第１の実施形態において、イメージセンサを遮光して撮像され、高速映像位相差読出モードで読み出された信号からベイヤー化して構成されたＲＡＷ画像データに、横スジが発生している様子を示す図である。 上記第１の実施形態において、イメージセンサを遮光して撮像された１フレームの画像の、２ＰＤ領域における各行毎のＧｒ画素のＯＢレベルＯＢ＿（Ｌ＋Ｒ）の平均値の分布を示す図である。 上記第１の実施形態において、イメージセンサを遮光して撮像された１フレームの画像の、１ＰＤ領域における各行毎のＧｒ画素のＯＢレベルＯＢ＿ＡＬＬの平均値の分布を示す図である。 上記第１の実施形態において、ＶＯＢ方式で横スジを補正してベイヤー化された画像の有効領域ＶＲｅｆｆに残留する横スジレベルの頻度を示すグラフである。 上記第１の実施形態において、調整方式で横スジを補正してベイヤー化された画像の有効領域ＶＲｅｆｆに残留する横スジレベルの頻度を示すグラフである。 上記第１の実施形態において、ＩＳＯ感度を１２８００に設定して撮像し、ＶＯＢ方式で横スジ補正したときのＧｒ画素の残留横スジレベルの、環境温度に応じた変化の例を示すグラフである。 上記第１の実施形態において、ＩＳＯ感度を１６００に設定して撮像し、ＶＯＢ方式で横スジ補正したときのＧｒ画素の残留横スジレベルの、環境温度に応じた変化の例を示すグラフである。 上記第１の実施形態において、ＩＳＯ感度を１２８００に設定して撮像し、調整方式で横スジ補正したときのＧｒ画素の残留横スジレベルの、環境温度に応じた変化の例を示すグラフである。 上記第１の実施形態において、ＩＳＯ感度を１６００に設定して撮像し、調整方式で横スジ補正したときのＧｒ画素の残留横スジレベルの、環境温度に応じた変化の例を示すグラフである。 上記第１の実施形態において、ＶＯＢ方式と調整方式の、フレーム毎の繰り返しばらつきと温度変化への適応性と、の傾向を示す図表である。 上記第１の実施形態において、明るさが異なる幾つかの画像における、画像処理後の残留横スジの見え方の一例を示す図表である。 上記第１の実施形態において、ＶＯＢ方式で補正し画像処理を行った画像において、残留横スジがどのように見えるかを、ＩＳＯ感度に応じて示す図表である。 上記第１の実施形態において、ＩＳＯ感度を相対的に高くして、ＶＯＢ方式と調整方式でそれぞれ取得し画像処理を行った画像における、残留横スジの見えの様子を対比して示す図表である。 上記第１の実施形態において、ＶＯＢ方式と調整方式の、ＩＳＯ感度に応じた残留横スジレベルの絶対値の変化の一例を示すグラフである。 上記第１の実施形態において、調整条件と異なる環境温度における、画像処理後の画像に対するＶＯＢ方式と調整方式の補正精度の相対的な高低を、ＩＳＯ感度に応じて示す図表である。 上記第１の実施形態において、調整条件の環境温度における、画像処理後の画像に対するＶＯＢ方式と調整方式の補正精度の相対的な高低を、ＩＳＯ感度に応じて示す図表である。 上記第１の実施形態において、ナチュラルγ補正特性とＬｏｇγ補正特性の例を示すグラフである。 上記第１の実施形態において、Ｌｏｇγ補正特性とナチュラルγ補正特性とによりそれぞれ画像処理された画像における残留横スジの見え方の例を示す図表である。 上記第１の実施形態において、ＩＳＯ感度に応じたＶＯＢ方式と調整方式の残留横スジレベルの絶対値に対する、Ｌｏｇγ補正特性とナチュラルγ補正特性における許容スレッシュレベルを示すグラフである。 上記第１の実施形態において、ＶＯＢ方式と調整方式との何れか一方を選択する処理の一例を示すフローチャートである。 上記第１の実施形態において、イメージセンサから、位相差検知性能優先の高速映像位相差読出モードで読み出された信号の例を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態により本発明が限定されるものではない。
［第１の実施形態］

図１から図２８は本発明の第１の実施形態を示したものであり、図１は撮像装置の構成を示すブロック図である。

なお、図１には撮像装置が例えばデジタルカメラとして構成されている例を示すが、デジタルカメラに限定されない。撮像装置は、例えば、デジタルビデオカメラ、撮影機能付き電話装置、電子内視鏡、撮影機能付き顕微鏡、撮影機能付き望遠鏡など、撮影機能を有する各種の装置の何れであっても構わない。

撮像装置は、図１に示すように、レンズ１と、イメージセンサ２と、画像処理回路３と、ディスプレイ４と、手振センサ６と、手振補正機構７と、フォーカス制御機構８と、カメラ操作デバイス９と、カメラコントローラ１０と、温度センサ１１と、を備えている。なお、図１に記載されている記録用メモリ５は、撮像装置に着脱可能であってもよい。従って、記録用メモリ５は、撮像装置に固有の構成でなくても構わない。

レンズ１は、被写体の光学像をイメージセンサ２に結像する撮像光学系である。本実施形態のレンズ１は、１枚以上のレンズと、絞りと、手振補正機能とを備える。１枚以上のレンズは、焦点位置（ピント位置）を調節してフォーカシングを行うためのフォーカスレンズを含む。絞りは、レンズ１を通過する光束の、通過範囲を制御する。手振補正機能は、イメージセンサ２に結像される被写体の光学像を安定化する。

なお、例えばレンズ１とイメージセンサ２との間に、露光時間を制御するためのメカニカルシャッタをさらに備えていても構わない。メカニカルシャッタは、後述するキャリブレーションモードにおいてイメージセンサ２を遮光状態にするのに利用できる。

レンズ１の撮影光軸の光路上に、イメージセンサ２が配置されている。イメージセンサ２は、後述するように、ＰＤ分割方式の像面位相差イメージセンサとして構成されている。イメージセンサ２は、画素領域２ａと、読出回路２ｂと、第１の増幅回路２ｃと、ＯＢクランプ回路２ｄと、を備える。

画素領域２ａは、レンズ１により結像された被写体の光学像を光電変換して、電気信号を生成する。読出回路２ｂは、画素領域２ａにより生成された電気信号を読み出す。読出回路２ｂにより読み出された電気信号は、第１の増幅回路２ｃ（センサ増幅回路）が、設定された増幅率（センサ増幅率）で増幅する。

イメージセンサ２内には、図示しない列並列型Ａ／Ｄ変換器（カラムＡＤＣ）が設けられ、カラムＡＤＣは、画素領域２ａにより生成されたアナログの電気信号をデジタル信号に変換する。ＯＢクランプ回路２ｄは、ＯＢレベルを所定の目標レベル（ＯＢクランプレベル）（固定値）に設定する。イメージセンサ２は、撮像信号を出力する。

画像処理回路３は、イメージセンサ２から出力される撮像信号を入力して、入力した撮像信号に基づき構成される画像データに、パラメータに応じた各種の画像処理を行う。画像処理回路３は、第２の増幅回路３ａと、横スジ補正回路３ｂと、画像基礎処理回路３ｃと、を備えている。

第２の増幅回路３ａは、例えば撮像信号（または、幾つかの画像処理を行った信号）を、設定された増幅率（画像処理のパラメータ）で増幅する。第１の増幅回路２ｃおよび第２の増幅回路３ａは、設定されたＩＳＯ感度に応じた信号増幅も行う。なお、第１の増幅回路２ｃと第２の増幅回路３ａは、一方だけを設けても構わない。

横スジ補正回路３ｂは、後述する高速映像位相差読出モードでイメージセンサ２から出力される撮像信号に基づき構成される画像中に発生する横スジを補正する。

画像基礎処理回路３ｃは、撮像信号から表示用もしくは記録用の画像信号を生成するための基礎的な各種の画像処理を行う。画像基礎処理回路３ｃは、γ補正回路３ｃ１と、ノイズ低減回路３ｃ２と、を含む。γ補正回路３ｃ１は、画像信号の信号レベルを非線形に補正するγ補正（γ変換ともいう）を行う。

ノイズ低減回路３ｃ２は、設定されたノイズ低減処理の強度（画像処理のパラメータ）で、画像信号のノイズ低減処理を行う。例えば、ＩＳＯ感度をより高く設定すると、第１の増幅回路２ｃおよび／または第２の増幅回路３ａによる増幅率（ゲイン）（パラメータ）もより高くなる。

ここで、第１の増幅回路２ｃおよび／または第２の増幅回路３ａによる増幅率は、第１の増幅回路２ｃおよび第２の増幅回路３ａが設けられているときは両方の増幅率に基づく増幅率（例えば両方の増幅率を乗算した増幅率）、第１の増幅回路２ｃが設けられ第２の増幅回路３ａが設けられていないときは第１の増幅回路２ｃのセンサ増幅率、第１の増幅回路２ｃが設けられておらず第２の増幅回路３ａが設けられているときは第２の増幅回路３ａの増幅率である。増幅率が高くなると、ノイズも増幅されるため、ノイズ低減回路３ｃ２は、より大きい強度でノイズ低減処理を行う。

画像基礎処理回路３ｃは、その他、ベイヤー画像に対するデモザイク処理、ホワイトバランス処理、色マトリックス処理、およびエッジ処理等の画像処理も行う。

ディスプレイ４は、画像処理回路３により表示用に画像処理された信号に基づき、画像を表示する表示デバイスである。ディスプレイ４は、ライブビュー表示、撮影後の静止画像のレックビュー表示、記録済みの静止画像の再生表示、動画録画中表示、記録済みの動画像の再生表示等を行い、撮像装置に係る各種の情報等も表示する。

記録用メモリ５は、画像処理回路３により記録用に画像処理された信号（静止画像信号、動画像信号など）を保存する記録媒体である。記録用メモリ５は、例えば撮像装置に着脱可能なメモリカード、または撮像装置の内部に設けられている不揮発性メモリ等により構成されている。

手振センサ６は、加速度センサや角速度センサ等を有して構成され、撮像装置の手振れを検出して手振情報をカメラコントローラ１０へ出力するセンシングデバイスである。

手振補正機構７は、カメラコントローラ１０の制御に基づいて、手振れがあってもイメージセンサ２に結像される光学的な被写体像の位置が安定化するように、手振センサ６により検出された手振情報に基づき、レンズ１とイメージセンサ２との少なくとも一方をアクチュエータ等により移動する。

フォーカス制御機構８は、カメラコントローラ１０の制御に基づいて、イメージセンサ２に結像される被写体像が合焦するように、レンズ１に含まれるフォーカスレンズを駆動する。また、フォーカス制御機構８は、レンズ位置などのレンズ駆動情報を、カメラコントローラ１０へ出力する。

カメラ操作デバイス９は、撮像装置に対する各種の操作を行うための入力デバイスである。カメラ操作デバイス９には、例えば、撮像装置の電源をオン／オフするための電源スイッチ、静止画撮影または動画撮影などを指示入力するためのレリーズボタン、ＩＳＯ感度を設定するためのＩＳＯ感度設定ボタン、静止画撮影モード、動画撮影モード、ライブビューモード、静止画／動画再生モードなどを設定するためのモードボタン、記録するファイルの種類（ＪＰＥＧ画像ファイル、ＲＡＷ画像ファイル、もしくはこれらの組み合わせ等）を設定するための操作ボタン、などの操作部材が含まれている。なお、モードボタンにより撮影モード等を選択すると、γ補正に用いるγ補正特性（γ曲線）が、撮影モードに応じて設定される。ただし、γ補正特性を手動で設定しても構わない。

温度センサ１１は、イメージセンサ２が配置された位置の環境温度を測定して、測定結果をカメラコントローラ１０へ出力する。

カメラコントローラ１０は、画像処理回路３からの情報（後述するように、露光レベル、コントラスト、位相差、γ補正特性、ノイズ低減処理の強度などの情報を含む）、手振センサ６からの手振情報、フォーカス制御機構８からのレンズ駆動情報、カメラ操作デバイス９からの入力、温度センサ１１により測定された環境温度などに基づいて、レンズ１、イメージセンサ２、画像処理回路３、記録用メモリ５、手振補正機構７、フォーカス制御機構８等を含む撮像装置の全体を制御する。

例えば、カメラコントローラ１０は、イメージセンサ２を制御して、イメージセンサ２に撮像を行わせる。また、カメラコントローラ１０は、露光レベルの情報に基づいて、レンズ１の絞り、および、イメージセンサ２の露光時間（電子シャッタ）または上述したメカニカルシャッタを制御する。

さらに、カメラコントローラ１０は、フォーカス制御機構８を制御し、フォーカス制御機構８にレンズ１のフォーカスレンズを駆動させて、イメージセンサ２に結像される被写体像を合焦させる。フォーカス制御機構８の制御は、例えば、像面位相差イメージセンサとして構成されたイメージセンサ２から得られる位相差情報に基づき、位相差ＡＦにより行われる。また、フォーカス制御機構８の制御は、イメージセンサ２から得られる画像のコントラストの情報に基づくコントラストＡＦ（オートフォーカス）により行われても構わない。さらに、フォーカス制御機構８の制御を、位相差ＡＦとコントラストＡＦとを併用して行っても構わない。

なお、画像処理回路３およびカメラコントローラ１０は、例えば、ＣＰＵ（Central Processing Unit：中央処理装置）等を含むＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）、ＦＰＧＡ（Field Programmable Gate Array）等のプロセッサが、メモリ等の記憶装置に記憶された処理プログラムを読み込んで実行することにより、各部の機能を果たすように構成されていてもよい。ただし、これに限定されず、例えば、各部の機能を果たす専用の電子回路として構成されていても構わない。

図２は、イメージセンサ２における、２分割および４分割の画素分割構成と読出回路２ｂとの例を示す図表である。

イメージセンサ２は、複数の画素２ｐが、行単位で２次元に配置された画素領域２ａを備える。画素領域２ａは、複数の画素２ｐが行方向および行方向に交差する方向に配列されている。行方向に交差する方向は、一例としては行方向に直交する方向（列方向）が挙げられる。ただし、これに限定されず、行方向に交差する方向は、行方向に斜交する方向（例えば、ハニカム構造の配置）などであっても構わない。

ｎを２以上の整数とすると、イメージセンサ２に設けられた複数の画素２ｐは、それぞれ、１個のマイクロレンズＭＬと、ｎ個の光電変換素子（フォトデテクタ：Photodetector）ＰＤと、を備えている。なお、一般的な光学レンズは、光軸方向に沿って複数枚のレンズで構成されていることがある。従って、光軸方向に沿って複数枚のレンズで構成されたマイクロレンズＭＬの場合にも、１個のマイクロレンズＭＬと数えることにする。

イメージセンサ２は、マイクロレンズＭＬからの光をｎ個の光電変換素子ＰＤにより光電変換して生成されるｎ個の分割画素信号、に係る撮像信号を出力する。

ここで、ｎ個の分割画素信号に係る撮像信号は、ｎ個の分割画素信号自体、ｎ個の分割画素信号を構成可能な信号、ｎ個の分割画素信号を加算して得られる画素信号などである。ｎ個の分割画素信号自体およびｎ個の分割画素信号を構成可能な信号は、位相差情報を含む複数の信号である。イメージセンサ２が出力する位相差情報を含む複数の信号は、画素信号を構成可能である。

具体的に、１画素がＬ（左）とＲ（右）に２分割されている場合を例に挙げれば、ｎ個の分割画素信号自体は、分割画素信号Ｌおよび分割画素信号Ｒである（通常読み出し方式）。また、ｎ個の分割画素信号を構成可能な信号は、画素信号（Ｌ＋Ｒ）および分割画素信号Ｌ、または、画素信号（Ｌ＋Ｒ）および分割画素信号Ｒである（加算読み出し方式）。さらに、ｎ個の分割画素信号を加算して得られる画素信号は、後述する２ＰＤ領域からの画素信号（Ｌ＋Ｒ）、および後述する１ＰＤ領域からの画素信号ＡＬＬである。

イメージセンサ２は、複数のフィルタ色のカラーフィルタが所定の基本配列の繰り返しとして配置された、カラーイメージセンサとなっている。１つのフィルタ色は、１個のマイクロレンズＭＬに対応する。ただし、イメージセンサ２は、カラーイメージセンサに限定されず、モノクロイメージセンサであっても構わない。

イメージセンサ２の所定の基本配列は、例えば２×２画素のベイヤー配列（原色ベイヤー配列、補色ベイヤー配列など）であり、以下では２×２画素の原色ベイヤー配列である場合を説明する。ただし、所定の基本配列は、２×２画素に限らず、ベイヤー配列にも限らない。

こうして、イメージセンサ２は、画素２ｐが複数の分割画素に分割された、ＰＤ分割方式の像面位相差イメージセンサとなっている。

原色ベイヤー配列は、縦２×横２画素を基本配列として、基本配列を行方向（横方向）および列方向（縦方向）に周期的に繰り返したものとなっている。原色ベイヤー配列の基本配列は、対角位置に緑色フィルタＧｒ，Ｇｂを配置し、緑色フィルタＧｒと同一行に赤色フィルタＲｒを、緑色フィルタＧｂと同一行に青色フィルタＢｂを、それぞれ配置したものである。

ここで、緑色フィルタＧｒと緑色フィルタＧｂは分光特性が同一であるが、赤色フィルタＲｒと青色フィルタＢｂとの何れと同一行であるかに応じて区別している。なお、左（Ｌ）右（Ｒ）のＲと区別するために、フィルタ色の赤をＲｒと記載しており、赤Ｒｒの記載法に準じて青をＢｂと記載している。

そして、１個の画素２ｐには、４つのフィルタ色Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂの内の何れか１つのフィルタ色のカラーフィルタと、１個のマイクロレンズＭＬと、が含まれている。ここで、非像面位相差のイメージセンサ（または、画素開口の一部を遮光する構造（遮光膜等）を設けることで位相差情報を取得する遮光式の像面位相差イメージセンサ）は、１個の画素に１個の光電変換素子ＰＤが対応する。これに対し、本実施形態のイメージセンサ２は、１個の画素２ｐに、画素の分割数ｎに応じたｎ個の光電変換素子ＰＤが含まれる。

また、イメージセンサ２に設けられている複数の画素２ｐは、通常画素と、遮光画素であるＯＢ（オプティカルブラック（Optical Black）：光学黒）画素と、を含む。ＯＢ画素は、画素開口の全面に遮光膜等が形成され、遮光された画素である。ＯＢ画素は、マイクロレンズＭＬからの光が、画素２ｐ内の複数の光電変換素子の何れへも到達しない。通常画素は、画素開口に遮光膜等が形成されておらず、遮光されていない画素である。通常画素は、マイクロレンズＭＬからの光が、画素２ｐ内の複数の光電変換素子の全てに到達する。後で図６を参照して説明するように、画素領域２ａは、通常画素で構成される有効領域ＶＲｅｆｆと、ＯＢ画素で構成されるＯＢ領域（垂直ＯＢ領域ＶＯＢおよび水平ＯＢ領域ＨＯＢ）（遮光領域）と、を有する。

図２の第１欄は１個の画素２ｐが右（Ｒ）左（Ｌ）に２分割された例を示している。なお、図２において、表の横並びを上から下に向かって順に第１欄～第３欄と呼んでいる。

ここで、１個のマイクロレンズＭＬに対するｎ個の光電変換素子ＰＤの配置を、分割配置と呼ぶことにする。このとき、第１欄に示す分割配置は、左（Ｌ）および右（Ｒ）の２種類（ｎ＝２）である。ＲＬ分割配置は、横方向の位相差検知（いわゆる縦線検知）に適している。

そして、各フィルタ色Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂの画素２ｐに対して、２つの分割配置の光電変換素子ＰＤ、すなわち、左側の光電変換素子ＰＤＬ，右側の光電変換素子ＰＤＲがそれぞれ設けられている。各光電変換素子ＰＤＬ，ＰＤＲは、例えばフォトダイオード（Photodiode）として構成され、入射光を光電変換して電荷を発生する。

各光電変換素子ＰＤＬ，ＰＤＲは、読出スイッチとして機能するトランジスタＴｒＬ，ＴｒＲをそれぞれ経由して、フローティングディフュージョンＦＤに接続されている。

このような構成において、トランジスタＴｒＬ，ＴｒＲの１つ以上をオンすれば、オンにされたトランジスタＴｒに接続されている光電変換素子ＰＤの電荷がフローティングディフュージョンＦＤへ転送される。

従って、トランジスタＴｒＬ，ＴｒＲの何れか１つだけをオンすれば、光電変換素子ＰＤＬ，ＰＤＲの内の何れか１つだけの電荷がフローティングディフュージョンＦＤへ転送され、後述するように、分割画素信号Ｌまたは分割画素信号Ｒを読み出せる。

また、トランジスタＴｒＬ，ＴｒＲの２つをオンすれば、光電変換素子ＰＤＬ，ＰＤＲの電荷がフローティングディフュージョンＦＤへ転送され、つまり、２個の光電変換素子ＰＤＬ，ＰＤＲの電荷が加算されて、通常（Ｌ＋Ｒ）の画素信号を読み出せる。

フローティングディフュージョンＦＤおよびトランジスタＴｒＬ，ＴｒＲは、リセットスイッチとして機能するトランジスタＴｒＲＥＳを経由して、電源電圧ＶＤＤに接続されている。トランジスタＴｒＲＥＳをオンすることで、フローティングディフュージョンＦＤがリセットされる。このときさらに、トランジスタＴｒＬ，ＴｒＲを同時にオンすれば、各光電変換素子ＰＤＬ，ＰＤＲもリセットされる。

フローティングディフュージョンＦＤは、トランジスタＴｒＡＭＰとトランジスタＴｒＳＥＬとを経由して、垂直信号線ＶＳＬに接続されている。ここで、トランジスタＴｒＡＭＰは、一端が電源電圧ＶＤＤに接続され、他端がトランジスタＴｒＳＥＬを経由して、図示しない定電流回路と接続されている。トランジスタＴｒＡＭＰは、増幅回路として機能する。トランジスタＴｒＳＥＬは、選択スイッチとして機能する。

トランジスタＴｒＳＥＬをオンすると、フローティングディフュージョンＦＤの電圧値がトランジスタＴｒＡＭＰにより増幅されて、垂直信号線ＶＳＬから読み出される。

次に、図２の第２欄は１個の画素２ｐが上（Ｕ）下（Ｄ）に２分割された例を示している。

第２欄に示す分割配置は、上（Ｕ）および下（Ｄ）の２種類（ｎ＝２）である。ＵＤ分割配置は、縦方向の位相差検知（いわゆる横線検知）に適している。

そして、各フィルタ色Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂの画素２ｐに対して、２つの分割配置の光電変換素子ＰＤ、すなわち、上側の光電変換素子ＰＤＵ，下側の光電変換素子ＰＤＤがそれぞれ設けられている。各光電変換素子ＰＤＵ，ＰＤＤは、例えばフォトダイオードとして構成され、入射光を光電変換して電荷を発生する。

なお、読出回路２ｂは、ＬＲがＵＤになった点を除いて、ＲＬ２分割の場合と同様である。

そして、トランジスタＴｒＵ，ＴｒＤの何れか１つだけをオンすれば、Ｕ分割画素信号またはＤ分割画素信号を読み出せる。

一方、トランジスタＴｒＵ，ＴｒＤの２つをオンすれば、２個の光電変換素子ＰＤＵ，ＰＤＤの電荷が加算されて、通常（Ｕ＋Ｄ）の画素信号を読み出せる。

続いて、図２の第３欄は１個の画素２ｐが右（Ｒ）左（Ｌ）上（Ｕ）下（Ｄ）に４分割された例を示している。

第３欄に示す分割配置は、左上（ＬＵ），右上（ＲＵ），左下（ＬＤ），右下（ＲＤ）の４種類（ｎ＝４）である。４分割配置は、横方向の位相差検知（いわゆる縦線検知）と、縦方向の位相差検知（いわゆる横線検知）と、の何れにも適している。

そして、各フィルタ色Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂの画素２ｐに対して、４つの分割配置の光電変換素子ＰＤ、すなわち、左上側の光電変換素子ＰＤＬＵ，右上側の光電変換素子ＰＤＲＵ，左下側の光電変換素子ＰＤＬＤ，右下側の光電変換素子ＰＤＲＤがそれぞれ設けられている。各光電変換素子ＰＤＬＵ，ＰＤＲＵ，ＰＤＬＤ，ＰＤＲＤは、例えばフォトダイオードとして構成され、入射光を光電変換して電荷を発生する。

各光電変換素子ＰＤＬＵ，ＰＤＲＵ，ＰＤＬＤ，ＰＤＲＤは、読出スイッチとして機能するトランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤをそれぞれ経由して、フローティングディフュージョンＦＤに接続されている。

このような構成において、トランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤの１つ以上をオンすれば、オンにされたトランジスタＴｒに接続されている光電変換素子ＰＤの電荷がフローティングディフュージョンＦＤへ転送される。

従って、トランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤの内の１つだけをオンすれば、光電変換素子ＰＤＬＵ，ＰＤＲＵ，ＰＤＬＤ，ＰＤＲＤの内の１つだけの電荷がフローティングディフュージョンＦＤへ転送され、ＬＵ分割画素信号、ＲＵ分割画素信号、ＬＤ分割画素信号、またはＲＤ分割画素信号として読み出せる。

また、トランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤの内の２つ以上をオンすれば、光電変換素子ＰＤＬＵ，ＰＤＲＵ，ＰＤＬＤ，ＰＤＲＤの内の２つ以上の電荷がフローティングディフュージョンＦＤへ転送され、つまり、２個以上の光電変換素子ＰＤの電荷が加算されて読み出せる。

従って、例えばＵＤ加算を行うことで、Ｌ（ＬＵ＋ＬＤ）分割画素信号、Ｒ（ＲＵ＋ＲＤ）分割画素信号を読み出せる。この読み出し方法を採用する場合には、１個の画素２ｐがＲＬに２分割されている（ｎ＝２である）ものとして取り扱える。

また例えばＲＬ加算を行うことで、Ｕ（ＬＵ＋ＲＵ）分割画素信号、Ｄ（ＬＤ＋ＲＤ）分割画素信号を読み出せる。この読み出し方法を採用する場合には、１個の画素２ｐがＵＤに２分割されている（ｎ＝２である）ものとして取り扱える。

さらに例えばＲＬＵＤ加算を行うことで、通常（ＬＵ＋ＲＵ＋ＬＤ＋ＲＤ）の画素信号を読み出せる。

加えて、ＲＬＵＤ４分割の画素２ｐの内の３つを加算（具体的に、ＬＵ＋ＲＵ＋ＬＤ、ＬＵ＋ＲＵ＋ＲＤ、ＬＵ＋ＬＤ＋ＲＤ、ＲＵ＋ＬＤ＋ＲＤ）した分割画素信号を読み出すことも可能となっている。

フローティングディフュージョンＦＤおよびトランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤは、リセットスイッチとして機能するトランジスタＴｒＲＥＳを経由して、電源電圧ＶＤＤに接続されている。トランジスタＴｒＲＥＳをオンすることで、フローティングディフュージョンＦＤがリセットされる。このときさらに、トランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤを同時にオンすれば、各光電変換素子ＰＤＬＵ，ＰＤＲＵ，ＰＤＬＤ，ＰＤＲＤもリセットされる。

フローティングディフュージョンＦＤは、トランジスタＴｒＡＭＰとトランジスタＴｒＳＥＬとを経由して、垂直信号線ＶＳＬに接続されている。ここで、トランジスタＴｒＡＭＰは、一端が電源電圧ＶＤＤに接続され、他端がトランジスタＴｒＳＥＬを経由して、図示しない定電流回路と接続されている。トランジスタＴｒＡＭＰは、増幅回路として機能する。トランジスタＴｒＳＥＬは、選択スイッチとして機能する。

トランジスタＴｒＳＥＬをオンすると、フローティングディフュージョンＦＤの電圧値がトランジスタＴｒＡＭＰにより増幅されて、垂直信号線ＶＳＬから読み出される。

なお、以下では、１個の画素２ｐがＬ（左）とＲ（右）に２分割される例を主に説明する。

ＰＤ分割方式像面位相差のイメージセンサ２は、各画素２ｐの複数の光電変換素子ＰＤの信号を全て加算した画素信号を読み出す第１の読出モードと、各画素２ｐの複数の光電変換素子ＰＤから位相差情報を含む複数の信号を読み出す第２の読出モードと、で動作できる。

画素領域２ａの全ての行を第１の読出モードで読み出すことを、適宜、映像読出モードと呼ぶことにする。第１の読出モードでは、１個の画素２ｐが１個の光電変換素子ＰＤのみで構成されている（つまり分割されていない）状態と同等の画素信号が出力される。映像読出モードは、画素分割されていない通常のイメージセンサから画素信号を読み出す場合と同様の読出時間で読み出せるが、位相差情報を得ることができない。

また、画素領域２ａの全ての行を第２の読出モードで読み出すことを、適宜、全位相差読出モードと呼ぶことにする。図３は、イメージセンサ２から、全位相差読出モードで読み出された信号の例を示す図である。図４は、イメージセンサ２から、全位相差読出モードで信号を読み出す例を示すタイミングチャートである。なお、図３および後述する図５～図７、図２８の画素配列中に記した文字「Ｆ」は、画像が上下および／または左右に反転していないかどうかを示すための参考用である。

上述したように、第２の読出モードにおいて、通常読み出し方式で分割画素信号Ｌおよび分割画素信号Ｒを読み出しても構わない。この場合は、位相差情報をそのまま得られるが、画素信号を生成するには信号を加算して（Ｌ＋Ｒ）を求める必要がある。従って、通常読み出し方式は、位相差検出に有利な読み出し方（位相差検知性能優先）である。

これに対し、図３および図４に示す例では、加算読み出し方式で画素信号（Ｌ＋Ｒ）および分割画素信号Ｌを読み出している。この場合は、画素信号（Ｌ＋Ｒ）をそのまま得られるが、位相差情報を生成するには信号を減算して｛（Ｌ＋Ｒ）－Ｌ｝を求める必要がある。従って、加算読み出し方式は、画像生成に有利な読み出し方（画質優先）である。なお、画素信号（Ｌ＋Ｒ）および分割画素信号Ｒを読み出す加算読み出し方式も、同様に、画像生成に有利な読み仕方である。

図３および図４に示す例では、画素領域２ａにおけるＲｒ画素およびＧｒ画素が配列された１行目から、水平同期信号ＸＨＳに同期してまず分割画素信号Ｌを１－１行目として読み出し、次に１行目から水平同期信号ＸＨＳに同期して画素信号（Ｌ＋Ｒ）を１－２行目として読み出す。同様に水平同期信号ＸＨＳに同期して、Ｇｂ画素およびＢｂ画素が配列された２行目から分割画素信号Ｌを２－１行目として読み出し、次に２行目から画素信号（Ｌ＋Ｒ）を２－２行目として読み出す。こうした処理を最終行目まで行う。また、１フレームの画像の読み出しは、垂直同期信号ＸＶＳに同期して行われる。

全位相差読出モードは、分割画素を加算して画素信号を生成し読み出す場合に比べて、２分割の場合には約２倍の読出時間が、４分割の場合には約４倍の読出時間がかかるために、撮像レートが低下する。また、イメージセンサ２から１フレーム分の画素信号を全て読み出すために必要な消費エネルギーも大幅に増加する。

さらに、本実施形態のイメージセンサ２は、行方向に配列された複数の画素２ｐで構成される行毎に、第１の読出モードまたは第２の読出モードで読み出すことが可能である。図２に示す読出回路２ｂが、画素領域２ａの、第１の行を第１の読出モードで読み出し、第２の行を第２の読出モードで読み出すこと（つまり、行に応じて、第１の読出モードと第２の読出モードとの何れか一方で読み出すこと）を、適宜、高速映像位相差読出モードと呼ぶことにする。

高速映像位相差読出モードにおいては、読出回路２ｂが、垂直ＯＢ領域ＶＯＢおよび有効領域ＶＲｅｆｆの第１の行を第１の読出モードで読み出し、垂直ＯＢ領域ＶＯＢおよび有効領域ＶＲｅｆｆの第２の行を第２の読出モードで読み出す。以下では適宜、第１の読出モードが適用される第１の行で構成される領域を１ＰＤ領域、第２の読出モードが適用される第２の行で構成される領域を２ＰＤ領域と呼ぶことにする。

高速映像位相差読出モードにおいて、画素領域２ａにおける１ＰＤ領域と２ＰＤ領域との割合を調整することで、撮像レートの低下を抑制しながら、位相差情報も取得できる。例えば、画素領域２ａの８割（５０行中の４０行など）を１ＰＤ領域、２割（５０行中の１０行など）を２ＰＤ領域とした場合、映像読出モードに比べて、１フレームの読み出し時間が２割程度増加するだけで済み、かつ高精度の位相差情報を取得できる。この高速映像位相差読出モードは、高いフレームレートが求められるライブビュー画像撮影、または動画撮影などにおいて、特に有効なモードとなる。また、１フレーム分の画素信号を全て読み出すための消費エネルギーも大幅に低減できる。

なお、本実施形態のイメージセンサ２は、上述した映像読出モードおよび全位相差読出モードでも動作可能であるが、以下では、高速映像位相差読出モードで動作する場合について説明する。

図５は、イメージセンサ２から、高速映像位相差読出モードで読み出された信号の例を示す図である。

図５に示す例では、１～２行目および（ｐ＋２）～（ｐ＋３）行目が第１の読出モードで読み出される１ＰＤ領域、ｐ～（ｐ＋１）行目および（最終－１）～最終行目が第２の読出モードで読み出される２ＰＤ領域である。なお、２ＰＤ領域の画素２ｐからｎ個の分割画素信号を加算して読み出した画素信号を（Ｌ＋Ｒ）、１ＰＤ領域の画素２ｐからｎ個の分割画素信号を加算して読み出した画素信号をＡＬＬと記載して、区別している。

図６は、イメージセンサ２の構成と高速映像位相差読出モードにおける動作例を示す図である。図６において、水平方向が行方向、垂直方向が列方向である。

画素領域２ａは、上述したベイヤー配列などのカラーフィルタが全体に配置され、上から下に向かって順に、垂直ＯＢ領域ＶＯＢと、通常画素が配置された有効領域ＶＲｅｆｆと、ダミー領域ＶＤＭと、を備える。垂直ＯＢ領域ＶＯＢは、上から下に向かって順に、センサクランプ領域ＳＶＯＢと、第１垂直ＯＢ領域ＶＯＢ１と、第２垂直ＯＢ領域ＶＯＢ２と、を備える。

また、画素領域２ａは、左から右に向かって順に、第１水平ダミー領域ＨＤＭ１と、遮光されたＯＢ画素が配置された水平ＯＢ領域ＨＯＢと、第２水平ダミー領域ＨＤＭ２と、通常画素が配置された有効領域／実行領域ＨＲｅｆｆと、を備えている。

イメージセンサ２が高速映像位相差読出モードで動作する場合には、垂直ＯＢ領域の一部、例えば第１垂直ＯＢ領域ＶＯＢ１が第２の読出モードで読み出され（２ＰＤ領域）、垂直ＯＢ領域の他の一部、例えば第２垂直ＯＢ領域ＶＯＢ２が第１の読出モードで読み出される（１ＰＤ領域）。ここで、垂直ＯＢ領域内における、第１垂直ＯＢ領域ＶＯＢ１の開始行および終了行と、第２垂直ＯＢ領域ＶＯＢ２の開始行および終了行と、は所望に設定できる。

なお、ＯＢレベルの検出は、第１垂直ＯＢ領域ＶＯＢ１の全部を用いる必要はなく、第２垂直ＯＢ領域ＶＯＢ２の全部を用いる必要もない。例えば、第１垂直ＯＢ領域ＶＯＢ１内に設定した「２ＰＤ」を囲む四角領域内のデータ、および第２垂直ＯＢ領域ＶＯＢ２内に設定した「１ＰＤ」を囲む四角領域内のデータを用いてＯＢレベルを検出するようにしてもよい。

さらに、イメージセンサ２が高速映像位相差読出モードで動作する場合には、有効領域ＶＲｅｆｆ内に、位相差検知領域ＶＲＰが設定される。ここで、有効領域ＶＲｅｆｆ内における、位相差検知領域ＶＲＰの開始行および終了行は、所望に設定できる。また、有効領域ＶＲｅｆｆ内に、複数の位相差検知領域ＶＲＰを設定するようにしても構わない。従って、被写体に応じて設定されたＡＦエリアに対して、適切な位相差検知領域ＶＲＰを設定することで、フレーム画像の読み出し時間を有効に短縮できる。

そして、有効領域ＶＲｅｆｆ内における位相差検知領域ＶＲＰ以外の領域は第１の読出モードで読み出され（１ＰＤ領域）、位相差検知領域ＶＲＰ内は画素行毎に第１の読出モードまたは第２の読出モードで読み出される。従って、位相差検知領域ＶＲＰ内では、上下方向に、２ＰＤ領域と１ＰＤ領域とが交互にある。

図７は、イメージセンサ２を遮光して撮像され、高速映像位相差読出モードで読み出された信号をベイヤー化して構成されたＲＡＷ画像データと、ＲＡＷ画像データにおけるＯＢレベルのオフセットの例を示す図である。図７および後述する図８は、横スジ補正回路３ｂによる横スジ補正を行っていない状態のＲＡＷ画像データを示している。

なお、ベイヤー化は、第１の読出モードで第１の行から読み出した画素信号ＡＬＬと、第２の読出モードで第２の行から読み出した複数の信号から得られる画素信号（Ｌ＋Ｒ）と、でＲＡＷ画像データを構成することを指す。

イメージセンサ２のＯＢクランプ回路２ｄは、遮光された領域であるセンサクランプ領域ＳＶＯＢで検出した遮光画素の信号レベルが、デジタル値として固定の値（１２ビットＡＤＣの場合、例えば２５６（ＬＳＢ）等に設定されることが多い）になるように、ＯＢレベルの処理（ＯＢクランプ処理）を行う。

ところで、１ＰＤ領域から画素信号ＡＬＬを読み出すときは、フローティングディフュージョンＦＤをリセットして相関二重サンプリング（ＣＤＳ）のためのリセット信号を読み出す。その後、光電変換素子ＰＤＲおよび光電変換素子ＰＤＬの電荷を同時にフローティングディフュージョンＦＤへ転送して読み出す。

一方、２ＰＤ領域から画素信号（Ｌ＋Ｒ）を読み出すときは、フローティングディフュージョンＦＤをリセットして相関二重サンプリング（ＣＤＳ）のためのリセット信号を読み出してから、例えば光電変換素子ＰＤＬの電荷をフローティングディフュージョンＦＤへ転送して読み出す。さらにその後に、フローティングディフュージョンＦＤをリセットすることなく光電変換素子ＰＤＲの電荷をフローティングディフュージョンＦＤへ転送して、光電変換素子ＰＤＬの電荷と加算し読み出す。

このため、フローティングディフュージョンＦＤをリセットしてから１ＰＤ領域の画素信号ＡＬＬを読み出すまでの第１の時間間隔と、フローティングディフュージョンＦＤをリセットしてから２ＰＤ領域の画素信号（Ｌ＋Ｒ）を読み出すまでの第２の時間間隔とは、時間長さが異なる。

すると、２ＰＤ領域から読み出した画素信号（Ｌ＋Ｒ）の、暗電流等に起因するＯＢレベルＯＢ＿（Ｌ＋Ｒ）と、１ＰＤ領域から読み出した画素信号ＡＬＬの、暗電流に起因するＯＢレベルＯＢ＿ＡＬＬとには、差が生じる。ここで述べている暗電流は、フローティングディフュージョンＦＤで発生する暗電流を指す。また、画素信号ＡＬＬを読み出すまでの第１の時間間隔と、画素信号（Ｌ＋Ｒ）を読み出すまでの第２の時間間隔と、の違いに現れている読み出しのタイミングの違いは、画素信号ＡＬＬと画素信号（Ｌ＋Ｒ）とに電源変動から受ける影響の差をもたらす。この電源変動から受ける影響の差が、ＯＢレベルＯＢ＿（Ｌ＋Ｒ）とＯＢ＿ＡＬＬとに差を生じる大きな要因の１つとなっている。

図７の右側に示すグラフは、ＯＢレベルＯＢ＿（Ｌ＋Ｒ）とＯＢレベルＯＢ＿ＡＬＬとの差を示している。このＯＢレベルの差は、画像において横スジとして見える原因となる。

図８は、イメージセンサ２を遮光して撮像され、高速映像位相差読出モードで読み出された信号からベイヤー化して構成されたＲＡＷ画像データに、横スジが発生している様子を示す図である。

垂直ＯＢ領域ＶＯＢおよび有効領域ＶＲｅｆｆを含む画素領域２ａにおいて、１行以上の１ＰＤ領域と１行以上の２ＰＤ領域が交互に設定されているため、遮光状態にして撮像し取得されたＲＡＷ画像データには、図８に示すようなＯＢレベルの相違による横スジが発生する。

そこで、横スジ補正回路３ｂは、高速映像位相差読出モードで取得されたＲＡＷ画像データ中の横スジを、次の（Ａ１）～（Ａ３）に示すような処理を行い補正する。

（Ａ１） 垂直ＯＢ領域ＶＯＢの信号からのＯＢレベルの算出処理
横スジ補正回路３ｂは、第１垂直ＯＢ領域ＶＯＢ１内に設定した四角領域（２ＰＤ領域）内の各画素２ｐの光電変換素子ＰＤＬからそれぞれ読み出された信号の平均値を算出してＯＢレベルＯＢ＿Ｌを得る。また、横スジ補正回路３ｂは、第１垂直ＯＢ領域ＶＯＢ１内に設定した四角領域（２ＰＤ領域）内の各画素２ｐの光電変換素子ＰＤＬおよび光電変換素子ＰＤＲの信号を加算して読み出された信号の平均値を算出してＯＢレベルＯＢ＿（Ｌ＋Ｒ）を得る。さらに、横スジ補正回路３ｂは、第２垂直ＯＢ領域ＶＯＢ２内に設定した四角領域（１ＰＤ領域）内の各画素２ｐの光電変換素子ＰＤＬおよび光電変換素子ＰＤＲの信号を加算して読み出された信号の平均値を算出してＯＢレベルＯＢ＿ＡＬＬを得る。上述したように、２ＰＤ領域からのＯＢレベルＯＢ＿（Ｌ＋Ｒ）と、１ＰＤ領域からのＯＢレベルＯＢ＿ＡＬＬとは、区別されている。なお、ＯＢレベルＯＢ＿（Ｌ＋Ｒ）、およびＯＢレベルＯＢ＿ＡＬＬの算出は、フィルタ色毎にそれぞれ行う。

（Ａ２） 垂直ＯＢ領域ＶＯＢの左右分割画素信号の加算処理
画素信号（Ｌ＋Ｒ）および分割画素信号Ｌを読み出す加算読み出し方式では、２ＰＤ領域の光電変換素子ＰＤＬおよび光電変換素子ＰＤＲの信号を加算する処理がイメージセンサ２内で行われる。このため、横スジ補正回路３ｂは、ベイヤーのＲＡＷ画像データを生成するための加算処理を行う必要がなく、垂直ＯＢ領域ＶＯＢの２ＰＤ領域から出力される左右加算されたＯＢレベルＯＢ＿（Ｌ＋Ｒ）を選択すればよい。

（Ａ３） 有効領域ＶＲｅｆｆの左右分割画素信号の加算処理
横スジ補正回路３ｂは、有効領域ＶＲｅｆｆに設定された位相差検知領域ＶＲＰ内の２ＰＤ領域の各画素２ｐに対して（式１）の演算を行い、演算結果Ｓｕｍを得る。
Ｓｕｍ＝｛（Ｌ＋Ｒ）－ＯＢ＿（Ｌ＋Ｒ）｝＋ＯＢ＿ＡＬＬ …（式１）

ここで、（Ｌ＋Ｒ）は、有効領域ＶＲｅｆｆの第２の行から読み出した複数の信号から得られる画素信号である。ＯＢ＿ＡＬＬは、遮光領域（ここでは、垂直ＯＢ領域ＶＯＢ）の第１の行から読み出した画素信号である。ＯＢ＿（Ｌ＋Ｒ）は、遮光領域の第２の行から読み出した複数の信号の内の１つである。

（式１）は、次の処理を行うことを意味する。すなわち、第２の読出モードの加算読み出し方式で、通常画素から読み出される通常画素信号（Ｌ＋Ｒ）を抽出し、ＯＢ画素から読み出されるＯＢ画素信号ＯＢ＿（Ｌ＋Ｒ）を抽出する。そして、通常画素信号（Ｌ＋Ｒ）からＯＢ画素信号ＯＢ＿（Ｌ＋Ｒ）を減算して、暫定ＯＢ減算画素信号｛（Ｌ＋Ｒ）－ＯＢ＿（Ｌ＋Ｒ）｝を生成する。さらに、第１の読出モードでＯＢ画素から読み出されるＯＢ画素信号ＯＢ＿ＡＬＬを、暫定ＯＢ減算画素信号｛（Ｌ＋Ｒ）－ＯＢ＿（Ｌ＋Ｒ）｝に加算して、画素データとしての演算結果Ｓｕｍを生成する。

こうして、２ＰＤ領域の通常画素信号（Ｌ＋Ｒ）に含まれるＯＢレベルを、１ＰＤ領域の通常画素信号ＡＬＬのＯＢレベルに合わせる処理を行っている。これにより、横スジ補正回路３ｂは、ＯＢレベルの相違による横スジの発生を抑制している。

なお、（式１）では、有効領域ＶＲｅｆｆの第２の行から読み出した複数の信号から得られる画素信号（Ｌ＋Ｒ）に対して補正処理を実施したが、これに代えて、有効領域ＶＲｅｆｆの第１の行から読み出した画素信号ＡＬＬに対して補正処理を実施してもよい。この場合の（式１）に対応する式は以下の（式１′）になり、画素データの演算結果をＳｕｍの代わりにＳａｌとして示す。
Ｓａｌ＝｛（ＡＬＬ）－ＯＢ＿ＡＬＬ｝＋ＯＢ＿（Ｌ＋Ｒ） …（式１′）

（式１′）は、１ＰＤ領域の通常画素信号ＡＬＬに含まれるＯＢレベルを、２ＰＤ領域の通常画素信号（Ｌ＋Ｒ）のＯＢレベルに合わせることを示す。横スジ補正回路３ｂは、（式１）に代えて（式１′）の処理を行うことにより、ＯＢレベルの相違による横スジの発生を抑制してもよい。

このような垂直ＯＢ領域ＶＯＢのＯＢレベルを用いて、フレーム毎に横スジをダイナミックに補正する第１のオフセット補正方式を、以下では、ＶＯＢ方式という。

なお、ＯＢレベルは、一般に、ベイヤーの色（Ｒｒ、Ｇｒ、Ｇｂ、Ｂｂ）毎に、値が僅かに異なる。ベイヤーの色はカラーフィルタにより生じるために、色が異なっても実際の画素回路やＯＢクランプ回路２ｄ自体に相違はない。しかし、色が異なると画素回路やＯＢクランプ回路２ｄが配置されている場所が異なり、画素回路までの配線ルート（配線場所や配線長など）や上述の各回路への電源供給の配線ルートも異なるために、これらの相違に起因して、ＯＢレベルの相違が生じる。

このために、横スジ補正回路３ｂは、上述したようなＯＢレベルを整合させる補正処理を、フィルタ色を区別して、画素２ｐのフィルタ色毎にそれぞれ行う（ただし、フィルタ色によるＯＢレベルの相違を無視してもよい場合には、この限りでない）。

また、横スジ補正回路３ｂによる横スジ補正は、高速映像位相差読出モードにより図５に示すように読み出される画像データから、図７に示すようなベイヤーのＲＡＷ画像データを生成する処理と、同時的に実施される。

図９は、イメージセンサ２を遮光して撮像された１フレームの画像の、２ＰＤ領域における各行毎のＧｒ画素のＯＢレベルＯＢ＿（Ｌ＋Ｒ）の平均値の分布を示す図である。なお、図９および後述する図１０では、画像における行番号を横軸、レベル（１行（例えば２０００列分）の画素信号レベルの平均値）を縦軸として、値をプロットしている。

また、図９および図１０では、四角領域（２ＰＤ領域）を設定する第１垂直ＯＢ領域ＶＯＢ１に、Ｒｒ画素およびＧｒ画素が配列された行が２行、Ｇｂ画素およびＢｂ画素が配列された行が２行設けられ、同様に、四角領域（１ＰＤ領域）を設定する第２垂直ＯＢ領域ＶＯＢ２に、Ｒｒ画素およびＧｒ画素が配列された行が２行、Ｇｂ画素およびＢｂ画素が配列された行が２行設けられた場合のデータを示している。そして、図９および図１０では、一例として、フィルタ色Ｇｒに係るＧｒ画素のＯＢレベルＯＢ＿（Ｌ＋Ｒ）を図示している。

図９に示す１フレームの画像全体のＯＢレベルＯＢ＿（Ｌ＋Ｒ）の平均値は、概略、２５３．７５（ＬＳＢ）程度である。これに対して、１行単位のＯＢレベルＯＢ＿（Ｌ＋Ｒ）の平均値は、行毎にばらついている。

図９において丸印を付した部分にある２つの点が、第１垂直ＯＢ領域ＶＯＢ１内に設定した四角領域（２ＰＤ領域）内における１行単位のＯＢレベルＯＢ＿（Ｌ＋Ｒ）の平均値の２行分をそれぞれ示しており、２５２（ＬＳＢ）程度である。従って、２５２（ＬＳＢ）は、画像全体の平均値２５３．７５（ＬＳＢ）よりも１．７５（ＬＳＢ）程度低い値となっている。そして、垂直ＯＢ領域ＶＯＢから取得されるＯＢレベルＯＢ＿（Ｌ＋Ｒ）が画像全体の平均ＯＢレベルに対してどの程度ばらつくかは、フレーム毎（つまり、１回撮像する毎）に異なる。

図１０は、イメージセンサ２を遮光して撮像された１フレームの画像の、１ＰＤ領域における各行毎のＧｒ画素のＯＢレベルＯＢ＿ＡＬＬの平均値の分布を示す図である。

図１０に示す１フレームの画像全体のＯＢレベルＯＢ＿ＡＬＬの平均値は、概略、２４７．７５（ＬＳＢ）程度である。これに対して、１行単位のＯＢレベルＯＢ＿ＡＬＬの平均値は、行毎にばらついている。

図１０において丸印を付した部分にある２つの点が、第２垂直ＯＢ領域ＶＯＢ２内に設定した四角領域（１ＰＤ領域）内の１行単位のＯＢレベルＯＢ＿ＡＬＬの平均値の２行分をそれぞれ示しており、２４８．４（ＬＳＢ）程度である。従って、２４８．４（ＬＳＢ）は、画像全体の平均値２４７．７５（ＬＳＢ）よりも０．６５（ＬＳＢ）程度高い値となっている。そして、垂直ＯＢ領域ＶＯＢから取得されるＯＢレベルＯＢ＿ＡＬＬが画像全体の平均ＯＢレベルに対してどの程度ばらつくかは、フレーム毎に異なる。

上述したように、垂直ＯＢ領域ＶＯＢから取得されるＯＢレベルＯＢ＿（Ｌ＋Ｒ），ＯＢ＿ＡＬＬは、画像全体のＯＢレベルの平均値に対してばらつきがある。しかも、このばらつきは、フレーム毎に異なる。こうしたばらつきがあるＯＢレベルＯＢ＿（Ｌ＋Ｒ），ＯＢ＿ＡＬＬに基づき横スジ補正回路３ｂが有効領域ＶＲｅｆｆの横スジ補正を行うと、補正後の結果にもフレーム毎のばらつきが生じることになる。こうしたフレーム毎のばらつきを、以下では適宜、繰り返しばらつきと呼ぶ。

図９および図１０に示した例では、画像全体の平均値ＯＢレベルＯＢ＿（Ｌ＋Ｒ）は２５３．７５（ＬＳＢ）、画像全体の平均値ＯＢレベルＯＢ＿ＡＬＬは２４７．７５（ＬＳＢ）であるから、（式１）により（Ｌ＋Ｒ）を本来補正すべき量は｛ＯＢ＿（Ｌ＋Ｒ）－ＯＢ＿ＡＬＬ｝＝２５３．７５－２４７．７５＝６．０（ＬＳＢ）となる。

一方、第１垂直ＯＢ領域ＶＯＢ１から得られるＯＢレベルＯＢ＿（Ｌ＋Ｒ）は２５２（ＬＳＢ）、第２垂直ＯＢ領域ＶＯＢ２から得られるＯＢレベルＯＢ＿ＡＬＬは２４８．４（ＬＳＢ）である。すると、（式１）による（Ｌ＋Ｒ）の補正量は｛ＯＢ＿（Ｌ＋Ｒ）－ＯＢ＿ＡＬＬ｝＝２５２－２４８．４＝３．６（ＬＳＢ）となる。

つまり、図９および図１０に示した例でＶＯＢ方式の補正を行うと、補正し足りない結果となり、横筋が残る。しかも、垂直ＯＢ領域ＶＯＢから得られる補正量｛ＯＢ＿（Ｌ＋Ｒ）－ＯＢ＿ＡＬＬ｝が、フレーム毎にばらつくことになる。

図１１は、ＶＯＢ方式で横スジを補正してベイヤー化された画像の有効領域ＶＲｅｆｆに残留する横スジレベルの頻度を示すグラフである。図１１には、イメージセンサ２を遮光して取得された３６８フレーム分の画像の有効領域ＶＲｅｆｆにおいて、ＶＯＢ方式で横スジを補正した後のＯＢレベルＯＢ＿ＡＬＬとＯＢレベルＯＢ＿（Ｌ＋Ｒ）のオフセット値（残留する横スジレベル）の頻度を示している。なお、図１１および図１２には、実測値として得られた頻度を、正規分布にフィッティングした結果を示す。

垂直ＯＢ領域ＶＯＢから例えば２行分の平均値として取得されるＯＢレベルＯＢ＿（Ｌ＋Ｒ），ＯＢ＿ＡＬＬは、フレーム毎にばらつくために、残留横スジのレベルもフレーム毎にばらつくことになる。図１１に示す例では、３６８フレーム分の画像において残留する横スジレベルは、平均値μ＝０．６５（ＬＳＢ）、標準偏差σ＝０．７１（ＬＳＢ）となる。なお、平均値μおよび標準偏差σは、おおよそ信号の増幅率に比例して値が変化する。

垂直ＯＢ領域ＶＯＢから取得されるＯＢレベルＯＢ＿（Ｌ＋Ｒ），ＯＢ＿ＡＬＬのフレーム毎のばらつき（ランダムな変動）を小さくするには、垂直ＯＢ領域ＶＯＢの行数を多くすればよい（例えば、ＯＢレベルのばらつきを１（ＬＳＢ）以下にするには、行数を数行程度よりも相当多くすればよい）。しかしこの場合、イメージセンサ２のチップサイズが大きくなって、センサ単価が上昇する。また、行数が増えた分だけ、撮像レートが低下し、１フレーム分のデータを全て読み出すために必要な消費エネルギーも増加する。

また、イメージセンサ２から、同一色の複数の画素信号を混合して読み出すミックス読み出しが行われる場合がある。ミックス読み出しは、例えば、記録用の画像よりも画素数が少なくてよいライブビュー画像撮影などに用いられる。ミックス読み出しで、列方向に隣接する同一色の複数の画素信号を混合すると、全画素を読み出す場合よりも、読み出される行数が低下する。こうした行数が低下するミックス読み出しに対応して、ＯＢレベルＯＢ＿（Ｌ＋Ｒ），ＯＢ＿ＡＬＬのフレーム毎のばらつきを小さくするには、垂直ＯＢ領域ＶＯＢに設ける行数をさらに多くする必要がある。

そこで、本実施形態の横スジ補正回路３ｂは、垂直ＯＢ領域ＶＯＢから取得したＯＢレベルに基づく横スジの第１のオフセット補正方式（ＶＯＢ方式）だけでなく、予め決められた値に基づく第２のオフセット補正方式（以下、調整方式という）を用いることが可能となっている。横スジ補正回路３ｂは、画像処理回路３が行う画像処理のパラメータ（パラメータの具体例は後述する）に応じて、ＶＯＢ方式と調整方式との何れか一方を横スジ補正方式として選択し、横スジを補正する。

調整方式では、調整工程（例えば、製品出荷時の工場における調整工程、または出荷後にユーザがキャリブレーションモードに設定して行う調整工程など）において、イメージセンサ２の環境温度を所定の温度にする。そして、イメージセンサ２を遮光状態にして１以上のフレーム画像を取得し、取得した画像の有効領域ＶＲｅｆｆの信号を用いて、フィルタ色毎に、ＯＢレベルＣｏｍｐ＿（Ｌ＋Ｒ）＿ＡＬＬ＿Ｏｆｆｓｅｔ（予め決められた値）を求める。

具体的に、調整工程において、有効領域ＶＲｅｆｆの２ＰＤ領域の各画素２ｐの光電変換素子ＰＤＬおよび光電変換素子ＰＤＲの信号を加算して読み出された信号の平均値を算出してＯＢレベルＣｏｍｐ＿（Ｌ＋Ｒ）を得る。

さらに、調整工程において、有効領域ＶＲｅｆｆの１ＰＤ領域の各画素２ｐの光電変換素子ＰＤＬおよび光電変換素子ＰＤＲの信号を加算して読み出された信号の平均値を算出してＯＢレベルＣｏｍｐ＿ＡＬＬを得る。

そして、調整工程において、（式２）により、調整方式で用いるＯＢレベルＣｏｍｐ＿（Ｌ＋Ｒ）＿ＡＬＬ＿Ｏｆｆｓｅｔを求める。
Ｃｏｍｐ＿（Ｌ＋Ｒ）＿ＡＬＬ＿Ｏｆｆｓｅｔ
＝Ｃｏｍｐ＿（Ｌ＋Ｒ）－Ｃｏｍｐ＿ＡＬＬ …（式２）

有効領域ＶＲｅｆｆは、垂直ＯＢ領域ＶＯＢに比べて行数が多いため、算出されたＯＢレベルＣｏｍｐ＿（Ｌ＋Ｒ）＿ＡＬＬ＿Ｏｆｆｓｅｔは、フレーム毎のばらつきが極めて小さくなる。

横スジ補正回路３ｂは、こうして求めたＯＢレベルＣｏｍｐ＿（Ｌ＋Ｒ）＿ＡＬＬ＿Ｏｆｆｓｅｔを用いて、調整方式において（式３）の演算を行い、演算結果Ｓｕｍを得る。
Ｓｕｍ＝（Ｌ＋Ｒ－Ｃｏｍｐ＿（Ｌ＋Ｒ）＿ＡＬＬ＿Ｏｆｆｓｅｔ） …（式３）

なお、（式３）では、有効領域ＶＲｅｆｆの第２の行から読み出した複数の信号から得られる画素信号（Ｌ＋Ｒ）に対して補正処理を実施するが、ＶＯＢ方式の補正で説明したように、これに代えて、有効領域ＶＲｅｆｆの第１の行から読み出した画素信号ＡＬＬに対して補正処理を実施してもよい。この場合の（式３）に対応する式は以下の（式３′）になり、画素データの演算結果をＳｕｍの代わりにＳａｌとして示す。
Ｓａｌ＝（ＡＬＬ＋Ｃｏｍｐ＿（Ｌ＋Ｒ）＿ＡＬＬ＿Ｏｆｆｓｅｔ） …（式３′）

なお、調整方式に用いるＯＢレベルＣｏｍｐ＿（Ｌ＋Ｒ）＿ＡＬＬ＿Ｏｆｆｓｅｔの算出は、有効領域ＶＲｅｆｆの全ての行を用いる必要はなく、垂直ＯＢ領域ＶＯＢよりも多い適宜の行数だけ用いても構わない。算出に用いる適切な行数は、イメージセンサ２の画素数、２ＰＤ領域と１ＰＤ領域が何行毎に繰り返されるかの周期、等にも依存するため一概には言えないが、一例を挙げれば１００行分である。例えば１００行分のデータを使用してＯＢレベルＣｏｍｐ＿（Ｌ＋Ｒ）＿ＡＬＬ＿Ｏｆｆｓｅｔを精度良く求めることで、繰り返しばらつきの標準偏差σを小さくした例を、図１２に示す。

図１２は、調整方式で横スジを補正してベイヤー化された画像の有効領域ＶＲｅｆｆに残留する横スジレベルの頻度を示すグラフである。図１２には、図１１と同数の３６８フレーム分の画像の有効領域ＶＲｅｆｆにおいて、調整方式で横スジを補正した後のＯＢレベルＯＢ＿ＡＬＬとＯＢレベルＯＢ＿（Ｌ＋Ｒ）のオフセット値（残留する横スジレベル）の頻度を示している。

調整方式で用いるＯＢレベルＣｏｍｐ＿（Ｌ＋Ｒ）＿ＡＬＬ＿Ｏｆｆｓｅｔは、画像全体の平均ＯＢレベルとほぼ一致する。このため、３６８フレーム分の画像において残留する横スジレベルは、平均値μ＝０（ＬＳＢ）となる。また、ＶＯＢ方式のようなフレーム毎の垂直ＯＢ領域ＶＯＢのＯＢレベルのばらつきがないため、横スジの補正が安定して行われ、標準偏差σ＝０．１（ＬＳＢ）となる。従って、図１２に示す調整方式の残留横スジレベルは、図１１に示すＶＯＢ方式の残留横スジレベルと比べて小さく、精度の高い横スジ補正がなされていることが分かる。

ただし、調整方式は調整工程で取得された固定値を用いるため、環境温度の変化によるＯＢレベルの変化に対応できない。これに対し、ＶＯＢ方式はフレーム毎にダイナミックに補正する方式であるため、環境温度の変化によるＯＢレベルの変化にも対応できる。

図１３は、ＩＳＯ感度を１２８００に設定して撮像し、ＶＯＢ方式で横スジ補正したときのＧｒ画素の残留横スジレベルの、環境温度に応じた変化の例を示すグラフである。なお、図１３～図１６の横軸に示す環境温度は、「℃」を単位としている。また、図１３～図１６に示す残留横スジレベルは、複数フレームの平均値（図１１、図１２に示した平均値μ）を示している。さらに、図１３～図１６では図面が複雑になるのを避けるためにＧｒ画素の例を示すが、多少の値の差はあるものの、Ｇｂ画素、Ｒｒ画素、Ｂｂ画素についてもＧｒ画素と類似した傾向を示す。

ＩＳＯ感度１２８００におけるＶＯＢ方式では、１（ＬＳＢ）程度の残留横スジがあり、環境温度が増加するとわずかに残留横スジのレベルが下がる傾向があるが、全般にレベルが安定している。－２０℃における残留横スジのレベルは１．２（ＬＳＢ）程度、５０℃における残留横スジのレベルは０．９（ＬＳＢ）程度である。このため、図１３に示す環境温度範囲内における残留横スジのレベル変化は、０．３（ＬＳＢ）程度となる。

図１４は、ＩＳＯ感度を１６００に設定して撮像し、ＶＯＢ方式で横スジ補正したときのＧｒ画素の残留横スジレベルの、環境温度に応じた変化の例を示すグラフである。

ＩＳＯ感度１６００におけるＶＯＢ方式では、残留横スジのレベルは０．２（ＬＳＢ）程度に小さくなり、かつ環境温度の変化に応じてわずかに残留横スジのレベルが変化するが、全般にレベルが安定している。３０℃における残留横スジのレベルは０．１８（ＬＳＢ）程度、５０℃における残留横スジのレベルは０．２２（ＬＳＢ）程度である。このため、図１４に示す環境温度範囲内における残留横スジのレベル変化は、０．０４（ＬＳＢ）程度となる。

図１５は、ＩＳＯ感度を１２８００に設定して撮像し、調整方式で横スジ補正したときのＧｒ画素の残留横スジレベルの、環境温度に応じた変化の例を示すグラフである。なお、図１５および図１６における矢印は、調整工程において設定した環境温度（調整条件）を示し、４７℃程度である。４７℃程度は、撮像装置の電源をオンにしてからある程度以上の時間が経過したときの、イメージセンサ２の環境温度の典型値である。

ＩＳＯ感度１２８００における調整方式では、残留横スジのレベルは、－１２℃から２０℃程度までは減少する傾向を示し、２０℃よりも温度が高くなると温度に応じて増加する傾向を示す。２０℃における残留横スジのレベルは－０．３（ＬＳＢ）程度、６８℃における残留横スジのレベルは０．６（ＬＳＢ）程度であるため、残留横スジのレベル変化は０．９（ＬＳＢ）となる。

従って、図１５に示す調整方式は、図１３に示すＶＯＢ方式（レベル変化：０．３（ＬＳＢ））よりも環境温度の変化に対する残留横スジレベルの安定性が低い。そして、図１５に示す調整方式は、図１３に示すＶＯＢ方式と比べて、残留横スジレベルが不規則に変動する傾向を示す。

なお、図１５および図１６に関して、調整条件の環境温度である４７℃において、残留横筋レベルが理想的な０．０（ＬＳＢ）から少しずれている。このずれは、図１５および図１６のデータを取得する際に、実際の調整工程と異なる条件において測定したことに起因して生じている。

つまり、実際の調整工程では、工程の室内空調により決まる温度と、イメージセンサ２を駆動することに伴う自己発熱による周囲の温度上昇と、によって環境温度が決まってくる。これに対して、図１５および図１６のデータを取得する際には、恒温槽内において環境温度を制御している。従って、図１５および図１６のデータは、イメージセンサ２を駆動することに伴う自己発熱が環境温度にあまり影響しない条件で測定されている。この環境温度の管理の仕方の違いからこのような差が生じている。従って、４７℃における０．０（ＬＳＢ）からのずれは、調整方式が環境温度等に如何に敏感に依存するかを示している。

図１６は、ＩＳＯ感度を１６００に設定して撮像し、調整方式で横スジ補正したときのＧｒ画素の残留横スジレベルの、環境温度に応じた変化の例を示すグラフである。

ＩＳＯ感度１６００における調整方式では、残留横スジのレベルは、－１２℃から２０℃程度までは減少する傾向を示し、２０℃よりも温度が高くなると温度に応じて増加する傾向を示す。２０℃における残留横スジのレベルは０．１８（ＬＳＢ）程度、６５℃における残留横スジのレベルは０．２９（ＬＳＢ）程度であるため、残留横スジのレベル変化は０．１１（ＬＳＢ）となる。従って、図１６に示す調整方式は、図１５に示すＩＳＯ感度１２８００における調整方式よりも安定度が高いが、図１４に示す同一のＩＳＯ感度１６００におけるＶＯＢ方式（レベル変化：０．０４（ＬＳＢ））よりも環境温度の変化に対する安定性が低い。そして、図１６に示す調整方式は、図１４に示すＶＯＢ方式と比べて、残留横スジレベルが不規則に変動する傾向を示す。

図１７は、ＶＯＢ方式と調整方式の、フレーム毎の繰り返しばらつきと温度変化への適応性と、の傾向を示す図表である。

上述したように、ＶＯＢ方式は、行平均のＯＢレベルがランダムに変動する影響を受けて、横スジ補正に用いるオフセット値｛ＯＢ＿（Ｌ＋Ｒ）－ＯＢ＿ＡＬＬ｝に誤差がある。このため、図１１に示したＶＯＢ方式は、図１２に示した調整方式と比べて、フレーム毎の繰り返しばらつきが大きい。従って、繰り返しばらつきの観点からは、ＶＯＢ方式が不利であり、調整方式が有利となる。

また、図１３および図１４に示したダイナミックに補正するＶＯＢ方式は、図１５および図１６に示した調整方式と比べて、環境温度の変化の影響をほとんど受けず安定性が高い。これに対し、調整方式は、調整条件と同じ環境温度では比較的、残留横スジレベルが低いが、調整条件と異なる環境温度では、１（ＬＳＢ）以下で不規則に変動する傾向を示す。従って、温度依存の観点からは、ＶＯＢ方式が有利であり、調整方式が不利となる。

上述では主に、ＲＡＷ画像に残留する横スジのレベルを説明した。次に、ＲＡＷ画像を画像処理してディスプレイ４に表示したときに、残留する横スジがどのように見えるかについて説明をする。

図１８は、明るさが異なる幾つかの画像における、画像処理後の残留横スジの見え方の一例を示す図表である。ここで紙面での表現上、撮影シーン（被写体）の明るさは表現しておらず、残留横スジの見映えのおおまかなイメージのみを表現している。図１９、図２０、および図２５も同様である。

図１８のＡ欄はイメージセンサ２を遮光して取得され画像処理された画像の例を示す。遮光レベルの画像は、黒を引き締める画像処理（黒レベル抑圧処理）が行われるため、ＲＡＷ画像において残留横スジが存在しても、画像処理後の観察画像において残留横スジは見えなくなる。

図１８のＢ欄は、中間レベルのＲＡＷ画像として取得され画像処理された画像の例を示す。ここで、中間レベルとは、１２ビットフルスケールのＲＡＷ画像における、約５～２０（ＬＳＢ）のレベルである。中間レベルの画像は、約５～２０（ＬＳＢ）のＲＡＷ画像が撮像されるような均一な光を、画素領域２ａに照射して取得される。中間レベルでは、ＲＡＷ画像において存在する残留横スジが、観察画像においても見える。

図１８のＣ欄は、Ｂ欄よりも高い中間レベルのＲＡＷ画像として取得され画像処理された画像の例を示す。ここで、Ｂ欄よりも高い中間レベルとは、１２ビットフルスケールのＲＡＷ画像における、約２５（ＬＳＢ）以上のレベルである。この画像は、約２５（ＬＳＢ）以上のＲＡＷ画像が撮像されるような均一な光を、画素領域２ａに照射して取得される。

Ｂ欄よりもレベルが高いＣ欄の中間レベルでは、ＲＡＷ画像において存在する残留横スジが、観察画像においては見えなくなる。Ｂ欄の中間レベルで見えた残留横スジが、Ｃ欄のより高い中間レベルのＲＡＷ画像において見えなくなるのは、主に、光ショットノイズにより残留横スジがかき消されることが原因である。さらに、画像処理におけるγ補正により、残留横スジが抑制されることも作用する。

このように、画像処理した画像において残留横スジが見えるかどうか（さらに、どのように見えるか）は、画像処理に係る様々な要因が絡み合って複雑である。

図１９は、ＶＯＢ方式で補正し画像処理を行った画像において、残留横スジがどのように見えるかを、ＩＳＯ感度に応じて示す図表である。

図１９のＢ欄は、Ａ欄よりもＩＳＯ感度が相対的に高くなる画像処理が行われている。ＩＳＯ感度を変化させると、第１の増幅回路２ｃおよび／または第２の増幅回路３ａによる増幅率が変化し、ノイズ低減回路３ｃ２によるノイズ低減処理の強度が変化する。一般に、ＩＳＯ感度が高くなると増幅率が増大し、ノイズ低減処理の強度が大きくなる。

ＩＳＯ感度が高くなると、増幅率に比例して残留横スジが増幅される。また、ＩＳＯ感度が高くなると、強度の大きいノイズ低減処理が行われ、画像全体のランダムノイズが低減される。ランダムノイズが低減されることで、Ｂ欄に示すＩＳＯ感度が相対的に高い観察画像は、Ａ欄に示すＩＳＯ感度が相対的に低い観察画像よりも、残留横スジが目立ち易くなる。

図２０は、ＩＳＯ感度を相対的に高くして、ＶＯＢ方式と調整方式でそれぞれ取得し画像処理を行った画像における、残留横スジの見えの様子を対比して示す図表である。

図２０のＡ欄は、ＩＳＯ感度を相対的に高くしてＶＯＢ方式で取得した画像を示す。図２０のＢ欄は、図２０のＡ欄と同一のＩＳＯ感度において、調整方式で取得した画像を示す。

上述したように、ＶＯＢ方式は、残留横スジがＩＳＯ感度（具体的には、増幅率）に比例（ゲインに比例）して増え、ＩＳＯ感度が高いとノイズ低減処理の影響で残留横スジが目立ち易くなる。

一方、調整方式は、図１５および図１６に示したように、残留横スジのレベルが環境温度に依存して不規則に変動する。ただし、変動の振幅は、ＩＳＯ感度１２８００の場合を示す図１５とＩＳＯ感度１６００の場合を示す図１６とで大差がなく、ＩＳＯ感度に比例しない。つまり、ＩＳＯ感度の変化に対する、残留横スジのレベルの変化は小さい。

こうして、図２０のＢ欄に示す調整方式は、Ａ欄に示すＶＯＢ方式と比べて、ＩＳＯ感度が高い場合に、画像処理後の観察画像における残留横スジが目立ち難い。

図２１は、ＶＯＢ方式と調整方式の、ＩＳＯ感度に応じた残留横スジレベルの絶対値の変化の一例を示すグラフである。なお、図２１では、縦軸に残留横スジレベルの絶対値を示し、横軸にＩＳＯ感度を対数スケールで示している。

図２１において、ｆｖはＶＯＢ方式の残留横スジレベルの絶対値を示し、ｆａは調整方式の残留横スジレベルの絶対値を示す。

図示のように、ＩＳＯ感度が、３２００でＶＯＢ方式の残留横スジレベルの絶対値ｆｖと調整方式の残留横スジレベルの絶対値ｆａがほぼ一致し、３２００未満でＶＯＢ方式の残留横スジレベルの絶対値ｆｖは調整方式の残留横スジレベルの絶対値ｆａよりも小さく、３２００以上でＶＯＢ方式の残留横スジレベルの絶対値ｆｖは調整方式の残留横スジレベルの絶対値ｆａよりも大きくなる。上記の図２０で述べたＶＯＢ方式が調整方式よりも残留横スジが目立ち易い相対的に高いＩＳＯ感度は、図２１から読み取れるような６４００，１２８００等の、３２００以下よりも相対的に高いＩＳＯ感度を指す。

従って、ＩＳＯ感度が、３２００未満の場合にＶＯＢ方式が有利となり、３２００以上の場合に調整方式が有利となる傾向が、図２１に示す一例から読み取れる。

図２２は、調整条件と異なる環境温度における、画像処理後の画像に対するＶＯＢ方式と調整方式の補正精度の相対的な高低を、ＩＳＯ感度に応じて示す図表である。

ＩＳＯ感度が低い場合には、ＶＯＢ方式の補正精度は、調整方式の補正精度よりも相対的に高い。ＩＳＯ感度が高い場合には、ＶＯＢ方式の補正精度は、調整方式の補正精度よりも相対的に低い。

ただし、図２２に示したのは、調整条件と異なる環境温度（調整条件よりも低温または高温）における補正精度である。

図２３は、調整条件の環境温度における、画像処理後の画像に対するＶＯＢ方式と調整方式の補正精度の相対的な高低を、ＩＳＯ感度に応じて示す図表である。

調整条件の環境温度（調整条件の所定の温度を含む所定の温度範囲：図２３では常温と記載している）では、ＩＳＯ感度が低い場合にも、調整方式は高い補正精度を示す。

ところで、観察画像において残留横スジがどの程度見えるかは、画像処理において行われるγ補正の特性に応じて大きく異なる。ここで、γ補正は、人が明るさと色を知覚する際の非線形性を利用し、さらに絵作りの観点も踏まえて、ビット割り当ての最適化、および画像伝送の帯域幅の最適化を行う符号化処理の変換特性を指す。

γ補正は、実際の処理として、単純な数式により変換される場合よりも、絵作りの観点に基づいた最適化を行うためにテーブルを用いて変換される場合の方が多い。

また、カメラは、通常、複数の画質モードを搭載する。複数の画質モードのそれぞれに応じた最適なγ補正を行えるように、１つのカメラが、複数のγ補正特性を備えていることが一般的である。さらに、γ補正特性は、カメラを開発する各社毎に異なり、多様である。

近年の動画撮影では、映像表現として、ダイナミックレンジがより広い映像が求められている。この求めに応じるγ補正の規格として、ハイブリットログガンマ（ＨＬＧ：Hybrid Log Gamma）規格が規定され、導入が進んでいる。ＨＬＧは、ＨＤＲ（ハイダイナミックレンジ）放送用に規定された標準規格である。ＨＬＧは、表示モニタの特性に合わせて規定されている。ＨＬＧによりγ補正された映像は、通常の標準ダイナミックレンジディスプレイにおいて正常に表示でき、ＨＬＧ互換ディスプレイにおいてはより広いダイナミックレンジで表示される。

さらに、近年、映画製作などの高品質な動画撮影に用いられるハイエンドのデジタルビデオカメラやデジタルカメラでは、Ｌｏｇ撮影などと呼ばれる機能が搭載されるようになっている。

Ｌｏｇ撮影では、撮影した映像にカラーグレーディングを行うことを前提として、シャドウ部やハイライト部の情報をより多く残す広いダイナミックレンジ映像を撮影する。

このために、Ｌｏｇ撮影では、対数曲線に類似したγ補正特性（Ｌｏｇγ補正特性）に基づき画像データを補正する。Ｌｏｇ撮影と呼ばれるのは、Ｌｏｇγ補正特性を用いているためである。Ｌｏｇγ補正特性も、上述のγ補正特性と同様に、カメラを開発する各社毎に異なり、多様である。

なお、Ｌｏｇ撮影により得られた映像は、そのまま鑑賞することを前提としていないため、カラーグレーディングを行わずに表示すると、彩度の低い画像に見えることが多い。

図２４は、ナチュラルγ補正特性とＬｏｇγ補正特性の例を示すグラフである。図２４は、１２ビットのＲＡＷ画像を入力信号として、８ビットの出力信号にγ変換する際の変換特性を示している。

図２４において、γＬはＬｏｇγ補正特性を示し、γｎは従来のγ補正特性（ナチュラル：Natural）を示す。１２ビットのＲＡＷ画像において注目すべき約５～２０（ＬＳＢ）における傾きの数値例を以下に示す。傾きを、８ビット変換出力（ＬＳＢ）／１２ビットＲＡＷ入力（ＬＳＢ）として定義する。

１２ビットＲＡＷ入力が５（ＬＳＢ）のとき、γＬの傾きは９／５、γｎの傾きは３／５となり、γＬの傾きはγｎの傾きの３倍である。また、１２ビットＲＡＷ入力が２０（ＬＳＢ）のとき、γＬの傾きは３２／２０、γｎの傾きは１２／２０となり、γＬの傾きはγｎの傾きの２．７倍である。

このように、γＬは、γｎに対して、低照度側で２～３倍程度の大きい傾きをもって立ち上がる特性をもつ。ここで、低照度側のある入力画素値における、γＬの傾きと、γｎの傾きとの中間の傾きを、所定の傾きとする。

このとき、低照度側のある入力画素値におけるγ補正特性の傾き（パラメータ）が、所定の傾きよりも大きい場合はγＬ、所定の傾き以下の場合はγｎとして区分できる。

所定の傾きを、１２ビットＲＡＷ入力が５（ＬＳＢ）の場合、例えば６／５とし、１２ビットＲＡＷ入力が２０（ＬＳＢ）の場合、例えば２２／２０としてもよい。なお、上述のＨＬＧ規格のγ補正特性は、Ｌｏｇγ補正特性と詳細は異なるが類似しており、低照度側のある入力画素値におけるγ補正特性の傾きは所定の傾きより大きい。

図２５は、Ｌｏｇγ補正特性とナチュラルγ補正特性とによりそれぞれ画像処理された画像における残留横スジの見え方の例を示す図表である。

図２５の、Ａ欄はＬｏｇγ補正特性により変換された画像を、Ｂ欄はナチュラルγ補正特性により変換された画像を、それぞれ示す。Ａ欄に示すＬｏｇγ補正特性により変換された画像に比べると、Ｂ欄に示すナチュラルγ補正特性により変換された画像は、残留横スジの見え方が顕著に小さくなる（見えないレベルである）。

図２６は、ＩＳＯ感度に応じたＶＯＢ方式と調整方式の残留横スジレベルの絶対値に対する、Ｌｏｇγ補正特性とナチュラルγ補正特性における許容スレッシュレベルを示すグラフである。なお、図２６では、縦軸に残留横スジレベルの絶対値を示し、横軸にＩＳＯ感度を対数スケールで示している。

図２１と同様に、ｆｖはＶＯＢ方式の残留横スジレベルの絶対値を示し、ｆａは調整方式の残留横スジレベルの絶対値を示す。ＩＳＯ感度に応じた残留横スジレベルの絶対値ｆｖと残留横スジレベルの絶対値ｆａの大小関係は、図２１で説明した通りである。

また、ＴＬはＬｏｇγ補正特性による画像処理を行ったときの許容スレッシュレベルを示し、Ｔｎはナチュラルγ補正特性による画像処理を行ったときの許容スレッシュレベルを示す。なお、許容スレッシュレベルＴＬ，Ｔｎは、それぞれの傾きでＩＳＯ感度に比例しているが、横軸が対数スケールであるので下に凸のカーブとなっている。

許容スレッシュレベルＴｎに対して、残留横スジレベルの絶対値ｆｖおよび残留横スジレベルの絶対値ｆａは、ＩＳＯ感度が４００～１２８００の範囲の全てにおいて小さい。つまり、ナチュラルγ補正特性は、残留横スジの許容範囲が広く、図２６に示す例ではＶＯＢ方式と調整方式の何れを用いても、画像処理後の残留横スジの見え方は変わらない（つまり、残留横スジが見えない）。

一方、許容スレッシュレベルＴＬに対しては、次の傾向がある。

残留横スジレベルの絶対値ｆａは、ＩＳＯ感度が１６００以下になると許容スレッシュレベルＴＬ以上となり、ＩＳＯ感度が１６００より高いと許容スレッシュレベルＴＬより小さくなる。

また、残留横スジレベルの絶対値ｆｖは、ＩＳＯ感度が６４００以下で許容スレッシュレベルＴＬ以下となり、ＩＳＯ感度が６４００より高いと許容スレッシュレベルＴＬより大きくなる。

つまり、Ｌｏｇγ補正特性は、ナチュラルγ補正特性よりも残留横スジの許容範囲が狭く、ＶＯＢ方式と調整方式とで画像処理後の残留横スジの見え方に差が生じる。

図２６に示す例のように、許容スレッシュレベルＴＬと残留横スジレベルの絶対値ｆｖ，ｆａの関係が複雑な場合、ＶＯＢ方式と調整方式を切り替えるポイントとして、幾つかのポイントを設定できる。

例えば、ＩＳＯ感度が６４００のポイント（１）でＶＯＢ方式と調整方式とを切り替えてもよい。この場合、残留横スジレベルの絶対値ｆｖが許容スレッシュレベルＴＬ以下の範囲（ＩＳＯ感度が６４００以下の範囲）ではＶＯＢ方式を用い、残留横スジレベルの絶対値ｆｖが許容スレッシュレベルＴＬを超えた範囲（ＩＳＯ感度が６４００よりも高い範囲）で調整方式に切り替えればよい。

また、ＩＳＯ感度が３２００のポイント（２）でＶＯＢ方式と調整方式とを切り替えてもよい。この場合、残留横スジレベルの絶対値ｆｖと残留横スジレベルの絶対値ｆａとの内の、レベルが大きくない方（レベルが異なる場合には、小さい方）に切り替えればよい。具体的に、ＩＳＯ感度が３２００以下の範囲ではＶＯＢ方式を用い、ＩＳＯ感度が３２００よりも高い範囲で調整方式に切り替えればよい。

このように、横スジ補正方式の精度と画像処理の特性との関係が複雑な場合、画像処理の特性の内の、γ補正特性に注目して横スジ補正方式をＶＯＢ方式と調整方式で切り替える場合と、ノイズ低減処理の強度に注目して横スジ補正方式をＶＯＢ方式と調整方式を切り替える場合と、がある。

一般的に、カメラが自動的にＩＳＯ感度を制御する場合（ＡｕｔｏＩＳＯの場合）は、ＶＯＢ方式と調整方式とがあまり頻繁に切り替わらないことが、カメラの動作上好ましい。従ってこの観点からは、切り替わりが発生する頻度が低いポイント（１）の方が、ポイント（２）よりも好ましい。

上述したように、ＲＡＷ画像において、ＶＯＢ方式と調整方式では、横スジ補正した後に残留する横スジレベルの、繰り返しばらつきや温度依存の特性が異なる（図１７参照）。

さらに、ＲＡＷ画像に、画像処理（γ補正、ＩＳＯ感度に応じた信号増幅およびノイズ低減処理など）を行った後の、残留横スジのレベルは、環境温度やＩＳＯ感度に応じて、図２２および図２３に示すような補正精度の相違がある。

こうした特性や補正精度に応じて、例えば図２７に示すようなＶＯＢ方式と調整方式を切り替える選択処理を行うことで、画像処理後の残留横スジレベルを最小化し、または許容レベル以下にして、残留横スジの見え方を最適化できる。

図２７は、ＶＯＢ方式と調整方式との何れか一方を選択する処理の一例を示すフローチャートである。図２７の処理は、横スジ補正回路３ｂが行ってもよい。また、カメラコントローラ１０が図２７の処理を行って、処理により選択した結果を横スジ補正回路３ｂに設定しても構わない。ここでは例えば、カメラコントローラ１０が図２７の処理を行うものとして説明する。

カメラにおける図示しないメイン処理からこの選択処理に入ると、カメラコントローラ１０は、画質モードなどに応じて設定されているγ補正特性が、ナチュラルγ補正特性とＬｏｇγ補正特性の何れであるかを判定する（ステップＳ１）。

ここで、ナチュラルγ補正特性であると判定した場合は、図２６を参照して説明したように、残留横スジレベルの絶対値ｆｖと残留横スジレベルの絶対値ｆａは何れも、設定可能な任意のＩＳＯ感度において、許容スレッシュレベルＴｎより小さい。そこで、カメラコントローラ１０は、調整方式とＶＯＢ方式の任意の一方を選択する（ステップＳ２）。具体的に、カメラコントローラ１０は、それまでに使用されている方式を変えることなく維持すればよい。従って、それまでにＶＯＢ方式が使用されていればそのままＶＯＢ方式を使用し、それまでに調整方式が使用されていればそのまま調整方式を使用する。

ステップＳ１において、Ｌｏｇγ補正特性であると判定した場合、カメラコントローラ１０は、さらにＩＳＯ感度が所定値よりも大きいか否かを判定する（ステップＳ３）。図２６で説明した例では、所定値は、ポイント（１）の６４００、またはポイント（２）の３２００である。

ここで、所定値よりも大きいと判定した場合、カメラコントローラ１０は、調整方式を選択して、横スジ補正回路３ｂに設定する（ステップＳ４）。

一方、ステップＳ３において所定値以下であると判定した場合、カメラコントローラ１０は、さらに温度センサ１１により測定された環境温度が所定の温度範囲外であるか否かを判定する（ステップＳ５）。ここで、所定の温度範囲は、調整条件の環境温度（所定の温度）を含む一定範囲（図２３の図表が適用される範囲）である。

ステップＳ４において、調整条件の環境温度を含む所定の温度範囲内であると判定した場合、図２３に示したように、ＩＳＯ感度が低ければ、ＶＯＢ方式と調整方式との何れも補正精度が高い。そこで、カメラコントローラ１０は、ステップＳ２へ行って、それまでに使用されている方式を変えることなく維持する。

また、ステップＳ５において、所定の温度範囲外であると判定した場合、カメラコントローラ１０は、ＶＯＢ方式を選択して、横スジ補正回路３ｂに設定する（ステップＳ６）。こうして、環境温度は、横スジ補正回路３ｂが選択に用いる他のパラメータとなっている。

こうして、ステップＳ２、Ｓ４、またはＳ６により横スジ補正方式の選択が行われたら、この処理を終了して図示しないメイン処理にリターンする。

なお、図２７に示した処理では、γ補正特性と、ＩＳＯ感度と、環境温度と、の３つの要因に応じて横スジ補正方式を選択したが、選択に用いる要因は１つ以上であればよく、３つの要因の全てを用いる必要はない。

例えば、環境温度に基づく横スジ補正方式の選択を省略して、γ補正特性およびＩＳＯ感度に基づき横スジ補正方式を選択してもよい。この場合、撮像装置に温度センサ１１を設けなくても構わない。そして、図２７の処理において、ステップＳ１でナチュラルγ補正特性であると判定した場合はステップＳ２へ行き、ステップＳ３でＩＳＯ感度が所定値よりも大きいと判定した場合はステップＳ４へ行き、ＩＳＯ感度が所定値以下であると判定した場合はステップＳ６へ行けばよい。

また、例えば、γ補正特性のみに基づき、横スジ補正方式を選択しても構わない。具体的に、γ補正特性が、ナチュラルγ補正特性である場合はＶＯＢ方式を選択し、Ｌｏｇγ補正特性である場合は調整方式を選択しても構わない（図２６および図２６の説明も参照）。

さらに、例えば、ＩＳＯ感度のみに基づき、横スジ補正方式を選択しても構わない。具体的に、図２７のステップＳ３において、ポイント（１）またはポイント（２）以下のＩＳＯ感度でＶＯＢ方式を選択（ステップＳ６）し、ポイント（１）またはポイント（２）よりも大きいＩＳＯ感度で調整方式を選択（ステップＳ４）しても構わない。この場合、図２７の処理において、ステップＳ１，Ｓ２，Ｓ５の処理を省略すればよい。

なお、ＩＳＯ感度の変化は、上述したように、増幅率の変化、およびノイズ低減処理の強度の変化に関連している。そこで、ＩＳＯ感度に基づく横スジ補正方式の選択を行う代わりに、増幅率に基づく横スジ補正方式の選択、およびノイズ低減処理の強度に基づく横スジ補正方式の選択をそれぞれ行っても構わない。

例えば、横スジ補正回路３ｂは、増幅率が、所定の増幅率以下の場合は第１のオフセット補正方式（ＶＯＢ方式）を選択し、所定の増幅率よりも大きい場合は第２のオフセット補正方式（調整方式）を選択してもよい。また、横スジ補正回路３ｂは、ノイズ低減処理の強度が、所定の強度以下の場合は第１のオフセット補正方式（ＶＯＢ方式）を選択し、所定の強度よりも大きい場合は第２のオフセット補正方式（調整方式）を選択しても構わない。

さらに、上述した、γ補正特性、ＩＳＯ感度、環境温度、増幅率、ノイズ低減処理の強度だけでなく、画像処理や絵作りに関連するその他の要因にさらに基づき、横スジ補正方式を選択しても構わない。

このように、高速映像位相差読出モードにおいて、画像処理のパラメータを考慮して横スジ補正方式を最適化することで、横スジ補正し画像処理した後の残留横スジレベルを最適化（最小化、または許容レベル以下に）できる。

なお、図５では、画質優先の高速映像位相差読出モードにより、２ＰＤ領域から画素信号（Ｌ＋Ｒ）および分割画素信号Ｌを読み出す例を示した。これに対し、上述した位相差検知性能優先の高速映像位相差読出モードにより、２ＰＤ領域から分割画素信号Ｌおよび分割画素信号Ｒを読み出すこともできる。

図２８は、イメージセンサ２から、位相差検知性能優先の高速映像位相差読出モードで読み出された信号の例を示す図である。

位相差検知性能優先の高速映像位相差読出モードの場合、横スジ補正回路３ｂは、ＶＯＢ方式において、ＲＡＷ画像データ中の横スジを、次の（Ｂ１）～（Ｂ３）に示すような処理を行い補正する。

（Ｂ１） 垂直ＯＢ領域の信号からのＯＢレベルの算出処理
横スジ補正回路３ｂは、第１垂直ＯＢ領域ＶＯＢ１内に設定した四角領域（２ＰＤ領域）内の各画素２ｐの光電変換素子ＰＤＬからそれぞれ読み出された信号の平均値を算出してＯＢレベルＯＢ＿Ｌを得る。また、横スジ補正回路３ｂは、第１垂直ＯＢ領域ＶＯＢ１内に設定した四角領域（２ＰＤ領域）内の光電変換素子ＰＤＲからそれぞれ読み出された信号の平均値を算出してＯＢレベルＯＢ＿Ｒを得る。さらに、横スジ補正回路３ｂは、第２垂直ＯＢ領域ＶＯＢ２内に設定した四角領域（１ＰＤ領域）内の各画素２ｐの光電変換素子ＰＤＬおよび光電変換素子ＰＤＲの信号を加算して読み出された信号の平均値を算出してＯＢレベルＯＢ＿ＡＬＬを得る。

（Ｂ２） 垂直ＯＢ領域の左右分割画素信号の加算処理
横スジ補正回路３ｂは、垂直ＯＢ領域の２ＰＤ領域から読み出された左右の分割画素信号の平均値を加算して、（式４）により加算値ＳｕｍＯＢを算出する。
ＳｕｍＯＢ＝ＯＢ＿Ｌ＋ＯＢ＿Ｒ …（式４）

（Ｂ３） 有効領域ＶＲｅｆｆの左右分割画素信号の加算処理
横スジ補正回路３ｂは、有効領域ＶＲｅｆｆに設定された位相差検知領域ＶＲＰ内の２ＰＤ領域の各画素２ｐに対して（式５）の演算を行い、演算結果Ｓｕｍを得る。
Ｓｕｍ＝（Ｌ＋Ｒ）－ＳｕｍＯＢ＋ＯＢ＿ＡＬＬ
＝（Ｌ－ＯＢ＿Ｌ）＋（Ｒ－ＯＢ＿Ｒ）＋ＯＢ＿ＡＬＬ …（式５）

（式５）は、次の処理を行うことを意味する。すなわち、２ＰＤ領域の通常画素から読み出される分割画素信号Ｌ，Ｒを加算して加算通常画素信号（Ｌ＋Ｒ）を生成する。そして、２ＰＤ領域のＯＢ画素から読み出されるＯＢレベルＯＢ＿Ｌ，ＯＢ＿Ｒを加算通常画素信号（Ｌ＋Ｒ）から減算して、暫定ＯＢ減算画素信号｛（Ｌ－ＯＢ＿Ｌ）＋（Ｒ－ＯＢ＿Ｒ）｝を生成する。さらに、１ＰＤ領域のＯＢ画素から読み出される平均ＯＢ画素信号ＯＢ＿ＡＬＬを暫定ＯＢ減算画素信号｛（Ｌ－ＯＢ＿Ｌ）＋（Ｒ－ＯＢ＿Ｒ）｝に加算して、画素データとしての演算結果Ｓｕｍを生成する。

次に、横スジ補正回路３ｂは、位相差検知性能優先の高速映像位相差読出モードにおいて、調整方式で用いるＯＢレベルＣｏｍｐ＿（Ｌ＋Ｒ）＿ＡＬＬ＿Ｏｆｆｓｅｔ（予め決められた値）を、調整工程において以下のように求める。ここで、ＯＢレベルＣｏｍｐ＿（Ｌ＋Ｒ）＿ＡＬＬ＿Ｏｆｆｓｅｔの算出に用いるのは、イメージセンサ２を遮光状態にして取得した１以上のフレーム画像の有効領域ＶＲｅｆｆの信号である。

具体的に、有効領域ＶＲｅｆｆの２ＰＤ領域の各画素２ｐの光電変換素子ＰＤＬからそれぞれ読み出された信号の平均値を算出してＯＢレベルＣｏｍｐ＿Ｌを得る。また、有効領域ＶＲｅｆｆの２ＰＤ領域の複数の光電変換素子ＰＤＲからそれぞれ読み出された信号の平均値を算出してＯＢレベルＣｏｍｐ＿Ｒを得る。

さらに、有効領域ＶＲｅｆｆの１ＰＤ領域の各画素２ｐの光電変換素子ＰＤＬおよび光電変換素子ＰＤＲの信号を加算して読み出された信号の平均値を算出してＯＢレベルＣｏｍｐ＿ＡＬＬを得る。

そして、（式６）により、調整方式で用いるＯＢレベルＣｏｍｐ＿（Ｌ＋Ｒ）＿ＡＬＬ＿Ｏｆｆｓｅｔを求める。
Ｃｏｍｐ＿（Ｌ＋Ｒ）＿ＡＬＬ＿Ｏｆｆｓｅｔ
＝Ｃｏｍｐ＿Ｌ＋Ｃｏｍｐ＿Ｒ－Ｃｏｍｐ＿ＡＬＬ …（式６）

（式６）により求めたＯＢレベルＣｏｍｐ＿（Ｌ＋Ｒ）＿ＡＬＬ＿Ｏｆｆｓｅｔを用いた、調整方式により横スジ補正は、上述した（式３）により行う。

このように、横スジ補正回路３ｂによる調整方式とＶＯＢ方式との選択は、画質優先の高速映像位相差読出モードだけでなく、位相差検知性能優先の高速映像位相差読出モードにおいても同様に行える。

なお、ＶＯＢ方式では、図１１に示したような繰り返しばらつき変動（標準偏差σを指標とした変動）が、垂直ＯＢ領域ＶＯＢから得られるＯＢレベルのフレーム毎の変動によって生じる。また、垂直ＯＢ領域ＶＯＢのＯＢレベルと有効領域ＶＲｅｆｆのＯＢレベルには平均的な差があるため、ＶＯＢ方式では、図１１に示したように、補正量の平均的なずれ（残留横スジレベルの平均値μ≠０）が生じる。そこで、ＶＯＢ方式の特性をより改善するために、この平均的なずれを補正するとよい。

調整方式と類似した手法を用い、調整工程において、遮光状態にしたイメージセンサ２から複数フレームの画像を取得し、複数フレームの画像それぞれの有効領域ＶＲｅｆｆの第２の行から読み出した複数の信号から得られる画素信号に第１のオフセット補正を行った後の画素信号の平均値を算出する。ここで算出した平均値は、２ＰＤ領域と１ＰＤ領域とのＯＢレベルの段差｛ＯＢ＿（Ｌ＋Ｒ）－ＯＢ＿ＡＬＬ｝の、垂直ＯＢ領域ＶＯＢと有効領域ＶＲｅｆｆとの平均的な差分を表し、図１１の平均値μに該当する。算出された平均値μは、カメラコントローラ１０内のメモリに保存しておく。

そして非遮光状態で取得された画像にＶＯＢ方式の補正を行う際に、フレーム毎に取得した垂直ＯＢ領域ＶＯＢの信号から算出した｛ＯＢ＿（Ｌ＋Ｒ）－ＯＢ＿ＡＬＬ｝を、カメラコントローラ１０内のメモリから取得した平均値μによりさらに補正してから、補正を行う。

こうして、ＶＯＢ方式を、調整工程で取得した平均値μを用いてさらに補正することで、横スジを補正する性能が向上する。また、ＶＯＢ方式の性能が向上することで、ＩＳＯ感度に応じた切り替えポイント（例えば、図２６に示したポイント（１）、（２）など）を、より高いＩＳＯ感度へ変更できる。これにより、ＶＯＢ方式と調整方式が切り替わる頻度を小さくできる。

このような第１の実施形態によれば、高速映像位相差読出モードで読み出される信号を画像処理して得られる観察画像の横スジをより目立たなくできる。

なお、上述では本発明が撮像装置である場合を主として説明したが、これに限定されるものではなく、本発明は、撮像装置と同様の処理を行う画像処理方法であってもよいし、コンピュータに撮像装置と同様の処理を行わせるためのコンピュータプログラム、前記コンピュータプログラムを記憶するコンピュータにより読み取り可能な一時的でない記憶媒体、等であっても構わない。

ここで、コンピュータプログラム製品を記憶する記憶媒体の幾つかの例は、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read only memory）、ＤＶＤ（Digital Versatile Disc）等の可搬記憶媒体、またはハードディスク等の記憶媒体などである。記憶媒体に記憶されるのは、コンピュータプログラムの全部に限らず、一部であっても構わない。また、コンピュータプログラムの全体もしくは一部を、通信ネットワークを経由して流通または提供してもよい。利用者は、記憶媒体からコンピュータプログラムをコンピュータにインストールすることで、または通信ネットワークを経由してコンピュータプログラムをダウンロードしコンピュータにインストールすることで、コンピュータプログラムがコンピュータにより読み取られて、動作の全部もしくは一部が実行され、上述した撮像装置の動作を実行できる。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…レンズ
２…イメージセンサ
２ａ…画素領域
２ｂ…読出回路
２ｃ…第１の増幅回路
２ｄ…ＯＢクランプ回路
２ｐ…画素
３…画像処理回路
３ａ…第２の増幅回路
３ｂ…横スジ補正回路
３ｃ…画像基礎処理回路
３ｃ１…γ補正回路
３ｃ２…ノイズ低減回路
４…ディスプレイ
５…記録用メモリ
６…手振センサ
７…手振補正機構
８…フォーカス制御機構
９…カメラ操作デバイス
１０…カメラコントローラ
１１…温度センサ
ＶＲｅｆｆ…有効領域
ＶＯＢ…垂直ＯＢ領域

Claims (21)

1. １つのマイクロレンズと、複数の光電変換素子と、をそれぞれ備える複数の画素が、行単位で２次元に配置され、遮光された複数の行を有する遮光領域と、光が到達する複数の行を有する有効領域と、を備える画素領域と、
   前記遮光領域および前記有効領域の第１の行の各画素から前記複数の光電変換素子の信号を全て加算した画素信号を読み出し、前記遮光領域および前記有効領域の第２の行の各画素から位相差情報を含む複数の信号を読み出す読出回路と、
   前記有効領域の前記第２の行から読み出した複数の信号から得られる画素信号に、前記遮光領域の前記第１の行から読み出した画素信号および前記遮光領域の前記第２の行から読み出した複数の信号に基づく第１のオフセット補正と、予め決められた値に基づく第２のオフセット補正と、の一方を行う横スジ補正回路と、
   前記第１のオフセット補正または前記第２のオフセット補正が行われた画素信号、および前記有効領域の前記第１の行から読み出した画素信号に基づき構成された画像データを、パラメータに応じて画像処理する画像処理回路と、
   を有し、
   前記横スジ補正回路は、前記パラメータに応じて、前記第１のオフセット補正と、前記第２のオフセット補正との何れを行うかを選択する
   ことを特徴とする撮像装置。
2. 前記画像処理回路は、前記画像データにノイズ低減処理を行うノイズ低減回路を備え、
   前記パラメータは、前記ノイズ低減処理の強度を含むことを特徴とする請求項１に記載の撮像装置。
3. 前記横スジ補正回路は、前記強度が、所定の強度以下の場合は前記第１のオフセット補正を選択し、前記所定の強度よりも大きい場合は前記第２のオフセット補正を選択することを特徴とする請求項２に記載の撮像装置。
4. 前記画像処理回路は、γ補正特性に基づき前記画像データを補正するγ補正回路をさらに備え、
   前記横スジ補正回路は、ある入力画素値におけるγ補正特性の傾きが所定の傾きよりも大きい場合、前記強度に応じた選択を行うことを特徴とする請求項２または３に記載の撮像装置。
5. 前記横スジ補正回路は、前記傾きが前記所定の傾き以下の場合、前記強度に応じた選択を行わず、前記第１のオフセット補正と前記第２のオフセット補正との内の任意の一方を行うことを特徴とする請求項４に記載の撮像装置。
6. 環境温度を測定する温度センサをさらに備え、
   前記予め決められた値は、所定の温度において、遮光状態にした前記有効領域の、前記第１の行から読み出された画素信号、および前記第２の行から読み出された複数の信号に基づき生成され、
   前記横スジ補正回路は、前記強度が前記所定の強度以下であり、かつ、前記環境温度が前記所定の温度を含む所定の温度範囲の外である場合、前記強度に応じて前記第１のオフセット補正を選択することを特徴とする請求項３に記載の撮像装置。
7. 前記横スジ補正回路は、前記強度が前記所定の強度以下であり、かつ、前記環境温度が前記所定の温度範囲の内である場合、前記強度に応じた選択を行わず、前記第１のオフセット補正と前記第２のオフセット補正との内の任意の一方を行うことを特徴とする請求項６に記載の撮像装置。
8. 前記画像処理回路は、前記有効領域の前記第１の行から読み出された画素信号、および前記第２の行から読み出された複数の信号を、設定した増幅率で増幅する増幅回路をさらに備え、
   前記パラメータは、前記増幅率を含むことを特徴とする請求項１に記載の撮像装置。
9. 前記横スジ補正回路は、前記増幅率が、所定の増幅率以下の場合は前記第１のオフセット補正を選択し、前記所定の増幅率よりも大きい場合は前記第２のオフセット補正を選択することを特徴とする請求項８に記載の撮像装置。
10. 前記画像処理回路は、γ補正特性に基づき前記画像データを補正するγ補正回路を備え、
    前記横スジ補正回路は、ある入力画素値におけるγ補正特性の傾きが所定の傾きよりも大きい場合、前記増幅率に応じた選択を行うことを特徴とする請求項８または９に記載の撮像装置。
11. 前記横スジ補正回路は、前記傾きが前記所定の傾き以下の場合、前記増幅率に応じた選択を行わず、前記第１のオフセット補正と前記第２のオフセット補正との内の任意の一方を行うことを特徴とする請求項１０に記載の撮像装置。
12. 環境温度を測定する温度センサをさらに備え、
    前記予め決められた値は、所定の温度において、遮光状態にした前記有効領域の、前記第１の行から読み出された画素信号、および前記第２の行から読み出された複数の信号に基づき生成され、
    前記横スジ補正回路は、前記増幅率が前記所定の増幅率以下であり、かつ、前記環境温度が前記所定の温度を含む所定の温度範囲の外である場合、前記増幅率に応じて前記第１のオフセット補正を選択することを特徴とする請求項９に記載の撮像装置。
13. 前記横スジ補正回路は、前記増幅率が前記所定の増幅率以下であり、かつ、前記環境温度が前記所定の温度範囲の内である場合、前記増幅率に応じた選択を行わず、前記第１のオフセット補正と前記第２のオフセット補正との内の任意の一方を行うことを特徴とする請求項１２に記載の撮像装置。
14. 前記画素領域および前記読出回路を備えるイメージセンサをさらに備え、
    前記イメージセンサは、前記読出回路により読み出された信号をセンサ増幅率で増幅するセンサ増幅回路をさらに備え、
    前記横スジ補正回路は、前記第１のオフセット補正と前記第２のオフセット補正との選択を、前記増幅率と、前記センサ増幅率と、の両方に基づき行うことを特徴とする請求項８に記載の撮像装置。
15. 遮光状態にした前記画素領域から取得される複数フレームの画像それぞれの前記有効領域の前記第２の行から読み出した複数の信号から得られる画素信号に前記第１のオフセット補正を行った後の画素信号であって、前記第１のオフセット補正の結果に残留するオフセットに相当する画素信号の前記複数フレームに関する平均値を取得し、
    非遮光状態で取得され前記有効領域の前記第２の行から読み出した複数の信号から得られる画素信号に対する前記第１のオフセット補正において、前記遮光領域の前記第１の行から読み出した画素信号および前記遮光領域の前記第２の行から読み出した複数の信号に基づき取得した補正値を、前記平均値に基づき補正した値を用いて、前記第１のオフセット補正を行うことを特徴とする請求項１に記載の撮像装置。
16. 前記画像処理回路は、γ補正特性に基づき前記画像データを補正するγ補正回路と、前記画像データにノイズ低減処理を行うノイズ低減回路と、を備え、
    前記パラメータは、ある入力画素値におけるγ補正特性の傾きと、前記ノイズ低減処理の強度と、を含むことを特徴とする請求項１に記載の撮像装置。
17. 前記画像処理回路は、γ補正特性に基づき前記画像データを補正するγ補正回路と、前記有効領域の前記第１の行から読み出された画素信号、および前記第２の行から読み出された複数の信号を、設定した増幅率で増幅する増幅回路と、を備え、
    前記パラメータは、ある入力画素値におけるγ補正特性の傾きと、前記増幅率と、を含むことを特徴とする請求項１に記載の撮像装置。
18. １つのマイクロレンズと、複数の光電変換素子と、をそれぞれ備える複数の画素が、行単位で２次元に配置され、遮光された複数の行を有する遮光領域と、光が到達する複数の行を有する有効領域と、を備える画素領域と、
    前記遮光領域および前記有効領域の第１の行の各画素から前記複数の光電変換素子の信号を全て加算した画素信号を読み出し、前記遮光領域および前記有効領域の第２の行の各画素から位相差情報を含む複数の信号を読み出す読出回路と、
    前記有効領域の前記第１の行から読み出した画素信号に、前記遮光領域の前記第１の行から読み出した画素信号および前記遮光領域の前記第２の行から読み出した複数の信号に基づく第１のオフセット補正と、予め決められた値に基づく第２のオフセット補正と、の一方を行う横スジ補正回路と、
    前記第１のオフセット補正または前記第２のオフセット補正が行われた画素信号、および前記有効領域の前記第２の行から読み出した複数の信号から得られる画素信号に基づき構成された画像データを、パラメータに応じて画像処理する画像処理回路と、
    を有し、
    前記横スジ補正回路は、前記パラメータに応じて、前記第１のオフセット補正と、前記第２のオフセット補正との何れを行うかを選択する
    ことを特徴とする撮像装置。
19. １つのマイクロレンズと、複数の光電変換素子と、をそれぞれ備える複数の画素が、行単位で２次元に配置され、遮光された複数の行を有する遮光領域と、光が到達する複数の行を有する有効領域と、を備える画素領域の、前記遮光領域および前記有効領域の第１の行の各画素から前記複数の光電変換素子の信号を全て加算した画素信号を読み出し、
    前記遮光領域および前記有効領域の第２の行の各画素から位相差情報を含む複数の信号を読み出し、
    前記有効領域の前記第２の行から読み出した複数の信号から得られる画素信号に、前記遮光領域の前記第１の行から読み出した画素信号および前記遮光領域の前記第２の行から読み出した複数の信号に基づく第１のオフセット補正と、予め決められた値に基づく第２のオフセット補正と、の一方を行い、
    前記第１のオフセット補正または前記第２のオフセット補正が行われた画素信号、および前記有効領域の前記第１の行から読み出した画素信号に基づき構成された画像データを、パラメータに応じて画像処理し、
    前記パラメータに応じて、前記第１のオフセット補正と、前記第２のオフセット補正との何れを行うかを選択する
    ことを特徴とする画像処理方法。
20. 前記画像データにノイズ低減処理をさらに行い、
    前記パラメータは、前記ノイズ低減処理の強度を含み、前記強度が、所定の強度以下の場合は前記第１のオフセット補正を選択し、前記所定の強度よりも大きい場合は前記第２のオフセット補正を選択することを特徴とする請求項１９に記載の画像処理方法。
21. 前記有効領域の前記第１の行から読み出された画素信号、および前記第２の行から読み出された複数の信号を、設定した増幅率で増幅し、
    前記パラメータは、前記増幅率を含み、前記増幅率が、所定の増幅率以下の場合は前記第１のオフセット補正を選択し、前記所定の増幅率よりも大きい場合は前記第２のオフセット補正を選択することを特徴とする請求項１９に記載の画像処理方法。

Images