JP6990988B2 - 撮像装置及び撮像素子の制御方法 - Google Patents

Description

本発明は、撮像装置及び撮像素子の制御方法に関し、更に詳しくは、ダイナミックレンジ拡大と撮像面位相差ＡＦによる焦点検出とを行う撮像装置及び撮像素子の制御方法に関するものである。

従来より、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を用いたデジタルカメラやデジタルビデオカメラが広く用いられている。しかし、これらの撮像素子は、銀塩フィルムと比較してダイナミックレンジ（ラチチュード）が狭い。そのため、高コントラストのシーンを撮像すると、低輝度部分の階調性悪化（黒つぶれ）や高輝度部分の階調性悪化（白飛び）が発生しやすかった。

これに対し、特許文献１には、同一の被写体を異なる露光量で２枚撮影し、撮影した２枚の画像の画像データを合成することにより、ダイナミックレンジを拡大した画像データを生成する技術が開示されている。

一方、撮像装置の焦点検出機能として、１つのマイクロレンズに対して複数の光電変換部を持った撮像素子により、一対の瞳分割像を取得し、得られた一対の瞳分割像の位相差を求めて焦点検出を行う、いわゆる撮像面位相差方式の技術が知られている。例えば、特許文献２では、瞳分離した像により位相差を求めて焦点検出を行うと同時に、同一のマイクロレンズに対応した複数の光電変換部からの信号を全て加算して１つの画素の信号として取り扱うことで、従来の撮像素子配列と同じ信号を得るようにしている。そして、得られた信号を従来の信号処理技術により処理して画像データを作成することが開示されている。

更に、特許文献３では、このような撮像素子の次のような信号読み出し方法が開示されている。まず、第１の動作で、瞳分割された２つのフォトダイオードのうち第１画素信号を読み出し、第２の動作で、第１画素信号をリセットせずに第２画素信号を加算して読み出す。そして、加算信号から第１画素信号を減算して、第２画素信号を取得する。

特開２０００－５０１５１号公報 特開２００８－１３４３８９号公報 特開２０１３－１０６１９４号公報

しかしながら、上述した従来技術の構成では、以下のような問題があった。まず、デジタルカメラやデジタルビデオカメラ等の撮像装置の高画質化・高フレームレート化に伴い、これらの装置内に搭載される集積回路が処理する画像データ量が増大している。こういった莫大な画像データを取り扱うためには、集積回路内のデータ転送容量の帯域を確保するために、一般に、幅の大きなデータバス、高い動作周波数、大容量の記録装置等、高価かつ大量の回路資源が必要となる。

一方、ダイナミックレンジを拡大するための露出量の異なる２枚の画像の画像データに加えて、位相差検出用に各露出量で焦点検出用信号を読み出すと、単純に１枚の画像の画像データを読み出す場合に比べて、データ量が４倍になってしまう。そのため、限られた回路資源では、高画質化・高フレームレート化が実現できない可能性がある。

本発明は上記問題点を鑑みてなされたものであり、ダイナミックレンジの拡大及び焦点検出の両方に必要な信号を、限られた回路資源を用いて、より高い動作周波数で取得できるようにすることを目的とする。

上記目的を達成するために、本発明の撮像装置は、露出を制御する露出制御手段と、複数のマイクロレンズそれぞれに対して複数の光電変換部を備える撮像素子と、前記撮像素子から、複数の異なる露出で複数の画像の画像信号と、前記複数の露出のいずれかの露出で前記複数の光電変換部の一部から焦点検出用信号とをそれぞれ異なるタイミングで読み出すように、前記撮像素子を制御する制御手段と、前記焦点検出用信号を読み出した露出と同じ露出で読み出した前記画像信号と、前記焦点検出用信号とから、一対の焦点検出用信号を生成する生成手段とを有する。

以上説明したように、本発明によれば、ダイナミックレンジの拡大及び焦点検出の両方に必要な信号を、限られた回路資源を用いて、より高い動作周波数で取得できるようにすることができる。

本発明の実施形態に係る撮像装置の全体構成を示すブロック図。 実施形態に係る撮像素子の画素配列を説明する図。 撮影レンズの射出瞳から出た光束が単位画素に入射する概念を示す図。 実施形態に係る各フレームで読み出す画像データ及び焦点検出用信号を説明する図。 実施形態に係る評価値算出部の構成を示すブロック図。 実施形態に係る露出量決定処理を示すフローチャート。 実施形態に係る撮像装置で行われる合成処理の流れを示すフローチャート。 実施形態に係る画像合成部の構成を示すブロック図。 実施形態に係るガンマ補正部の入出力特性を示す図。 実施形態に係る画像データの合成比率の決定方法を説明するための図。 実施形態に係る焦点検出処理を示すフローチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

図１は、本発明の実施形態における撮像装置の全体構成を示すブロック図である。図１において、光学系１０１は、ズームレンズ、フォーカスレンズ等の少なくとも１つ以上のレンズと、絞りを有する。光学系駆動部１０２は、ＡＦ制御部１１１から出力されるフォーカス情報や、システム制御部１１２の光学系駆動情報に応じて光学系１０１を制御する。

撮像素子１０３は、被写体像を光電変換により電気信号に変換して出力する。ここで、撮像素子１０３の画素構成について説明する。

図２は、撮像素子１０３を構成する画素配列を説明する図である。本実施形態では、マイクロレンズアレイを形成する各マイクロレンズ２０１に対して、複数の光電変換部２０１Ａ，２０１Ｂが対応するように配置されている。図中（０，０）、（１，０）、（０，１）等で示される各領域は、撮像素子１０３における単位画素２０２を示し、各単位画素２０２は、１つのマイクロレンズ２０１と、複数の光電変換部２０１Ａ，２０１Ｂとから構成される。なお、本実施形態では単位画素２０２には２つの光電変換部２０１Ａ，２０１ＢがＸ軸方向に並べられた場合を示しているが、Ｙ軸方向に並べても、また、３つ以上の光電変換部を各マイクロレンズ２０１に対応するように構成しても良い。

図３は、光学系１０１から射出された光が１つのマイクロレンズ２０１を通過して、２つの光電変換部２０１Ａ，２０１Ｂで受光される様子を光軸Ｚに対して垂直方向（Ｙ軸方向）から観察した図である。光学系１０１の射出瞳３００を通過した光は、光軸Ｚを中心として、単位画素２０２に入射する。図３に示すように瞳領域３０１を通過する光束はマイクロレンズ２０１を通して光電変換部２０１Ａで受光され、瞳領域３０２を通過する光束はマイクロレンズ２０１を通して光電変換部２０１Ｂで受光される。従って、光電変換部２０１Ａと２０１Ｂはそれぞれ光学系１０１の射出瞳の異なる領域を通過した光を受光している。

このように構成された、Ｘ軸方向に並ぶ複数の単位画素２０２のうち、瞳分割された光電変換部２０１Ａの焦点検出用信号群で構成した被写体像をＡ像、瞳分割された光電変換部２０１Ｂの焦点検出用信号信号群で構成した被写体像をＢ像とする。そして、Ａ像とＢ像に対して相関演算を実施することで、像のずれ量（位相差）を検出する。さらに、像のずれ量に対して焦点位置と光学系の特性に応じて決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。ここで算出された焦点位置情報を基に、光学系１０１に含まれる不図示のフォーカスレンズを制御することで、撮像面位相差ＡＦが可能となる。

また、光電変換部２０１Ａの信号と光電変換部２０１Ｂの信号を加算して出力することで、単位画素２０２の画像信号を得ることができる。

撮像素子駆動部１０４は、システム制御部１１２からの撮像素子駆動指示情報に応じて、撮像素子１０３を制御する。撮像素子１０３は、撮像素子駆動部１０４から出力される制御信号によって、異なる複数の露出量で撮影した複数の画像の画像信号と、複数の露出量のいずれかを用いて位相差方式の焦点検出用信号の一方（複数の光電変換部の一部から読み出した信号）を出力する。

図４は、各フレーム（予め決められた周期）で撮像素子１０３から読み出される画像信号及び焦点検出用信号の一例を示す図である。なお、以下の説明では、複数の露光量を２種類とし、各フレームで、２枚の画像の画像信号と、１つの焦点検出用信号を出力するものとする。また、図４では、測光を行って、その結果に基づいて予め決められた信号値の範囲内に画像信号が収まるように、いわゆる適正露出量で撮影された画像信号を「適」、適正露出量よりも少ない露出量で撮影された画像信号を「アンダー」と記載している。本実施形態では、画像合成によりダイナミックレンジを拡大できるように、露出アンダーの画像信号と適正露出の画像信号を読み出す一方、焦点検出用信号はフレーム毎に、露出アンダーと適正露出を切り替えて読み出す。上述した露出制御は、不図示の測光部による測光結果や、撮像して得られた画像信号の輝度に基づく測光結果に応じて、システム制御部１１２により行われる。

焦点検出用信号の露出量は、撮像素子駆動部１０４から指示された制御信号によって切り替えを行っており、制御信号の基になる評価値の算出に関しては後述する。

加算信号分離部１０５には、撮像素子１０３から２枚の画像の画像信号と、２種類の露出量のいずれかで得られた焦点検出用信号の一方が入力される。そして、焦点検出用信号と露出量が一致する画像信号から焦点検出用信号を減算することで、もう一方の焦点検出用信号を生成し、一対の焦点検出用信号を位相差検出部１１０及び飽和画素カウンタ１１３に出力する。この際に、加算信号分離部１０５は、システム制御部１１２により設定される焦点検出領域について、一対の焦点検出用信号を生成する。一方、２枚の画像の画像信号は、カメラ信号処理部１０６に出力する。

カメラ信号処理部１０６は、加算信号分離部１０５から得られた２枚の画像それぞれの画像信号に対し、例えば、色変換、ホワイトバランス等の既知の画像処理を行って、得られた画像データを画像合成部１０７に出力する。以下、露出アンダーの画像データを「アンダー画像データ」、適正露出の画像データを「適正画像データ」と呼ぶ。画像合成部１０７は、アンダー画像データと適正画像データを合成して、ダイナミックレンジの広い１枚の画像の画像データを生成し、圧縮部１０８及び評価値算出部１１４に出力する。

合成された画像データは、圧縮部１０８にて圧縮符号化され、記録部１０９によって記録媒体に記録される。記録媒体は、撮像装置に対して着脱可能であってもよいし、撮像装置に内蔵されていてもよい。

一方、位相差検出部１１０では、加算信号分離部１０５から得られた一対の焦点検出信号の位相差を検出し、ＡＦ制御部１１１は、得られた位相差を基に、光学系１０１のフォーカスレンズの位置を制御するための焦点位置情報を算出する。

システム制御部１１２は、撮像装置全体を制御する。本実施形態では、システム制御部１１２が、撮影シーンや撮影モード、被写体検出等から得られる撮影情報や、焦点位置情報等に基づいて、ズームや絞り、フォーカス等の光学系１０１の駆動情報を光学系駆動部１０２に渡す。また、焦点検出用信号を、複数の露出量のうち、どの露出量を用いて取得するかの指示や、露光時間等の撮像素子１０３の駆動情報を撮像素子駆動部１０４に渡す。

飽和画素カウンタ１１３は、加算信号分離部１０５から得られた一対の焦点検出用信号それぞれについて飽和している画素（信号値）の数を数えて、得られたカウント値をシステム制御部１１２に出力する。なお、飽和している画素とは、具体的には、光電変換部２０１Ａ，２０１Ｂで受光した光量がある閾値以上の光量で、位相差検出に用いることができない画素のことである。閾値はシステム制御部１１２により設定され、ＩＳＯ感度、絞り等の撮影条件に応じて切り替える。ここで得られたカウント値は、次フレームにおいて、焦点検出用信号を複数の露出量のいずれで取得するかを判断するために用いられる。

評価値算出部１１４は、次フレームにおいて、焦点検出用信号を複数の露出量のいずれを用いて取得するかを判断するための評価値を算出する。ここでは、露出の異なる複数の画像の画像データを用いて評価値を算出する。

図５は、評価値算出部１１４の構成を示す図である。ピーク値検出部１００１は、カメラ信号処理部１０６から出力されたアンダー画像データを用いて、ピーク値を求める。具体的には、まず、入力された画像データの入力画素値DIN（信号値）と、それまでの処理におけるピーク値DMAX（最大値）を比較する。入力画素値DINがピーク値DMAXよりも大きい場合には、ピーク値DMAXを入力画素値DINで置き換えて、SRAMなどの揮発性メモリに格納する。この処理をアンダー画像データの全ての画素に対して行うことで、アンダー画像データのピーク値DMAXを求め、求めたピーク値DMAXをピーク値閾値比較部１００３に出力する。なお、ピーク値検出部１００１におけるピーク値DMAXは、求めたピーク値DMAXがピーク値閾値比較部１００３に出力されると、リセット処理により「０」にリセットされる。

ピーク値閾値比較部１００３では、ピーク値検出部１００１から出力されたピーク値DMAXと、システム制御部１１２から設定される閾値との比較を行う。ピーク値DMAXが閾値よりも大きい場合は、アンダー画像は明るいと判断され、次のフレームでは焦点検出用信号を露出アンダーで取得することを示す制御信号を、第１評価値としてシステム制御部１１２に出力する。一方、ピーク値DMAXが閾値以下の場合は、アンダー画像は暗いと判断され、次のフレームでは焦点検出用信号を適正露出で取得することを示す制御信号を、第１評価値としてシステム制御部１１２に出力する。

ボトム値検出部１００２は、カメラ信号処理部１０６から出力された適正画像データを用いて、ボトム値を求める。具体的には、まず、入力された適正画像データの入力画素値DIN（信号値）と、それまでの処理におけるボトム値DMIN（最小値）を比較する。入力画素値DINがボトム値DMINよりも小さい場合には、ボトム値DMINを入力画素値DINで置き換えて、SRAMなどの揮発性メモリに格納する。この処理を画像データの全ての画素に対して行うことで、適正画像データのボトム値DMINを求め、求めたボトム値DMINをボトム値閾値比較部１００４に出力する。なお、ボトム値検出部１００２におけるボトム値DMINは、求めたボトム値DMINがボトム値閾値比較部１００４に出力されると、リセット処理により「０」にリセットされる。

ボトム値閾値比較部１００４では、ボトム値検出部１００２から出力されるボトム値DMIN値と、システム制御部１１２から設定される閾値との比較を行う。ボトム値DMINが閾値よりも値が大きい場合は、適正画像は明る過ぎると判断され、次のフレームでは焦点検出用信号を露出アンダーで取得することを示す制御信号を、第２評価値としてシステム制御部１１２に出力する。一方、ボトム値DMINが閾値以下の場合は、適正画像の露出は適切であると判断され、次のフレームでは焦点検出用信号を適正露出で取得することを示す制御信号を、第２評価値としてシステム制御部１１２に出力する。

次に、次フレームにおいて、焦点検出用信号を取得するために用いる露出量を選択する処理について、図６のフローチャートを参照して説明する。この処理は、飽和画素カウンタ１１３から得られたカウント値と、評価値算出部１１４から得られた評価値に基づいて、システム制御部１１２で行われる。

まず、Ｓ１０１において、評価値算出部１１４から第１評価値と第２評価値を取得し、Ｓ１０２において、飽和画素カウンタ１１３から飽和している画素のカウント値を取得する。なお、Ｓ１０１とＳ１０２の順番は、逆であっても、同時に行っても良い。

Ｓ１０３において、カウント値を予め決められた閾値と比較し、予め決められた閾値よりも多い場合は、Ｓ１０５に進んで、次のフレームにおいて焦点検出用信号を露出アンダーで取得するように決定し、処理を終了する。一方、カウント値が閾値以下の場合は、Ｓ１０４に進む。なお、この場合のカウント値と比較する閾値も、上記と同様に、ＩＳＯ感度、絞り等の撮影条件に応じて切り替える。

Ｓ１０４では、第１評価値及び第２評価値の少なくとも一方が、焦点検出用信号を露出アンダーで取得することを示しているかどうかを判断する。第１評価値及び第２評価値のいずれか一方でも、焦点検出用信号を露出アンダーで取得することを示していれば、Ｓ１０５に進んで、次のフレームにおいて焦点検出用信号を露出アンダーで取得するように選択する。逆に、第１評価値及び第２評価値が共に焦点検出用信号を適正露出で取得することを示していれば、Ｓ１０６に進んで、次のフレームにおいて焦点検出用信号を適正露出で取得するように選択する。

そして、Ｓ１０７において、システム制御部１１２は、選択した露出量を撮像素子駆動部１０４に伝える。これにより、撮像素子駆動部１０４は次のフレームにおいて、焦点検出用信号を、システム制御部１１２により指示された露光量で取得する。

次に、本実施形態の撮像装置における合成処理について説明する。図７は、本実施形態における、画像信号の取得から合成処理までの処理の流れを示すフローチャートであり、図８は、本実施形態における画像合成部１０７の詳細構成を示すブロック図である。

まず、Ｓ２０１において、撮像素子１０３を制御して、露出アンダーの画像及び適正露出の画像を撮像し、それぞれの画像信号に対してガンマ補正処理前までの画像処理を施す。

Ｓ２０２において、画像合成部１０７のガンマ補正部４０１は、アンダー画像データ及び適正画像データそれぞれに対して、異なる特性のガンマ補正処理を施す。図８に示すように、ガンマ補正部４０１は、第１のガンマ補正部４０２と第２のガンマ補正部４０３とを備え、それぞれが異なる特性のガンマ補正処理を実行する。第１のガンマ補正部４０２は、アンダー画像データに対してガンマ補正処理を行い、第２のガンマ補正部４０３は、適正画像データに対してガンマ補正処理を行う。

ここで、図９を参照しながら、本実施形態におけるガンマ補正処理について説明する。図９において、曲線９０１は、第１のガンマ補正部４０２がアンダー画像データに対して行うガンマ補正処理の特性を示し、以下、「第１のガンマカーブ」と呼ぶ。また、曲線９０２は、第２のガンマ補正部４０３が、適正画像データに対して行うガンマ補正処理で使用する通常の特性を示し、以下、「第２のガンマカーブ」と呼ぶ。第１のガンマカーブ９０１は、ガンマ補正後におけるアンダー画像データのＡＥ目標値が、第２のガンマカーブ９０２を用いたガンマ補正後における適正画像データのＡＥ目標値と一致するように設定されている。

ところで、ガンマ補正前のアンダー画像データのＡＥ目標値を下げることでダイナミックレンジを拡大することができる。しかし、単純にＡＥ目標値を下げると、アンダー画像データが暗くなってしまう。そこで、本実施形態では、ダイナミックレンジの拡大量に応じて、アンダー画像データを明るくするようにガンマ補正を行うように第１のガンマカーブを決定する。これにより、アンダー画像データの明るさ（露出）を適正にしながら、ダイナミックレンジを拡大させることが可能となる。

なお、本実施形態では、ガンマ補正前のＡＥ目標値を下げたことによるアンダー画像データの輝度低下をガンマ補正により補正する構成について示したが、ルックアップテーブル等の別の手段を用いて同様の輝度補正を行っても良い。

また、ホワイトバランス補正のためのホワイトバランス係数のゲインと飽和信号量を決定するクリッピング量とを制御してもよい。つまり、露光量の低減やＡＦＥゲインの低減等によりゲインダウンされた画像データをＡ／Ｄ変換した後、後段の信号処理回路でゲインアップし、クリッピング量をゲインアップ分だけ拡大させる（飽和信号量を大きくする）ことによっても同じ効果が得られる。

次に、Ｓ２０３において、色輝度変換回路４０４は、ガンマ補正後のアンダー画像データをＹＵＶ１に変換するとともに、ガンマ補正後の適正画像データをＹＵＶ２に変換する。

Ｓ２０４おいて、輝度合成比率算出部４０５は、ＹＵＶ２の各画像領域の輝度に基づいて、ＹＵＶ２の合成比率１を決定する。ここでは例えば、ｎ×ｎ画素の画像領域の平均輝度に基づいて合成比率１を決定する。図１０（ａ）に示すように、平均輝度が閾値Ｔｈ１よりも低い場合には、ＹＵＶ２のみを用い、平均輝度が閾値Ｔｈ１以上、閾値Ｔｈ２以下の場合には、平均輝度が高くなるほど、ＹＵＶ１の合成比率を高くするように合成比率１を決定する。また、平均輝度が閾値Ｔｈ２よりも高い場合には、ＹＵＶ１のみを用いるように合成比率１を決定する。平均輝度が高い画像領域ほど白飛びの可能性があるため、平均輝度の上昇に応じてＹＵＶ１の合成比率を上げていくことにより、白飛びを抑え、ダイナミックレンジを拡大することができる。

Ｓ２０５では、移動体合成比率算出部４０６は、ＹＵＶ１及びＹＵＶ２に基づいて移動体領域を抽出して合成比率２を求める。移動体合成比率算出部４０６は、まず、ＹＵＶ１及びＹＵＶ２それぞれにおけるｍ×ｍ画素の画像領域の輝度差分及び色差分の平均（差分平均）を算出し、求めた差分平均に基づいて合成比率２を決定する。図１０（ｂ）に示すように、差分平均が閾値Ｔｈ１１よりも小さい場合には、ＹＵＶ１のみを用い、差分平均が閾値Ｔｈ１１以上、閾値Ｔｈ１２以下の場合には、差分平均が大きいほど、ＹＵＶ２の合成比率を高くするように合成比率２を決定する。また、差分平均が閾値Ｔｈ１２よりも大きい場合には、ＹＵＶ２のみを用いるように合成比率２を決定する。画像領域の輝度差分及び色差分が大きい場合には、その画像領域に移動体が存在するものとして、移動体合成比率算出部４０６は、当該画像領域についてＹＵＶ２の合成比率を高めるように合成比率２を決定する。

Ｓ２０６において、合成比率算出部４０７は、システム制御部１１２から出力される撮像装置の状態情報を取得し、当該状態情報に基づいて合成比率３を算出する。なお、撮像装置の状態情報とは、光学ズーム時のズームスピード、ジャイロ情報等から出力されるパンニング量、及び、手ぶれ量等の動画撮影時の撮像装置の状態を示す情報である。これらの状態情報のうち、少なくとも１つを取得し、合成比率を決定しても良い。なお、これらの出力を検出する振れ検出部、ズームレンズ位置を取得し、ズームスピードを算出する算出部はシステム制御部１１２が担っている。

光学ズーム時のズームスピート、パンニング量及び手ぶれ量等が大きい場合、ＹＵＶ１及びＹＵＶ２の合成処理が難しくなるため、所望の合成画像データが得られない。そのため、図１０（ｃ）に示すように、ズームスピード、パンニング量及び手ぶれ量が閾値Ｔｈ２１よりも低い場合には、ＹＵＶ１のみを用いるように合成比率３を決定する。そして、差分平均が閾値Ｔｈ２１以上、閾値Ｔｈ２２以下の場合には、ズームスピード、パンニング量及び手ぶれ量が大きいほど、ＹＵＶ２の合成比率を高くするように合成比率３を決定する。また、ズームスピード、パンニング量及び手ぶれ量が閾値Ｔｈ２２よりも大きい場合には、ＹＵＶ２のみを用いるように合成比率３を決定する。

Ｓ２０７において、合成比率算出部４０７は、更に、合成比率１、合成比率２及び合成比率３に基づいて、最終合成比率αを算出する。例えば、合成比率算出部４０７は、合成比率１、合成比率２及び合成比率３のうちの最大値を最終合成比率αとして決定する。

Ｓ２０８において、加重加算部４０８は、次の式（１）に示すように、ＹＵＶ１とＹＵＶ２とを最終合成比率αを用いて加重加算することで合成処理を行い、合成出力画像データを生成する。生成された合成出力画像データは、圧縮部１０８に出力される。
合成出力画像データ＝ＹＵＶ２×α＋ＹＵＶ１×（１－α） …（１）

本実施形態においては、動画撮影時の撮像装置の状態情報を加味して画像データの合成比率を決定しているため、動画撮影時に光学ズーム及びパンニング等のカメラワークを施した場合や手ぶれが生じた場合でも、最適なダイナミックレンジ拡大処理が可能となる。なお、静止画撮影時には、合成比率２及び合成比率３を求めなくても構わない。

図１１は、焦点検出処理を示すフローチャートである。まず、Ｓ３０１でシステム制御部１１２は、ＡＦに使用する撮像パラメータ情報を取得し、Ｓ３０２へ処理を進める。撮影パラメータとは、光学系１０１内の絞り情報や、撮像素子１０３にかかっているセンサゲインなどをはじめとした情報であり、本実施形態の構成に依らず、カメラの構成に応じて必要な情報を適宜取得する。

次に、Ｓ３０２で、システム制御部１１２は、撮像画面の焦点検出範囲内から、焦点状態の検出を行う焦点検出領域の設定／配置を行う。この設定／配置の方法は、被写体検出が可能な構成であれば、例えば顔を検出した位置を焦点検出領域位置として設定してもよい。

Ｓ３０３において、加算信号分離部１０５は、Ｓ３０２で設定した焦点検出領域に含まれる単位画素２０２から読み出した、同じ露出量の画像信号及び焦点検出用信号に基づいて、上述したようにして、位相差検出用に、一対の焦点検出用信号を生成する。

そして、Ｓ３０４において、位相差検出部１１０は、取得した一対の焦点検出用信号間の相関量を算出する。なお、相関量の算出は、Ｓ３０２で設定した焦点検出領域内の各走査ラインについてそれぞれ行い、以降のＳ３０５からＳ３０８までの処理も同様に焦点検出領域内の各走査ラインに対してそれぞれ行う。続いて、位相差検出部１１０は、Ｓ３０５においてＳ３０４で算出した相関量から相関変化量を算出し、Ｓ３０６で相関変化量から像ずれ量を算出し、Ｓ３０７で像ずれ量の信頼度を算出する。そして、Ｓ３０８でＡＦ制御部１１１は、Ｓ３０６で算出した、各走査ラインの像ずれ量のうち、信頼度が予め決められた信頼度よりも低い像ずれ量を除外する。そして、残った像ずれ量の平均に対して換算係数を掛けることでデフォーカス量に変換し、システム制御部１１２に出力する。システム制御部１１２を介して光学系駆動部１０２がデフォーカス量を受け取り、このデフォーカス量に基づいてフォーカスレンズを制御し、焦点状態検出処理を終了する。

以上説明したように本実施形態によれば、アンダー画像データと適正画像データから得られる評価値、及び、焦点検出用信号から得られる評価値に基づいて、次のフレームにおいて焦点検出用画素をアンダー露出と適正露出のいずれで読み出すかを切り替える。これにより、限られたデータバス及び動作周波数において、ダイナミックレンジ拡大と焦点検出の両方を実現することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上述した例では、図４で示すように、焦点検出用信号をすべての単位画素２０２から読み出すものとして説明したが、図１１のＳ３０２で設定された焦点検出領域を含む行についてのみ、読み出すように制御しても良い。このように焦点検出用信号を読み出す範囲を限定することで、焦点検出用信号を読み出さないラインでは、３種類の信号を読み出す場合と比較して、更に読み出しを早くすることができ、読み出し負荷や熱の発生の軽減をすることができる。

１０３：撮像素子、１０４：撮像素子駆動部、１０５：加算信号分離部、１０６：カメラ信号処理部、１０７：画像合成部、１１０：位相差検出部、１１１：ＡＦ制御部、１１２：システム制御部、１１３：飽和画素カウンタ、１１４：評価値算出部、２０１：マイクロレンズ、２０１A，２０１Ｂ：光電変換部、２０２：単位画素、１００１：ピーク値検出部、１００２：ボトム値検出部、１００３：ピーク値閾値比較部、１００４：ボトム値閾値比較部

Claims (9)

1. 露出を制御する露出制御手段と、
   複数のマイクロレンズそれぞれに対して複数の光電変換部を備える撮像素子と、
   前記撮像素子から、複数の異なる露出で複数の画像の画像信号と、前記複数の露出のいずれかの露出で前記複数の光電変換部の一部から焦点検出用信号とをそれぞれ異なるタイミングで読み出すように、前記撮像素子を制御する制御手段と、
   前記焦点検出用信号を読み出した露出と同じ露出で読み出した前記画像信号と、前記焦点検出用信号とから、一対の焦点検出用信号を生成する生成手段と
   を有することを特徴とする撮像装置。
2. 前記焦点検出用信号と、前記複数の画像の画像信号とに基づいて、次に前記焦点検出用信号を読み出す際の露出を決定する決定手段を更に有することを特徴とする請求項１に記載の撮像装置。
3. 前記複数の露出は、第１の露出と、前記第１の露出よりも小さい第２の露出とを含み、
   前記決定手段は、前記一対の焦点検出用信号の信号値のうち、予め決められた第１の閾値より大きい信号値の数が、予め決められた第２の閾値よりも多い場合に、前記第２の露出を、前記焦点検出用信号を読み出す際の露出として決定することを特徴とする請求項２に記載の撮像装置。
4. 前記決定手段は、前記一対の焦点検出用信号の信号値のうち、予め決められた第１の閾値より大きい信号値の数が、予め決められた第２の閾値以下の場合、
   前記複数の露出のうち、前記第１の露出で読み出した前記画像信号の最小値が予め決められた第３の閾値以下、且つ、前記第２の露出で読み出した前記画像信号の最大値が予め決められた第４の閾値以下である場合に、前記第１の露出を、次に前記焦点検出用信号を読み出す際の露出として決定し、
   前記最小値が前記第３の閾値より大きいか、または、前記最大値が前記第４の閾値より大きい場合に、前記第２の露出を、次に前記焦点検出用信号を読み出す際の露出として決定することを特徴とする請求項３に記載の撮像装置。
5. 前記一対の焦点検出用信号に基づいて、焦点検出を行う焦点検出手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記複数の画像の画像信号から、ダイナミックレンジを拡大した１枚の画像の画像信号を生成する合成手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記複数の画像の画像信号と前記焦点検出用信号とを、予め決められた周期で読み出すことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 複数のマイクロレンズそれぞれに対して複数の光電変換部を備える撮像素子の制御方法であって、
   前記撮像素子から、複数の異なる露出で複数の画像の画像信号を読み出す第１の読み出し工程と、
   前記第１の読み出し工程と異なるタイミングで、前記撮像素子から、前記複数の露出のいずれかの露出で前記複数の光電変換部の一部から焦点検出用信号を読み出す第２の読み出し工程と、
   前記焦点検出用信号を読み出した露出と同じ露出で読み出した前記画像信号と、前記焦点検出用信号とから、一対の焦点検出用信号を生成する生成工程と、
   を有することを特徴とする制御方法。
9. 前記焦点検出用信号と、前記複数の画像の画像信号とに基づいて、次に前記焦点検出用信号を読み出す際の露出を決定する決定工程を更に有することを特徴とする請求項８に記載の制御方法。

Images