JP6672081B2

JP6672081B2 - 撮像装置

Info

Publication number: JP6672081B2
Application number: JP2016110350A
Authority: JP
Inventors: 浩靖形川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-06-01
Filing date: 2016-06-01
Publication date: 2020-03-25
Anticipated expiration: 2036-06-01
Also published as: JP2017216638A; US10334176B2; US20170353648A1

Description

本発明は、撮像装置に関し、特にダイナミックレンジを拡大させる機能と自動焦点検出機能とを備えた撮像装置に関するものである。

デジタルカメラにおいて、高コントラストのシーンを撮像すると、低輝度部分の階調性悪化（黒つぶれ）や高輝度部分の階調性悪化（白飛び）が発生する場合が有った。

これに対し、特許文献１には、同一被写体を異なる露光量で２枚撮像し、当該２枚の画像データを合成することにより、ダイナミックレンジの広い画像データを生成する技術が開示されている。

また、１つのマイクロレンズに対して複数の光電変換部を持った撮像素子により位相差を求め、焦点検出を行う技術が知られている。

例えば、特許文献２では位相差を求めて焦点検出を行うと同時に従来の信号処理技術により画像データを作成する技術が開示されている。

特開２０００−５０１５１号公報特開２００８−１３４３８９号公報

しかしながら、撮像装置の高画質化・高フレームレート化に伴い、装置内に搭載される集積回路が処理する画像データの量が増大している。

その為、さらにダイナミックレンジ用に取得する露出量の異なる画像データに加えて、焦点検出用の画像データの読み出しに対応するためには、集積回路内のデータ転送容量の帯域を確保する為に、高価かつ大量の回路資源が必要となっていた。

そこで、本発明の目的は、限られた回路資源を用いてダイナミックレンジ拡大、焦点検出の両方を実現することを可能にした撮像装置を提供することである。

上記目的を達成するために、本発明は、被写体像を結像するための光学系を有し、前記被写体像を画像信号として所定のフレームレートで取得する撮像装置であって、露出の異なる複数の画像信号及び位相差検出を行うための焦点検出信号を出力可能な撮像手段と、前記撮像手段から出力される前記露出が異なる複数の画像信号を合成して出力する合成手段とを備え、前記撮像手段は前記所定のフレームレートで前記露出の異なる複数の画像信号を出力する際に、所定のタイミングで前記露出の異なる複数の画像信号の一部に代替して焦点検出信号を出力し、前記合成手段は前記露出が異なる複数の画像信号を合成する際に、前記所定のタイミングで代替された一部の画像信号の代わりに、前記所定のタイミングよりも前に取得された画像信号を用いることを特徴とする。

以上説明したように、本発明によれば、限られた回路資源を用いてダイナミックレンジ拡大、焦点検出の両方を実現することを可能にした撮像装置を提供することが可能となる。

本発明の第１の実施形態に係る撮像装置の全体ブロック図である。本発明の第１の実施形態に係る撮像装置の合成処理の流れを示すフローチャートである。本発明の第１の実施形態に係る画像合成部の構成を示す図である。本発明の第１の実施形態に係るガンマ補正部について説明するための図である。本発明の第１の実施形態に係る画像データの合成比率の決定方法を説明する為の図である。撮像素子の構成を示すブロック図である。撮像レンズの射出瞳から出た光束が単位画素に入射する概念図である。本発明の第１の実施形態に係る焦点状態検出処理を示すフローチャートである。本発明の第１の実施形態に係る信号を読み出すタイミングを示す図である。本発明の第１の実施形態に係るフレームレートとフォーカスレンズ駆動周期に従ったそれぞれのレンズ位置（焦点面）を示した図である。本発明の第２の実施形態に係る撮像装置の全体ブロック図である。本発明の第２の実施形態に係るフレーム間移動量と累積移動量を示した図である。

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。なお、以下に説明する実施形態は単なる例示であり、本発明は実施形態に記載された構成に限定されない。

（第１の実施形態）
図１は本実施形態における撮像装置の全体ブロック図である。

１０１はズームレンズ、絞り、フォーカスレンズのうち少なくとも１つ以上から構成される被写体像を結像するための光学系である。１０２は後述するＡＦ制御部１１１から出力されるフォーカス情報や、後述するシステム制御部１１２の光学系駆動情報に応じて光学系１０１を駆動及び制御する光学駆動部である。なお、光学系１０１には撮像する画像に対して撮像装置の振動の影響を低減するための防振機構等を設けるようにしてもよい。また、光学系１０１は撮像装置から着脱可能な交換レンズでもよい。この場合、交換レンズの焦点距離や絞り値等に関する情報は交換レンズ内に設けられたメモリ等に記憶させておき、撮像装置との通信によって取得するようにしてもよい。

１０３は光学系１０１を通過した被写体像を光電変換により電気信号に変換する撮像素子である。一例としてＣＭＯＳイメージセンサや光電変換膜を用いたエリアセンサである。本実施形態における撮像素子１０３は、ゲイン、露光時間等の露出の異ならせた複数枚の画像データに加え焦点検出用の瞳分割像の信号も出力可能である。

１０４はシステム制御部１１２からの撮像素子駆動指示情報に応じて、撮像素子１０３を制御する撮像素子駆動部である。撮像素子駆動部１０４から出力される制御信号によって撮像素子１０３は露出の異なる２枚の画像データを出力するか、または１枚の画像データと焦点検出用の瞳分割像データを出力するか等の駆動モードを切り替える。ここで、画像データと瞳分割像データに関しては図６及び図７を用いて後に詳細に説明する。また、撮像素子駆動指示情報には、撮像素子１０３の駆動モードを切換えるための信号、撮像素子１０３における露出を決定するための設定パラメータ、垂直又は水平同期信号等が含まれる。

１０５は加算信号分離部で、撮像素子１０３から画像データと焦点検出用の瞳分割像データが出力された場合に、画像データと瞳分割像データとを用いて位相差を検出するためのもう一方の瞳分割像データをシステム制御部１１２の制御に基づいて生成する。そして、加算信号分離部１０５は撮像素子１０３から出力される瞳分割像データ（第１の像データ）と、加算信号分離部１０５において生成された瞳分割像データ（第２の像データ）の２つの瞳分割像データを位相差測距部１１０に出力する。一方で、画像データ（第３の像データ）を後述するカメラ信号処理部１０６に出力する。なお、本実施形態において瞳分割像データは位相差検出を行うための焦点検出信号に相当する。

さらに、駆動モードとして撮像素子１０３から露出の異なる２枚の画像データが出力するモードに撮像素子１０３が設定された場合には、１０５の加算信号分離部は、瞳分割像データを生成せずに、カメラ信号処理部１０６に２枚の画像信号を出力する。言い換えれば、加算信号分離部１０５は瞳分割像データが撮像素子１０３から入力されるか否かで、出力する像データを切換える動作を行う。また、本実施形態の撮像素子１０３においては、露出の異なる２枚の画像データ及び瞳分割像データの両方を出力する駆動モードも設定可能である。

１０６はカメラ信号処理部で、加算信号分離部１０５から得られた画像データに対し、例えば、色変換、ホワイトバランス等の所定の画像処理を行い、画像合成部１０７に処理後の画像データを出力する。

１０７は画像合成部で、露出の異なる２枚の画像を合成し、合成した１枚の画像データを生成する。合成された画像データは、圧縮部１０８にて圧縮符号化され、記憶部１０９によって記録媒体に記録される。ここで記録媒体は、撮像装置に対して着脱可能であってもよいし、撮像装置に内蔵されていてもよい。また、所定の通信部を返して撮像装置外に設けてもよい。なお、記憶媒体には画像データの他に、撮像装置内で使用するパラメータ等の設定ファイルを記憶するようにし、記憶部１０９経由で読み出せるようにしてもよい。

１１０は位相差検出部で、加算信号分離部１０５から得られた２つの瞳分割像データから位相差に基づく測距を行うための位相差評価値を算出する。１１１はＡＦ制御部で、位相差検出部１１０で算出した位相差評価値を基に、光学系１０１のフォーカス位置を制御するためのフォーカス情報を算出する。フォーカス情報には、フォーカスを合わせる被写体までの距離、ボケ量、位相差、フォーカス位置等を含む。

１１２は撮像装置全体を制御し、各種パラメータ等の設定を行うシステム制御部であり、ＣＰＵやＦＰＧＡを含む。また、不図示の記憶部であるデータを電気的に消去可能なメモリ等を含み、システム制御部１１２はこれに記憶されたプログラムを実行する。なお、メモリは、システム制御部１１２が実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域等として使用される。加えて、メモリはシステム制御部１１２が撮像装置の制御に用いる設定情報である各種パラメータの初期値等も保持する。また、不図示の通信部を含み、各種制御コマンドをＰＣ等の外部装置から受信する場合、また各種制御コマンドに対するレスポンスや、生成した画像データを外部装置へ送信する場合に使用される。さらに、撮像シーンや駆動モード、被写体検出などから得られる撮像情報に基づいて、光学駆動部１０２へズームや絞りなどの光学系の駆動情報を出力する。加えて、撮像素子駆動部１０４へ露出の異なる２枚の画像データを読み出すか、又は１枚の画像データと瞳分割像データを読み出すか等の駆動モードの切り換え指示や露光時間などの撮像素子１０３の駆動情報を出力する。

また、本実施形態に係る撮像装置には、画像データを表示するための表示部や、タッチパネルやスイッチ等を組み合わせた操作部を更に備えるようにしてもよい。表示部に表示するための画像データはシステム制御部１１２に含まれるメモリや記録媒体に保存されたものを表示する。そして、操作部にユーザーにより入力された駆動モード等を含む設定情報はシステム制御部１１２のメモリに一端保存され、適宜読み出される。

次に、図２及び図３を参照しながら、第１の実施形態に係る撮像装置の画像合成処理について説明する。図２は、第１の実施形態に係るシステム制御部１１２が制御する合成処理の流れを示すフローチャートであり、図３は、第１の実施形態に係る画像合成部１０７の内部構成を示す図である。

ステップＳ２０１において、システム制御部１１２は、撮像素子駆動部１０４に設定するための駆動モード情報をメモリから読み取る。具体的には、露出の異なる２枚の画像データを読み出す駆動モードであるか、１枚の画像データと瞳分割像データを読み出す駆動モードであるかを読み取る。そして、露出の異なる２枚の画像データを読み出す駆動モードである場合には処理をステップＳ２０２に進め、１枚の画像データと瞳分割像データを読み出す駆動モードである場合には処理をステップＳ２１１に進める。

ステップＳ２０２において、システム制御部１１２は、撮像素子駆動部１０４に対してアンダー露光及び適正露光のそれぞれで画像データを取得するための駆動モードを設定する。そして、システム制御部１１２はカメラ信号処理部１０６を制御し、撮像したアンダー露光の画像（以下、アンダー画像と称す場合がある）と適正露光の画像（以下、適正画像と称す場合がある）のそれぞれに対して画像処理を施す。そして、各画像データを画像合成部１０７に入力するようにカメラ信号処理部１０６を制御する。そして、処理をステップＳ２０３に進める。

ステップＳ２０３において、システム制御部１１２は、画像合成部１０７を制御して、各画像データに対してガンマ補正処理を行う。ここで、画像合成部１０７の内部構成に関して図３を用いて詳細に説明する。カメラ信号処理部１０６より入力された画像データは、ガンマ補正部３０１に入力される。ガンマ補正部３０１は、図３に示すように第１のガンマ補正部３０２と第２のガンマ補正部３０３とを備えており、アンダー画像データ及び適正画像データそれぞれに対して異なる特性のガンマ補正処理を施すことが可能である。本実施形態においては、第１のガンマ補正部３０２はアンダー画像データに対するガンマ補正処理を行い、第２のガンマ補正部３０３は適正画像データに対するガンマ補正処理を行う。第１のガンマ補正部３０２と第２のガンマ補正部３０３とは、それぞれが異なる特性のガンマ補正処理を実行する。

ここで、図４を参照しながら、本実施形態におけるガンマ補正処理について説明する。図４の４０１は、第１のガンマ補正部３０２におけるガンマ補正処理の特性（以下、第１のガンマカーブと称する場合がある）であり、４０２は、第２のガンマ補正部３０３におけるガンマ補正処理の特性（以下、第２のガンマカーブと称する場合がある）である。
横軸の入力値に対して縦軸の出力値が対応しており、このカーブを用いることで画像データの各画素の値に対してガンマ補正処理を行う。ここで、第１のガンマカーブは、ガンマ補正後におけるアンダー画像データのＡＥ目標値が、第２のガンマカーブを用いたガンマ補正後における適正画像データのＡＥ目標値と一致するように設定されている。

ここで、ガンマ補正前のアンダー画像データのＡＥ目標値を下げることでダイナミックレンジを拡大することが出来る。しかし、単純にＡＥ目標値を下げると、露出アンダーとなり、アンダー画像データが暗くなってしまう。そこで、本発明の第１の実施形態では、ダイナミックレンジの拡大量に応じて、アンダー画像データを明るくするようにガンマ補正を行うように第１のガンマカーブを決定する。これにより、アンダー画像データの明るさ（露出）を適正にしながら、ダイナミックレンジを拡大させることが可能となる。

なお、本発明の第１の実施形態では、ガンマ補正前のＡＥ目標値を下げたことによるアンダー画像データの輝度低下をガンマ補正により補正する構成について示したが、ルックアップテーブル等の別処理を用いて同様の輝度補正を行っても良い。

また、ホワイトバランス補正のためのホワイトバランス係数のゲインと飽和信号量を決定するクリッピング量とを制御してもよい。つまり、露光量の低減やゲインの低減等によりゲインダウンされた画像データをＡ／Ｄ変換した後、後段の信号処理回路でゲインアップし、クリッピング量をゲインアップ分だけ拡大させる（飽和信号量を大きくする）ことによっても同じ効果が得られる。

ここで、図２のフローチャートの説明に戻る。ステップＳ２０４において、システム制御部１１２は、画像合成部１０７に含まれる色輝度変換回路３０４を制御する。より具体的には、色輝度変換回路３０４にてガンマ補正後のアンダー画像データをＹＵＶ１に変換するとともに、ガンマ補正後の適正画像データをＹＵＶ２に変換する。そして、処理を
ステップＳ２０５に進める。

ステップＳ２０５において、システム制御部１１２は、画像合成部１０７に含まれる色輝度変換回路３０４にて変換したＹＵＶ１を画像合成部１０７に含まれるメモリ３０５に記録する。そして、処理をステップＳ２０６に進める。このようにメモリ３０５にＹＵＶ１を記録しておく事で、異なるタイミングで撮像素子１０３から読み出された適正画像データと合成することが可能となる。言い換えれば、アンダー画像は被写体像中の高輝度領域（例えば屋外であれば空や、室内であれば窓の領域）の情報を主に含むため、毎フレーム必要ではない場合がある。このような場合に、データ切り替え部３０６を制御してメモリ３０５に記録しておいたアンダー画像データ（ＹＵＶ１）を、読み込むようにする事で、アンダー画像の読み出しを間引くことが可能となる。なお、本実施形態においては、アンダー画像を読み出さなかったフレームにおいては、アンダー画像の代わりに焦点検出用の瞳分割像データを読み出す制御を行う。また、本実施形態においてはアンダー画像データを変換したＹＵＶ１を記憶するためのメモリ３０５のみを設けたが、適正画像データを変換したＹＵＶ２を記憶するメモリを別途設けるようにしてもよい。このようにすることで、アンダー画像データに代えて適正画像データも間引くことが可能となる。

ステップＳ２０６おいて、システム制御部１１２は、画像合成部１０７に含まれる輝度合成比率算出部３０７において、ＹＵＶ２の各画像領域の輝度に基づいて合成比率１を算出するように制御する。そして、処理をステップＳ２０７に進める。ここでは例えば、画像データを複数の領域に分割し、分割した領域に含まれるｎ×ｍ（ｎとｍは整数）ピクセルの画像領域の平均輝度に基づいて領域毎に合成比率１が算出される。本実施形態の合成比率１は図５（ａ）に示すように、平均輝度が高い画像領域ほど白飛びの可能性があるため、当該画像領域についてＹＵＶ１の合成比率を高めるように合成比率１が算出される。

ステップＳ２０７において、システム制御部１１２は、画像合成部１０７に含まれる移動体合成比率算出部３０８において、ＹＵＶ１及びＹＵＶ２に基づいて移動体領域を抽出して合成比率２を算出する。より詳細には、移動体合成比率算出部３０８は、ＹＵＶ１及びＹＵＶ２におけるｐ×ｑ（ｐとｑは整数）ピクセルの画像領域の輝度差分及び色差分を算出する。そして、図５（ｂ）に示すように、各画像領域の輝度差分及び色差分が大きい場合には、その画像領域に移動体が存在する領域として抽出する。移動体合成比率算出部３０８は、抽出した画像領域についてＹＵＶ２の合成比率を高めるように合成比率２を算出する。そして、処理をステップＳ２０８に進める。

ステップＳ２０８において、システム制御部１１２は、画像合成部１０７に含まれる合成比率算出部３０９において、撮像装置の状態情報を入力し、当該状態情報に基づいて合成比率３を算出する。なお、撮像装置の状態情報とは、光学ズーム時のズームスピード、ジャイロ情報等から出力されるパンニング量、及び、手ぶれ量等の動画撮像時の撮像装置の状態を示す情報である。これらの状態情報のうち、少なくとも１つを取得し、合成比率を決定する。なお、これらの出力を検出する振れ検出部、ズームレンズ位置を取得し、ズームスピードを算出する算出部はシステム制御部１１２が担っている。そして、処理をステップＳ２０９に進める。ここで、光学ズーム時のズームスピート、パンニング量及び手ぶれ量等が大きい場合、ＹＵＶ１及びＹＵＶ２の合成処理が難しくなるため、所望の合成画像データが得られない。そのため、合成比率算出部３０９は、図５（ｃ）に示すように、光学ズーム時のズームスピード、パンニング量及び手ぶれ量等が増加するに従って、ＹＵＶ２の合成比率を高めるように合成比率３を算出する。

ステップＳ２０９において、システム制御部１１２は、画像合成部１０７に含まれる合成比率算出部３０９は、合成比率１、合成比率２及び合成比率３に基づいて、最終合成比率αを算出する。算出方法としては、合成比率算出部３０９は、合成比率１、合成比率２及び合成比率３のうちの最大値を最終合成比率αとして決定する。または、各合成比率の積を最終合成比率αとしてもよい。そして、処理をステップＳ２１０に進める。

ステップＳ２１０において、システム制御部１１２は、画像合成部１０７に含まれる加重加算部３１０において、次式に示すように、ＹＵＶ１とＹＵＶ２とを最終合成比率αで加重加算することで合成処理を行う。その結果として、合成出力画像データを生成する。
ＹＵＶ１×α＋ＹＵＶ２×（１−α）＝合成出力画像データ

生成された合成出力画像データは、圧縮部１０８に対して出力される。そして処理を終了する。なお、ステップＳ２０６乃至ステップＳ２０８において、合成比率を求める際の算出閾値（Ｔｈ１とＴｈ２）は固定ではなく、撮影モード等に応じて可変するようにしてもよい。また、ステップＳ２０１にて瞳分割像を読み出すか否かの判定結果に応じて合成比率又は算出閾値を異ならせてもよい。より具体的には、瞳分割像を読み出さない場合は、メモリ３０５に記憶したアンダー画像データを用いるが、適正画像データとの時間差があるため、適正画像データ側の比率を大きくすることが好ましい。

一方で、ステップＳ２０１にて１枚の画像データと瞳分割像データを読み出す駆動モードである場合の処理について説明する。ステップＳ２１１において、システム制御部１１２は、撮像素子駆動部１０４に対して適正露光と瞳分割像のそれぞれで画像データを取得するための駆動モードを設定する。そして、システム制御部１１２はカメラ信号処理部１０６を制御し、撮像した適正画像に対して画像処理を施す。そして、画像データを画像合成部１０７に入力するようにカメラ信号処理部１０６を制御する。そして、処理をステップＳ２１２に進める。

ステップＳ２１２及びステップＳ２１３は、適正画像データのみに処理を行うという点が異なるが、処理内容自体はステップＳ２０３とステップＳ２０４と同様である。そのため、処理内容の詳細説明は省略する。

ステップＳ２１４において、システム制御部１１２は、画像合成部１０７に含まれるメモリ３０５に記録されたＹＵＶ１を読み出すように制御する。そして、処理をステップＳ２０６に進める。

なお、図２に示したフローチャートのステップＳ２０１において、瞳分割像データを読み出す駆動モードか否かを判定したが、これ以外の駆動モードを行う場合においても、本フローチャートの処理は適用可能である。例えば、露出の異なる２枚の画像データ及び瞳分割像データの両方を出力する駆動モードの設定であった場合には、ステップＳ２０２に処理を進めるようにしてもよい。

第１の実施形態においては、動画撮像時の撮像装置の状態情報を加味して画像データの合成比率を決定している。そのため、動画撮像時に光学ズーム及びパンニング等のカメラワークを施した場合や手ぶれが生じた場合でも、最適なダイナミックレンジ拡大処理が可能となる。

次に第１の実施形態の位相差検出部１１０、ＡＦ制御部１１１について図６、図７、図８を用いて説明する。

本発明の第１の実施形態の撮像素子１０３について図６を用いて説明する。図６は撮像素子１０３を光学系１０１側から見た図である。本実施形態では、マイクロレンズアレイを形成する個々のマイクロレンズ６０１を１つの単位画素６０２する。また、１つのマイクロレンズ６０１に対して複数の光電変換部が対応するように配置されている。なお、本実施形態では単位画素６０２には複数の光電変換部が対応するように配置されている。なお、本実施形態では単位画素６０２には光電変換部が水平方向（Ｘ軸方向）に２個あり、それぞれ６０２Ａ、６０２Ｂとする。

図７は、光学系１０１から射出された光が１つのマイクロレンズ６０１を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向（Ｙ軸方向）から観察した図である。７０１、７０２は光電変換部６０２Ａ及び光電変換部６０２Ｂのそれぞれに対応する光学系１０１の射出瞳を表す。各射出瞳を通過した光は、光軸Ｚを中心として単位画素６０２に入射する。図７に示すように瞳領域７０１を通過する光束はマイクロレンズ６０１を通して光電変換部６０２Ａで受光される。そして、瞳領域７０２を通過する光束はマイクロレンズ６０１を通して光電変換部６０２Ｂで受光される。したがって、６０１Ａと６０１Ｂはそれぞれ光学系１０１の射出瞳の異なる領域の（瞳分割された）光を受光している。

このように瞳分割された光電変換部６０１Ａの信号をＸ軸方向に並ぶ複数の単位画素６０２から取得し、これらの出力信号群で構成した被写体像をＡ像とする。同様に瞳分割された光電変換部６０１Ｂの信号をＸ軸方向に並ぶ複数の単位画素６０２から取得し、これらの出力信号群で構成した被写体像をＢ像とする。本実施形態において、これらＡ像とＢ像は瞳分割像に相当する。

Ａ像とＢ像はＸ軸方向にシフトした像であるため、相関演算を実施し、シフト量に相当する像のずれ量（瞳分割位相差）を検出する。さらに像のずれ量に対して焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。ここで算出された焦点位置情報を基にフォーカスレンズを制御することで撮像面位相差ＡＦが可能となる。

なお、本実施形態の撮像素子１０３はＡ像信号とＢ像信号とを加算したＡ＋Ｂ像を読み出し可能であり、このＡ＋Ｂ像の信号は画像データに相当する。そのため、瞳分割像データを得るためにＡ像とＢ像をそれぞれ読み出す必要は無く、瞳分割像データとしてＡ像及びＢ像のいずれか一方を読み出し、Ａ＋Ｂ像から減算することでもう一方を算出することができる。なお、この演算は、図１において説明したとおり加算信号分離部１０５において実行される。

次に図８を用いて、本実施形態における焦点検出処理について説明する。なお、本フローチャートの処理はシステム制御部１１２が行う。

まず、ステップＳ８０１にて、システム制御部１１２は、光学系１０１が持つ、ＡＦに使用する撮像パラメータを取得する。そして、処理をステップＳ８０２に進める。ここで、撮像パラメータとは、光学系１０１内の絞り情報や、焦点距離等を含む。また、撮像素子１０３から出力される信号にかかっているゲインや露光時間等の露出条件に関する情報を含むようにしてもよい。

ステップＳ８０２において、システム制御部１１２は、ユーザーによる操作部の操作結果等に応じて撮像範囲に含まれる焦点検出範囲内から、焦点状態検出を行う測距領域位置の設定／配置を行う。なお、設定／配置の方法は、被写体検出が可能な構成であれば例えば顔を検出した位置を測距領域位置として設定してもよい。そして、処理をステップＳ８０３に進める。

ステップＳ８０３において、システム制御部１１２は、ステップＳ８０１で取得した撮像パラメータ及びステップＳ８０２で設定／配置した測距領域位置に基づいて撮像面位相差ＡＦに用いる瞳分割信号を生成する範囲を決定する。そしれ、処理をステップＳ８０４に進める。ここで、瞳分割信号を生成する範囲を設定するとは、図６に示した撮像素子において、Ａ像信号を生成する走査ラインをどの範囲にするかを選択することに相当する。瞳分割信号を生成しない走査ラインでは、Ａ＋Ｂ像の信号として１つの信号のみを生成する。瞳分割信号を生成する範囲を必要な範囲のみに限定することで、余分な演算処理を省くことができ、さらに読み出し負荷や熱の発生の軽減をすることができる。

ステップＳ８０４において、システム制御部１１２は、位相差検出部１１０は、Ｓ８０３で設定した像データ生成範囲に含まれる画素からＡＦ用の瞳分割像データを取得する。そして、処理をステップＳ８０５にすすめる。より詳細には、システム制御部１１２は、加算信号分離部１０５に対して、撮像素子１０３により出力される画像データと瞳分割像データであるＡ像信号を入力する。入力された信号に基づいてＢ像信号を分離し、入力されたＡ像信号と分離したＢ像信号を位相差検出部１１０に出力するように制御する。

ステップＳ８０５において、システム制御部１１２は、位相差検出部１１０を制御し、取得した像信号間の相関量を算出する。相関量の算出は、Ｓ８０３で設定した像データ生成範囲内の各走査ラインにおいて、測距領域内に対してそれぞれ行う。そして、処理をステップＳ８０６にすすめる。

なお、ステップＳ８０４からステップＳ８０９までの処理も同様に測距領域内の各走査ラインに対してそれぞれ行う。

ステップＳ８０６において、システム制御部１１２は、位相差検出部１１０を制御し、ステップＳ８０５より算出した相関量から相関変化量を算出する。

ステップＳ８０７において、システム制御部１１２は、位相差検出部１１０を制御し、相関変化量から像ずれ量を算出する。

ステップＳ８０８において、システム制御部１１２は、位相差検出部１１０を制御し、像ずれ量がどれだけ信頼できるのかを表す信頼性を算出する。

ステップＳ８０９において、システム制御部１１２は、ＡＦ制御部１１１を制御し、ステップＳ８０７で算出した像ずれ量に対して、換算係数を掛けることでデフォーカス量に変換する。

その後、システム制御部１１２を介して光学系駆動部１０２がデフォーカス量を受け取りデフォーカス量に基づいてフォーカスレンズを制御し、焦点状態検出処理を終了する。

以上、画像合成部１０７、位相差検出部１１０、ＡＦ制御部１１１について詳細に述べてきた。画像合成と位相差検出の２つを同時に行う場合、前述したが露出量の異なる２枚の画像データに加えて位相差検出用の焦点検出用画素を読み出すとデータ転送容量が莫大になってしまい、高画質化・高フレームレート化が実現出来なくなってしまう。

本実施形態の撮像装置において、高画質化・高フレームレート化に対してデータ転送容量の増大を適切に抑える動作に関して図９を用いて説明する。

図９（ａ）はＦｕｌｌＨｄ動画解像度で秒間３０コマ（３０ｆｐｓ）を読み出す場合を想定した時の撮像素子１０３からの読み出し信号を時系列的に図示したものである。本実施形態の撮像装置においては、露出量の異なる２枚の画像データに加えて位相差検出用の焦点検出用の信号（瞳分割像データ）を読み出してもデータ転送容量が逼迫しない為、全て送る事が出来るものとする。言い換えれば、時系列的に隣接するフレームにおいて画像データと瞳分割像データの両方を出力可能である。

一方で、図９（ｂ）はＦｕｌｌＨｄ動画解像度で秒間６０コマ（６０ｆｐｓ）を読み出す場合を想定した時の撮像素子１０３からの読み出し信号を図示したものである。ＦｕｌｌＨｄ３０ｆｐｓと比較して２倍のフレームレートのため、伝送するデータ容量も単純には倍になる。そのため、露出量の異なる２枚の画像データに加えて位相差検出用の焦点検出用画素を読み出すとデータ転送容量が莫大になってしまう。したがって、１フレームに２枚分のデータ（露出量の異なる２枚の画像データあるいは１毎の画像データと瞳分割像データ）を読み出すようにしている。瞳分割像（Ａ像）は２フレームに１回読みだすようにしているがこれはフォーカスレンズの駆動周期に基づいて設定している。

ここで、図１０を用いてフレームの取得周期毎にレンズ位置（焦点面）を調整する場合とフォーカスレンズの駆動周期に合わせてレンズ位置（焦点面）を調整する場合について説明する。

図１０（ａ）はＦｕｌｌＨｄ６０ｆｐｓを想定した時のフレーム取得周期とフォーカスレンズ駆動周期に従ってレンズ位置（焦点面）調整した場合を示した図である。

１００１はフレームレートに従った場合の焦点面の位置である。１００２はフォーカスレンズ駆動周期に従った場合の焦点面の位置である。

フレーム取得周期に従った焦点面の位置でフォーカスレンズ駆動を行ってしまうと高速（１６．６７ｍｓｅｃ単位で）にレンズ位置の駆動が行われることで、フォーカス位置が頻繁に切り替わるため動画の品位が低下する。一方で、フォーカスレンズ駆動周期でレンズ位置の駆動制御を行うと滑らかに焦点面が移動することが可能となる。なお、本実施形態においてフォーカスレンズ駆動周期は光学系を制御するための制御周期に相当する。

図１０（ｂ）はＦｕｌｌＨｄ１２０ｆｐｓを想定した時のフレーム取得周期とフォーカスレンズ駆動周期に従ってレンズ位置（焦点面）を調整した場合を示した図である。

１００１、１００２に関しては図１０（ａ）と同様である。この時も同様に、フレーム取得周期に従った焦点面の位置でフォーカスレンズ駆動を行ってしまうと高速（８．３４ｍｓｅｃ単位で）にレンズ位置の駆動が行われることで、フォーカス位置が頻繁に切り替わるため動画の品位が低下する。

上記述べたように本実施形態では理想的なフォーカスレンズ駆動制御が３０ｆｐｓであると定義したが３０ｆｐｓに限定されず、変更が可能である。

図９（ｂ）ではフォーカスレンズ駆動制御は３０ｆｐｓ単位で行うため２フレームに１回、焦点検出用画素があれば焦点検出も可能である。また、ダイナミックレンジ拡大の実現も時系列的に隣接する１フレーム前のアンダー画像データを使用すれば６０ｆｐｓなので被写体ブレ等の影響も少なく実現出来る。

図９（ｃ）はＦｕｌｌＨｄ動画解像度で秒間１２０コマ（１２０ｆｐｓ）を読み出す場合を想定した時の撮像素子１０３からの読み出し信号を図示したものである。ＦｕｌｌＨｄ６０ｆｐｓと比較して２倍のフレームレートのため、図９（ｂ）と同様の考えでフォーカスレンズ駆動制御は３０ｆｐｓ単位で行うため４フレームに１回の読み出しを行う。また、ダイナミックレンジ拡大の実現も１フレーム前のアンダー画像データを使用すれば１２０ｆｐｓなので被写体ブレ等の影響も少なく実現出来る。

以上説明したように、本発明の第１の実施形態の撮像装置は、フレームレートや画像サイズ、フォーカスレンズ駆動周期、あるいは被写体の移動量を加味する。そして、アンダー画像を間引き、その間引いたタイミングで焦点検出用画素を読み出す事で限られたデータバス、動作周波数においてダイナミックレンジ拡大、焦点検出の両方を実現することを可能にした撮像装置を提供することが出来る。

なお、本実施形態においては、ＦｕｌｌＨｄの動画解像度で画像信号を読み出す際に、フレームレートが６０ｆｐｓ以上においてアンダー画像データを間引く動作を例示したが、これに限られるものではない。例えば、１２０ｆｐｓに代わるタイミングでもよいし、動画解像度をＦｕｌｌＨｄから例えば４Ｋフォーマット以上の動画解像度に切り替える際にアンダー画像データを間引くようにしてもよい。このようにデータレートが増加方向に変化する場合に、画像データの一部を間引くことによって、ダイナミックレンジの拡大と焦点検出の両方を実現することを可能となる。

なお、本実施形態においては、フレームレートが増加した場合においても、アンダー画像データを間引く（瞳分割像データを読み出す）間隔は一定周期としたが、光学系１０１の焦点距離や被写体像の変化に応じて可変するようにしもてよい。

（第２の実施形態）
図１１は第２の実施形態における撮像装置の全体ブロック図である。

図１１は第１の実施形態の図１の構成に対して、被写体の被写体御移動量検出部１１０１が追加されたものであり、第１の実施形態と同様の構成要素については、それらの詳細説明は省略する。

１１０１は被写体の移動量検出部で、被写体のフレーム間の移動量とフレーム間の移動量を順次加算した累積移動量を算出する。そして、算出されたフレーム間の移動量と累積移動量から瞳分割像データの読み出しの指示をシステム制御部１１２に出力する。システム制御部１１２は移動量検出部１１０１の出力に応じて瞳分割像データを読み出すように制御する。

次に、図１２を用いて被写体の移動量に基づいて瞳分割像を読み出すタイミングについて説明する。図１２は、被写体の移動量と時間の関係を示した図である。図において横軸は、時間の経過を表す。縦軸は、被写体の移動量を表す。１２０１はフレーム間の移動量を示したもので、１２０２はフレーム間移動量をフレーム数分加算した累積移動量である。フレーム間の移動量は前後するフレーム画像の対応ブロックにおいて周知のブロックマッチング処理を実行し、そのずれ量を統計的に処理して算出する。フレーム間移動量は、例えば連続して正の移動量が算出される。これを順次加算すれば、累積移動量が算出される。

ここで、フレーム間移動量に対する閾値をＴｈ＿ｔ、累積移動量に対する閾値をＴｈ＿ａとする。それぞれ閾値を超えた場合、移動量がある一定以上に達したとみなし、次のフレームにおいて瞳分割像データを読み出す。言い換えれば、被写体が所定量動いたために、合焦範囲から外れた可能性が高いため、再度ＡＦを行うために瞳分割像データを読み出すよう制御する。

また、累積移動量はフレーム間移動量が閾値Ｔｈ＿ｔを超えたか、あるいは累積移動量が閾値Ｔｈ＿ａを超えた場合においてリセット処理を施す。

上記のように、フレーム間の移動量あるいは累積移動量が閾値を超えた場合に次のフレームにおいて瞳分割像を読み出すことで焦点検出とダイナミックレンジ拡大の両方を実現する。

なお、第１の実施形態及び第２の実施形態において、瞳分割像データを読み出すか否かはシステム制御部１１２が制御したが、これに限られるものではない。例えば、撮像素子１０３内に制御部を積層構造で設け（積層型）、フォーカスレンズ駆動周期又は被写体移動量に基づいて当該制御部が判断するようにしてもよい。このような撮像素子１０３が積層構造をとる場合には、制御部の他に画像データを一次的に保存するためのメモリや位相差検出部等を撮像素子１０３内に設けるようにしてもよい。

なお、図９の各図で示したようにアンダー画像データと適正画像データを所定のフレームレートで取得する際に、アンダー画像データを瞳分割像データで代替する動作を示したが、代替するのはフレーム単位でなくてもよい。例えば、アンダー画像データにおける所定の領域を瞳分割像データで置き換えてもよいし、行単位又は画素単位で置き換えてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、本発明の範囲は、本実施形態で例示した構成に限らず、発明の意図に沿った内容であれば他の構成であってもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１光学系
１０２光学系制御部
１０３撮像素子
１０４撮像素子駆動部
１０５加算信号分離部
１０６カメラ信号処理部
１０７画像合成部
１０８圧縮部
１０９記録部
１１０位相差検出部
１１１ＡＦ制御部
１１２システム制御部

Claims

被写体像を結像するための光学系を有し、前記被写体像を画像信号として所定のフレームレートで取得する撮像装置であって、
露出の異なる複数の画像信号及び位相差検出を行うための焦点検出信号を出力可能な撮像手段と、
前記撮像手段から出力される前記露出が異なる複数の画像信号を合成して出力する合成手段とを備え、
前記撮像手段は前記所定のフレームレートで前記露出の異なる複数の画像信号を出力する際に、所定のタイミングで前記露出の異なる複数の画像信号の一部に代替して焦点検出信号を出力し、
前記合成手段は前記露出が異なる複数の画像信号を合成する際に、前記所定のタイミングで代替された一部の画像信号の代わりに、前記所定のタイミングよりも前に取得された画像信号を用いることを特徴とする撮像装置。
前記露出の異なる複数の画像信号の少なくとも一部を記憶する記憶部を更に備え、
前記合成手段は前記記憶部に記憶された前記所定のタイミングよりも前に取得された画像信号を用いて複数の画像信号を合成することを特徴とする請求項１に記載の撮像装置。
前記所定のタイミングよりも前に取得された画像信号は、前記所定のタイミングで出力される異なる複数の画像信号を含むフレームと時系列的に隣接するフレームに含まれる画像信号であることを特徴とする請求項１または２に記載の撮像装置。
前記所定のタイミングは少なくともフレームレート、解像度、前記光学系を制御するための制御周期のいずれか一つに基づいて決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記撮像手段が前記所定のフレームレートよりも低いフレームレートで前記露出の異なる複数の画像信号を出力する場合は、前記露出の異なる複数の画像信号の一部を代替することなく、前記露出の異なる複数の画像信号に加えて前記位相差検出を行うための焦点検出信号を出力することを特徴とする請求項４に記載の撮像装置。
前記所定のフレームレートは６０ｆｐｓ以上であることを特徴とする請求項４に記載の撮像装置。
前記所定のタイミングは前記露出の異なる複数の画像信号を出力する前記所定のフレームレートよりも低く、且つ一定周期であることと特徴とする請求項４に記載の撮像装置。
前記所定のタイミングは前記被写体像の移動量に基づいて決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記露出の異なる複数の画像信号には、少なくとも適正露光で取得された画像信号とアンダー露光で取得された画像信号とを含むことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
前記焦点検出信号で代替される前記露出の異なる複数の画像信号の一部は前記アンダー露光で取得された画像信号を含むことを特徴とする請求項９に記載の撮像装置。
前記合成手段は前記露出が異なる複数の画像信号を合成してダイナミックレンジが拡大された画像信号を出力することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
前記撮像手段に用いられる撮像素子は、一つのマイクロレンズに対応して少なくとも２つ以上の光電変換部を備えたことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
前記合成手段は前記露出が異なる複数の画像信号を合成するための合成比率を算出する合成比率算出手段を含み、
前記合成比率算出手段は、画像信号の一部が代替されたか否かに基づいて、前記合成比率を算出することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
前記撮像手段は積層型の撮像素子を含むことを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
被写体像を結像するための光学系を有し、前記被写体像を画像信号として所定のフレームレートで取得する撮像装置の制御方法であって、
露出の異なる複数の画像信号及び位相差検出を行うための焦点検出信号を出力する出力ステップを有し、
前記出力ステップにおいて、前記所定のフレームレートで前記露出の異なる複数の画像信号を出力する際に、所定のタイミングで前記露出の異なる複数の画像信号の一部に代替して焦点検出信号を出力することを特徴とする撮像装置の制御方法。