JP5609232B2 - 撮像装置 - Google Patents

Description

本発明は、撮像素子の出力に基づいて焦点検出を行うことが可能な撮像装置に関する。

特許文献１には撮像画素と瞳分割型位相差検出方式の焦点検出画素を備えた撮像素子を有する撮像装置が開示されている。この撮像装置においては、画面上の複数の位置に焦点検出エリアが配置されるとともに、ユーザーがそのうちの１つを選択して焦点検出が行われる。また従来の撮像装置においては、撮像素子の露光制御は画面全体を対象として画像の輝度レベルのバランスが適切になるようになされていた。例えば全画素の輝度レベルのヒストグラムを作った場合に、ヒストグラムの平均値が適正な輝度レベルの範囲に入るように露光制御が行われていた（例えば、特許文献１参照）。

特開２００７−３３３７２０号公報

しかしながら上述したように画面全体を対象として露光制御を行った場合には、画面上の輝度分布によっては、焦点検出エリア内の焦点検出画素の輝度レベルが焦点検出演算処理に適したレベルの範囲に入るとは限らず、焦点検出不能となるという問題があった。

請求項１に記載の撮像装置は、複数の画素が２次元的に配置された撮像素子と、前記撮像素子上に光学像を形成する撮影光学系と、前記撮像素子上の撮像面の一部に設けられ、前記光学像に対する前記撮影光学系の焦点を検出するための焦点検出エリアと、前記焦点検出エリアの近傍領域における輝度が前記撮像面に比べて高輝度である場合に前記焦点検出エリアの近傍領域が適正露光量となるように前記撮像素子に対して第１の露光制御を行う露光制御手段と、前記焦点検出エリアの近傍領域における輝度が前記撮像面に比べて低輝度である場合に前記露光制御手段による前記第１の露光制御を禁止する禁止手段と、を備えることを特徴とする。
請求項４に記載の撮像装置は、複数の画素が２次元的に配置された撮像素子と、前記撮像素子上に光学像を形成する撮影光学系と、前記撮像素子上の撮像面の一部に設けられ、前記光学像に対する前記撮影光学系の焦点を検出するための焦点検出エリアと、前記焦点検出エリアの近傍領域が適正露光量となるように前記撮像素子に対して第１の露光制御を行う露光制御手段と、前記第１の露光制御を受けた前記撮像素子の撮像面全体の画像データを読み出す読み出し手段と、前記焦点検出エリアの画素データに基づいて前記記撮影光学系の焦点を検出する焦点検出手段と、前記読み出し手段によって読み出された画素データに基づき表示用画像データを生成する画像データ生成手段と、前記表示用画像全体が適正露光の画像となるように前記表示用画像データの輝度レベルを補正する補正手段と、を備えることを特徴とする。

本発明の撮像装置によれば、画面上の輝度分布によらず焦点検出が可能になるとともに、適正な輝度レベルの画像を表示することができる。

一実施の形態のデジタルスチルカメラの構成を示す図である。 交換レンズの撮影画面上における焦点検出位置を示す図である。 撮像素子の詳細な構成を示す正面図である。 撮像素子の詳細な構成を示す正面図である。 撮像素子の回路構成概念図である。 撮像素子の撮像画素および焦点検出画素の断面構造を示す図である。 撮像素子の動作タイミングチャートである。 撮像素子の動作を示す電位分布図である。 一実施の形態のデジタルスチルカメラの撮像動作を示すフローチャートである。 画素の輝度ヒストグラムである。 輝度のダイナミックレンジが広い光景を例示する図である。 選択された焦点検出エリア近傍を対象とした適正露光制御を制限する処理フローを示す図である。 特定の画像パターン検出による焦点検出エリア選択処理フローを示す図である。 得られた複数の焦点検出結果に応じて１つの焦点検出エリアを選択する処理フローを示す図である。 撮像素子の詳細な構成を示す正面図である。 撮像素子の詳細な構成を示す正面図である。

一実施の形態の撮像装置として、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図１は一実施の形態のデジタルスチルカメラの構成を示す横断面図である。本実施の形態のデジタルカメラ２０１は交換レンズ２０２とカメラボディ２０３とから構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。

交換レンズ２０２は、レンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う。また、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報（デフォーカス量や絞り値など）の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。

カメラボディ２０３は、撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状（行と列）に配置されるとともに、焦点検出位置（焦点検出エリア）に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。

ボディ駆動制御装置２１４はマイクロコンピューター、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置２１４は、撮像素子２１２の露光制御および撮像素子２１２からの画素信号の読み出しと、焦点検出画素の画素信号に基づく焦点検出演算と交換レンズ２０２の焦点調節とを繰り返し行う。また、ボディ駆動制御装置２１４は、画像信号の処理と記録、デジタルスチルカメラ２０１の動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報の送信を行う。

液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は、撮像素子２１２から読み出された画像データに基づきスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してそのスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像データを記憶する画像ストレージとしての記録媒体である。

ＡＤ変換装置２２１は、撮像素子２１２からの出力される画素信号をＡＤ変換してボディ駆動制御装置２１４に送る。撮像素子２１２がＡＤ変換装置２２１を内蔵する構成であってもよい。

交換レンズ２０２を通過した光束により、撮像素子２１２上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、撮像画素および焦点検出画素の画素信号がボディ駆動制御装置２１４へ送られる。

ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの画素信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２の撮像画素の画素信号を処理して画像データを生成し、メモリカード２１９に格納するとともに、撮像素子２１２から読み出されたスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。

レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。

レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。

操作部材２２０は後述する複数の焦点検出エリアから１つの焦点検出エリアを選択するために、ユーザーにより手動操作される部材である。ボディ駆動制御装置２１４は、操作部材２２０を介して選択された焦点検出エリアにおいて焦点検出処理を行う。

図２は、交換レンズ２０２の撮影画面上における焦点検出位置（焦点検出エリア）を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央（光軸上）および上下左右の５箇所に焦点検出エリア１０１〜１０５が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。焦点検出エリア１０１、１０２、１０３においては焦点検出画素が水平方向に配列され、焦点検出エリア１０４、１０５においては焦点検出画素が垂直方向に配列される。

図２に示した焦点検出エリア１０１、１０２、１０３、１０４、１０５は撮影画面１００上で規定したが、これらに対応する、撮像素子上の焦点検出画素が配置された部分についても焦点検出エリアと呼ぶこととする。図３および図４は撮像素子２１２の詳細な構成を示す正面図であり、図３は図２における焦点検出エリア１０１、１０２、１０３の近傍を拡大した画素配列の詳細を示し、図４は図２における焦点検出エリア１０４、１０５の近傍を拡大した画素配列の詳細を示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０は赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）からなり、ベイヤー配列の配置規則によって配置されている。図４においては垂直方向の焦点検出用に撮像画素と同一の画素サイズを有する垂直方向焦点検出用の焦点検出画素３１３、３１４が交互に、本来緑画素と青画素が連続的に配置されるべき垂直方向の直線上に連続して配列される。同じく図３においては水平方向の焦点検出用に撮像画素と同一の画素サイズを有する水平方向焦点検出用の焦点検出画素３１５、３１６が交互に、本来緑画素と青画素が連続的に配置されるべき水平方向の直線上に連続して配列される。

撮像画素３１０と焦点検出画素３１３、３１４、３１５、３１６の各々のマイクロレンズの形状は、元々画素サイズより大きな円形のマイクロレンズから画素サイズに対応した正方形の形状で切り出した形状をしている。

撮像画素３１０は、矩形のマイクロレンズ１０、遮光マスクで受光領域を正方形に制限された光電変換部１１、および色フィルタ（不図示）から構成される。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの色に対応する分光感度特性を有している。撮像素子２１２には、各色フィルタを備えた撮像画素３１０がベイヤー配列されている。

焦点検出画素３１３、３１４、３１５、３１６には全ての色に対して焦点検出を行うために全ての可視光を透過する白色フィルタが設けられている。その白色フィルタは、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性を有し、高い感度を示す光波長領域は緑画素、赤画素および青画素の各々において各色フィルタが高い感度を示す光波長領域を包括している。

焦点検出画素３１３は、図４に示すように矩形のマイクロレンズ１０と遮光マスクで受光領域を正方形の上半分（正方形を水平線で２等分した場合の上半分）に制限された光電変換部１３、および白色フィルタ（不図示）とから構成される。

また、焦点検出画素３１４は、図４に示すように矩形のマイクロレンズ１０と遮光マスクで受光領域を正方形の下半分（正方形を水平線で２等分した場合の下半分）に制限された光電変換部１４、および白色フィルタ（不図示）とから構成される。

焦点検出画素３１３と焦点検出画素３１４とをマイクロレンズ１０を重ね合わせて表示すると、遮光マスクで受光領域を正方形の半分に制限された光電変換部１３、１４が垂直方向に並んでいる。

また、上述した正方形の半分にした受光領域の部分に正方形を半分にした残りの部分を加えると、撮像画素３１０の受光領域と同じサイズの正方形となる。

焦点検出画素３１５は、図３に示すように矩形のマイクロレンズ１０と遮光マスクで受光領域を正方形の左半分（正方形を垂直線で２等分した場合の左半分）に制限された光電変換部１５、および白色フィルタ（不図示）とから構成される。

また、焦点検出画素３１６は、図３に示すように矩形のマイクロレンズ１０と遮光マスクで受光領域を正方形の右半分（正方形を垂直線で２等分した場合の右半分）に制限された光電変換部１６、および白色フィルタ（不図示）とから構成される。

焦点検出画素３１５と焦点検出画素３１６とをマイクロレンズ１０を重ね合わせて表示すると、遮光マスクで受光領域を正方形の半分に制限された光電変換部１５、１６が水平方向に並んでいる。

また、上述した正方形の半分にした受光領域の部分に正方形を半分にした残りの部分を加えると、撮像画素３１０の受光領域と同じサイズの正方形となる。

以上のような撮像画素と焦点検出画素の構成においては、一般的な光源のもとでは、緑色の撮像画素の出力レベルと焦点検出画素の出力レベルがほぼ等しくなり、赤色の撮像画素と青色の撮像画素の出力レベルはこれよりも小さくなる。

上述した一対の焦点検出画素３１３、３１４を交互にかつ直線状に多数配置し、各焦点検出画素の光電変換部の出力を、特開２００７−３３３７２０号公報に開示される一対の測距瞳に対応した一対の出力グループにまとめることによって、一対の測距瞳をそれぞれ通過する一対の光束が焦点検出画素配列上（垂直方向）に形成する一対の像の強度分布に関する情報が得られる。この情報に対して像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行うことによって、焦点検出位置（垂直方向）における予定結像面と結像面の偏差（デフォーカス量）が算出される。

焦点検出画素３１５、３１６が受光する焦点検出光束も焦点検出画素３１３、３１４と同様、一対の測距瞳が設定される。一対の焦点検出画素３１５、３１６を交互にかつ直線状に多数配置し、各焦点検出画素の光電変換部の出力を一対の測距瞳に対応した一対の出力グループにまとめることによって、一対の測距瞳をそれぞれ通過する一対の光束が焦点検出画素配列上（水平方向）に形成する一対の像の強度分布に関する情報が得られる。この情報に基づき、焦点検出位置（水平方向）における予定結像面と結像面の偏差（デフォーカス量）が算出される。

図５は撮像素子の回路構成概念図である。撮像素子はＣＣＤイメージセンサーとして構成される。撮像素子２１２の回路構成を、水平方向８画素×垂直方向８画素のレイアウトに簡略化して説明する。図５は図２の垂直方向の焦点検出エリア１０４に対応して描かれており、垂直方向に焦点検出画素３１３，３１４が同一の列に配置されている。

４列目は焦点検出画素３１３、３１４が配置された列であり、中央の４つの焦点検出画素３１３、３１４（○で示す）が複数の焦点検出画素を代表しており、上下の２つずつの撮像画素３１０（□で示す）が焦点検出画素の上下に配置された複数の撮像画素を代表している。

１〜３列目、５〜８列目は撮像画素３１０（□で示す）のみが配置された列であり、焦点検出画素が配置された列の左右の複数の撮像画素のみからなる列を代表している。

図において各列に配置された撮像画素および焦点検出画素で生成された電荷は、各列に対応して設けられた垂直転送ＣＣＤに移された後、水平転送ＣＣＤの方向に順次転送される。水平転送ＣＣＤは垂直転送ＣＣＤから１行分の電荷が移されると、１行分の電荷を出力回路３３０の方向に順次転送し、出力回路３３０は電荷電圧変換を行い、各画素で蓄積された電荷量に対応した画素信号を外部に出力する。

転送パルス発生回路は垂直転送ＣＣＤおよび水平転送ＣＣＤの転送動作に必要な駆動信号を垂直転送ＣＣＤおよび水平転送ＣＣＤに供給する。制御パルス発生回路は撮像画素および焦点検出画素の電荷蓄積制御および各画素から垂直転送ＣＣＤへの電荷移送に必要な制御信号ΦＵ、ΦＴ１、ΦＴ２、ΦＴ３を全画素共通に供給する。

制御パルス発生回路が出力する制御信号φＳｙｎｃは垂直同期信号であって、フレーム毎に外部（ボディ駆動制御装置２１４）に出力される。

入力信号Ｔｘは外部（ボディ駆動制御装置２１４）からの制御パルス発生回路への入力信号であって、画素の電荷蓄積時間を指定するための信号であり、制御パルス発生回路は制御信号ΦＵ、ΦＴ１の発生タイミングをこの信号に応じて変更することにより、電荷蓄積時間の制御（露光制御）が行われる。

図６は図５に示す撮像素子の撮像画素および焦点検出画素の断面構造を示す図である。Ｐ型半導体基板上にＰ層、Ｎ層からなる埋め込みフォトダイオード（ＰＤ）が形成され、その隣にＮ層からなる電荷蓄積部が形成される。電荷蓄積部に隣接してさらに垂直転送ＣＣＤを構成するＮ層が形成される。またＰＤに隣接してＮ＋層が形成され、電源電圧Ｖｄｄに接続される。電荷蓄積部とＰＤの間のチャネル上にゲート６０２が配置され、制御信号ΦＴ１が接続される。電荷蓄積部の上にはゲート６０３が配置され、制御信号ΦＴ２が接続される。電荷蓄積部と垂直転送ＣＣＤの間のチャネルの上にはゲート６０４が配置され、制御信号ΦＴ３が接続される。垂直転送ＣＣＤ上にはゲート６０５が配置され、駆動信号ΦＶｘが接続される。ＰＤと隣接するＮ＋層の間のチャネルの上にはゲート６０１が配置され、制御信号ΦＵが接続される。ゲート６０１〜ゲート６０４に制御信号ΦＵ、ΦＴ１、ΦＴ２、ΦＴ３を印可することにより、各ゲート下の電位レベルを変化させ、ＰＤで生成される電荷の蓄積、転送、破棄の動作を制御する。

図７は図５に示す撮像素子の動作タイミングチャートである。図８は撮像素子の動作を示す電位分布図である。ＣＣＤイメージセンサにおいては、いわゆるグローバルシャッタ動作により画素のリセット、露光、信号の読み出しが全画素同時に行われる。

撮像素子からの全画素の信号の出力（１フレーム分の画像信号の出力）の開始に同期して時刻ｔ０に垂直同期信号φＳｙｎｃが発せられる。垂直同期信号φＳｙｎｃに同期して時刻ｔ０に制御パルス発生回路は制御信号ΦＵ（ＯＮ）、制御信号ΦＴ１（ＯＦＦ）を発する。これに応じて画素信号出力時は電荷蓄積部はＰＤから切り離される。このとき撮像素子は図８（ａ）の電位分布状態にあり、ゲート６０３の下に形成された電荷蓄積部に電荷が保持されるとともに、ＰＤで生成される電荷は電源電圧ｖｄｄに破棄される。

時刻ｔ１に発せられる制御信号ΦＴ２（ＯＦＦ）、制御信号ΦＴ３（ＯＮ）により、電荷蓄積部に保持された電荷が垂直転送ＣＣＤ部に移送される。このとき撮像素子は図８（ｂ）の電位分布状態にあり、ゲート６０４直下の電位がゲート６０３直下の電位よりも低くなり、ゲート６０３直下の電荷はゲート６０４を経てゲート６０５の下の垂直転送ＣＣＤ部に流れ込む。垂直転送ＣＣＤに移送された電荷はその後駆動信号によりフレーム期間中に水平転送ＣＣＤを経て外部出力される。また時刻ｔ１からｔ２までにＰＤで生成される電荷は電源電圧ｖｄｄに破棄される。

時刻ｔ２に発せられる制御信号ΦＴ２（ＯＮ）、制御信号ΦＴ３（ＯＦＦ）により、電荷蓄積部は垂直転送ＣＣＤへの電荷移送を終了する。このとき撮像素子は図８（ｃ）の電位分布状態にあり、ゲート６０４直下の電位が上がって電荷蓄積部と垂直転送ＣＣＤが切り離される。また時刻ｔ２からｔ３までにＰＤで生成される電荷は電源電圧ｖｄｄに破棄される。

時刻ｔ３に発せられる制御信号ΦＵ（ＯＦＦ）、制御信号ΦＴ１（ＯＮ）により、ＰＤで生成される電荷の電荷蓄積部での蓄積が開始される。このとき撮像素子は図８（ｄ）の電位分布状態にあり、ゲート６０１直下の電位が上がってＰＤと電源電圧Ｖｄｄが切り離される。また、ゲート６０２直下の電位がＰＤの電位より低くなり、ＰＤで生成された電荷はゲート６０２直下を通り、ゲート６０２の電位より電位が低くなっているゲート６０３直下の電荷蓄積部に蓄積される。

以上の動作をフレーム毎に繰り返すことにより、連続した画像データが周期的に出力される。

以上の動作において撮像画素および焦点検出画素の電荷蓄積は、制御信号φＵの立ち下がりから立ち上がりまでの時間（制御信号φＴ１の立ち上がりから立ち下がりまでの時間）でとなり、この時間が露光時間（電荷蓄積期間）となる。

なお露光時間は後述するように画面全体または一部の輝度分布状態（輝度ヒストグラム）に基づき、平均輝度レベルが適正レベル（例えば輝度ダイナミックレンジの中央値）となるように定められる。

図９は、一実施の形態のデジタルスチルカメラ２０１の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップＳ１００でカメラの電源がオンされると、ステップＳ１１０以降の撮像動作を開始する。ステップＳ１００において撮像素子は一定周期で撮像動作を繰り返す動作モード（例えば１秒間に６０フレームを出力する）に設定される。

ステップＳ１０５において、焦点検出エリアの位置が選択される。本実施の形態では、ユーザーにより焦点検出エリアの位置が操作部材２２０を介して選択される。ステップＳ１１０においては、該焦点検出エリアを含む該焦点検出エリア近傍における光学像の明るさを測定する測光が行われる。撮像素子２１２の画素出力に基づく測光が行われ、測光出力に基づき、該焦点検出エリア近傍を対象として焦点検出に適した適正露光量を決定する。画像全体を対象として撮像記録に適した適正露光量も、測光により決定しても良いし、後述するステップＳ１８０において決定しても良い。測光は、測光センサを別に設けて行っても良い。ステップＳ１１５においては、該焦点検出エリア近傍の露光量が適正となるように、撮像素子に対し電荷蓄積時間を指定し、露光制御を行う。

輝度のダイナミックレンジが広い光景の場合、画面全体を対象とした適正露光量での露光制御では、図１０（ａ）のような緑色の撮像画素（＝焦点検出画素）の輝度ヒストグラムが得られる。輝度のダイナミックレンジが広い光景として、例えば図１１を例に説明する。図１１には、家５１０、山５２０、太陽５３０、空５４０を含む光景が示されている。太陽５３０に対して逆光となる家５１０は非常に暗い。太陽５３０に照らされた山５２０は、家５１０より明るいが、空５４０よりは暗い。なお、図示の便宜上、図１１はグラデーションを有していないように見えるが、実際の光景は、きめ細かいグラデーションを有しているものとして以下の説明を続ける。

このような光景に対して画面上部の焦点検出エリア１０２が選択された場合には、焦点検出エリア１０２近傍に光景の高輝度部分が入っているため、焦点検出エリア１０２近傍の輝度ヒストグラムは図１０（ａ）のＡ部分となり、一部が輝度ダイナミックレンジをオーバーしてしまう。そのため高輝度成分で飽和したものについてはクリップされる。つまり、焦点検出画素のデータの一部はＡＤ変換の最大値でクリップされてしまい、焦点検出の検出精度が低下したり検出不能に陥ってしまう。

一方選択された焦点検出エリア１０２近傍の露光量が適正となるように露光制御した場合には、図１０（ｂ）のような緑色の撮像画素（＝焦点検出画素）の輝度ヒストグラムとなる。焦点検出エリア１０２近傍の輝度ヒストグラムは図１０（ｂ）のＢ部分となり、輝度ダイナミックレンジをオーバーしてしまうことがなくなる。そのため焦点検出画素のデータはＡＤ変換の最大値でクリップされず、正確な焦点検出が可能になる。輝度の検出は不図示の多分割測光手段の出力を用いたり、撮像素子の前回のフレームの撮像画素のデータを用いて行うことができる。選択された焦点検出エリア近傍において検出した輝度に応じて、選択された焦点検出エリア近傍の露光量が適正となるような露光量（撮像素子の電荷蓄積時間）が決定される。

なお、選択された焦点検出エリアそのものではなく、その焦点検出エリア近傍の露光量が適正となるような露光量を決定するのは、通常、主要被写体がその焦点検出エリア近傍に位置し、しかしながらその焦点検出エリアの範囲に収まらない場合が考えられるからである。主要被写体の領域は、その焦点検出エリアの範囲全体とその近傍を含む場合のほか、その焦点検出エリアの範囲の一部とその近傍を含む場合も考えられる。

ステップＳ１２０では１フレーム分の全画素データを読み出す。ステップＳ１３０では焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。

例えば本来緑画素が配置されるべき位置に配置された焦点検出画素については、その焦点検出画素の対角方向の４つの位置に近接した４つの緑色の撮像画素のデータを平均して、該焦点検出画素の位置における緑色の撮像画素のデータとする。また本来青画素が配置されるべき位置に配置された焦点検出画素については、その焦点検出画素の左右方向の２つの位置に近接した２つの青色の撮像画素のデータを平均して、該焦点検出画素の位置における青色の撮像画素のデータとする。

このように補間した撮像画素データと本来の撮像画素データを合成して今回のフレームに対応する画像データを生成する。

続くステップＳ１４０では、今回のフレームに対応する画像データの輝度レベルを補正して電子ビューファインダーに表示（ライブビュー表示）させる。今回のフレームに対応する画像データは選択された焦点検出エリア近傍においては適正露光量となっているが、画面全体に対しては適正露光量とはなっていない。そこで画面全体に対して測光が行われ、画面全体に対して適正露光量の画像となるように輝度レベルを補正する。具体的には例えば図１０（ａ）から図１０（ｂ）への輝度ヒストグラムの圧縮分を伸長するような輝度レベル補正を行う。ただし伸長する際に高輝度部が表示手段で表示可能な輝度範囲を超えないように、所謂ニー特性を持たせて輝度レベル補正を行う。このようにすることで白トビのない高品質な表示画像が得られる。

ステップＳ１５０では選択された焦点検出エリアにおける焦点検出画素のデータに基づき焦点検出を行い、デフォーカス量を算出する。ステップＳ１６０では合焦（算出されたデフォーカス量の絶対値が予め定められた閾値以下）か否かを判定し、合焦の場合にはステップＳ１８０に進み、非合焦の場合はステップＳ１７０に進む。

ステップＳ１７０ではデフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させる。デフォーカス量の信頼性が低い場合や焦点検出不能の場合にはその旨をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０の駆動制御は更新しない。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。

ステップＳ１８０において画面全体の露光レベルが適正となるように露光量を定め、撮像素子に対し電荷蓄積時間を指定し、露光制御を行う。ステップＳ１９０では１フレーム分の全画素データを読み出す。ステップＳ２００では焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。

ステップＳ２１０では、今回のフレームに対応する画像データを電子ビューファインダーに表示（ライブビュー表示）させる。ステップＳ２２０では不図示の操作手段による撮影の指示がなされているか否かを判定し、撮影の指示がなされていない場合には、ステップＳ１８０に戻り、撮影の指示がなされていた場合には、ステップＳ２３０で今回のフレームに対応する画像データを画像データとしてメモリカード２１９に記録してステップＳ１１０に戻る。なお、ステップＳ２２０からステップＳ１８０へ戻る処理を所定回数繰り返した場合、あるいは所定時間を経過した場合において、ステップＳ１０５に戻ることとしても良い。

次に図９のステップＳ１５０で用いられる一般的な像ズレ検出演算処理（相関演算処理）としては、特開２００７−３３３７２０号公報に開示された相関演算処理を用いる。焦点検出画素が検出する一対の像は、測距瞳がレンズの絞り開口により口径蝕を受けて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。

焦点検出画素列から読み出された一対のデータ列（Ａ１_１〜Ａ１_Ｍ、Ａ２_１〜Ａ２_Ｍ：Ｍはデータ数）に対し、特開２００７−３３３７２０号公報に開示された相関演算式（１）を行い、相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ａ１_ｎ×Ａ２_{ｎ＋１＋ｋ}−Ａ２_ｎ＋ｋ×Ａ１_ｎ＋１｜ （１）

特開２００９−１４１７９１号公報に開示された算出方法により、相関量Ｃ（ｋ）の極小値Ｃ（ｘ）を与えるずらしｘを用いて像ズレ量ｓｈｆｔを算出することができる。こうして算出された像ズレ量ｓｈｆｔに所定の変換係数Ｋｄを乗じてデフォーカス量ｄｅｆへ変換する。なお変換係数Ｋｄは焦点検出画素が受光する一対の光束の開き角に対応しており、測距瞳距離ｄを一対の測距瞳の重心間隔で除算した値に相当する。
ｄｅｆ＝Ｋｄ×ｓｈｆｔ （２）

以上のように本発明においては、選択された焦点検出エリア近傍において露光量が適正となるように露光制御を行っている。したがって、焦点検出画素のデータ（輝度）が飽和することなく、焦点検出画素のデータを用いた焦点検出演算が不能になったり大きな誤差を生じることがない。また選択された焦点検出エリア近傍において露光量が適正となった画像を表示する際には、画面全体に対して露光量が適正となるように補正しているので、焦点検出中においても画面全体に対して露光量が適正となった画像を観察することができる。また合焦後は撮影時と同じように画面全体に対して露光量が適正となるように露光制御を行って表示しているので、露光量を補正して画像表示を行う場合に発生するような黒レベルの階調不足も生じない。

なお選択された焦点検出エリア近傍において露光量が適正となった画像を表示する際に、該画像を補正なしでそのまま表示するようにすれば、選択した焦点検出エリア近傍において輝度レベルが適正となった画像を観察できるので、状況によっては使い勝手向上する。画像表示の際の輝度レベルの補正の有無を選択可能にしておくこともできる。

なお上述した実施形態においてはＡＤ変換装置のダイナミックレンジにより焦点検出画素のデータがクリップされることにより不具合が生じるとして説明した。しかし、焦点検出画素の電荷蓄積部の最大電荷蓄積容量に応じて焦点検出画素のデータがクリップされることにより不具合が生じる場合もありうる。

なお上述した実施形態においては、選択された焦点検出エリア近傍において露光量が適正となるように露光制御するとは、図１０（ｂ）に示すように選択された焦点検出エリア近傍の輝度ヒストグラムのピークまたは平均値が輝度ダイナミックレンジ（ＡＤ変換範囲）の略中央に来るように撮像素子の電荷蓄積時間を制御することとして説明しているが、これに限定されることはない。例えば選択された焦点検出エリア近傍の輝度ヒストグラムの８０％程度が輝度ダイナミックレンジ（ＡＤ変換範囲）内に収まるようにすれば本発明の効果が得られる。

上述した実施形態においては、選択された焦点検出エリア近傍において露光量が適正となるように露光制御を行っているが、露光制御を行う領域を選択された焦点検出エリアの焦点検出画素に限定し、該焦点検出画素のデータが適正レベルとなるように露光制御を行っても良い。例えば選択された焦点検出エリアのなかの焦点検出画素データの最大値がＡＤ変換の最大値の８０％程度になるように露光制御を行えば、焦点検出演算に用いる焦点検出画素の全データ（輝度）が確実に飽和レベル以下であることを保証することができる。

また上述した実施形態においては、選択された焦点検出エリア近傍の輝度が画面全体の平均輝度よりも高い場合を説明した。しかし、選択された焦点検出エリア近傍の輝度が画面全体の平均輝度よりも低い場合においても、選択された焦点検出エリア近傍において露光量が適正となるように露光制御を行うことにより、同様な効果が得られる。

焦点検出画面全体に対して露光制御を行った際に選択された焦点検出エリア近傍が低輝度の場合には、焦点検出画素の輝度レベルが不足するため、焦点検出不能となったり大きな焦点検出誤差を生じてしまう。しかし、選択された焦点検出エリア近傍において露光量が適正となるように露光制御（露光量アップ）を行うことにより、確実に正確な焦点検出を行うことができる。

ただしこのように輝度レベルを上げる（電荷蓄積時間を長くする）ような露光制御を行った場合には、画像中の中〜高輝度部は輝度ダイナミックレンジを超えてしまうこともあるために、画像を表示する際に輝度補正を行っても白トビ部が発生してしまう可能性がある。そのため、ボディ駆動制御装置２１４は、輝度レベルを上げる（露光量を大きくする＝電荷蓄積時間を長くする）ような露光制御については、禁止するようにしたり、露光制御による輝度レベルの変更の程度を制限したりするようにしてもよい。

図１２は、選択された焦点検出エリア近傍を対象とした適正露光制御を制限する処理フローを示す図である。ボディ駆動制御装置２１４により実行される。図１２のステップＳ１０１０に示す判定処理が肯定判定されると、図９におけるステップＳ１１５に示す処理の代わりに、図１２のステップＳ１０２０に示す処理が行われる。すなわち、ステップＳ１０１０において、選択された焦点検出エリア近傍が画面全体に対して低輝度であるか否かを判定する。肯定判定の場合、ステップＳ１０２０において、露光制御に応じた輝度レベルの変更の程度を制限するように露光制御を行い、図９のステップＳ１２０へ進む。否定判定の場合、上述したように、ステップＳ１１５において、選択された焦点検出エリア近傍の露光量が適正となるように撮像素子の露光制御を行い、ステップＳ１２０へ進む。

また上述した実施形態においては、焦点検出エリアはユーザーが手動で選択しているが、これに限定されるものではない。例えば画像処理により全体画像の中から特定の画像パターン（例えば人間の顔画像）を検出し、該特定の画像パターンの位置に応じて自動的に焦点検出エリアを選択するようにしてもよい。

図１３は、特定の画像パターン検出による焦点検出エリア選択処理フローを示す図である。ボディ駆動制御装置２１４により実行される。図９におけるステップＳ１０５に示す処理の代わりに図１３のステップＳ１１１０、Ｓ１１２０に示す処理が行われる。すなわち、ステップＳ１１１０において、画像処理により全体画像の中から特定の画像パターンを検出する。ステップＳ１１２０において、該特定の画像パターンの位置に応じて焦点検出エリアを選択する。たとえば、該特定の画像パターンの位置に最も近い位置の焦点検出エリアを選択する。

また電源ＯＮ時の最初のステップにおいて複数の焦点検出エリアにおいて同時に焦点検出を行い、得られた複数の焦点検出結果に応じて自動的に１つの焦点検出エリアを選択するようにしてもよい。例えば複数の焦点検出結果の中で最至近の結果を出した焦点検出エリアを選択することもできる。

図１４は、得られた複数の焦点検出結果に応じて１つの焦点検出エリアを選択する処理フローを示す図である。ボディ駆動制御装置２１４により実行される。図９におけるステップＳ１０５に示す処理の代わりに図１４のステップＳ１２１０、Ｓ１２２０に示す処理が行われる。すなわち、ステップＳ１２１０においては、複数の焦点検出エリアにおいて同時に焦点検出を行う。ステップＳ１２２０においては、同時に行って得られた複数の焦点検出結果に応じて、たとえば最至近の焦点検出エリアといった、１つの焦点検出エリアを選択する。

また本発明は瞳分割型位相差検出用の焦点検出画素を備える撮像素子に限定されるものではなく、所謂コントラスト検出に用いられる焦点検出画素を備える撮像素子にも適用することができる。

また上述した実施形態においては、露光制御は撮像素子の電荷蓄積時間を変更することによって行っているが、これに限定されるものではない。例えば撮像素子の出力回路のゲインを変更したり、絞りの開口径の変更によっても露光制御を行うことが可能である。

−−−変形例−−−
上述した実施形態においては、選択された１つの焦点検出エリア近傍において露光量が適正となるように露光制御を行っているが、本発明はこれに限定されるものではない。

例えば図２において２つ以上の焦点検出エリアを選択し、選択された２つ以上の焦点検出エリア近傍において最も高輝度な画像部分を捕捉している領域の露光量が適正となるように露光制御を行ってもよい。あるいは焦点検出エリアの選択がなく、常時５つの焦点検出エリアにおいて焦点検出を行うようにするとともに、全ての焦点検出エリア近傍において最も高輝度な画像部分を捕捉している領域の露光量が適正となるように露光制御を行ってもよい。

例えば５つの焦点検出エリアにおける全ての焦点検出画素のデータの最大値がＡＤ変換範囲内に収まるように撮像素子の電荷蓄積時間を設定する。また、焦点検出画素のデータの出力レベルが低下した焦点検出エリアにおいては、直近の過去の複数フレームにおける焦点検出画素のデータを記憶しておく。そして、該過去フレームにおける焦点検出画素のデータと今回のフレームにおける焦点検出画素のデータを加算することにより、焦点検出画素のデータの出力レベルをアップした上で焦点検出を行うようにしてもよい。

なお複数の焦点検出エリアにおいて焦点検出結果を得た場合には、ボディ駆動制御装置２１４は、所定の判定基準（たとえば最至近など）により最終的な焦点検出結果を出す。

上述した実施形態においては、複数の焦点検出エリアの中から選択された焦点検出エリアの近傍において露光量が適正となるように露光制御を行っているが、本発明はこれに限定されるものではない。焦点検出エリアを１つしか備えない場合（例えば図２において中央の焦点検出エリア１０１のみを備える）においても、焦点検出を行う際には１つの焦点検出エリアの近傍において露光量が適正となるように露光制御を行うことによって、本発明の効果を得ることができる。

図３、図４に示す撮像素子２１２の部分拡大図では、各画素に１つの光電変換部を有する一対の焦点検出画素３１３，３１４および一対の焦点検出画素３１５，３１６を備える例を示したが、ひとつの焦点検出画素内に一対の光電変換部を備えるようにしてもよい。図１５、図１６は図３、図４に対応した撮像素子２１２の部分拡大図であり、焦点検出画素３１１および３１２は一対の光電変換部を備える。

図１６に示す焦点検出画素３１１は、図４に示す焦点検出画素３１３と焦点検出画素３１４のペアに相当した機能を果たし、図１５に示す焦点検出画素３１２は、図３に示す焦点検出画素３１５と焦点検出画素３１６のペアに相当した機能を果たす。焦点検出画素３１１、３１２は、図１５、図１６に示すようにマイクロレンズ１０と一対の光電変換部１３，１４および一対の光電変換部１５，１６から構成される。焦点検出画素３１１,３１２には白色フィルタが配置されており、その分光感度特性は光電変換を行うフォトダイオードの分光感度特性と、赤外カットフィルタ（不図示）の分光感度特性とを総合した分光感度特性となる。つまり、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性となり、その白色フィルタが高い感度を示す光波長領域は、緑画素、赤画素および青画素の各色フィルタが高い感度を示す光波長領域を包括している。

上述した実施形態における撮像素子では焦点検出画素が白色フィルタを備えた例を示したが、撮像画素と同じ色フィルタ（例えば緑フィルタ）を備えるようにした場合にも本発明を適用することができる。

例えば図１５に示した焦点検出画素３１２のみを２次元に配列して撮像素子を構成するとともに、２次元に配置された焦点検出画素にベイヤー配列した色フィルタを備えるようにしてもよい。このような構成においては撮像時は焦点検出画素の一対の光電変換部のデータを加算することにより、撮像画素と同等のデータを算出することが可能である。また、焦点検出時は同色の焦点検出画素同士で相関演算を行うことにより、色別の焦点検出結果を得ることが出来、輝度のみではコントラストが出ないような場合にも焦点検出が可能になる。

上述した実施形態においては、静止画の単独撮影（複数回の画像フレームのうち、所定のトリガに応じて１つの画像フレームを記録する）に本発明を適用しているが、これに限定されるものではない。例えば静止画の連続撮影（複数回の画像フレームのうち所定回毎に画像フレームを記録する）や動撮影にも本発明を適用することが可能である。

上述した実施形態においては、撮像素子としてＣＣＤイメージセンサを用いているが、ＣＭＯＳイメージセンサを用いることもできる。

上述した実施形態における撮像素子では撮像画素がベイヤー配列の色フィルタを備えた例を示したが、色フィルタの構成や配列はこれに限定されることはない。たとえば、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列やベイヤー配列以外の配列にも本発明を適用することができる。また色フィルタを備えないモノクロの撮像素子にも本発明を適用することができる。

なお、撮像装置としては、上述したような、カメラボディに交換レンズが装着される構成のデジタルスチルカメラに限定されない。例えば、レンズ一体型のデジタルスチルカメラあるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。

１０ マイクロレンズ、１１、１３、１４、１５、１６ 光電変換部、
１００ 撮影画面、１０１、１０２、１０３、１０４、１０５ 焦点検出エリア、
２０１ デジタルスチルカメラ、２０２ 交換レンズ、２０３ カメラボディ、
２０４ マウント部、２０６ レンズ駆動制御装置、
２０８ ズーミング用レンズ、２０９ レンズ、２１０ フォーカシング用レンズ、
２１１ 絞り、２１２ 撮像素子、２１３ 電気接点、
２１４ ボディ駆動制御装置、
２１５ 液晶表示素子駆動回路、２１６ 液晶表示素子、２１７ 接眼レンズ、
２１９ メモリカード、２２０ 操作部材、２２１ ＡＤ変換装置、
３１０ 撮像画素、
３１１、３１２、３１３、３１４、３１５、３１６ 焦点検出画素、
３３０ 出力回路、６０１、６０２、６０３、６０４、６０５ ゲート

Claims (13)

1. 複数の画素が２次元的に配置された撮像素子と、
   前記撮像素子上に光学像を形成する撮影光学系と、
   前記撮像素子上の撮像面の一部に設けられ、前記光学像に対する前記撮影光学系の焦点を検出するための焦点検出エリアと、
   前記焦点検出エリアの近傍領域における輝度が前記撮像面に比べて高輝度である場合に前記焦点検出エリアの近傍領域が適正露光量となるように前記撮像素子に対して第１の露光制御を行う露光制御手段と、
   前記焦点検出エリアの近傍領域における輝度が前記撮像面に比べて低輝度である場合に前記露光制御手段による前記第１の露光制御を禁止する禁止手段と、を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記焦点検出エリアの画素データに基づいて前記撮影光学系の焦点を検出する焦点検出手段と、
   前記焦点検出エリアの近傍領域における輝度が前記撮像面全体に比べて低輝度であるか否かを判定する判定手段と、を更に備え、
   前記焦点検出エリアの近傍領域は、前記焦点検出エリアの領域、または前記焦点検出エリア及びその近傍からなる領域、または前記焦点検出エリアの一部及びその近傍からなる領域であることを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記禁止手段は、前記焦点検出エリアの近傍領域における輝度が前記撮像面に比べて低輝度である場合には、前記焦点検出エリアの近傍領域が適正露光量よりも低い露光量となるように前記撮像素子に対して第２の露光制御を前記露光制御手段に行わせることを特徴とする撮像装置。
4. 複数の画素が２次元的に配置された撮像素子と、
   前記撮像素子上に光学像を形成する撮影光学系と、
   前記撮像素子上の撮像面の一部に設けられ、前記光学像に対する前記撮影光学系の焦点を検出するための焦点検出エリアと、
   前記焦点検出エリアの近傍領域が適正露光量となるように前記撮像素子に対して第１の露光制御を行う露光制御手段と、
   前記第１の露光制御を受けた前記撮像素子の撮像面全体の画像データを読み出す読み出し手段と、
   前記焦点検出エリアの画素データに基づいて前記記撮影光学系の焦点を検出する焦点検出手段と、
   前記読み出し手段によって読み出された画素データに基づき表示用画像データを生成する画像データ生成手段と、
   前記表示用画像全体が適正露光の画像となるように前記表示用画像データの輝度レベルを補正する補正手段と、を備えることを特徴とする撮像装置。
5. 請求項２〜４のいずれか一項に記載の撮像装置において、
   前記適正露光量は、前記焦点検出エリアの画素データに含まれる最大画素値が所定値以下となるように定められることを特徴とする撮像装置。
6. 請求項４に記載の撮像装置において、
   前記補正手段は、前記輝度レベルの補正の際、ニー特性を有する補正を行うことを特徴とする撮像装置。
7. 請求項２〜６のいずれか１項に記載の撮像装置において、
   複数の焦点検出エリアを備え、前記複数の焦点検出エリアの中から特定の焦点検出エリアを選択する選択手段をさらに備え、
   前記露光制御手段は、前記選択手段によって選択された前記特定の焦点検出エリアの近傍領域が適正露光量となるように前記撮像素子に対して前記第１の露光制御を行い、
   前記焦点検出手段は、前記特定の焦点検出エリアの画素データに基づいて前記焦点を検出することを特徴とする撮像装置。
8. 請求項７に記載の撮像装置において、
   前記選択手段により選択される前記特定の焦点検出エリアを、使用者が手動操作を介して指定するための指定手段をさらに備えることを特徴とする撮像装置。
9. 請求項７に記載の撮像装置において、
   前記選択手段は、前記複数の焦点検出エリアにおける焦点検出結果に基づいて、前記特定の焦点検出エリアを選択することを特徴とする撮像装置。
10. 請求項７に記載の撮像装置において、
    前記撮像素子の前記複数の画素の画素データに基づき前記光学像の画像を表示する表示手段と、
    前記光学像の画像に含まれる特定の特徴を有した特定画像を検出する特定画像検出手段と、をさらに備え、
    前記選択手段は、前記特定画像検出手段の検出した前記特定画像に基づいて、前記特定の焦点検出エリアを選択することを特徴とする撮像装置。
11. 請求項２〜１０のいずれか１項に記載の撮像装置において、
    前記複数の画素の各々は電荷蓄積型光電変換素子を有し、
    前記露光制御手段は前記第１の露光制御のために前記電荷蓄積型光電変換素子の電荷蓄積時間を制御することを特徴とする撮像装置。
12. 請求項２〜１１のいずれか１項に記載の撮像装置において、
    前記焦点検出手段の検出結果に応じて、前記撮影光学系の焦点調節を行う焦点調節手段と、
    撮影指示に応じて前記撮像素子の出力に基づく画像データを記録媒体に記録する記録手段とをさらに備え、
    前記露光制御手段は、前記焦点調節手段による前記焦点調節が完了した後、前記撮像面が適正露光量となるように前記撮像素子に対して第３の露光制御を行い、
    前記記録手段は、前記第３の露光制御を受けた前記撮像素子の出力に基づく画像データを記録することを特徴とする撮像装置。
13. 請求項１〜１２のいずれか１項に記載の撮像装置において、
    前記複数の画素は、複数の撮像画素と前記焦点検出エリアに対応する位置に配列される複数の瞳分割型の焦点検出画素とを含み、
    前記複数の撮像画素の各々は、前記撮影光学系の射出瞳を通過する撮影光束を受光して撮像信号を出力し、前記複数の瞳分割型の焦点検出画素の各々は、前記射出瞳を通過する一対の焦点検出光束のうちの少なくとも一方を受光して焦点検出信号を出力することを特徴とする撮像装置。

Images