JP5311960B2 - 撮像装置、その制御方法及びプログラム - Google Patents

Description

本発明は、撮像装置、その制御方法及びプログラムに関する。

従来、デジタルスチルカメラなどの撮像装置におけるオートフォーカス（以下ＡＦ）機構としては、ＴＶ−ＡＦ（山登り方式、コントラスト方式）と位相差ＡＦが知られている（特許文献１、２）。また、近年の撮像装置には、被写体像を撮像するための複数の受光素子の中に、受光部の感度領域を偏心させることで瞳分割機能を有する位相差検出用の素子を含むものがある（特許文献３）。これにより、ＡＦを行う際には、撮像画像によるＴＶ−ＡＦに加えて、その撮像画像を用いた位相差ＡＦも可能となっている。

また、位相差検出用素子は、受光部の感度領域を偏心させるために開口部が制限されており、通常の受光素子と比べて出力される信号レベルが異なるが、その出力が光量に比例すること自体は変わらない。このため、撮像画像を取得する際に位相差検出用素子に対応する画素部分を補間する撮像装置として、位相差検出用素子の出力を輝度情報として用いるものがある（特許文献４）。
特許０２８２１２１４号公報 特公平０７−０７４８５５号公報 特許０３５９２１４７号公報 特開２００５−１０６９９４号公報

しかしながら、位相差検出用素子と通常の受光素子とでは、位相差検出用素子の開口部の大きさが通常の受光素子と比較して制限され、また開口部の位置が中心から偏倚していることから、撮像時における絞り量の変化に応じた信号レベルの変化が互いに異なる。例えば、撮像時の絞りが小さい（絞り値が大きい）場合、光の入射範囲が画素中心部の狭い範囲に制限される。したがって、開口部の位置が中心部から偏倚した位相差検出用素子にのみ絞りによるケラレが生じ、通常の受光素子と比べて入射光量が少なくなったり、無くなったりする。

このように、絞りによるケラレが生じた場合には、位相差検出用素子からの出力が光量に比例しなくなる。したがって、位相差検出用素子の出力を絞り値にかかわらず同一の割合で、その位相差検出用素子に対応する画素を補完した場合は、撮像時の絞り量によってその補完結果に差が生じ、適切な撮像画像を取得できなくなる虞があった。

本発明は、このような従来技術の課題を解決することを目的としてなされたものである。本発明の目的は、位相差検出用素子の出力を用い、その位相差検出用素子に対応する画素を補間して撮像画像を取得する際に、撮像時の絞り量による補間結果への影響を低減させることが可能な撮像装置、その制御方法及びプログラムの提供を目的とする。

上記目的は、絞り量を調整可能な絞りを有し、被写界像を結像させる撮像光学系と、前記撮像光学系により結像された被写界像を撮像するための複数の受光素子であって、当該複数の受光素子の一部が前記撮像光学系の合焦制御に用いる位相差信号を得るための位相差検出用素子である撮像手段と、を備える撮像装置であって、前記撮像手段が出力する撮像画像に含まれる前記位相差検出用素子に対応する画素値を、当該位相差検出用素子からの出力と、当該位相差検出用素子に対応する画素の周辺画素の値とに基づいて補間する補間手段を有し、前記位相差検出用素子が、画素の中心から偏倚した位置に、前記位相差検出用素子でない受光素子よりも狭い開口部を有する受光素子であり、前記補間手段が、前記位相差検出素子からの出力を、前記撮像画像を撮像した際の前記絞りの絞り量に応じた割合で用いて前記補間を行い、前記絞り量に応じた割合が、同一の入射光量に対して前記絞り量と前記位相差検出用素子の出力とが線形関係を維持しない範囲では、前記絞り量と前記位相差検出用素子の出力とが線形関係を維持する範囲よりも小さいことを特徴とする撮像装置によって達成される。
また、上記目的は、絞り量を調整可能な絞りを有し、被写界像を結像させる撮像光学系と、前記撮像光学系により結像された被写界像を撮像するための複数の受光素子であって、当該複数の受光素子の一部が前記撮像光学系の合焦制御に用いる位相差信号を得るための位相差検出用素子である撮像手段と、を備える撮像装置であって、前記撮像手段が出力する撮像画像に含まれる前記位相差検出用素子に対応する画素値を、当該位相差検出用素子からの出力と、当該位相差検出用素子に対応する画素の周辺画素の値とに基づいて補間する補間手段を有し、前記位相差検出用素子が、画素の中心から偏倚した位置に、前記位相差検出用素子でない受光素子よりも狭い開口部を有する受光素子であり、前記撮像手段が、前記位相差検出用素子を含む複数の受光素子に設けられたカラーフィルタを有し、前記補間手段は、前記位相差検出用素子からの出力、及び、当該位相差検出用素子に設けられたカラーフィルタの色と同じ色のカラーフィルタが設けられた同色周辺画素の値に基づいて補間するとともに、前記位相差検出素子からの出力を、前記撮像画像を撮像した際の前記絞りの絞り量に応じた割合で用いて補間することを特徴とする撮像装置によっても達成される。

また、上記目的は、絞り量を調整可能な絞りを有し、被写界像を結像させる撮像光学系と、前記撮像光学系により結像された被写界像を撮像するための複数の受光素子であって、当該複数の受光素子の一部が前記撮像光学系の合焦制御に用いる位相差信号を得るための位相差検出用素子である撮像手段と、を備える撮像装置の制御方法であって、前記撮像手段が出力する撮像画像に含まれる前記位相差検出用素子に対応する画素値を、当該位相差検出用素子からの出力と、当該位相差検出用素子に対応する画素の周辺画素の値とに基づいて補間する補間工程を有し、前記位相差検出用素子が、画素の中心から偏倚した位置に、前記位相差検出用素子でない受光素子よりも狭い開口部を有する受光素子であり、前記補間工程が、前記位相差検出素子からの出力を、前記撮像画像を撮像した際の前記絞りの絞り量に応じた割合で用いて前記補間を行い、前記絞り量に応じた割合が、同一の入射光量に対して前記絞り量と前記位相差検出用素子の出力とが線形関係を維持しない範囲では、前記絞り量と前記位相差検出用素子の出力とが線形関係を維持する範囲よりも小さいことを特徴とする撮像装置の制御方法によっても達成される。
また、上記目的は、絞り量を調整可能な絞りを有し、被写界像を結像させる撮像光学系と、前記撮像光学系により結像された被写界像を撮像するための複数の受光素子であって、当該複数の受光素子の一部が前記撮像光学系の合焦制御に用いる位相差信号を得るための位相差検出用素子である撮像手段と、を備える撮像装置の制御方法であって、前記撮像手段が出力する撮像画像に含まれる前記位相差検出用素子に対応する画素値を、当該位相差検出用素子からの出力と、当該位相差検出用素子に対応する画素の周辺画素の値とに基づいて補間する補間工程を有し、前記位相差検出用素子が、画素の中心から偏倚した位置に、前記位相差検出用素子でない受光素子よりも狭い開口部を有する受光素子であり、前記撮像手段が、前記位相差検出用素子を含む複数の受光素子に設けられたカラーフィルタを有し、前記補間工程が、前記位相差検出用素子からの出力、及び、当該位相差検出用素子に設けられたカラーフィルタの色と同じ色のカラーフィルタが設けられた同色周辺画素の値に基づいて補間するとともに、前記位相差検出素子からの出力を、前記撮像画像を撮像した際の前記絞りの絞り量に応じた割合で用いて前記補間を行うことを特徴とする撮像装置の制御方法によっても達成される。

本発明によれば、位相差検出用素子の出力を用い、その位相差検出用素子に対応する画素を補間して撮像画像を取得する際に、撮像時の絞り量による補間結果への影響を低減させることができる。

以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の範囲を限定するものではない。

［第１の実施形態］
まず、第１の実施形態の基本となる撮像素子における画素（受光素子）配列に関して、図１を参照して説明する。図１は撮像素子の画素配列を示したものである。図１に例示したものは、２画素×２画素を基本単位とするエリアセンサの基本単位部の色配列である。ここで、図１（ａ）は、位相差検出素子を含む２画素×２画素の配列を例示する概念図であり、図１（ｂ）は、通常の２画素×２画素のベイヤ配列を例示する概念図である。なお、同図に付記されたＲ、Ｇ、Ｂの記号は、画素に塗布されたカラーフィルタをあらわしている。

図１（ａ）に示すように、Ｓの部分は、ＡＦ（合焦制御）のための測距データ（位相差信号）を読み出すための、焦点検出用画素（位相差検出用素子）である。本実施形態では、撮像素子における複数の受光素子（画素）の一部にＡＦのためのセンサとしての機能をもつ画素を構成することで、カメラのＡＦのための測距を撮像素子そのものからの信号を読み出すことで行うことを可能ならしめる。これによって、撮像素子からの出力信号を用いて位相差検出による高精度のＡＦを可能ならしめる。なお、一眼レフタイプを含むデジタルスチルカメラでは、撮像素子としてＣＭＯＳセンサやＣＣＤが使われるが、本実施形態ではどちらのタイプのセンサを用いても良い。

また、図１（ｂ）に示すように、焦点検出用画素以外（位相差検出用素子以外）の画素は、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤ配列に従っている。

さて、撮像素子上の焦点検出用画素の配列を図２に示す。図２に示すように、撮像素子は、通常のベイヤ配列の画素に焦点検出用画素Ｓ１を複数持つラインと焦点検出用画素Ｓ２を複数持つラインが並んで構成される。

ここで、焦点検出用画素Ｓ１と焦点検出用画素Ｓ２の画素構成を説明する。
図３に焦点検出用画素Ｓ１の画素構造を示す。（ａ）は遮光層２０３を上方からみた俯瞰図であり、（ｂ）は焦点検出用画素Ｓ１におけるＡ−Ａ’の断面図である。図３（ｂ）に示すように、焦点検出用画素Ｓ１の最上部にはマイクロレンズ２０１が構成される。平滑層２０２はマイクロレンズ２０１を形成するための平面を構成する層である。

通常の画素では、Ｒ、Ｇ、Ｂのいずれか（または補色フィルタの場合は、Ｙ、Ｃ、Ｍのいずれか）の色のカラーフィルタ層を有するが、本実施形態の焦点検出用画素では、カラーフィルタ層は持たないようにしている。すなわち、焦点検出用画素では光量のみの検出が可能となっている。これは、焦点検出用画素は開口制限が有るので通常画素より入射光量が少ないのだが、さらにカラーフィルタ層で光量を減らすことを避けるためである。

この画素で特徴的なのことは、図３（ａ）、（ｂ）に示すように、色画素の混色防止遮光メタルの同一平面上に、画素の受光エリアの画素中央Ｏから一方に偏った（偏倚した）第１の開口部Ｏ１を有する遮光層２０３を構成したところにある。平滑層２０４は、遮光層２０３を形成するための層である。絶縁層２０５は、電極と半導体の間にもうけられる酸化膜などによる層である。すなわち、焦点検出用画素は、通常の受光素子からなる画素よりも狭い開口部を、画素の中心から偏倚した位置に有する画素である。

焦点検出用画素Ｓ１と同様、焦点検出用画素Ｓ２の画素構造を図４に示す。図４（ａ）、（ｂ）に示すように、焦点検出用画素Ｓ２は、画素中央Ｏに対して焦点検出用画素Ｓ１とは反対側で同距離のところに第２の開口部Ｏ２を有する構成である。

１００万画素を越える撮像素子にとっては、図２の配列で、焦点検出用画素Ｓ１の行と焦点検出用画素Ｓ２の行はほとんど同一ラインとして近似の被写界像がマイクロレンズ上に結像される。撮像素子に被写界像を結ぶ撮像レンズが撮像素子上でピントが合っているのであれば、焦点検出用画素Ｓ１を含む行のＳ１群からの信号と、焦点検出用画素Ｓ２を含む行のＳ２群からの信号は一致する。もし、ピントを結ぶ点が撮像素子の撮像面よりも前方か後方にあるならば、焦点検出用画素Ｓ１を含む行のＳ１群からの信号と、焦点検出用画素Ｓ２を含む行のＳ２群からの信号とに位相差が生じる。そして、結像点が撮像面より前の場合と後の場合とでは位相のずれ方向が逆になるのである。これは、原理的には、先に上げた特許文献２の位相差ＡＦと同じである。焦点検出用画素Ｓ１の受光素子からカメラレンズを見た場合と、焦点検出用画素Ｓ２の受光素子からカメラレンズをみた場合とでは、あたかも光学中心に対して瞳が左右に分割したように見える。

図５（ａ）、（ｂ）にピントずれによる像ずれの概念図（焦点検出の原理を説明する概念図）を示す。図５（ａ）、（ｂ）では、焦点検出用画素Ｓ１と焦点検出用画素Ｓ２を合一させ、Ａ、Ｂの点で示した。また、わかりやすくするために、各焦点検出画素の間の色画素も省いて、あたかも焦点検出画素が並んでいるように示している。

図５（ａ）、（ｂ）に示すように、被写界の特定点からの光は、Ａにとっての瞳を通って該当のＡ点にはいる光線束（ΦＬａ）と、Ｂにとっての瞳を通って該当のＢ点に入る光線束（ΦＬｂ）に分けられる。この２つの光束は、もともと１点より発したものであるから、もし撮像レンズのピントが撮像面上にあっていれば同一マイクロレンズで括られる１点に到達することとなる（図５（ａ））。しかし、たとえばｘ手前であれば、２θｘだけ互いにずれるのである（図５（ｂ））。仮に、−ｘであれば、到達点は逆方向にずれる。この原理に基づき、Ａの並びでできる像（光の強弱による信号）とＢの並びによりできる像は撮像レンズのフォーカスがあっていれば一致し、そうでなければずれることとなる。

本実施形態の撮像素子は、この原理に基づき、開口位置の異なるマイクロレンズをもった画素を基本配列のなかに組み込んでいる。具体的には、第１の開口部Ｏ１をもつ画素（焦点検出用画素Ｓ１）を含む基本配列の行と第２の開口部Ｏ２をもつ画素（焦点検出用画素Ｓ２）を含む基本配列の行を隣接して並べる領域を設けたのである。この領域のＳ１群からの信号とＳ２群からの信号のずれ分を演算して撮像レンズのフォーカスのずれ分を求め、カメラのフォーカスを動かしてやればオートフォーカスが可能になる。

このようなＳ１群、Ｓ２群よりなる焦点検出用画素を有する測距領域は撮像面の全てにある必要はない。また、焦点検出用画素は行全てに行き渡る必要はない。画面上の数ポイントに測距領域を埋め込めばよい。そして、ＡＦのための信号を撮像素子から読み出す場合は焦点検出用画素の含まれるラインだけを読み出し、他の不要な電荷は高速にクリアすればよい。また、ＣＭＯＳ撮像素子の場合は、ランダムアクセスにより必要な画素（焦点検出用画素）だけ読み出すようにすればよい。

図６は、本実施形態に係る撮像装置１の構成を示すブロック図である。図６において、撮像素子１０は、上述したとおりに焦点検出用画素が実装されている撮像素子である。タイミングジェネレータ１１は、静止画撮像モード、ライブビューや電子ビューファインダー用の間引きモード、ＡＦ用の測距モードに応じた垂直転送パルス、水平転送パルスを生成して撮像素子１０を駆動する。

例えば、静止画撮像モードでは、焦点検出用画素も含め、全画素の情報が読み出されるよう垂直転送パルス、水平転送パルスが生成される。ライブビューや電子ビューファインダー用の間引きモードでは、表示されるディスプレイ１８の画素数が撮像素子１０に比べて少ないため、画素の間引きが行われる。このとき、焦点検出用画素は、間引かれるように垂直転送パルス、水平転送パルスが生成される。また、測距モードでは、焦点検出用画素のみを読み込むように垂直転送パルス、水平転送パルスが生成される。また、タイミングジェネレータ１１は、マイクロプロセッサ２４と制御線で接続されており、マイクロプロセッサ２４からの指令に応じて駆動パルスを、静止画撮像モード、間引きモード、測距モードに切り替える。

撮像素子１０の出力は、ＣＤＳ回路１２で相関二重サンプリングされ、ＡＧＣ回路１３で信号レベルの調整をされた後、Ａ／Ｄコンバータ１４においてデジタル値に変換される。なお、ＣＤＳは、Correlated Double Sampling（＝相関二重サンプリング）の略語である。また、ＡＧＣは、Auto Gain Control（＝自動ゲイン調整)の略語である。Ａ／Ｄコンバータ１４の出力はスイッチ２５及びメモリコントローラ１９に接続されている。

信号処理回路１５は、Ａ／Ｄ変換された撮像素子１０の出力信号を元に、輝度・色差画像データを生成する回路である。圧縮回路１６は、信号処理回路１５によって生成した輝度・色差画像データをＪＰＥＧなどの所定の規格に則って圧縮処理する回路である。

ディスプレイ１８はＬＣＤなどによって構成され、撮像した静止画像や動画像を表示したり、電子ビューファインダーとして本撮像前に撮像素子に入射する被写界像を表示したりする。ディスプレイ制御回路１７は、ディスプレイ１８の表示制御を行う。

メモリ２０は、ＤＲＡＭ（Dynamic Random Access Memory）などのメモリ素子によって構成される。メモリ２０には、撮像素子１０で撮像された画像データなどが一時的に記録される。メモリコントローラ１９は、入力されるデータをメモリ２０に記録するための制御を行ったり、メモリ２０に記録されたデータを他のブロックからのリクエストに応じて読み出したりするための制御を行う回路である。

位相差演算回路２１は、測距用の相関演算を行う演算回路であり、マイクロプロセッサ２４に接続されたコプロセッサや、マイクロプロセッサ２４とは別のＤＳＰやＣＰＵとして構成される。位相差演算回路２１は、マイクロプロセッサ２４の指令により、撮像素子の焦点検出用画素からの出力や、メモリ２０に記録されている撮像素子１０で撮像された画像データをメモリコントローラ１９から受け取ることで、測距用の相関演算を行う。

具体的には、位相差演算回路２１は、焦点検出用画素Ｓ１、焦点検出用画素Ｓ２の出力により位相差（像のずれ量）を演算し、マイクロプロセッサ２４へ出力する。マイクロプロセッサ２４では、位相差演算回路２１の演算結果に基づいて前述したｘを求める測距演算を行う。また、位相差演算回路２１は、ＲＯＭなどに予め記憶された撮像素子１０における焦点検出用画素の位置情報に基づいて、上述したメモリ２０に記録された画像データから焦点検出用画素の出力を抽出することで、上述した相関演算を行う。なお、メモリ２０に記憶された画像データは、メモリコントローラ１９の制御の下、焦点検出用画素の位置情報に基づいて、焦点検出用画素の出力や焦点検出用画素を含む画像領域が抽出された測距用のデータであってもよい。

外部記録メディア２３は、不揮発性のメモリ素子やＨＤＤ等によって構成され、画像データファイルなどのデータを保存する。外部記録メディア制御回路２２は、外部記録メディア２３に対してデータの書き込み、あるいは読み出しを制御する回路である。

マイクロプロセッサ２４は、各種回路に制御信号を出力することで、撮像装置１の動作を統括制御する。具体的には、マイクロプロセッサ２４は、ＣＰＵなどであってよい。マイクロプロセッサ２４は、ＲＯＭに記憶された所定のプログラムデータをＲＡＭ（いずれも図示しない）の作業領域に展開し、そのプログラムデータとの協働により、撮像装置１の動作を制御する。例えば、マイクロプロセッサ２４は、ＡＦ（オートフォーカス）、撮像、画像処理、撮像画像の記録処理等の一連の動作を制御する。スイッチ２５は、マイクロプロセッサ２４の制御の下、信号処理回路１５へ入力を切り替える。なお、マイクロプロセッサ２４において、記憶手段としてのＲＯＭには、演算処理時に必要な係数や動作時に必要な制御用の定数などが予め記憶されている（詳細は後述する）。

シャッター２６は、マイクロプロセッサ２４の制御の下、シャッター羽根を開閉させることにより撮像素子１０への光の入射を制御する。撮像レンズ２７は、焦点調整手段としてのマイクロプロセッサ２４からの指令によって駆動するアクチュエータ（図示しない）により撮像素子に対する焦点位置を調整することが可能な光学レンズである。

レリーズスイッチ３０は、半押しすると第１スイッチ２８がＯＮして信号ＳＷ１を、全押しされると第２スイッチ２９がＯＮして信号ＳＷ２をマイクロプロセッサ２４へ出力するスイッチである。レリーズスイッチ３０は、ユーザが測距時に半押し、撮像時に全押しして使用する。また、何も押さない状態では信号ＳＷ０をマイクロプロセッサ２４へ出力する。

絞り３１は、マイクロプロセッサ２４の指令によって駆動するアクチュエータ（図示しない）により絞り羽根を開閉させて開口量（絞り量）を調整可能であり、撮像素子１０への光の入射を制御する。マイクロプロセッサ２４は、シャッター２６の開閉による露出時間と絞り３１の絞り量とを制御することにより、静止画撮像時における露出を制御することができる。上述したとおり、撮像装置１では、撮像レンズ２７、シャッター２６、絞り３１が被写界像を撮像素子１０へ結像させるための撮像光学系である。

なお、絞り３１の絞り量の検出は、アクチュエータの駆動量に基づいてマイクロプロセッサ２４が算出することで行われる。例えばアクチュエータとしてステッピングモータを用い、開放などの予め設定された絞り量から絞りを駆動させる場合は、駆動に係るパルス数に基づいて絞り量を算出することが可能である。また、予め設定された絞り量については、絞り羽根の位置をセンサ（例えば、発光素子と受光素子との組み合わせ）からの出力により検出してもよい。さらに、上記センサは、開放から最大に絞った状態までを段階的に検出可能であってもよい。

図７に撮像装置１の動作の流れを示す。図７に示すように、マイクロプロセッサ２４は、Ｓ１００においてユーザによる電源スイッチ（図示しない）の操作等により電源が投入されることで処理を開始する。

先ず、撮像装置１は、電源が投入された場合、電子ビューファインダ（ＥＶＦ）機能を起動する。具体的には、マイクロプロセッサ２４は、Ｓ１０１において、タイミングジェネレータ１１が間引きモードで動作するように、制御信号を通してタイミングジェネレータ１１に対して指令を送る。これによって、タイミングジェネレータ１１は、間引きモードの駆動信号を撮像素子１０に対して出力する。

さらに、マイクロプロセッサ２４は、Ｓ１０２においてスイッチ２５をｓａに接続し、信号処理回路１５がＡ／Ｄコンバータ１４からの入力を受け付けるよう制御信号を送る。撮像素子１０に露出した像は、間引きされて読み出される。この読み出しでは、秒３０コマ程度で静止画像が逐次読み出される。また焦点検出用画素は間引きされるので、後で述べる静止画撮像モードのような補間処理は行う必要がない。撮像素子１０の出力は、ＣＤＳ回路１２で相関二重サンプリングされ、さらにＡＧＣ回路１３で振幅の調整がなされる。さらに、Ａ／Ｄコンバータ１４でデジタルデータに変換される。

信号処理回路１５は、Ａ／Ｄコンバータ１４から入力される信号より輝度・色差画像データを生成し、これをディスプレイ制御回路１７へ出力する。ディスプレイ制御回路１７は、信号処理回路１５が出力する輝度・色差画像データをディスプレイ１８に表示が可能となるように信号出力タイミングを調整し、これをディスプレイ１８に連続して出力する。ディスプレイ１８は入力される画像データを繰り返し表示する。したがって、Ｓ１０２では、撮像素子１０に入射している被写界像が１秒あたり約３０コマの動画としてディスプレイ１８に表示（ＥＶＦ表示）される。

また、マイクロプロセッサ２４は、ＥＶＦの動作中において、撮像素子１０の露出量が適正であるように、撮像素子１０の全受光素子の電荷のクリアを行う電子シャッターパルスのタイミングを調整する。これによってＥＶＦ時における自動露出が達成される。

ユーザは、ＥＶＦ表示を確認することで所望の被写界で静止画撮像を行うことが可能となる。ユーザがＥＶＦ表示を確認して静止画撮像を決定した際には、レリーズスイッチ３０が操作され、まず第１スイッチ２８がＯＮ状態となる。したがって、マイクロプロセッサ２４は、Ｓ１０３において、レリーズスイッチ３０の第１スイッチ２８がＯＮ状態であることを示す信号ＳＷ１の出力の有無を判定する。Ｓ１０３において、信号ＳＷ１の出力がある場合、マイクロプロセッサ２４はＳ１０４へ処理を進める。

Ｓ１０４において、マイクロプロセッサ２４は、タイミングジェネレータ１１の動作を測距モードへ変更し、Ｓ１０５へ処理を進める。Ｓ１０５は、マイクロプロセッサ２４におけるオートフォーカス動作のステップである。具体的には、マイクロプロセッサ２４は、タイミングジェネレータ１１の駆動を測距モードに切り替え、タイミングジェネレータ１１から撮像素子１０に対して測距モードの駆動信号を出力させる。この駆動信号による撮像素子１０の出力は、ＣＤＳ回路１２で相関二重サンプリングされ、さらにＡＧＣ回路１３で振幅の調整がなされる。さらにＡ／Ｄコンバータ１４でデジタルデータに変換される。メモリコントローラ１９では、Ａ／Ｄコンバータ１４からの出力を、焦点検出用演算に使用する領域分（焦点検出用画素を含む画像領域）、メモリ２０に記録する。

さらに、メモリコントローラ１９は、メモリ２０に記録された画像データから焦点検出用画素Ｓ１の像（Ｓ１群の出力）と焦点検出用画素Ｓ２の像（Ｓ２群の出力）を位相差演算回路２１に転送する。位相差演算回路２１は、二像の像ずれ量ｎを相関演算によって求め、マイクロプロセッサ２４へ出力する。マイクロプロセッサ２４は、位相差演算回路２１が出力したずれ量ｎを読み出し、ずれ量ｎからデフォーカス量ｘを演算し、これに相当するレンズ駆動信号を撮像レンズ２７のアクチュエータに出力する。したがって、撮像レンズ２７は、そのレンズ位置がデフォーカス量ｘに応じた位置へ移動されることとなる。上述した処理によって、Ｓ１０５におけるオートフォーカス動作が完了する。

次いで、マイクロプロセッサ２４は、Ｓ１０６へ処理を進め、撮像用の測光動作を行う。具体的には、マイクロプロセッサ２４は、合焦後の被写界像を撮像素子１０で露出した信号出力を、ＣＤＳ回路１２での相関二重サンプリング、およびＡＧＣ回路１３でのゲイン調整を行い、さらにＡ／Ｄコンバータ１４でデジタルデータに変換する。メモリコントローラ１９は、Ａ／Ｄコンバータ１４から出力された画像データをメモリ２０に記録する。マイクロプロセッサ２４は、メモリ２０に記録された画像データから、撮像時に適正な露出量になるように、シャッター速度、絞り値を決定する。上述した処理によって、Ｓ１０６における測光動作が完了する。

次いで、マイクロプロセッサ２４は、Ｓ１０７へ処理を進める。Ｓ１０７でマイクロプロセッサ２４は、レリーズスイッチ３０の出力信号を判定し、レリーズスイッチ３０の操作状態が全押し、半押し操作の維持又は半押し操作の解除のいずれであるかを判定する。Ｓ１０７において、マイクロプロセッサ２４は、レリーズスイッチ３０が全押しされて信号ＳＷ２が出力された場合はＳ１０８へ処理を進める。また、マイクロプロセッサ２４は、半押し操作が維持されて信号ＳＷ１が出力されたままである場合はそのまま待機する。また、マイクロプロセッサ２４は、半押し操作が解除されて信号ＳＷ０が出力された場合はＳ１０１へ処理を戻す。

Ｓ１０８でマイクロプロセッサ２４は、タイミングジェネレータ１１の駆動を静止画撮像モードに切り替える。次いで、Ｓ１０９において、マイクロプロセッサ２４はスイッチ２５の接続をｓｂに切り替える。次いで、Ｓ１１０に進み、マイクロプロセッサ２４は、Ｓ１０６で決定した絞り値に基づき、絞り３１に対して駆動信号を出力して絞り３１を駆動させる。したがって、絞り３１は、マイクロプロセッサ２４からの駆動信号により指定された絞り値まで駆動されることとなる。

次いで、Ｓ１１１に進み、マイクロプロセッサ２４は、Ｓ１０６で決定したシャッター速度に基づく露出時間の間、シャッター２６を開閉する駆動信号を出力してシャッター２６を駆動させる。したがって、シャッター２６では、駆動信号に応じてシャッタ幕が開動作され、露出時間が経過したところでシャッタ幕が閉動作される。これにより、シャッター２６が開いている間、撮像素子１０が露出される。次いで、Ｓ１１２に進み、マイクロプロセッサ２４は、絞り３１を開放位置に戻す駆動信号を出力し、絞り３１は開放位置に戻される。

次いで、Ｓ１１３において、マイクロプロセッサ２４は、静止画のキャプチャー（静止画撮像）を開始する。静止画のキャプチャーは次のように行う。先ず、マイクロプロセッサ２４は、メモリコントローラ１９にＡ／Ｄコンバータ１４の出力を取り込むように指示する。マイクロプロセッサ２４の指示により、メモリコントローラ１９は、撮像された画像データをＡ／Ｄコンバータ１４から取り込み、これをメモリ２０に記録する。この撮像された画像データの取り込みでは、ライン毎に繰り返し行われ、撮像素子１０の全画素分のデータが撮像素子１０と同じ画素配列でメモリ２０に記録される。

次に、マイクロプロセッサ２４は、撮像画像における焦点検出用画素Ｓ１又は焦点検出用画素Ｓ２に対応する画素信号（画素値）を、その周辺画素の信号値と、焦点検出用画素の信号値（輝度値）とを用いて補間する。マイクロプロセッサ２４は、ＲＯＭに予め設定された焦点検出用画素の位置情報に基づいて全画素から焦点検出用画素の画素位置を判断し、焦点検出用画素と判断された部分の輝度値とその周辺の画素信号により補間する。なお、補間の詳細については後述する。

次に、メモリコントローラ１９は、メモリ２０に記録された画像データを信号処理回路１５へ出力する。信号処理回路１５は、メモリコントローラ１９から入力された画像データを輝度・色差画像データに変換する。さらに、信号処理回路１５は、輝度・色差画像データにガンマ補正などの画像処理を施す。信号処理回路１５は、処理後の画像データを圧縮回路１６へ順次出力する。圧縮回路１６は、信号処理回路１５が出力した画像データをＪＰＥＧなどの規格に則って圧縮処理し、圧縮後の画像データを出力する。

上述した処理によって、撮像装置１は、Ｓ１１３における静止画のキャプチャーを完了する。マイクロプロセッサ２４は、Ｓ１１３の後にＳ１０１に処理を戻し、タイミングジェネレータ１１を間引きモードにし、スイッチ２５をｓａに接続して、再びＥＶＦを開始させる。

次に、本実施形態における焦点検出用画素の静止画撮像時の補間について説明する。
本実施形態における焦点検出用画素は、図１を参照して説明したように、ベイヤ配列のＧ位置に配列されている。また、焦点検出用画素から出力される信号量の減少を防ぐために、焦点検出用画素はカラーフィルタを持たないよう構成される。また、図３、４を参照して説明したように、焦点検出用画素は、遮光層２０３に偏心した開口部を有するが、それ以外の部分は遮光される。これらの理由により、焦点検出用画素の信号レベルは、周辺にある通常の画素と一致しないが、出力が光量に比例して画素の輝度値を示すこと自体は変わらない。

しかしながら、焦点検出用画素は、撮像レンズの瞳を通る光束の一部しか入射しないように開口制限をする。そのため、静止画撮像時に撮像レンズ側の絞りを絞ると、焦点検出用画素ではケラレが生じ、周辺にある通常の画素に比べて十分な光が入射しなくなり、光量比例性（線形関係）が失われる。

まず、この静止画撮像時の絞り値による焦点検出用画素への影響について図８を参照して説明する。図８は、焦点検出用画素に対する絞り値の影響を説明するための概念図である。具体的には、図３を参照して説明した、遮光層２０３の一部に第１の開口部Ｏ１がある焦点検出用画素の感度分布を示している。図８（ａ）は、画素上部から見た感度分布を示している。図のグラデーションで示した部分が感度を示しており、より濃色部分がより感度が高い部分であることを示す。図８（ｂ）では、Ｂ−Ｂにおける感度をグラフで示している。

図８（ａ）に示すように、図３に例示した焦点検出用画素は、画素中央Ｏの左側にオフセットして第１の開口部Ｏ１があるため、感度分布も画素中央Ｏから左側にオフセットしている。図８（ａ）において、同心円状に示されているのは、絞り３１の絞り値によって変化する、この焦点検出用画素への入射光の範囲である。絞り３１が開放に近いＦ２．８やＦ５．６では、焦点検出用画素の水平方向の感度分布が、入射光範囲内にカバーされている。したがって、第１の開口部Ｏ１が画素中央Ｏに対して左に偏心している焦点検出用画素であっても、画素への入射光量に対する比例特性は保たれている。すなわち、光量比例性が保たれている絞り値では、焦点検出用画素の出力を輝度値として、焦点検出用画素部分の補間に用いても問題がない。例えば、同一の入射光量に対して絞り量と焦点検出用素子の出力とが光量比例性を維持する範囲（上記例ではＦ５．６）までは、その焦点検出用素子の出力の１００％を補間に用いても問題がない。

しかしながら、絞り３１をＦ１１やＦ２２に絞ると、図示のごとく、ケラレが生じるために、焦点検出用画素の水平方向の感度分布が入射光範囲内に十分カバーされなくなる。したがって、焦点検出用画素では、周辺にある通常の画素に対して、光量の比例特性が失われ、出力レベルが大きく低下する。すなわち、焦点検出用画素における光量比例特性は絞り値によって大きく変化する。そして、絞りにより焦点検出用画素の光量比例特性が失われた場合は、その出力を輝度値として焦点検出用画素部分の補間に用いると、誤差が生じる虞がある。例えば、同一の入射光量に対して絞り量と焦点検出用素子の出力とが光量比例性を維持しない範囲（上記例ではＦ５．６より大きい値）では、その焦点検出用素子の出力の１００％を補間に用いると誤差が生じる虞がある。したがって、上記光量比例性を維持しない範囲においては、焦点検出用素子の出力の１００％未満を補間に用いる。

ここで、焦点検出用画素の静止画撮像時の補間方法について説明する。以下、焦点検出用画素Ｓ１の場合を例示して説明するが、焦点検出用画素Ｓ２についても同様である。図９は、焦点検出用画素Ｓ１とその周辺８画素の配列を例示する概念図である。

図１及び図２を参照して説明したとおり、撮像素子において、焦点検出用画素は、ベイヤ配列におけるＧ画素の一部として配列されている。具体的には、図９に示すように、焦点検出用画素Ｓ１の周辺には、Ｇ画素のＧ１〜Ｇ４、Ｒ画素のＲ１、Ｒ２、Ｂ画素のＢ１、Ｂ２がある。

以下に、焦点検出用画素Ｓ１に対応する画素の輝度信号Ｙと色信号Ｃの補間方法を説明する。焦点検出用画素Ｓ１は、Ｇ画素の位置にあるので、Ｇ画素相当として画素信号（輝度信号Ｙ及び色信号Ｃ）の補間を行う。まず、輝度信号についてであるが、輝度信号Ｙの分光特性は、ラフな近似ではＧ信号の分光特性と同等とみなすことができる。そこで、焦点検出用画素Ｓ１の位置の輝度信号Ｙは、焦点検出用画素Ｓ１の出力信号（輝度信号）であるＹＳ１、その周辺のＧ画素（Ｇ１〜Ｇ４）の輝度信号であるＹＧ１〜ＹＧ４を用い、次の（１）式により算出される。
Ｙ＝（ａ・ＹＳ１＋ＹＧ１＋ＹＧ２＋ＹＧ３＋ＹＧ４）／（ａ＋４） ・・・ （１）

ここで、（１）式におけるａは、焦点検出用画素Ｓ１とその周辺のＧ画素の輝度信号の出力レベルの違いを吸収するとともに、絞り値によって変化するＹＳ１に対する重み付け係数である。この重み付け係数ａと絞り値の関係を図１０を参照して説明する。図１０は焦点検出用画素Ｓ１に係る重み付け係数ａと絞り値との関係を示すグラフである。

図１０に示すように、重み付け係数ａは、絞りが開けられているときには大きくなり、絞りが絞られているときには小さくなるように設定される。これにより絞りが開けられているときには、補間に関して焦点検出用画素Ｓ１の出力信号ＹＳ１の寄与度（割合）が大きくなる。また、絞りが絞られているときには、出力信号ＹＳ１の寄与度は小さくなり、周辺のＧ画素の輝度信号ＹＧ１〜ＹＧ４の寄与度が大きくなる。

また、図８を参照して説明したように、本実施形態では、絞り値がＦ５．６までは、焦点検出用画素Ｓ１の光量比例性が保たれている。したがって、図１０に示すように、重み付け係数ａは、Ｆ５．６のときの周辺の４画素との重み付けが等しくなるように設定される。焦点検出用画素Ｓ１と周辺画素とのカラーフィルタが無いこと、および開口による輝度のゲイン差を、Ｆ５．６のときにｇとすると、Ｆ５．６のときに同光量の光が入射した場合は、次の式（２）の関係が有る。
ＹＧ１＝ｇ・ＹＳ１ ・・・ （２）

なお、ＹＧ２〜ＹＧ４についてもＹＧ１と同様である。そして、Ｆ５．６のときには、重み付け係数ａは次の式（３）となる。
ａ＝４ｇ ・・・ （３）

Ｆ５．６より絞りが開けられているとき（絞り値が小さくなるとき）、ａの値は大きくなるように設定され、Ｆ５．６より絞りが絞られている場合（絞り値が大きいとき）、ａの値は小さくなるように設定される。以上のように重み付け係数ａを設定することにより、絞り値に応じた焦点検出用画素Ｓ１の輝度の寄与度を、開口部の大きさに差による出力値の差異を補償するように変化させることができる。

上述したように、重み付け係数ａは絞り量を変数とする関数である。したがって、この関数を示す図１０のグラフは、焦点検出用画素からの出力信号ＹＳ１を補間に寄与させる寄与度と絞り量との対応関係を示す特性情報である。この特性情報は、予めマイクロプロセッサ２４のＲＯＭに記憶されている。すなわち、マイクロプロセッサ２４のＲＯＭには、焦点検出用画素が有する開口部の位置と大きさに基づいた絞り量に応じた割合（特性情報）が記憶されている。マイクロプロセッサ２４は、撮像時の絞り値に基づいてＲＯＭに記憶された特性情報を参照することで重み付け係数ａを取得し、Ｙを算出する。

次に、色信号（色成分）について説明する。焦点検出用画素Ｓ１にはカラーフィルタが無いので、その出力信号は色信号としては使えない。そのため、色信号については絞り値にかかわらず周辺のＧ画素から補間する。そこで、焦点検出用画素Ｓ１位置の色信号Ｃは、その周辺のＧ画素Ｇ１〜Ｇ４の色信号ＣＧ１〜ＣＧ４を用い、次の（４）式より算出する。
Ｃ＝（ＣＧ１＋ＣＧ２＋ＣＧ３＋ＣＧ４）／４ ・・・ （４）

以上説明したように、輝度信号Ｙと色信号Ｃを補間することで、焦点検出用画素Ｓ１の出力は、Ｇ１〜Ｇ４画素となどＧのカラーフィルタが付いた画素の出力と同等となる。そして、以降は通常のベイヤー配列の撮像素子の現像処理と同様の画像処理を行うことで、撮像画像が形成される。

なお、本実施形態では、Ｆ５．６まで光量比例特性が保たれているように構成された焦点検出用画素群を持つ撮像素子を例に挙げて説明した。しかしながら、焦点検出用画素の光量比例特性は、特に本実施形態に限定されるものではない。例えば、Ｆ４やまたはＦ８、及びその他の絞り値まで光量比例特性が保たれている焦点検出用画素群を持つ撮像素子に対しても同様に適用できることはいうまでもない。

［第２の実施形態］
第１の実施形態は、焦点検出用画素の開口については一種類しかない撮像素子についての実施形態であった。したがって、第１の実施形態のような撮像素子での位相差ＡＦでは、デフォーカスが大きい場合、被写界像のボケ量が大きくなり、焦点検出の精度が低下する。この問題の解決のために、開口部の大きさが異なる複数種の焦点検出用画素を用意し、デフォーカス量が大きい場合は、より開口が小さい（より絞られた）焦点検出用画素を用いて焦点検出を行うことがある（例えば特許文献４）。第２の実施形態は、それぞれ開口部の大きさ（開口幅）が異なる複数組の焦点検出用画素を用いた実施形態である。

本実施形態では、開口部の大きさが異なる二組の焦点検出用画素群を有するものとする。図１１は、第２の実施形態に係る焦点検出用画素の開口部を例示する概念図である。図１１（ａ）は第３の開口部Ｏ３を有する焦点検出用画素を上方から俯瞰した図であり、図１１（ｂ）は、第４の開口部Ｏ４を有する焦点検出用画素を上方から俯瞰した図である。

図１１（ａ）、（ｂ）に示すように、本実施形態の撮像素子は、第３の開口部Ｏ３を有する焦点検出用画素と、その開口幅より狭い第４の開口部Ｏ４を有する焦点検出用画素とを含む構成である。なお、図１１（ａ）に示す第３の開口部Ｏ３の開口幅は、第１の実施形態の図３、図４に例示した第１の開口部Ｏ１、第２の開口部Ｏ２の開口幅と等しいものとする。また、特に図示しないが、撮像素子は、第１の実施形態と同様、第３の開口部Ｏ３及び第４の開口部Ｏ４と左右対称の位置に開口部を有する焦点検出用画素を含む構成である。すなわち、撮像素子では、同じ開口幅の焦点検出用画素群でペアになるように構成されている。

なお、以下の説明では、図１１（ａ）で示す開口幅を持つ焦点検出用画素のペアについて、それぞれの焦点検出用画素を第１の実施形態と同じくＳ１、Ｓ２と表すこととする。また、図１１（ｂ）で示す開口幅を持つ焦点検出用画素のペアについて、それぞれの焦点検出用画素をＳ３、Ｓ４と表すこととする。

図１２は、第２の実施形態に係る撮像素子上の焦点検出用画素の配列を例示する概念図であり、撮像素子上に上述した焦点検出用画素（Ｓ１〜Ｓ４）を配列した例である。焦点検出用画素Ｓ１、Ｓ２については、絞り値に対しての光束のケラレ方や静止画像を補間する場合についても第１の実施形態と同様であるので、その説明は省略する。焦点検出用画素Ｓ３、Ｓ４については、開口幅が焦点検出用画素Ｓ１、Ｓ２よりも小さいため光束のケラレ方が異なってくる。

図１３は、焦点検出用画素Ｓ３、Ｓ４に対しての感度分布を図８と同様に例示する概念図である。図１３に示すように、焦点検出用画素Ｓ３、Ｓ４については、図８を参照して説明した焦点検出用画素Ｓ１、Ｓ２に比べて開口幅が異なるのでその感度分布も異なる。具体的には、焦点検出用画素Ｓ３、Ｓ４では絞り値Ｆ２．８ではケラレがほとんどないが、Ｆ５．６ではすでにケラレが発生している。

すなわち、絞り値によるケラレの度合いが焦点検出用画素Ｓ３、Ｓ４と焦点検出用画素Ｓ１、Ｓ２とは異なる。したがって、静止画撮像時において、焦点検出用画素Ｓ３、Ｓ４の出力信号を用いて撮像した画像を補間する場合、焦点検出用画素Ｓ１、Ｓ２で用いた重み付け係数ａで補間することができない。そのため、焦点検出用画素Ｓ３、Ｓ４は、焦点検出用画素Ｓ１、Ｓ２とは別の重み付け係数ｂを用いて補間を行う。

ここで、静止画撮像時の焦点検出用画素Ｓ３に関する補間について説明する。なお、焦点検出用画素Ｓ４も焦点検出用画素Ｓ３と同様にして補間が可能であることは、焦点検出用画素Ｓ１に対する焦点検出用画素Ｓ２の場合と同様である。図１４は、焦点検出用画素Ｓ３とその周辺画素の配列を例示する概念図である。

以下に、焦点検出用画素Ｓ３の輝度信号Ｙ’と色信号Ｃ’の補間方法を説明する。焦点検出用画素Ｓ３は、Ｇ画素の位置にあるので、前述した焦点検出用画素Ｓ１の場合と同様にＧ画素相当として画素信号（輝度信号Ｙ’及び色信号Ｃ’）の補間を行う。焦点検出用画素Ｓ３の位置の輝度信号Ｙ’は、焦点検出用画素Ｓ３の出力信号（輝度信号）であるＹＳ３、その周辺のＧ画素（Ｇ１〜Ｇ４）の輝度信号ＹＧ１〜ＹＧ４を用い、次の（５）式により算出される。
Ｙ’＝（ｂ・ＹＳ３＋ＹＧ１＋ＹＧ２＋ＹＧ３＋ＹＧ４）／（ｂ＋４） ・・・ （５）

ここで、（５）式におけるｂは、焦点検出用画素Ｓ３とその周辺のＧ画素との輝度信号の出力レベルの違いを吸収するとともに、絞り値によって変化するＹＳ３に対する重み付け係数である。この重み付け係数ｂと絞り値との関係を図１５を参照して説明する。図１５は、焦点検出用画素Ｓ３に係る重み付け係数ｂと絞り値との関係を示すグラフである。図１５に示すように、重み付け係数ｂは、重み付け係数ａと同様、絞りが開けられているときには大きくなり、絞りが絞られているときには小さくなるように設定される。

また、図１５に示すように、焦点検出用画素Ｓ３では、絞り値がＦ２．８までしか光量比例特性が保たれていない。したがって、重み付け係数ｂは、Ｆ２．８のときの周辺の４画素との重み付けが等しくなるように設定される。焦点検出用画素Ｓ３と周辺画素とのカラーフィルタが無いこと、および開口による輝度のゲイン差を、Ｆ２．８のときにｇ’とすると、Ｆ２．８のときに同光量の光が入射した場合は、次の式（６）の関係がある。
ＹＧ１＝ｇ’・ＹＳ３ ・・・ （６）

なお、ＹＧ２〜ＹＧ４についてもＹＧ１と同様である。そして、Ｆ２．８のときには、重み付け係数ｂは次の式（７）となる。
ｂ＝４ｇ’ ・・・ （７）

上述したように、重み付け係数ｂは、重み付け係数ａと同様、絞り量を変数とする関数である。この重み付け係数ｂに係る特性情報についても、予めマイクロプロセッサ２４のＲＯＭに記憶されている。また、重み付け係数ａ、ｂは、前述した焦点検出用画素の位置情報と関連付けてＲＯＭに記憶されている。したがって、マイクロプロセッサ２４は、焦点検出用画素に対応した特性情報が参照可能であり、撮像時の絞り値に基づいて各焦点検出用画素に対応した特性情報を参照して補間を行うことができる。

次に、色信号について説明する。焦点検出用画素Ｓ３にはカラーフィルタが無いのは焦点検出用画素Ｓ１と同様であるので、色信号Ｃ’については絞り値にかかわらず周辺のＧ画素から補間する。
そこで、焦点検出用画素Ｓ３位置の色信号Ｃ’は、その周辺のＧ画素Ｇ１〜Ｇ４の色信号ＣＧ１〜ＣＧ４を用い、次の（８）式より算出する。
Ｃ’＝（ＣＧ１＋ＣＧ２＋ＣＧ３＋ＣＧ４）／４ ・・・ （８）

以上説明したように、それぞれ開口部の大きさ（開口幅）が異なる複数組の焦点検出用画素を含む撮像素子である場合、撮像装置は、各組ごとにその光学特性に応じた重み付け係数を用意し、静止画撮像時の補間を行ってもよい。

［第３の実施形態］
前述した第１、第２の実施形態では、焦点検出用画素（Ｓ１〜Ｓ４）はカラーフィルタを付けないものとして説明した。しかし、焦点検出用画素にカラーフィルタを付けない場合、焦点検出用画素の配置に応じて、カラーフィルタを付加する、付加しないを変える必要があり、製造コストが上がる可能性がある。第３の実施形態は、製造コストを重視し、焦点検出用画素も含めて一律にベイヤ配列に基づくカラーフィルタを付加した場合の実施形態である。

本実施形態における焦点検出用画素の配置は、第１の実施形態と同じく、図２や図８で説明したようにＧ画素の位置に配置される。よって、本実施形態では、焦点検出用画素にはＧのカラーフィルタが付加されることとなる。なお、開口の大きさ（開口幅）や位置は、第１の実施形態で説明した焦点検出用画素Ｓ１、Ｓ２と同じであるとする。ただし、焦点検出用画素Ｓ１、Ｓ２と区別するため、以下の説明では、本実施形態に係る焦点検出用画素を焦点検出用画素Ｓ５、Ｓ６とする。

以下、静止画撮像時の焦点検出用画素Ｓ５に関する補間方法について説明する。なお、焦点検出用画素Ｓ６の補間方法も同様であることはいうまでもない。本実施形態では、焦点検出用画素は周辺のＧ画素（同色周辺画素）と同じ色のカラーフィルタが付いているため、フィルタの有無による周辺画素との差は無く、開口部の有無によるゲイン差のみが影響する。そのため、補間の際も輝度信号と色信号に分けて処理する必要は無く、焦点検出用画素Ｓ５の位置のＧ画素相当の出力値としてゲインの補間を行う。焦点検出用画素Ｓ５の位置のＧ画素相当の出力値Ｇは、焦点検出用画素Ｓ５の出力ＧＳ５、その周辺のＧ画素Ｇ１〜Ｇ４の出力値Ｇ１〜Ｇ４を用い、次の（９）式により算出する。
Ｇ＝（ｃ・ＧＳ５＋Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／（ｃ＋４） ・・・ （９）

ここで、（９）式におけるｃは、焦点検出用画素Ｓ５とその周辺のＧ画素との輝度信号の出力レベルの違いを吸収するとともに、絞り値によって変化するＧＳ５に対する重み付け係数である。

焦点検出用画素Ｓ５は、開口部については焦点検出用画素Ｓ１と同等であり、絞り値がＦ５．６までは光量比例特性が保たれている。したがって、重み付け係数ｃについては、Ｆ５．６のときの周辺４画素との重み付けが等しくなるように設定する。焦点検出用画素Ｓ５はその周辺のＧ画素と同じカラーフィルタが付いているので、開口部に関するゲイン差のみが影響する。重み付け係数ｃについては、第１の実施形態の重み付け係数ａに対して、フィルタによるゲイン差だけ影響した値となる。よって、絞り値と重み付け係数ｃの関係は、図１０で説明した絞り値と重み付け係数ａと一次比例の関係にある。

開口部に関するゲイン差をｇ”とすると、Ｆ５．６のときに同光量の光が入射した場合は次の式（１０）の関係がある。
Ｇ１＝ｇ”・ＧＳ５ ・・・ （１０）
そして、Ｆ５．６のときには、重み付け係数ｃは次の式（１１）となる。
ｃ＝４ｇ” ・・・ （１１）

以上説明したように、カラーフィルタが焦点検出用画素に設けられている場合は、輝度信号と色信号を分けることなく焦点検出用画素位置の補間を行うことができる。なお、本実施形態ではＧのカラーフィルタを焦点検出用画素に設ける構成を例示したが、ＲやＢのカラーフィルタを焦点検出用画素に設ける構成であっても同様に行えることは言うまでもない。

［第４の実施形態］
第１〜第３の実施形態では、焦点検出用画素をベイヤ配列のＧ位置に配置した例を説明した。しかしながら、焦点検出用画素は、ベイヤ配列のＧ位置への配置に限定されるものではない。第４の実施形態は、焦点検出用画素をベイヤ配列のＲまたはＢの位置に配置した実施形態である。なお、以下の説明において、Ｒの位置に配置した焦点検出用画素をＳ７、Ｂの位置に配置した焦点検出用画素をＳ８とする。

図１６は、撮像素子上の焦点検出用画素Ｓ７、Ｓ８の配置例である。図１６に示すように、焦点検出用画素Ｓ７はベイヤ配列のＲ位置に配置されている。また、焦点検出用画素Ｓ８はベイヤ配列のＢ位置に配置されている。なお、焦点検出用画素Ｓ７、Ｓ８にはカラーフィルタは付されていないものとする。また、開口部の大きさ（開口幅）や絞り値に対する光学的な特性は、第１の実施形態で説明した焦点検出用画素Ｓ１、Ｓ２と同等であるものとする。

以下、焦点検出用画素Ｓ７に関する補間について説明する。焦点検出用画素Ｓ７については、その周辺のＲ画素の情報（輝度信号、色信号）を元に補間を行う。焦点検出用画素Ｓ８については周辺のＢ画素の情報に基づいて補間を行う。焦点検出用画素Ｓ７、Ｓ８の補間において、Ｒ画素とＢ画素の違い以外は補間方法などについては同様であるので、焦点検出用画素Ｓ８の補間についてはその説明を省略する。

図１７は、焦点検出用画素Ｓ７とその周辺の５×５画素の範囲を示している。図１７に示すように、焦点検出用画素Ｓ７の補間に使う周辺のＲ画素（同色周辺画素）は、番号を付したＲ１〜Ｒ４画素である。焦点検出用画素Ｓ７の位置の輝度値Ｙ”は、焦点検出用画素Ｓ７の輝度信号ＹＳ７、その周辺のＲ画素Ｒ１〜Ｒ４の輝度信号ＹＲ１〜ＹＲ４を用い、次の（１２）式により算出する。
Ｙ”＝（ｄ・ＹＳ７＋ＹＲ１＋ＹＲ２＋ＹＲ３＋ＹＲ４）／（ｄ＋４） ・・・（１２）

ここで、（１２）式におけるｄは、焦点検出用画素Ｓ７とその周辺のＲ画素との輝度信号の出力レベルの違いを吸収するとともに、絞り値によって変化するＹＳ７に対する重み付け係数である。この重み付け係数ｄは、絞りが開けられているときには大きくなり、絞りが絞られているときには小さくなるように設定するのは、焦点検出用画素Ｓ１に対する重み付け係数ａと同様である。

焦点検出用画素Ｓ７は、開口部については焦点検出用画素Ｓ１と同等であるので、絞り値がＦ５．６までは、光量比例特性が保たれている。重み付け係数ｄについては、Ｆ５．６のときの周辺４画素との重み付けが等しくなるように設定される。また、重み付け係数ｄについては、第１の実施形態の重み付け係数ａとはＧ信号とＲ信号に関する輝度の寄与率の差だけ異なりこととなり、重み付け係数ａとは一次比例の関係にある。

色信号については、焦点検出用画素Ｓ７にはカラーフィルタが無いので、焦点検出用画素Ｓ１と同様に絞り値にかかわらず周辺のＲ画素から補間する。そこで、焦点検出用画素Ｓ７位置の色信号Ｃ”は、その周辺のＲ画素Ｒ１〜Ｒ４の色信号ＣＲ１〜ＣＲ４を用い、次の（１３）式より算出する。
Ｃ”＝（ＣＲ１＋ＣＲ２＋ＣＲ３＋ＣＲ４）／４ ・・・ （１３）

以上説明したように、Ｒ画素やＢ画素の位置に焦点検出用画素を配置した場合も、Ｇ画素に配置した場合と同様、絞り値に対する重み付け係数を用いて、焦点検出用画素の輝度成分を静止画の補間に寄与させることができる。例えば、絞りが開けられているときには焦点検出用画素の輝度値を静止画の補間に大きく寄与させ、逆に絞りが閉じられているときには補間への寄与を小さくすることで、絞り量による補間への影響を低減することができる。

なお、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。

例えば、焦点検出用画素に関する補間方法については、本実施形態で説明した方法に限定されるものではない。周辺画素の輝度値や色情報を如何様に利用するかについては公知の補間方法を応用することができることはいうまでもない。また、本実施形態で説明した補間用法よりも、より焦点検出用画素に近い周辺部の画素の情報を利用するようにしてもよい。

また、上述した撮像装置についても、動作について、いったん合焦すると測光もロックされるワンショットＡＦの仕様で説明したが、この限りではない。例えば、第１スイッチ２８がＯＮされている間、常にオートフォーカス動作と測光動作を繰り返す、いわゆるサーボＡＦ動作を行うようにしてもかまわない。また、撮像装置は、レンズ交換式の一眼レフタイプの例を説明したが、レンズや鏡筒が本体と一体化された、いわゆるデジタルコンパクトカメラであってもかまわない。また、静止画撮像機能を有するビデオカメラなどについても適用可能なことは言うまでもない。さらに、撮像装置は、本発明の趣旨に沿った範囲であれば、上述した実施形態以外のさまざまな変形形態をとってもかまわない。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

第１の実施形態に係る撮像素子の画素配列を示す概念図であり、（ａ）は、位相差検出素子を含む２画素×２画素の配列を例示する概念図であり、（ｂ）は、通常の２画素×２画素のベイヤ配列を例示する概念図である。 撮像素子上の焦点検出用画素の配列を例示する概念図である。 焦点検出用画素の画素構造を例示する図であり、（ａ）は、遮光層を上方からみた俯瞰図であり、（ｂ）は、Ａ−Ａ’の断面図である。 焦点検出用画素の画素構造を例示する図であり、（ａ）は、遮光層を上方からみた俯瞰図であり、（ｂ）は、Ａ−Ａ’の断面図である。 （ａ）、（ｂ）は、焦点検出の原理を説明する概念図である。 第１の実施形態に係る撮像装置の構成を示すブロック図である。 撮像装置の動作を説明するフローチャートである。 焦点検出用画素に対する絞り値の影響を説明するための概念図であり、（ａ）は、画素上方からみた感度分布と絞り値ごと入射光の範囲とを例示する図であり、（ｂ）は、Ｂ−Ｂ’における感度を示すグラフである。 焦点検出用画素とその周辺画素の配列を例示する概念図である。 焦点検出用画素に係る重み付け係数と絞り値との関係を示すグラフである。 第２の実施形態に係る焦点検出用画素の開口部を例示する概念図であり、（ａ）は、第３の開口部を上方から俯瞰した図であり、（ｂ）は、第４の開口部を上方から俯瞰した図である。 第２の実施形態に係る撮像素子上の焦点検出用画素の配列を例示する概念図である。 焦点検出用画素に対する絞り値の影響を説明するための概念図であり、（ａ）は、画素上方からみた感度分布と絞り値ごと入射光の範囲とを例示する図であり、（ｂ）は、Ｂ−Ｂ’における感度を示すグラフである。 焦点検出用画素とその周辺画素の配列を例示する概念図である。 焦点検出用画素に係る重み付け係数と絞り値との関係を示すグラフである。 第４の実施形態に係る撮像素子上の焦点検出用画素の配列を例示する概念図である。 焦点検出用画素の周辺の配列を例示する概念図である。

符号の説明

１ 撮像装置
１０ 撮像素子
２１ 位相差演算回路
２４ マイクロプロセッサ
２７ 撮像レンズ
３１ 絞り
Ｓ１ 焦点検出用画素
Ｓ２ 焦点検出用画素

Claims (11)

1. 絞り量を調整可能な絞りを有し、被写界像を結像させる撮像光学系と、前記撮像光学系により結像された被写界像を撮像するための複数の受光素子であって、当該複数の受光素子の一部が前記撮像光学系の合焦制御に用いる位相差信号を得るための位相差検出用素子である撮像手段と、を備える撮像装置であって、
   前記撮像手段が出力する撮像画像に含まれる前記位相差検出用素子に対応する画素値を、当該位相差検出用素子からの出力と、当該位相差検出用素子に対応する画素の周辺画素の値とに基づいて補間する補間手段を有し、
   前記位相差検出用素子が、画素の中心から偏倚した位置に、前記位相差検出用素子でない受光素子よりも狭い開口部を有する受光素子であり、
   前記補間手段が、前記位相差検出素子からの出力を、前記撮像画像を撮像した際の前記絞りの絞り量に応じた割合で用いて前記補間を行い、前記絞り量に応じた割合が、同一の入射光量に対して前記絞り量と前記位相差検出用素子の出力とが線形関係を維持しない範囲では、前記絞り量と前記位相差検出用素子の出力とが線形関係を維持する範囲よりも小さいことを特徴とする撮像装置。
2. 記憶手段を更に備え、
   前記位相差検出用素子が有する開口部の位置と大きさに基づいた前記絞り量に応じた割合が前記記憶手段に予め記憶されていることを特徴とする請求項１に記載の撮像装置。
3. 前記絞り量に応じた割合が、前記位相差検出用素子が有する開口部の大きさと、前記位相差検出用素子でない受光素子が有する開口部の大きさの差による出力値の差異を補償するように定められていることを特徴とする請求項２に記載の撮像装置。
4. 前記撮像手段が、前記位相差検出用素子以外の受光素子に設けられたカラーフィルタを有し、
   前記絞り量に応じた割合が、前記位相差検出用素子が有する開口部の大きさと、前記位相差検出用素子でない受光素子が有する開口部の大きさの差異、並びに、前記カラーフィルタの有無による出力値の差異を補償する様に定められていることを特徴とする請求項２に記載の撮像装置。
5. 前記位相差検出用素子が、前記開口部の大きさが異なる複数種の位相差検出用素子を含み、
   前記絞り量に応じた割合が、前記複数種の位相差検出用素子のそれぞれに対して予め記憶されていることを特徴とする請求項２乃至４のいずれか一項に記載の撮像装置。
6. 前記絞り量に応じた割合が、同一の入射光量に対して前記絞り量と前記位相差検出用素子の出力とが線形関係を維持する範囲においては１００％であり、前記絞り量と前記位相差検出用素子の出力とが線形関係を維持しない範囲において１００％未満であることを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
7. 前記撮像手段が、前記位相差検出用素子以外の受光素子に設けられたカラーフィルタを有し、
   前記補間手段は、前記位相差検出用素子に対応する画素値の輝度成分については、前記位相差検出用素子からの輝度値、及び、前記位相差検出用素子に対応する画素に前記カラーフィルタが設けられたとした場合と同じ色のカラーフィルタが設けられた同色周辺画素の輝度値に基づいて補間し、色成分については、前記同色周辺画素の値から補間することを特徴とする請求項１に記載の撮像装置。
8. 絞り量を調整可能な絞りを有し、被写界像を結像させる撮像光学系と、前記撮像光学系により結像された被写界像を撮像するための複数の受光素子であって、当該複数の受光素子の一部が前記撮像光学系の合焦制御に用いる位相差信号を得るための位相差検出用素子である撮像手段と、を備える撮像装置であって、
   前記撮像手段が出力する撮像画像に含まれる前記位相差検出用素子に対応する画素値を、当該位相差検出用素子からの出力と、当該位相差検出用素子に対応する画素の周辺画素の値とに基づいて補間する補間手段を有し、
   前記位相差検出用素子が、画素の中心から偏倚した位置に、前記位相差検出用素子でない受光素子よりも狭い開口部を有する受光素子であり、
   前記撮像手段が、前記位相差検出用素子を含む複数の受光素子に設けられたカラーフィルタを有し、
   前記補間手段は、前記位相差検出用素子からの出力、及び、当該位相差検出用素子に設けられたカラーフィルタの色と同じ色のカラーフィルタが設けられた同色周辺画素の値に基づいて補間するとともに、前記位相差検出素子からの出力を、前記撮像画像を撮像した際の前記絞りの絞り量に応じた割合で用いて補間することを特徴とする撮像装置。
9. 絞り量を調整可能な絞りを有し、被写界像を結像させる撮像光学系と、前記撮像光学系により結像された被写界像を撮像するための複数の受光素子であって、当該複数の受光素子の一部が前記撮像光学系の合焦制御に用いる位相差信号を得るための位相差検出用素子である撮像手段と、を備える撮像装置の制御方法であって、
   前記撮像手段が出力する撮像画像に含まれる前記位相差検出用素子に対応する画素値を、当該位相差検出用素子からの出力と、当該位相差検出用素子に対応する画素の周辺画素の値とに基づいて補間する補間工程を有し、
   前記位相差検出用素子が、画素の中心から偏倚した位置に、前記位相差検出用素子でない受光素子よりも狭い開口部を有する受光素子であり、
   前記補間工程が、前記位相差検出素子からの出力を、前記撮像画像を撮像した際の前記絞りの絞り量に応じた割合で用いて前記補間を行い、前記絞り量に応じた割合が、同一の入射光量に対して前記絞り量と前記位相差検出用素子の出力とが線形関係を維持しない範囲では、前記絞り量と前記位相差検出用素子の出力とが線形関係を維持する範囲よりも小さいことを特徴とする撮像装置の制御方法。
10. 絞り量を調整可能な絞りを有し、被写界像を結像させる撮像光学系と、前記撮像光学系により結像された被写界像を撮像するための複数の受光素子であって、当該複数の受光素子の一部が前記撮像光学系の合焦制御に用いる位相差信号を得るための位相差検出用素子である撮像手段と、を備える撮像装置の制御方法であって、
    前記撮像手段が出力する撮像画像に含まれる前記位相差検出用素子に対応する画素値を、当該位相差検出用素子からの出力と、当該位相差検出用素子に対応する画素の周辺画素の値とに基づいて補間する補間工程を有し、
    前記位相差検出用素子が、画素の中心から偏倚した位置に、前記位相差検出用素子でない受光素子よりも狭い開口部を有する受光素子であり、
    前記撮像手段が、前記位相差検出用素子を含む複数の受光素子に設けられたカラーフィルタを有し、
    前記補間工程が、前記位相差検出用素子からの出力、及び、当該位相差検出用素子に設けられたカラーフィルタの色と同じ色のカラーフィルタが設けられた同色周辺画素の値に基づいて補間するとともに、前記位相差検出素子からの出力を、前記撮像画像を撮像した際の前記絞りの絞り量に応じた割合で用いて前記補間を行うことを特徴とする撮像装置の制御方法。
11. 請求項９または１０に記載の撮像装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images