JP5620196B2 - 撮像装置 - Google Patents

Description

本発明は、一部を焦点検出用素子に兼用する撮像素子を有する撮像装置に関する。

ベイヤ―配列の色フィルタを有し、撮像素子の一部を焦点検出用フォトダイオードに兼用する撮像素子は従来より知られている（特許文献１参照）。この特許文献１に開示の撮像素子では、焦点検出用に兼用する領域の各画素は、２つの画素に分割され、この２つの画素は、それぞれオンチップマイクロレンズと色フィルタセグメントを介して、異なる瞳領域を通過した被写体光束を受光する。そして、この異なる瞳領域を通過した２種類の画像信号によって表わされる２つの画像の位相差に基づいて焦点状態が検出される。一方、撮像用の画像信号を得るときは、２つに分割された画素の出力信号が合成される。

特開２００１−８３４０７号公報

上述の特許文献１に開示の撮像素子は、１つの撮像素子を撮像と焦点検出に兼用できる点で優れている。しかし、特許文献１に開示の撮像素子は、ベイヤ―配列の色フィルタを介して受光して得られた画像信号に基づいて焦点検出を行うため、光電変換素子の感度が低下してしまう。また、被写体の色が偏っていると、特定の色フィルタを通過した光束では十分な感度が得られない場合もあるため、複数の色信号を合成する等の対策が必要になり、画像処理上の負担が増大する。これは、特に高速処理が要求される焦点検出においては問題となる。

そこで、焦点検出領域の色フィルタを、輝度フィルタに置き換えることが考えられる。なお、本明細書においては、輝度フィルタは、ＮＤフィルタ、透明フィルタ、グレーフィルタ、フィルタがないもの等を意味する。しかし、輝度フィルタに置き換えた場合には、撮像用の画像信号を得る場合に、輝度フィルタに対応した画素信号を周辺の色フィルタによって補間演算によって求める必要があり、画質の劣化に繋がってしまう。一般に、焦点検出用の画素は直線的に配列されるが、このように配列された画素の信号の劣化は画像として表示したときに目立ちやすいので、非常に高精度の信号処理が要求される。

本発明は、このような事情を鑑みてなされたものであり、位相差による焦点検出と撮像に兼用でき、かつ簡単で高精度の色再現特性を得ることが可能な撮像装置を提供することを目的とする。

上記目的を達成するため第１の発明に係わる撮像装置は、第１撮像用画素がマトリクス状に配置された第１画素群と、第２撮像用画素と焦点検出用画素が対を成した複合画素が複数配列された第２画素群が配置された画素部と、上記第１撮像用画素と上記第２撮像用画素のそれぞれに面して配置されたカラーフィルタと、上記焦点検出用画素のそれぞれに面して配置された輝度フィルタと、上記第１撮像用画素、及び上記複合画素のそれぞれに面して配置されたマイクロレンズと、上記第１撮像用画素と上記第２撮像用画素から読み出した信号電荷に基づいて撮像用画像データを生成する画像処理部と、上記焦点検出用画素に基づいて焦点検出を行う焦点検出部と、を備え、上記焦点検出用画素は、撮影光学系の異なる瞳領域を通過した被写体光束のうち、一方の瞳領域を通過した光束を受光する位置に配置された第１の焦点検出用画素と、他方の瞳領域を通過した光束を受光する位置に配置された第２の焦点検出用画素とを含み、工場出荷時にメモリに記憶されたゲイン値を上記第２撮像用画素の画素データに乗算することにより、上記第１撮像用画素の感度と、上記第２撮像用画素の感度が等しくなるように補正を行う感度補正部さらに設けた。

第２の発明に係わる撮影装置は、上記第１の発明において、上記カラーフィルタの配列はベイヤ―配列である。

本発明によれば、位相差による焦点検出と撮像に兼用でき、かつ簡単で高精度の色再現特性を得ることが可能な撮像装置を提供することができる。

本発明の一実施形態に係わるデジタルカメラの電気系を主とする全体構成を示すブロック図である。 本発明の一実施形態に係わるデジタルカメラの撮像素子のフィルタの配列を示す平面図である。 本発明の一実施形態に係わるデジタルカメラの撮像素子の構造を示す図であり、（ａ）は撮像素子の平面図であり、（ｂ）は撮像素子の断面図であり、（ｃ）（ｄ）は画素配置を示す図である。 本発明の一実施形態に係わるデジタルカメラのメインフローを示すフローチャートである。 本発明の一実施形態におけるデジタルカメラの画像処理の動作を示すフローチャートである。 本発明の一実施形態におけるデジタルカメラにおいて、撮像素子の画素補正を説明するための図である。 本発明の一実施形態と比較するための従来のデジタルカメラの撮像素子のフィルタの配列を示す平面図である。 本発明の一実施形態と比較するための従来のデジタルカメラの撮像素子の構造を示す図であり、（ａ）は撮像素子の平面図であり、（ｂ）は撮像素子の断面図である。

以下、図面に従って本発明を適用したカメラを用いて好ましい一実施形態について説明する。図１は、本発明の一実施形態に係わるデジタルカメラの主として電気的構成を示すブロック図である。このデジタルカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。

交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）３００を有する。

撮影レンズ２０１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ３００およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。

フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。図６を用いて後述する画素補正用のゲインも記憶されている。Ｉ／Ｆ３００は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のカラーフィルタが配置されている。ベイヤ―配列は、水平方向にＲ画素とＧ画素が交互に配置されたラインと、Ｇ画素とＢ画素が交互に配置されたラインを有している。さらにそのＲ画素とＢ画素の一部には、画像生成用画素と焦点検出用画素が対を成した複合画素として構成されている。この撮像素子１０３の詳しい構成について、図２および図３を用いて後述する。

撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１９に出力する。

バス１１９は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１９には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像圧縮伸張部１１５、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、液晶ディスプレイ（以後、ＬＣＤという）ドライバ１３３が接続されている。

画像処理部１０９は、ホワイトバランス補正、同時化処理、ガンマ・色再現処理部、ノイズリダクション処理、オプティカルブラック減算処理、エッジ強調処理等を行い、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して種々の画像処理を施す。

ＡＥ処理部１１１は、バス１１９を介して入力した画像データに基づいて被写体輝度測定し、この被写体輝度情報を、バス１１９を介してマイクロコンピュータ１１７に出力する。被写体輝度測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。

ＡＦ処理部１１３は、撮像素子１０３の複合画素に設けられたＡＦフォトダイオード１１ｂの出力に基づいて、いわゆる位相差法により、撮影レンズ２０１のデフォーカス方向およびデフォーカス量を算出し、バス１１９を介してマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、算出されたデフォーカス方向およびデフォーカス量を交換式レンズ２００内のマイクロコンピュータ２０７に出力し、ドライバ２０５によって、撮影レンズ２０１の自動焦点調節を行う。

画像圧縮伸張部１１５は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から画像データを読み出し、この読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮する。また、画像データの再生時に、記録媒体１３１からの読み出した画像データの伸張処理を行う。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、ＭＰＥＧ等、他の圧縮方式でも勿論かまわない。

マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ３００以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。

操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。

レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを実行する。なお、このときメカシャッタ１０１は開いている。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１を閉じて、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。

動画釦は、動画の撮影を開始させ、また終了させるための釦である。初期状態では動画未撮影状態であるので、この状態で動画釦を押すと動画の撮影を開始し、動画撮影中に動画釦を押すと、動画の撮影を終了する。従って、動画釦を押すたびに、動画の撮影開始と終了を交互に繰り返す。また、再生釦は、記録媒体１３１に記録されている撮影画像をＬＣＤ１３５に表示させる表示モードを実行させるための操作釦である。

フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいて当該デジタルカメラの制御を行う。また、フラッシュメモリ１２５は、被写体輝度に対して適正露光となる露出制御値（ＩＳＯ感度、絞り値、シャッタ速度）の組合せを示すテーブル（露出条件決定テーブル）、ホワイトバランス補正を行うためのホワイトバランスゲインや、カラーマトリックス係数を記憶している。フラッシュメモリ１２５は、当該デジタルカメラの動作に必要な各種パラメータやテーブルを記憶しており、マイクロコンピュータ１２１が前述のプログラムに従って、これらのパラメータを読み出し、各処理を実行する。

バス１１９に接続されたＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９や画像圧縮伸張部１１５等において処理された画像データを一時記憶する。

バス１１９に接続されたメモリＩ／Ｆ１２９は、記録媒体１３１に画像データ等を記録し、また記録媒体１３１から画像データ等を読出しの際のインターフェースである。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。

ＬＣＤドライバ１３３は、ＬＣＤ１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮伸張部１１５によって伸張された画像データに基づいて画像をＬＣＤ１１６において表示させる。ＬＣＤ１３５は、カメラ本体１００の背面等に配置された液晶ディスプレイを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、圧縮されている画像データを表示する場合には、前述したように、画像圧縮伸張部１１５によって伸張処理を施した後に表示する。また、表示部としては、ＬＣＤに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。

次に、本実施形態における撮像素子の詳細な構成について、図２および図３を用いて説明するが、理解を容易にするために、先に図７および図８を用いて、従来の一般的な撮像素子の構成を説明する。図７は、従来の撮像素子のベイヤ―配列の撮像素子を示す。図７（ｂ）は、撮像素子の平面図であり、図７（ａ）は、撮像素子の一部分を拡大した図である。

図７（ａ）において、横方向に画素ナンバとしてア〜タを割り当て、縦方向に画素ナンバとして１〜１６を割り当てる。この従来例では、画素（ア、１）がＲ画素であり、画素（イ、２）がＢ画素であり、画素（イ、１）および画素（ア、２）がＧ画素である。この４画素の組合せが、横方向および縦方向に繰り返され、撮像素子が構成される。なお、各画素内において丸で示した部分は、マイクロレンズを示す。

図８は、撮像素子の１画素の拡大図であり、図８（ａ）は画素の平面図であり、図８（ｂ）はＡ−Ａ断面図である。撮像素子上のフォトダイオード１１の上側には、カラーフィルタ１５が配置されており、カラーフィルタ１５は、ＲＧＢのいずれかの色が着色されている。カラーフィルタ１５の周囲には、遮光部材１３が配置されている。遮光部材１３としては、画素の配線と兼用させてもよい。カラーフィルタ１４の上側には、マイクロレンズ１７が配置されている。このように、１画素につき、１つのダイオード１１、１つのカラーフィルタ１５、１つのマイクロレンズ１７が、順次、積み上げるように配置されている。

このように配置されているので、撮影レンズ１０１の射出瞳１９からの被写体光束２１は、マイクロレンズ１７によって集光され、カラーフィルタ１５によって特定周波数領域（すなわち、ＲＧＢのいずれか）の光束がフォトダイオード１１上に投射される。なお、本実施形態においては、後述する撮像画像生成用画素は、図８に示す従来の画素と同様の構成を採用している。

次に、本実施形態における撮像素子の構成について図２および図３を用いて説明する。図２は、撮像素子１０３のベイヤ―配列の撮像素子を示し、図２（ｂ）は、撮像素子１０３の平面図であり、図２（ａ）は、撮像素子１０３の一部分を拡大した図である。本実施形態における撮像素子の配置は、図７に示した従来の撮像素子のＲＧＢに加えて、画像生成用画素（第２撮像用画素とも称す）と焦点検出用画素が対を成した複合画素が複数配列されている。

すなわち、図２（ａ）に示した例では、Ｂ画素の複合画素（エ、４）、Ｒ画素の複合画素（オ、５）、Ｂ画素の複合画素（シ、４）、Ｒ画素の複合画素（ス、５）、Ｂ画素の複合画素（エ、１２）、Ｒ画素の複合画素（オ、１３）、Ｂ画素の複合画素（シ、１２）、Ｒ画素の複合画素（ス、１１）の合計１２個の複合画素を含んでいる。ここで、複合画素（エ、４）と複合画素（オ、５）の対は、撮影画像中において、右下がり方向の位相差を測定するための画素である。また、複合画素（シ、４）と複合画素（ス、５）の対は、撮影画像中において、垂直方向の位相差を測定するための画素である。また、複合画素（エ、１２）と複合画素（オ、１３）の対は撮影画像中において、水平方向の位相差を測定するための画素である。また、複合画素（シ、１２）と複合画素（ス、１１）の対は、撮影画像中において、左下がり方向の位相差を測定するための画素である。

次に、複合画素の詳しい構造について、図３を用いて、説明する。図３（ａ）は画素の平面図であり、図３（ｂ）はＢ−Ｂ断面図であり、図３（ｃ）（ｄ）は複合画素における輝度フィルタとカラーフィルタの配置の例を示す。通常のマトリクス状に配置された撮像用画素のフォトダイオード１１に対して、複合画素では、フォトダイオードは、画像生成用フォトダイオード１１ａと、ＡＦ検出用フォトダイオード１１ｂに分離して形成される。また、カラーフィルタ１５は、複合画素では、カラーフィルタ１５ａと輝度フィルタ１５ｂに分離して形成される。なお、輝度フィルタは、前述したように、ＮＤフィルタ、透明フィルタ、グレーフィルタ等で構成され、またフィルタがなく中空となっているものも含まれる。

カラーフィルタ１５ａおよび輝度フィルタ１５ｂの上側は、マイクロレンズ１７によって覆われている。マイクロレンズ１７は、撮影レンズ２０１の射出瞳１９の位置と画素の（フォトダイオード１１ａ、１１ｂ）が略共役になるように、焦点距離とその位置が決められている。また、カラーフィルタ１５ａおよび輝度フィルタ１５ｂには遮光部材１３が設けられており、両フィルタの境目にも遮光部材１３が設けられている。

このように、本実施形態における複合画素は構成されている。このため、撮影レンズ２０１の射出瞳１９を通過した被写体光束２３は、マイクロレンズ１７およびカラーフィルタ１５ａを通過し、画像生成用フォトダイオード１１ａ上に投射される。一方、撮影レンズ２０１の射出瞳１９を通過した被写体光束２５は、マイクロレンズ１７および輝度フィルタ１５ｂを通過し、ＡＦ検出用フォトダイオード１１ｂ上に投射される。

本実施形態においては、複合画素中には画像生成用フォトダイオード１１ａに加えて、ＡＦ検出用フォトダイオード１１ｂが配置されていることから、撮像素子１０３から出力される画像信号に基づいて、画像を生成する他に、位相差検出による焦点検出が可能となる。すなわち、焦点検出用画素（焦点検出用フォトダイオード１１ｂ）は、撮影光学系の異なる瞳領域を通過した被写体光束のうち、一方の瞳領域を通過した光束を受光する位置に配置された第１の焦点検出用画素と、他方の瞳領域を通過した光束を受光する位置に配置された第２の焦点検出用画素とを含んでいる。例えば、図２（ａ）において、複合画素（エ、４）（第１の焦点検出用画素とすると）は、一方の瞳領域を通過した光束を受光する位置にあり、一方、複合画素（オ、５）（第２の焦点検出用画素）は、他方の瞳領域を通過した光束を受光する位置にある。

なお、複合画素のカラーフィルタ１５ａと輝度フィルタ１５、および画像生成用フォトダイオード１１ａとＡＦ検出用フォトダイオード１１ｂは、本実施形態においては、図３（ｃ）に示すように、長方形の形状している。しかし、これらの形状は長方形に限らず、図３（ｄ）に示すように、長方形（正方形）とそれを取り囲むようなフィルタとフォトダイオードの形状としてもよい。ＡＦ検出用フォトダイオードと輝度フィルタの位置を変えると、瞳の位置を制御することが可能となる。これらの形状は、撮像素子の製造過程において、露光時のマスクを適切に作成すればよい。また、本実施形態においては、遮光部材１３を設けていたが、遮光部材を設けなくても構わない。

次に、図４および図５に示すフローチャートを用いて、本実施形態におけるデジタルカメラの動作について説明する。電源釦が操作され、電源オンとなると、図４に示すメインフローが動作を開始する。動作を開始すると、まず、記録中フラグをオフに初期化する（Ｓ１）。この記録中フラグは、動画の記録中であるか否かを示すフラグであり、オンの場合には動画を記録中であることを示し、オフの場合には動画の記録を行っていないことを示す。

記録中フラグをオフに初期化すると、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３の内の再生釦の操作状態に基づいて判定する。この判定の結果、再生釦が押された場合には、次に、再生を行う（Ｓ１９）。ここでは、記録媒体１３１から画像データを読出し、ＬＣＤ１３５に表示させる。

ステップＳ１９において再生を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ５）。このステップでは、操作部１２３において、動画釦の操作状態を検知し、この検知結果に基づいて判定する。この判定の結果、動画釦が押された場合には、次に、記録中フラグの反転を行う（Ｓ２１）。前述したように、動画釦は押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。

ステップＳ２１において記録中フラグを反転させると、またはステップＳ５における判定の結果、動画釦が押されていなかった場合には、次に、動画記録中か否かの判定を行う（Ｓ７）。記録中フラグがオンであれば動画記録中であることから、ここでは、記録中フラグがオンであるか否かに基づいて判定する。

ステップＳ７における判定の結果、動画記録中でなかった場合には、次に、ファーストレリーズが押されたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ９）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。なお、このステップでは、ファーストレリーズスイッチがオフからオンに変化したかを判定し、変化後にオン状態が維持されている場合には、判定結果はＮｏとなる。

ステップＳ９における判定の結果、ファーストレリーズが押された場合には、ＡＥを行う（Ｓ１１）。ここでは、ＡＥ処理部１１１によって、被写体輝度を測定し、絞り値やシャッタ速度等の露出制御値を決め、またＬＣＤ１３５に表示するライブビュー表示を適正露光で行うための制御値を決める。

ステップＳ１１においてＡＥを行うと、次に、撮影を行う（Ｓ１３）。ここでの撮影は、撮像素子１０３によって画像信号を取得する。ライブビュー表示用に画像処理を行い、ＬＣＤ１３５にライブビュー表示を行う。なお、ここでは、画像データを記録媒体１３１に記録することはない。

撮影を行うと、次に、ＡＦを行う（Ｓ１５）。ここでは、撮像素子１０３の複合画素のＡＦ検出用フォトダイオード１１ｂからの画像データに基づいて、いわゆる位相差法による焦点検出を行う。すなわち、水平方向、垂直方向、右下がり方向、または左下がり方向の各方向に沿ってのＡＦ検出用フォトダイオードの画像データの位相のずれに基づいて、撮影レンズ１０１のデフォーカス方向およびデフォーカス量を求め、この求めた値に基づいて、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を制御する。したがって、動画記録中ではない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行う。

ステップＳ９における判定の結果、レリーズ釦がオフ→１ｓｔ遷移でなかった場合には、次に、セカンドレリーズ（２ｎｄ）が押されたか否か、言い換えると、レリーズ釦が全押しされセカンドレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ２３）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。

ステップＳ２３における判定の結果、セカンドレリーズが押された場合には、静止画撮影を行う（Ｓ２５）。ここでは、撮像素子１０３において露光を行い、被写体像に応じた画像信号を取得する。静止画撮影を行うと、次に画像処理を行う（Ｓ２７）。ここでは、画像信号を読出し、この画像信号に基づく静止画の画像データについて画像処理および画像圧縮処理を行った後、記録媒体１３１に記録する。この画像処理の詳しい動作については、図５を用いて後述する。

ステップＳ２３における判定の結果、レリーズ釦の全押しがなされていなかった場合、またはステップＳ７における判定の結果動画記録中であった場合には、次にステップＳ１１と同様にＡＥを行う（Ｓ２９）。続いて、動画撮影を行う（Ｓ３１）。ここでは、撮像素子１０３によって画像信号を取得し、画像処理部１０９や画像圧縮伸張部１１５において画像処理を行った後、動画の画像データを記録媒体１３１に記録する。

動画撮影を行うと、続いて、ステップＳ２７と同様に画像処理を行う（Ｓ３３）。この画像処理の詳しい動作については、図５を用いて後述する。

ステップＳ３３、Ｓ２７において画像処理を行うと、またはステップＳ１５においてＡＦを実行すると、次に、電源オフか否かの判定を行う（Ｓ１７）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。

次に、ステップ２７およびステップＳ３３における画像処理について、図５を用いて説明する。画像処理のフローがスタートすると、まず、画素補正を行う（Ｓ４１）。ここでは、画像処理部１０９によって、ＡＦ検出用フォトダイオード１１ｂと画像生成用フォトダイオード１１ａを有する複合画素に関して画素出力を補正する。

画素補正について、図６を用いて説明する。予め、工場出荷段階において、撮像素子に、白色光、例えば、太陽光と同じ波長の光等を露光したときのデータに基づいて、各画素のゲイン値を算出し、フラッシュメモリ１２５に記憶する。

このゲインの算出としては、まず、白色光を一面に露光し、撮像素子１０３から画像データを取得し、この画像データを用いてゲインを算出する。取得した画像データのうち、Ｒ画素の複合画素（エ、４）を囲み、ＡＦ検出用フォトダイオードを含まない８個のＲ画素、すなわち、画素（イ、２）、（エ、２）、（カ、２）、（イ、４）、（カ、４）、（イ、６）、（エ、６）、（カ、６）の画素平均値を求め、これをＲとする。また、ＡＦ検出用フォトダイオードを含むＲ画素、すなわち、画素（エ、４）の画像生成用フォトダイオード１１ａの画素値を求め、これをＲ’とする。ＲとＲ’の比、すなわち、Ｒ／Ｒ’を、Ｒ画素を含む複合画素のゲイン（GainＲ）とする。

同様に、Ｂ画素の画素（ウ、３）を囲み、ＡＦ検出用フォトダイオードを含まない８個のＢ画素、すなわち、画素（ア、１）、（ウ、１）、（オ、１）、（ア、３）、（オ、３）、（ア、５）、（ウ、５）、（オ、５）の画素平均値を求め、これをＢとする。また、ＡＦ検出用フォトダイオードを含むＢ画素、すなわち、画素（ウ、３）の画像生成用フォトダイオード１１ａの画素値を求め、これをＢ’とする。ＢとＢ’の比、すなわち、Ｂ／Ｂ’を、Ｂ画素を含む複合画素のゲイン（GainＢ）とする。

上述のゲインGainＧ、GainＲは、工場における調整時に測定し、フラッシュメモリ１２５に記憶しておく。ステップＳ４１の画素補正において、複合画素の画像生成用フォトダイオード１１ａから読み出した画像データに対して、フラッシュメモリから読み出したゲインGainＲ、GainＢを乗算することにより画素補正を行う。すなわち、読み出された全ての複合画素の画像データＲ’、Ｂ’に対して、以下の補正演算を行う。
Ｒ’に対して： GainＲ×Ｒ’
Ｂ’に対して： GainＢ×Ｂ’
この補正演算されたデータをベイヤ―データにおける画素のデータとする。

ステップＳ４１において画素補正を行うと、次に、現像処理を行う（Ｓ４３）。ここでは、ベイヤ―配列の画像データに対して、画像処理部１０９が、ＯＢ（Optical Black）減算、ＷＢ（White Balance）補正、同時化処理、カラーマトリックス乗算、ガンマ変換、エッジ強調、ＮＲ（Noise Reduction）等の画像処理を行う。

ステップＳ４３において現像処理を行うと、次に、ＬＣＤ表示を行う（Ｓ４５）。ここでは、現像処理が行われた画像データを用いて、ＬＣＤ１３５に画像の表示を行う。ステップＳ２７における画像処理の場合には、レックビューとして表示を行い、またステップＳ３３における画像処理の場合には、動画のライブビューとして表示を行う。

ステップＳ４５においてＬＣＤ表示を行うと、次に、現在のモードが静止画であるか否かを判定する（Ｓ４７）。動画釦によって動作撮影モードが選択されていなければ、静止画モードである。この判定の結果、静止画であれば、次に、ＪＰＥＧ記録を行う（Ｓ４９）。ここでは、画像データを、画像圧縮伸張部１１５によって、ＪＰＥＧ圧縮を行い、この圧縮処理の行われた画像データを記録媒体１３１に記録する。なお、カメラの設定によって、画像圧縮と共にＲＡＷデータも記録する。

ステップＳ４９においてＪＰＥＧ記録を行うと、またはステップＳ４７における判定の結果、静止画でなかった場合には、次に、動画記録中であるか否かを判定する（Ｓ５１）。前述したように、動画撮影中には記録中フラグがオンとなっていることから、ここでは、記録中フラグに基づいて判定する。

ステップＳ５１における判定の結果、動画記録中であれば、次に、動画ファイルへ保存を行う（Ｓ５３）。ここでは、画像圧縮伸張部１１５において動画ファイルの形式に合わせた圧縮を行い、動画ファイルに記録する。動画ファイルとしては、 Ｍｏｔｉｏｎ ＪＰＥＧ形式、ＭＰＥＧ、ＡＶＣＨＤ等がある、

動画ファイルへ保存を行うと、または、ステップＳ５１における判定の結果が、動画記録中でなかった場合には、画像処理のフローを終了し、元のフローに戻る。

以上説明したように、本実施形態においては、焦点検出用画素（フォトダイオード１１ｂを含む画素）は、輝度フィルタを介して被写体光束を受光し、画像生成用の撮像用画素（フォトダイオード１１、１１ａ）は、カラーフィルタを介して被写体光束を受光している。すなわち、焦点検出用画素はカラーフィルタの影響を受けることがない。このため、位相差による焦点検出と撮像に兼用でき、かつ簡単で高精度の色再現特性を得ることが可能となる。

また、本実施形態においては、複合画素の画像生成用のフォトダイオード１１ａの出力の画素補正を行うようにしている（ステップＳ４１参照）。すなわち、複合画素ではない通常の画素（第１撮像用画素）の感度と、複合画素の画像生成用の画素（第２撮像用画素）の感度を等しくすることができる。

なお、本実施形態においては、撮像素子のフィルタの配置は、ベイヤ―配列としていたが、これに限らず、マトリクス状等、他の配列であっても、本発明を適用することができる。また、本実施形態においては、縦１６画素、横１６画素の中に４対の複合画素を配置したが、焦点精度等を考慮して、適宜変更してもよい。

また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１１・・・フォトダイオード、１１ａ・・・画像生成用フォトダイオード、１１ｂ・・・ＡＦ検出用フォトダイオード、１３・・・遮光部材、１５・・・カラーフィルタ、１５ａ・・・カラーフィルタ、１５ｂ・・・輝度フィルタ、１７・・・マイクロレンズ、１９・・・射出瞳、２１〜２５・・・被写体光束、１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１１１・・・ＡＥ処理出部、１１３・・・ＡＦ処理部、１１５・・・画像圧縮伸張部、１１９・・・バス、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・ＬＣＤドライバ、１３５・・・ＬＣＤ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、３００・・・Ｉ／Ｆ

Claims (2)

1. 第１撮像用画素がマトリクス状に配置された第１画素群と、第２撮像用画素と焦点検出用画素が対を成した複合画素が複数配列された第２画素群が配置された画素部と、
   上記第１撮像用画素と上記第２撮像用画素のそれぞれに面して配置されたカラーフィルタと、
   上記焦点検出用画素のそれぞれに面して配置された輝度フィルタと、
   上記第１撮像用画素、及び上記複合画素のそれぞれに面して配置されたマイクロレンズと、
   上記第１撮像用画素と上記第２撮像用画素から読み出した信号電荷に基づいて撮像用画像データを生成する画像処理部と、
   上記焦点検出用画素に基づいて焦点検出を行う焦点検出部と、
   を備え、
   上記焦点検出用画素は、撮影光学系の異なる瞳領域を通過した被写体光束のうち、一方の瞳領域を通過した光束を受光する位置に配置された第１の焦点検出用画素と、他方の瞳領域を通過した光束を受光する位置に配置された第２の焦点検出用画素とを含み、
   工場出荷時にメモリに記憶されたゲイン値を上記第２撮像用画素の画素データに乗算することにより、上記第１撮像用画素の感度と、上記第２撮像用画素の感度が等しくなるように補正を行う感度補正部さらに設けたことを特徴とする撮像装置。
2. 上記カラーフィルタの配列はベイヤ―配列であることを特徴とする請求項１に記載の撮像装置。