JP5597273B2 - 撮像装置及び画像処理方法 - Google Patents

Description

本発明は、撮像装置及び画像処理方法に関し、更に詳しくは、撮像素子から得られる画像信号に基づいて焦点調節制御を行う撮像装置及びその画像信号の画像処理方法に関する。

デジタルカメラやデジタルビデオカメラ等の撮像装置には、撮像レンズのフォーカス制御を自動的に行うオートフォーカス機構を備え、被写体が自動的に合焦状態となるように構成されたものがある。このオートフォーカス機構は、合焦方式の原理から、測距方式とピント検出方式とに分類される。測距方式は、被写体までの距離を測定し、これに応じてレンズ位置を制御するものである。ピント検出方式は、撮像面でのピントを検出し、ピントの合った位置にレンズの位置を制御するものである。代表的なピント検出方式として、コントラスト検出方式、位相差検出方式等があるが、ピント検出方式については、その原理が、例えば、特許文献１等に開示されている。

ここで、図１０〜図１２を参照してピント検出方式について説明する。例えば、ピントが合った合焦時には、図１０（ａ）に示すように、撮像レンズ１の各部を通過した光ａ₀、ｂ₀、ｃ₀が撮像面ｍに収束し、図１０（ｂ）に示すように、撮像面ｍでピントの合った像Ｚ０が得られる。

図１０（ａ）及び図１０（ｂ）に示す合焦状態よりも後方に焦点位置がずれた、いわゆる後ピン状態が図１１に示されている。図１１（ａ）に示すように、撮像レンズ１の各部を通過した光ａ₁、ｂ₁、ｃ₁が、撮像面ｍよりも後に収束し、図１１（ｂ）に示すように、撮像面ｍでは各光がそれぞれ別の像Ｚａ₁、Ｚｂ₁、Ｚｃ₁となっている。

また、いわゆる前ピン状態が図１２に示されている。図１２（ａ）に示すように、撮像レンズ１の各部を通過した光ａ₂、ｂ₂、ｃ₂が、撮像面ｍよりも前で収束し、図１２（ｂ）に示すように、撮像面ｍでは各光がそれぞれ別の像Ｚａ₂、Ｚｂ₂、Ｚｃ₂となっている。

図１１〜図１２から分かるように、前ピン状態と後ピン状態とでは、像のずれる方向が逆になり、ずれる方向とずれ量を、いわゆるデフォーカス量と呼んでいる。デフォーカス量と、フォーカスレンズを合焦位置まで駆動する量との関係は光学系により決まっているため、フォーカスレンズを合焦位置まで移動させることによって、オートフォーカス制御を行うことができる。

位相差検出方式におけるデフォーカス量の演算処理については、特許文献２等に、公知の「ＭＩＮアルゴリズム」として開示されている。図１３は、ＭＩＮアルゴリズムにより、位相差の相関を検出するための一般的なカメラ内部の構成である。レンズから入射した光は、４５度傾けて取り付けられたメインミラーの後ろに取り付けられたサブミラーによって、カメラ下方に反射される。そして、二次結像レンズにより２つの像に分離されて、不図示のＡＦセンサに入射される。そして、これら２つのＡＦセンサからの出力データを取り込み、センサ出力の相関を取る。それぞれのセンサ出力を、センサ１、センサ２とし、センサ１のデータをＡ[１]〜Ａ[ｎ]、センサ２のデータをＢ[１]〜Ｂ[ｎ]とすると、相関量Ｕ０は、以下の数式（１）で表される（図１４（ａ））。

（ｍｉｎ（ａ,ｂ）は、ａ,ｂの小さい値）

まず、Ｕ０を計算する。次いで、図１４（ｂ）のように、Ａ像をＡＦセンサの１ビット分だけシフトさせたデータとＢ像のデータの相関量Ｕ１を計算する。Ｕ１は、以下の数式２で表される。

（ｍｉｎ（ａ,ｂ）は、ａ,ｂの小さい値）

このように１ビットずつシフトした相関量を次々計算する。２像が一致していれば、この相関量は最大となるので（図１４（ｃ））、その最大値を取るシフト量と方向を求める。この値が、デフォーカス量となる。

ところで、特許文献３は、位相差検出方式を行う装置として、図１５に示すようなフィルターカラー配列を有し、光学像を電気信号に変換する光電変換セルが２次元に配列された撮像素子を開示している。図１５に示すように、一部の光電変換セルが第１の位相センサＳ１、第２の位相センサＳ２として、画像データを形成する目的以外の、位相差検出方式での焦点検出に使用されている。特許文献３によれば、図１３で示したようなＡＦセンサへの結像レンズや、位相差を設けるための二次結像レンズ等が必要無くなり、撮像装置を小さくすることができ、コストを低減することができる。

また、特許文献４では、撮像素子の焦点検出画素の形状について開示されている。特許文献４では、図１６に示すような、撮像素子の配列となっており、基本画素配列は、緑画素、赤画素、青画素のベイヤー配列となっている。また、撮像素子の左上から右下の対角線上の画素は、焦点検出用の画素となっている。その他の画素は、画像データを生成するための画素となっている。

図１７は、図１６に示した撮像素子の焦点検出画素の一部を切り出し、詳細に説明した図である。この図では、２つの焦点検出画素、１つの赤画素、１つの青画素で構成される４画素の拡大図を示し、開口部の形状について説明している。左上と右下の画素が焦点検出画素（緑色画素）、右上が赤画素、左下が青画素である。１１は各開口部の上面に配置されるマイクロレンズである。３７ａ、３７ｂは隣り合う焦点検出画素におけるマイクロレンズ１１の中心位置である。３６は、隣接して１列に並んだ焦点検出画素のマイクロレンズの中心が通る直線である。３８ａ、３８ｂはそれぞれ焦点検出画素ではない通常の青画素及び赤画素の開口部である。３９ａ、３９ｂは焦点検出画素の開口部であり、通常の緑画素の開口部を縮小中心３５ａ、３５ｂを中心としてそれぞれ縮小した形状になっている。ここで縮小中心３５ａ、３５ｂは、緑画素の中心位置３７ａ、３７ｂを直線３６上でそれぞれ逆向きに動かした点である。焦点検出画素の開口部３９ａ、３９ｂは、縮小中心３５ａ、３５ｂを中心として縮小した形状である。そのため、隣り合う画素同士で異なる向きに偏りをもったものとなる。また、直線３６と垂直な線４６に対して、線対称な形状となっている。

また、特許文献５では、１画素に対し、複数の光電変換部を有する撮像素子において、画像データを読み出す場合は、複数の光電変換部の電荷を加算して読み出す。そして、焦点検出処理を行う場合は、各光電変換部の電荷を独立に読み出し、読み出した電荷に対応するデータを、位相差検出方式の焦点検出処理に使用する。また、焦点検出処理時の画像補正処理を、加算読み出し時の画像補正処理と異なった処理を行うことで、精度の高い焦点検出を行っている。

特開平４−２６７２１１号公報 特開平９−４３５０７号公報 特開２０００−１５６８２３号公報 特開２００５−３０３４０９号公報 特開２００２−１３１６２３号公報 特開２０００−０４１１７９号公報 特開２０００−３２４５０５号公報

しかしながら、特許文献４では、撮像素子の焦点検出画素を、撮像素子の左上から右下の対角線上に配し、その形状及び開口は、マイクロレンズ１１の中心から偏心した点を中心とした、通常画素より縮小したものとなる。そのため、通常画素とは開口率が異なり、更に、マイクロレンズ１１の中心から偏心しているために、マイクロレンズ１１から得られる光量が、通常画素とは異なる。

特許文献６では、光学レンズを通して入力される光量が、レンズの光軸から距離が離れるにつれて少なくなるというシェーディング特性を補正するシェーディング補正方法が開示されている。撮像レンズから撮像素子に入射する光束は、その撮像面に対し鉛直に入射する成分のほかに、斜め方向から結像する光の成分が多くある。撮像面に画素に対応して配置されたマイクロレンズによって集光される光の錯乱円は、撮像素子の各画素の中心部分に均一に形成されるとは限らず、各画素の位置に応じて画素中心からずれる。このため、撮像素子の撮像面の周辺部に配置された受光部では、均一照度の平面を撮影した場合でも、撮像レンズの光軸付近の撮像面中心部分における受光部よりも受光量が低下する。この結果、撮像素子から出力される撮像信号には、撮像面の位置によって明るさが均一とはならずに明暗のひずみを生ずる輝度シェーディングが発生し、画像品質が低下する。

例えば、特許文献７等に、シェーディング補正の補正方式として、次の方法が開示されている。先ず、輝度シェーディング補正を行うための、光学系の状態に応じたテーブル値として予め、撮像状況に応じた複数のシェーディング補正データを準備する。そして、画像データを生成する画像処理部において、適正に選択されたテーブル値を用いて補正する。しかしながら、撮像素子の全ての画素に対してシェーディング補正データを持つと、データサイズが大きくなり、フラッシュＲＯＭやメモリが大きくなるため、コストが増大する。そのため、特許第０３８２４２３７号公報では、撮像素子の中心から各画素までの距離に応じたゲインを乗算することによって、演算によってシェーディング補正データを生成する方式が提案されている。このように、シェーディング補正データを部分的に持ち、各画素のシェーディング補正データを演算によって求める場合、焦点検出画素に対しては撮像素子のマイクロレンズの特性や開口の形状から、通常画素と同様の演算方式を適用できない。

更に、特許文献４では、焦点検出画素についての輝度シェーディング補正については述べられていない。通常画素に対して開口率が異なり、マイクロレンズ１１の中心から偏心した開口形状の焦点検出画素に対し、通常画素に最適化されたシェーディング係数を用いてシェーディング補正を行うと、位相差検出のためのデフォーカス量算出の精度に影響を及しうる。

また、特許文献５では、通常画素の輝度シェーディングについては、ピークレベルの輝度シェーディングのみを施す。これに対し、焦点検出画素については、ピークレベルの輝度シェーディングと、ダークレベルの輝度シェーディングを施すことによって、通常画素と比較して、光量分布をより均一化させるための精度の高いシェーディング補正を行っている。しかしながら、上述したように通常画素と焦点検出画素とで、別々のシェーディング補正を行うと、画像データの生成と、デフォーカス量算出のための処理を同時に行うことができない。そのため、デフォーカス量算出までの時間を、比較的長く要するという問題点がある。

本発明は上記問題点を鑑みてなされたものであり、マイクロレンズの光軸から偏心した開口部を通して瞳分割された光を受光する焦点検出画素を用いて、より精度の高い焦点検出を行えるようにすることを目的とする。

上記目的を達成するために、本発明の撮像装置は、光学系を通して入射した光を、複数のマイクロレンズを介して対応する画素に集光させるとともに、前記複数のマイクロレンズを介して異なる瞳位置の像を検出するための画素を含む撮像素子であって、記録用の撮影画像に用いる信号を構成する第１の画素信号と位相差ＡＦに用いる像を構成する第２の画素信号とを逐次出力可能な撮像素子と、前記撮像素子を駆動するためのタイミング情報を出力するタイミング発生手段と、前記撮像素子から逐次出力された信号に対して前記タイミング発生手段が出力するタイミング情報に応じて逐次入力する信号が前記第１の画素信号か第２の画素信号かを逐次判断し、当該逐次入力する信号が前記タイミング発生手段の出力するタイミング情報に応じて第１の画素信号と判断された場合には第１の撮像画素用のシェーディング補正係数を用いて逐次シェーディング補正を行うとともに、当該逐次入力する信号が前記タイミング発生手段の出力するタイミング情報に応じて前記第２の画素信号と判断された場合には第２の撮像画素用のシェーディング補正係数を用いて逐次シェーディング補正を行う補正手段とを備える。

本発明によれば、マイクロレンズの光軸から偏心した開口部を通して瞳分割された光を受光する焦点検出画素からの画像信号を用いて焦点検出を行う場合でも、焦点検出画素に適したシェーディング補正を行うため、より精度の高い焦点検出を行うことができる。

本発明の好適な第１〜第４の実施形態に係るデジタルスチルカメラの機能構成の概略を示すブロック図である。 本発明の好適な第１、第２、第４の実施形態に係るデジタル信号処理部の詳細な構成を示すブロック図である。 本発明の好適な第１の実施形態に係るＲＯＭのメモリ構成を示す説明図である。 本発明の好適な第１の実施形態に係るシェーディング補正処理を説明したフローチャートである。 本発明の好適な第２の実施形態に係るＲＯＭのメモリ構成を示す説明図である。 本発明の好適な第２の実施形態に係るシェーディング補正処理を説明したフローチャートである。 本発明の好適な第３の実施形態に係るデジタル信号処理部の詳細な構成を示すブロック図である。 本発明の好適な第３の実施形態に係るシェーディング補正処理を説明したフローチャートである。 本発明の好適な第４の実施形態に係るシェーディング補正処理を説明したフローチャートである。 ピント検出方式について説明した図である。 ピント検出方式について説明した図である。 ピント検出方式について説明した図である。 位相差を検出するための一般的なカメラ内部の構成を示す図である。 相関計算を説明した図である。 位相差検出方式を行う撮像素子の構成を示す図である。 撮像素子の焦点検出画素の形状を示す図である。 図１６に示した撮像素子の焦点検出画素の一部を切り出し、詳細に説明した図である。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

（第１の実施形態）
図１は、本発明の好適な第１の実施形態に係る一般的なデジタルスチルカメラの機能構成の一例を示すブロック図である。

１００は、被写体像を撮像するための光学系であり、撮像レンズ、シャッター、絞り等で構成される。また、本実施形態での撮像レンズには、焦点距離が可変のズームレンズが搭載されている。１０１は、光学系１００を介して入射する光を受光して光電変換する撮像素子であり、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）やＣＭＯＳセンサ等によって構成される。また、本第１の実施形態では、撮像素子１０１は画像データを生成する目的である通常画素（撮像画素）と、焦点検出に使用する焦点検出画素とで構成されるものである。１０２は、光学系の駆動を行うアクチュエータにより構成される光学系駆動部であり、例えば、オートフォーカス時に光学系１００を合焦位置まで移動させるなどのレンズ駆動等を行う。１０３は、撮像素子駆動部である。撮像素子１０１が、例えばＣＣＤやＣＭＯＳセンサによって構成されている場合に、光電変換された電気信号を読み出すための水平および垂直転送駆動信号を生成する。

１０４は、アナログ処理部であり、入力される画像信号に含まれるリセットノイズを除去する不図示の相関二重サンプリングと、画像信号のレベルを利得を変えて増幅する利得可変増幅等を行う。１０５は、アナログ処理部１０４より出力されたアナログデータをデジタルデータに量子化するＡ／Ｄ変換部である。１０８は、Ａ／Ｄ変換部１０５から出力されたデジタルデータを画像処理するデジタル信号処理部である。一般的には、ホワイトバランスの調整や、ゲイン調整、フィルタリング処理、補間処理等を行い、適切な画像サイズにリサイズし、圧縮処理を行い、メディア１１２に記録する。或いは、表示部１１１のＬＣＤ等に表示を行うための処理を行う。更に、本実施形態においては、シェーディング補正処理も行う。

１０６は、光学系駆動部１０２、撮像素子駆動部１０３、アナログ処理部１０４、Ａ／Ｄ変換部１０５、デジタル信号処理部１０８へのタイミング信号を生成し送信するためのタイミングジェネレータである。１０７は、デジタル信号処理部１０８の処理過程において、中間データをバッファしておくための、外部メモリである。１０９は、カメラ全体を制御するＣＰＵである。１１０は、ユーザが外部からカメラを制御するために操作されるスイッチ等の操作部である。１１３は、ＣＰＵ１０９の命令等が格納されているＲＯＭである。本実施形態では、ＲＯＭ１１３に、シェーディング補正を行うためのシェーディング補正データが格納されている。

図２は、図１における、デジタル信号処理部１０８の機能の一部を詳細にしたブロック図であり、シェーディング補正処理の動作について説明するための図である。

２００は、シェーディング補正を行うシェーディング補正部である。Ａ／Ｄ変換部１０５より入力された、撮像素子１０１上の通常画素から読み出された画像データ、或いは、焦点検出画素から読み出された焦点検出用の信号（焦点検出データ）について、シェーディング補正を行うための演算処理を行う。２０１は、シェーディング補正係数生成部であり、タイミングジェネレータ１０６からのタイミング信号から撮像素子１０１の画素位置を判定し、後述のＲＯＭアドレス生成部２０２に対してシェーディング補正データを読み出すためのリクエスト信号を生成する。本リクエスト信号は、ＲＯＭ１１３から読み出すシェーディング補正データが、通常画素用（撮像画素用）か、焦点検出画素用かを判定可能な信号として送信される。シェーディング補正係数生成部２０１は、ＲＯＭ１１３より読み出されたシェーディング補正データから、通常画素の場合は、各画素のシェーディング補正係数を算出し、シェーディング補正部２００へ送信する。一方、焦点検出画素の場合は演算を行わず、読み出したシェーディング補正データをシェーディング補正係数としてそのままシェーディング補正部２００へ送信する。２０２は、ＲＯＭアドレス生成部である。シェーディング補正係数生成部２０１が生成したリクエスト信号より、シェーディング補正部２００に入力されるデータが、通常画素か、焦点検出画素かを判定し、ＲＯＭ１１３より、適切なシェーディング補正データを読み出す。

２０３は、シェーディング補正処理を除いた、その他のデジタル信号処理を行う画像処理部である。画像処理部２０３で行う処理は、シェーディング補正が施された焦点検出用データに対し、瞳位置の異なる画素をＡ画素、Ｂ画素とすると、それぞれに対して「ＭＩＮアルゴリズム」によって算出された相関量の最大値を求める処理である、位相差検出処理を含む。但し、位相差検出処理については、ＣＰＵ１０９が行ってもよい。位相差検出処理によって求められたデフォーカス量は、ＣＰＵ１０９によって光学系駆動部１０２に送信され、光学系１００のオートフォーカス機能を有したズームレンズを駆動させる。

図３は、ＲＯＭ１１３のシェーディング補正データのみを記したメモリマップを示した図である。本第１の実施形態では、ＲＯＭ１１３の物理アドレスに対して、通常画素用のシェーディング補正データが、０ｘ１００００００番地から、０ｘ１ＦＦＦＦＦＦ番地のアドレスに、記憶されている。また、焦点検出画素用のシェーディング補正データが、０ｘ２００００００番地から、０ｘ２００ＦＦＦＦ番地のアドレスに記憶されている。また、アドレスに対して読み出されるシェーディング補正データは、通常画素については、撮像素子１０１の一部分のデータとし、各画素のシェーディング補正係数は、シェーディング補正係数生成部で算出される。一方、焦点検出画素については、各画素毎に、シェーディング補正係数としてデータを持つ。

ＲＯＭアドレス生成部２０２は、シェーディング補正係数生成部２０１が生成したリクエスト信号により、通常画素と判定した場合、０ｘ１００００００番地のアドレスを、ＲＯＭ１１３に対して発行する。ＲＯＭ１１３より読み出された通常画素用のシェーディング補正データを用いて、シェーディング補正係数生成部２０１において、シェーディング補正係数が算出される。その後、シェーディング補正係数はシェーディング補正部２００へ送信され、Ａ／Ｄ変換部１０５より入力される通常画素の画像データに対してシェーディング補正がなされる。

タイミングジェネレータ１０６が、次のタイミング信号をデジタル信号処理部１０８に送信すると、シェーディング補正係数生成部２０１は、次の撮像素子位置のアドレスからリクエスト信号を生成し、ＲＯＭアドレス生成部２０２へ送信する。ＲＯＭアドレス生成部２０２は、このリクエスト信号が、焦点検出画素と判定すると、前回の通常画素のアドレス値を保存して、焦点検出画素用のアドレス値０ｘ２００００００番地を、ＲＯＭ１１３に対して発行する。ＲＯＭ１１３より読み出された焦点検出画素用のシェーディング補正データは、シェーディング補正係数生成部２０１より、シェーディング補正係数として、そのままシェーディング補正部２００へ送信される。そして、Ａ／Ｄ変換部１０５より入力される焦点検出画素の焦点検出データにシェーディング補正がなされる。

一方、次のタイミング信号での撮像素子位置のアドレス値が、通常画素のものであれば、ＲＯＭアドレス生成部２０２は、前回の焦点検出画素のアドレス値を保存する。そして、通常画素のアドレス値として、保存されていたアドレス値に１を加算して、次の通常画素のアドレス値である０ｘ１０００００１番地のアドレスを、ＲＯＭ１１３に対して発行する。同様に、次のタイミング信号で、焦点検出画素と判断された場合は、前回の通常画素のアドレス値０ｘ１０００００１番地を保存して、前回の焦点検出画素のアドレス値に、１を加算したアドレス値である０ｘ２０００００１番地を、ＲＯＭ１１３へ発行する。

次に、図４のフローチャートを用いて、本第１の実施形態におけるシェーディング補正処理について説明する。なお、図４において、ＮＯＲＭ＿ＡＤＤＲは、デジタル信号処理部１０８のシェーディング補正部２００で次に処理を行う通常画素用のシェーディング補正データが格納されているＲＯＭ１１３のアドレス値である。ＡＦ＿ＡＤＤＲは、デジタル信号処理部１０８のシェーディング補正部２００で次に処理を行う焦点検出画素のシェーディング補正データが格納されているＲＯＭ１１３のアドレス値である。ＲＯＭ＿ＡＤＤＲは、ＲＯＭ１１３へ出力される実際のアドレス値である。

ステップＳ４００では、ＮＯＲＭ＿ＡＤＤＲ、ＡＦ＿ＡＤＤＲに、初期値を代入する。図３のＲＯＭ１１３のメモリマップの例では、ＮＯＲＭ＿ＡＤＤＲに、０ｘ１００００００番地、ＡＦ＿ＡＤＤＲに、０ｘ２００００００番地が代入される。

ステップＳ４０１では、画像データ（１画素分）が入力されたかどうかを判定する。ステップＳ４０１で画像データが入力されたと判定されると（ステップＳ４０１で「ＹＥＳ」）、ステップＳ４０２へ遷移する。

ステップＳ４０２では、入力された画像データが、通常画素の画像データか、焦点検出画素の焦点検出データか否かを判定する。この判定の結果、ステップＳ４０２で通常画素と判定されると（ステップＳ４０２で「ＹＥＳ」）、ステップＳ４０３においてシェーディング補正データをＲＯＭ１１３から読み出すか否かを判定する。

ステップＳ４０３でＲＯＭ１１３から読み出すと判定されると、ステップＳ４０４に遷移する。ステップＳ４０４では、通常画素アドレスＮＯＲＭ＿ＡＤＤＲを１増やすと共に、ＲＯＭ＿ＡＤＤＲに、この通常画素アドレスＮＯＲＭ＿ＡＤＤＲを１増やしたアドレス値を設定する。そして、ＲＯＭ＿ＡＤＤＲに基づいてＲＯＭ１１３より通常画素用のシェーディング補正データを読み出す。

一方、ステップＳ４０３でＲＯＭ１１３から読み出さないと判定されると、ＲＯＭ１１３からシェーディング補正データを読み出さずに、直接ステップＳ４０５に進む。

ステップＳ４０５では、ステップＳ４０４でＲＯＭ１１３より通常画素用のシェーディング補正データが読み出されている場合、読み出された通常画素用のシェーディング補正データからシェーディング補正係数を算出する。また、ＲＯＭ１１３からシェーディング補正データを読み出さなかった場合、それまでに読み出した通常画素用のシェーディング補正データと、通常画素の位置とに基づいて、シェーディング補正係数を算出する。

一方、ステップＳ４０２で焦点検出画素と判定された場合（ステップＳ４０２で「ＮＯ」）、ステップＳ４０６に遷移する。ステップＳ４０６では、焦点検出画素アドレスＡＦ＿ＡＤＤＲを１増やすと共に、ＲＯＭ＿ＡＤＤＲに、この焦点検出画素アドレスＡＦ＿ＡＤＤＲを１増やしたアドレス値を設定する。そして、ＲＯＭ＿ＡＤＤＲに基づいてＲＯＭ１１３より焦点検出画素のシェーディング補正データを読み出し、ステップＳ４０７へ進む。

ステップＳ４０７では、通常画素の場合は、ステップＳ４０５で算出されたシェーディング補正係数によって、シェーディング補正が行われる。また、焦点検出画素の場合は、ＲＯＭ１１３より読み出された焦点検出画素用のシェーディング補正データ（シェーディング補正係数）によって、シェーディング補正が行われる。

ステップＳ４０８では、ステップＳ４０７でシェーディング補正処理を行った画像データが、撮像素子１０１からの読み出しの最終画素か否かを判定する。最終画素であれば（ステップＳ４０８で「ＹＥＳ」）、処理を終了する。そうでなければ（ステップＳ４０８で「ＮＯ」）、ステップＳ４０１へ戻り、次の画像データの入力があるか否かの判定に再び遷移する。

本第１の実施形態では、焦点検出画素に対して、適正なシェーディング補正を行うことにより、精度の高い焦点検出を行うことが可能である。また、通常の画像データの生成と、焦点検出用のデータの生成を１回の撮像素子読み出し期間で処理することができるため、焦点検出を高速化することが可能である。

なお、本第１の実施形態では、通常画素の場合、ステップＳ４０５でシェーディング補正データからシェーディング補正係数を算出している。しかしながら、シェーディング補正係数を全ての通常画素について、ＲＯＭ１１３に保持できるシステムであれば、シェーディング補正係数を演算せずに、そのまま使用してもよい。

（第２の実施形態）
図１６は、第２の実施形態における通常画素と焦点検出画素の撮像素子の配列を示している。これの一部を拡大した図が、図１７に示されている。図１７の左上と、右下の画素は、焦点検出画素である。光学系１００を通して入射した光を集光するマイクロレンズ１１の中心と、通常画素の開口部の中心位置とは一致しているが、左上の画素の開口部（第１の開口部）の中心位置は、第１の方向としての右下へ偏心している。また、右下の画素の開口部（第２の開口部）の中心位置は、第２の方向としての左上に偏心している。それぞれは、光学系から見ると、瞳分割された、瞳位置の異なる焦点検出画素であり、左上の焦点検出画素をＡ画素（第１の焦点検出画素）、右下の焦点検出画素をＢ画素（第２の焦点検出画素）とする。これら焦点検出画素、Ａ画素、Ｂ画素に対するシェーディング補正データを、別々に持たせる。

本第２の実施形態のカメラの構成は、上述した第１の実施形態の図１と図２で示すものと同様である。第１の実施形態と異なるのは、ＲＯＭ１１３に格納する焦点検出画素用のシェーディング補正データを、Ａ画素とＢ画素で別々に持つ点である。

図５は、ＲＯＭ１１３のシェーディング補正データのみを記したメモリマップを示した図である。本第２の実施形態では、ＲＯＭ１１３の物理アドレスに対し、通常画素用のシェーディング補正データは、０ｘ１００００００番地から０ｘ１ＦＦＦＦＦＦ番地のアドレスに配置されている。焦点検出画素であるＡ画素についてのシェーディング補正データ（第１の焦点検出画素用補正データ）は、０ｘ２００００００番地から０ｘ２０００ＦＦＦ番地のアドレス（第１の記憶領域）に配置されている。焦点検出画素であるＢ画素についてのシェーディング補正データ（第２の焦点検出画素用補正データ）は、０ｘ２００１０００番地から０ｘ２００１ＦＦＦ番地のアドレス（第２の記憶領域）に配置されている。

次に、図６のフローチャートを用いて、本第２の実施形態におけるシェーディング補正処理について説明する。なお、図６において、ＮＯＲＭ＿ＡＤＤＲは、デジタル信号処理部１０８のシェーディング補正部２００で次に処理を行う通常画素用のシェーディング補正データが格納されているＲＯＭ１１３のアドレス値である。ＡＦ＿Ａ＿ＡＤＤＲは、デジタル信号処理部１０８のシェーディング補正部２００で次に処理を行う焦点検出画素であるＡ画素のシェーディング補正データが格納されているＲＯＭ１１３のアドレス値である。ＡＦ＿Ｂ＿ＡＤＤＲは、デジタル信号処理部１０８のシェーディング補正部２００で次に処理を行う焦点検出画素であるＢ画素のシェーディング補正データが格納されているＲＯＭ１１３のアドレス値である。ＲＯＭ＿ＡＤＤＲは、ＲＯＭ１１３へ出力される実際のアドレス値である。

ステップＳ５００では、ＮＯＲＭ＿ＡＤＤＲ、ＡＦ＿Ａ＿ＡＤＤＲ、ＡＦ＿Ｂ＿ＡＤＤＲに、初期値を設定する。図５のＲＯＭ１１３のメモリマップの例では、ＮＯＲＭ＿ＡＤＤＲに、０ｘ１００００００番地、ＡＦ＿Ａ＿ＡＤＤＲに、０ｘ２００００００番地、ＡＦ＿Ｂ＿ＡＤＤＲに、０ｘ２００１０００番地が代入される。

ステップＳ５０１では、画像データが入力されたかどうかを判定し、画像データ（１画素）が入力されたことが判定されると（ステップＳ５０１で「ＹＥＳ」）、ステップＳ５０２へ遷移する。

ステップＳ５０２では、入力された画像データが、通常画素の画像データか、焦点検出画素の画素データかを判定する。

ステップＳ５０２で通常画素と判定されると（ステップＳ５０２で「ＹＥＳ」）、ステップＳ５０３においてＲＯＭ１１３からシェーディング補正データを読み出すか否かを判定する。

ステップＳ５０３でシェーディング補正データをＲＯＭ１１３から読み出すと判定されると（ステップＳ５０３で「ＹＥＳ」）、ステップＳ５０４に遷移する。ステップＳ５０４では、通常画素アドレスＮＯＲＭ＿ＡＤＤＲを１増やすと共に、ＲＯＭ＿ＡＤＤＲに、この通常画素アドレスＮＯＲＭ＿ＡＤＤＲを１増やしたアドレス値を設定する。そして、ＲＯＭ＿ＡＤＤＲに基づいてＲＯＭ１１３より通常画素用のシェーディング補正データを読み出す。

ステップＳ５０５では、ＲＯＭ１１３より読み出された通常画素用のシェーディング補正データから各画素に対するシェーディング補正係数を算出する。

一方、ステップＳ５０２で焦点検出画素と判定された場合、ステップＳ５０６に遷移し、焦点検出画素がＡ画素かどうかの判定を行う。Ａ画素と判定された場合、ステップＳ５０７に進み、Ａ画素アドレスＡＦ＿Ａ＿ＡＤＤＲを１増やすと共に、ＲＯＭ＿ＡＤＤＲに、このＡ画素アドレスＡＦ＿Ａ＿ＡＤＤＲを１増やしたアドレス値を設定する。一方、ステップＳ５０６にて、Ｂ画素と判定された場合、ステップＳ５０８に進み、Ｂ画素アドレスＡＦ＿Ｂ＿ＡＤＤＲを１増やすと共に、ＲＯＭ＿ＡＤＤＲに、このＢ画素アドレスＡＦ＿Ｂ＿ＡＤＤＲを１増やしたアドレス値を設定する。そして、ステップＳ５０７またはＳ５０８では、ＲＯＭ＿ＡＤＤＲに基づいてＲＯＭ１１３よりＡ画素またはＢ画素用のシェーディング補正データを読み出す。

ステップＳ５０９では、通常画素の場合は、ステップＳ５０５で算出されたシェーディング補正係数によって、シェーディング補正が行われる。また焦点検出画素であるＡ画素又はＢ画素の場合は、ＲＯＭ１１３より読み出された焦点検出画素用のシェーディング補正データによって、シェーディング補正が行われる。

ステップＳ５１０では、ステップＳ５０９でシェーディング補正処理を行った画像データが、撮像素子１０１からの読み出しの最終画素か否かを判定する。最終画素であれば（ステップＳ５１０で「ＹＥＳ」）、処理を終了する。そうでなければ（ステップＳ５１０で「ＮＯ」）、ステップＳ５０１へ戻り、次の画像データの入力があるか否かの判定に再び遷移する。

（第３の実施形態）
本第３の実施形態は、第１の実施形態に対して、焦点検出画素用のシェーディング補正データを、通常画素用のシェーディング補正データから算出する方式である。本第３の実施形態のカメラの構成は、第１の実施形態の図１と同様である。

図７は、本第３の実施形態におけるデジタル信号処理部１０８の機能の一部を詳細に示したブロック図である。以下、図７を参照して、通常画素用のシェーディング補正データから、焦点検出画素用のシェーディング補正係数を算出する処理について説明する。

３００は、シェーディング補正を行うシェーディング補正部である。Ａ／Ｄ変換部１０５より入力された、撮像素子１０１上の通常画素から読み出された画像データ、或いは、焦点検出画素から読み出された焦点検出用の信号（焦点検出データ）について、シェーディング補正を行うための演算処理を行う。３０１は、シェーディング補正係数生成部であり、タイミングジェネレータ１０６からのタイミング信号から、撮像素子１０１の画素位置を判定する。そして、後述のＲＯＭアドレス生成部３０２に対して、シェーディング補正データを読みだすためのリクエスト信号を生成する。本リクエスト信号は、ＲＯＭ１１３から読み出すシェーディング補正データが、全て通常画素用とした信号として送信される。

３０２は、ＲＯＭアドレス生成部である。ＲＯＭアドレス生成部３０２は、シェーディング補正係数生成部３０１が生成したリクエスト信号に基づいて、ＲＯＭ１１３からシェーディング補正データを読み出す。このときに読み出されるアドレスに対するシェーディング補正データは、撮像素子１０１の一部分の画素に対するデータのみである。また、読み出されるシェーディング補正データは、通常画素用のシェーディング補正データである。従って、Ａ／Ｄ変換部１０５より入力される画像データが、焦点検出画素からのデータであったとしても、通常画素用に最適化されたシェーディング補正データがＲＯＭ１１３から読み出されることになる。

シェーディング補正係数生成部３０１は、ＲＯＭ１１３より読み出されたシェーディング補正データから、通常画素用のシェーディング補正係数Ｓ＿ｎｏｒｍを算出し、焦点検出画素シェーディング補正係数生成部３０３及びセレクタ３０４へ送信する。そして、各画素のシェーディング補正係数は、シェーディング補正係数生成部３０１及び焦点検出画素シェーディング補正係数生成部３０３で算出される。

３０３は、ＲＯＭ１１３から読み出され、演算処理された、通常画素用のシェーディング補正係数であるＳ＿ｎｏｒｍから、焦点検出画素に適応したシェーディング補正係数を生成する、焦点検出画素シェーディング補正係数生成部である。焦点検出画素シェーディング補正係数生成部３０３では、Ｓ＿ａ＿ｕｐ、Ｓ＿ａ＿ｌｏｗ、Ｓ＿ｂ＿ｕｐ、Ｓ＿ｂ＿ｌｏｗの４種類のシェーディング補正データを生成することができる。３０４は、Ｓ＿ｎｏｒｍ、Ｓ＿ａ＿ｕｐ、Ｓ＿ａ＿ｌｏｗ、Ｓ＿ｂ＿ｕｐ、Ｓ＿ｂ＿ｌｏｗの５種類のシェーディング補正係数から、シェーディング補正係数生成部３０１によって出力されるアドレス値を選択信号とするセレクタである。３０５は、シェーディング補正処理を除いた、その他のデジタル信号処理を行う画像処理部である。

本第３の実施形態における、焦点検出画素シェーディング補正係数生成部３０３により行われる、通常画素用のシェーディング補正係数から、焦点検出画素用のシェーディング補正係数を算出する方法について説明する。本第３の実施形態では、実施形態２と同様に、図１６の撮像素子を使用し、また、その一部の拡大は、図１７のようになる。図１７では、左上の画素をＡ画素、右下の画素をＢ画素としているが、詳細については、第２の実施形態で説明しているので、省略する。一般的なデジタルカメラにおける輝度シェーディングでは、撮像レンズの光軸から距離が離れるにつれて光量が暗くなるというシェーディング特性がある。Ａ画素については、図１６の撮像素子１０１の中心から左上に配される画素については、開口部が撮像レンズの光軸方向に偏っている。一方、右下に配されるＡ画素については、開口部が撮像レンズの光軸から離れている。また、Ｂ画素については、図１６の撮像素子の中心から左上に配される画素については、開口部が撮像レンズの光軸から離れている。一方、右下に配されるＢ画素については、開口部が撮像レンズの光軸に偏っている。

従って、本第３の実施形態では、焦点検出画素用のシェーディング補正係数を求めるとき、撮像レンズの中心に偏っている画素と、離れている画素とで、焦点検出画素用のシェーディング補正係数の算出方式を変えている。

また、通常画素と、Ａ画素、Ｂ画素である焦点検出画素では、撮像素子１０１の開口部の開口率が異なる。焦点検出画素の開口率は、通常画素の開口率に対して小さい。よって、本第３の実施形態では、焦点検出画素用のシェーディング補正係数の算出では、通常画素の開口率と焦点検出画素の開口率の比を通常画素用のシェーディング補正係数に乗算している。

以上から、通常画素の開口率をα、焦点検出画素（Ａ画素、Ｂ画素両方）の開口率をβとする。また、撮像レンズの光軸に偏っている焦点検出画素に施す係数値をｍ、撮像レンズの光軸から遠ざかっている焦点検出画素に施す係数値をｎとする。また、撮像レンズの光軸に対して、左上のＡ画素のシェーディング補正係数をＳ＿ａ＿ｕｐ、レンズの中心に対して、左上のＢ画素のシェーディング補正係数をＳ＿ｂ＿ｕｐとする。また、レンズの中心に対して、右下のＡ画素のシェーディング補正係数をＳ＿ａ＿ｌｏｗ、レンズの中心に対して、右下のＢ画素のシェーディング補正係数をＳ＿ｂ＿ｌｏｗ、とする。すると以下の式で表される。
Ｓ＿ａ＿ｕｐ＝Ｓ＿ｎｏｒｍ×（α/β）×ｍ
Ｓ＿ａ＿ｌｏｗ＝Ｓ＿ｎｏｒｍ×（α/β）×ｎ
Ｓ＿ｂ＿ｕｐ＝Ｓ＿ｎｏｒｍ×（α/β）×ｎ
Ｓ＿ｂ＿ｌｏｗ＝Ｓ＿ｎｏｒｍ×（α/β）×ｍ

本第３の実施形態では、Ａ画素とＢ画素の開口率は同じとしたが、Ａ画素と、Ｂ画素の開口率が異なる形状であれば、焦点検出画素の開口率βを、Ａ画素とＢ画素それぞれ、独立に持ってもよい。同様に、ｍ、ｎの係数についても、Ａ画素、Ｂ画素で、別々に持ってもよい。

また、本第３の実施形態では、焦点検出画素シェーディング補正係数生成部３０３より、焦点検出画素用のシェーディング補正係数を求めたが、図７のＣＰＵ１０９によって算出してもよい。

次に、図８のフローチャートを用いて、本第３の実施形態におけるシェーディング補正処理について説明する。

ステップＳ６００では、Ａ／Ｄ変換部１０５から、画像データ（１画素）入力されたかどうかを判定している。

画素データが入力されると（ステップＳ６００で「ＹＥＳ」）、ステップＳ６０１では、入力された画素に対応するシェーディング補正データをＲＯＭ１１３から、読み出すか否かを判定する。

ステップＳ６０１でシェーディング補正データを読み出すと判定された場合（ステップＳ６０１で「ＹＥＳ」）、ステップＳ６０２においてＲＯＭ１１３からシェーディング補正データを読み出す。ここでのシェーディング補正データは、撮像素子１０１の全画素について、通常画素用に最適化されたシェーディング補正データである。

ステップＳ６０３では、現在シェーディング補正しようとしている画素が、Ａ画素か否かを判定する。

ステップＳ６０３でＡ画素と判定された場合（ステップＳ６０３で「ＹＥＳ」）、ステップＳ６０４では、撮像レンズの光軸に対して、左上に位置している画素か否かを判定する。

ステップＳ６０５では、撮像レンズの光軸に対して左上に位置しているＡ画素のためのシェーディング補正係数Ｓ＿ａ＿ｕｐを、ＲＯＭ１１３から読み出した通常画素用のシェーディング補正データから算出する。ここでは、上述したように、シェーディング補正係数生成部３０１及び焦点検出画素シェーディング補正係数生成部３０３により算出される。

ステップＳ６０６では、撮像レンズの光軸に対して右下に位置しているＡ画素のためのシェーディング補正係数Ｓ＿ａ＿ｌｏｗを、ＲＯＭ１１３から読み出した通常画素用のシェーディング補正データから上述したようにして算出する。

また、Ａ画素でない場合にはステップＳ６０７において、現在シェーディング補正しようとしている画素が、Ｂ画素か否かを判定する。

ステップＳ６０７でＢ画素と判定された場合（ステップＳ６０７で「ＹＥＳ」）、ステップＳ６０８では、撮像レンズの光軸に対して、左上に位置している画素か否かを判定する。

ステップＳ６０９では、撮像レンズの光軸に対して左上に位置しているＢ画素のためのシェーディング補正係数Ｓ＿ｂ＿ｕｐをＲＯＭ１１３から読み出した通常画素用のシェーディング補正データから上述したようにして算出する。

ステップＳ６１０では、撮像レンズに対して右下に位置しているＢ画素のためのシェーディング補正係数Ｓ＿ｂ＿ｌｏｗを、ＲＯＭ１１３から読み出した通常画素用のシェーディング補正データから上述したようにして算出する。

一方、ステップＳ６１１では、現在シェーディング補正しようとしている画素が、通常画素であるため、通常画素用のシェーディング補正係数Ｓ＿ｎｏｒｍを、ＲＯＭ１１３から読み出したシェーディング補正データから算出する。ここでは、シェーディング補正係数生成部３０１により算出される。

このように、入力した画像データの画素の種類及び位置に応じて、ステップＳ６０５、ステップＳ６０６、ステップＳ６０９、ステップＳ６１０又はステップＳ６１１のいずれかのステップが実行される。そして、焦点検出画素及び通常画素それぞれに適切なシェーディング補正データが算出される。

ステップＳ６１２では、シェーディング補正係数生成部３０１又は焦点検出画素シェーディング補正係数生成部３０３より生成されたシェーディング補正係数を用いて、ステップＳ６００にて入力された画像データに対して、シェーディング補正処理が行われる。

ステップＳ６１３では、ステップＳ６１２でシェーディング補正処理を行った画像データが、撮像素子１０１からの読み出しの最終画素か否かを判定する。最終画素であれば（ステップＳ６１３で「ＹＥＳ」）、処理を終了する。そうでなければ（ステップＳ６１３で「ＮＯ」）、ステップＳ６００へ戻り、次の画像データの入力があるか否かの判定に再び遷移する。

（第４の実施形態）
本第４の実施形態では、第１の実施形態との相違点について説明する。図９は、本第４の実施形態のフローチャートを示す図である。図９の各処理は図４のフローチャートとほぼ同じあるため、同様の処理には同じ参照番号を付して各処理の詳細は省略する。本第４の実施形態では、ステップＳ４０６において焦点検出画素用のシェーディング補正データをＲＯＭ１１３から読み出した後、ステップＳ４０５で通常画素と同様にシェーディング補正係数の算出を行う点が異なる。第１の実施形態では、焦点検出画素用のシェーディング補正データとしては、シェーディング補正係数がＲＯＭ１１３に格納されている。そのため、ＲＯＭ１１３から読み出したデータを加工することなくシェーディング補正係数として使用する。これに対し、本第４の実施形態では、焦点検出画素に対しても、シェーディング補正データからシェーディング補正係数を算出する必要のある形態でデータを格納しているため、シェーディング補正係数を算出する。焦点検出画素用のシェーディング補正係数の算出は、通常画素と同様の演算によって算出してもよいし、異なった演算方法によって算出してもよい。

Claims (10)

1. 光学系を通して入射した光を、複数のマイクロレンズを介して対応する画素に集光させるとともに、前記複数のマイクロレンズを介して異なる瞳位置の像を検出するための画素を含む撮像素子であって、記録用の撮影画像に用いる信号を構成する第１の画素信号と位相差ＡＦに用いる像を構成する第２の画素信号とを逐次出力可能な撮像素子と、
   前記撮像素子を駆動するためのタイミング情報を出力するタイミング発生手段と、
   前記撮像素子から逐次出力された信号に対して前記タイミング発生手段が出力するタイミング情報に応じて逐次入力する信号が前記第１の画素信号か第２の画素信号かを逐次判断し、当該逐次入力する信号が前記タイミング発生手段の出力するタイミング情報に応じて第１の画素信号と判断された場合には第１の撮像画素用のシェーディング補正係数を用いて逐次シェーディング補正を行うとともに、当該逐次入力する信号が前記タイミング発生手段の出力するタイミング情報に応じて前記第２の画素信号と判断された場合には第２の撮像画素用のシェーディング補正係数を用いて逐次シェーディング補正を行う補正手段と
   を備えることを特徴とする撮像装置。
2. シェーディング補正を行うための補正データを記憶する記憶手段を更に有し、
   前記補正手段は、前記撮像素子から出力され、前記逐次入力する信号が、前記第１の画素信号及び前記第２の画素信号の何れかに応じて、前記記憶手段に記憶された補正データから、前記第１の撮像画素用のシェーディング補正係数と、前記第２の撮像画素用のシェーディング補正係数のいずれかを逐次生成して補正することを特徴とする請求項１に記載の撮像装置。
3. シェーディング補正を行うための補正データとして、前記第１の撮像画素用の補正データと、前記第２の撮像画素用の補正データとを記憶する記憶手段を更に有し、
   前記補正手段は、前記第１の撮像画素用のシェーディング補正係数を前記第１の撮像画素用の補正データから算出し、前記第２の撮像画素用のシェーディング補正係数として前記第２の撮像画素用の補正データを用いることを特徴とする請求項１に記載の撮像装置。
4. シェーディング補正を行うための補正データを記憶する記憶手段と、
   前記タイミング発生手段の出力するタイミング情報に応じて前記シェーディング補正を行う画素の前記撮像素子における位置を判定する判定手段を更に有し、
   前記補正手段は、前記第１の撮像画素用のシェーディング補正係数、前記第２の撮像画素用のシェーディング補正係数のうち、前記判定手段により判定された前記シェーディング補正を行う画素の種類に対応するいずれかのシェーディング補正係数を前記補正データから算出することを特徴とする請求項１に記載の撮像装置。
5. シェーディング補正を行うための補正データとして、前記第１の撮像画素用の補正データと、前記第２の撮像画素用の補正データとを記憶する記憶手段を更に有し、
   前記補正手段は、前記第１の撮像画素用のシェーディング補正係数を前記第１の撮像画素用の補正データから算出し、前記第２の撮像画素用のシェーディング補正係数を前記第２の撮像画素用の補正データから算出することを特徴とする請求項１に記載の撮像装置。
6. 前記位相差ＡＦにより、合焦位置からのずれ量を算出する算出手段と、
   前記ずれ量に応じて前記撮像装置の光学系を前記合焦位置に移動させる移動手段と
   を更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記補正手段は、前記タイミング発生手段が出力するタイミング情報に応じて前記逐次入力する信号の画素位置を判定して当該逐次入力する信号が前記第１の画素信号か第２の画素信号かを判断することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記第１の撮像画素用のシェーディング補正係数は前記撮像素子の一部分の画素に対応するデータであることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記第２の撮像画素用のシェーディング補正係数は画像データごとにあることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 光学系を通して入射した光を、複数のマイクロレンズを介して対応する画素に集光させるとともに、前記複数のマイクロレンズを介して異なる瞳位置の像を検出するための画素を含む撮像素子であって、記録用の撮影画像に用いる信号を構成する第１の画素信号と位相差ＡＦに用いる像を構成する第２の画素信号とを逐次出力可能な撮像素子から出力される信号の画像処理方法において、
    取得手段が、タイミング発生手段から前記撮像素子を駆動するためのタイミング情報を取得する工程と、
    補正手段が、前記撮像素子から逐次出力された信号に対して前記タイミング発生手段から取得したタイミング情報に応じて逐次入力する信号が前記第１の画素信号か第２の画素信号かを逐次判断する工程と、
    前記補正手段が、前記逐次入力する信号が前記タイミング情報に応じて第１の画素信号と判断された場合には第１の撮像画素用のシェーディング補正係数を用いて逐次シェーディング補正を行とともに、当該逐次入力する信号が前記タイミング発生手段の出力するタイミング情報に応じて前記第２の画素信号と判断されたの場合には第２の撮像画素用のシェーディング補正係数を用いて逐次シェーディング補正を行う工程と
    を備えることを特徴とする画像処理方法。

Images