JP5000413B2 - 撮像システム及び画像信号処理プログラム - Google Patents

Description

本発明は、焦点検出機能を有し、電子的な撮像素子を用いて撮影を行う処理装置に係わり、特に焦点検出の影響による撮影画質の劣化を防止する撮像システム及び画像信号処理プログラムに関する。

従来より、電子的な撮像素子を使用して、被写体像を電子的に撮像する撮像装置に関する種々の技術が開示されている。

例えば、特許文献１では、ＴＴＬ位相差検出装置に関する技術が開示されている。これは、フライレンズ方式と呼ばれる方式であり、レンズアレイを通過した光束を、ラインセンサを成す一対の受光素子で受光し、ラインセンサの信号を処理して像ずれ量、即ち位相差量を計算し、フォーカシングレンズの繰り出し量にフィードバックして焦点調節を行うものである。

また、特許文献２では、再結像方式を採用したＴＴＬ位相差検出装置に関する技術が開示されている。

更に、特許文献３では、撮影レンズを通過する光束を瞳分割する微小レンズ群と、上記微小レンズの瞳分割光束をそれぞれ受光する対をなす受光素子群とを、撮像素子上に部分的に形成して焦点検出領域を構成し、この焦点検出領域において位相差検出方式による焦点検出を行なう技術が開示されている。
特公昭５７−４９８４１号公報 特開平１０−２７４５６２号公報 特開２０００−３０５０１０号公報

上記特許文献１により開示された焦点検出装置では、撮影レンズを通過した被写体からの光束の一部を分割して導かねばならず、光学的な制約やスペース的な制約を受けるといった問題が生じる。

また、上記特許文献２により開示された焦点検出装置は、上記光路分割の問題の他に再結像光学系が必要であり、更にスペース的な制約が大きくなるといった問題を有している。

そこで、上記特許文献３では、位相差検出のための瞳分割を行うことを目的とした微小レンズ群、及び受光素子群を撮像素子上に形成することで、省スペースを実現している。しかしながら、分割した光束を受ける受光素子対を焦点検出領域に限定して形成する必要があるためコストがかかるという問題がある。更には、焦点検出領域に属する画素信号に関しては、焦点検出領域外の画素信号の補間により生成しているため、補間精度が低いという問題がある。また、焦点検出領域内に限定して存在する被写体については復元することができないという問題がある。その他に、補間処理の影響により、焦点領域内外で解像感が異なるという問題がある。

本発明は、上記の点に鑑みてなされたもので、光束分割した被写体像を撮像した複数の画像信号の一つに対し、マイクロレンズアレイを用いた焦点検出処理を行う際のマイクロレンズアレイの作用による画質劣化を抑制すると共に、広ダイナミックレンジ画像を生成できる撮像システム及び画像信号処理プログラムを提供することを目的とする。

本発明の撮像システムの一態様は、
撮影光学系と、
上記撮影光学系を通過した被写体光束を複数の光束に分割する光束分割手段と、
上記光束分割手段からの複数の被写体光束を結像するように配置された複数の撮像素子群と、
上記撮像素子群のうちの一つの撮像素子の素子面上の所定の領域上に形成され、上記光束分割手段からの光束の一つを瞳分割し、上記領域上に結像させる瞳分割レンズ群と、
上記撮像素子群のそれぞれの撮影条件を変えて撮像を行うよう制御する撮影制御手段と、
上記瞳分割レンズ群が形成された撮像素子によって得られた上記領域に対応する画像信号に対し、上記撮影制御手段による制御に従って撮像された複数の画像信号に基づき補正を行う補正手段と、
上記補正手段による上記補正処理前の画像信号または上記補正処理後の画像信号に基づいて、焦点検出を行う焦点検出手段と、
上記撮影制御手段による制御に従って撮像された、上記補正後の画像信号を含む複数の画像信号から一枚の画像を合成する合成手段と、
を具備することを特徴とする。

また、本発明の画像信号処理プログラムの一態様は、コンピュータを、
撮影光学系を通過した被写体光束を複数の光束に分割する光束分割手段からの複数の被写体光束を結像するように配置された複数の撮像素子群のそれぞれの撮影条件を変えて撮像を行うよう制御する撮影制御手段、
上記光束分割手段からの光束の一つを瞳分割し、上記撮像素子群のうちの一つの撮像素子の素子面上の所定の領域上に結像させる瞳分割レンズ群を、上記領域上に形成した上記撮像素子群のうちの一つによって得られた上記領域に対応する画像信号に対し、上記撮影制御手段による制御に従って撮像された複数の画像信号に基づき補正を行う補正手段、
上記補正手段による上記補正処理前の画像信号または上記補正処理後の画像信号に基づいて、焦点検出を行う焦点検出手段、
上記撮影制御手段による制御に従って撮像された、上記補正後の画像信号を含む複数の画像信号から一枚の画像を合成する合成手段、
として機能させるためのものであることを特徴とする。

また、本発明の画像信号処理プログラムの別の態様は、コンピュータに、
撮影光学系を通過した被写体光束を複数の光束に分割する光束分割手段からの複数の被写体光束を結像するように配置された複数の撮像素子群と、上記撮像素子群のうちの一つの撮像素子の素子面上の所定の領域上に形成され、上記光束分割手段からの光束の一つを瞳分割し、上記領域上に結像させる瞳分割レンズ群と、を備えるカメラシステムにより、上記撮像素子群のそれぞれの撮影条件を変えて撮像を行って得られた複数の画像信号を読み込む読み込み手順と、
上記読み込み手順によって読み込まれた、上記瞳分割レンズ群を形成した上記一つの撮像素子によって得られた上記領域に対応する画像信号に対し、上記読み込み手順によって読み込まれた、複数の画像信号に基づき補正を行う補正手順と、
上記補正後の画像信号と上記読み込み手順で読み込まれた複数の画像信号から、一枚の画像を合成する合成手順と、
を実行させるためのものであることを特徴とする。

本発明によれば、光束分割した被写体像を撮像した複数の画像信号の一つに対し、マイクロレンズアレイを用いた焦点検出処理を行う際のマイクロレンズアレイの作用による画質劣化を、他の光束を撮像した複数の画像信号により補正することで抑制することができ、また、複数の画像信号を異なる露光量で撮像し合成することで広ダイナミックレンジ画像を生成することが可能な撮像システム及び画像信号処理プログラムを提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
図１（Ａ）は、本発明の第１実施形態に係る撮像システムの光学系の構成図である。

同図に示されるように、本実施形態に係る撮像システムは、カメラ筐体１０と該カメラ筐体１０に対して交換可能な又は固定された撮影光学系１２とから成る。

撮影光学系１２は、フォーカシングレンズ１４と絞り１６等により構成されるもので、被写体光の入射を受けるフォーカシングレンズ１４が所定位置に配置され、その光軸上に絞り１６が配置されている。なお、絞り１６は、所定の絞り開口を保持することが可能であると共に、シャッタ機能を有しており、完全に遮光する機能も有している。

カメラ筐体１０内には、上記撮影光学系１２を介した被写体光の光路上に、プリズム系１８が配置されている。そして、当該プリズム系１８で反射された光の光路上には、第１撮像素子２０が設けられ、該第１撮像素子２０面上にマイクロレンズアレイ２２が形成されている。また、上記プリズム系１８を透過した光の光路上には、第２撮像素子２４が設けられている。

このような構成において、撮影光学系１２を通過した被写体光束の一部は、プリズム系１８により下方に反射され、第１撮像素子２０で撮像されることになる。また、上記プリズム系１８を透過したその他の被写体光束は、第２撮像素子２４で撮像されることになる。

図１（Ｂ）は、第１実施形態に係る撮像システムの信号処理系の構成図である。

同図に示されるように、本撮像システムは、システムコントローラ２６を備え、該システムコントローラ２６は、全体の制御を司る中央演算処理部（ＣＰＵ）２８と、リードオンリメモリ（ＲＯＭ）３０、ランダムアクセスメモリ（ＲＡＭ）３２、不揮発性メモリたるＥＥＰＲＯＭ３４を少なくとも有している。

さらに、上記システムコントローラ２６は、レンズ駆動部３６、露光制御部３８、表示部４０、焦点検出演算部４２、ファーストレリーズスイッチ（以下、１ＲＳＷと記す）４４、セカンドレリーズスイッチ（以下、２ＲＳＷと記す）４６、エリア選択ＳＷ４８と双方向に接続されている。

そして、露光制御部３８は、第１撮像素子２０及び第２撮像素子２４に接続され、それら第１撮像素子２０及び第２撮像素子２４の出力は、信号処理部５０の入力に接続されている。信号処理部５０の出力は、出力部５２、表示部４０、焦点検出演算部４２の入力にそれぞれ接続されている。また、該信号処理部５０は、領域特性記録部５４と双方向に接続されている。

このような構成において、上記システムコントローラ２６は、その内部のＲＯＭ３０に格納されたシーケンスプログラムに従って一連の動作を行う。また、上記システムコントローラ２６の内部のＥＥＰＲＯＭ３４には、焦点調節、測光・露出演算、ＡＷＢ（オートホワイトバランス）等に関するデフォルトの補正データが撮像システム毎に記憶されている。

上記１ＲＳＷ４４及び２ＲＳＷ４６は、図示しないレリーズボタンに連動したスイッチであり、該レリーズボタンの第１段階の押し下げにより１ＲＳＷ４４がオンし、引き続いて第２段階の押し下げで２ＲＳＷ４６がオンするように構成されている。エリア選択ＳＷ４８は、ＡＦエリアを選択するためのスイッチであり、オンする毎に予め決められたＡＦエリアを移動選択する。システムコントローラ２６は、１ＲＳＷ４４のオンで焦点検出、ＡＦ動作を行うためのプリ撮像モードを開始し、続いて２ＲＳＷ４６のオンで画像撮影、記録動作を行う本撮像モードを開始する。

本実施形態において、第１撮像素子２０及び第２撮像素子２４は、モノクロ用撮像素子であり、モノクロ信号を出力するものとする。即ち、第１撮像素子２０及び第２撮像素子２４は、撮影光学系１２により形成される被写体像を撮像して電気信号に変換する。上記信号処理部５０は、これら第１撮像素子２０及び第２撮像素子２４からの画素信号である電気信号を処理して画像信号を作成する。この信号処理部５０の詳細な構成は後述する。なお、第１撮像素子２０及び第２撮像素子２４の出力する画像の画素数及び画角は同じものとする。

プリ撮像モードにおいて、焦点検出演算部４２は、上記信号処理部５０において処理された画像信号に基づいて焦点検出演算を行う。この焦点検出演算の結果、合焦の判定データやフォーカシングレンズ１４の駆動量等をシステムコントローラ２６に送信する。

表示部４０は、システムコントローラ２６の制御の下、第１撮像素子２０により撮像された映像やカメラ内部の情報を液晶表示素子（ＬＣＤ）等により表示する。

以上の他、レンズ駆動部３６は、システムコントローラ２６からの司令に基づいて、フォーカシングレンズ１４、絞り１６等を駆動し、焦点距離、絞り径等、撮影光学系１２の状態を制御する。

本撮像モードにおいて、上記プリ撮像モードでの設定に基づき撮像を行う。即ち、信号処理部５０において、上記第１撮像素子２０での撮像で得られた画像信号（以下、第１画像信号）及び第２撮像素子２４での撮像で得られた画像信号（以下、第２画像信号）に基づいて、広ダイナミックレンジ画像（以下広ＤＲ画像）を作成し、表示部４０により表示する。また、この広ＤＲ画像は、該信号処理部５０が備える圧縮伸張回路によって圧縮処理を施された後、出力部５２へ転送され、フラッシュメモリ等の記録媒体に記録される。

なお、図１（Ｂ）及び以下に説明する各図において、各処理ユニット間の実線の矢印は撮影された画像の信号の流れを表し、破線の矢印は制御信号の流れを表す。

図２（Ａ）は、上記マイクロレンズアレイ２２と上記第１撮像素子２０の配置構成を示す図であり、図２（Ｂ）は、焦点検出領域（後述する）におけるマイクロレンズアレイ２２及び第１撮像素子２０の断面構成を示す図である。

図２（Ｂ）に示すように、受光素子たるフォトダイオード５６の前面には、それぞれマイクロレンズ５８が構成されている。撮像素子の光感度を向上させる技術としては、各フォトダイオード５６に対応した位置にマイクロレンズ５８を設けることにより、入射光を効率よくフォトダイオード５６の受光部６０に集光する、所謂オンチップマイクロレンズと呼ばれる技術が確立されている。第１撮像素子２０の表面において、マイクロレンズ５８は、上記のように光感度を最適にするように設定されている。

上述の集光用のマイクロレンズ５８とは別に、図２（Ａ）に示すように、第１撮像素子２０の素子面上の所定の領域上において、焦点検出のためのマイクロレンズアレイ２２が配置されている。

ここでは、マイクロレンズアレイ２２で覆われる受光素子を含む領域をマイクロレンズアレイ領域６２と呼称し、マイクロレンズアレイ領域６２のうち、マイクロレンズアレイ２２を通過する光束のみが結像する領域に関しては、焦点検出用の画像信号を生成するための焦点検出領域６４と呼称する。

また、マイクロレンズアレイ領域６２のうち、焦点検出領域６４周辺に位置し、撮影光学系１２を通過した後、マイクロレンズアレイ２２による回折が作用し、マイクロレンズアレイ２２を通過せずに、マイクロレンズアレイ２２の外側からマイクロレンズアレイ２２下へ回り込む光束が結像する領域を回折領域６６と呼称する。

更に、撮影光学系１２のみを通過する光束が結像し、マイクロレンズアレイ２２の影響を全く受けない領域を撮像領域６８と呼称する。

本実施形態では、３つのマイクロレンズアレイ領域６２が設けられており、第１撮像素子２０の素子面上において、１つの焦点検出領域６４が光軸上に配置されて、他の２つの焦点検出領域６４は、上記光軸上に配置された焦点検出領域６４に対して垂直な方向に且つ光軸外に配置されるように、各マイクロレンズアレイ２２が構成されている。

この場合、これら領域の位置情報は、第１撮像素子２０の素子面上における画素（受光画素）の座標値で表される。

マイクロレンズアレイ領域６２及び撮像領域６８に関する座標データは、撮像素子の素子面に対するマイクロレンズアレイ２２の相対的な位置関係から容易に求めることができる。また、焦点検出領域６４及び回折領域６６に関する座標データは、実測や光線追跡などのシミュレーションにより求めることができる。

第１撮像素子２０は、焦点検出領域６４の部分では、図２（Ｂ）に示すように、シリコンからなる半導体基板７０内において、拡散層等により受光部６０を構成するフォトダイオード５６、受光部６０上に形成される色フィルタ７２、色フィルタ７２の上に形成され、受光部６０に一対一に対応する所定の曲率、焦点距離の球面をもつマイクロレンズ５８にて構成されている。

また、上記焦点検出領域６４において配置されるマイクロレンズアレイ２２は、透明層７４をコンデンサーレンズ７６と再結像レンズ７８とで挟む構成となっており、コンデンサーレンズ７６表面の各レンズ間には視野マスク８０、再結像レンズ７８表面の各レンズ間にはクロストーク防止のためのマスク８２が形成されている。再結像レンズ７８は、隣り合うコンデンサーレンズ７６から等距離にある軸上を再結像レンズ７８の光軸が通るように形成されており、マイクロレンズアレイ２２は、再結像レンズ７８が第１撮像素子２０の素子面上の隣り合う２つのフォトダイオード５６上に被さるように配置される。

ここで、マイクロレンズアレイ２２のほぼ焦点面に一対の受光素子であるフォトダイオード５６Ａ，５６Ｂが配置されているとすると、マイクロレンズアレイ２２は、図２（Ｂ）に示すように撮影光学系１２を通過する光束を瞳分割して、各分割光束８４を一対のフォトダイオード５６Ａ，５６Ｂにそれぞれ入射するように作用する。

なお、第１撮像素子２０の撮像領域６８の部分の断面構成は、図２（Ｂ）からマイクロレンズアレイ２２を取り除いた構成となっている。

図２（Ｃ）は、第１撮像素子２０上の受光素子たるフォトダイオード５６、コンデンサーレンズ７６、再結像レンズ７８の光軸方向から見た場合の配列を示す図である。

なお、瞳分割による分割光束に基づく焦点検出原理については、前述の特許文献１に開示の位相差検出方式と同様である為、ここでは詳細な説明は省略する。

次に、図３には上記焦点検出演算部４２における合焦、前ピン、後ピンの各例を示し説明する。なお、実際には、マイクロレンズアレイＬｎ群、受光素子Ａｎ，Ｂｎ群は固定されており、撮影光学系１２の位置が移動するのであるが、ここでは、説明の便宜上、撮影光学系１２の位置を固定として相対位置関係を説明する。

マイクロレンズアレイＬｎの焦点距離はｆ２であり、マイクロレンズアレイＬｎと受光素子（フォトダイオード５６）Ａｎ，Ｂｎ間の距離に略等しい。

先ず、合焦時は、同一の被写体からの光束であり異なる射出瞳を通過した光線Ｒ１〜Ｒ１２は、各マイクロレンズアレイＬｎの光軸を中心に隣り合う受光素子ＡｎとＢｎが受ける受光量が一致する。例えば、光線Ｒ３，Ｒ８に対してマイクロレンズアレイＬ３，Ｌ４と受光素子Ａ３，Ｂ３が対応する。

前ピンの場合は、異なるマイクロレンズアレイを通った光の受光素子Ａ，Ｂの受光量、即ち隣り合わない受光素子Ａ，Ｂの受光量が一致する。例えば、同一被写体からの光線Ｒ３，Ｒ８に対してはマイクロレンズアレイＬ５と受光素子Ｂ５、マイクロレンズアレイＬ２と受光素子Ａ１がそれぞれ対応するので、像が４ピッチ分ずれる。

一方、後ピンの場合は、受光量が一致している検出素子は隣り合っているが、それら隣り合っている受光素子に入射する光は異なるマイクロレンズアレイを通った光となる。例えば、同一被写体からの光線Ｒ３，Ｒ８に対してマイクロレンズアレイＬ１と受光素子Ｂ１、マイクロレンズアレイＬ６と受光素子Ａ５がそれぞれ対応するので、前ピン時とは逆方向に４ピッチ分だけ像がずれる。

このようにピントずれ量に応じて像ずれが発生する。実際には、上記１ピッチ単位の像ずれ量（位相差量）では焦点検出精度が低下するので、公知の補間演算等の処理を行って１ピッチ分以下の焦点検出を行う。このように像ずれ量を検出することで、撮影レンズのピントずれ量を求めることができる。

また、複数の焦点検出領域６４について焦点検出を行い、そのうちの例えば最も近い被写体を自動的に選択する等の公知のアルゴリズムによる処理が可能となる。撮影者はエリア選択スイッチによりＡＦエリアを選択して、そのエリアについて合焦させる事が可能である。

図４は、上記信号処理部５０の構成を示すブロック図であり、該信号処理部５０は、第１Ａ／Ｄ８６、第２Ａ／Ｄ８８、第１画像用バッファ９０、第２画像用バッファ９２、焦点検出領域補正部９４、広ＤＲ画像生成部９６、及び圧縮部９８から成る。

ここで、上記第１撮像素子２０は、第１Ａ／Ｄ８６に接続され、該第１Ａ／Ｄ８６は、第１画像用バッファ９０に接続されている。また、上記第２撮像素子２４は、第２Ａ／Ｄ８８に接続され、該第２Ａ／Ｄ８８は、第２画像用バッファ９２へ接続されている。第１画像用バッファ９０及び第２画像用バッファ９２は、焦点検出領域補正部９４に接続されている。上記領域特性記録部５４は、この焦点検出領域補正部９４と双方向に接続されている。更に、この焦点検出領域補正部９４は、上記焦点検出演算部４２に接続されている。また、焦点検出領域補正部９４及び第２画像用バッファ９２は、広ＤＲ画像生成部９６へ接続されている。この広ＤＲ画像生成部９６は、上記表示部４０及び圧縮部９８へ接続されている。圧縮部９８は、上記出力部５２へ接続されている。

図４において、信号の流れを説明する。
撮影に際しては、はじめにレリーズボタンの第１段階の押し下げにより１ＲＳＷ４４をオンすることで、焦点検出、ＡＦ動作を行うプリ撮像モードに入る。プリ撮像モードにおいて、信号処理部５０では、焦点検出演算を目的とした画像信号を生成し、上記焦点検出演算部４２へ転送する。

まず、第１撮像素子２０を介して撮影された信号は、ＣＤＳ（Correlated Double Sampling）／差動サンプリング、アナログゲインの調整等が行われた後、第１Ａ／Ｄ８６でデジタル信号に変換され、第１画像用バッファ９０へ転送される。この第１画像用バッファ９０内の画像信号は、焦点検出領域補正部９４へ転送される。

上記領域特性記録部５４には、上記第１撮像素子２０で撮像した画像信号に対して、上述の焦点検出領域６４、撮像領域６８、及び回折領域６６関する座標データが記録されており、画素の座標値を入力すると、当該画素が属する領域を示す領域判定用フラグを返す。従って、該フラグを参照することで、当該画素が属する領域を特定することができる。

なお、焦点検出領域６４、撮像領域６８、及び回折領域６６に関する座標データは、実測や光線追跡などのシミュレーション等の手法により予め算出し、上記領域特性記録部５４に記録しておく。

焦点検出領域補正部９４では、上記領域特性記録部５４により特定した焦点検出領域６４に属する画像信号を抽出し、上記焦点検出演算部４２へ転送する。

上記焦点検出演算部４２では、焦点検出領域６４に属する画像信号に基づき位相差を算出し、焦点検出を行う。撮影者は、このようなプリ撮像モードにおいて、随時、エリア選択ＳＷ４８によるＡＦエリアの移動選択により、任意の被写体にフォーカスを合わせたり、撮影情報（光学系の焦点距離、絞り径）の変更を行うことで、最適な撮像条件となるよう調整を行う。

引き続いて、レリーズボタンの第２段階の押し下げで２ＲＳＷ４６をオンすることにより、本撮像モードを開始する。

この本撮影モードでは、上記プリ撮像モードと同様に、上記第１撮像素子２０を介して撮影された画像信号（第１画像信号）は、第１Ａ／Ｄ８６を介してデジタル信号へ変換され、第１画像用バッファ９０へ転送される。また、同様に、上記第２撮像素子２４を介して撮影された画像信号（第２画像信号）は、ＣＤＳ／差動サンプリング、アナログゲインの調整等が行われた後、第２Ａ／Ｄ８８でデジタル信号に変換され、第２画像用バッファ９２へ転送される。

ただし、撮影に際しては、上記露光制御部３８において、プリ撮像モードでの露光条件に対し、第１撮像素子２０及び第２撮像素子２４の露光比が所定の値となるように、例えば前者が１／４、後者が３／４となるように、それぞれの露光条件を設定し、撮影することとする。

第１画像用バッファ９０に記録された第１画像信号は、焦点検出領域補正部９４へ転送され、第２画像用バッファ９２に記録された画像信号は、焦点検出領域補正部９４及び広ＤＲ画像生成部９６へ転送される。

焦点検出領域補正部９４では、マイクロレンズアレイ２２の影響で劣化した第１画像信号の焦点検出領域６４に属する画像信号を、第２画像信号に基づき補正する。この焦点検出領域補正部９４における補正処理の詳細については、後述する。

こうして焦点検出領域補正部９４において焦点検出領域６４に属する画像信号が補正された第１画像信号は、広ＤＲ画像生成部９６へ転送される。広ＤＲ画像生成部９６は、この補正された第１画像信号と上記第２画像信号に対し、所定の信号処理、例えば階調変換処理や強調処理を行った後、それらを合成することにより、一枚の広ＤＲ画像を生成し、表示部４０及び圧縮部９８へ転送する。

表示部４０は、転送されてきた広ＤＲ画像の画像信号をＬＣＤなどにより表示する。また、圧縮部９８は、転送されてきた広ＤＲ画像の画像信号に対し所定の圧縮処理、例えば公知のＪＰＥＧ方式などによる圧縮を行った後、フラッシュメモリ等で構成される出力部５２へ転送する。

図５は、焦点検出領域補正部９４の構成の一例を示すブロック図であり、該焦点検出領域補正部９４は、画像間信号比算出部１００、焦点領域乗算部１０２、焦点領域抽出部１０４、焦点領域置換部１０６、回折領域補正部１０８から成る。

ここで、上記第１画像用バッファ９０は、画像間信号比算出部１００及び焦点領域抽出部１０４に接続している。上記第２画像用バッファ９２は、画像間信号比算出部１００及び焦点領域乗算部１０２に接続されている。これら焦点領域乗算部１０２及び焦点領域抽出部１０４は、焦点領域置換部１０６へ接続されている。焦点領域抽出部１０４は、上記焦点検出演算部４２へ接続されている。焦点領域置換部１０６は、回折領域補正部１０８へ接続されている。回折領域補正部１０８は、上記広ＤＲ画像生成部９６へ接続されている。このような焦点検出領域補正部９４を構成する全ての処理ユニットは、上記領域特性記録部５４と双方向に接続されている。

この焦点検出領域補正部９４では、プリ撮像モードにおいて、第１画像信号から焦点検出領域６４に属する画像信号を抽出し、これを焦点検出演算部４２へ転送するものである。即ち、まず、第１画像信号は、第１画像用バッファ９０から焦点領域抽出部１０４に転送される。焦点領域抽出部１０４では、上記領域特性記録部５４から第１画像信号に含まれる画素の座標値に基づき領域判定用フラグを取得し、このフラグに基づき焦点検出領域６４に属する画像信号を抽出し、焦点検出演算部４２へ転送する。

また、本撮像モードにおいては、マイクロレンズアレイ２２の影響で劣化した第１画像信号の焦点検出領域６４及び回折領域６６に属する画像信号に対して、第２画像信号に基づく補正処理を行う。

即ち、まず、第１画像信号が第１画像用バッファ９０から画像間信号比算出部１００へ転送される。また、この本撮像モードにおいては、この第１画像信号は、焦点領域抽出部１０４をスルーし、焦点領域置換部１０６へ転送される。

第２画像信号は、第２画像用バッファ９２から画像間信号比算出部１００及び焦点領域乗算部１０２へ転送される。

画像間信号比算出部１００では、撮像領域６８に属し、回折領域６６に隣接する隣接座標に対応する第１画像信号と第２画像信号との画素信号レベルの比（の平均値）Ｃｐを、次の式（１）に従い算出し、焦点領域乗算部１０２へ転送する。

Ｃｐ＝Σ（Ｐ１（ｉ）／Ｐ２（ｉ））／Ｃｔ …（１）
なおここで、Ｐ１（ｉ）、Ｐ２（ｉ）はそれぞれ第１画像信号、第２画像信号の座標ｉにおける信号レベルを表し、ｉは上述の隣接座標を表す。また、Ｃｔは隣接画素の個数を表す。

焦点領域乗算部１０２では、第２画像信号の焦点検出領域６４に属する画像信号と画像間信号比算出部１００からの信号レベル比に基づき、第１画像信号の焦点検出領域６４における画像信号を推定する。即ち、第２画像信号から焦点検出領域６４に属する画像信号を抽出し、その抽出した画像信号に含まれる画素の信号レベルに対し、上記画像間信号比算出部１００から転送された信号レベル比Ｃｐを乗算する。乗算後の画像信号は、焦点領域置換部１０６へ転送される。

焦点領域置換部１０６では、第１画像信号の焦点検出領域６４に属する画像信号を、焦点領域乗算部１０２から転送された第２画像信号の焦点検出領域６４に属する画像信号に置換する。置換後の画像信号は、回折領域補正部１０８へ転送される。

回折領域補正部１０８では、回折領域６６に属する画素値に関し、回折領域６６周辺の焦点検出領域６４及び撮像領域６８に属する画素値に基づいて、公知の補間処理により補間する。

本実施形態においては、線形補間による補間処理を行うこととする。例えば、図６において、回折領域６６に属するＰ１１画素に関して補間を行う場合は、Ｐ１１に関して近接する上下の画素値（Ｐ１０，Ｐ１３）を用いて、次の式（２）に基づく線形補間により補間する。

Ｐ１１＝０．７５＊Ｐ１０＋０．２５＊Ｐ１３ …（２）
画像信号は、このように回折領域補正部１０８により回折領域６６内に属する各色信号の画素値について補間された後、広ＤＲ画像生成部９６へ転送される。

なお、本第１実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要は無い。

例えば、第１撮像素子２０及び第２撮像素子２４からの信号を未処理のままＲＡＷデータとして、光学特性、撮影情報をヘッダ情報として付加して出力し、別途ソフトウェアにて処理する構成も可能である。

図７（Ａ）は、そのような信号処理のソフトウェア処理に関するフローチャートを示す図である。

まず、第１画像信号及び第２画像信号と、それらのヘッダ情報を読み込み、メモリ等に記録する（ステップＳ１０）。また、焦点検出領域６４、撮像領域６８、及び回折領域６６に関する座標情報を読み込み、メモリ等に記録する（ステップＳ１２）。

そして、第１画像信号、第２画像信号の撮像領域６８に属し、回折領域６６に隣接する画素を比較し、画像間信号比を算出する（ステップＳ１４）。その後、第２画像信号の焦点検出領域６４に属する画像信号より、上記ステップＳ１４にて算出した画像間信号比に基づき、第１画像信号の焦点検出領域６４に対応する画像信号を推定する（ステップＳ１６）。そして、第１画像信号の焦点検出領域６４に属する画像信号を、上記ステップＳ１６で推定した画像信号に置換する（ステップＳ１８）。

その後、第１画像信号の回折領域６６に属する画像信号を、焦点検出領域６４及び撮像領域６８に属する画素に基づき補正する（ステップＳ２０）。そして、その補正した第１画像信号と第２画像信号を合成し、広ＤＲ画像を生成する（ステップＳ２２）。最後に、この生成した広ＤＲ画像を出力して（ステップＳ２４）、処理を終了する。

以上のように、本第１実施形態によれば、光束分割した被写体像を撮像した複数の画像信号の一つに対し、マイクロレンズアレイ２２を用いた焦点検出処理を行う際のマイクロレンズアレイ２２の作用による画質劣化を、他の光束を撮像した複数の画像信号により補正することで抑制することができる。

複数に被写体光束をそれぞれ異なる露光条件で撮像し、撮像した複数の画像信号を合成することにより、ダイナミックレンジを拡大した広ＤＲ画像を得ることが可能となる。

更に、複数に分割された被写体光束を複数の撮像素子２０，２４で撮像することにより、複数の撮像素子を並行して動作させることができるため、連続撮影やブラケット撮影を高速に行うことが可能となる。

［第２実施形態］
次に、上記第１実施形態の変形例に相当する本発明の第２実施形態について説明する。

図８は、第２実施形態に係る撮像システムの信号処理系に関する構成図である。本実施形態においては、図１（Ｂ）に示す第１実施形態における領域特性記録部５４を領域特性記録部１１０へ、信号処理部５０を信号処理部１１２へ置換した構成となっている。基本構成は上記第１実施形態と同等であり、よって、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。

即ち、本実施形態においては、レンズ駆動部３６は、領域特性記録部１１０に接続されている。領域特性記録部１１０は、信号処理部１１２に双方向に接続されている。第１撮像素子２０及び第２撮像素子２４は、信号処理部１１２へ接続されている。信号処理部１１２は、露光制御部３８、焦点検出演算部４２、表示部４０、及び出力部５２へ接続されている。

本実施形態において、第１撮像素子２０及び第２撮像素子２４は、モノクロ用撮像素子であり、モノクロ信号を出力するものとする。これら第１撮像素子２０及び第２撮像素子２４は、撮影光学系１２により形成される被写体像を撮像して、電気信号に変換する。

レンズ駆動部３６は、システムコントローラ２６からの司令に基づいて、フォーカシングレンズ１４、絞り１６等を駆動し、焦点距離、絞り径等、撮影光学系１２の状態を制御すると共に、現在の撮影光学系１２に関する撮影情報（焦点距離、絞り径等）を領域特性記録部１１０に転送し、領域特性記録部１１０は随時これを記録する。また、領域特性記録部１１０には、予め焦点検出領域６４、回折領域６６、及び撮像領域６８の座標データ、並びに、撮影光学系１２及びマイクロレンズアレイ２２に関する光学特性データ（Ｆ値、レンズ解像力（以下、解像度ＭＴＦと称する））が記録されており、信号処理部１１２から座標値が入力された場合、座標が属する領域を示す領域判定用フラグ、もしくは領域毎の結像に影響する光学特性データ（Ｆ値、解像度ＭＴＦ）を算出し、これを信号処理部１１２へ出力する。

プリ撮像モードにおいて、焦点検出演算部４２は、上記信号処理部１１２において処理された画像信号に基づいて焦点検出演算を行う。ただし、第１画像信号及び第２画像信号の焦点検出領域６４内に属する画素の信号レベルが所定の階調幅を超える場合は、上記信号処理部１１２の出力に従って露光制御部３８にて、適正露光が得られるよう露光条件を変更し、再度焦点検出演算を行う。本実施形態においては、階調幅を１２ｂｉｔとしている。

焦点検出演算部４２での焦点検出演算による合焦の判定データやフォーカシングレンズ駆動量等は、システムコントローラ２６へ送信される。

本撮像モードにおいては、このプリ撮像モードでの設定に基づき撮像を行う。
まず、信号処理部１１２において、第１画像信号の焦点検出領域６４及び回折領域６６に属する画像信号に対して、第２画像信号と領域特性記録部１１０から取得する光学特性データ（Ｆ値、解像度ＭＴＦ）とに基づき補正を行う。次に、補正後の第１画像信号と第２画像信号に基づき、広ＤＲ画像を作成し、ＬＣＤ等の表示部４０により表示する。また、広ＤＲ画像は出力部５２へ転送され、フラッシュメモリ等の記録媒体に記録され、撮像を終了する。信号処理部１１２における処理の詳細は後述する。

図９は、上記信号処理部１１２の構成の一例を示すブロック図であり、該信号処理部１１２は、図４に示した上記信号処理部５０の構成に露光条件設定部１１４を追加し、焦点検出領域補正部９４を焦点検出領域補正部１１６へ置換した構成となっている。基本構成は上記信号処理部５０と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。

第１画像用バッファ９０は、露光条件設定部１１４及び焦点検出領域補正部１１６に接続されている。露光条件設定部１１４は、上記露光制御部３８に接続されている。上記領域特性記録部１１０は、露光条件設定部１１４及び焦点検出領域補正部１１６に双方向に接続されている。第２画像用バッファ９２は、露光条件設定部１１４、焦点検出領域補正部１１６、及び広ＤＲ画像生成部９６に接続されている。焦点検出領域補正部１１６は、上記焦点検出演算部４２及び広ＤＲ画像生成部９６に接続されている。

図９において、信号の流れを説明する。
撮影に際しては、はじめにレリーズボタンの第１段階の押し下げにより１ＲＳＷ４４をオンすることで、焦点検出、ＡＦ動作を行うプリ撮像モードに入る。プリ撮像モードにおいて、信号処理部１１２では、焦点検出演算を目的とした画像信号を生成し、上記焦点検出演算部４２へ転送する。

まず、第１撮像素子２０を介して撮影された信号は、ＣＤＳ／差動サンプリング、アナログゲインの調整等が行われた後、第１Ａ／Ｄ８６でデジタル信号に変換され、第１画像用バッファ９０へ転送される。第１画像用バッファ９０内の画像信号は、露光条件設定部１１４及び焦点検出領域補正部１１６へ転送される。

同時に、第２撮像素子２４を介して撮影された信号は、ＣＤＳ／差動サンプリング、アナログゲインの調整等が行われた後、第２Ａ／Ｄ８８でデジタル信号に変換され、第２画像用バッファ９２へ転送される。第２画像用バッファ９２内の画像信号は、露光条件設定部１１４、焦点検出領域補正部１１６、及び広ＤＲ画像生成部９６へ転送される。

このプリ撮像に際して、露光制御部３８の制御により、第１撮像素子２０及び第２撮像素子２４の露光条件として、露光比が所定の割合となるよう設定され、撮像が行われる。初期設定においては、例えば、露光比として１／４：３／４が設定されている。ここで、露光条件設定部１１４において、撮像された第１画像信号及び第２画像信号の焦点検出領域６４に属する画素の信号レベルが所定の階調幅（本実施形態では１２ｂｉｔ）を超えるかどうかの判定を行い、その判定結果に従い露光比の設定を修正する。この修正した露光比設定は上記露光制御部３８に転送され、該修正した露光比により再度プリ撮像を行う。

なお、露光条件設定部１１４においては、例えば一方の画像信号に関して、白とびを確認した場合は、第１撮像素子２０と第２撮像素子２４の露光量の差が縮まるように露光比を変更する。また、両方の画像信号が階調幅に収まっている場合は、第１撮像素子２０と第２撮像素子２４の露光量の差を広げるように露光比を変更する。両方の画像信号が白とびしている場合は、光量全体を絞るよう制御を行う。これを繰り返すことで、最適な露光条件（露光比設定）を得る。

こうして最適な露光条件を得た後、焦点検出領域補正部１１６では、第１画像信号の焦点検出領域６４に属する画像信号を抽出し、焦点検出演算部４２へ転送する。焦点検出演算部４２では、この焦点検出領域６４に対応する画像信号に基づき位相差を算出し、焦点検出を行う。

引き続いて、レリーズボタンの第２段階の押し下げで２ＲＳＷ４６をオンすることにより本撮像モードを開始する。

この本撮影モードでは、上記プリ撮像モードと同様に、第１画像信号は、第１Ａ／Ｄ８６を介してデジタル信号へ変換され、第１画像用バッファ９０へ転送される。第２画像信号は、ＣＤＳ／差動サンプリング、アナログゲインの調整等が行われた後、第２Ａ／Ｄ８８でデジタル信号に変換され、第２画像用バッファ９２へ転送される。また、プリ撮像で求めた露光条件に基づき撮像が行われる。

第１画像用バッファ９０に記録された第１画像信号は、焦点検出領域補正部１１６へ転送され、第２画像用バッファ９２に記録された第２画像信号は、焦点検出領域補正部１１６及び広ＤＲ画像生成部９６へ転送される。

焦点検出領域補正部１１６では、マイクロレンズアレイの影響で劣化した第１画像信号の焦点検出領域６４に属する画像信号を、第２画像信号、並びに、上記領域特性記録部１１０から取得した撮影光学系１２及びマイクロレンズアレイ２２に関する光学特性データ（Ｆ値、解像度ＭＴＦ）に基づき補正する。この焦点検出領域補正部１１６における処理の詳細は後述する。

焦点検出領域補正部１１６において焦点検出領域６４に属する画像信号が補正された第１画像信号は、広ＤＲ画像生成部９６へ転送される。広ＤＲ画像生成部９６は、この補正された第１画像信号及び上記第２画像信号に対し、所定の信号処理、例えば階調変換処理や強調処理を行った後、両者を合成することにより、一枚の広ＤＲ画像を生成し、表示部４０及び圧縮部９８へ転送する。

表示部４０は、転送されてきた広ＤＲ画像の画像信号をＬＣＤなどにより表示する。また、圧縮部９８は、転送されてきた広ＤＲ画像の画像信号に対し所定の圧縮処理、例えば公知のＪＰＥＧ方式などによる圧縮を行った後、フラッシュメモリ等で構成される出力部５２へ転送する。

図１０（Ａ）は、領域特性記録部１１０の構成の一例を示すブロック図であり、該領域特性記録部１１０は、撮像条件特定部１１８、領域判定部１２０、パラメータ選択部１２２、パラメータ用ＲＯＭ１２４、補間部１２６、及び補正部１２８からなる。

ここで、上記レンズ駆動部３６は、撮像条件特定部１１８に接続されている。上記露光条件設定部１１４及び上記焦点検出領域補正部１１６は、領域判定部１２０に接続されている。撮像条件特定部１１８、領域判定部１２０、及びパラメータ用ＲＯＭ１２４は、パラメータ選択部１２２に接続されている。パラメータ選択部１２２は、補間部１２６及び補正部１２８に接続されている。補間部１２６は、補正部１２８に接続されている。補正部１２８は、上記焦点検出領域補正部１１６へ接続されている。領域判定部１２０は、上記露光条件設定部１１４に接続されている。

この領域特性記録部１１０は、撮影光学系１２及びマイクロレンズアレイ２２に関する光学特性データを保持し、外部に接続される処理ユニットから要求される光学特性データを供給する。ここで、光学特性データとしては、撮像領域６８の結像に影響する撮影光学系１２と、焦点検出領域６４の結像に影響する撮影光学系１２及びマイクロレンズアレイ２２を合成した光学系トータルの光学特性を表すＦ値、解像度ＭＴＦが焦点検出領域６４、撮像領域６８、及び回折領域６６の座標データと共に格納されている。

従って、領域特性記録部１１０は、他の処理ユニットから入力された注目画素の座標値から領域を特定し、その処理ユニットが露光条件設定部１１４の場合は、領域の種別を現す領域判定用フラグを供給し、処理ユニットが焦点検出領域補正部１１６の場合は、焦点検出領域６４及び撮像領域６８に対応する光学特性データ（Ｆ値、解像度ＭＴＦ）を出力する。

即ち、まず、撮像条件特定部１１８において、プリ撮像モードで設定された撮影情報（撮影光学系１２の焦点距離、絞り径等）が上記レンズ駆動部３６より転送され記録される。この撮影情報は、本撮影が終了するまでの間、保持される。

領域判定部１２０には、焦点検出領域６４、撮像領域６８、及び回折領域６６を示す座標情報が予め記録されており、処理ユニットから入力される座標値に基づき、当該座標が焦点検出領域６４、撮像領域６８、及び回折領域６６の何れに属するかの判定を行う。また、上記座標値の出力元の処理ユニットを表す処理ユニットフラグが設定されるようになっている。従って、上記焦点検出領域補正部１１６を示す処理ユニットフラグが立っている場合は、この領域特性記録部１１０は、Ｆ値及び解像度ＭＴＦをその焦点検出領域補正部１１６に供給し、上記露光条件設定部１１４を示す処理ユニットフラグが立っている場合は、判定された領域を表す領域判定用フラグを、その露光条件設定部１１４に供給する。

次に、上記焦点検出領域補正部１１６に供給するＦ値の算出に関して説明する。
即ち、処理ユニットから入力された座標値が焦点検出領域６４に属し、フラグが上記焦点検出領域補正部１１６を示す場合、領域特性記録部１１０は、撮像領域６８に対するＦ値Ｆａ及び焦点検出領域６４に対するＦ値Ｆｂを算出し、上記焦点検出領域補正部１１６へ供給する。Ｆ値は、焦点距離、有効口径に依存して変化する。レンズの明るさはレンズ透過率にも影響を受けるが、簡略化のため、撮影光学系１２とマイクロレンズアレイ２２のレンズ透過率は同一と想定し、ここでは考慮しない。また、有効口径と絞り径が一致するものと仮定している。

図１１（Ａ）乃至（Ｃ）は、このＦ値の算出に関する説明図である。
図１１（Ａ）は、一例として絞り径が２．０ｍｍ，４．０ｍｍ，８．０ｍｍの場合に対応する、ある焦点検出領域６４における、Ｆ値をプロットしている。ここで図１１（Ａ）に示すように、複数の絞り径に対応したそれぞれのモデルを記録し、各モデルに基づいてＦ値を算出する構成も可能であるが、処理的に煩雑である。このため図１１（Ｂ）に示すようなモデルの簡略化を行い、パラメータ用ＲＯＭ１２４に記録しておく。

図１１（Ｂ）においては、最大のＦ値を与えるモデルを基準Ｆ値モデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、焦点距離ｆとＦ値からなる座標データ（ｆ_ｎ，Ｆ_ｎ）で表す。ここで、ｎは変曲点の数を示す。また、上記基準Ｆ値モデルから他のＦ値モデルを導出するための係数ｋ_Ｓも用意される。係数ｋ_Ｓは、各Ｆ値モデルと基準Ｆ値モデル間から最小自乗法により算出される。基準Ｆ値モデルから他のＦ値モデルを導出するには、上記係数ｋ_Ｓを乗算することで行われる。

図１１（Ｃ）は、図１１（Ｂ）に示す簡易化されたＦ値モデルからＦ値を算出する方法を示す。例えば、与えられた焦点距離ｆ_ｔｈ、絞り径Ｓに対応するＦ値を求めることを想定する。まず、焦点距離ｆ_ｔｈが基準Ｆ値モデルのどの区間に属するかを探索する。ここでは、（ｆ_ｎ，Ｆ_ｎ）と（ｆ_ｎ＋１，Ｆ_ｎ＋１）間の区間に属するとする。基準Ｆ値モデルにおける基準Ｆ値（Ｆ_ｔｈ）を、以下の式（３）に示す線形補間にて求める。

Ｆ_ｔｈ＝（Ｆ_ｎ＋１−Ｆ_ｎ）／（ｆ_ｎ＋１−ｆ_ｎ）×（ｆ_ｔｈ−ｆ_ｎ）＋Ｆ_ｎ …（３）
次に、絞り径Ｓに対応する係数ｋ_Ｓを、以下の式（４）に示すように乗算することで、Ｆ値を求める。

Ｆ＝ｋ_Ｓ・Ｆ_ｔｈ …（４）
パラメータ選択部１２２は、領域判定部１２０に設定された焦点検出領域補正部１１６を示す処理ユニットフラグに従い、撮像条件特定部１１８から焦点距離ｆ_ｔｈ、絞り径Ｓを読み込む。次に、焦点距離ｆ_ｔｈが属する区間の座標データ（ｆ_ｎ，Ｆ_ｎ）と（ｆ_ｎ＋１，Ｆ_ｎ＋１）をパラメータ用ＲＯＭ１２４から探索し、これを補間部１２６へ転送する。さらに、絞り径Ｓに対応する係数ｋ_Ｓをパラメータ用ＲＯＭ１２４から探索し、これを補正部１２８へ転送する。補間部１２６は、パラメータ選択部１２２からの焦点距離ｆ_ｔｈ及び区間の座標データ（ｆ_ｎ，Ｆ_ｎ）と（ｆ_ｎ＋１，Ｆ_ｎ＋１）から上記式（３）に基づき基準Ｆ値モデルにおける基準Ｆ値Ｆ_ｔｈを算出し、補正部１２８へ転送する。

補正部１２８は、パラメータ選択部１２２からの係数ｋ_Ｓ及び補間部１２６からの基準Ｆ値Ｆ_ｔｈから、上記式（４）に基づきＦ値を算出し、注目画素のＦ値として、焦点検出領域補正部１１６へ供給する。

なお、この場合、パラメータ用ＲＯＭ１２４には、撮影光学系１２とマイクロレンズアレイ２２との合成光学系に対する基準Ｆ値モデルと、撮影光学系１２のみに対する基準Ｆ値モデルとの２種類の基準Ｆ値モデルが記録されており、それぞれに関して処理を行うことで、上記注目画素に対しては、撮像領域６８に対するＦ値Ｆａと焦点検出領域６４に対するＦ値Ｆｂとが算出されて、焦点検出領域補正部１１６へ供給されることとなる。

次に、焦点検出領域補正部１１６に供給する解像度ＭＴＦの算出に関して説明する。
即ち、処理ユニットから入力された座標値が焦点検出領域６４に属し、フラグが上記焦点検出領域補正部１１６を示す場合、領域特性記録部１１０は、焦点検出領域６４及び撮像領域６８に対する解像度ＭＴＦを算出し、上記焦点検出領域補正部１１６へ供給する。解像度ＭＴＦは、焦点距離、有効口径に依存して変化する。解像度ＭＴＦは一般に、撮影光学系１２の光軸を中心とした像高に応じて変化するが、ここでは簡略化のため、各領域の重心における値を代表値とし、各領域に属する座標に対する解像度ＭＴＦは領域重心における解像度ＭＴＦで表すものとしている。また、有効口径と絞り径が一致するものと仮定している。解像度ＭＴＦは、実測、または光線追跡等のシミュレーションにより、焦点検出領域６４及び撮像領域６８に対しそれぞれ算出し、予めパラメータ用ＲＯＭ１２４に記録しておく。

図１２（Ａ）乃至（Ｃ）は、解像度ＭＴＦの算出に関する説明図である。
図１２（Ａ）は、一例として絞り径が２．０ｍｍ，４．０ｍｍ，８．０ｍｍの場合に対応する、ある焦点検出領域６４の重心座標上における、解像度ＭＴＦをプロットしている。ここで図１２（Ａ）に示すように、複数の絞り径に対応したそれぞれのモデルを記録し、各モデルに基づいて解像度ＭＴＦを算出する構成も可能であるが処理的に煩雑である。このため、図１２（Ｂ）に示すようなモデルの簡略化を行い、パラメータ用ＲＯＭ１２４に記録しておく。

図１２（Ｂ）においては、最大の解像度ＭＴＦを与えるモデルを基準ＭＴＦモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、焦点距離（ｆ）と解像度ＭＴＦからなる座標データ（ｆ_ｎ，ＭＴＦ_ｎ）で表す。ここで、ｎは変曲点の数を示す。また、上記基準ＭＴＦモデルから他のＭＴＦモデルを導出するための係数ｋ_Ｓも用意される。係数ｋ_Ｓは、各ＭＴＦモデルと基準ＭＴＦモデル間から最小自乗法により算出される。基準ＭＴＦモデルから他のＭＴＦモデルを導出するには、上記係数ｋ_Ｓを乗算することで行われる。

図１２（Ｃ）は、図１２（Ｂ）に示す簡易化されたＭＴＦモデルから解像度ＭＴＦを算出する方法を示す。例えば、与えられた焦点距離ｆ_ｔｈ、絞り径Ｓに対応する解像度ＭＴＦを求めることを想定する。まず、焦点距離ｆ_ｔｈが基準ＭＴＦモデルのどの区間に属するかを探索する。ここでは、（ｆ_ｎ，ＭＴＦ_ｎ）と（ｆ_ｎ＋１，ＭＴＦ_ｎ＋１）間の区間に属するとする。基準ＭＴＦモデルにおける基準ＭＴＦ（ＭＴＦ_ｔｈ）を、以下の式（５）に示す線形補間にて求める。

ＭＴＦ_ｔｈ＝（ＭＴＦ_ｎ＋１−ＭＴＦ_ｎ）／（ｆ_ｎ＋１−ｆ_ｎ）×（ｆ_ｔｈ−ｆ_ｎ）＋ＭＴＦ_ｎ …（５）
次に、絞り径Ｓに対応する係数ｋ_Ｓを、以下の式（６）に示すように乗算することで、解像度ＭＴＦを求める。

ＭＴＦ＝ｋ_Ｓ・ＭＴＦ_ｔｈ …（６）
パラメータ選択部１２２は、領域判定部１２０に設定された焦点検出領域補正部１１６を示すフラグに従い、撮像条件特定部１１８から焦点距離ｆ_ｔｈ、絞り径Ｓを読み込む。次に、焦点距離ｆ_ｔｈが属する区間の座標データ（ｆ_ｎ，ＭＴＦ_ｎ）と（ｆ_ｎ＋１，ＭＴＦ_ｎ＋１）をパラメータ用ＲＯＭ１２４から探索し、これを補間部１２６へ転送する。さらに、絞り径Ｓに対応する係数ｋ_Ｓをパラメータ用ＲＯＭ１２４から探索し、これを補正部１２８へ転送する。補間部１２６は、パラメータ選択部１２２からの焦点距離ｆ_ｔｈ及び区間の座標データ（ｆ_ｎ，ＭＴＦ_ｎ）と（ｆ_ｎ＋１，ＭＴＦ_ｎ＋１）から、上記式（５）に基づき基準ＭＴＦモデルにおける基準ＭＴＦ（ＭＴＦ_ｔｈ）を算出し、補正部１２８へ転送する。

補正部１２８はパラメータ選択部１２２からの係数ｋ_Ｓ及び補間部１２６からの基準ＭＴＦ（ＭＴＦ_ｔｈ）から、上記式（６）に基づき解像度ＭＴＦを算出し、注目画素の解像度ＭＴＦとして、焦点検出領域補正部１１６へ供給する。

なお、この場合、パラメータ用ＲＯＭ１２４には、焦点検出領域６４に対する基準ＭＴＦモデルと、撮像領域６８に対する基準ＭＴＦモデルとの２種類の基準ＭＴＦモデルが記録されており、それぞれに関して処理を行うことで、上記注目画素に対しては、撮像領域６８に対する解像度ＭＴＦａと焦点検出領域６４に対する解像度ＭＴＦｂとが算出されて、焦点検出領域補正部１１６へ供給されることとなる。

次に、上記焦点検出領域補正部１１６について説明する。
図１０（Ｂ）は、この焦点検出領域補正部１１６の構成の一例を示すブロック図であり、該焦点検出領域補正部１１６は、図５に示した焦点検出領域補正部９４における焦点領域置換部１０６を焦点領域補正・置換部１３０に置換した構成となっている。基本構成は上記焦点検出領域補正部９４と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。

焦点領域抽出部１０４及び焦点領域乗算部１０２は、焦点領域補正・置換部１３０に接続されている。焦点領域補正・置換部１３０は、回折領域補正部１０８に接続されている。該焦点検出領域補正部１１６を構成する全ての処理ユニットは、上記領域特性記録部１１０と双方向に接続されている。

図１０（Ｂ）において、信号の流れを説明する。
プリ撮像モードにおける動作は、上記第１実施形態における焦点検出領域補正部９４と同様に行われる。

本撮像モードにおいては、マイクロレンズアレイ２２の影響で劣化した第１画像信号の焦点検出領域６４及び回折領域６６に属する画像信号に対して、第２画像信号と、上記領域特性記録部１１０から取得した光学特性データ（Ｆ値、解像度ＭＴＦ）とに基づく補正処理を行う。

即ち、まず、第１画像信号が上記第１画像用バッファ９０から画像間信号比算出部１００及び焦点領域乗算部１０２へ転送される。本撮像モードにおいては、第１画像信号は、焦点領域抽出部１０４をスルーし、焦点領域補正・置換部１３０へ転送される。

画像間信号比算出部１００及び焦点領域乗算部１０２は、上記第１実施形態における焦点検出領域補正部９４と同様の処理により、第１画像信号と第２画像信号との回折領域６６に隣接する座標に属する画素の信号レベルの比を算出し、これを第２画像信号の焦点検出領域６４に属する画像信号に乗算し、焦点領域補正・置換部１３０へ転送する。

ところで、第１撮像素子２０の素子面上の焦点検出領域６４面と撮像領域６８面に照射される単位面積あたりの光量は、前者がマイクロレンズアレイ２２の影響を受け、撮影光学系１２とのトータルな光学性能（Ｆ値）が異なるため、領域毎に明るさが均一でない。そのため焦点領域補正・置換部１３０では、焦点検出領域６４と撮像領域６８とで信号レベルが同一となるよう、第１画像信号の焦点検出領域６４における信号レベルに対し、Ｆ値から推定した光量比に基づく、第１の補正処理を行う。

まず、注目画素の座標値を領域特性記録部１１０に転送し、上述のように、領域情報を参照することで注目画素が属する領域を特定する。焦点検出領域６４に属する場合は、上述のようにして撮影光学系１２のＦ値Ｆａ、及び撮影光学系１２とマイクロレンズアレイ２２との合成光学系としてのＦ値Ｆｂを取得する。

撮像領域６８、焦点検出領域６４における単位面積当たりの光量Ｌａ、Ｌｂは、以下の式（７）のように定義可能である。但し、ここで、Ｋ_ｆは所定の係数である。

Ｌａ＝Ｋ_ｆ／（Ｆａ）^２，
Ｌｂ＝Ｋ_ｆ／（Ｆｂ）^２ …（７）
従って、焦点検出領域６４における、撮像領域６８に対する光量比Ｌａｂは、以下の式（８）で示される。

Ｌａｂ＝Ｌｂ／Ｌａ＝（Ｆａ／Ｆｂ）^２ …（８）
即ち、第１画像信号の焦点検出領域６４における画素信号レベルに対しては、上記式（８）に示されるＬａｂを乗算することで、撮像領域６８と焦点検出領域６４における信号レベルが均一となるよう補正される。撮像領域６８に属する画素に対する補正は行わない。

また、第１撮像素子２０の素子面上の焦点検出領域６４と撮像領域６８における解像度ＭＴＦは、前者がマイクロレンズアレイ２２の影響を受け、撮影光学系１２とのトータルな光学性能が異なるため、領域毎に解像度ＭＴＦが均一でない。そのため、焦点領域補正・置換部１３０では、領域毎に解像感のバランスが取れるよう、第１画像信号の焦点検出領域６４及び撮像領域６８に属する画像信号に対し、領域毎の解像度ＭＴＦに基づく、鮮鋭化処理を行う。

まず、注目画素の座標値を領域特性記録部１１０に転送し、上述のように、領域情報を参照することで注目画素が属する領域を特定する。焦点検出領域６４に属する場合は、上述のようにして撮像領域６８及び焦点検出領域６４に対応する各解像度ＭＴＦ（ＭＴＦａ，ＭＴＦｂ）を取得する。

次に画像全体で、公知のエッジ検出処理、例えばラプラシアンやＳｏｂｅｌ等の一般的なエッジ検出オペレータによりエッジ信号Ｅｇを抽出する。焦点検出領域６４に属する画素に関するエッジ信号Ｅｇに対しては、以下の式（９）に従い補正処理を行う。但し、ここで、Ｅｇ’は焦点検出領域における補正後のエッジ信号、Ｋｅは所定の係数である。

Ｅｇ’＝Ｅｇ＊Ｋｅ／（ＭＴＦｂ／ＭＴＦａ） …（９）
抽出したエッジ信号Ｅｇ（焦点検出領域６４においてはＥｇ’）を第１画像信号に加算することで鮮鋭化処理を行う。

次に、第１の補正後の第１画像信号に対して、更に、焦点領域乗算部１０２からの第２画像信号に基づく第２の補正処理を行う。ここでは、第１の補正後の第１画像信号及び焦点領域乗算部１０２からの第２画像信号の焦点検出領域６４に属する画像信号に関して、各画像信号の同座標上に位置する画素それぞれの信号レベルについて平均を取り、これを第１画像信号に対する焦点検出領域６４における最終的な補正結果とする。この第２の補正後の第１画像信号は、回折領域補正部１０８へ転送される。

回折領域補正部１０８では、回折領域６６に属する画素値に対し、上記第１実施形態と同様の処理により、回折領域６６周辺の焦点検出領域６４及び撮像領域６８に属する画素値に基づいて、公知の補間処理により補間する。補間後の画像信号は、上記広ＤＲ画像生成部９６へ転送される。

なお、本第２実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要は無い。

例えば、第１撮像素子２０及び第２撮像素子２４からの信号を未処理のままＲＡＷデータとして、光学特性、撮影情報をヘッダ情報として付加して出力し、別途ソフトウェアにて処理する構成も可能である。

図７（Ｂ）は、そのような信号処理のソフトウェア処理に関するフローチャートを示す図である。なお、図７（Ａ）に示す第１実施形態における信号処理のフローチャートと同一な処理に関しては、同一な処理ステップを割り当てている。

まず、第１画像信号及び第２画像信号と、それらのヘッダ情報を読み込み、メモリ等に記録する（ステップＳ１０）。また、焦点検出領域６４、撮像領域６８、及び回折領域６６に関する座標情報、並びに光学特性を読み込み、メモリ等に記録する（ステップＳ２６）。

そして、第１画像信号、第２画像信号の撮像領域６８に属し、回折領域６６に隣接する画素を比較し、画像間信号比を算出する（ステップＳ１４）。その後、第２画像信号の焦点検出領域６４に属する画像信号より、上記ステップＳ１４にて算出した画像間信号比に基づき、第１画像信号の焦点検出領域６４に対応する画像信号を推定する（ステップＳ１６）。

次に、領域特性記録部１１０から取得したＦ値に基づき、第１画像信号の焦点検出領域６４及び撮像領域６８における光量比を算出する（ステップＳ２８）。そして、この算出した光量比に基づき、第１画像信号の焦点検出領域６４に属する画像信号の補正を行い（ステップＳ３０）、更に、その補正した第１画像信号に対し、領域特性記録部１１０から取得した領域毎の解像度ＭＴＦに基づく鮮鋭化処理を行う（ステップＳ３２）。そして、こうして補正した第１画像信号に対し、上記ステップＳ１６にて推定した第２画像信号に基づく補正を行う（ステップＳ３４）。

その後、第１画像信号の回折領域６６に属する画像信号を、焦点検出領域６４及び撮像領域６８に属する画素に基づき補正する（ステップＳ２０）。そして、その補正した第１画像信号と第２画像信号を合成し、広ＤＲ画像を生成する（ステップＳ２２）。最後に、この生成した広ＤＲ画像を出力して（ステップＳ２４）、処理を終了する。

以上のように、本第２実施形態によれば、マイクロレンズアレイ領域６２に対応する画像信号を適正な露光条件に基づき得ることができ、高精度な焦点検出及び画質劣化の補正処理が可能となる。

［第３実施形態］
次に、上記第２実施形態の変形例に相当する本発明の第３実施形態について説明する。

図１３は、第３実施形態に係る撮像システムの信号処理系に関する構成図である。本実施形態においては、図８に示す第２実施形態における第２撮像素子２４を第２カラー撮像素子１３２に、信号処理部１１２を信号処理部１３４へ置換した構成となっている。基本構成は上記第２実施形態と同等であり、よって、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。

即ち、本実施形態においては、露光制御部３８は、第２カラー撮像素子１３２に接続されている。第１撮像素子２０及び第２カラー撮像素子１３２は、信号処理部１３４へ接続されている。

ここで、第２カラー撮像素子１３２は、Ｒ，Ｇ，Ｂ原色系のフィルタアレイを前面に配置したフルカラー用撮像素子であり、単板方式、複数板方式の何れでも良い。第１撮像素子２０及び第２カラー撮像素子１３２は、露光制御部３８により設定された露光条件に基づき撮像を行い、前者により撮像したモノクロ画像信号（以下、第１画像信号）及び後者により撮像した単板のカラー画像信号（以下、第２カラー画像信号）が信号処理部１３４へ転送され、領域特性記録部１１０に記録された各領域（焦点検出領域６４、撮像領域６８、及び回折領域６６）の座標情報に基づき信号処理がなされる。

即ち、まず、プリ撮像モードにおいて、上記第２実施形態と同様の手法により、設定した露光条件（露光比設定）及び焦点検出データは、それぞれ露光制御部３８及び焦点検出演算部４２へ転送される。そして、本撮像モードにおいて、信号処理部１３４では、第１画像信号の焦点検出領域６４に属する画像信号を第２カラー画像信号に基づき補正し、補正した第１画像信号と第２カラー信号とから広ＤＲ画像を生成し、表示部４０及び出力部５２へ転送する。この信号処理部１３４における処理の詳細は後述する。

図１４は、上記信号処理部１３４の構成の一例をブロック図であり、該信号処理部１３４は、図９に示した上記信号処理部１１２の構成において、広ＤＲ画像生成部９６が広ＤＲ画像生成部１３６へ置換され、補間部１３８、ＹＣ分離部１４０、及びＹＣ合成部１４２が追加された構成となっている。基本構成は上記信号処理部１１２と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。

上記第２カラー撮像素子１３２は、第２Ａ／Ｄ８８に接続されている。第２画像用バッファ９２は、補間部１３８へ接続されている。補間部１３８は、ＹＣ分離部１４０へ接続されている。ＹＣ分離部１４０は、焦点検出領域補正部１１６、広ＤＲ画像生成部１３６、及びＹＣ合成部１４２へ接続されている。焦点検出領域補正部１１６は、広ＤＲ画像生成部１３６へ接続されている。広ＤＲ画像生成部１３６は、ＹＣ合成部１４２へ接続されている。ＹＣ合成部１４２は、表示部４０及び圧縮部９８へ接続されている。

このような構成の信号処理部１３４は、プリ撮像モードでは、上記第２実施形態と同様の動作を行う。

そして、本撮像モードにおいては、第２カラー撮像素子１３２で電気信号に変換された画像信号は、ＣＳＤ／差動サンプリング、アナログゲインの調整等が行われた後、第２Ａ／Ｄ８８でデジタル信号に変換され、第２画像用バッファ９２へ記憶される。補間部１３８では、この第２画像用バッファ９２に記憶されている単板状態の画像信号を読み込み、公知の補間処理、ホワイトバランス処理、強調処理等を行うことにより三板状態の信号を生成し、ＹＣ分離部１４０へ転送する。ＹＣ分離部１４０では、以下の式（１０）に従い、輝度信号Ｙと色差信号Ｃに分離し、輝度信号Ｙを焦点検出領域補正部１１６へ、輝度信号Ｙと色差信号Ｃを広ＤＲ画像生成部１３６へ転送する。

Ｙ＝０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ …（１０）
また、焦点検出領域補正部１１６は、上記第２実施形態と同様の手法により、第１画像信号の補正を行う。ただし、上記第２実施形態では、第２画像用バッファ９２からの第２画像信号に基づき補正を行ったが、本実施形態では、これをＹＣ分離部１４０で分離した輝度信号Ｙに置き換え、該輝度信号Ｙに基づいた補正を行う。補正後の第１画像信号は、広ＤＲ画像生成部１３６へ転送される。

広ＤＲ画像生成部１３６は、焦点検出領域補正部１１６から転送された第１画像信号と、ＹＣ分離部１４０から転送された輝度信号Ｙとに基づき、輝度成分に関する一枚の広ＤＲ画像を生成し、ＹＣ合成部１４２へ転送する。この広ＤＲ画像生成部１３６おける処理の詳細は後述する。

ＹＣ合成部１４２は、広ＤＲ画像生成部１３６から転送された輝度信号Ｙと、ＹＣ分離部１４０から転送された色差信号Ｃとを、以下の式（１１）に従いＲＧＢ画像信号に変換した後、表示部４０及び圧縮部９８へ転送する。

Ｒ＝Ｙ＋１．４０２００Ｃｒ
Ｇ＝Ｙ−０．３４４１４Ｃｂ−０．７１４１４Ｃｒ
Ｂ＝Ｙ＋１．７７２００Ｃｂ …（１１）
表示部４０は、転送されてきた広ＤＲ画像の画像信号をＬＣＤなどにより表示する。また、圧縮部９８は、転送されてきた広ＤＲ画像の画像信号に対し所定の圧縮処理、例えば公知のＪＰＥＧ方式などによる圧縮を行った後、フラッシュメモリ等で構成される出力部５２へ転送する。

図１５（Ａ）は、上記広ＤＲ画像生成部１３６の構成の一例を示すブロック図であり、該広ＤＲ画像生成部１３６は、適正露光抽出部１４４、変換特性算出部１４６、輝度補正部１４８、作業用バッファ１５０、及び輝度合成部１５２から成る。

ここで、上記焦点検出領域補正部１１６及び上記ＹＣ分離部１４０は、適正露光抽出部１４４に接続されている。適正露光抽出部１４４は、変換特性算出部１４６及び輝度補正部１４８に接続されている。輝度補正部１４８は、作業用バッファ１５０を介して輝度合成部１５２へ接続されている。輝度合成部１５２は、上記ＹＣ合成部１４２へ接続されている。

図１５（Ａ）において、信号の流れを説明する。
上記焦点検出領域補正部１１６からの第１画像信号（モノクロ）及び上記ＹＣ分離部１４０で分離された第２画像信号（輝度信号Ｙ）は、適正露光抽出部１４４へ順次転送される。

適正露光抽出部１４４は、第１画像信号及び第２画像信号（輝度信号Ｙ）のうち、上記露光条件設定部１１４において設定された露光比の大きい方の画像（以下、長時間露光画像）に基づいて画像信号中の露光オーバーとなる領域を抽出し、これ以外の領域を適正露光域として、該適正露光域に属する信号を変換特性算出部１４６及び輝度補正部１４８へ転送する。

更に、適正露光抽出部１４４は、露光比の小さい方の画像（以下、短時間露光画像）における、上記長時間露光画像の露光オーバーとなる領域に対応する領域に属する信号を、上記適正露光域に属する信号として、変換特性算出部１４６及び輝度補正部１４８へ転送する。

変換特性算出部１４６においては、まず、長時間露光画像の適正露光域の輝度信号Ｙに対し、エッジ検出を行う。具体的には、例えばラプラシアンやＳｏｂｅｌ等の一般的なエッジ検出オペレータによるフィルタ出力が所定の閾値以上であれば、参照位置にはエッジが存在するとし、そうでない場合にはエッジでは無いとする２値情報を出力する。

次に、そのエッジ検出結果に基づき、エッジを構成する画素やその近傍画素について、輝度レベルに対する出現頻度を示すエッジヒストグラムを算出する。

そして、その算出したエッジヒストグラムを積分するなどにより、累積エッジヒストグラムに変換し、さらにエッジヒストグラムをガウシアンカーネル等を用いてコンボリューションすることにより目標ヒストグラムを生成し、これら累積エッジヒストグラムと目標ヒストグラムとを用いて階調補正特性となるトーンカーブを算出する。

輝度補正部１４８は、この変換特性算出部１４６により生成されたトーンカーブを用いて、長／短時間露光画像の輝度信号（第１画像信号（モノクロ）及び第２画像信号（輝度信号Ｙ））を変換し、作業用バッファ１５０へ順次転送する。

輝度合成部１５２は、適正露光抽出部１４４からの情報を参照し、作業用バッファ１５０に記憶されている階調変換後の長時間露光画像と階調変換後の短時間露光画像とを読み出して合成することにより、輝度成分に関する一枚の広ＤＲ画像を生成し、上記ＹＣ合成部１４２へ転送する。

なお、本第３実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要は無い。

例えば、第１撮像素子２０及び第２カラー撮像素子１３２からの信号を未処理のままＲＡＷデータとして、光学特性、撮影情報をヘッダ情報として付加して出力し、別途ソフトウェアにて処理する構成も可能である。

図１６（Ａ）は、そのような信号処理のソフトウェア処理に関するフローチャートを示す図である。なお、図７（Ｂ）に示す第２実施形態における信号処理のフローチャートと同一な処理に関しては、同一な処理ステップを割り当てている。

まず、第１画像信号及び単板の第２カラー画像信号と、それらのヘッダ情報を読み込み、メモリ等に記録する（ステップＳ１０）。また、焦点検出領域６４、撮像領域６８、及び回折領域６６に関する座標情報、並びに光学特性を読み込み、メモリ等に記録する（ステップＳ２６）。

そして、第２カラー画像信号に対する補間処理により三板の画像信号を生成し（ステップＳ３６）、この生成した三板の第２カラー画像信号を輝度信号Ｙと色差信号Ｃに分離する（ステップＳ３８）。

次に、第１画像信号、第２カラー画像信号（輝度信号Ｙ）の撮像領域６８に属し、回折領域６６に隣接する画素を比較し、画像間信号比を算出する（ステップＳ１４）。その後、第２カラー画像信号（輝度信号Ｙ）の焦点検出領域６４に属する画像信号より、上記ステップＳ１４にて算出した画像間信号比に基づき、第１画像信号の焦点検出領域６４に対応する画像信号を推定する（ステップＳ１６）。

次に、領域特性記録部１１０から取得したＦ値に基づき、第１画像信号の焦点検出領域６４及び撮像領域６８における光量比を算出する（ステップＳ２８）。そして、この算出した光量比に基づき、第１画像信号の焦点検出領域６４に属する画像信号の補正を行い（ステップＳ３０）、更に、その補正した第１画像信号に対し、領域特性記録部１１０から取得した領域毎の解像度ＭＴＦに基づく鮮鋭化処理を行う（ステップＳ３２）。そして、こうして補正した第１画像信号に対し、上記ステップＳ１６にて推定した第２カラー画像信号（輝度信号Ｙ）に基づく補正を行う（ステップＳ３４）。

その後、第１画像信号の回折領域６６に属する画像信号を、焦点検出領域６４及び撮像領域６８に属する画素に基づき補正する（ステップＳ２０）。そして、その補正した第１画像信号と第２カラー画像信号（輝度信号Ｙ）を合成し、輝度信号に関する広ＤＲ画像を生成する（ステップＳ２２）。その後、この生成した輝度信号に関する広ＤＲ画像と上記ステップＳ３８で分離した色差信号Ｃとを合成して、ＲＧＢカラーの広ＤＲ画像に変換する（ステップＳ４０）。そして、この変換したＲＧＢカラーの広ＤＲ画像を出力して（ステップＳ２４）、処理を終了する。

以上のように、本第３実施形態によれば、モノクロ画像信号を出力する撮像素子とカラー画像信号を出力する撮像素子の併用が可能となる。

［第４実施形態］
次に、上記第３実施形態の変形例に相当する本発明の第４実施形態について説明する。

図１７は、第４実施形態に係る撮像システムの信号処理系に関する構成図である。本実施形態においては、図１３に示す第３実施形態における第１撮像素子２０を第１カラー撮像素子１５４へ、また、信号処理部１３４を信号処理部１５６へ置換した構成となっている。基本構成は上記第３実施形態と同等であり、よって、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。

即ち、本実施形態においては、露光制御部３８は、第１カラー撮像素子１５４及び第２カラー撮像素子１３２に接続されている。第１カラー撮像素子１５４及び第２カラー撮像素子１３２は、信号処理部１５６へ接続されている。

ここで、第１カラー撮像素子１５４は、Ｒ，Ｇ，Ｂ原色系のフィルタアレイを前面に配置したフルカラー用撮像素子であり、単板方式、複数板方式のいずれでも良い。また、該第１カラー撮像素子１５４の素子面上には、第１撮像素子２０と同様にマイクロレンズアレイ２２が形成されており、第１撮像素子２０と同様な手法により焦点検出演算用の画像信号を得ることができる。

第１カラー撮像素子１５４及び第２カラー撮像素子１３２は、露光制御部３８により設定された露光条件に基づき撮像を行い、前者により撮像した単板のカラー画像信号（以下、第１カラー画像信号）及び後者により撮像した単板のカラー画像信号（以下、第２カラー画像信号）が信号処理部１５６へ転送され、領域特性記録部１１０に記録された各領域（焦点検出領域６４、撮像領域６８、及び回折領域６６）の座標情報に基づき信号処理がなされる。

即ち、まず、プリ撮像モードにおいて、信号処理部１３４では、上記第２実施形態と同様の手法により、設定した露光条件（露光比設定）及び焦点検出データは、それぞれ露光制御部３８及び焦点検出演算部４２へ転送される。そして、本撮像モードにおいて、信号処理部１３４では、第１カラー画像信号の焦点検出領域６４に属する画像信号を第２カラー画像信号に基づき補正し、補正した第１カラー画像信号と第２カラー画像信号とから広ＤＲ画像を生成し、表示部４０及び出力部５２へ転送する。この信号処理部１３４における処理の詳細は後述する。

図１８は、上記信号処理部１５６の構成の一例をブロック図であり、該信号処理部１５６は、図１４に示した信号処理部１３４の構成において、ＹＣ分離部１４０、及びＹＣ合成部１４２を削除し、焦点検出領域補正部１１６を焦点検出領域補正部１５８に、また広ＤＲ画像生成部１３６を広ＤＲ画像生成部１６０に置換し、焦点領域抽出部１６２及び補間部１６４を追加した構成となっている。基本構成は上記信号処理部１３４と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。

上記第１カラー撮像素子１５４は、第１Ａ／Ｄ８６に接続されている。第１画像用バッファ９０は、露光条件設定部１１４及び焦点領域抽出部１６２へ接続されている。焦点領域抽出部１６２は、上記焦点検出演算部４２及び補間部１６４に接続されている。上記領域特性記録部１１０は、焦点領域抽出部１６２及び焦点検出領域補正部１５８と双方向に接続されている。補間部１６４及び補間部１３８は、焦点検出領域補正部１５８に接続されている。焦点検出領域補正部１５８は、広ＤＲ画像生成部１６０に接続されている。広ＤＲ画像生成部１６０は、表示部４０及び圧縮部９８に接続されている。

プリ撮像モードにおいては、上記第１カラー撮像素子１５４で電気信号に変換された画像信号は、ＣＳＤ／差動サンプリング、アナログゲインの調整等が行われた後、第１Ａ／Ｄ６０３でデジタル信号に変換され、第１画像用バッファ９０へ記憶される。

そして、上記第３実施形態と同様の処理に基づき、露光条件設定部１１４において露光条件（露光比設定）を設定する。ただし、上記第３実施形態における第１画像信号及び第２カラー画像信号に代わり、第１カラー画像信号及び第２カラー画像信号に基づき露光条件を設定する。

焦点領域抽出部１６２では、上記領域特性記録部１１０から座標値に基づき、領域判定用フラグを取得することで焦点検出領域６４を特定し、第１画像用バッファ９０から転送された第１カラー画像信号の焦点検出領域６４に属する画像信号を抽出し、上記焦点検出演算部４２へ転送する。

続いて、本撮像モードにおいては、プリ撮像モードで設定された撮影条件に基づき、第１カラー撮像素子１５４で撮像された単板の第１カラー画像信号は第１画像用バッファ９０へ記憶された後、焦点領域抽出部１６２をスルーして補間部１６４に転送される。

補間部１６４では、第１画像用バッファ９０に記憶されている単板状態の画像信号を読み込み、公知の補間処理、ホワイトバランス処理、強調処理等を行うことにより三板状態の信号を生成し、焦点検出領域補正部１５８へ転送する。この補間部１６４の処理は、補間部１３８と同様であり、補間部１３８の処理と共通化する構成も可能である。

焦点検出領域補正部１５８は、上記第３実施形態と同様の手法により、第１カラー画像信号の補正を行う。ただし、上記第３実施形態における焦点検出領域補正部１１６では、第１画像信号（モノクロ）に対し、光学特性及び第２画像信号（輝度信号Ｙ）に基づく補正を行ったが、本実施形態においては、第１画像信号（モノクロ）及び第２画像信号（輝度信号Ｙ）をそれぞれ補間部１６４で生成した第１カラー画像信号（三板）及び補間部１３８で生成した第２カラー画像信号（三板）に置き換え、焦点検出領域補正部１５８は、それら各色信号に対し、独立に処理を行う。補正後の第１カラー画像信号は、広ＤＲ画像生成部１６０へ転送される。

広ＤＲ画像生成部１６０は、焦点検出領域補正部１５８から転送された第１カラー画像信号と、補間部１３８から転送された第２カラー画像信号とに基づき、一枚の広ＤＲ画像を生成し、表示部４０及び圧縮部９８へ転送する。広ＤＲ画像生成部１６０における処理の詳細は後述する。

表示部４０は、転送されてきた広ＤＲ画像の画像信号をＬＣＤなどにより表示する。また、圧縮部９８は、転送されてきた広ＤＲ画像の画像信号に対し所定の圧縮処理、例えば公知のＪＰＥＧ方式などによる圧縮を行った後、フラッシュメモリ等で構成される出力部５２へ転送する。

図１５（Ｂ）は、上記広ＤＲ画像生成部１６０の構成の一例を示すブロック図であり、図１５（Ａ）に示す広ＤＲ画像生成部１３６の構成において、作業用バッファ１５０及び輝度合成部１５２を削除し、Ｙ／Ｃ分離部１６６、色差補正部１６８、Ｙ／Ｃ合成部１７０、作業用バッファ１７２、及び画像合成部１７４を追加した構成となっている。基本構成は、上記広ＤＲ画像生成部１３６と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。

上記補間部１３８及び上記焦点検出領域補正部１５８は、Ｙ／Ｃ分離部１６６に接続されている。Ｙ／Ｃ分離部１６６は、適正露光抽出部１４４及び色差補正部１６８に接続されている。適正露光抽出部１４４及び輝度補正部１４８は、色差補正部１６８へ接続されている。色差補正部１６８は、Ｙ／Ｃ合成部１７０へ接続されている。Ｙ／Ｃ合成部１７０は、作業用バッファ１７２に接続されている。適正露光抽出部１４４及び作業用バッファ１７２は、画像合成部１７４へ接続されている。画像合成部１７４は、上記圧縮部９８及び上記表示部４０へ接続されている。

図１５（Ｂ）において、信号の流れを説明する。
上記焦点検出領域補正部１５８からの第１カラー画像信号及び上記補間部１３８からの第２画像信号は、Ｙ／Ｃ分離部１６６へ順次転送される。Ｙ／Ｃ分離部１６６では、上記式（１０）に従い、輝度信号Ｙと色差信号Ｃに分離し、輝度信号Ｙを適正露光抽出部１４４へ、輝度信号Ｙ及び色差信号Ｃを色差補正部１６８へ転送する。

適正露光抽出部１４４は、第１カラー画像信号（輝度信号Ｙ）及び第２カラー画像信号（輝度信号Ｙ）のうち、上記露光条件設定部１１４において設定された露光比の大きい方の画像、即ち長時間露光画像に基づいて画像信号中の露光オーバーとなる領域を抽出し、これ以外の領域を適正露光域として、該適正露光域に属する信号を変換特性算出部１４６及び輝度補正部１４８へ転送する。

更に、適正露光抽出部１４４は、露光比の小さい方の画像、即ち短時間露光画像における、上記長時間露光画像の露光オーバーとなる領域に対応する領域に属する信号を、上記適正露光域に属する信号として、変換特性算出部１４６及び輝度補正部１４８へ転送する。

変換特性算出部１４６においては、まず、長時間露光画像の適正露光域の輝度信号Ｙに対し、エッジ検出を行う。具体的には、例えばラプラシアンやＳｏｂｅｌ等の一般的なエッジ検出オペレータによるフィルタ出力が所定の閾値以上であれば、参照位置にはエッジが存在するとし、そうでない場合にはエッジではないとする２値情報を出力する。

次に、そのエッジ検出結果に基づき、エッジを構成する画素やその近傍画素について、輝度レベルに対する出現頻度を示すエッジヒストグラムを算出する。

そして、その算出したエッジヒストグラムを積分するなどにより、累積エッジヒストグラムに変換し、さらにエッジヒストグラムをガウシアンカーネル等を用いてコンボリューションすることにより目標ヒストグラムを生成し、これら累積エッジヒストグラムと目標ヒストグラムとを用いて階調補正特性となるトーンカーブを算出する。

輝度補正部１４８は、この変換特性算出部１４６により生成されたトーンカーブを用いて、長／短時間露光画像の輝度信号（第１カラー画像信号（輝度信号Ｙ）及び第２カラー画像信号（輝度信号Ｙ））を変換し、Ｙ／Ｃ合成部１７０へ順次転送する。

また、色差補正部１６８は、Ｙ／Ｃ分離部１６６から変換前の各画像の輝度信号Ｙを、輝度補正部１４８から変換後の各画像の輝度信号Ｙを、適正露光抽出部１４４から補正すべき領域情報をそれぞれ受け取り、これらに加えてさらに色の存在し得る理論限界モデルを用いて、色差信号を補正するための補正係数を算出し、この補正係数を上記Ｙ／Ｃ分離部１６６からの各画像の変換前の色差信号Ｃに乗算することにより、色差信号Ｃを補正し、Ｙ／Ｃ合成部１７０へ転送する。

Ｙ／Ｃ合成部１７０は、輝度補正部１４８及び色差補正部１６８から転送された第１カラー画像信号及び第２カラー画像信号のそれぞれの輝度信号Ｙ及び色差信号Ｃに対して、上記式（１１）に従いＲＧＢ画像信号に変換した後、作業用バッファ１７２へ転送する。

画像合成部１７４は、適正露光抽出部１４４からの領域情報を参照し、作業用バッファ１７２に記憶されている階調変換後の長時間露光画像と階調変換後の短時間露光画像とを読み出して合成することにより、一枚の広ＤＲ画像を生成し、表示部４０及び圧縮部９８へ転送する。

なお、本第４実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要は無い。

例えば、第１カラー撮像素子１５４及び第２カラー撮像素子１３２からの信号を未処理のままＲＡＷデータとして、光学特性、撮影情報をヘッダ情報として付加して出力し、別途ソフトウェアにて処理する構成も可能である。

図１６（Ｂ）は、そのような信号処理のソフトウェア処理に関するフローチャートを示す図である。なお、図１６（Ａ）に示す第３実施形態における信号処理のフローチャートと同一な処理に関しては、同一な処理ステップを割り当てている。

まず、単板の第１カラー画像信号及び単板の第２カラー画像信号と、それらのヘッダ情報を読み込み、メモリ等に記録する（ステップＳ１０）。また、焦点検出領域６４、撮像領域６８、及び回折領域６６に関する座標情報、並びに光学特性を読み込み、メモリ等に記録する（ステップＳ２６）。

そして、第１カラー画像信号に対する補間処理により三板の画像信号を生成し（ステップＳ４２）、また、第２カラー画像信号に対する補間処理により三板の画像信号を生成し（ステップＳ３６）。

次に、第１カラー画像信号、第２カラー画像信号の撮像領域６８に属し、回折領域６６に隣接する画素を比較し、画像間信号比を算出する（ステップＳ１４）。その後、第２カラー画像信号の焦点検出領域６４に属する画像信号より、上記ステップＳ１４にて算出した画像間信号比に基づき、第１カラー画像信号の焦点検出領域６４に対応する画像信号を推定する（ステップＳ１６）。

次に、領域特性記録部１１０から取得したＦ値に基づき、第１カラー画像信号の焦点検出領域６４及び撮像領域６８における光量比を算出する（ステップＳ２８）。そして、この算出した光量比に基づき、第１カラー画像信号の焦点検出領域６４に属する画像信号の補正を行い（ステップＳ３０）、更に、その補正した第１カラー画像信号に対し、領域特性記録部１１０から取得した領域毎の解像度ＭＴＦに基づく鮮鋭化処理を行う（ステップＳ３２）。そして、こうして補正した第１カラー画像信号に対し、上記ステップＳ１６にて推定した第２カラー画像信号に基づく補正を行う（ステップＳ３４）。

その後、第１カラー画像信号の回折領域６６に属する画像信号を、焦点検出領域６４及び撮像領域６８に属する画素に基づき補正する（ステップＳ２０）。そして、その補正した第１カラー画像信号と第２カラー画像信号を適正露光領域に基づき合成し、広ＤＲ画像を生成する（ステップＳ４４）。その後、この生成した広ＤＲ画像の画像信号を出力して（ステップＳ２４）、処理を終了する。

以上のように、本第４実施形態によれば、カラー画像信号に対する処理が可能となる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記実施形態においては、回折領域補正部１０８にて、回折領域６６内に属する画素に関して、回折領域６６周辺の焦点検出領域６４及び撮像領域６８に属する画素値に基づいて補間しているが、回折領域６６内画素に関して撮像領域６８内画素と同様の処理を施した後、周辺に位置する焦点検出領域６４及び撮像領域６８内画素に基づき、例えば平均を取るなどの補正処理を行う構成としても良い。

また、領域特性記録部５４，１１０には、焦点検出領域６４、撮像領域６８、回折領域６６を表す座標情報が記録されており、座標値に基づき座標の属する領域が特定可能であるが、回折領域６６のみの座標情報を記録しておき、領域の特定に際しては、回折領域６６内に属する座標値に関しては撮像領域６８、回折領域外側に属する座標値に関しては撮像領域６８とする判定手段を設ける構成としても良い。

逆に、焦点検出領域６４及び撮像領域６８のみを記録しておき、各領域に属さない座標値を回折領域６６とする判定手段を設ける構成としても良い。

また、回折領域６６を焦点検出領域６４、または撮像領域６８の何れかの領域と併合し、回折領域６６に関する処理（回折領域補正部１０８等）を削除する構成としても良い。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 撮影光学系と、
上記撮影光学系を通過した被写体光束を複数の光束に分割する光束分割手段と、
上記光束分割手段からの複数の被写体光束を結像するように配置された複数の撮像素子群と、
上記撮像素子群のうちの一つの撮像素子の素子面上の所定の領域上に形成され、上記光束分割手段からの光束の一つを瞳分割し、上記領域上に結像させる瞳分割レンズ群と、
上記撮像素子群のそれぞれの撮影条件を変えて撮像を行うよう制御する撮影制御手段と、
上記瞳分割レンズ群が形成された撮像素子によって得られた上記領域に対応する画像信号に対し、上記撮影制御手段による制御に従って撮像された複数の画像信号に基づき補正を行う補正手段と、
上記補正手段による上記補正処理前の画像信号または上記補正処理後の画像信号に基づいて、焦点検出を行う焦点検出手段と、
上記撮影制御手段による制御に従って撮像された、上記補正後の画像信号を含む複数の画像信号から一枚の画像を合成する合成手段と、
を具備することを特徴とする撮像システム。

（対応する実施形態）
この（１）に記載の撮像システムに関する実施形態は、第１乃至第４実施形態が対応する。
それらの実施形態において、撮影光学系１２が上記撮影光学系に、プリズム系１８が上記光束分割手段に、第１撮像素子２０、第２撮像素子２４、第１カラー撮像素子１５４、第２カラー撮像素子１３２が上記複数の撮像素子群に、マイクロレンズアレイ領域６２が上記所定の領域に、マイクロレンズアレイ２２が上記瞳分割レンズ群に、露光制御部３８が上記撮影制御手段に、焦点検出領域補正部９４、焦点検出領域補正部１１６、焦点検出領域補正部１５８が上記補正手段に、焦点検出演算部４２が上記焦点検出手段に、広ＤＲ画像生成部９６、広ＤＲ画像生成部１３６、広ＤＲ画像生成部１６０が上記合成手段に、それぞれ対応する。

（作用効果）
この（１）に記載の撮像システムによれば、被写体光束を分割した光束の一つを撮像した画像信号から、瞳分割レンズ群に基づく焦点検出を行うと共に、瞳分割レンズ群の影響で劣化した画像信号を、他の光束を撮像した画像信号により補正することで、高精度な劣化補正処理が可能となる。
また、複数に分割された被写体光束をそれぞれ異なる露光条件で撮像し、撮像した複数の画像信号を合成することにより、ダイナミックレンジを拡大した画像を得ることが可能となる。更に、複数に分割された被写体光束を複数の撮像素子で撮像することにより、複数の撮像素子を並行して動作させることができるため、連続撮影やブラケット撮影を高速に行うことが可能となる。

（２） 上記撮影制御手段は、上記撮像素子群のそれぞれの露光条件を変えて同時に撮像を行うよう制御する露光制御手段を有し、
上記合成手段は、上記露光制御手段による制御に従って撮像された露光条件の異なる複数の画像信号から一枚の広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成手段を有することを特徴とする（１）に記載の撮像システム。

（対応する実施形態）
この（２）に記載の撮像システムに関する実施形態は、第１乃至第４実施形態が対応する。
それらの実施形態において、露光制御部３８が上記露光制御手段に、広ＤＲ画像生成部９６、広ＤＲ画像生成部１３６、広ＤＲ画像生成部１６０が上記広ダイナミックレンジ画像生成手段に、それぞれ対応する。

（作用効果）
この（２）に記載の撮像システムによれば、複数に分割された被写体光束を異なる露光条件による複数の撮像素子で撮像した画像信号を合成することにより、ダイナミックレンジを拡大した画像を得ることが可能となる。

（３） 上記露光制御手段は、上記撮像素子群により得られた上記領域に対応する画像信号に対し、適正な露光条件が得られるように上記撮像素子群の制御を行うことを特徴とする（２）に記載の撮像システム。

（対応する実施形態）
この（３）に記載の撮像システムに関する実施形態は、第２乃至第４実施形態が対応する。
それらの実施形態において、露光制御部３８及び露光条件設定部１１４が上記露光制御手段に対応する。

（作用効果）
この（３）に記載の撮像システムによれば、上記所定の領域に対応する画像信号を適正な露光条件に基づき得ることができ、高精度な焦点検出及び画質劣化の補正処理が可能となる。

（４） 上記補正手段は、上記瞳分割レンズ群が形成された撮像素子によって得られた上記領域に対応する画像信号に対し、上記撮影制御手段による制御に従って撮像された上記領域及び上記領域の周辺領域に対応する複数の画像信号に基づき補正を行う領域補正手段を有することを特徴とする（１）乃至（３）の何れかに記載の撮像システム。

（対応する実施形態）
この（４）に記載の撮像システムに関する実施形態は、第１乃至第４実施形態が対応する。
それらの実施形態において、焦点検出領域６４及び回折領域６６が上記領域に、撮像領域６８が上記領域の周辺領域に、それぞれ対応する。

（作用効果）
この（４）に記載の撮像システムによれば、上記領域下に対応する画像信号を、瞳分割レンズ群の影響を受けない、近傍周辺領域における画像信号に基づき補正することで、高精度な補正処理が可能となる。

（５） 上記補正手段は、上記瞳分割レンズ群が形成された撮像素子によって得られた上記領域に対応する画像信号に対し、上記瞳分割レンズ群の伝達特性に関する補正を行う劣化補正手段を有することを特徴とする（１）乃至（４）の何れかに記載の撮像システム。

（対応する実施形態）
この（５）に記載の撮像システムに関する実施形態は、第２乃至第４実施形態が対応する。
それらの実施形態において、焦点検出領域補正部９４、焦点検出領域補正部１１６、焦点検出領域補正部１５８が上記劣化補正手段に対応する。

（作用効果）
この（５）に記載の撮像システムによれば、瞳分割レンズ群による画質劣化を光学特性に基づき補正することで、高精度な補正処理が可能となる。

（６） 上記撮像素子群は、モノクロ画像信号を出力し、
上記焦点検出手段及び上記合成手段は、モノクロ画像信号の輝度に基づき上記焦点検出及び画像の合成を行うことを特徴とする（１）乃至（５）の何れかに記載の撮像システム。

（対応する実施形態）
この（６）に記載の撮像システムに関する実施形態は、第１及び第２実施形態が対応する。
それらの実施形態において、第１撮像素子２０、第２撮像素子２４が上記撮像素子群に対応する。

（作用効果）
この（６）に記載の撮像システムによれば、モノクロ画像信号に対する処理が可能となる。

（７） 上記撮像素子群は、カラー画像信号を出力し、
上記焦点検出手段及び上記合成手段は、カラー画像信号に基づき上記焦点検出及び画像の合成を行うことを特徴とする（１）乃至（５）の何れかに記載の撮像システム。

（対応する実施形態）
この（７）に記載の撮像システムに関する実施形態は、第４実施形態が対応する。
その実施形態において、第１カラー撮像素子１５４、第２カラー撮像素子１３２が上記撮像素子群に対応する。

（作用効果）
この（７）に記載の撮像システムによれば、カラー画像信号に対する処理が可能となる。

（８） 上記撮像素子群のうち、上記瞳分割レンズ群が形成された撮像素子はモノクロ画像信号を出力し、その他の撮像素子はカラー画像信号を出力し、
上記合成手段は、
上記カラー画像信号に対し輝度成分を抽出する抽出手段と、
上記モノクロ画像信号の輝度及び上記抽出手段により抽出された輝度成分に基づき、上記撮影制御手段による制御に従って撮像された複数の画像信号から１枚の画像を合成する輝度成分合成手段と、
を有することを特徴とする（１）乃至（５）の何れかに記載の撮像システム。

（対応する実施形態）
この（８）に記載の撮像システムに関する実施形態は、第３実施形態が対応する。
その実施形態において、第１撮像素子２０が上記瞳分割レンズ群が形成された撮像素子に、第２カラー撮像素子１３２が上記その他の撮像素子に、ＹＣ分離部１４０が上記抽出手段に、広ＤＲ画像生成部１３６が上記輝度成分合成手段に、それぞれ対応する。

（作用効果）
この（８）に記載の撮像システムによれば、モノクロ画像信号を出力する撮像素子、カラー画像信号を出力する撮像素子の併用が可能となる。

（９） 上記焦点検出手段により検出された焦点に基づきフォーカスを制御するフォーカス制御手段を更に具備することを特徴とする（１）乃至（８）の何れかに記載の撮像システム。

（対応する実施形態）
この（９）に記載の撮像システムに関する実施形態は、第１乃至第４実施形態が対応する。
それらの実施形態において、レンズ駆動部３６が上記フォーカス制御手段に対応する。

（作用効果）
この（９）に記載の撮像システムによれば、瞳分割レンズ群を用いた高精度な焦点検出に基づくフォーカス制御が可能となる。

（１０） 上記光束分割手段は、光束を２つに分割して出射するプリズム部であり、
上記撮像素子群は、上記プリズム部の２つの出射面のそれぞれに備えられた２つの撮像素子からなることを特徴とする（１）乃至（９）の何れかに記載の撮像システム。

（対応する実施形態）
この（１０）に記載の撮像システムに関する実施形態は、第１乃至第４実施形態が対応する。
それらの実施形態において、プリズム系１８が上記プリズム部に、第１撮像素子２０と第２撮像素子２４、第１撮像素子２０と第２カラー撮像素子１３２、第１カラー撮像素子１５４と第２カラー撮像素子１３２が上記２つの撮像素子に、それぞれ対応する。

（作用効果）
この（１０）に記載の撮像システムによれば、光束を分割し、２つの撮像素子で同時に撮像することができ、高速な撮影が可能となる。
また、プリズム部を利用することで、コンパクトな光学系を構成することが可能となる。

（１１） コンピュータを、
撮影光学系を通過した被写体光束を複数の光束に分割する光束分割手段からの複数の被写体光束を結像するように配置された複数の撮像素子群のそれぞれの撮影条件を変えて撮像を行うよう制御する撮影制御手段、
上記光束分割手段からの光束の一つを瞳分割し、上記撮像素子群のうちの一つの撮像素子の素子面上の所定の領域上に結像させる瞳分割レンズ群を、上記領域上に形成した上記撮像素子群のうちの一つによって得られた上記領域に対応する画像信号に対し、上記撮影制御手段による制御に従って撮像された複数の画像信号に基づき補正を行う補正手段、
上記補正手段による上記補正処理前の画像信号または上記補正処理後の画像信号に基づいて、焦点検出を行う焦点検出手段、
上記撮影制御手段による制御に従って撮像された、上記補正後の画像信号を含む複数の画像信号から一枚の画像を合成する合成手段、
として機能させるための画像信号処理プログラム。

（対応する実施形態）
この（１１）に記載の画像処理プログラムに関する実施形態は、第１乃至第４実施形態が対応する。

（作用効果）
この（１１）に記載の画像処理プログラムによれば、被写体光束を分割した光束の一つを撮像した画像信号から、瞳分割レンズ群に基づく焦点検出を行うと共に、瞳分割レンズ群の影響で劣化した画像信号を、他の光束を撮像した画像信号により補正することで、高精度な劣化補正処理が可能となる。
また、複数に分割された被写体光束をそれぞれ異なる露光条件で撮像し、撮像した複数の画像信号を合成することにより、ダイナミックレンジを拡大した画像を得ることが可能となる。更に、複数に分割された被写体光束を複数の撮像素子で撮像することにより、複数の撮像素子を並行して動作させることができるため、連続撮影やブラケット撮影を高速に行うことが可能となる。

（１２） 上記撮影条件を変えた撮像は、上記撮像素子群のそれぞれの露光条件を変えて同時に撮像を行い、
上記画像の合成は、上記撮像された露光条件の異なる複数の画像信号から一枚の広ダイナミックレンジ画像を生成することを特徴とする（１１）に記載の画像信号処理プログラム。

（対応する実施形態）
この（１２）に記載の画像信号処理プログラムに関する実施形態は、第１乃至第４実施形態が対応する。

（作用効果）
この（１２）に記載の画像信号処理プログラムによれば、複数に分割された被写体光束を異なる露光条件による複数の撮像素子で撮像した画像信号を合成することにより、ダイナミックレンジを拡大した画像を得ることが可能となる。

（１３） 上記露光条件を変えた同時撮像は、上記撮像素子群により得られた上記領域に対応する画像信号に対し、適正な露光条件が得られるように上記撮像素子群を制御して行うことを特徴とする（１２）に記載の画像信号処理プログラム。

（対応する実施形態）
この（１３）に記載の画像信号処理プログラムに関する実施形態は、第２乃至第４実施形態が対応する。

（作用効果）
この（１３）に記載の画像信号処理プログラムによれば、上記所定の領域に対応する画像信号を適正な露光条件に基づき得ることができ、高精度な焦点検出及び画質劣化の補正処理が可能となる。

（１４） 上記補正は、上記瞳分割レンズ群が形成された撮像素子によって得られた上記領域に対応する画像信号に対し、上記撮像された上記領域及び上記領域の周辺領域に対応する複数の画像信号に基づき補正を行うことを特徴とする（１１）乃至（１３）の何れかに記載の画像信号処理プログラム。

（対応する実施形態）
この（１４）に記載の画像信号処理プログラムに関する実施形態は、第１乃至第４実施形態が対応する。

（作用効果）
この（１４）に記載の画像信号処理プログラムによれば、上記領域下に対応する画像信号を、瞳分割レンズ群の影響を受けない、近傍周辺領域における画像信号に基づき補正することで、高精度な補正処理が可能となる。

（１５） 上記補正は、上記瞳分割レンズ群が形成された撮像素子によって得られた上記領域に対応する画像信号に対し、上記瞳分割レンズ群の伝達特性に関する補正を行うことを特徴とする（１１）乃至（１４）の何れかに記載の画像信号処理プログラム。

（対応する実施形態）
この（１５）に記載の画像信号処理プログラムに関する実施形態は、第２乃至第４実施形態が対応する。

（作用効果）
この（１５）に記載の撮像システムによれば、瞳分割レンズ群による画質劣化を光学特性に基づき補正することで、高精度な補正処理が可能となる。

（１６） コンピュータに、
撮影光学系を通過した被写体光束を複数の光束に分割する光束分割手段からの複数の被写体光束を結像するように配置された複数の撮像素子群と、上記撮像素子群のうちの一つの撮像素子の素子面上の所定の領域上に形成され、上記光束分割手段からの光束の一つを瞳分割し、上記領域上に結像させる瞳分割レンズ群と、を備えるカメラシステムにより、上記撮像素子群のそれぞれの撮影条件を変えて撮像を行って得られた複数の画像信号を読み込む読み込み手順と、
上記読み込み手順によって読み込まれた、上記瞳分割レンズ群を形成した上記一つの撮像素子によって得られた上記領域に対応する画像信号に対し、上記読み込み手順によって読み込まれた、複数の画像信号に基づき補正を行う補正手順と、
上記補正前の画像信号または上記補正後の画像信号に基づいて焦点検出を行う焦点検出手順と、
上記補正後の画像信号と上記読み込み手順で読み込まれた複数の画像信号から、一枚の画像を合成する合成手順と、
を実行させるための画像信号処理プログラム。

（対応する実施形態）
この（１６）に記載の画像処理プログラムに関する実施形態は、第１乃至第４実施形態が対応する。

（作用効果）
この（１６）に記載の画像処理プログラムによれば、被写体光束を分割した光束の一つを撮像した画像信号から、瞳分割レンズ群に基づく焦点検出を行うと共に、瞳分割レンズ群の影響で劣化した画像信号を、他の光束を撮像した画像信号により補正することで、高精度な劣化補正処理が可能となる。
また、複数に分割された被写体光束をそれぞれ異なる露光条件で撮像し、撮像した複数の画像信号を合成することにより、ダイナミックレンジを拡大した画像を得ることが可能となる。更に、複数に分割された被写体光束を複数の撮像素子で撮像することにより、複数の撮像素子を並行して動作させることができるため、連続撮影やブラケット撮影を高速に行うことが可能となる。

（１７） 上記読み込み手順で読み込まれる上記複数の画像信号は、上記撮像素子群のそれぞれの露光条件を変えて同時に撮像を行うことで得られた画像信号であり、
上記合成手順は、それら露光条件の異なる複数の画像信号から一枚の広ダイナミックレンジ画像を生成することを特徴とする（１６）に記載の画像信号処理プログラム。

（対応する実施形態）
この（１７）に記載の画像処理プログラムに関する実施形態は、第１乃至第４実施形態が対応する。

（作用効果）
この（１７）に記載の画像処理プログラムによれば、複数に分割された被写体光束を異なる露光条件による複数の撮像素子で撮像した画像信号を合成することにより、ダイナミックレンジを拡大した画像を得ることが可能となる。

（１８） 上記補正手順は、上記瞳分割レンズ群が形成された撮像素子によって得られた上記領域に対応する画像信号に対し、上記読み込み手順で読み込んだ上記領域及び上記領域の周辺領域に対応する複数の画像信号に基づき補正を行うことを特徴とする（１６）又は（１７）に記載の画像信号処理プログラム。

（対応する実施形態）
この（１８）に記載の画像処理プログラムに関する実施形態は、第１乃至第４実施形態が対応する。

（作用効果）
この（１８）に記載の画像処理プログラムによれば、上記領域下に対応する画像信号を、瞳分割レンズ群の影響を受けない、近傍周辺領域における画像信号に基づき補正することで、高精度な補正処理が可能となる。

（１９） 上記補正手順は、上記瞳分割レンズ群が形成された撮像素子によって得られた上記領域に対応する画像信号に対し、上記瞳分割レンズ群の伝達特性に関する補正を行うことを特徴とする（１６）乃至（１８）の何れかに記載の画像信号処理プログラム。

（対応する実施形態）
この（１９）に記載の画像処理プログラムに関する実施形態は、第２乃至第４実施形態が対応する。

（作用効果）
この（１９）に記載の画像処理プログラムによれば、瞳分割レンズ群による画質劣化を光学特性に基づき補正することで、高精度な補正処理が可能となる。

図１（Ａ）は、本発明の第１実施形態に係る撮像システムの光学系の構成図であり、図１（Ｂ）は、第１実施形態に係る撮像システムの信号処理系の構成図である。 図２（Ａ）は、マイクロレンズアレイと撮像素子の配置構成を示す図であり、図２（Ｂ）は、焦点検出領域におけるマイクロレンズアレイ及び撮像素子の断面構成を示す図であり、図２（Ｃ）は、撮像素子上の受光素子たるフォトダイオード、コンデンサーレンズ、再結像レンズの光軸方向から見た場合の配列を示す図である。 図３は、合焦、前ピン、後ピンにおけるマイクロレンズアレイ群及び受光素子群と撮影光学系との相対位置関係を説明するための図である。 図４は、信号処理部の構成を示すブロック図である。 図５は、焦点検出領域補正部の構成の一例を示すブロック図である。 図６は、焦点検出領域、回折領域、及び撮像領域に関する説明図である。 図７（Ａ）は、第１実施形態における信号処理のソフトウェア処理に関するフローチャートを示す図であり、図７（Ｂ）は、本発明の第２実施形態における信号処理のソフトウェア処理に関するフローチャートを示す図である。 図８は、第２実施形態に係る撮像システムの信号処理系の構成図である。 図９は、第２実施形態における信号処理部の構成を示すブロック図である。 図１０（Ａ）は、第２実施形態における領域特性記録部の構成の一例を示すブロック図であり、図１０（Ｂ）は、第２実施形態における焦点検出領域補正部の構成の一例を示すブロック図である。 図１１は、Ｆ値の算出に関する説明図である。 図１２は、解像度ＭＴＦの算出に関する説明図である。 図１３は、本発明の第３実施形態に係る撮像システムの信号処理系の構成図である。 図１４は、第３実施形態における信号処理部の構成を示すブロック図である。 図１５（Ａ）は、第３実施形態における広ＤＲ画像生成部の構成の一例を示すブロック図であり、図１５（Ｂ）は、本発明の第４実施形態における広ＤＲ画像生成部の構成の一例を示すブロック図である。 図１６（Ａ）は、第３実施形態における信号処理のソフトウェア処理に関するフローチャートを示す図であり、図１６（Ｂ）は、第４実施形態における信号処理のソフトウェア処理に関するフローチャートを示す図である。 図１７は、第４実施形態に係る撮像システムの信号処理系の構成図である。 図１８は、第４実施形態における信号処理部の構成を示すブロック図である。

符号の説明

１０…カメラ筐体、 １２…撮影光学系、 １４…フォーカシングレンズ、 １６…絞り、 １８…プリズム系、 ２０…第１撮像素子、 ２２…マイクロレンズアレイ、 ２４…第２撮像素子、 ２６…システムコントローラ、 ２８…中央演算処理部（ＣＰＵ）、 ３０…リードオンリメモリ（ＲＯＭ）、 ３２…ランダムアクセスメモリ（ＲＡＭ）、 ３４…ＥＥＰＲＯＭ、 ３６…レンズ駆動部、 ３８…露光制御部、 ４０…表示部、 ４２…焦点検出演算部、 ４４…ファーストレリーズスイッチ（１ＲＳＷ）、 ４６…セカンドレリーズスイッチ（２ＲＳＷ）、 ４８…エリア選択ＳＷ、 ５０，１１２，１３４，１５６…信号処理部、 ５２…出力部、 ５４，１１０…領域特性記録部、 ５６，５６Ａ，５６Ｂ…フォトダイオード、 ５８…マイクロレンズ、 ６０…受光部、 ６２…マイクロレンズアレイ領域、 ６４…焦点検出領域、 ６６…回折領域、 ６８…撮像領域、 ７０…半導体基板、 ７２…色フィルタ、 ７４…透明層、 ７６…コンデンサーレンズ、 ７８…再結像レンズ、 ８０…視野マスク、 ８２…マスク、 ８４…分割光束、 ８６…第１Ａ／Ｄ、 ８８…第２Ａ／Ｄ、 ９０…第１画像用バッファ、 ９２…第２画像用バッファ、 ９４，１１６，１５８…焦点検出領域補正部、 ９６，１３６，１６０…広ＤＲ画像生成部、 ９８…圧縮部、 １００…画像間信号比算出部、 １０２…焦点領域乗算部、 １０４，１６２…焦点領域抽出部、 １０６…焦点領域置換部、 １０８…回折領域補正部、 １１４…露光条件設定部、 １１８…撮像条件特定部、 １２０…領域判定部、 １２２…パラメータ選択部、 １２４…パラメータ用ＲＯＭ、 １２６，１３８，１６４…補間部、 １２８…補正部、 １３０…焦点領域補正・置換部、 １３２…第２カラー撮像素子、 １４０…ＹＣ分離部、 １４２…ＹＣ合成部、 １４４…適正露光抽出部、 １４６…変換特性算出部、 １４８…輝度補正部、 １５０，１７２…作業用バッファ、 １５２…輝度合成部、 １５４…第１カラー撮像素子、 １６６…Ｙ／Ｃ分離部、 １６８…色差補正部、 １７０…Ｙ／Ｃ合成部、 １７４…画像合成部。

Claims (19)

1. 撮影光学系と、
   上記撮影光学系を通過した被写体光束を複数の光束に分割する光束分割手段と、
   上記光束分割手段からの複数の被写体光束を結像するように配置された複数の撮像素子群と、
   上記撮像素子群のうちの一つの撮像素子の素子面上の所定の領域上に形成され、上記光束分割手段からの光束の一つを瞳分割し、上記領域上に結像させる瞳分割レンズ群と、
   上記撮像素子群のそれぞれの撮影条件を変えて撮像を行うよう制御する撮影制御手段と、
   上記瞳分割レンズ群が形成された撮像素子によって得られた上記領域に対応する画像信号に対し、上記撮影制御手段による制御に従って撮像された複数の画像信号に基づき補正を行う補正手段と、
   上記補正手段による上記補正処理前の画像信号または上記補正処理後の画像信号に基づいて、焦点検出を行う焦点検出手段と、
   上記撮影制御手段による制御に従って撮像された、上記補正後の画像信号を含む複数の画像信号から一枚の画像を合成する合成手段と、
   を具備することを特徴とする撮像システム。
2. 上記撮影制御手段は、上記撮像素子群のそれぞれの露光条件を変えて同時に撮像を行うよう制御する露光制御手段を有し、
   上記合成手段は、上記露光制御手段による制御に従って撮像された露光条件の異なる複数の画像信号から一枚の広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成手段を有することを特徴とする請求項１に記載の撮像システム。
3. 上記露光制御手段は、上記撮像素子群により得られた上記領域に対応する画像信号に対し、適正な露光条件が得られるように上記撮像素子群の制御を行うことを特徴とする請求項２に記載の撮像システム。
4. 上記補正手段は、上記瞳分割レンズ群が形成された撮像素子によって得られた上記領域に対応する画像信号に対し、上記撮影制御手段による制御に従って撮像された上記領域及び上記領域の周辺領域に対応する複数の画像信号に基づき補正を行う領域補正手段を有することを特徴とする請求項１乃至３の何れかに記載の撮像システム。
5. 上記補正手段は、上記瞳分割レンズ群が形成された撮像素子によって得られた上記領域に対応する画像信号に対し、上記瞳分割レンズ群の伝達特性に関する補正を行う劣化補正手段を有することを特徴とする請求項１乃至４の何れかに記載の撮像システム。
6. 上記撮像素子群は、モノクロ画像信号を出力し、
   上記焦点検出手段及び上記合成手段は、モノクロ画像信号の輝度に基づき上記焦点検出及び画像の合成を行うことを特徴とする請求項１乃至５の何れかに記載の撮像システム。
7. 上記撮像素子群は、カラー画像信号を出力し、
   上記焦点検出手段及び上記合成手段は、カラー画像信号に基づき上記焦点検出及び画像の合成を行うことを特徴とする請求項１乃至５の何れかに記載の撮像システム。
8. 上記撮像素子群のうち、上記瞳分割レンズ群が形成された撮像素子はモノクロ画像信号を出力し、その他の撮像素子はカラー画像信号を出力し、
   上記合成手段は、
   上記カラー画像信号に対し輝度成分を抽出する抽出手段と、
   上記モノクロ画像信号の輝度及び上記抽出手段により抽出された輝度成分に基づき、上記撮影制御手段による制御に従って撮像された複数の画像信号から１枚の画像を合成する輝度成分合成手段と、
   を有することを特徴とする請求項１乃至５の何れかに記載の撮像システム。
9. 上記焦点検出手段により検出された焦点に基づきフォーカスを制御するフォーカス制御手段を更に具備することを特徴とする請求項１乃至８の何れかに記載の撮像システム。
10. 上記光束分割手段は、光束を２つに分割して出射するプリズム部であり、
    上記撮像素子群は、上記プリズム部の２つの出射面のそれぞれに備えられた２つの撮像素子からなることを特徴とする請求項１乃至９の何れかに記載の撮像システム。
11. コンピュータを、
    撮影光学系を通過した被写体光束を複数の光束に分割する光束分割手段からの複数の被写体光束を結像するように配置された複数の撮像素子群のそれぞれの撮影条件を変えて撮像を行うよう制御する撮影制御手段、
    上記光束分割手段からの光束の一つを瞳分割し、上記撮像素子群のうちの一つの撮像素子の素子面上の所定の領域上に結像させる瞳分割レンズ群を、上記領域上に形成した上記撮像素子群のうちの一つによって得られた上記領域に対応する画像信号に対し、上記撮影制御手段による制御に従って撮像された複数の画像信号に基づき補正を行う補正手段、
    上記補正手段による上記補正処理前の画像信号または上記補正処理後の画像信号に基づいて、焦点検出を行う焦点検出手段、
    上記撮影制御手段による制御に従って撮像された、上記補正後の画像信号を含む複数の画像信号から一枚の画像を合成する合成手段、
    として機能させるための画像信号処理プログラム。
12. 上記撮影条件を変えた撮像は、上記撮像素子群のそれぞれの露光条件を変えて同時に撮像を行い、
    上記画像の合成は、上記撮像された露光条件の異なる複数の画像信号から一枚の広ダイナミックレンジ画像を生成することを特徴とする請求項１１に記載の画像信号処理プログラム。
13. 上記露光条件を変えた同時撮像は、上記撮像素子群により得られた上記領域に対応する画像信号に対し、適正な露光条件が得られるように上記撮像素子群を制御して行うことを特徴とする請求項１２に記載の画像信号処理プログラム。
14. 上記補正は、上記瞳分割レンズ群が形成された撮像素子によって得られた上記領域に対応する画像信号に対し、上記撮像された上記領域及び上記領域の周辺領域に対応する複数の画像信号に基づき補正を行うことを特徴とする請求項１１乃至１３の何れかに記載の画像信号処理プログラム。
15. 上記補正は、上記瞳分割レンズ群が形成された撮像素子によって得られた上記領域に対応する画像信号に対し、上記瞳分割レンズ群の伝達特性に関する補正を行うことを特徴とする請求項１１乃至１４の何れかに記載の画像信号処理プログラム。
16. コンピュータに、
    撮影光学系を通過した被写体光束を複数の光束に分割する光束分割手段からの複数の被写体光束を結像するように配置された複数の撮像素子群と、上記撮像素子群のうちの一つの撮像素子の素子面上の所定の領域上に形成され、上記光束分割手段からの光束の一つを瞳分割し、上記領域上に結像させる瞳分割レンズ群と、を備えるカメラシステムにより、上記撮像素子群のそれぞれの撮影条件を変えて撮像を行って得られた複数の画像信号を読み込む読み込み手順と、
    上記読み込み手順によって読み込まれた、上記瞳分割レンズ群を形成した上記一つの撮像素子によって得られた上記領域に対応する画像信号に対し、上記読み込み手順によって読み込まれた、複数の画像信号に基づき補正を行う補正手順と、
    上記補正後の画像信号と上記読み込み手順で読み込まれた複数の画像信号から、一枚の画像を合成する合成手順と、
    を実行させるための画像信号処理プログラム。
17. 上記読み込み手順で読み込まれる上記複数の画像信号は、上記撮像素子群のそれぞれの露光条件を変えて同時に撮像を行うことで得られた画像信号であり、
    上記合成手順は、それら露光条件の異なる複数の画像信号から一枚の広ダイナミックレンジ画像を生成することを特徴とする請求項１６に記載の画像信号処理プログラム。
18. 上記補正手順は、上記瞳分割レンズ群が形成された撮像素子によって得られた上記領域に対応する画像信号に対し、上記読み込み手順で読み込んだ上記領域及び上記領域の周辺領域に対応する複数の画像信号に基づき補正を行うことを特徴とする請求項１６又は１７に記載の画像信号処理プログラム。
19. 上記補正手順は、上記瞳分割レンズ群が形成された撮像素子によって得られた上記領域に対応する画像信号に対し、上記瞳分割レンズ群の伝達特性に関する補正を行うことを特徴とする請求項１６乃至１８の何れかに記載の画像信号処理プログラム。

Images