JP6570230B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、撮像装置に関し、特にダイナミックレンジを拡大する技術に関するものである。

デジタルカメラ等の撮像装置において、露光量の異なる画像を複数枚撮影し、合成することでダイナミックレンジを拡大する技術が知られている。

特許文献１では、一つのマイクロレンズの下に複数の画素を有する撮像センサーにより、該複数の画素のうち、一部の画素のみで構成した画像（以下、瞳分割画像と称する）を同タイミングで複数生成させ、ＨＤＲ画像を生成する技術が開示されている。

特許文献２では、ダイナミックレンジを広げる時は、絞り値を大きくして、瞳分割画像で露光を変えてＨＤＲ合成を行い、そうでない時は、露光を変えずに瞳分割画像を単純加算した画像を生成する技術が開示されている。

特開２００２−１９９２８４号公報 国際公開第１２／００２２９８号

しかしながら、特許文献１は、露光量を変えた瞳分割画像を単純に加算してダイナミックレンジ（以下、Ｄレンジとも称する）を広げている為、Ｄレンジ拡大の効果が小さい。また、特許文献２は、瞳分割画像によるノイズ劣化を考慮せずに、ダイナミックレンジを広げたい時は一律に瞳分割画像によるＨＤＲを行ってしまう為、シーンによってはＳＮの良い最適な画像が得られない場合がある。

そこで、本発明の目的は、ダイナミックレンジが広くかつＳＮの良い画像の取得に有利な撮像装置を提供することである。

本発明の一側面としての撮像装置は、異なる瞳領域を通過した光束を受光する第１及び第２の光電変換素子を有する撮像素子と、前記第１及び第２の光電変換素子を異なる露光量で制御可能な露光制御手段と、前記第１及び第２の光電変換素子におけるシェーディング量を算出する算出手段と、前記第１及び第２の光電変換素子から出力される画素信号を合成して合成画像を生成する合成手段と、を有し、前記合成手段は、前記算出手段により算出される前記シェーディング量に応じて前記合成の要否を判定することを特徴とする。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、ダイナミックレンジが広くかつＳＮの良い画像の取得に有利な撮像装置を提供することができる。

本発明の実施例にかかる撮像装置の構成を示したブロック図である。 本発明の実施例にかかる撮像部１０２の画素構成を示した図である。 本発明の実施例にかかる撮像部１０２における像高を説明するための図である。 撮像面の中央近傍における瞳分割の概念を説明するための図である。 撮像面の中央近傍における瞳強度分布を説明するための図である。 撮像面の周辺像高における瞳分割の概念と瞳強度分布を説明するための図である。 絞りと瞳強度分布の関係を説明するための図である。 本発明の実施例にかかる露光量算出部１０５の構成を示したブロック図である。 本発明の実施例にかかる露光量算出部１０５内の処理を示した動作フロー図である。 図９のステップＳ９０６内の処理を示した動作フロー図である。 全開口画像と瞳分割画像の信号値の関係を示した図である。 半開口ＨＤＲ時の全開口画像と瞳分割画像の信号値の関係を示した図である。 半開口ＨＤＲ時の瞳分割画像と全開口ＨＤＲ時の全開口画像のノイズ評価値とＤレンジ拡大量の関係をグラフで示した図である。 半開口ＨＤＲと全開口ＨＤＲの概要について説明した図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

本実施例の撮像装置は、本撮影を行う際にＨＤＲ（ハイダイナミックレンジ）の手段を適応的に切り替えるというものである。

図１は、本発明の実施例にかかる撮像装置の構成を示したブロック図である。以下、図１を参照して、各ブロックについて説明する。なお、図１では、本実施例の撮像装置として、カメラ本体とレンズ装置とが一体的に形成されたレンズ一体型の撮像装置を例示的に示しているが、本発明はこれに限定されない。例えば、レンズ交換式一眼レフカメラ（カメラ本体）および交換レンズ（レンズ装置）から構成されるレンズ交換型の撮像装置に適用することも可能である。

図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備えている。この光学系１０１は、撮像部１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整する。撮像部１０２（撮像手段）は、光学系１０１を通過した被写体の光束を光電変換し電気信号に変換するＣＣＤやＣＭＯＳセンサー等の光電変換素子である。

Ａ／Ｄ変換部１０３は、入力された電気信号（画像信号、映像信号）をデジタルの画像（映像）に変換する。

画像処理部１０４は、入力されたデジタルの画像に対し、光学補正、ＮＲ、エッジ強調等の信号処理やＨＤＲ等の画像合成処理等の画像処理を行う。ＨＤＲの画像処理については、後ほど詳細に説明するが、例えば、異なる露光量で撮像部１０２により撮像された複数の画像を合成して１枚の合成画像（第１の画像）を生成することができる。また、適正露光量よりも暗く同じ露光量で撮像部１０２により撮像された画像の所定の輝度値よりも低輝度側の階調を補正して１枚の画像（第２の画像）を生成することができる。換言すれば、画像処理部１０４は、異なる露光量で撮影された複数の画像を合成する合成手段としての機能や、適正露光量よりも暗く同じ露光量で撮影された画像の所定の輝度値よりも低輝度側の階調を補正する補正手段としての機能を有する。画像処理部１０４はＡ／Ｄ変換部１０３から出力された画像のみでなく、記録部１１０から読み出した画像に対しても同様の画像処理を行うことができる。

露光量算出部１０５は、最適な入力画像を得る為に、撮影時の露光量を算出する部分であり、本発明に関わる部分である。適正になる露光量を算出するだけでなく、Ｄレンジ拡大を行うか否か判断し、撮影時の露光量をアンダー露出になるような露光量を算出する処理も行う。主に画像処理部１０４の処理結果を入力とし、算出した露光量を露光量制御部１０６に出力する。

露光量制御部１０６（露光制御手段）は、露光量算出部１０５によって算出された露光量を実現する為に、光学系１０１と撮像部１０２を制御して、絞り、シャッタースピード、センサーのアナログゲインを制御する。

システム制御部１０７は、本実施例の装置全体の動作を制御、統括する制御機能部である。画像処理部１０４で処理された画像から得られる輝度値や操作部１０８から送信された指示に基づいて、光学系１０１や撮像部１０２の駆動制御も行う。

表示部１０９は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像部１０２で生成された画像や、記録部１１０から読み出した画像を表示する。記録部１１０は、画像を記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよく、この情報記録媒体を着脱可能にしてもよい。

バス１１１は、画像処理部１０４、システム制御部１０７、表示部１０９、および、記録部１１０の間で画像をやり取りするために用いられる。

以上が、本発明の実施形態に関わる撮像装置に適用可能な構成である。

次に、本発明に係る撮像部１０２について詳細に説明する。

まず、撮像部１０２の構成について説明する。

図２（ａ）は、本実施例における図１の撮像部１０２の画素配列構成を示している。図２（ｂ）は、撮像部１０２が有する画素２００を拡大したものであり、マイクロレンズ２０１と一対の光電変換部２０３Ａ、２０４Ｂ（以下、瞳分割画素２０３Ａ（Ａ画素）、２０４Ｂ（Ｂ画素）と呼ぶ。）から構成される。このように、本実施例の撮像部１０２は、１つのマイクロレンズに対して複数の光電変換素子を有する構成となっている。換言すれば、本実施例の撮像部１０２（撮像素子）は、異なる瞳領域を通過した光束を受光する第１及び第２の光電変換素子を有する。露光量制御部１０６は、該複数の光電変換素子のそれぞれの露光時間（露光量）を制御することが可能であり、また複数の光電変換素子の露光開始タイミングを同じ（等しい）タイミングに制御することもできる。ここで、同じとは、完全に同じである場合と、許容誤差の範囲内で完全に同じ場合からずれている場合とを含む意味である。すなわち、露光量制御部１０６は、異なる瞳領域を通過した光束を受光する第１及び第２の光電変換素子を異なる露光量で制御可能に構成される。図２（ａ）にあるように撮像部１０２では画素２００が二次元的に規則的に配列されている。ここで、図３は撮像部１０２の全体像であり、画素２００は撮像面の中央近傍（図中の符号３００）に配置された画素とする。また、いずれの画素も瞳分割画素２０３Ａ、２０４Ｂそれぞれから独立に受光して得られた信号を出力可能である。右側の瞳分割画素２０３Ａから出力された信号をＡ（ｘ，ｙ）、左側の瞳分割画素２０４Ｂから出力された信号をＢ（ｘ，ｙ）としたとき、全開口信号ｇ（ｘ，ｙ）は下記（式１）で表現される。

ｇ（ｘ，ｙ）＝Ａ（ｘ，ｙ）＋Ｂ（ｘ，ｙ） ………（式１）
そして、瞳分割画素２０３Ａもしくは瞳分割画素２０４Ｂの信号から成る画像を瞳分割画像、全開口信号ｇから成る画像を全開口画像と呼ぶこととする。瞳分割画素２０３Ａから得られる第１の瞳分割画像と瞳分割画素２０４Ａから得られる第２の瞳分割画像（複数の画像）は、前述したようにそれぞれ独立して取得することができる。したがって、該第１の瞳分割画像および第２の瞳分割画像を、撮像部１０２により同じタイミングで撮像し、取得することができる。

なお、本実施例では、撮像部１０２が、１つのマイクロレンズに２つの光電変換素子を備える構成を示したが、本発明はこれに限定されず、例えば、２以上（例えば、４つ）設けられてもよい。

次に、画素２００における瞳分割の概念について図４を参照して説明する。

図４は、図２（ｂ）の画素２００のＳ−Ｓ断面を＋ｙ側から見た断面図と光学系１０１の射出瞳面を示す図である。図４では射出瞳面の座標軸と対応を取るため、断面図のｘ軸とｙ軸を図２に対して反転させている。なお、図４において図２と同じ部分は同じ符号で表記している。

撮像部１０２は、光学系１０１の結像面近傍に配置され、被写体からの光束は、光学系１０１の射出瞳４００を通過して、それぞれの画素に入射する。射出瞳４００の大きさは、絞りの大きさや、レンズを保持するレンズ枠などの大きさによって変化する。

また、瞳部分領域４０１Ａ、４０２Ｂは、２×１分割された瞳分割画素２０３Ａ、２０４Ｂの受光面と、マイクロレンズ２０１によって、概ね共役関係になっている。従って、各瞳部分領域を通過した光束は、共役関係にある各瞳分割画素で受光される。光学系１０１の射出瞳４００は、瞳分割数をＮｐ＝Ｍ×Ｎとして、異なる瞳部分領域にＮｐ分割される。光学系１０１の絞り値をＦとすると、瞳部分領域の実効絞り値は、概ね、

となる。また、瞳領域４０３は、Ｍ×Ｎ分割された光電変換部を全て合わせた際の画素２００全体で受光可能な瞳領域（全開口領域）である。本実施例では瞳分割数Ｍ×Ｎを２×１としているので、瞳部分領域の実効絞り値は、

となる。つまり、ひとつの瞳分割画像は全開口画像と比較して、１段分被写界深度が深く、暗い画像となる。

次に、撮像部１０２の構成における瞳分割画素で発生するシェーディングについて説明する。図５は図４のｘ軸断面における受光特性で、横軸は光学系１０１の射出瞳面における水平座標、縦軸は瞳分割画素の受光効率を表す。また、この縦軸は各開口絞りの透過率分布でもあるので、瞳分割画素の光束受光効率と見なすことができる。この光束受光効率の分布特性を瞳強度分布と呼ぶこととする。また、図５における点線は射出瞳４００の幅を投影したものである。

図４および図５より、撮像部１０２の撮像面の中央近傍の画素における瞳分割画素２０３Ａ、２０４Ｂに受光する光量は等しくなる。

瞳分割画素２０３Ａの瞳強度分布５０１Ａに着目すると、＋ｘ側はセンサーの瞳分割性能が十分でないことによる回折ボケのため緩やかなカーブとなっている。一方、−ｘ側はレンズ枠のケラレにより急なカーブになる。そのため、瞳強度分布５０１Ａは、強度のピークに対して非対称になっている。一方、瞳分割画素２０４Ｂの瞳強度分布５０２Ｂに関しては、瞳強度分布５０１Ａが左右反転した形状となっていて同様のことが言える。

反対に、図３の符号３０１で示すような撮像面の周辺像高における画素を示したのが図６である。

図６（ａ）は周辺像高部に配置された画素が有する瞳分割画素の投影像を示したものである。また、図６（ｂ）は図６（ａ）の瞳強度分布６１１Ａ，６１２Ｂを説明する図である。

図６（ａ）より、周辺像高における画素でも、瞳部分領域６０１Ａ、６０２Ｂ、および瞳領域６０３の構成は図４と同じである。一方、射出瞳６００の形状は口径食（ケラレ）によって変化する。その結果シェーディングが発生する。そのため、射出瞳の投影像の重心が瞳部分領域６０１Ａの中心寄りになり、図６（ｂ）にあるように、瞳部分領域６０１Ａの方が瞳部分領域６０２Ｂよりも受光効率が高くなり、明るい画像となる。また、反対の周辺像高ではこの現象の逆が起こり、瞳部分領域６０２Ｂの方が瞳部分領域６０１Ａよりも受光効率が高くなり、明るい画像となる。

また、絞り値によってもシェーディング量は大きく変化する。図７は、絞り値と射出瞳の幅の関係を、撮像面の中央近傍部、周辺像高部それぞれに配置された画素の瞳強度分布の図で示した図である。図７（ａ）と図７（ｂ）は、撮像面の中央近傍部に配置された画素の瞳強度分布、図７（ｃ）と図７（ｄ）は、撮像面の周辺像高部に配置された画素の瞳強度分布を示している。また、それぞれ図７（ａ）と図７（ｃ）は絞り値が小さい時、図７（ｂ）と図７（ｄ）は絞り値が大きい時を示している。図７で示すように、絞り値が大きくなると、絞り値が小さい時に比べ、射出瞳の幅が狭くなる。撮像面の中央近傍部に配置された場合は、受光される光量は、７０１Ａ、７０１Ｂの時のみでなく、射出瞳の幅が狭くなった時である７０２Ａ、７０２Ｂでも等しい。反対に、撮像面の周辺像高部に配置された場合は、受光される光量は、射出瞳の幅が広い場合では７０３Ａ、７０３Ｂで異なる。また、射出瞳の幅が狭くなった時でも、受光される光量は、７０３Ａ、７０３Ｂの様に７０４Ａ、７０４Ｂで異なる。加えて、撮像面の周辺像高部に配置された場合は、射出瞳の幅が狭くなる分、受光される光量の偏りは、７０３Ａ、７０３Ｂに比べ、７０４Ａ、７０４Ｂの方が大きくなる。したがって、絞り値が大きくなればなる程、周辺像高部に配置された画素のシェーディング量は大きくなる。

以上の撮像部１０２の構成と、瞳分割画素におけるシェーディングの説明を踏まえ、次に、露光量算出部１０５の処理について詳細に説明する。

本実施例における露光量算出部１０５は、本撮影を行う上で、瞳分割画素同士で露光を変えて撮影するか、同じ露光で撮影するか、をシーンに応じて選択し、露光量を算出するのが主な処理である。この選択を、ダイナミックレンジの拡大量と、前述した瞳分割画素におけるシェーディング量と、瞳分割画像同士の位置ずれである視差量と、に応じて行う所が本発明の肝となる。

図８は、本実施例における露光量算出部１０５の構成を示したブロック図である。

露光量算出部１０５は、適正露光量算出部８０１、Ｄレンジ拡大量算出部８０２、アンダー露光量算出部８０３、シェーディング量算出部８０４、視差量算出部８０５、ＨＤＲ手段選択部８０６、最終露光量決定部８０７によって構成される。

露光量算出部１０５内の各ブロックの処理を動作フローにしたのが、図９である。

以降、図９の動作フローを用いて説明する。

ステップＳ９０１において、適正露光量算出部８０１は、画像処理部１０４から取得した画像を入力とし、適正露光量ΔBvを算出する。ΔBvは、現在の画像処理部１０４から取得した画像の露光量に対し、どの程度露光量を変化させる必要があるかを示している。現在の画像処理部１０４から取得した画像の露光量をDefault_Bv、適正露光量をLast_Bvとすると、ΔBvは以下の（式２）の様に示す事ができる。なお、Last_BvやDefault_Bvの値が大きければ大きい程、露光量は小さくなり、Last_BvやDefault_Bvの値が小さければ小さい程、露光量は大きくなる。

Last_Bv=Default_Bv+ΔBv ………（式２）
適正露光量ΔBvの算出方法については、従来のＡＥ技術と同じく輝度値のブロック積分による重み計算等の公知の手法を用いればよく、例えば、特許第４７０８５７８号、特開２００８−７０５６２号公報に記載の手法を用いればよい。

ステップＳ９０２において、Ｄレンジ拡大量算出部８０２は、ステップＳ９０１で算出した適正露光量ΔBvを適用した際に、Ｄレンジをどの程度拡大しなければならないかを示すＤレンジ拡大量W_Drangeを算出する。換言すれば、Ｄレンジ拡大量算出部８０２（拡大量算出手段）は、適正露光量を適用した場合に必要なダイナミックレンジ拡大量を算出する。例えば、Ｄレンジを１段広げなければならない場合、Ｄレンジ拡大量W_Drangeの値は1となる。Ｄレンジ拡大量W_Drangeの算出方法については、従来のＡＥ技術と同じく、輝度のヒストグラムの飽和量を参照して算出する公知の手法を用いればよく、例えば、特開２０１１−５５１７１号公報に記載の手法を用いればよい。

ステップＳ９０３において、アンダー露光量算出部８０３は、ステップＳ９０１で算出した適正露光量ΔBvと、ステップＳ９０２で算出したＤレンジ拡大量W_Drangeを基に、Ｄレンジを拡大する際にアンダー露光量ΔBv_Underを算出する。アンダー露光量ΔBv_Underは、下記の（式３）によって算出される。

ΔBv_Under =ΔBv + W_Drange ………（式３）
ステップＳ９０４において、シェーディング量算出部８０４は、前述で説明した瞳分割画素におけるシェーディングを量で示したSHD_Lvを算出する。すなわち、シェーディング量算出部８０４（シェーディング量算出手段）は、１つのマイクロレンズに含まれる複数の光電変換素子におけるシェーディング量を算出する。換言すれば、異なる瞳領域を通過した光束を受光する第１及び第２の光電変換素子におけるシェーディング量を算出する。シェーディング量SHD_Lvの算出方法については、後程詳細に説明する。

ステップＳ９０５において、視差量算出部８０５は、瞳分割画像同士のずれ量である視差量の代表値PALA_Lvを算出する。本実施例の視差量PALA_Lvは画像全体の視差量の平均値を指しているが、画像全体の視差量のうち、最も大きい視差量をPALA_Lvとしても良いし、最も頻度が高い視差量をPALA_Lvとしても良い。瞳分割画像同士のずれ量である視差量の算出方法については、従来の瞳分割画素を用いたＡＦにおける焦点検出技術等の公知の手法を用いればよく、例えば、特開２０１３−１２５０９５号公報に記載の手法を用いればよい。

ステップＳ９０６において、ＨＤＲ手段選択部８０６は、ステップＳ９０１からステップＳ９０５までの算出した結果を入力として、ＨＤＲ手段を選択する。

ＨＤＲ手段について、図１４を用いて説明する。

ＨＤＲ手段として、本実施例では、半開口ＨＤＲ（第１のＨＤＲ手段、合成手段）と全開口ＨＤＲ（第２のＨＤＲ手段、補正手段）と呼称した２つの手段を用いる。

半開口ＨＤＲとは、図１４（ａ）の様に、瞳分割画素でＡ画素は適正の露光量、Ｂ画素はアンダーの露光量とそれぞれ露光量を変更して撮影する。そして、Ａ画素による瞳分割画像と、Ｂ画素による瞳分割画像を輝度値に応じて合成するＨＤＲを指す。すなわち、異なる瞳領域を通過した光束を受光する第１及び第２の光電変換素子から出力される画素信号を合成して合成画像を生成する手段である。

全開口ＨＤＲとは、図１４（ｂ）の様に、瞳分割画素同士で同じ露光量かつアンダー露光量で撮影する。そして、全開口の信号Ａ＋Ｂを生成した信号を入力として、点線で示した通常の階調カーブに対し、所定の輝度値よりも低輝度側の明るさを持ち上げた階調カーブを用いて出力信号を生成するＨＤＲを指す。

ステップＳ９０６において、半開口ＨＤＲと全開口ＨＤＲのどちらのＨＤＲ手段を用いるかの判断処理については、後程詳細に説明する。

ステップＳ９０７において、最終露光量決定部８０７は、ステップＳ９０６の判断結果に基づいて、瞳分割画素ＡとＢの露光量ΔBV_A、ΔBV_Bを決定する。現在の画像処理部１０４から取得した画像の露光量をDefault_Bv、最終的な瞳分割画素ＡとＢの露光量をLast_Bv_A, Last_Bv_Bとすると、ΔBv_A、ΔBV_Bは以下の(式４)の様に示す事ができる。

Last_Bv_A = Default_Bv＋ΔBv_A
Last_Bv_B = Default_Bv＋ΔBv_B …………（式４）
露光量ΔBV_A、ΔBV_Bの説明については、後程詳細に説明する。

ステップＳ９０７で決定した瞳分割画素ＡとＢの露光量ΔBV_A、ΔBV_Bを露光量制御部１０６へ結果を出力して露光量算出部１０５の処理は終了する。

次に、ステップＳ９０４で算出するシェーディング量SHD_Lvについて図１１を用いて説明を行う。

図１１（ａ）は撮影される開口領域の画像１１０１に対し、開口領域の中心の座標を（０，０）とした座標空間（ｘ，ｙ）を示した図である。本実施例では、開口領域の画像のうち、中心座標（０，０）を通り、かつ、ｘ方向にプロットした１１０２を用いてSHD_Lvを算出する。なお、プロットのデータ等は、Ｆ値・焦点距離・ピント位置毎に記録部１１０やＲＯＭ等にあらかじめ記録されているものとする。

中心座標（０，０）を通り、かつ、ｘ方向にプロットした１１０２の結果を図１１（ｂ）に示す。

図１１（ｂ）は、一面同じ輝度値を有する被写体を撮影した結果をプロットした結果である。横軸はｘ方向の座標、縦軸は輝度値を対数で表している。

１１０３のS_A+Bは、全開口画像の輝度値をプロットした結果であり、１１０４のS_A、１１０５のS_Bはそれぞれ瞳分割画像のＡ画素，Ｂ画素の輝度値をプロットした結果である。S_A+Bは、一面同じ輝度値を表現しているが、S_A、S_Bは図１１（ｂ）の様に、開口領域の中心から離れるにつれ、輝度値が増加、または減少し、クロスしたような形になる。一面同じ輝度値の値をYrefとすると、S_A+B、S_A、S_Bは下記（式５）で表す事ができる。

図１１（ｂ）の１１０６の点線部で示している部分が瞳分割画像の信号として所望の形であり、それよりも輝度値が大きい所は、露光量がオーバー、反対に輝度値が小さい所はアンダーの露光量になっている事を示している。Ａ画素で最も輝度値が大きく、露光量オーバーになる量をSHD_A_Over、反対に最も輝度値が小さく、露光量アンダーになる量をSHD_A_Underとする。同じくＢ画素もSHD_B_Over、SHD_B_Under、とすると、本実施例で示すシェーディング量SHD_Lvは以下の（式６）の様になる。なお、SHD_Lv、SHD_A_Over、SHD_A_Under、SHD_B_Over、SHD_B_Underはすべて対数で表している。

SHD_Lv=SHD_A_Over+SHD_A_Under= SHD_B_Over+SHD_B_Under
………（式６）
SHD_A_Overの量だけ、理想の露光量よりもオーバーの露光量で取得した輝度値になってしまう事を前述で説明した。だが、露光量がオーバーになってしまうという事は、撮影されるダイナミックレンジが所望のダイナミックレンジよりもオーバーの分だけ狭くなってしまうという事である。B画素のSHD_B_Overについても同様の事が言える。

その為、瞳分割画像同士を加算せず、瞳分割画像のみで全開口画像と同じ明るさ・ダイナミックレンジの画像を生成するには、図１１（ｃ）の様にする必要がある。

まず、図１１（ｃ）の１１０７で示した全開口画像のS_A+Bと同じダイナミックレンジを有する瞳分割画素を生成する為には、瞳分割されたＡ画素は、所望の瞳分割画像の信号１１０９と同じダイナミックレンジを有する必要がある。その為、全開口画像を生成する際のＡ画素の信号１１０８よりも露光量をSHD_A_Overの量だけアンダーの露光量で取得する必要がある。

SHD_A_Overの量だけアンダーの露光量で取得したＡ画素の信号１１１０に対し、デジタルゲインを場所に応じて強さを変えながら乗算する事により、所望の瞳分割画像の信号１１０９と同じダイナミックレンジを持つ信号を生成する事ができる。デジタルゲインで最も大きくかかるゲイン量をSHD_A_GAINとすると、SHD_Lvとの関係を下記（式７）の様に表す事が出来る。

SHD_A_GAIN = SHD_Lv = SHD_A_Over + SHD_A_Under ………（式７）
このデジタルゲインをシェーディング補正ゲインと呼称する。

次に、シェーディング補正ゲインで所望の瞳分割画像の信号１１０９になった後、全開口画像S_A+Bと同じ明るさにする為に、さらにデジタルゲインを乗算する必要がある。このデジタルゲインを瞳分割補正ゲインと呼称する。瞳分割補正ゲインをA/B_GAINとし、瞳分割数をD_NUMとすると（式８）の様に表す事が出来る。

例えば、本実施例の瞳分割数は２×１＝２なので、A/B_GAINは１段という事になる。

以上の様に、瞳分割画像を、全開口画像と同等の明るさ、ダイナミックレンジにする為には、シェーディングでオーバーになっている分、通常よりもアンダーの露光量で画像を取得する必要がある。そして、取得した画像信号にシェーディング補正ゲイン、瞳分割補正ゲインというデジタルゲインを施す必要がある。

以上を踏まえて、本発明の肝の部分である前述のステップＳ９０６の半開口ＨＤＲと全開口ＨＤＲの判断処理について詳細に説明する。

図１０は図９のステップＳ９０６の半開口ＨＤＲと全開口ＨＤＲの判断処理を動作フローにしたものである。以降、図１０の動作フロー図を用いて説明する。

ステップＳ９０６の処理は、半開口ＨＤＲを実施するか、全開口ＨＤＲを実施するか、ＨＤＲをせず通常撮影を行うかを判断し、選択する処理である。以下で説明するように、ＨＤＲ手段選択部８０６（選択手段）は、撮像条件に応じて、半開口ＨＤＲによる合成と、全開口ＨＤＲによる補正と、通常撮影の実施、のうちいずれを実行するかを選択する。

ステップＳ１００１は、Ｄレンジ拡大量W_Drangeが閾値TH_Drange_LV（第２の閾値）よりも大きく、ＨＤＲ処理を行う必要があるか否かを判断している。Ｄレンジ拡大量W_Drangeが閾値TH_Drange_LVよりも大きい場合はＨＤＲ処理が必要だと判断し、ステップＳ１００２へ進む。反対に、Ｄレンジ拡大量W_Drangeが閾値TH_Drange_LV以下である場合は、通常撮影で十分だと判断し、ステップＳ１００７へ進む。なお、本実施例では閾値TH_Drange_LVはあらかじめ決められた値とする。換言すれば、ＨＤＲ手段選択部８０６（判断手段）は、Ｄレンジ拡大量算出部８０２により算出されたＤレンジ拡大量に応じて、ＨＤＲを行うか否か（すなわち、通常撮影を行うか）を判断（選択）する。より具体的には、Ｄレンジ拡大量が第２の閾値より大きい場合は、ＨＤＲを行うと判断し、半開口ＨＤＲの実施または全開口ＨＤＲの実施を選択する。また、Ｄレンジ拡大量が第２の閾値以下である場合は、ＨＤＲを行わないと判断し、通常撮影の実施を選択する。

ステップＳ１００２は、視差量PALA_Lvが閾値TH_PALA_Lv（第１の閾値）よりも小さい否かを判断している。視差量PALA_Lvが閾値TH_PALA_Lvよりも小さい場合、瞳分割画像同士の位置合わせが可能と判定し、半開口ＨＤＲを実施すると判断し、ステップＳ１００３へ進む。反対に、視差量PALA_Lvが閾値TH_PALA_Lv以上である場合、瞳分割画像同士の位置合わせが困難な程、視差量が大きいと判定し、全開口ＨＤＲを実施すると判断し、ステップＳ１００６へ進む。なお、本実施例では閾値TH_PALA_Lvはあらかじめ決められた値とする。換言すれば、ＨＤＲ手段選択部８０６（選択手段）は、複数の光電変換素子（Ａ画素、Ｂ画素）から得られる複数の信号のずれ量である視差量に応じて、半開口ＨＤＲと全開口ＨＤＲの実施うちいずれかを選択する。より具体的には、視差量が第１の閾値より小さい場合は、半開口ＨＤＲを選択し、視差量が第１の閾値以上である場合は、全開口ＨＤＲを選択する。

ステップＳ１００３は、半開口ＨＤＲ時のノイズ評価値N_A/B、全開口ＨＤＲ時のノイズ評価値N_A+Bを算出する。ノイズ評価値N_A/B、N_A+Bの算出方法については後程詳細に説明する。

ステップＳ１００４は、ステップＳ１００３で算出した半開口ＨＤＲ時のノイズ評価値N_A/B（第１のノイズ評価値）が全開口ＨＤＲ時のノイズ評価値N_A+B（第２のノイズ評価値）よりも小さいか否か判断している。半開口ＨＤＲ時のノイズ評価値N_A/Bが全開口ＨＤＲ時のノイズ評価値N_A+Bよりも小さい場合、半開口ＨＤＲを実施する方がノイズは少ないと判断し、ステップＳ１００５へ進む。反対に、半開口ＨＤＲ時のノイズ評価値N_A/Bが全開口ＨＤＲ時のノイズ評価値N_A+B以上である場合、全開口ＨＤＲを実施する方がノイズは少ないと判断し、ステップＳ１００６へ進む。換言すれば、ステップＳ１００４では、算出されたシェーディング量に応じて（すなわちノイズ評価値に応じて）、複数の瞳分割画像の合成（すなわち半開口ＨＤＲ）の要否を判定している。

ステップＳ１００５は、半開口ＨＤＲを実施すると判断し、HDR_SWに2を代入し終了する。

ステップＳ１００６は、全開口ＨＤＲを実施すると判断し、HDR_SWに1を代入し終了する。

ステップＳ１００７は、通常撮影を行うと判断し、HDR_SWに0を代入し終了する。

以上が、ステップＳ９０６の処理である。本実施例では、画面一律で半開口ＨＤＲと全開口ＨＤＲの判断処理を行っているが、画面内を分割し、分割した領域毎に判断処理を行っても良い。すなわち、ＨＤＲ手段選択部８０６は、撮像部１０２の撮像面を複数の領域に分割し、該複数の領域のうち一部の領域において半開口ＨＤＲおよび全開口ＨＤＲのうち一方を選択し、該選択したＨＤＲ手段による処理を行わせるようにしてもよい。また、上記一部の領域とは他の領域において半開口ＨＤＲおよび全開口ＨＤＲのうち他方を選択し、該選択したＨＤＲ手段による処理を行わせるようにしてもよい。なお、画面内を分割し、分割した領域毎に処理を行うのは、上記判断処理のみに限らず、露光量制御、シェーディング量等の評価値算出処理全てに適用する事ができる。

次に、前述したステップＳ１００３における半開口ＨＤＲ時のノイズ評価値N_A/B、全開口ＨＤＲ時のノイズ評価値N_A+Bの算出方法について詳細に説明する。

まず、半開口ＨＤＲを実施する際の必要なデジタルゲインについて説明する。

図１２は、図１１（ｂ）、（ｃ）と同様、一面同じ輝度値を有する被写体を撮影した結果をプロットしたものである。横軸はｘ方向の座標、縦軸は輝度値を対数で表している。なお、本実施例では、瞳分割されたＡ画素を適正露光、Ｂ画素をアンダー露光として半開口ＨＤＲを実施する。

適正露光の全開口画像の信号S_A+Bを１２０１で示し、アンダー露光の全開口画像の信号S’_A+Bを１２０２で示している。また、全開口画像の信号S_A+B、S’_A+Bと同等の明るさ、ダイナミックレンジの画像を生成する為に露光された瞳分割画像の信号S_A、S’_Bを１２０３、１２０４で示している。前述で説明した様に、瞳分割画像の信号S_A、S’_Bは、全開口画像S_A+B、S’_A+Bを瞳分割画素同士の加算で生成する時の露光よりもそれぞれSHD_A_Over、SHD_B_Over分アンダーに露光されている。

全開口画像の信号S_A+B、S’_A+B相当の明るさ、ダイナミックレンジを生成する為に、瞳分割画像の信号S_A、S’_Bに対し、（式９）の様にシェーディング補正と瞳分割補正のデジタルゲインを最大で乗算する必要がある。

S_A+B ≒ S_A ＋ A/B_GAIN + SHD_A_GAIN
S’_A+B ≒ S’_B ＋ A/B_GAIN + SHD_B_GAIN ………（式９）
上記（式９）を鑑みて、半開口ＨＤＲ時のＡ画素、Ｂ画素のノイズ評価値をN_A，N_B、全開口ＨＤＲ時の全開口画素のノイズ評価値をN_A+Bとすると、下記の（式１０）の様に表す事が出来る。なお、本実施例では適正露光量とアンダー露光量の差分をＤ段とし、アンダー露光時に最低輝度はＤ段分ゲインアップする必要があるとする。本実施例では、ＤとＤレンジ拡大量W_Drangeは同値である。なお、Ｋは固定値である。

（式１０）の√で囲った部分は光ショットノイズにおける評価値を表しており、光ショットノイズの評価値に対し、デジタルゲインを乗算する事で最終的なノイズの評価値を生成している。

なお、本実施例では、半開口ＨＤＲのノイズ評価値N_A/Bは、適正露光で撮影するＡ画素のノイズ評価値N_Aの値をN_A/Bの値とし、暗電流ノイズ等はノイズの評価値に加えないものとする。

（式１０）を、横軸を前述したＤ段、縦軸をノイズ評価値としてグラフで示すと図１３の様になる。グラフ中の１３０１の様に半開口ＨＤＲ時のＡ画素のノイズ評価値N_Aが全開口ＨＤＲ時のＡ＋Ｂ画素のノイズ評価値N_A+Bと同値になるポイントが存在する。該ポイントよりもＤが小さい場合（該ポイント以下の場合）は、全開口ＨＤＲ時のＡ＋Ｂ画素のノイズの方が、半開口ＨＤＲ時のＡ画素のノイズよりも少ないと評価する。反対に、該ポイントよりもＤが大きい場合は、全開口ＨＤＲ時のＡ＋Ｂ画素のノイズの方が、半開口ＨＤＲ時のＡ画素のノイズよりも多いと評価する。

このように、ＨＤＲ手段選択部８０６は、シェーディング量算出部８０４により算出されたシェーディング量に基づいて、半開口ＨＤＲを実行した際の第１のノイズ評価値を算出するノイズ評価値算出手段としての機能を有する。また、全開口ＨＤＲを実行した際の第２のノイズ評価値を算出するノイズ評価値算出手段としての機能も有する。そして、ＨＤＲ手段選択部８０６は、算出した第１のノイズ評価値と第２のノイズ評価値とから、上述したように半開口ＨＤＲと全開口ＨＤＲのうちいずれかを選択する。より具体的には、第１のノイズ評価値が第２のノイズ評価値より小さい場合は、半開口ＨＤＲを選択し、第１のノイズ評価値が第２のノイズ評価値以上である場合は、全開口ＨＤＲを選択する。ここで、露光量算出部１０５で選択されたＨＤＲ手段は、後段の露光量制御部１０６で実行される。したがって、露光量制御部１０６は、シェーディング量算出部８０４により算出されるシェーディング量に応じて、異なる瞳領域を通過する光束を受光する第１及び第２の光電変換素子の露光量を制御する、と言い換えることもできる。つまり、露光量制御部１０６は、シェーディング量算出部８０４により算出されるシェーディング量に応じて、半開口ＨＤＲまたは全開口ＨＤＲを実行することができる。

以上の様にして、本実施例では、半開口ＨＤＲ時のノイズ評価値N_A/B、全開口ＨＤＲ時のノイズ評価値N_A+Bを算出するが、上記の方法に限らなくて良い。

このように、本発明は、半開口ＨＤＲを行うか否か（すなわち、全開口ＨＤＲまたは通常撮影を行うか否か）を、Ｄレンジ拡大量、シェーディング量から算出したノイズ評価値と、瞳分割画像間の視差量に応じて判断する。

最後に、前述したステップＳ９０７の瞳分割画素ＡとＢの露光量ΔBV_A、ΔBV_Bを決定方法について詳細に説明する。

前述したステップＳ９０６で半開口ＨＤＲを実施するか、全開口ＨＤＲを実施するか、通常撮影するかを示したHDR_SWによって、瞳分割画素ＡとＢの露光量ΔBV_A、ΔBV_Bを決定する。

HDR_SW＝０の時、つまり通常撮影を実施する際は、（式１１）の様に、ステップＳ９０１で算出した適正露光量ΔBvをそのままΔBV_A、ΔBV_Bに適用する。

ΔBv_A=ΔBv
ΔBv_B=ΔBv ………（式１１）
HDR_SW＝１の時、つまり全開口ＨＤＲを実施する際は、（式１２）の様に、ステップＳ９０３で算出したアンダー露光量ΔBv_underをそのままΔBV_A、ΔBV_Bに適用する。

ΔBv_A=ΔBv_under
ΔBv_B=ΔBv_under ………（式１２）
HDR_SW＝２の時、つまり半開口ＨＤＲを実施する際は、前述で図１２を使って説明した様に（式１３）で算出される値をΔBV_A、ΔBV_Bに適用する。SHD_A_Over、SHD_B_Overは前述と同じく、オーバー側に偏るシェーディングの最大量である。

ΔBv_A=ΔBv +SHD_A_Over
ΔBv_B=ΔBv_under +SHD_B_Over ………（式１３）
以上の様にして決定した瞳分割画素ＡとＢの露光量ΔBV_A、ΔBV_Bで制御し、本撮影を行い、それぞれHDR_SWに応じた処理を行う事で広ＤレンジかつＳＮの良い最適な画像をシーンに応じて取得する事が可能となる。よって、本発明によれば、ダイナミックレンジが広くかつＳＮの良い画像の取得に有利な撮像装置を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。

１０２ 撮像部
１０６ 露光量制御部
８０４ シェーディング量算出部

Claims (11)

1. 異なる瞳領域を通過した光束を受光する第１及び第２の光電変換素子を有する撮像素子と、
   前記第１及び第２の光電変換素子を異なる露光量で制御可能な露光制御手段と、
   前記第１及び第２の光電変換素子におけるシェーディング量を算出する算出手段と、
   前記第１及び第２の光電変換素子から出力される画素信号を合成して合成画像を生成する合成手段と、を有し、
   前記合成手段は、前記算出手段により算出される前記シェーディング量に応じて前記合成の要否を判定することを特徴とする撮像装置。
2. 前記第１及び第２の光電変換素子から出力される画素信号を合成して合成画像を生成する合成手段と、
   適正露光量よりも暗い露光量で前記撮像素子で撮像された画像の所定の輝度値よりも低輝度側の階調を補正する補正手段と、を有し、
   前記シェーディング量に応じて、前記合成手段による合成と前記補正手段による補正のうちいずれを実行するかを選択する選択手段と、
   を有することを特徴とする請求項１に記載の撮像装置。
3. 前記選択手段は、前記第１及び第２の光電変換素子から得られる複数の信号のずれ量である視差量に応じて、前記合成手段による合成と前記補正手段による補正のうちいずれを実行するかを選択することを特徴とする請求項２に記載の撮像装置。
4. 前記選択手段は、前記視差量が第１の閾値以上である場合は、前記補正手段による補正を選択することを特徴とする請求項３に記載の撮像装置。
5. 前記シェーディング量に基づいて、前記合成手段による合成または前記補正手段による補正を実行した際のノイズ評価値を算出するノイズ評価値算出手段を有し、
   前記選択手段は、前記ノイズ評価値算出手段により算出された前記合成手段による合成を実行した際の第１のノイズ評価値と、前記補正手段による補正を実行した際の第２のノイズ評価値に応じて、前記合成手段による合成と前記補正手段による補正のうちいずれを実行するかを選択することを特徴とする請求項２ないし４のいずれか１項に記載の撮像装置。
6. 前記選択手段は、前記第１のノイズ評価値が前記第２のノイズ評価値以上である場合は、前記補正手段による補正を選択することを特徴とする請求項５に記載の撮像装置。
7. 前記適正露光量を適用した場合に必要なダイナミックレンジ拡大量を算出する拡大量算出手段を有し、
   前記選択手段は、前記拡大量算出手段により算出されたダイナミックレンジ拡大量に応じて、前記合成を行うか否かを判断することを特徴とする請求項２ないし６のいずれか１項に記載の撮像装置。
8. 前記選択手段は、前記ダイナミックレンジ拡大量が第２の閾値より大きい場合は、前記合成を行うと判断することを特徴とする請求項７に記載の撮像装置。
9. 前記選択手段は、前記撮像素子の撮像面を複数の領域に分割し、該複数の領域のうち一部の領域において前記合成手段による合成および前記補正手段による補正のうち一方を選択し、該複数の領域のうち他の領域において前記合成手段による合成および前記補正手段による補正のうち他方を選択することを特徴とする請求項２ないし８のいずれか１項に記載の撮像装置。
10. 前記露光制御手段は、前記算出手段により算出される前記シェーディング量に応じて前記第１及び第２の光電変換素子の露光量を制御することを特徴とする請求項１ないし９のいずれか１項に記載の撮像装置。
11. 異なる瞳領域を通過した光束を受光する第１及び第２の光電変換素子を有する撮像素子と、前記第１及び第２の光電変換素子を異なる露光量で制御可能な露光制御手段と、を備えた撮像装置の撮像方法であって、
    前記第１及び第２の光電変換素子におけるシェーディング量を算出する算出ステップと、
    前記第１及び第２の光電変換素子から出力される画素信号を合成して合成画像を生成する合成ステップと、を有し、
    前記合成ステップでは、前記算出ステップにて算出される前記シェーディング量に応じて前記合成の要否が判定されることを特徴とする撮像方法。