JP5411842B2

JP5411842B2 - 撮像装置

Info

Publication number: JP5411842B2
Application number: JP2010272130A
Authority: JP
Inventors: 圭祐大森
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2010-12-07
Filing date: 2010-12-07
Publication date: 2014-02-12
Anticipated expiration: 2030-12-07
Also published as: US20130258139A1; WO2012077464A1; JP2012124622A

Description

本発明は、同一被写体を異なる視点で撮像する複数の撮像系を備えた撮像装置に関する。

近年、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置の高機能化や高画質化が進んでいる。撮像画像の画質を決める要因の１つとして、ダイナミックレンジがある。カメラにおけるダイナミックレンジとは識別可能な最大輝度と最小輝度の比である。現在市販されている一般的なデジタルカメラに搭載されているＣＣＤやＣＭＯＳなどの撮像素子のダイナミックレンジは高いものでも２０００：１程度である。一方、被写体の最大輝度と最小輝度の比は、シーンによっては１０００００：１以上あり、そのようなシーンを撮像する場合、明部に露出を合わせると暗部の光量が不足し黒潰れし、暗部に露出を合わせると明部が飽和し白飛びしてしまうという問題がある。

黒潰れや白飛びによる画質劣化を防ぐには、ダイナミックレンジを拡大する必要がある。センサ自体のダイナミックレンジを拡大する以外に、例えば、特許文献１には、露出の異なる複数の画像を合成することでダイナミックレンジを拡大する技術が提案されている。この方法では、同一の撮像系で複数回撮像するため、被写体が動体である場合には合成に用いる複数の画像にずれが生じ、合成が困難になるという問題があった。

また、動被写体撮像時のずれを回避するため、例えば、特許文献２では、複数の撮像系で被写体を同時に撮像した画像を合成する多眼式カメラが提案されている。この多眼式カメラは、被写体像の光束を受光して撮影するＣＣＤと、ＣＣＤに被写体像を導くための複数の撮影光学系とを備え、複数の撮影光学系にそれぞれ異なる可視光透過率の光学フィルタが装着され、複数の撮影光学系からの複数の被写体像が同時に撮影される。

特開平１０−３３６５２５号公報特開２００２−２８１３６１号公報

しかしながら、上記特許文献２の方法は次のような課題を有している。すなわち、可視光透過率の異なるフィルタを各撮像系に備えることによって各撮像系を異なる露出に設定しているが、フィルタの可視光透過率は固定であるため、撮像するシーンに対して各撮像系の露出差が必ずしも適切にはならない。また、視点の異なる複数の画像を合成に用いる場合には、複数の画像間に視差が発生する。例えば、手前の被写体ほど視差は大きくなり、遠方にある被写体ほど視差は小さくなる。しかし、特許文献２の方法では、この視差について考慮されていないため、視点の異なる複数の画像を単純に合成してしまうと、各被写体画像に位置ずれなどが発生し合成がうまくいかない可能性がある。

本発明は、上述のごとき実情に鑑みてなされたもので、ダイナミックレンジを広げつつ、適切な露出で高画質な合成画像を得ることができる撮像装置を提供すること、を目的とする。

上記課題を解決するために、本発明の第１の技術手段は、複数の撮像系と、該複数の撮像系により撮像された複数の画像の視差を算出する視差算出部と、前記複数の画像中の被写体の明るさの大小関係及び位置関係を判定する判定部と、前記判定部の判定結果に基づき複数の撮像系をそれぞれ異なる露出に制御可能な露出制御部と、前記視差と前記露出に基づいて前記複数の画像を合成する画像合成部とを備え、前記判定部により明るい被写体と暗い被写体とが前後に配置されていると判定された場合、前記露出制御部は、前記画像合成部が前記複数の画像を合成する際に基準となる基準画像を撮像する撮像系の露出を後景側の被写体に合わせ、他方の撮像系の露出を前景側の被写体に合うよう制御することを特徴とする。

第２の技術手段は、第１の技術手段において、前記複数の画像は、前記基準となる画像を撮像する撮像系により後景側の被写体に露出を合わせて撮像された第１の画像と、前記他方の撮像系により前景側の被写体に露出を合わせて撮像された第２の画像とで構成され、前記視差算出部は、前記第１の画像と前記第２の画像とから視差を算出し、前記画像合成部は、前記視差算出部により算出された視差に基づいて画像合成する際に、前記第１の画像の画素値が所定範囲にある領域に対しては前記第１の画像の画素値を用い、また、前記第１の画像の画素値が所定範囲にない領域に対しては前記第２の画像の前記領域に対応する領域の画素値を用いて画像合成することを特徴とする。

第３の技術手段は、複数の撮像系と、該複数の撮像系により撮像された複数の画像の視差を算出する視差算出部と、前記複数の画像中の被写体の明るさの大小関係及び位置関係を判定する判定部と、前記判定部の判定結果に基づき複数の撮像系をそれぞれ異なる露出に制御可能な露出制御部と、前記視差と前記露出に基づいて前記複数の画像を合成する画像合成部とを備え、前記判定部により明るい被写体と暗い被写体とが奥行き方向に交互に配置されていると判定された場合、前記露出制御部は、前記画像合成部が前記複数の画像を合成する際に基準となる画像を撮像する撮像系の露出を手前の被写体とは明るさの異なる被写体に合わせ、他方の撮像系の露出を手前の被写体に合うよう制御することを特徴とする。

第４の技術手段は、第３の技術手段において、前記複数の画像は、前記基準となる画像を撮像する撮像系により手前の被写体とは明るさの異なる被写体に露出を合わせて撮像された第１の画像と、前記他方の撮像系により手前の被写体に露出を合わせて撮像された第２の画像とで構成され、前記視差算出部は、前記第１の画像と前記第２の画像とから視差を算出し、前記画像合成部は、前記視差算出部により算出された視差に基づいて画像合成する際に、前記第１の画像の画素値が所定範囲にある領域に対しては前記第１の画像の画素値を用い、また、前記第１の画像の画素値が所定範囲にない領域に対しては前記第２の画像の前記領域に対応する領域の画素値を用いて画像合成することを特徴とする。

第５の技術手段は、第１または第３の技術手段において、前記露出制御部は、前記複数の撮像系を同じ露出に制御し、前記視差算出部は、前記露出制御部により同じ露出に制御された前記複数の撮像系により撮像された複数の画像の視差を算出し、前記判定部は、前記複数の画像の画素値に基づいて各被写体の明るさの大小関係を判定し、前記視差算出部により算出された各被写体の視差に基づいて各被写体の位置関係を判定することを特徴とする。

本発明によれば、視点の異なる複数の画像を撮像する際に、各撮像系毎の露出を被写体に応じて適切に制御すると共に、得られた複数の画像を視差に基づいて合成することにより、ダイナミックレンジを広げつつ、暗部から明部まで露出の合った高画質な合成画像を得ることが可能となる。

本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。本発明の撮像装置による画像合成方法の一例を説明するためのフロー図である。左右に配置された２つの撮像系を用いて、左右に配置された明るい被写体（明部）と暗い被写体（暗部）を撮像する場合の一例を模式的に示した図である。撮像系２Ｌの露出を明被写体に合わせて撮像した画像と、同じく撮像系２Ｌの露出を暗被写体に合わせて撮像した画像とを示す図である。撮像系２Ｌの露出を明被写体に合わせて撮像した画像と、撮像系２Ｒの露出を暗被写体に合わせて撮像した画像を示す図である。左右２つの画像の対応する点の明るさが一致するよう左側の画像の画素値を補正した補正画像を示す図である。明被写体、暗被写体共に適切な露出で撮像された合成画像の一例を示す図である。撮像系２Ｌ，２Ｒの撮像可能な輝度範囲を示す図である。左右に配置された２つの撮像系を用いて、前後に配置された明被写体（明部）と暗被写体（暗部）を撮像する場合の一例を模式的に示した図である。撮像系２Ｌの露出を明被写体に合わせて撮像した画像と撮像系２Ｒの露出を暗被写体に合わせて撮像した画像を示す図である。明部から暗部まで適切な露出で撮像された合成画像を示す図である。撮像系２Ｌの露出を暗被写体に合わせて撮像した画像と撮像系２Ｒの露出を明被写体に合わせて撮像した画像を示す図である。合成画像の一例を示す図である。あるシーンの各視差における明るさの平均値の一例を示す図である。あるシーンの各明るさにおける平均視差の一例を示す図である。左右に配置された２つの撮像系を用いて、手前側から明被写体、暗被写体、明被写体の順に配置されている被写体を撮像する場合の一例を模式的に示す図である。撮像系２Ｌの露出を明被写体に合わせて撮像した画像と撮像系２Ｒの露出を暗被写体に合わせて撮像した画像を示す図である。撮像系２Ｌの露出を明被写体に合わせて撮像した画像と撮像系２Ｒの露出を暗被写体に合わせて撮像した画像を示す図である。合成画像の一例を示す図である。撮像系２Ｌの露出を暗被写体に合わせて撮像した画像と撮像系２Ｒの露出を明被写体に合わせて撮像した画像を示す図である。撮像系２Ｌの露出を暗被写体に合わせて撮像した画像と撮像系２Ｒの露出を明被写体に合わせて撮像した画像を示す図である。合成画像の一例を示す図である。

以下、添付図面を参照しながら、本発明の撮像装置に係る好適な実施の形態について説明する。

図１は、本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。図中、１は撮像装置を示す。撮像装置１は、同一被写体を異なる視点で撮像する複数の撮像系２を備える。この撮像系２は、本例では左右に２つ配置され、固体撮像素子としてのＣＣＤ（Charge Coupled Device）と、ＣＣＤに被写体像を導くための撮影光学系とで構成される。また、撮像装置１は、複数の撮像系２により撮像された複数の画像の視差を算出する視差算出部３と、複数の画像中の被写体の明るさの大小関係及び位置関係を判定する判定部４と、判定部４の判定結果に基づき複数の撮像系２をそれぞれ異なる露出に制御可能な露出制御部５と、視差算出部３で算出した視差と露出制御部５で設定した露出に基づいて複数の画像を合成する画像合成部６とを備える。

すなわち、判定部４は、同一被写体に含まれる２つ以上の被写体に対して各被写体の明るさの大小関係及び各被写体の位置関係を判定する。露出制御部５は、判定部４の判定結果に基づいて複数の撮像系２をそれぞれ異なる露出に制御する。視差算出部３は、露出制御部５で異なる露出に制御された複数の撮像系２により撮像された複数の画像から視差を算出する。画像合成部６は、視差算出部３で算出した視差に基づいて複数の画像を合成する。

図２は、本発明の撮像装置による画像合成方法の一例を説明するためのフロー図である。まず、撮像装置１の露出制御部５は、左右２つの撮像系２Ｌ，２Ｒを同じ露出に制御し、これら２つの撮像系２Ｌ，２Ｒにより同一被写体を撮像する（ステップＳ１）。この同一被写体には明るさの異なる２つ以上の被写体が含まれているものとする。また、ステップＳ１で撮像された同一被写体の左右の画像情報は視差算出部３及び判定部４に入力される。次に、視差算出部３は、撮像系２Ｌ，２Ｒにより入力された左右の画像情報から各被写体の視差を算出する（ステップＳ２）。この視差の算出には例えば後述するブロックマッチング法を利用することができる。

次に、判定部４は、撮像系２Ｌ，２Ｒより入力された左右の画像情報から例えば画素値（ＲＧＢ値）を取得し、取得した画素値に基づいて各被写体の明るさの大小関係を判定すると共に、視差算出部３で算出された各被写体の視差に基づいて各被写体の位置関係（配置関係ともいう）を判定する（ステップＳ３）。各被写体の明るさの大小関係は、各被写体毎の画素値（ＲＧＢ）をＹ値（ＹＣｂＣｒ）に変換し、例えば各被写体の明るさの平均値を比較することで、相対的に明るい被写体と暗い被写体とを判定できる。また、各被写体の配置関係は、撮像系２Ｌ，２Ｒから見て、手前の被写体ほど視差が大きく、遠方の被写体ほど視差が小さいという関係から、各被写体の視差が異なっていれば、各被写体は前後に配置されており、また、各被写体の視差が同じであれば、各被写体は左右に配置されていると判定できる。

次に、判定部４による判定の結果（ステップＳ４）、左右に明るい被写体と暗い被写体が配置されていると判定された場合（図中、左右明暗の場合）、露出制御部５は、一方の撮像系の露出を明るい被写体に合わせ、他方の撮像系の露出を暗い被写体に合わせる（ステップＳ５）。また、前後に明るい被写体と暗い被写体が配置されていると判定された場合（図中、前後明暗の場合）、露出制御部５は、一方の撮像系の露出を後景側の明るい被写体（又は暗い被写体）に合わせ、他方の撮像系の露出を前景側の暗い被写体（又は明るい被写体）に合わせる（ステップＳ６）。そして、ステップＳ５またはステップＳ６で異なる露出に制御された撮像系２Ｌ，２Ｒにより同一被写体を撮像する。この同一被写体を撮像して得られた左右の画像情報は視差算出部３及び画像合成部６に入力される。

次に、視差算出部３は、撮像系２Ｌ，２Ｒにより入力された左右の画像情報から各被写体の視差を算出する（ステップＳ７）。そして、画像合成部６は、視差算出部３で算出された各被写体の視差に基づいて撮像系２Ｌ，２Ｒにより入力された左右２つの画像情報を１つの画像に合成する（ステップＳ８）。このフローにおいて、ステップＳ１では、撮像系２Ｌ，２Ｒを同じ露出に設定しているが、これは、視差をより正しく算出し、この視差に基づいて撮像系２Ｌ，２Ｒに最適な露出を設定するためである。また、ステップＳ８で画像合成処理に用いる視差は、各フレームにおいて異なる露出で撮像された左右画像から算出されるものである。つまり、最初の１フレームのみ各撮像系毎に最適な露出を設定するために同じ露出で行う撮像と、さらに、決定した各撮像系毎の異なる露出に基づき合成画像を得るために行う撮像と計２回撮像されるが、２フレーム以降は同じ露出での撮像は必要ないため、各撮像系毎の異なる露出による１回のみの撮像となる。

＜第１の実施形態＞
本発明の第１の実施形態では、判定部４により明るい被写体と暗い被写体とが左右に配置されていると判定された場合、露出制御部５は、一方の撮像系の露出を明るい被写体に合わせ、他方の撮像系の露出を暗い被写体に合わせて制御する。なお、判定部４は、図２のフローで説明したように、同じ露出で撮像した左右の画像情報から各被写体の明るさと視差を取得し、これに基づいて各被写体の明るさの大小関係と各被写体の配置関係を判定してもよいし、あるいは、各被写体の明るさを輝度計などの測光センサを用いて取得し、各被写体までの距離情報を測距センサにより取得してもよい。また、距離情報については、焦点距離や撮像素子（ＣＣＤセンサ）の画素ピッチ等の撮像系の仕様が既知であれば、各被写体の視差から算出してもよい。このようにして得られた被写体の明るさ及び距離情報に基づいて、各被写体の明るさの大小関係と各被写体の配置関係を判定してもよい。

そして、上記により異なる露出に制御された撮像系２Ｌ，２Ｒによって同一の被写体が撮像される。従って、画像合成に用いる複数の画像は、一方の撮像系により明るい被写体に露出を合わせて撮像された第１の画像と、他方の撮像系により暗い被写体に露出を合わせて撮像された第２の画像とで構成される。視差算出部３は、第１の画像と第２の画像とから視差を算出し、画像合成部６は、視差算出部３により算出された視差に基づいて画像合成する際に、第１の画像または第２の画像のいずれか一方を基準画像とし、基準画像の画素値が所定範囲にある領域に対しては基準画像の画素値を用い、また、基準画像の画素値が所定範囲にない領域に対しては他方の画像の当該領域に対応する領域の画素値を用いて画像合成する。以下、第１の実施形態について具体例を示して説明する。

図３は、左右に配置された２つの撮像系２Ｌ，２Ｒを用いて、左右に配置された明るい被写体（明部）と暗い被写体（暗部）を撮像する場合の一例を模式的に示した図である。図中、１０ａは明るい被写体（以下、明被写体）、１０ｂは暗い被写体（以下、暗被写体）を示す。また、図４に、撮像系２Ｌの露出を明被写体１０ａに合わせて撮像した画像２Ｌ１と、同じく撮像系２Ｌの露出を暗被写体１０ｂに合わせて撮像した画像２Ｌ２とを示す。明被写体１０ａと暗被写体１０ｂの輝度比が撮像系２Ｌのダイナミックレンジより広いため、露出を明被写体１０ａに合わせると画像２Ｌ１に示すように暗被写体画像１０ｂＬが黒潰れし、露出を暗被写体１０ｂに合わせると画像２Ｌ２に示すように明被写体画像１０ａＬが白飛びしてしまう。

そこで、本実施形態では、一方の撮像系２Ｌの露出を明被写体１０ａに合わせて撮像し、他方の撮像系２Ｒの露出を暗被写体１０ｂに合わせて撮像し、両方の撮像画像を合成することにより、明部から暗部まで白飛びや黒潰れのない露出の合った画像を得るようにしている。

図５に、撮像系２Ｌの露出を明被写体１０ａに合わせて撮像した画像２Ｌ１と、撮像系２Ｒの露出を暗被写体１０ｂに合わせて撮像した画像２Ｒ１を示す。画像２Ｌ１と画像２Ｒ１は本発明の第１の画像と第２の画像に相当するものとする。露出の設定方法は、既知の技術として、例えば、画像の平均画素値が所定の値となるようにする方法や、画像の最大画素値あるいは最小画素値が所定の値となるようにする方法などが知られている。また、画像合成用の視差をより正しく算出するためには、撮像系２Ｌの撮像画像に黒潰れ領域がなく、撮像系２Ｒの撮像画像に白飛び領域がないほうがよいため、両撮像系の露出差をあまり大きくとらないほうが望ましい。露出は、撮像装置１の絞り、感度、シャッタ速度等を制御することで設定することが出来る。複数の撮像系２Ｌ，２Ｒの露出を独立に制御することで、撮像するシーンに適した露出差に設定することが出来る。

次に、画像合成に用いる視差の算出方法について述べる。図５の画像２Ｌ１と画像２Ｒ１とでは被写体像の位置が異なるように、視点の異なる撮像系２Ｌ，２Ｒで撮像された画像には視差がある。例えば、光軸が平行な２つの撮像系で撮像した場合、手前にある被写体ほど視差が大きくなり、遠方にある被写体ほど視差が小さくなり、無限遠にある被写体の視差はゼロとなる。従って、画像合成の際には視差を補正して合成する必要がある。なお、本例の場合、２つの被写体１０ａ，１０ｂは、撮像系２Ｌ，２Ｒから等距離にあるため、それぞれの視差は等しいと判定される。従って、２つの被写体１０ａ，１０ｂのいずれか一方の視差を算出すればよい。

視差を算出する方法としては、例えば、公知の技術として、ブロックマッチング法がある。ブロックマッチング法とは、画像間の類似度を評価する方法であり、一方の画像からある領域を選択し、その領域と最も類似度の高い領域を他方の画像から選択し、一方の画像から選択された領域と他方の画像から選択された最も類似度の高い領域との位置のずれが視差となる。類似度の評価には様々な評価関数が用いられる。例えば、ＳＡＤ（Sum of Absolute Difference）と言われる、両画像の画素値または輝度値の差異の絶対値の総和が最小となる領域を最も類似度の高い領域として選択する方法がある。

ここで、異なる露出設定で撮像された画像の輝度値や画素値を用いてブロックマッチングを行う場合は、露出差を考慮し、２つの画像の対応する点の明るさが一致するよう一方の画像の輝度値や画素値を補正してからマッチングをするとよい。例えば、画像２Ｌ１と画像２Ｒ１の露出差ΔＥＶが２ＥＶ（Exposure Value）であり、両画像の画素値がセンサに入射する光量に対して線形である場合は、画像２Ｌ１の画素値に２のΔＥＶ乗を掛けることで、２つの画像の対応する画素の明るさを一致させることが出来る。

図６に、画像２Ｌ１と画像２Ｒ１の対応する点の明るさが一致するよう画像２Ｌ１の画素値を補正した画像２Ｌ１′を示す。このようにして、明るさの一致した画像２Ｌ１′と画像２Ｒ１とを用いてブロックマッチングを行えばよい。なお、ＥＶとは、ｌｏｇ２｛（絞り値の２乗）／（シャッタ速度）｝で与えられる露出設定値であり、絞り値が１．０、シャッタ速度が１．０秒のときの状態が０．０ＥＶである。

次に、画像を合成する方法について述べる。露出の異なる複数の画像を合成する場合、いずれか一方の画像を基準画像とし、この基準画像において適切な露出で撮像された領域については、基準画像の画素値を用い、基準画像において露出が適切でない領域については、他方の画像の当該領域に対応する領域の画素値を用いることで、明部から暗部まで適切な露出で撮像された画像を合成することが出来る。例えば、図５の画像２Ｌ１と画像２Ｒ１を、画像２Ｌ１を基準として合成する場合、明被写体１０ａについては画像２Ｌ１の明被写体画像１０ａＬの画素値をそのまま用い、暗被写体１０ｂについては画像２Ｒ１の暗被写体画像１０ｂＲの画素値を用いることで、図７に示すように、明被写体１０ａ、暗被写体１０ｂ共に適切な露出で撮像された合成画像２ＬＲ１を得ることが出来る。

基準画像において適切な露出で撮像されているか否かを判断する方法としては、例えば、８ビットの画像（最大画素値が２５５）とした場合、画素値ＲＧＢの最大値が例えば２５０以上である場合、又は、画素値ＲＧＢの最小値が例えば５以下である場合に露出が適切でないと判定することができる。露出が適切であるか否かを判断するための閾値については、撮像系の仕様、特性等を考慮して適切な閾値を設定すればよい。なお、画像合成する際には、ブロックマッチング法により視差を算出する場合と同様、露出差を考慮する必要がある。例えば、画像２Ｒ１の画素を合成に用いる場合は、画像２Ｒ１の画素値を２のΔＥＶ乗で割ることで、画像２Ｌ１の対応する画素の明るさと一致させることができる。

ここで、ブロックマッチング法による視差算出についてより詳細に説明する。前述のように、画像合成時に、異なる露出設定で撮像された画像の画素値を用いてブロックマッチング法により視差を算出する場合、画像間の露出差を考慮し、両画像の対応する点の明るさが一致するよう一方の画像の輝度値または画素値を補正してからマッチングをするとよい。しかしながら、両画像の露出差が大きい場合には以下に述べる問題が生じる。

図８に、撮像系２Ｌ，２Ｒの撮像可能な輝度範囲を示す。撮像２Ｌの露出は明部に、撮像系２Ｒの露出は暗部に合わせて撮像している。図中、暗部（低輝度部分）は撮像系２Ｌでは黒潰れしており、明部（高輝度部分）は撮像系２Ｒでは白飛びしており、斜線（ハッチング）部は両撮像系２Ｌ，２Ｒで重複する輝度範囲である。この斜線部の輝度範囲においては、両撮像系で撮像された画像の露出差を補正することでブロックマッチングを行い、視差を算出することが出来る。しかしながら、撮像系２Ｌにおける黒潰れ領域では、画素値が０であれば補正不可能であり、０でなくともノイズが多いために補正しても正しい視差を算出することが困難な場合がある。また、同様に、撮像系２Ｒにおける白飛び領域では、画素値が２５５であれば適切に補正することが出来ず、正しい視差を算出することが困難な場合がある。

従って、画像合成時に正しい視差を算出するためには、両撮像系ともに黒潰れ領域または白飛び領域がなるべく発生しないように撮像時の露出が適切に制御されることが望ましい。具体的には、両撮像系における撮像可能輝度範囲の重複部分が多くなるように、両撮像系の露出差を小さく制御することが考えられる。なお、両撮像系に対して適切な露出を設定するために、各被写体の明るさと視差（距離）が必要となる。このため本実施形態では、まず、両撮像系２Ｌ，２Ｒを同じ露出に設定して同一被写体を撮像し、得られた左右の撮像画像から各被写体の明るさと視差を算出する。そして、算出した明るさと視差に基づいて両撮像系２Ｌ，２Ｒの露出をシーンに合わせて適切に制御する。このように同じ露出に設定することで、より正しい視差を求めることができる。

なお、白飛び領域、黒潰れ領域のように視差を正しく算出できない可能性がある領域については、例えば、その周辺領域において視差を正しく算出できていると判断できる領域の視差の値を用いて補間することで算出してもよい。

また、撮像するシーンが急激に変化した場合は、視差の算出が困難になったり、露出の設定が適切でなくなったりする可能性がある。そこで、撮像するシーンが急激に変化した場合は、一旦撮像系２Ｌ，２Ｒを同じ露出設定にし、明るさと視差を算出した後、再度、それぞれの撮像系２Ｌ，２Ｒの露出を適切に設定してもよい。

＜第２の実施形態＞
本発明の第２の実施形態では、判定部４により明るい被写体と暗い被写体とが前後に配置されていると判定された場合、露出制御部５は、一方の撮像系の露出を後景側の被写体に合わせ、他方の撮像系の露出を前景側の被写体に合わせて制御する。そして、異なる露出に制御された撮像系２Ｌ，２Ｒにより同一の被写体が撮像される。従って、画像合成に用いる複数の画像は、一方の撮像系により後景側の被写体に露出を合わせて撮像された第１の画像と、他方の撮像系により前景側の被写体に露出を合わせて撮像された第２の画像とで構成される。視差算出部３は、第１の画像と第２の画像とから視差を算出し、画像合成部６は、視差算出部３により算出された視差に基づいて画像合成する際に、第１の画像を基準画像とし、基準画像の画素値が所定範囲にある領域に対しては基準画像の画素値を用い、また、基準画像の画素値が所定範囲にない領域に対しては第２の画像の当該領域に対応する領域の画素値を用いて画像合成する。以下、第２の実施形態について具体例を示して説明する。

図９は、左右に配置された２つの撮像系２Ｌ、２Ｒを用いて、前後に配置された明被写体（明部）と暗被写体（暗部）を撮像する場合の一例を模式的に示した図である。図中、１１ａは明被写体、１１ｂは暗被写体を示す。また、図１０に、撮像系２Ｌの露出を明被写体１１ａに合わせて撮像した画像２Ｌ２と撮像系２Ｒの露出を暗被写体１１ｂに合わせて撮像した画像２Ｒ２を示す。図１０において、前景側の明被写体１１ａに合わせた画像２Ｌ２を基準とし、画像２Ｌ２と画像２Ｒ２を合成する際に、画像２Ｌ２で白飛びや黒潰れしていない適切な露出で撮像されている明被写体１１ａは画像２Ｌ２の明被写体画像１１ａＬの画素値を用い、また、画像２Ｌ２で適切な露出で撮像されていない暗被写体１１ｂは画像２Ｒ２の暗被写体画像１１ｂＲの画素値を用いればよい。これにより、図１１に示すような、明部から暗部まで適切な露出で撮像された合成画像２ＬＲ２が得られる。

しかしながら、図１１の合成画像２ＬＲ２では明被写体画像１１ａＬの左側がオクルージョン領域Ｏになっており、画質が劣化するという問題がある。このオクルージョン領域Ｏは、図１０の画像２Ｌ２では暗被写体１１ｂが撮像されているが、画像２Ｒ２では明被写体１１ａが撮像されており、暗被写体１１ｂは明被写体１１ａの影になっている。このように、一方の撮像系では撮像されており、他方の撮像系では撮像されていない領域をオクルージョンという。図１１に白色で示すオクルージョン領域Ｏは、図１０の画像２Ｌ２では黒潰れしているため、合成には適切な露出で撮像されている画像２Ｒ２の画素値を用いるのが好適であるが、画像２Ｒ２ではオクルージョンになっているため対応する領域に画素が存在しない。したがって、画像を合成する際、誤った画素値を合成に用いたり、露出の合っていない画像２Ｌ２の画素値を用いたりする必要があるため、画質が劣化する。

これに対して、図１２に、撮像系２Ｌの露出を暗被写体１１ｂに合わせて撮像した画像２Ｌ２と撮像系２Ｒの露出を明被写体１１ａに合わせて撮像した画像２Ｒ２を示す。また、図１３に画像２Ｌ２と画像２Ｒ２の合成画像を示す。図１２の例の場合、上記の図１０の例と異なり、遠景側の暗被写体１１ｂに露出を合わせた画像２Ｌ２（第１の画像に相当）が基準となり、暗被写体１１ｂは適切な露出で撮像されている画像２Ｌ２の暗被写体画像１１ｂＬの画素値を用い、また、画像２Ｌ２で適切な露出で撮像されていない明被写体１１ａは画像２Ｒ２（第２の画像に相当）の明被写体画像１１ａＲの画素値を用いる。この際、図１１に示すオクルージョン領域Ｏには、画像２Ｌ２の暗被写体画像１１ｂＬの画素が存在するため、図１３に示すようにオクルージョンによる劣化は生じない。

すなわち、図１２において、画像２Ｌ２では、明被写体画像１１ａＬの領域が適切な露出で撮像されておらず白飛び領域となっている。一方、画像２Ｒ２では、明被写体画像１１ａＲの領域が適切な露出で撮像されている。画像２Ｌ２の明被写体画像１１ａＬと画像２Ｒ２の明被写体画像１１ａＲとは視差分だけずれているが、画像２Ｌ２と画像２Ｒ２間では各被写体の視差が算出されているため、画像２Ｒ２においてこの視差分だけずらした領域の画素値が明被写体画像１１ａＲの領域の画素値に対応することになる。このようにして、画像２Ｌ２の明被写体画像１１ａＬの領域に、画像２Ｒ２の明被写体画像１１ａＲの領域の画素値を割り当てて、画像合成を行うことで、オクルージョンの発生を防止することができる。

以上より、明るさの異なる２つの被写体が前後にある場合には、基準となる撮像系の露出を遠い側にある被写体に合わせて撮像し、他方の撮像系の露出を近い側にある被写体に合わせて撮像することで、画像合成時にオクルージョンに起因する画質の劣化を回避することが出来る。

次に、明るさの異なる２つの被写体が前後にある場合における露出の設定方法について説明する。上述のように、明るさの異なる２つの被写体が前後にある場合は、基準となる撮像系の露出を遠い側（後景側）にある被写体に合わせ、他方の撮像系の露出を近い側（前景側）にある被写体に合わせて撮像することで、画質劣化のない画像合成を行うことができる。この際、被写体の明るさと被写体までの距離情報が必要となる。

明るさについては、例えば、ＣＣＤセンサに入射する光量に対して線形な値を持つＲＡＷデータを用いて算出することで、おおよその輝度値を算出することが出来る。また、画像の画素値（ＲＧＢ値）を用いて明るさを算出してもよい。画素値を用いる場合、正確な輝度を算出することは容易ではないが、被写体の明るさの大小の傾向を知ることは出来るため、露出を設定する際に必要な情報としては十分である。また、輝度計などの測光センサを用いてもよい。

距離情報については、例えば、測距センサや、視差を利用して算出する方法などがある。視差を利用する場合、例えば、光軸が平行となるよう２つの撮像系を配置して撮像した場合、手前にある被写体ほど視差が大きくなり、遠方にある被写体ほど視差が小さくなり、無限遠にある被写体の視差はゼロとなる。したがって、視差の大小により被写体の前後関係を判定することが出来る。また、焦点距離やセンサの画素ピッチ等の撮像系の仕様が既知であれば、視差値から被写体までの距離を算出することも出来る。

次に、被写体の明るさと距離情報に基づいて撮像系の露出を設定する方法について述べる。本実施形態では、基準の撮像系の露出を後景に合わせ、他方の撮像系の露出を前景に合わせるため、例えば、各視差における明るさの平均値の情報より、ある視差値を閾値として前景と後景に分割すればよい。図１４に、あるシーンの各視差における明るさの平均値の一例を示す。この例においては、視差１から６は明るさの平均値が小さく、視差７以上は明るさの平均値が大きい。したがって、前景は明るく、後景は暗いと言える。そこで、基準の撮像系の露出を後景、例えば視差６以下の領域を適切な露出（ここでは暗い被写体に合わせた露出）で撮像するよう設定し、他方の撮像系の露出を前景、例えば視差７以上の領域を適切な露出（ここでは明るい被写体に合わせた露出）で撮像するよう設定すればよい。

また、各明るさにおける平均視差の情報より前景と後景に分割してもよい。図１５に、あるシーンの各明るさにおける平均視差の一例を示す。本例においては、明るい領域の平均視差が小さく、暗い領域の平均視差が大きいことから、前景は暗く、後景は明るいと判断することが出来る。したがって、基準の撮像系の露出を明部（後景）に合わせ、他方の撮像系の露出を暗部（前景）に合わせればよい。また、基準の撮像系の露出を最小視差の領域に合わせ、他方の撮像系の露出を最小視差以外の領域に合わせてもよい。また、基準の撮像系を最大視差以外の領域に合わせ、他方の撮像系を最大視差の領域に合わせてもよい。

＜第３の実施形態＞
本発明の第３の実施形態では、判定部４により明るい被写体と暗い被写体とが奥行き方向に交互に配置されていると判定された場合、露出制御部５は、一方の撮像系の露出を明るい被写体に合わせ、他方の撮像系の露出を暗い被写体に合わせて制御する。そして、異なる露出に制御された撮像系２Ｌ，２Ｒにより同一の被写体が撮像される。従って、画像合成に用いる複数の画像は、一方の撮像系により明るい被写体に露出を合わせて撮像された第１の画像と、他方の撮像系により暗い被写体に露出を合わせて撮像された第２の画像とで構成される。視差算出部３は、第１の画像と第２の画像とから視差を算出し、画像合成部６は、視差算出部３により算出された視差に基づいて画像合成する際に、第１の画像と第２の画像のうち、手前から２番目の被写体に露出を合わせた一方の画像を基準画像とし、基準画像の画素値が所定範囲にある領域に対しては基準画像の画素値を用い、また、基準画像の画素値が所定範囲にない領域に対しては他方の画像の当該領域に対応する領域の画素値を用いて画像合成する。以下、第３の実施形態について具体例を示して説明する。

図１６は、左右に配置された２つの撮像系２Ｌ，２Ｒを用いて、手前側から明被写体、暗被写体、明被写体の順に配置されている被写体を撮像する場合の一例を模式的に示す図である。図中、１２ａは明被写体、１２ｂは暗被写体、１２ｃは明被写体を示す。図１７に、撮像系２Ｌの露出を明被写体１２ａ，１２ｃに合わせて撮像した画像２Ｌ３と、撮像系２Ｒの露出を暗被写体１２ｂに合わせて撮像した画像２Ｒ３を示す。図１７において、画像２Ｌ３では暗被写体画像１２ｂＬが黒潰れしており、画像２Ｒ３では明被写体画像１２ａＲと明被写体画像１２ｃＲが白飛びしている。画像２Ｌ３と画像２Ｒ３を合成に用いる際、明被写体１２ａ，１２ｃは画像２Ｌ３の明被写体画像１２ａＬ，１２ｃＬの画素値を用い、暗被写体１２ｂは画像２Ｒ３暗被写体画像１２ｂＲの画素値を用いればよい。

また、図１８の画像２Ｌ３′は、図１７の画像２Ｌ３で適正な露出で撮像された領域（１２ａＬ，１２ｃＬ）を薄いグレーで示し、黒潰れしている領域（１２ｂＬ）を斜線で示したものである。また、図１８の画像２Ｒ３′は、図１７の画像２Ｒ３で適正な露出で撮像された領域（１２ｂＲ）を濃いグレーで示し、白飛びしている領域（１２ａＲ，１２ｃＲ）を斜線で示したものである。

ここで、暗被写体１２ｂの一部は明被写体１２ａの影となり、明被写体１２ｃの一部は暗被写体１２ｂの影となる。この際、画像２Ｌ３の領域１２ｂＬは黒潰れしているため、画像２Ｒ３の領域１２ｂＲの画素値を用いることが望ましいが、画像２Ｒ３の領域１２ｂＲの一部には白飛び領域１２ａＲがあり、対応する画素が存在しない。従って、図１７の画像２Ｌ３と画像２Ｒ３とを画像合成すると、図１９に示すようなオクルージョン領域Ｏ１（斜線の領域）が発生する。

すなわち、図１７において、画像２Ｌ３では、暗被写体画像１２ｂＬの領域が適切な露出で撮像されておらず黒潰れ領域となっている。一方、画像２Ｒ３では、暗被写体画像１２ｂＲの領域が適切な露出で撮像されている。画像２Ｌ２の暗被写体画像１２ｂＬと画像２Ｒ２の暗被写体画像１２ｂＲとはそれぞれの視差分だけずれているが、画像２Ｌ３と画像２Ｒ３間では各被写体の視差が算出されているため、画像２Ｒ３においてこの視差分だけずらした領域の画素値が暗被写体画像１２ｂＲの領域の画素値に対応することになる。このようにして、画像２Ｌ３の暗被写体画像１２ｂＬの領域に、画像２Ｒ３の暗被写体画像１２ｂＲの領域の画素値を割り当てて、画像合成を行うが、画像２Ｒ３の暗被写体画像１２ｂＲの領域の一部には白飛び領域１２ａＲがあり、対応する画素が存在しないため、画像合成したときにオクルージョン（図１９）となる。

これに対して、図２０に、撮像系２Ｌの露出を暗被写体１２ｂに合わせて撮像した画像２Ｌ３（第２の画像に相当）と、撮像系２Ｒの露出を明被写体１２ａ，１２ｃに合わせて撮像した画像２Ｒ３（第１の画像に相当）を示す。図２０において、画像２Ｌ３では明被写体画像１２ａＬ，１２ｃＬが白飛びしており、画像２Ｒ３では暗被写体画像１２ｂＲが黒潰れしている。画像２Ｌ３と画像２Ｒ３を合成に用いる際、暗被写体１２ｂは画像２Ｌ３の暗被写体画像１２ｂＬの画素値を用い、明被写体１２ａ，１２ｃは画像２Ｒ３の明被写体画像１２ａＲ，１２ｃＲの画素値を用いればよい。

また、図２１の画像２Ｌ３′は、図２０の画像２Ｌ３で適正な露出で撮像された領域（１２ｂＬ）を濃いグレーで示し、白飛びしている領域（１２ａＬ，１２ｃＬ）を斜線で示したものである。また、図２１の画像２Ｒ３′は、図２０の画像２Ｒ３で適正な露出で撮像された領域（１２ａＲ，１２ｃＲ）を薄いグレーで示し、黒潰れしている領域（１２ｂＲ）を斜線で示したものである。

ここで、図１７の例と同様に、暗被写体１２ｂの一部は明被写体１２ａの影となり、明被写体１２ｃの一部は暗被写体１２ｂの影となる。この際、画像２Ｌ３の領域１２ａＬ，１２ｃＬは白飛びしているため、画像２Ｒ３の領域１２ａＲ，１２ｃＲの画素値を用いることが望ましいが、画像２Ｒ３の領域１２ｃＲの一部には黒潰れ領域１２ｂＲがあり、対応する画素が存在しない。従って、図２０の画像２Ｌ３と画像２Ｒ３とを画像合成すると、図２２に示すようなオクルージョン領域Ｏ２（斜線の領域）が発生する。

すなわち、図２０において、画像２Ｌ３では、明被写体画像１２ａＬ，１２ｃＬの領域が適切な露出で撮像されておらず白飛び領域となっている。一方、画像２Ｒ３では、明被写体画像１２ａＲ，１２ｃＲの領域が適切な露出で撮像されている。画像２Ｌ２の明被写体画像１２ａＬ，１２ｃＬと画像２Ｒ２の明被写体画像１２ａＲ，１２ｃＲとはそれぞれの視差分だけずれているが、画像２Ｌ３と画像２Ｒ３間では各被写体の視差が算出されているため、画像２Ｒ３においてこの視差分だけずらした領域の画素値が明被写体画像１２ａＲ，１２ｃＲの領域の画素値に対応することになる。このようにして、画像２Ｌ３の明被写体画像１２ａＬ，１２ｃＬの領域に、画像２Ｒ３の明被写体画像１２ａＲ、１２ｃＲの領域の画素値を割り当てて、画像合成を行うが、画像２Ｒ３の明被写体画像１２ｃＲの領域の一部には黒潰れ領域１２ｂＲがあり、対応する画素が存在しないため、画像合成したときにオクルージョン（図２２）となる。

以上より、撮像系２Ｌの露出を暗被写体１２ｂに合わせ、撮像系２Ｒの露出を明被写体１２ａ，１２ｃに合わせて撮像した場合も、あるいは、撮像系２Ｌの露出を明被写体１２ａ，１２ｃに合わせ、撮像系２Ｒの露出を暗被写体１２ｂに合わせて撮像した場合も、画像合成時にオクルージョンが発生し、画質が劣化する可能性があると言える。しかしながら、図１９と図２２に示すように、オクルージョン領域は手前にある被写体ほど発生する可能性が高く、また、その領域も大きくなる。図１９と図２２に斜線で示すオクルージョン領域Ｏ１，Ｏ２の大きさが異なることからも明らかなように、基準となる撮像系２Ｌの露出を暗被写体１２ｂに合わせ、撮像系２Ｒの露出を明被写体部１２ａ，１２ｃに合わせて撮像した方（図２２の例）が、オクルージョン領域が小さく、画質劣化を抑えることが出来る。すなわち、画像２Ｌ３と画像２Ｒ３のうち、手前から２番目の暗被写体１２ｂに露出を合わせた画像２Ｌ３を基準画像とすることで、オクルージョン領域の影響を小さくすることが可能となる。

また、図１６の例とは逆に、手前側から暗被写体、明被写体、暗被写体の順に並んでいる場合についても、基準とする撮像系２Ｌの露出を手前から２番目の明被写体に合わせ、撮像系２Ｒの露出を暗被写体に合わせて撮像した方が、オクルージョンにより画質が劣化する領域を小さく抑えることが出来るといえる。つまり、撮像系から見て、手前側から明被写体、暗被写体、明被写体の順に並んでいても、あるいは、手前側から暗被写体、明被写体、暗被写体の順に並んでいても、基準とする撮像系の露出を手前から２番目の被写体に合わせることで、画像を合成した際にオクルージョンにより画質が劣化する領域を低減することが出来る。

１…撮像装置、２…撮像系、３…視差算出部、４…判定部、５…露出制御部、６…画像合成部。

Claims

複数の撮像系と、該複数の撮像系により撮像された複数の画像の視差を算出する視差算出部と、前記複数の画像中の被写体の明るさの大小関係及び位置関係を判定する判定部と、前記判定部の判定結果に基づき複数の撮像系をそれぞれ異なる露出に制御可能な露出制御部と、前記視差と前記露出に基づいて前記複数の画像を合成する画像合成部とを備え、
前記判定部により明るい被写体と暗い被写体とが前後に配置されていると判定された場合、前記露出制御部は、前記画像合成部が前記複数の画像を合成する際に基準となる基準画像を撮像する撮像系の露出を後景側の被写体に合わせ、他方の撮像系の露出を前景側の被写体に合うよう制御することを特徴とする撮像装置。
請求項１に記載の撮像装置において、前記複数の画像は、前記基準となる画像を撮像する撮像系により後景側の被写体に露出を合わせて撮像された第１の画像と、前記他方の撮像系により前景側の被写体に露出を合わせて撮像された第２の画像とで構成され、前記視差算出部は、前記第１の画像と前記第２の画像とから視差を算出し、前記画像合成部は、前記視差算出部により算出された視差に基づいて画像合成する際に、前記第１の画像の画素値が所定範囲にある領域に対しては前記第１の画像の画素値を用い、また、前記第１の画像の画素値が所定範囲にない領域に対しては前記第２の画像の前記領域に対応する領域の画素値を用いて画像合成することを特徴とする撮像装置。
複数の撮像系と、該複数の撮像系により撮像された複数の画像の視差を算出する視差算出部と、前記複数の画像中の被写体の明るさの大小関係及び位置関係を判定する判定部と、前記判定部の判定結果に基づき複数の撮像系をそれぞれ異なる露出に制御可能な露出制御部と、前記視差と前記露出に基づいて前記複数の画像を合成する画像合成部とを備え、
前記判定部により明るい被写体と暗い被写体とが奥行き方向に交互に配置されていると判定された場合、前記露出制御部は、前記画像合成部が前記複数の画像を合成する際に基準となる画像を撮像する撮像系の露出を手前の被写体とは明るさの異なる被写体に合わせ、他方の撮像系の露出を手前の被写体に合うよう制御することを特徴とする撮像装置。
請求項３に記載の撮像装置において、前記複数の画像は、前記基準となる画像を撮像する撮像系により手前の被写体とは明るさの異なる被写体に露出を合わせて撮像された第１の画像と、前記他方の撮像系により手前の被写体に露出を合わせて撮像された第２の画像とで構成され、前記視差算出部は、前記第１の画像と前記第２の画像とから視差を算出し、前記画像合成部は、前記視差算出部により算出された視差に基づいて画像合成する際に、前記第１の画像の画素値が所定範囲にある領域に対しては前記第１の画像の画素値を用い、また、前記第１の画像の画素値が所定範囲にない領域に対しては前記第２の画像の前記領域に対応する領域の画素値を用いて画像合成することを特徴とする撮像装置。
請求項１または３に記載の撮像装置において、前記露出制御部は、前記複数の撮像系を同じ露出に制御し、前記視差算出部は、前記露出制御部により同じ露出に制御された前記複数の撮像系により撮像された複数の画像の視差を算出し、前記判定部は、前記複数の画像の画素値に基づいて各被写体の明るさの大小関係を判定し、前記視差算出部により算出された各被写体の視差に基づいて各被写体の位置関係を判定することを特徴とする撮像装置。