JP5896788B2 - 画像合成装置及び画像合成方法 - Google Patents

Description

本発明は、露出量をそれぞれ異ならせて複数回の撮像を行うことにより得られた複数の画像の画像データを合成する画像合成装置及び画像合成方法に関し、特に、複数の画像データを合成する際のレベル合わせの技術に関する。

露出量の異なる複数の画像を撮影し、撮影した画像を合成して、ダイナミックレンジの拡大等を行う画像合成方法が知られている。このような画像合成を行う場合、撮影したそれぞれの画像に対して画像レベルが一致するようにレベル合わせを行ってから、合成処理が行われる。

図１０は、従来技術に係る画像合成装置の構成を示すブロック図である。この画像合成装置は、撮像部１００１、カメラ信号処理部１００２、露出段差設定部１００３、露出制御部１００４、フレームメモリ１００５、レベル設定部１００６、レベルゲイン処理部１００７，１００８を備える。

撮像部１００１は、レンズ、絞り、イメージセンサ及びセンサゲイン部等で構成されており、撮影した画像を画像信号として出力する。カメラ信号処理部１００２は、撮像部１００１から出力された画像信号から輝度信号や色信号を生成する。ここで、輝度信号とは、ＲＧＢの色信号から変換した輝度信号（Ｙ）であるが、ＲＧＢのそれぞれの色信号は、単独の信号でも画像の明るさの情報を持つので、輝度信号に置き換えて使用することができる。以下の説明では、これらの明るさの情報を持つデータをまとめて、画像データとして説明する。

露出段差設定部１００３は、撮影の際の露出量を設定する。露出制御部１００４は、露出段差設定部１００３からの指示に従い、撮像部１００１の露出量を制御する。フレームメモリ１００５は、撮影した画像データを一時的に記憶する。レベル設定部１００６は、露出段差設定部１００３からの情報に従って、画像データに対して行うレベル合わせのためのレベル合わせゲインを設定する。レベルゲイン処理部１００７，１００８は、レベル設定部１００６の指示に従って、画像データのレベルを調整する。

図１０の画像合成装置は、更に、動き検出部１００９、合成比率設定部１０１０、合成比率調整部１０１１，１０１２及び画像合成部１０１３を備える。動き検出部１００９は、レベル合わせされた２枚の画像データについて、差分情報等を求めて、画像内の動き情報を検出する。合成比率設定部１０１０は、２枚の画像を合成するための合成比率を設定する。合成比率調整部１０１１，１０１２は、合成比率設定部１０１０からの指示に従って、画像の合成比率を調整する。画像合成部１０１３は、合成比率が掛け合わされた２枚の画像データを加算し、これにより合成画像１０１４が作成される。

次に、図１０の画像合成装置において、露出の異なる２枚の画像を撮影し、合成する手順について説明する。ここでは、低露出画像を撮影した後に高露出画像を撮影して合成する場合について説明するが、低露出画像と高露出画像とを撮影する順番は逆であっても構わない。

最初に、露出段差設定部１００３が、低露出の露出段差を、例えば、適正露出に対して“−２段”に設定する。露出制御部１００４は、指示された“−２段”に相当する露出量になるように撮像部１００１の露出量を制御する。例えば、シャッタスピードのみの制御ならば１／４倍の露出時間を設定し、絞りのみの制御ならば２段絞った絞り値を設定し、センサゲインのみの制御であればセンサゲイン部に１／４倍のゲインを設定する。或いは、“−２段”の露出量が得られるように、シャッタスピード、絞り及びセンサゲインの設定を組み合わせる。撮像部１００１は、設定された露出量で低露出画像の撮影を行い、画像信号を出力する。カメラ信号処理部１００２は、撮像部１００１から出力された画像信号から低露出画像データを生成し、フレームメモリ１００５に一時的に記憶する。

次に、露出段差設定部１００３が、高露出の露出段差を、例えば、適正露出に対して“＋２段”に設定する。露出制御部１００４は、指示された“＋２段”に相当する露出量になるように撮像部１００１の露出量を制御する。例えば、シャッタスピードのみの制御ならば４倍の露出時間を設定し、絞りのみの制御ならば２段開いた絞り値を設定し、センサゲインのみの制御であればセンサゲイン部に４倍のゲインを設定する。或いは、“＋２段”の露出量が得られるように、シャッタスピード、絞り及びセンサゲインの設定を組み合わせる。撮像部１００１は、指示された設定値で高露出画像の撮影を行い、画像信号を出力する。カメラ信号処理部１００２は、撮像部１００１から出力された画像信号から高露出画像データを生成する。

次に、レベル設定部１００６が、２枚の画像（低露出画像、高露出画像）を合成するに際して、低露出画像データと高露出画像データのレベルを合わせるために、レベルゲイン処理部１００７，１００８に対するレベル設定を行う。具体的には、低露出画像データについては、４倍のレベル合わせゲインをレベルゲイン処理部１００８に設定し、高露出画像データについては、１／４倍のレベル合わせゲインをレベルゲイン処理部１００７に設定する。

続いて、低露出画像データが、フレームメモリ１００５から読み出され、レベルゲイン処理部１００８でレベル合わせが行われてから、動き検出部１００９、合成比率設定部１０１０及び合成比率調整部１０１２に送られる。一方、高露出画像データは、カメラ信号処理部１００２から出力され、レベルゲイン処理部１００７でレベル合わせが行われてから、動き検出部１００９、合成比率設定部１０１０及び合成比率調整部１０１１に送られる。

その後、動き検出部１００９は、レベル合わせされた低露出画像データと高露出画像データを比較して、画像内の動き情報を検出する。例えば、低露出画像データと高露出画像データを一定の領域に区分し、各領域の差分を求め、差分値の絶対値が大きい場合にはその領域は動き領域と判断する。また、合成比率設定部１０１０は、低露出画像データと高露出画像データの明るさ情報及び動き検出部１００９からの情報により、合成比率を設定する。即ち、画像の明るい部分は低露出画像データが主に合成されるように合成比率を設定し、画像の暗い部分は高露出画像データが主に合成されるように合成比率を設定する。更に、合成比率設定部１０１０は、動き領域については、低露出画像データと高露出画像データのいずれか一方を出力するように合成比率を設定する。これにより、合成後の画像データの動き領域におけるブレ等の画質劣化を回避することができる。

最後に、合成比率調整部１０１１，１０１２がそれぞれ、合成比率設定部１０１０からの指示に従って画像の合成比率を調整して、画像合成部１０１３へ画像データを送り、画像合成部１０１３が２枚の画像データを加算して、合成画像１０１４を作成する。

こうして低露出画像データと高露出画像データとを合成した場合の、低露出画像及び高露出画像の輝度値と各画像データの画素値との関係を図１１に示す。同様に、低露出画像データと高露出画像データとを合成した場合の、各画像データの画素値と画素数との関係を表すヒストグラムを図１２に示す。

図１１では、横軸は画像の輝度値を示し、縦軸は画素値の大きさを示している。図１１において、「白抜き線Ｌ」は低露出画像データを示しており、「太線Ｈ」は高露出画像データを示している。「Ｎ」はレベル合わせの目標となる適正露出の画像データを示している。図１２では、横軸は画素値を示し、縦軸はその画像値を持つ画素の画素数を示している。図１２において、「ヒストグラムＬＡ」は低露出画像データを示しており、「ヒストグラムＨＡ」は高露出画像データを示しており、「ヒストグラムＮＡ」は適正露出の画像データを示している。図１２（ａ）〜（ｄ）はそれぞれ、図１１（ａ）〜（ｄ）と対応している。

以下、適正露出をレベル合わせの目標とする例で説明する。図１１（ａ）に示すように、白抜き線Ｌで示される低露出画像は、輝度値についてはＹ０からＹ２までの広い輝度範囲を撮影するが、画素値はＶ０からＶ１までの低い値に止まり、明るい画像のデータが白飛びしないように撮影される。逆に、太線Ｈで示される高露出画像では、輝度値についてはＹ０からＹ１までの狭い輝度範囲を撮影するが、画素値はＶ０からＶ２までの高い値となり、暗い画像のデータが黒潰れしないように撮影される。

図１１（ｂ）は、低露出画像と高露出画像の画像データを合成するためにレベル合わせを行った場合の各画像データの関係を示す。白抜き線Ｌで示される低露出画像データは、設定された露出段差（以下「設定段差」という）に従ってレベル合わせが行われ、画素値がＶ０からＶ２までを取る白抜き線Ｌ２の画像データとなる。同様に、太線Ｈで示される高露出画像データは、設定段差に従ってレベル合わせが行われ、画素値がＶ０からＶ１までを取る太線Ｈ２の画像データとなる。

こうしてレベル合わせが行われた結果、低露出画像データと高露出画像データはいずれも、適正露出（Ｎ）の輝度値と画素値の関係に合わせられる。即ち、画像合成処理では、輝度値がＹ１からＹ２の範囲については低露出画像データの画像となり、輝度値がＹ０からＹ１の範囲については低露出画像データと高露出画像データとが混合された画像となる。なお、動き検出は、レベル合わせ後の低露出画像データ（白抜き線Ｌ２）と、レベル合わせ後の高露出画像データ（太線Ｈ２）とが共通するデータ範囲、即ち輝度値Ｙ０からＹ１の範囲で行われる。

図１１（ａ）に対応する図１２（ａ）に示されるように、ヒストグラムＬＡで示される低露出画像では、画素値はＶ０からＶ１の範囲に分布している。ヒストグラムＨＡで示される高露出画像では、画素値はＶ０からＶ２の範囲に分布しているが、図１１（ａ）に太線Ｈで示される高露出画像は輝度値Ｙ１以上では飽和しているため、画素値の暗い部分のみのヒストグラムとなる。図１２（ａ）では、適正露出Ｎのヒストグラムは破線で示されている。

図１１（ｂ）に対応する図１２（ｂ）に示されるように、設定段差に従ってレベル合わせされた結果、低露出画像データは、画素値がＶ０からＶ２までに分布するヒストグラムＬＡ２となる。また、高露出画像データは、画素値がＶ０からＶ１までに分布するヒストグラムＨＡ２となる。なお、画素値がＶ０からＶ１の範囲は、ヒストグラムＬＡ２とヒストグラムＨ２とが一致した（重なった）状態となる。

ところで、露出段差を設定して低露出画像と高露出画像を撮影する際に、設定段差通りの露出が行われた場合は、上記の通りに適切な画像合成を行うことができるが、設定段差と異なる露出で撮影が行われた場合には適切な画像合成が困難となる。例えば、撮影の際にシャッタスピードがメカ誤差等の影響で異なるスピードとなってしまうと、設定段差とは異なった露出量で撮影が行われてしまう。そのため、設定段差に応じたレベル合わせを行っても、低露出画像と高露出画像とが異なった画像レベルとなり、動き検出等の処理の精度が低下する。この問題について、図１１（ｃ），（ｄ）及び図１２（ｃ），（ｄ）を参照して具体的に説明する。

図１１（ｃ）は、低露出側の露出は白抜き線Ｌで示されるように設定段差の通りであったが、高露出側の露出量が、太線Ｈ´で示されるように露出誤差のために、設定段差よりも低く撮影された状態を示している。この場合、高露出画像データは、露出量が低いために、輝度値がＹ０からＹ３の範囲を撮影し、画素値はＶ０からＶ２までを取る。

図１１（ｃ）に示す低露出画像データと高露出画像データのレベル合わせを行った後の画像データが図１１（ｄ）に示されている。レベル合わせは設定段差に従って行われるため、レベル合わせ後の画像では、高露出画像データは、太線Ｈ２´で示されるように、露出誤差のために目標とする適正露出の画像データよりも低い画素値を取ってしまう。そのため、合成後の画像では、画素値に不連続が生じてしまう。また、動き検出を行う場合には、輝度値がＹ０からＹ１の範囲の画像データを利用するが、この範囲では、低露出画像データと高露出画像データの値が異なっているため、動きがない場合でも差分を検出してしまい、誤検出が生じてしまう。

図１１（ｃ）に対応する図１２（ｃ）に示されるように、高露出画像データは設定段差よりも露出が低いため、同じ輝度値に対して小さい画素値が出力されることになる。即ち、図１２（ｃ）において高露出画像データを示すヒストグラムＨＡ´は、図１２（ａ）に示す本来の高露出画像データのヒストグラムＨＡよりも左側（画素値が小さくなる側）に分布する。そのため、図１２（ｄ）に示すレベル合わせ後の画像データのヒストグラムでは、高露出画像からのヒストグラムＨＡ２´と低露出画像からのヒストグラムＬＡ２とに不一致が生じた状態となる。

このような問題に対して、入力レベルの一定範囲内における画像信号に基づいてゲイン比を計算し、画像信号のゲインを合わせる技術が提案されている（特許文献１参照）。また、撮影した画像の測光評価値と目標とする測光評価値との差を求め、求めた差に基づいて撮影した画像信号を増幅し、適切な画像レベルの画像を得る技術が提案されている（特許文献２参照）。

特開平８−１５４２０１号公報 特開２００９−１４７５８８号公報

しかしながら、上記の特許文献１に記載された技術は、合成する２枚の画像の入力レベルがオーバーラップする範囲についてゲインを調整することで、合成画像の階調の連続性を確保するものである。即ち、合成前の２枚の画像について、オーバーラップするレベル部分についてゲインを調整し、それ以外のレベル部分はそのままのレベルで合成を行っており、画像全体に一定のゲイン調整を与えるものではない。

そのため、撮影した画像内に移動体が存在し、画像内の被写体にオーバーラップするレベルとそれ以外のレベルが混在している場合には、その被写体の中で異なるゲイン調整を受ける部分が発生する。その結果、画像内の１つの被写体でオーバーラップするレベルとそれ以外のレベルとのつなぎ目で異なるゲイン調整されることによって、画素値の滑らかさが失われ、不自然な画像が生成されてしまう。また、撮影した画像内に移動体が含まれている場合、移動体と動かない背景画像とで異なるゲイン調整が行われる場合があり、その場合には、画像の差分値が移動体の明るさによって異なることとなり、適切な動き検出を行うことが困難になる。

上記の特許文献２に記載された技術は、撮影した画像データに対して後から感度補正を行うことで適正露出画像を得るものである。つまり、特許文献２に記載された技術は、２枚の画像を合成する技術ではないが、撮影した画像データを所定数の領域に分割し、分割した領域毎に輝度値の平均値を求めて重み付けを行って、撮影した画像についての測光評価値を求めている。具体的には、事前に撮影した画像データから測光評価値を求め、これに応じた露出で本画像データを撮影し、撮影した本画像データから測光評価値を求め、これと適正露光の評価値との差を求めて本画像データに感度補正を行うことで、適正露出の画像データを得ている。

しかしながら、この方法では、撮影した画像中に移動体が含まれており、画像中の被写体の一部だけが移動（変化）した場合には、画像全体についての評価測光値が変化することになる。そのため、評価測光値に応じて感度補正を行うと、移動していない（変化していない）他の被写体に影響が出てしまう。

この問題について、図１３を参照して説明する。図１３（ａ）は事前に撮影された画像であり、図１３（ｂ）は本画像データとして撮影された画像である。図１３（ａ）では、人物像１３０１が中央部分に映っているが、図１３（ｂ）では、図１３（ａ）の人物像１３０１が図中右側に移動して、人物像１３０２として映っている。

図１３（ａ）と図１３（ｂ）とでは、人物の移動によって人物像１３０１と人物像１３０２とが異なる位置にあるため、画像単位の測光評価値は異なる値となる。したがって、画像全体に感度補正を行う場合に人物像等のように移動する被写体が含まれた状態で評価値を求めてしまうと、感度補正の効果が人物像以外の変化しなかった背景部分に及び、必要な感度補正以上の過剰な感度補正を行ってしまうことになる。

本発明は、画像全体の階調の連続性を保証した、画質のよい合成画像を得ることができる画像合成装置を提供することを目的とする。

本発明に係る画像合成装置は、撮像手段で露出量をそれぞれ異ならせて複数回の撮像を行うことにより得られた複数の画像の画像データを合成する合成手段と、前記複数の画像のそれぞれに対して、分割された複数の小領域毎に輝度情報を取得する取得手段と、前記複数の小領域毎に、前記複数の画像の間で輝度情報を比較した結果を示す比較値を求める比較手段と、前記複数の小領域毎に求められた比較値に基づいて代表値を決定する決定手段と、前記複数の画像を得るための複数回の撮像の間の露出差と前記決定手段が求めた前記代表値とに基づいて、前記複数の画像の画像データを合成する際のレベル合わせゲインを設定する設定手段と、を備えることを特徴とする。

本発明によれば、画像全体の階調の連続性を保証した画質のよい合成画像を作成することができる。

本発明の第１実施形態に係る画像合成装置の概略構成を示すブロック図である。 図１に示す小領域測定部において画像を複数の小領域に分割する一例を示す図である。 図１に示す小領域比較部の構成を示す図である。 図１に示す代表値算出部の構成を示す図である。 図１に示す小領域測定部、小領域比較部及び代表値算出部で実行される一連の処理のフローチャートである。 図１の画像合成装置で移動体を含む画像を合成する際のレベル合わせの特徴を説明するための図である。 本発明の第２実施形態に係る画像合成装置が備える代表値算出部の構成を示す図である。 図７の代表値算出部が算出する度数分布表の例を示す図である。 第２実施形態に係る画像合成装置が備える小領域測定部、小領域比較部及び代表値算出部で実行される一連の処理のフローチャートである。 従来技術に係る画像合成装置の構成を示すブロック図である。 従来技術に係る画像合成処理での、低露出画像及び高露出画像の輝度値と各画像データの画素値との関係を示す図である。 従来技術に係る画像合成処理での、図１１と対応する各画像データの画素値と画素数との関係を示すヒストグラムである。 従来技術の画像合成の問題点を模式的に示す図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。本実施形態に係る画像合成装置としては、例えば、デジタルスチルカメラ、カメラ機能を有する携帯電話機や携帯ゲーム機等が挙げられる。

《第１実施形態》
第１実施形態では、設定された露出段差（設定段差）に対する実際の露出量の誤差（露出誤差）を加味して、画像データのレベル合わせを行う。

図１は、第１実施形態に係る画像合成装置の概略構成を示すブロック図である。この画像合成装置の撮像部１０１、カメラ信号処理部１０２、露出段差設定部１０３及び露出制御部１０４はそれぞれ、図１０の撮像部１００１、カメラ信号処理部１００２、露出段差設定部１００３及び露出制御部１００４と同等であり、同様の動作を行う。また、フレームメモリ１０５、動き検出部１０９及び合成比率設定部１１０はそれぞれ、図１０のフレームメモリ１００５、動き検出部１００９及び合成比率設定部１０１０と同等であり、同様の動作を行う。更に、合成比率調整部１１１，１１２及び画像合成部１１３はそれぞれ、図１０に示した合成比率調整部１０１１，１０１２及び画像合成部１０１３と同等であり、同様の動作を行う。なお、被写体の光学像を撮像する撮像部１０１が備えるイメージセンサとして、図１にはＣＣＤが示されているが、これに限定されるものではなく、ＣＭＯＳ等であってもよい。

第１実施形態に係る画像合成装置は、小領域測定部１１５、小領域比較部１１６及び代表値算出部１１７を備えている。なお、図１に示す符号“１１７Ａ”は、後述する第２実施形態に係る画像合成装置が備える代表値算出部を示している。

小領域測定部１１５は、カメラ信号処理部１０２からの画像データを一定サイズの複数の小領域に分割し、分割した小領域毎に輝度値を測定する。小領域比較部１１６は、小領域測定部１１５から分割された画像データの小領域毎の測定値を受け取り、異なる画像データの同一位置の測定値について小領域毎に比較を行い、小領域比較結果を出力する。代表値算出部１１７は、小領域比較部１１６から小領域比較結果を受け取り、レベル合わせゲインの設定に用いるための代表値を算出する。

第１実施形態に係る画像合成装置は、レベル設定部１０６及びレベルゲイン処理部１０７，１０８を有する。レベル設定部１０６は、露出段差設定部１０３からの露出段差設定情報と代表値算出部１１７で決定された代表値とに基づいて、画像データに対して行うレベル合わせのためのレベル合わせゲインを設定する。レベルゲイン処理部１０７，１０８は、レベル設定部１０６の指示に従い、画像レベルを調整する。

＜小領域測定部１１５の機能＞
図２は、小領域測定部１１５において画像を複数の小領域に分割する一例を示す図である。ここでは、画像の縦側を６領域に、横側を８領域に分割し、合計で４８領域に分割している。小領域測定部１１５では、分割した小領域毎に輝度値の測定を行い、測定値を小領域比較部１１６に対して出力する。小領域測定部１１５は、例えば、小領域毎に輝度値の平均値を求める。但し、小領域測定部１１５は、輝度値の平均値に限定されず、小領域内の輝度値の最大値或いは最小値等を求めるようにしてもよい。図２の通りに４８個の小領域に分割した場合、小領域測定部１１５は、１画像について４８個の測定値を小領域測定結果として出力する。

小領域測定部１１５は、低露出画像と高露出画像のそれぞれについて、小領域測定結果を出力する。よって、低露出画像と高露出画像の小領域測定結果には、概ね、設定段差分だけの違いがある。例えば、設定段差が±２段の場合には、ある小領域について、低露出画像での測定値が約１０であるならば、高露出画像での測定値は約１６０となる。

＜小領域比較部１１６の機能＞
図３は、小領域比較部１１６の構成を示す図である。小領域比較部１１６には、露出段差設定部１０３から露出段差設定情報３０２が入力されると共に、小領域測定部１１５から小領域測定結果３０３が入力される。小領域比較部１１６は、露出段差設定情報３０２と小領域測定結果３０３とに基づいて所定の演算処理を行い、小領域比較結果３０５を出力する。

小領域比較部１１６に入力された小領域測定結果３０３は、小領域比較部１１６が有するメモリ３０４に記憶させることができる。以下では、低露出画像についての小領域測定結果が予めメモリ３０４に格納されており、高露出画像についての小領域測定結果３０３が小領域比較部１１６に入力されるものとして説明を進める。

小領域比較部１１６では、高露出画像についての小領域測定結果３０３とメモリ３０４に記憶された低露出画像についての小領域測定結果とから、同一位置にある小領域の測定値を読み出す。例えば、小領域測定結果３０３から縦０番目／横０番目の測定値を読み出した場合、メモリ３０４に記憶された小領域測定結果からも、縦０番目／横０番目の測定値を読み出す。

小領域測定結果３０３から読み出した測定値に対して、調整部３０６において、設定段差に相当するゲインが乗算される。即ち、露出段差設定情報３０２が±２段に露出段差が設定されていることを示している場合、調整部３０６は、高露出画像についての小領域測定結果３０３の各測定値に対して、設定段差である−４段分に相当する１／１６倍のゲインを乗算する。

こうしてゲインが乗算された小領域測定結果とメモリ３０４に記憶された小領域測定結果は、除算器３０７にて除算処理される。例えば、高露出画像についての小領域測定結果３０３の各測定値に上述のゲインを乗算したものを、メモリ３０４に記憶された小領域測定結果の測定値で除算する。この処理は小領域毎に行われ、最終的に全ての小領域についての比較値が小領域比較結果３０５として出力される。よって、図２に示したように４８個の小領域に分割された場合、小領域比較結果３０５は４８個の比較値で構成される。

小領域比較部１１６から出力された小領域比較結果３０５は、低露出画像と高露出画像の小領域毎の比較結果であり、且つ、設定段差を含めた比較結果であるため、設定段差の影響を除いた１．０近辺の値となる。なお、第１実施形態では、小領域毎に測定値を除算した値（つまり、比率）を比較値として用いているが、これに限定されるものではなく、例えば、測定値の差分値を比較値として用いてもよい。この場合、比較値は０．０近辺の値となる。

＜代表値算出部１１７の機能＞
図４は、代表値算出部１１７の構成を示す図である。代表値算出部１１７では、小領域比較部１１６から受け取った小領域比較結果３０５に対して所定の演算を行い、代表値４０３を出力する。代表値算出部１１７では、小領域比較結果３０５を構成する複数（第１実施形態では小領域の数相当する４８個）の比較値から１つの代表値を算出する。

具体的には、小領域比較結果３０５を構成する各比較値について、第１の平均値算出部４０４で平均値を求め、標準偏差算出部４０５で標準偏差を求める。そして、選別部４０６で、小領域比較結果３０５を構成する比較値の中から偏差が一定範囲に収まるもの、つまり、偏差が小さいものを選別する。即ち、小領域毎に求められている比較値をｃとし、これら比較値ｃの平均値をａ、標準偏差をσとしたとき、比較値の偏差ｓを“ｓ＝（ｃ−ａ）／σ”により計算する。そして、この偏差ｓの値の小さいもの、例えば±２以内となった比較値を選別する。上述の通り、低露出画像及び高露出画像を共に小領域測定部１１５で４８個の小領域に分割した場合、小領域比較結果３０５には４８個の比較値があるが、そのうち３個の偏差が±２を超えていた場合には、残りの４５個の比較値を選別する。

選別部４０６で選別された比較値について、再度、第２の平均値算出部４０７で平均値を計算し、得られた平均値が代表値４０３として出力される。上述の通りに４５個の比較値が選別された場合、これら４５個の比較値の平均値が代表値４０３となる。

＜小領域測定部１１５、小領域比較部１１６及び代表値算出部１１７の処理フロー＞
図５は、小領域測定部１１５、小領域比較部１１６及び代表値算出部１１７で実行される一連の処理のフローチャートである。ステップＳ５０１〜Ｓ５０３は小領域測定部１１５で実行される処理であり、ステップＳ５０３は小領域比較部１１６で実行される処理であり、ステップＳ５０４〜Ｓ５０６は代表値算出部１１７で実行される処理である。

最初に、入力された低露出画像及び高露出画像が、例えば図２に示すように、複数の小領域に分割される（ステップＳ５０１）。分割された複数の小領域の各画像データについて、小領域毎に輝度値の測定値（例えば、輝度値の平均値）が測定される（ステップＳ５０２）。そして、低露出画像と高露出画像の小領域毎の測定値が小領域毎に比較される（５０３）。このとき、低露出画像と高露出画像についての露出段差設定情報３０２（図３参照）を考慮して、比較処理が行われる。

次に、小領域毎に得られた比較値の平均値と標準偏差とが求められる（ステップＳ５０４）。続いて、小領域毎の比較値についてその偏差が求められ、偏差が一定範囲内にある比較値が選別される（ステップＳ５０５）。そして、選別された比較値の平均値が求められ、求められた平均値が代表値として出力される（ステップＳ５０６）。

＜代表値４０３を用いたレベル合わせ＞
代表値算出部１１７により算出された代表値４０３を用いたレベル合わせについて、図１を参照して説明する。代表値算出部１１７で算出された代表値４０３は、設定段差を含まない、露出誤差による露光量の違いとみなすことができる。そこで、レベル設定部１０６では、通常の設定段差に応じたレベル合せゲインに加えて、露出誤差分を加味したレベル設定を行う。

例えば、低露出画像データについて、通常の設定段差に応じたレベル合せゲインが４倍であったときに、高露出画像データを基準にして低露出画像データとの比較を行った結果の代表値４０３が０．８となったとする。この場合、レベル合せゲインとして、４倍に０．８の逆数である１．２５倍を掛けた５倍を設定する。一方、高露出画像データについては、１／５倍のレベル合わせゲインを設定する。

このように、通常の設定段差に応じたレベル合せゲインに加えて、露出誤差分を加味したレベル設定を行った結果、レベルゲイン処理部１０７，１０８から出力される画像データはレベルが揃った状態となる。そのため、合成後の画素値に不連続が生じることなく、動き検出を行う場合にも適切に差分値を求めることができる。

＜画像に移動体が含まれる場合のレベル合わせ＞
第１実施形態によれば、撮影した画像に移動体が含まれる場合のように一部の被写体の位置が変化した場合にも、画像全体に変化を及ぼす露出誤差の値を的確に求めることができる。このことについて、図６を参照して説明する。

図６は、移動体を含む画像を合成する際のレベル合わせの特徴を説明するための図である。図６（ａ）は、撮影された低露出画像を示しており、低露出画像には移動体である人物像６０１が映っている。図６（ｂ）は、撮影された高露出画像を示しており、人物像６０１が位置移動して、人物像６０２となって映っている。図６（ａ），（ｂ）において太線で示される小領域には人物像が含まれている。

移動体が関係する小領域では、移動体の有無に応じて、小領域毎に求められる測定値が大きく異なってくる。したがって、移動体が関係する小領域について測定値を比較して得られる比較値は、移動体が関与しない小領域（太線の小領域以外の小領域）について測定値を比較して得られる比較値に対して、大きく異なった値を示す。つまり、移動体が関係する小領域について得られる比較値の偏差は大きな値を示す。

そのため、第１実施形態によれば、移動体が関係する小領域について得られる比較値は、選別部４０６によって代表値４０３を求めるための演算から除外される。よって、移動体の有無に影響されずに、全体的な露出誤差を示す代表値４０３を的確に求めることができる。こうして、上述した通り、通常の設定段差に応じたレベル合せゲインに加えて、代表値４０３が示す露出誤差を加味した適切なレベル設定を行うことができ、レベルゲイン処理部１０７，１０８から出力される画像データをレベルの揃った状態とすることができる。

《第２実施形態》
第２実施形態では、画像データを小領域に分割して小領域毎に求めた測定値について、小領域毎に測定値を比較し、比較された測定値の分布を求める。その後、分布の最も高い測定値を代表値として決定し、露出誤差を求める。

第２実施形態に係る画像合成装置は、第１実施形態に係る画像合成装置と比較すると、代表値算出部における代表値の算出処理が異なるのみであり、その他の構成は同じである。そこで、本実施形態では、第２実施形態に係る画像合成装置が備える代表値算出部１１７Ａにおいて代表値を算出する処理について説明する。

＜代表値算出部１１７Ａの機能＞
図７は、第２実施形態に係る画像合成装置が備える代表値算出部１１７Ａの構成を示す図である。代表値算出部１１７Ａは、ヒストグラム作成部７０２、ピーク検出部７０３及び分解能設定部７０４を有する。なお、第２実施形態では、分解能設定部７０４を代表値算出部１１７Ａの構成要素としたが、分解能設定部７０４を代表値算出部１１７Ａから独立させて、画像合成装置が構成されるようにしてもよい。

分解能設定部７０４は、ヒストグラム作成部７０２で作成する度数分布図の階級幅を決定するための分解能を設定する。ヒストグラム作成部７０２は、小領域比較結果３０５（小領域毎の比較値）の度数分布を求める。ピーク検出部７０３は、ヒストグラム作成部７０２が求めた度数分布において最大度数となる比較値を代表値４０３Ａとする。

具体的には、ヒストグラム作成部７０２は、分解能設定部７０４から与えられた分解能に基づいて階級幅を設定し、小領域比較結果３０５（小領域毎の比較値）を各階級に振り分けて、度数分布図を作成する。ピーク検出部７０３は、度数分布図から最大度数となる階級を検出し、その階級の階級幅の中間値（階級の下端値と上端値の中央の値）を代表値４０３Ａとして決定する。なお、露出誤差を十分に補正することが可能な精度が得られる限りにおいて、最大度数となる階級の階級幅の下端値又は上端値を代表値４０３Ａとすることも可能である。

図８は、代表値算出部１１７Ａが算出する度数分布図の例を示す図である。図８（ａ）は、ヒストグラム作成部７０２で算出された度数分布の例である。この度数分布の横軸には、小領域比較結果３０５を構成する比較値の値が取られており、各階級は、分解能設定部７０４で設定された分解能に基づいた階級幅に設定されている。「階級幅」は、ヒストグラムを集計する各区間の幅であり、「分解能」は、ヒストグラムを求める全階級数の逆数であるから、「階級幅」は、ヒストグラムを求めるデータの範囲に分解能を掛けることで求められる。この度数分布の縦軸（つまり、棒グラフの高さ）には、各階級の度数（各階級に属する比較値の数）を示している。

ピーク検出部７０３は、ヒストグラム作成部７０２で算出された度数分布図の最大度数を検出し、その階級を代表値４０３Ａとする。そのため、代表値４０３Ａは、図８（ａ）において最大度数を示す棒グラフの階級幅の値となる。これにより、設定段差からの露出量のずれ（露出誤差）から発生するゲイン値のうちで最も画面全体に影響しているゲイン値を求めることができる。

第２実施形態では、第１実施形態と比較して、被写体に含まれる移動体の影響を受け難い代表値を算出することができる。これについて、図８及び図６を参照して説明する。

移動体の影響を受けない場合に、設定段差とは異なった露出量で撮影された場合の小領域比較結果３０５の度数分布は、図８（ａ）で示される。このとき、第１実施形態で算出される代表値４０３は、図８（ａ）に示される通り、第２実施形態で算出される代表値４０３Ａとは異なるが、これらは近い値を取る。この場合、第１実施形態と第２実施形態のいずれの代表値算出方法を用いて代表値を決定し、画像データに補正ゲインを掛けても、画質的な違いは殆ど見られない。そのため、代表値４０３と代表値４０３Ａのどちらを用いてもよい。

しかしながら、低露出画像と高露出画像の撮影の間に被写体の一部が移動した場合、つまり、被写体に移動体が含まれる場合、第１実施形態と第２実施形態とでは、小領域比較結果３０５に含まれる比較値が、移動体が含まれる小領域で大きく変化する。図８（ｂ）は、低露出画像と高露出画像の撮影の間に被写体の一部である移動体が移動した場合の小領域比較結果３０５の度数分布を示している。図８（ｂ）では、図８（ａ）と比較すると、第１実施形態で算出される代表値４０３と、第２実施形態で算出される代表値４０３Ａとの関係が、図８（ａ）の場合とは変わっていることがわかる。

即ち、小領域比較結果３０５では、移動体と背景画像とを比較する小領域では、移動体と背景画像の測定値に起因して、比較値が１．０よりも大きい部分とそれに対となる１．０よりも小さくなる階級９０１に度数が集中する。この関係は、１枚目の画像（図６（ａ））に移動被写体が写っている領域には、２枚目の画像（図６（ｂ））には移動被写体は写っていないが、逆に２枚目の画像に移動被写体が写っている領域には、１枚目の画像に移動被写体は写っていないことに関係する。

つまり、背景領域に該当する小領域の測定値を一定値“α”とし、移動体領域に該当する小領域の測定値を一定値β”とする。この場合、１枚目の画像における移動体領域に該当する小領域での比較値はα／β、２枚目の画像における移動体領域に該当する小領域の比較値はβ／αとなり、逆数の関係になる。つまり、２つの画像（低露出画像と高露出画像）のそれぞれにおいて移動体が写っている小領域の比較値は、逆数に近い値を取る。従って、移動体領域の影響を受けた小領域の比較値は、図８（ｂ）の階級９０１に度数が集中することになる。但し、背景領域の測定値又は移動体領域のそれぞれの測定値が一定値とならない場合には、この限りではない。

このとき、第１実施形態の代表値算出方法を用いると、小領域比較結果３０５の平均値（選別部４０６により選別された比較値）が代表値となるため、図８（ｂ）に示されるように、移動体の影響を受けた代表値４０３が算出されることになる。一方、第２実施形態の代表値算出方法を用いると、度数分布で最大度数を示す階級が選出されるため、図８（ｂ）に示されるように、図８（ａ）と変わらない値が代表値４０３Ａとして決定される。これにより、画像データに対して、移動体の影響を受け難い補正ゲインを掛けることが可能になる。

［階級幅の設定］
第２実施形態では、適切な代表値４０３Ａを求めるためには、ヒストグラム作成部７０２が作成する度数分布図の階級幅を適切な値に設定することが重要となる。つまり、分解能設定部７０４による分解能の設定が重要となる。このことについて、図８（ｃ）〜（ｅ）を参照して説明する。

図８（ｃ）〜（ｅ）は、小領域比較結果３０５を構成する複数の比較値の度数分布を、階級幅だけを変えて示した度数分布図である。図８（ａ）は図８（ａ）と同じ階級幅の度数分布図であり、図８（ｄ）は階級幅が細かすぎる（分解能が高すぎる）度数分布図であり、図８（ｅ）は階級幅が粗すぎる（分解能が低すぎる）度数分布図である。

図８（ｄ）のように階級幅が細かすぎる場合には、最大度数の階級が複数存在する場合があり、このようになると代表値４０３Ａを求めることができなくなる。逆に、図８（ｅ）のように階級幅が粗すぎる場合には、最大度数の階級が１つだけになりやすいために、代表値４０３Ａを求めることが容易となるが、代表値４０３Ａの精度が低下してしまう。そのため、代表値４０３Ａの精度を適切に保ちながら代表値４０３Ａを求めることができるような階級幅を設定することが重要となる。

適切な階級幅の分解能を算出するための目安として、例えば、画像の表現に必要な階調数を基準にする方法がある。これは、画像の表現に必要な階調数を“ｎ（ｎは自然数）”とすると、適切な階級幅の分解能を“１／ｎ”とする方法である。具体的には、画像の表現に必要な階調数のビット幅として８ビットが必要であるとき、表現される値は０から２５５の２５６個であるので、分解能は１／２５６となる。但し、適切な分解能はこれに限るものではなく、オーダー的に１／ｎに近い分解能であれば、これより粗い分解能に設定してもよく、逆に、これよりも細かい分解能に設定してもよい。

＜小領域測定部１１５、小領域比較部１１６及び代表値算出部１１７Ａの処理フロー＞
図９は、第２実施形態に係る画像合成装置が備える小領域測定部１１５、小領域比較部１１６及び代表値算出部１１７Ａで実行される一連の処理のフローチャートである。図９のフローチャートに示されるステップＳ９０１〜９０３の処理は、第１実施形態について図５に示したフローチャートのステップＳ５０１〜５０３と同じ処理であるため、これらの説明を省略する。

ステップＳ９０４では、ヒストグラム作成部７０２が、小領域比較結果３０５を構成する小領域毎の比較値の分布を算出し、度数分布図を作成する。その際、分解能設定部７０４が入力された画像データのビット深度に応じて度数分布図の分解能を決定し、ヒストグラム作成部７０２は、分解能設定部７０４が決定した分解能に基づいて度数分布図を作成する。続いて、ステップＳ９０５では、ピーク検出部７０３が、作成された度数分布図から最大度数を持つ階級を検出し、その値を代表値として算出する。

なお、分解能設定部７０４が設定した分解能（１／ｎ）では、ヒストグラム作成部７０２で生成した度数分布図に、最大度数を持つ階級が複数存在する場合が起こり得る。この場合、図８（ｄ）を参照して説明したように、設定された階級幅（分解能）が細かすぎることが原因と考えられ、ピーク検出部７０３は代表値を決定することができない。

従って、ピーク検出部７０３は、代表値を決定することができないことをヒストグラム作成部７０２へ通知し、この通知を受けたヒストグラム作成部７０２は、階級幅を変更して、再度、度数分布図を作成する。そして、ピーク検出部７０３は、再度、代表値の決定を試み、最大度数を示す階級が１つに定まることによって代表値を決定することができるまで、度数分布図の作成が繰り返される。このとき、例えば、ヒストグラム作成部７０２は、階級幅を「（１／ｎ）×ｍ、ｍ＞１」或いは「１／（ｎ−ｍ）、０＜ｍ＜ｎ」に変更する。

以上の説明で求められた代表値を用いて、画像データのレベル調整を行い、更に、レベル調整された画像の合成を行う処理については、第１実施形態での処理と同じであるため、ここでの説明を省略する。

第２実施形態では、画像を小領域に分割して小領域毎に測定値を求め、求めた測定値から小領域毎に比較値算出し、比較値の度数分布図において最大度数となる階級（つまり、比較値）を求めて、これを代表値とすることで、露出誤差を求めた。これにより、被写体に移動体が含まれるシーンでも、第１実施形態の代表値算出方法よりも、移動体の影響を排除した、画質のよい合成画像を得ることができる。

＜他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記実施形態では、露出の異なる複数枚の画像データのレベルを合わせて合成画像を作成する画像処理装置について説明したが、同じ露出の複数枚の画像データのレベルを合わせて合成画像を作成してもよい。これは、１枚撮影を行う際にシャッタスピードが遅くなり、手ブレによって画質が劣化してしまう場合に有効である。つまり、１枚撮影を行う際のシャッタスピードの半分のスピードで（露光時間を半分にして）、２枚の画像を撮影する。こうして撮影された２枚の画像の露出誤差を補正して、合成比率調整部１１１を調整し、全ての画素値で２枚の画像が均等の割合で合成されるようにして合成画像を作成する。これにより、シャッタスピードを速くして手ブレによる画質劣化が起こらない画像を得ることができる。このようにレンジ拡大ではない画像合成においても、機械的構成等の物理的要因で発生する露出誤差を吸収し、移動体を精度よく検出することが可能になる。

また、合成比率調整部１１１，１１２を調整して、２枚の画像を合成せずに１枚ずつの画像が出力されるように構成を変更してもよい。例えば、同じシャッタスピードで複数枚撮影した場合に、画像間で明るさの異なる画像が作成される場合がある。このとき、基準となる画像データとその他の画像データの間の露出差を検出し、レベルゲイン処理部１０７，１０８で露出差分のレベルを調整することで、同じ明るさの複数枚の画像を作成することもできる。このように本発明を用いることにより、画像合成を行わない連射撮影のような複数枚で意味をもつ画像について輝度レベルを合わせることができ、視覚的な違和感をなくすと共に、後処理での合成にも有用な画像を作成することができる。

また、本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１０１ 撮像部
１０２ カメラ信号処理部
１０３ 露出段差設定部
１０４ 露出制御部
１０６ レベル設定部
１０７，１０８ レベルゲイン処理部
１０９ 動き検出部
１１３ 画像合成部
１１４ 合成画像
１１５ 小領域測定部
１１６ 小領域比較部
１１７，１１７Ａ 代表値算出部

Claims (13)

1. 撮像手段で露出量をそれぞれ異ならせて複数回の撮像を行うことにより得られた複数の画像の画像データを合成する合成手段と、
   前記複数の画像のそれぞれに対して、分割された複数の小領域毎に輝度情報を取得する取得手段と、
   前記複数の小領域毎に、前記複数の画像の間で輝度情報を比較した結果を示す比較値を求める比較手段と、
   前記複数の小領域毎に求められた比較値に基づいて代表値を決定する決定手段と、
   前記複数の画像を得るための複数回の撮像の間の露出差と前記決定手段が求めた前記代表値とに基づいて、前記複数の画像の画像データを合成する際のレベル合わせゲインを設定する設定手段と、を備えることを特徴とする画像合成装置。
2. 前記取得手段は、前記複数の小領域毎の輝度値の平均値、最大値又は最小値のいずれか１つを、前記輝度情報として取得することを特徴とする請求項１記載の画像合成装置。
3. 前記比較手段は、前記複数の画像の間で対応付けされた輝度情報の比率又は差分を、前記比較値として求めることを特徴とする請求項１又は２に記載の画像合成装置。
4. 前記複数の画像が、１つの低露出画像及び１つの高露出画像であるとき、
   前記比較手段は、前記高露出画像について求められた前記小領域毎の輝度情報に対して前記露出差に相当するゲインを乗算し、該乗算された輝度情報と前記低露出画像の前記小領域毎の輝度情報との比率又は差分を、前記比較値として求めることを特徴とする請求項３記載の画像合成装置。
5. 前記決定手段は、前記比較手段によって前記小領域毎に求められた比較値の平均値及び標準偏差を求め、前記小領域毎に求められた比較値の中から偏差が一定範囲に収まるものを選別し、該選別された比較値の平均値を前記代表値として求めることを特徴とする請求項１乃至４のいずれか１項に記載の画像合成装置。
6. 前記決定手段は、前記複数の小領域毎に求められた比較値を所定の階級幅の複数の階級に振り分けて度数分布を求め、前記度数分布において最大度数を示す階級の中間値を前記代表値として求めることを特徴とする請求項１乃至４のいずれか１項に記載の画像合成装置。
7. 前記決定手段は、前記複数の画像の表現に必要な階調数がｎであるときに、前記階級幅の分解能を１／ｎとすることを特徴とする請求項６記載の画像合成装置。
8. 前記決定手段は、前記度数分布に最大度数を示す複数の階級が存在する場合に、
   前記階級幅を広げて度数分布を求め直し、該求め直した度数分布において最大度数を示す
   階級の中間値を前記代表値とすることを特徴とする請求項７記載の画像合成装置。
9. 前記決定手段は、前記求め直した度数分布に最大度数を示す階級が複数存在する場合には、再度、前記階級幅を変更して度数分布を求め直し、該求め直した度数分布において最大度数を示す階級が１つに定まるまで、前記分解能の変更を繰り返すことを特徴とする請求項８記載の画像合成装置。
10. 前記複数の画像が、１つの低露出画像及び１つの高露出画像であるとき、
    前記設定手段は、前記低露出画像の画像データに対しては、前記露出差を前記代表値で除した値を前記レベル合わせゲインに設定し、前記低露出画像の画像データに対して設定されたレベル合わせゲインの逆数を前記高露出画像の画像データに対して設定されるレベル合わせゲインとすることを特徴とする請求項１乃至９のいずれか１項に記載の画像合成装置。
11. 撮像手段で露出量をそれぞれ異ならせて複数回の撮像を行うことにより得られた複数の画像のそれぞれに対して、分割された複数の小領域毎に輝度情報を取得する取得手段と、
    前記複数の小領域毎に、前記複数の画像の間で輝度情報を比較した結果を示す比較値を求める比較手段と、
    前記複数の小領域毎に求められた比較値に基づいて代表値を決定する決定手段と、
    前記複数の画像を得るための複数回の撮像の間の露出差と前記決定手段が求めた前記代表値とに基づいて、前記複数の画像の画像データのレベル合わせゲインを設定する設定手段と、
    前記設定手段により設定されたレベル合わせゲインに基づいてレベル合わせされた前記複数の画像データに基づいて移動体領域を検出する検出手段と、
    前記検出手段の検出結果に基づいて画像合成を行う合成手段と、を備えることを特徴とする画像合成装置。
12. 撮像手段で露出量をそれぞれ異ならせて複数回の撮像を行うことにより得られた複数の画像の画像データを合成する画像合成装置で実行される画像合成方法であって、
    前記複数の画像のそれぞれに対して、分割された複数の小領域毎の輝度情報を取得する取得ステップと、
    前記複数の小領域毎に、前記複数の画像の間で輝度情報を比較した結果を示す比較値を求める比較ステップと、
    前記複数の小領域毎に求められた比較値に基づいて代表値を決定する決定ステップと、
    前記複数の画像を得るための複数回の撮像の間の露出差と前記決定ステップで求められ前記代表値とに基づいて、前記複数の画像の画像データを合成する際のレベル合わせゲインを設定する設定ステップと、
    前記設定ステップで設定されたレベル合わせゲインに基づくレベル合わせが行われた複数の画像の画像データを合成する合成ステップと、を有することを特徴とする画像合成方法。
13. 撮像手段で露出量をそれぞれ異ならせて複数回の撮像を行うことにより得られた複数の画像のそれぞれに対して、分割された複数の小領域毎に輝度情報を取得する取得ステップと、
    前記複数の小領域毎に、前記複数の画像の間で輝度情報を比較した結果を示す比較値を求める比較ステップと、
    前記複数の小領域毎に求められた比較値に基づいて代表値を決定する決定ステップと、
    前記複数の画像を得るための複数回の撮像の間の露出差と前記決定ステップで求めた前記代表値とに基づいて、前記複数の画像の画像データのレベル合わせゲインを設定する設定ステップと、
    前記設定ステップで設定されたレベル合わせゲインに基づいてレベル合わせされた前記複数の画像データに基づいて移動体領域を検出する検出ステップと、
    前記検出ステップの検出結果に基づいて画像合成を行う合成ステップと、を備えることを特徴とする画像合成方法。

Images