JP5986461B2 - 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 - Google Patents

Description

本発明は、露出を変えて撮影した複数枚の画像を合成することで幅広いダイナミックレンジを持つ画像を生成する技術に関する。

白飛びが少ない画像と黒潰れが少ない画像を、露出条件を変えて複数枚撮影し、これらを合成することで幅広いダイナミックレンジを持つ画像を生成する手法がある。このような画像合成処理においては、高露出画像と低露出画像との間で露光量に応じたレベル調整を行ってから各々の画像が合成される。

ここで、先幕と後幕の走行間隔を利用して露光時間を調整するフォーカルプレーンシャッターは、先幕と後幕の走行速度に差（幕速ムラ）がある場合、画面の両端で露光時間が異なり、露出誤差が発生することが知られている。特にシャッター速度が高速である場合に、この幕速ムラが現れやすく、低速では幕速ムラの影響は少ない。特許文献１や特許文献２では、この幕速ムラに起因する露出誤差を補正する技術が提案されている。

また、レンズや絞りの制御において、画像の中央より周辺部分が暗くなる、シェーディングと呼ばれる現象が知られており、このシェーディングを補正する技術も提案されている（例えば、特許文献３参照）。

また、複数枚の画像を合成する場合、上記幕速ムラやシェーディングに起因して画面の位置に応じた露出誤差が発生する場合があり、画面全体でゲイン調整を行っても、画面の位置によってレベルが合わず、動き領域を誤検出してしまうこともある。

図１３は従来の装置構成を示しており、１３０１〜１３０５、１３０８〜１３１５は、それぞれ後述する実施形態１（図１）の１０１〜１０５、１０８〜１１５に対応している。以下では、主な機能について、例えば、露光量設定部１３０３により、低露出の露出段差が適正露出に対して−２段と設定され、高露出の露出段差が適正露出に対して＋２段と設定されていた場合について説明する。

レベル設定部１３０７では、低露出画像データについて、４倍のレベル合わせゲイン値をレベルゲイン処理部１３０９に設定し、同様に、レベル設定部１３０６で、高露出画像データについて、１／４倍のレベル合わせゲイン値をレベルゲイン処理部１３０８に設定する。動き検出部１３１０は、レベル合わせされた低露出画像データと高露出画像データを比較して、画像内の動き情報を検出する。

図１４は、撮影した画像の画素レベルの分布を示しており、横軸は画面のシャッターの走行方向に沿った位置（通常、画面の縦方向）、縦軸はその位置での画素レベルをそれぞれ示している。また、図中の点線は、適正露出の画素レベルを示している。

図１４（ａ）は、高速シャッターを用いて撮影した低露出画像の、撮影直後の画素レベルの分布を示している。低露出であるため、画素レベルは適正露出より小さく、幕速ムラの影響で画面の位置に応じて画素レベルが異なっている。

図１４（ｂ）は、低速シャッターを用いて撮影した高露出画像の、撮影直後の画素レベルの分布を示している。高露出であるため、画素レベルは適正露出より大きく、幕速ムラの影響はほとんどなく、画面の位置によらず画素レベルは一定である。

図１４（ｃ）と（ｄ）は、上記低露出画像と高露出画像を合成するために、露光量に応じたレベル合わせを行った結果を示している。図１４（ｃ）は、低露出画像に対してレベル合わせを行った場合であり、画面の中央付近は画素レベルが適正となっているが、画面の両端では適正レベルとなっていない。図１４（ｄ）は、高露出画像に対してレベル合わせを行った場合であり、画面の全体で画素レベルが適正となっている。

そして、従来の動き検出は、図１４（ｃ）と（ｄ）に示す画素レベルの分布で行っているため、画面の中央付近では正常に行えるが、画面の両端では画素値に差分が生じてしまうため、動きのない領域であっても動き領域と誤検出してしまう。

図１５は、シェーディングが生じている画像の画素レベルの分布を示しており、横軸は画面中央からの距離、縦軸はその距離での画素レベルをそれぞれ示している。また、図中の点線は、適正露出の画素レベルを示している。

図１５（ａ）は、絞りを絞って撮影した低露出画像の、撮影直後の画素レベルの分布を示している。図１５（ｂ）は、絞りを開いて撮影した高露出画像の、撮影直後の画素レベルの分布を示している。どちらもシェーディングの影響により、画面中心からの距離に応じて画素レベルが減少しているが、一般にシェーディングの影響は絞り値によって異なるため、図１５（ａ）と（ｂ）では減少の程度が異なっている。

図１５（ｃ）と（ｄ）は、上記低露出画像と高露出画像を合成するために、露光量に応じたレベル合わせを行った結果を示している。この場合、画面の中央付近は、画素レベルがそれぞれ適正となっているが、画面の周辺部分については、シェーディングの影響が異なるため、画素レベルが異なっている。このため、画面の中央付近では動き検出を正常に行えるが、画面の周辺部分では画素値に差分が生じてしまうため、動きのない領域であっても動き領域と誤検出してしまう。

特開２００３−０７８８１５号公報 特開２００８−０７９２０９号公報 特開２００２−２９０８２９号公報

ところで、上記特許文献１、２では、幕速ムラの検出のために、予め壁や白紙などの基準画像を撮影しておく必要があり、撮影毎に幕速ムラ補正を行うには不十分である。

また、特許文献３では、シェーディング補正を行うための補正テーブルを、撮影時の焦点距離や絞り値などに応じて複数用意する必要があり、様々なレンズに交換可能な一眼レフカメラには適していない。また、撮影した２枚の画像のそれぞれについて、シェーディング補正を行っているため、処理が煩雑となる。

本発明は、上記課題に鑑みてなされ、その目的は、露出条件を変えて撮影した複数枚の画像について画面の位置に応じた露出誤差補正を行った後、合成を行うことで、煩雑な処理を必要としないで動き検出を正常に行える画像処理技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、露出条件を変えて撮影される複数枚の画像を合成する画像処理装置において、所定の値よりも露光量が小さい画像を検出対象の画像として、画像内の位置に応じた露出誤差を検出する検出手段と、前記検出手段により検出された露出誤差を補正するための補正情報を算出する算出手段と、前記補正情報に応じて、前記検出対象の画像の露光量に応じたレベル調整を行う調整手段と、前記レベル調整が行われた画像を含む複数枚の画像を合成して合成画像を生成する画像合成手段と、を有する。

本発明によれば、露出条件を変えて撮影した複数枚の画像について画面の位置に応じた露出誤差補正を行った後、合成を行うことで、煩雑な処理を必要としないで動き検出を正常に行うことができる。

実施形態１の装置構成を示すブロック図。 図１の露出誤差検出部の構成を示すブロック図。 実施形態１の画像の小領域分割（ａ）と集計結果（ｂ）を例示する図。 実施形態１の集計結果と近似直線を例示する図。 図１のレベル設定部の構成を示すブロック図。 実施形態１のレベル調整処理を説明する図。 実施形態２の装置構成を示すブロック図。 図７の露出誤差検出部の構成を示すブロック図。 実施形態２の画像の集計結果を例示する図。 実施形態２の集計結果と近似直線を例示する図。 実施形態２のレベル設定部の構成を示すブロック図。 実施形態２のレベル調整処理を説明する図。 従来の装置構成を示すブロック図。 従来のフォーカルプレーンシャッターの幕速ムラに起因する露出誤差を例示する図。 従来のシェーディングに起因する露出誤差を例示する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］まず、図１〜図６を参照して、実施形態１による、フォーカルプレーンシャッターの幕速ムラによる露出誤差の補正処理について説明する。

＜装置構成＞本発明の画像処理装置を、例えば、画像を撮影するデジタルカメラなどの撮像装置に適用した場合の、実施形態について説明する。

図１を参照して、本実施形態の撮像装置の構成及び機能の概略について説明する。

図１において、１０１は撮影部であり、レンズ、絞り、イメージセンサ、センサゲイン部などが含まれ、撮影した画像を画像信号として出力する。１０２はカメラ信号処理部であり、画像信号から輝度信号や色信号を生成する。ここで、輝度信号とは、ＲＧＢの色信号から変換した輝度信号（Ｙ）であるが、ＲＧＢの各色信号の単独の信号でも、画像の明るさの情報を持つので、輝度信号に置き換えて使用することができる。以下では、説明の簡略化のため、これら明るさの情報を持つデータを、まとめて、画像データとして説明する。１０３は露光量設定部であり、撮影時の露出量を設定する。１０４は露出制御部であり、露光量設定部１０３からの露光量情報に従い、撮影部１０１の露出量を制御する。１０５はフレームメモリであり、撮影した画像データを一時的に記憶する。１０６はレベル設定部であり、露光量設定部１０３からの露光量情報により、画像データに対して行うレベル合わせのためのレベル合わせゲインを設定する。１０７はレベル設定部であり、露光量設定部１０３からの露光量情報に加えて、露出誤差検出部１１６からの補正情報と、ラインカウンタ１１７からの位置情報（ライン数）とに基づいて、垂直方向のライン数に対応したレベル合わせゲインを設定する。１０８はレベルゲイン処理部であり、レベル設定部１０６の設定値に従い、所定の露光量以上の高露出画像データのレベルを調整する。１０９はレベルゲイン処理部であり、レベル設定部１０７からの情報に従い、所定の露光量より小さい低露出画像データのレベルを調整する。１１０は動き検出部であり、レベルゲイン処理部１０８，１０９によりレベル合わせされた２枚の画像データについて、差分情報などを求めて、画像内の動き情報を検出する。１１１は合成比率設定部であり、２枚の画像データを合成するための合成比率を設定する。１１２と１１３は合成比率調整部であり、合成比率設定部１１１からの設定値に従い、画像の合成比率を調整する。１１４は画像合成部であり、合成比率が掛け合わされた２枚の画像データを加算し、合成画像データ１１５を生成する。１１６は露出誤差検出部であり、後述するように低露出画像を検出対象の画像として高露出画像とを比較することで、画面の位置に応じた露出誤差を検出し、検出された露出誤差を補正するための補正情報を算出する。１１７はラインカウンタであり、現在合成処理中である画像データについて、フォーカルプレーンシャッターの走行方向、すなわち垂直方向のライン数を検出する。

動き検出部１１０は、レベル設定部１０６とレベル設定部１０７によりレベル合わせされた低露出画像データと高露出画像データを比較して、画像内の動き情報を検出する。例えば、低露出画像データと高露出画像データを一定の領域に区分し、各領域の差分を求め、差分値の絶対値が大きい場合、その領域は動き領域と判定する。

合成比率設定部１１１は、画像データの輝度情報や動き情報により、合成比率を設定する。すなわち、画像の明るい部分は低露出画像データが主に合成されるように合成比率を設定し、画像の暗い部分は高露出画像データが主に合成されるように合成比率を設定する。また、動き領域と判定された場合は、低露出と高露出の画像データの、いずれか一方を出力するように合成比率を設定する。いずれか一方の画像データを出力することにより、合成後の画像データで、動き領域のブレなどの画質劣化を回避する。

以下では、最初に低露出画像を撮影し、次に高露出画像を撮影して合成する場合について説明するが、撮影画像を保存するフレームメモリを使用すれば、低露出画像と高露出画像を撮影する順番は、逆でも構わない。

また、本実施形態では、低露出画像を検出対象の画像として、露出誤差補正を含めたレベル合わせを行い、高露出画像については、従来通りのレベル合わせを行う。これは、幕速ムラによる画面の位置に応じた露出誤差は低露出画像により顕著に現れるからである。すなわち、一般的に、幕速ムラは、高速シャッターでも低速シャッターでも発生する。しかしながら、幕速ムラによる露光時間の違いは一定値であるため、露光時間の長い低速シャッター（高露出側）では露出誤差の影響が小さく、露光時間の短い高速シャッター（低露出側）では露出誤差の影響が大きくなる。したがって、高速シャッター側の画像データ（低露出画像データ）のみを検出対象の画像データとして補正する。

次に、図２及び図３を参照して、図１の露出誤差検出部１１６の構成及び機能について説明する。

図２において、２０２は露光量設定部１０３から得られる露光量情報である。２０３は画像データであり、輝度情報を持つ。２０４は補正係数であり、露出誤差検出部１１６で検出された、露出誤差を補正するための補正情報である。以下、本実施形態の露出誤差検出部１１６で、画像データ２０３から補正係数２０４を算出するまでの手順を説明する。

画像データ２０３は、まず、小領域分割部２０５で、図３（ａ）に示すように小領域に分割される。図３（ａ）は、画像データを、縦６行、横８列となるように分割した例である。分割された画像データは、測定部２０６により小領域毎に測定され、小領域毎の測定値が求められる。これら測定値は、例えば輝度値の小領域内の平均値である。なお、これら測定値としては、小領域内の輝度値を表す値であればよく、平均値の代わりにピーク値など別の値を利用することもできる。次に、小領域単位毎の測定値を、露光量情報２０２を用いて、調整部２０７でレベルを調整する。例えば低露出画像について適正露出の１／４倍、高露出画像について適正露出の４倍という露光量情報の場合、低露出画像の測定値は４倍、高露出画像の測定値は１／４倍して、それぞれの測定値から露光量の違いによる部分を除去するようにレベルを調整する。

ここで、低露出画像と高露出画像の小領域単位の測定値のうち、先に測定した結果は、一旦、メモリ２０８に記憶される。例えば、先に低露出画像を測定した場合、その測定値を、メモリ２０８に記憶する。次に、低露出画像と高露出画像の小領域単位の測定値を比較部２０９で比較する。上述した順序によれば、先にレベル調整され、メモリ２０８に記憶した低露出画像の測定値と、次にレベル調整した高露出画像の測定値とを比較する。比較は、各画像の同じ位置の小領域に対応する測定値を除算することで行う。例えば、低露出画像の、ある位置の小領域の測定値をＲＬ、高露出画像の、同じ位置の小領域の測定値を、ＲＨとすると、以下の式（１）から比較値Ｍを求める。

Ｍ＝（ＲＬ）／（ＲＨ）・・・（１）
ここで、各測定値は、調整部２０７で露光量が調整された値である。したがって、算出結果は、概ね１．０近辺の値となり、以下の集計や近似計算が行い易くなっている。なお、ここでの比較方法は、低露出画像と高露出画像の露出誤差を表す比較結果であればよく、例えば、小領域単位の調整結果の差を求めてもよい。

小領域毎に比較した結果は、集計部２１０で、小領域の画面の位置に応じて、集計される。本実施形態では、フォーカルプレーンシャッターの幕速ムラによる露出誤差を求めるものであるから、シャッターの走行方向に対応して集計を行う。すなわち、垂直方向に分布する露出誤差を求めるため、垂直方向が同じ位置である測定値を集計する。この様子を、図３（ｂ）で説明する。図３（ｂ）は、画像データを、縦６行、横８列となるように分割した例であるので、縦方向の小領域の数に応じた、６個の集計結果を求める。例えば図中の太線で示した２行目に位置する小領域の集計結果を求める場合、２行目に位置する３０１から３０６までの、８か所の小領域の、８個の比較結果について、平均値３０９を求める。なお、この集計の仕方としては、各行の比較結果を表示する集計結果であればよく、例えば８個の比較値のうち一部のみを用いた平均値でもよく、８個の比較値の中の中央値を集計結果としてもよい。これを全ての小領域について行い、縦方向の位置と平均値を対応させた集計結果を得る。得られた集計結果は、近似計算部２１１で近似計算を行い、補正係数２０４を算出する。

図４は集計結果から近似直線を求める方法を示しており、横軸は画像の垂直方向の位置を表し、縦軸は集計結果の値を表す。横軸で、４０１は、画像の中央を示している。図中Ｘ点は、各集計結果を示す。近似計算部２１１では、各集計結果から、これを最も良く示す近似直線４０２を求める。この近似直線は、例えば各集計結果から最小二乗法などを用いて求めることができる。この近似直線は、低露出画像と高露出画像を比較した結果、画像の垂直方向に発生している露光量の違いを示している。すなわち、フォーカルプレーンシャッターの幕速ムラによって発生する露光量の違いを示すものである。従って、この近似直線の傾きと、画像中央位置との切片を、補正係数２０４とする。なお、近似直線の表示する係数は、座標の取り方などで、異なる表示を算出することも可能である。さらに、直線によらず、２次式以上の次数で近似曲線を求めることとしてもよい。

なお、小領域毎の測定値を露光量情報２０２で調整し、画像データ２０３の比較を除算で行った場合、この近似直線の、画像中央位置との切片４０３は、各画像の実際の露光量によらず、およそ１．０近辺となるので、近似がどの程度の精度かを知る目安となる。例えば露光量情報２０２での調整を行わない場合、低露出画像と高露出画像の露光量の違いが１／１６であると、画像中央位置との切片４０３は、０．０６程度と小さい値となる。これに対して、低露出画像と高露出画像の露光量の違いが１／２であると、切片４０３は０．５程度の値となり、大きく異なった値となってしまう。そこで、露光量情報２０２での調整を行うことで、切片４０３は１．０付近の値となり、１．０と大きく異なる値となった場合は、この近似が不正確であったことを判定し易くなる。すなわち、近似直線を表す係数が特定の範囲（例えば、画像中央位置との切片が０．９から１．１など）外となった場合、露出誤差が適切に検出できていないと判定できる。この判定結果に応じて、後の処理で露出誤差の補正を行うか否かを容易に判定でき、不適切な露出誤差補正を行わない等の、安全策を講じることができる。

次に、図５を参照して、露出誤差検出部１１６で算出された補正係数２０４から、レベル設定部１０７で、露出誤差を補正するレベルを設定する手順について説明する。

図５において、５０２は露光量設定部１０３から得られる露光量情報である。５０３は補正係数であり、露出誤差検出部１１６で算出された補正係数である。５０４はライン数であって、ラインカウンタ１１７で生成されたものであり、合成を行っている画像の垂直方向のライン数を表している。５０５は、レベル設定部１０７で算出されるレベル合わせゲイン値である。

まず、補正値演算部５０６で、補正係数５０３とライン数５０４から、露出誤差の補正値を演算する。図２で説明したように、露出誤差を近似直線で表した場合、補正係数５０３は、直線の傾きａと、画像中央位置との切片ｂで表されている。また、画面全体の垂直方向のライン数をＮ、現在のライン数をＸとすると、補正値ｚは、以下の式（２）により求められる。

ｚ＝１／（ａ×（Ｘ−Ｎ／２）＋ｂ）・・・（２）
次に、レベル算出部５０７で、これに露光量情報５０２を掛けて、レベル合わせゲイン値５０５を算出する。露光量をＥ、レベル合わせゲイン値をＧとすると、以下の式（３）となる。

Ｇ＝Ｅ×ｚ・・・（３）
本実施形態のレベル設定部で算出されたレベル合わせゲイン値５０５は、図１のレベルゲイン処理部１０９に送られ、低露出画像データのレベル合わせが行われる。このレベル合わせゲイン値５０５は、画像データの垂直方向のライン毎に変化するものであり、画面の位置に応じて露出誤差を補正するように変化する。すなわち、低露出画像データについて、露出誤差補正を含めたレベル合わせが行われることになる。

このような露出誤差補正を含めたレベル合わせを行った場合の、画素レベルの分布の様子を、図６に示す。図６（ａ）は、高速シャッターを用いて撮影した低露出画像の、撮影直後の画素レベルの分布を示しており、図１４（ａ）に相当する。同様に、図６（ｂ）は、低速シャッターを用いて撮影した高露出画像の、撮影直後の画素レベルの分布を示しており、図１４（ｂ）に相等する。高露出画像については、従来と同等のレベル合わせを行うため、レベル合わせ後の画素レベルは、図６（ｄ）となり、図１４（ｄ）に相当する。一方、低露出画像については、露出誤差補正を含めたレベル合わせを行う。すなわち、図６（ａ）の画面の位置によって異なる画素レベルの違いを補正するように、レベル合わせを行うため、レベル合わせ後の画素レベルは、図６（ｃ）に示すように、画面内で一様となる。

この結果、画面全体で低露出画像と高露出画像の画素レベルが合うことになり、画面のどの位置の部分であっても、図１の動き検出などが正常に行えるようになる。

以上説明したように、本実施形態によれば、画面の位置に応じた露出誤差を検出し、補正することで、露出条件を変えて撮影される複数枚の画像を合成する際の、動き検出を正常に行うことができる。

なお、本実施形態では、上記式（１）により比較値を求めたが、式（１）の代わりに、以下の式（４）のように、除算の演算順序を変えて、比較値Ｍ’を求めてもよい。

Ｍ’＝（ＲＨ）／（ＲＬ）・・・（４）
この場合、求まる近似直線の傾きをｃと、画像中央位置との切片をｄとすると、補正値ｚ’は、以下の式（５）で求められ、レベル合わせゲイン値Ｇは、以下の式（６）で求められる。

ｚ’＝ｄ×（Ｘ−Ｎ／２）＋ｅ）・・・（５）
Ｇ＝Ｅ×ｚ’・・・（６）
また、本実施形態では、低露出画像と高露出画像の２枚の画像を合成する場合について説明したが、これに限る必要はなく、３枚以上の画像を合成する場合にも適用できる。この場合、本実施形態の低露出画像に相当する画像は、シャッターの幕速ムラが顕著に現れる画像、すなわち一定のシャッター速度よりも速い速度で撮影した個々の画像であり、露出誤差検出と、露出誤差補正を含めたレベル合わせが行われる。同様に、高露出画像に相当する画像は、一定のシャッター速度よりも遅い速度で撮影した画像を、露出誤差検出に用いれば良い。さらに、同じ条件で撮影された画像が複数枚ある場合は、これらのうち１枚の画像を用いて露出誤差検出を行っても良いし、同じ条件の複数枚の画像を、図２の調整部２０７で露光量を調整した後に、平均化した測定値を用いて露出誤差検出を行っても良い。本実施形態では、既に調整部で露光量を調整することとしているので、このように複数枚の画像から測定値の平均値を求めて、露出誤差検出を行うことが容易になっている。

また、本実施形態では、入力画像毎に露出誤差検出部１１６で処理を行っていたが、画面の位置に応じた露出誤差がメカニカルな要因であることに鑑みれば、基準画像の各シャッター速度と設定露光量毎の補正値を別テーブルに記憶しておいても良い。この場合、撮影時にテーブルから補正値を読み出して、画面の位置に応じたレベル調整だけを行っても同様の効果が得られる。

また、経時変化を考慮して、所定のタイミング時のみ、露出誤差検出部１１６で処理を行い、上記テーブルに記憶された補正値を更新するようにしても同様の効果が得られる。

なお、上記所定のタイミングとは、所定期間後の立ち上げた最初の撮影時でもよいし、レンズ交換型の撮像装置ならば、レンズを交換した後の最初の撮影時でもいい。

［実施形態２］次に、図７から図１２を参照して、実施形態２による、シェーディングによる露出誤差の補正処理について説明する。すなわち、実施形態１の補正対象であったシャッターの幕速ムラによる露出誤差が、画面の一方向に沿ったものであったのに対して、本実施形態は、画面の垂直方向及び水平方向に露出誤差が発生する場合である。特に、画面の中心からの距離に応じて異なる露出誤差を補正対象として説明する。なお、シェーディングによる影響は、低露出画像でも、高露出画像でも発生するものである。このため、本実施形態では、各画像に生じるシェーディングをそれぞれ補正するものではなく、低露出画像と高露出画像のシェーディングによる周辺部の画素レベルの違いを、一方の画像についてのみ補正する。したがって、正しくはシェーディングの影響の違いであるが、便宜上、露出誤差と称して説明する。

本実施形態の装置構成を示す図７において、７０１〜７０６、７０８〜７１５は、、それぞれ実施形態１（図１）の１０１〜１０６、１０８〜１１５に対応し、同様の機能を有する。

本実施形態の露出誤差検出部７１６は、後述するように低露出画像と高露出画像から、露出誤差を検出し、補正情報を算出する。ラインカウンタ７１７、７１８は、現在合成処理中の画像データについて、画面の垂直方向（ｘ方向）のライン数、画面の水平方向（ｙ方向）のライン数をそれぞれ検出する。レベル設定部７０７は、露光量設定部７０３からの露光量情報に加えて、露出誤差検出部７１６からの補正情報と、ラインカウンタ７１７、７１８からの位置情報（ライン数）に基づいて、垂直及び水平方向のライン数に対応したレベル合わせゲイン値を設定する。

以下では、低露出画像を検出対象の画像として、露出誤差補正を含めたレベル合わせを行い、高露出画像については、従来通りのレベル合わせを行うものとして説明するが、高露出画像を検出対象の画像とし、低露出画像については、従来通りのレベル合わせを行うことにしても、同等の効果が得られる。

次に、図８及び図９を参照して、図７の露出誤差検出部７１６の構成及び機能について説明する。

図８において、８０２は露光量設定部７０３から得られる露光量情報である。８０３は画像データであり、輝度情報を持つ。８０４は補正係数であり、露出誤差検出部７１６で検出された、露出誤差を補正するための補正情報である。以下、本実施形態の露出誤差検出部７１６で、画像データ８０３から補正係数８０４を算出するまでの手順を説明する。

本実施形態の露出誤差検出部７１６の構成を示す図８において、８０５〜８０９は、、それぞれ実施形態１（図２）の２０５〜２０９に対応し、同様の機能を有する。また、本実施形態の小領域分割も、図３（ａ）と同等でよい。

比較部８０９で小領域毎に比較した結果は、集計部８１０で、小領域の画面の位置に応じて集計される。本実施形態では、シェーディングによる露出誤差を求めるものであるから、画面の中心からの距離に応じた集計を行う。すなわち、画面の中心から同じ距離にある測定値を集計する。この集計の様子を図９で説明する。図９で、９０１から９０４は、画面の中心から等距離の位置にある４つの小領域の例である。この距離にある４箇所の小領域の、４個の比較結果について、平均値９０５を求める。これを全ての小領域について行い、距離と平均値を対応させた集計結果を得る。得られた集計結果は、近似計算部８１１で近似計算を行い、補正係数８０４を算出する。

図１０は集計結果から近似曲線を求める方法を示しており、横軸は画面の中心からの距離を表し、縦軸は集計結果の値を表す。横軸で、１００１は、画像の中央を示している。図中Ｘ点は、各集計結果を示す。近似計算部８１１では、各集計結果から、これを最も良く示す近似曲線１００２を求める。この近似曲線は、例えば各集計結果から最小二乗法などを用いて、多項式の係数として求めることができる。この近似曲線は、低露出画像と高露出画像を比較した結果、画面の中心からの距離に応じて発生している露光量の違いを示している。すなわち、シェーディングによって発生する露光量の違いを示すものである。従って、この近似曲線を表す多項式の係数を、補正係数８０４とする。ここで、この多項式の次数は、補正対象とするシェーディングの程度によって異なるものとなるが、通常４次式程度の多項式が用いられる。

なお、小領域毎の測定値を露光量情報８０２で調整し、画像データ８０３の比較を除算で行った場合、この近似直線の、画像中央位置との切片１００３は、各画像の実際の露光量によらず、およそ１．０近辺となるのは、実施形態１と同様である。

次に、図１１を参照して、露出誤差検出部７１６で算出された補正係数８０４から、レベル設定部７０７で、露出誤差を補正するレベルを設定する手順について、説明する。

図１１において、１１０２は露光量設定部７０３から得られる露光量情報である。１１０３は露出誤差検出部７１６で算出された補正係数である。１１０４は、ラインカウンタ７１７で生成された垂直方向のライン数であって、合成を行っている画像の垂直方向（ｘ方向）のライン数を表している。同様に、１１０５は、ラインカウンタ７１８で生成された水平方向のライン数であって、合成を行っている画像の水平方向（ｙ方向）のライン数を表している。１１０６は、レベル設定部７０７で算出されるレベル合わせゲイン値である。

まず、中心距離計算部１１０７で、現在の合成を行っている画素の、画面の中心からの距離（中心距離）を計算する。次に補正値演算部１１０８で、補正係数１１０３と中心距離から、露出誤差の補正値を演算する。図８の露出誤差検出部７１６で説明したように、露出誤差を近似曲線で表した場合、補正係数１１０３は、近似曲線を表す多項式の係数で表されている。ここで、多項式の次数を４次として、中心距離をｓとしたとき、近似曲線が以下の式（７）で表されているとする。式の中で、ａ，ｂ，ｃ，ｄ，ｅは、多項式の各係数である。

ａ×ｓ⁴＋ｂ×ｓ³＋ｃ×ｓ²＋ｄ×ｓ＋ｅ・・・（７）
補正値ｚは、以下の式（８）で求められる。

ｚ＝１／（ａ×ｓ⁴＋ｂ×ｓ³＋ｃ×ｓ²＋ｄ×ｓ＋ｅ）・・・（８）
次に、レベル算出部１１０９で、これに露光量情報１１０２を掛けて、レベル合わせゲイン値１１０６を算出する。露光量をＥ、レベル合わせゲイン値をＧとすると、上記式（３）となる。

本実施形態のレベル設定部７０７で算出されたレベル合わせゲイン値１１０６は、図７のレベルゲイン処理部７０９に送られ、低露出画像データのレベル合わせが行われる。このレベル合わせゲイン値１１０６は、画像の中心距離に応じて変化するものであり、露出誤差を補正するように変化する。すなわち、低露出画像データについて、露出誤差補正を含めたレベル合わせが行われることになる。

このような露出誤差補正を含めたレベル合わせを行った場合の、画素レベルの分布の様子を、図１２に示す。図１２（ａ）は、絞りを絞って撮影した低露出画像の、撮影直後の画素レベルの分布を示しており、図１５（ａ）に相等する。同様に、図１２（ｂ）は、絞りを開いて撮影した高露出画像の、撮影直後の画素レベルの分布を示しており、図１５（ｂ）に相等する。高露出画像については、従来と同等のレベル合わせを行うため、レベル合わせ後の画素レベルは、図６（ｄ）となり、図１５（ｄ）に相当する。一方、低露出画像については、露出誤差補正を含めたレベル合わせを行う。すなわち、図１２（ａ）の画面の位置によって異なる画素レベルの違いを補正するように、レベル合わせを行うため、レベル合わせ後の画像レベルは、図１２（ｃ）に示すように、シェーディングの影響は、同等となる。

この結果、低露出画像と高露出画像の画面全体で画像レベルが合うことになり、画面のどの位置の部分であっても、図７の動き検出などが正常に行えるようになる。

以上説明したように、本実施形態によれば、画面の中心からの距離に応じた露出誤差を検出し、補正することで、露出の異なる複数枚の画像を合成する際の、動き検出を正常に行うことができる。

なお、本実施形態では、シェーディングによる露出誤差に着目したため、画面の中心からの距離に応じた露出誤差を補正する構成とした。このシェーディングに、実施形態１のシャッターの幕速ムラが加わる場合は、近似計算部８１１で補正係数を求めるときに、画像の垂直方向と水平方向の各位置を考慮して近似曲線を求め、レベル設定部７０７では、中心距離計算部１１０７での処理を行わず、垂直方向のライン数１１０４と水平方向のライン数１１０５から直接、補正値演算部１１０８で補正値を演算する構成とすれば良い。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを格納した記憶媒体は本発明を構成することになる。

Claims (13)

1. 露出条件を変えて撮影される複数枚の画像を合成する画像処理装置において、
   所定の値よりも露光量が小さい画像を検出対象の画像として、画像内の位置に応じた露出誤差を検出する検出手段と、
   前記検出手段により検出された露出誤差を補正するための補正情報を算出する算出手段と、
   前記補正情報に応じて、前記検出対象の画像の露光量に応じたレベル調整を行う調整手段と、
   前記レベル調整が行われた画像を含む複数枚の画像を合成して合成画像を生成する画像合成手段と、を有することを特徴とする画像処理装置。
2. 前記検出手段は、前記複数枚の画像のうち、前記露光量が所定の値以上の画像を基準画像とし、当該基準画像と前記検出対象の画像とを比較することにより、画像の露出誤差を検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記基準画像は、露光量が最も大きい画像であることを特徴とする請求項２に記載の画像処理装置。
4. 前記検出手段は、
   前記基準画像と前記検出対象の画像を小領域に分割し、小領域毎の輝度値から小領域毎に測定値を求める測定手段と、
   前記基準画像と前記検出対象の画像の同じ位置にある小領域単位で前記測定値を比較することで当該小領域単位の比較値を求める比較手段と、
   前記比較値を集計する集計手段と、を有し、
   前記集計手段の集計結果から、前記検出対象の画像について露出誤差を検出することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記検出手段は、前記基準画像と前記検出対象の画像とを比較するときに、予め設定された撮影時の露光量を含めて比較を行うことを特徴とする請求項２に記載の画像処理装置。
6. 前記所定の値よりも露光量が小さい画像は、高速シャッターを用いて撮影した低露出画像であることを特徴とする請求項５に記載の画像処理装置。
7. 前記画像内の位置とは、前記検出対象の画像の垂直方向または水平方向のいずれか一方の位置であることを特徴とする請求項１に記載の画像処理装置。
8. 前記画像内の位置とは、前記検出対象の画像の中心からの距離であることを特徴とする請求項１に記載の画像処理装置。
9. 前記算出手段は、前記検出対象の画像の垂直方向の位置のみに対応した補正情報と、水平方向の位置のみに対応した補正情報を算出することを特徴とする請求項１に記載の画像処理装置。
10. 前記露出条件を変えて複数枚の画像を撮影する撮影手段を更に有することを特徴とする請求項１ないし９のいずれか１項に記載の画像処理装置。
11. 露出条件を変えて撮影される複数枚の画像を合成する画像処理方法であって、
    検出手段が、所定の値よりも露光量が小さい画像を検出対象の画像として、画像内の位置に応じた露出誤差を検出する検出ステップと、
    算出手段が、前記検出ステップにより検出された露出誤差を補正するための補正情報を算出する算出ステップと、
    調整手段が、前記補正情報に応じて、前記検出対象の画像の露光量に応じたレベル調整を行う調整ステップと、
    画像合成手段が、前記レベル調整が行われた画像を含む複数枚の画像を合成して合成画像を生成する画像合成ステップと、を有することを特徴とする画像処理方法。
12. コンピュータを、請求項１ないし１０のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
13. コンピュータを、請求項１ないし１０のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。

Images