JP5445363B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、動きのある被写体を含む画像であっても画像の手ぶれやノイズむらを補正しつつ、画像破壊を起こさずに精度よく補正をすることができる画像処理装置、画像処理方法および画像処理プログラムに関するものである。

近年、ＣＭＯＳに代表されるように撮像素子の高速化が進んでおり、その特徴を生かした様々な機能を備えるデジタルカメラが知られている。例えば、１秒間に５枚以上の画像を連続的に記録することができるものや、１０００ｆｐｓ以上の動画撮影を行うことができるものがある。このようなデジタルカメラにおいて、手持ち撮影したときの手ぶれや、長時間の露光を要する撮影におけるノイズを除去するために、連続的に撮影された複数の画像を合成することで補正処理を行う画像処理装置を備えたものが知られている。画像合成処理を行うとランダムノイズを平均化することができ、手ぶれや暗所撮影によるノイズを低減することができる。

複数の画像を合成するには、連続的に取得された画像のうち、１の画像（基準画像）と、その他の画像（比較画像）の位置を合わせる必要がある。この位置合わせ処理は、完全に静止している被写体に係る画像であれば、各画像の大きさを同じにすることで処理できるが、動く被写体（動被写体）が含まれているときは、その動き方向を特定した上で、動きに応じた位置合わせをする必要がある。被写体の動きを無視して合成するとブレやノイズが増大することになるからである。そこで、画像合成処理を行う前に、被写体の動きを特定し、その動き情報に基づいて位置合わせを行いながら画像合成を行う画像処理装置が知られている（例えば、特許文献１を参照）。

また、動く被写体の合成処理によって生じる画像破壊（ゴーストなど）を防止するために、基準画像と比較画像を微小な画像ブロックに分割し、各画像ブロックのＲＧＢ出力値
の差分に応じて合成比率を決定する画像処理方法が知られている（例えば、特許文献２を参照）。特許文献２に記載されている画像処理方法は、画像ブロック同士のＲＧＢ出力値（ＲＧＢ平均値）の差分値が所定の閾値より低ければ、その画像ブロックは合成し、所定の閾値よりも高ければ、その画像ブロックを合成しないように、画像ブロック毎に合成処理を実行するか否かを判定している。

特許文献２に記載されている画像処理方法のように、所定の閾値によって合成処理の可否判定を行うには課題がある。露光量に比例してランダムノイズが発生する撮像素子によって撮影される画像は、被写体像の明部のノイズは暗部のノイズに比べて大きくなるので、画像間の差分値の絶対値は大きくなる。したがって、明部に発生するノイズを画像合成によって補正するには、合成可否判定に用い閾値を大きく設定する必要がある。これによって、明部における被写体像の動き検出を正確に行うことができる。しかしながら、明部に合わせて閾値を大きく設定すると暗部における被写体像に対しては閾値が大きくなりすぎるため、暗部における被写体像の動きを検出することができなくなり、「合成可」と誤って判定されてしまう。このように誤った合成がされると動く被写体像が合成されて、合成画像にゴーストが発生し、画像破壊が生じることになる。

図１４および図１５において、設定される閾値の違いによる画像合成結果の例を示す。図１４（ａ）が基準画像とする。この基準画像の他に、例えば３枚の連続して撮影された比較画像があるが、図示は省略する。図１４（ｂ）は、合成可否判定に用いる閾値が暗部に合うように設定されているときに実行される画像合成処理の結果の例を示している。図１４（ｂ）によれば、被写体Ｘは動被写体であるが合成判定が正しく行われているので、輪郭Ｒも明確で、ゴーストが発生することなく、画像破壊も生じていない。

一方、図１４（ｃ）は、合成可否判定に用いる閾値を明部に合うように設定されているときに実行される画像合成処理の結果の例を示している。図１４（ｃ）によれば、被写体Ｘが暗いと、動被写体であっても基準画像と比較画像における差分値は小さく、暗部に合うように設定された大きい閾値を超える確率が低くなる。その結果として、「合成可」と判定され、輪郭Ｒが被写体Ｘの動きに沿って複数あるような画像、いわゆるゴーストＺが発生する。

また、合成判定に用いる閾値が暗部に合うように設定されているときは、被写体の一部が他の部分に比べて明るいと、図１５に示す例のように、明るい部分だけにノイズむらＹが生じることになる。すなわち、自動車のヘッドライトや街灯などのように局所的な明部では、周囲の画像ブロックが「合成可」と判定されるのに対し、局部的明部は「合成不可」と判定されるため、当該箇所の画像ブロックは合成処理がされず、画像合成によるノイズ平均化の効果を得ることができないため、局所的にノイズが発生しているようになる。

このように、合成判定の判定に用いる閾値を一定にして画像合成可否判定を実行すると、正確な合成可否判定ができず、誤って合成処理が行われてしまい、ゴーストやノイズむらを誘発して画像破壊の原因となっていた。

本発明は上記課題に鑑みてなされたものであって、連続して撮影された複数の画像を合成することで、画像の補正を行う画像処理装置、画像処理方法および画像プログラムにおいて、合成可否の判定に用いる閾値を一定の値とするのではなく、合成される基準画像の出力値に応じて可変的に設定することで、より精度が良く、かつ画像破壊を発生させない画像合成処理を行うことができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明は、連続的に撮影された複数の画像が記憶される記憶手段と、記憶手段に記憶されている複数の画像のうち、１の基準画像と基準画像とは異なる比較画像のそれぞれを所定の大きさの画像ブロックに分割する画像分割手段と、基準画像と比較画像それぞれの画像ブロックごとに、画素出力値の平均値を算出する平均値算出手段と、合成対象となる基準画像の画像ブロックと比較画像の画像ブロックとの合成可否の判定に用いる閾値を、基準画像の画像ブロックの画素出力値の平均値に基づいて特定する閾値特定手段と、合成対象となる基準画像の画像ブロックの閾値と、基準画像の画像ブロックの画素出力値の平均値と比較画像の画像ブロックの画素出力値の平均値との差分とを比較し、比較の結果に基づいて、合成対象となる基準画像の画像ブロックと比較画像の画像ブロックとの合成可否の判定をする判定手段と、を有してなることを有することを主な特徴とする。

また本発明に係る画像処理装置の別の形態は、基準画像と比較画像との間の動きデータを算出する動きデータ算出手段を備え、平均値算出手段が、算出された動きデータによって対応付けられた基準画像の画像ブロックと比較画像の画像ブロックごとに、画素出力値の平均値を算出し、判定手段が、算出された動きデータによって対応付けられた基準画像の画像ブロックと比較画像の画像ブロックとの合成可否を判定する、ことを特徴とする。

また本発明に係る画像処理装置の別の形態は、平均値算出手段が算出する平均値が、各画像ブロックに含まれる画素のＲＧＢごとの平均値であり、閾値特定手段が、ＲＧＢごとの平均値に基づいて閾値を特定する、ことを特徴とする。

また本発明に係る画像処理装置の別の形態は、平均値算出手段が算出する平均値が、各画像ブロックに含まれるＲＧＢごとの平均値であり、閾値特定手段が、各画像ブロックに含まれる画素のうち最も大きいＲＧＢの平均値に基づいて閾値を特定する、ことを特徴とする。

また本発明に係る画像処理装置の別の形態は、平均値算出手段が算出する平均値が、各画像ブロックに含まれる画素の輝度の平均値である、ことを特徴とする。

また本発明に係る画像処理装置の別の形態は、閾値決定手段が、ＩＳＯ感度に応じて異なる閾値を特定する、ことを特徴とする。

また本発明に係る画像処理装置の別の形態は、判定手段が、平均値の差分が閾値よりも小さいときに合成対象となる基準画像の画像ブロックと比較画像の画像ブロックとは合成可であると判定する、ことを特徴とする。

また本発明に係る画像処理装置の別の形態は、判定手段による判定の結果、合成可と判定された基準画像の画像ブロックと比較画像の画像ブロックとを画像合成する画像合成手段を備える、ことを特徴とする。

また本発明は、上記の画像処理装置を用いた画像処理方法であって、画像分割手段が、記憶手段に記憶されている複数の画像のうち、１の基準画像と基準画像とは異なる比較画像のそれぞれを所定の大きさの画像ブロックに分割する画像分割ステップと、平均値算出手段が、分割された基準画像と分割された比較画像のそれぞれの画像ブロックごとに、画素出力値の平均値を算出する平均値算出ステップと、閾値特定手段が、合成対象となる基準画像の画像ブロックと比較画像の画像ブロックとの合成可否の判定に用いる閾値を、基準画像の画像ブロックの画素出力値の平均値に基づいて特定する閾値特定ステップと、判定手段が、合成対象となる基準画像の画像ブロックの閾値と、基準画像の画像ブロックの画素出力値の平均値と上記比較画像の画像ブロックの画素出力値の平均値との差分とを比較するステップと、比較の結果に基づいて、合成対象となる基準画像の画像ブロックと比較画像の画像ブロックとの合成可否の判定をする判定ステップと、を実行することを特徴とする。

また本発明に係る画像処理方法の別の形態は、画像処理装置が、基準画像と比較画像との間の動きデータを算出する動きデータ算出手段をさらに備え、平均値算出手段が、算出された動きデータによって対応付けられた基準画像の画像ブロックと比較画像の画像ブロックごとに、上記画素出力値の平均値を算出するステップと、判定手段が、算出された動きデータによって対応付けられた基準画像の画像ブロックと比較画像の画像ブロックとの合成可否を判定するステップと、を実行することを特徴とする。

また本発明に係る画像処理方法の別の形態は、平均値算出手段が算出する平均値が、各画像ブロックに含まれる画素のＲＧＢごとの平均値であり、閾値特定手段が、ＲＧＢごとの平均値に基づいて上記閾値を特定するステップを実行することを特徴とする。

また本発明に係る画像処理方法の別の形態は、平均値算出手段が算出する平均値が、各画像ブロックに含まれるＲＧＢごとの平均値であり、閾値特定手段が、各画像ブロックに含まれる画素のうち最も大きいＲＧＢの平均値に基づいて閾値を特定するステップを実行することを特徴とする。

また本発明に係る画像処理方法の別の形態は、記平均値算出手段が算出する平均値が、各画像ブロックに含まれる画素の輝度の平均値であることを特徴とする。

また本発明に係る画像処理方法の別の形態は、閾値決定手段が、ＩＳＯ感度に応じて異なる閾値を特定するステップを実行することを特徴とする。

また本発明に係る画像処理方法の別の形態は、判定手段が、平均値の差分が閾値よりも小さいときに合成対象となる基準画像の画像ブロックと比較画像の画像ブロックとは合成可であると判定するステップを実行することを特徴とする。

また本発明に係る画像処理方法の別の形態は、判定手段による判定の結果が、合成可と判定された基準画像の画像ブロックと比較画像の画像ブロックとを画像合成する画像合成手段をさらに備え、画像合成手段が、判定ステップの結果が合成可であるとき、当該基準画像の画像ブロックと当該比較画像の画像ブロックを画像合成するステップを実行することを特徴とする。

また本発明は、画像処理プログラムであって、コンピュータを、上記に記載したいずれかの画像処理装置として機能させることを特徴とする。

本発明によれば、画像合成によるゴーストやノイズむらの発生を防ぐことができ、より正確な画像処理を行うことができる。

本発明に係る画像処理装置を搭載した撮像装置の例を示す正面図である。 上記撮像装置に用いられる制御系統の例を示す機能ブロック図である。 本発明に係る画像処理方法に用いる閾値の選定に用いるチャート画像の例である。 複数枚撮影した上記チャート画像の差分値の分布の例を示すグラフである。 本発明に係る画像処理方法に用いる閾値テーブルの例である。 本発明に係る画像処理方法の例を示すフローチャートである。 本発明に係る画像処理方法における合成判定処理の詳細な例を示すフローチャートである。 本発明に係る画像処理方法における合成判定処理の別の例を示すフローチャートである 本発明に係る画像処理方法における合成判定処理の別の例を示すフローチャートである 本発明に係る画像処理方法の効果の例に用いる画像の例である。 本発明に係る画像処理方法の効果の例を示す、（ａ）従来の方法による合成例、（ｂ）本願発明に係る画像処理方法による合成処理の例、表した図である。 本発明に係る画像処理方法の効果の別の例に用いる画像の別例である。 本発明に係る画像処理方法の効果の別の例を示す、（ａ）従来の方法による合成例、（ｂ）本願発明に係る画像処理方法による合成処理の例、を表した図である。 従来の画像処理方法における合成処理の例を示す図である。 従来の画像処理方法における合成処理の別の例を示す図である。

以下、本発明に係る画像処理装置および画像処理方法について図面を用いながら説明する。本発明に係る画像処理装置は、撮像装置に搭載して用いることもできるので、本実施例においては、本発明に係る画像処理装置が搭載された撮像装置を用いて説明する。

図１は、本発明に係る画像処理装置を備えた撮像装置の外観の例を示す正面図である。図１において撮像装置１は、正面にズームレンズやフォーカスレンズを含む鏡胴ユニット２を備えており、また、ストロボ発光部３、被写体までの距離を測定する測距ユニット４、光学ファインダ５を備えている。撮像装置１の上面には、シャッタースイッチであるレリーズボタンＳＷ１、撮影モードを選択するためのモードダイヤルＳＷ２とジョグダイヤルスイッチＳＷ３が配置されている。レリーズスイッチＳＷ１の操作によって、被写体像が鏡胴ユニット２を構成する各種レンズを介して図示しない撮像素子に取り込まれて、画像データとして図示しない記憶手段に記憶される。１回の撮像操作によって連続して複数の画像を記憶することができる。例えば、レリーズスイッチＳＷ１を１回操作することで、連続した４枚の画像データを記憶することができる。

次に、図２を用いて本実施例にかかる撮像装置１の機能ブロックの例について説明する。図２に示すように撮像装置１は、装置全体の動作を制御するプロセッサであるＣＰＵ１０と各処理手段をつなぐデータバス２１によって構成されている。
撮像手段１１は、撮像光学系を介して取得した被写体像を撮像素子においてデジタルデータに変換し所定の記録形式のファイルにする処理を行う。撮像手段１１において生成されるファイルを本明細書においては「画像」と称する。撮像手段１１における撮像処理は、連続して所定数の画像を撮影するものであって、所定の数とは例えば４である。

記憶手段１２は、撮像手段１１が生成した連続する複数の画像を記憶する処理を行う。画像分割手段１３は、記憶手段１２に記憶されている画像を所定の大きさの画像ブロックに分割する処理を行う。所定の大きさとは例えば３２画素×３２画素である。

平均値算出手段１４は、画像分割手段１３が分割した画像ブロック毎に、画像ブロックに含まれる画素の出力値の平均値を算出する処理を行う。ここで、画素の出力値の平均値の例としては、例えば、後述の実施例１のようにＲ画素、Ｇ画素、Ｂ画素それぞれの出力値の平均値（以下、「ＲＧＢ平均値」という。）や、後述の実施例２のように画像ブロックに含まれる全ての画素の輝度データの平均値や、後述の実施例３のように画像ブロックに含まれるＲ画素、Ｇ画素、Ｂ画素の出力値を合計した平均値（以下、「ＲＧＢ平均合計値」という。）などがある。

閾値特定手段１５は、平均値算出手段１４が算出した基準画像の平均値に基づいて、合成判定に用いる閾値を特定する。基準画像とは、記憶手段１２に記憶されている連続して撮影された複数のうち１の画像をいう。連続して撮影された複数の画像のうち、基準画像以外の画像を「比較画像」とする。本実施例において基準画像は、連続して撮影された複数の画像のうち、最初に撮影された画像を指す。ただし、本発明に係る画像処理装置において基準画像は、これに限ることはなく、連続する複数の画像のうち最も合焦度合いが高い画像を基準画像としてもよい。

ここで閾値について説明をする。閾値は、各画像ブロックの合成可否を判定するために用いる値であって、画像ブロックの画素出力値の平均値に応じて異なる値を有する。平均値が小さいときは閾値も小さく、平均値が大きくなるにつれて閾値も大きくなる。まずこのように閾値を画像ブロックに含まれる画素の出力値の大きさに応じて変化させる理由について、説明する。

一般に、撮像素子において生じるノイズには、出力の大きさに依存するノイズと依存しないノイズがある。このうち、出力の大きさに依存するノイズとして、光ショットノイズや電荷転送ノイズ、作動アンプノイズに起因するものが挙げられる。光ショットノイズはフォトダイオードの量子効率に起因するノイズであり、その大きさは光子の数に依存している。理想的に同じ光量を同じ時間だけ照射したとしても、フォトダイオードの出力にバラツキが発生し、そのバラツキ度合は出力が高い場合ほど影響が大きい。つまり、同一被写体を同一環境下で複数回撮影しても、撮像素子の出力は必ずしも同じにならない。このような事情から、同一被写体を同一環境下で４枚撮影したとしても、４画像間の差分の期待値は、出力が低い暗部と出力が高い明部で異なってくる。したがって、暗部から明部まで一律の閾値によって合成可否を判定すると不具合が生じる。すなわち、同じシーンであっても画像に含まれる暗部（輝度が低い部分）は閾値を下回やすくなり、明部（輝度が高い部分）は閾値を上回りやすくなる。閾値を下回るときは画像の合成を行い、閾値を上回るときは画像の合成を行わないので、暗部ではゴースト、明部ではノイズむらという画像破壊が発生する。

そこで、本発明において閾値は、図３に示すようなマクベスチャートを連続して撮影した画像を用いて差分値の分布を算出した上で、この分布に基づいて被写体の出力値に応じた最適な閾値を設定できるようにしている。なお、マクベスチャートの撮影には三脚に固定したデジタルカメラを用い、同一の撮影環境・同一の設定下で複数回の撮影を行う。図４は、図３に示すマクベスチャートを２枚連続して撮影し、画像ブロックに分割し、同じ位置の画像ブロックの平均値の差分をプロットしたグラフである。横軸が画素の明るさ（出力値）を示し、縦軸が差分値を示している。図４から明らかなように、暗部の差分値が小さく、明部の差分値は大きい。どの程度の差分が出るかは確率的な問題であり、明部のほうが差分値のバラツキが大きい。

図４において、差分値の分布が縦長のグループを形成しているが、これは、図３に示すようにマクベスチャートは、同じ色で一定の領域が塗りつぶされた複数の矩形画像から形成されている画像であるので、各矩形画像（パッチという）が所定の明るさの範囲内に収まるからである。図４のグラフから明らかなように、差分値の期待値は、各パッチの色にはよらず、光源に対する依存性はほとんどないといえる。但し、フリッカなどを生じる光源では、出力の絶対値そのものが変化してしまうため、この限りではない。図４（ａ）はＩＳＯ感度（撮像素子に与えるゲイン量）が１００の場合であり、図４（ｂ）はＩＳＯ感度が１６００の場合である。ＩＳＯ感度によってＳ／Ｎ比が変化するため、差分値もＩＳＯ感度によって変化する。

図４の曲線は、差分値の分布から算出した近似曲線である。この近似曲線から、各画素値における最適な閾値を特定することができる。ある出力値に着目したとき、曲線の下側に差分値が入っていれば合成してもよく、差分値が曲線を超えるならば合成をしてはならない。すなわち、曲線が閾値を表している。閾値は画素の出力値によって変化するので、本実施例に係る撮像装置１は、不揮発性のワークメモリ内に所定の記憶構造をもって平均値と関連づけて閾値を予め記憶しておく。図５に画素の出力値の平均値と関連付けて閾値が記憶されている閾値テーブルの例を示す。図５（ａ）に示すように、画素の出力値の平均値が取り得る値の一つ一つに対応して、１対１で閾値を記憶してもよいが、これでは記憶領域を圧迫することになるので、図５（ｂ）に示すように、代表的な平均値とこれに対応する閾値を記憶しておき、これ以外の閾値は補間演算によって算出してもよい。また、前述したようにＩＳＯ感度によって平均値の大きさは変化するので（図４（ｂ）を参照）、ＩＳＯ感度毎に図５（ｂ）の閾値テーブルを記憶しておいてもよい。さらに、画素の出力をＲＧＢの各要素において平均することで、より正確な判定をすることができるため、閾値テーブルはＲ・Ｇ・Ｂごとに記憶しておいてもよい。

図２に戻る。判定手段１６は画像ブロックごとに、閾値特定手段１５において特定された閾値と、基準画像と比較画像の画像ブロックにおける画素の出力値の平均値の差分とを比較し、差分が閾値よりも小さければ当該基準画像の画像ブロックとこれに対応する画像の画像ブロックを合成可とするフラグを立てる。フラグは図示しないワークメモリに、画像ブロックを識別する情報とともに関連付けられて記憶される。

画像合成手段１７は、判定手段１６において「合成可」とするフラグが関連付けられた画像ブロックにおいて、基準画像に比較画像を合成する処理を行う。合成処理が終わったときに、記憶手段１２に記憶されている連続して撮影された複数の画像のうち、合成判定されていない画像があれば、その画像を比較画像とし、合成後の画像を新たな基準画像として、判定手段における判定処理が繰り返して行われる。

動きデータ算出手段１８は、基準画像と比較画像の各画像ブロック同士の関連を特定する動きデータを算出する処理を行う。動きデータとは、水平方向と垂直方向における基準画像に対する比較画像のズレの量である。「動きデータ」は、例えば、１枚目の撮影時と２枚目の撮影時で撮像装置が微動して画角がずれたときの、基準画像と比較画像の相対的なずれであって平行移動量を表す動きベクトルであってもよいし、画像の回転など動き検出の自由度が高いアフィンパラメータであってもよい。入力画像の多重解像度処理を行った後、解像度の低い画像から高い画像へと段階的にブロックマッチング処理を実行して、精度の高いアフィンパラメータを求める技術を用いて基準画像と比較画像間の動きデータを算出することもできる。

表示手段１９は、画像データや操作メニューを表示する。操作手段２０は、レリーズボタンＳＷ１やモードダイヤルＳＷ２の入力を検出して所定の動作のきっかけをＣＰＵ１０に伝達する。

（実施例１）
次に、本発明に係る画像処理装置が実行する画像処理方法の例について、説明をする。図６は、本発明に係る画像処理方法の実施の形態の例を示すフローチャートである。図６において、各処理ステップをＳ１、Ｓ２、Ｓ３・・・のように表す。

まず、撮像手段１１が被写体像を撮影すると、連続的に撮影された複数の画像が記憶手段１２に記憶される（Ｓ１）。この複数の画像は、全て同じ撮影制御設定（絞り、露光時間、ＩＳＯ感度、画角など）において撮影される。次に、動きデータ算出手段１８は、記憶手段１２に記憶されている基準画像と比較画像の関連を特定する動きデータを算出し、これを用いて位置合わせ処理を行う（Ｓ２）。位置合わせ処理（Ｓ２）は、この動きデータを用いて基準画像に対する比較画像のズレを補正する処理である。

次に、基準画像と比較画像の合成判定処理が行なわれ（Ｓ３）、各画像ブロックに合成された画像数が記録される（Ｓ４）。合成判定処理（Ｓ３）の詳細については後述する。合成枚数記録処理（Ｓ４）は、合成処理の後段で行われる画像処理において利用する情報を記録する処理である。連続的に撮影された複数の画像の全ての画像に対する処理が終了するまで、処理Ｓ２、Ｓ３、Ｓ４が繰り返して実行される（Ｓ５のＮｏ）。全ての画像に対する処理が終了したと判定されたとき（Ｓ５のＹｅｓ）、画像合成手段１７は、画像の合成処理を行ってＲＡＷ形式の合成画像を出力する（Ｓ６）。

次に、合成判定処理（Ｓ３）の詳細な処理の例について、図７に示すフローチャートを用いて説明する。まず、画像分割手段１３は基準画像と最初の比較画像を所定のサイズの画像ブロックに分割する処理を行う（Ｓ１０）。最初の比較画像とは、連続的に撮影された複数の画像のうち、２番目に撮影された画像をいう。画像ブロックのサイズは、小さくするほど、撮影された画像に含まれる動被写体の判定精度が向上して、合成画像の画質も良くなるが、演算量が増大するため処理時間が長くなる。そこで、処理時間と合成画像の画質とのバランスによって最適なサイズ、例えば３２画素×３２画素と予め規定しておく。なお、以下の説明では、１画像がＭ個の画像ブロックに分割されたものと仮定して説明をする。

次に、平均値算出手段１４は、合成判定の閾値を特定するために、合成処理のベースとなる基準画像のｋ番目の画像ブロックにおけるＲ、Ｇ、Ｂのそれぞれの平均値（ＲＧＢ平均値）を算出する（Ｓ２０）。ｋは１からＭまでの値をとる。最初の処理においてはｋ＝１であり、最初の画像ブロックにおけるＲＧＢ平均値を算出する。１つの画像ブロックに含まれる画素の数は、例えば、画像ブロックのサイズが３２画素×３２画素であれば、Ｒ（赤）とＢ（青）の画素がそれぞれ２５６個であり、Ｇ（緑）の画素が５１２個含まれている。ＲＧＢ平均値は、これら各画素の出力値をＲ、Ｇ、Ｂそれぞれにおいて合計した値をそれぞれの画素の数で除算することで算出する。

撮像手段１１を構成する撮像素子がＢａｙｅｒ配列の撮像素子の場合は、ＧについてはＲＧ列のＧｒとＧＢ列のＧｂで区別する場合があるが、本発明に係る画像処理装置においては、特にＧｒとＧｂを区別する必要はない。しかし、ＧｒとＧｂの間で特性が大きく異なる場合や、４色の撮像素子を用いて撮影された画像を用いる場合には、ＲＧｒＧｂＢで区別したり、４色それぞれにおいて平均値を算出したりすればよい。

次に、閾値特定手段１５は、Ｓ２０で算出されたＲＧＢ平均値に基づいて、ワークメモリに記憶されている閾値テーブルを参照し、当該画像ブロックの合成判定に用いる閾値を特定する。閾値はＲ、Ｇ、Ｂのそれぞれに対して特定される（Ｓ３０）。１２ｂｉｔのＲＡＷ画像の場合、ＲＧＢ平均値は０から４０９５の範囲となるので、これに対応する閾値も４０９６個となる。すなわち、図５（ａ）に示したように、平均値の差分値が取り得る値の一つ一つに対応して閾値を設定し、ワークメモリに記憶してもよいが、記憶領域を圧迫することになるので、本実施例においては、図５（ｂ）に示すような代表的な差分値とこれに対応する閾値をワークメモリに記憶しておき、Ｓ２０で算出された平均値に近似する平均値から補間演算によって、閾値を算出する。

次に、平均値算出手段１４は、比較画像のｋ番目の画像ブロックにおけるＲ、Ｇ、Ｂのそれぞれの平均値（ＲＧＢ平均値）を算出する（Ｓ４０）。ｋは１からＭまでの値をとる。最初の処理においてはｋ＝１であり、最初の画像ブロックにおけるＲＧＢ平均値を算出する。

次に、判定手段１６は、基準画像のＲＧＢ平均値と比較画像のＲＧＢ平均値の差分を算出し、この差分値とＳ３０で特定したＲＧＢの各閾値（Th_R[k],Th_G[k],Th_B[k]）とを比較する処理を行う（Ｓ５０）。比較処理の結果、Ｒ・Ｇ・Ｂの全てにおいて差分値が閾値以下であれば、この画像ブロックには合成処理がなされるため（Ｓ５０のＹｅｓ）、後段の合成処理にて判別可能にするために、当該画像ブロックを識別する情報と、「合成可」を示すフラグを関連付けて図示しないワークメモリに記憶する（Ｓ６０）。比較処理の結果、Ｒ・Ｇ・Ｂのいずれかにおいて差分値が閾値よりも大きければ、この画像ブロックには合成処理はなされないため（Ｓ５０のＮｏ）、後段の合成処理にて判別可能にするために、当該画像ブロックを識別する情報と「合成不可」を示すフラグを関連付けて図示しないワークメモリに記憶する（Ｓ７０）。

「合成可」、「合成不可」を示すフラグは、基準画像と、どの比較画像の、何番目の画像ブロックに対するものであるか判別可能な構造を有している。例えば、基準画像（０）と、最初の比較画像（１）の、１００番目の画像ブロックが「合成可（１）」を示すものであれば、「０：１：１００：１」のような数字の組み合わせで構成するとよい。また、例えば、基準画像（０）と、二番目の比較画像（２）の、２００番目の画像ブロックが「合成不可（０）」を示すものであれば、「０：２：２００：０」のような数字の組み合わせで構成するとよい。

次に、基準画像と比較画像の全ての画像ブロックに対して合成判定処理が終了したか否かを判定する（Ｓ８０）。全ての画像ブロックに対して合成判定処理が終了していなければ、次の画像ブロックに対してＳ２０からＳ７０までの処理を繰り返す（Ｓ８０のＮｏ）。

（実施例２）
次に、合成判定処理（Ｓ３）の詳細な処理の別の例について、図８に示すフローチャートを用いて説明する。すでに説明をした合成判定処理（図７）と同じ処理については、同じ符号を付している。まず、画像分割手段１３は、基準画像と最初の比較画像を所定のサイズの画像ブロックに分割する処理を行い（Ｓ１０）、平均値算出手段１４は、合成判定の閾値を特定するために、合成処理のベースとなる基準画像のｋ番目の画像ブロックにおける輝度の平均値（輝度平均値）を算出する（Ｓ２１）。

次に、閾値特定手段１５は、Ｓ２１で算出された輝度平均値に基づいて、ワークメモリに記憶されている閾値テーブルを参照し、当該画像ブロックの合成判定に用いる閾値を特定する（Ｓ３１）。この場合、閾値テーブルは、すでに説明したとおり、マクベスチャートを撮影した画像の輝度の差分値の分布から所定の輝度値に対応する閾値を関連付けた一群のデータとしてワークメモリに記憶されている。閾値テーブルには、図５（ｂ）に示すような代表的な平均値とこれに対応する閾値をワークメモリに記憶しておき、閾値は、Ｓ２１で算出された平均値に近似する平均値から補間演算によって、算出すればよい。

次に、平均値算出手段１４は、比較画像のｋ番目の画像ブロックにおける輝度平均値を算出し（Ｓ４１）、基準画像の輝度平均値と比較画像の輝度平均値の差分が、閾値よりも大きいか否かを判定する（Ｓ５１）。比較処理の結果、輝度平均値の差分が閾値よりも小さければ、当該画像ブロックは合成処理が行われるように所定のフラグを所定の記憶形式で記憶する処理が行われ（Ｓ５１のＹｅｓ、Ｓ６０）、輝度平均値の差分が閾値以上であれば、当該画像ブロックは合成処理が行われないように、所定のフラグを所定の記憶形式で記憶する処理が行われる（Ｓ５１のＮｏ、７０）

基準画像と比較画像の全ての画像ブロックに対して合成判定処理が終了していなければ、次の画像ブロックに対してＳ２０からＳ７０までの処理を繰り返す（Ｓ８０のＮｏ）。

このように、合成可否の判定に輝度平均値を用いることで、閾値との比較判定処理（Ｓ５１）を高速に処理することができ、合成処理全体の処理時間の軽減を図ることができる。

（実施例３）
次に、合成判定処理（Ｓ３）の詳細な処理の別の例について、図９に示すフローチャートを用いて説明する。すでに説明をした合成判定処理（図７、図８）と同じ処理については、同じ符号を付している。まず、画像分割手段１３は、基準画像と最初の比較画像を所定のサイズの画像ブロックに分割する処理を行い（Ｓ１０）、平均値算出手段１４は、合成判定の閾値を特定するために、合成処理のベースとなる基準画像のｋ番目の画像ブロックにおける輝度のＲＧＢ平均合計値を算出する（Ｓ２２）。ＲＧＢ平均合計値は、当該画像ブロックに含まれるＲ・Ｇ・Ｂの各画素の出力値の平均値を算出した上で、この平均値を合計した値をいう。

次に、閾値特定手段１５は、Ｓ２２で算出されたＲＧＢ平均合計値に基づいて、ワークメモリに記憶されている閾値テーブルを参照し、当該画像ブロックの合成判定に用いる閾値を特定する（Ｓ３２）。この場合、閾値テーブルは、すでに説明したとおり、マクベスチャートを撮影した画像の輝度の差分値の分布から所定のＲＧＢ平均合計値に対応する閾値を関連付けた一群のデータとしてワークメモリに記憶されている。閾値テーブルには、図５（ｂ）に示すような代表的な平均値とこれに対応する閾値をワークメモリに記憶しておき、閾値は、Ｓ２２で算出されたＲＧＢ平均合計値に近似するＲＧＢ平均合計値から補間演算によって算出する。

次に、平均値算出手段１４は、比較画像のｋ番目の画像ブロックにおけるＲＧＢ平均合計値を算出し（Ｓ４２）、基準画像のＲＧＢ平均合計値と比較画像のＲＧＢ平均合計値の差分が、閾値よりも大きいか否かを判定する（Ｓ５２）。比較処理の結果、ＲＧＢ平均合計値の差分が閾値よりも小さければ、当該画像ブロックは合成処理が行われるように所定のフラグを所定の記憶形式で記憶する処理が行われ（Ｓ５２のＹｅｓ、Ｓ６０）、ＲＧＢ平均合計値の差分が閾値以上であれば、当該画像ブロックは合成処理が行われないように、所定のフラグを所定の記憶形式で記憶する処理が行われる（Ｓ５３のＮｏ、７０）

基準画像と比較画像の全ての画像ブロックに対して合成判定処理が終了していなければ、次の画像ブロックに対してＳ２０からＳ７０までの処理を繰り返す（Ｓ８０のＮｏ）。

このように、合成可否の判定にＲＧＢ平均合計値を用いることで、閾値との比較判定処理（Ｓ５２）を高速に処理することができ、合成処理全体の処理時間の軽減を図ることができる。

次に、本発明に係る画像処理方法の効果について、連続して撮影された４枚の画像の合成処理を例に、図を示しながら説明する。図１０（ａ）は、撮影された画像の例であって、基準画像を示している。すなわち、この画像の他に連続して撮影された画像が存在するが、含まれる被写体や画角等が大きく異なるわけではないので、図示は省略する。説明の便宜上、図１０（ｂ）に示すように、画像Ａに写っている被写体をいくつかのグループに分けて図示し、それぞれを車列Ｂ、空Ｃ、人物Ｄとする。

図１１は、図１０に示した画像に合成処理を行った結果の例を示す図である。図１１において、４枚の画像の合成処理を行った画像ブロックは白、３枚の合成を行った画像ブロックは薄い灰色、２枚の合成を行った画像ブロックは濃い灰色、合成処理を行わなかった画像ブロックは黒で示している。また、図１１（ａ）は従来の合成処理を施した合成画像の例であって、図１１（ｂ）は本発明に係る画像処理方法を施した合成画像の例である。

図１１（ａ）に示すように、画素の出力値によらず一定の閾値によって合成可否判定を行う従来の合成処理では、静止している被写体であるはずの空Ｃにおいて、「合成可」、「合成不可」が混在しており、薄い灰色（３枚合成）と、濃い灰色（２枚合成）が混在している。本来、空Ｃのような静止している被写体に係る画素は一定の値になるはずであるが、撮像素子の特性において、明るい被写体の出力値のばらつきは大きいので、その差分値が閾値を超えるか否かで合成判定をすると、合成可否が混在してしまう。また、車列Ｂと人物Ｄにも、「合成可」、「合成不可」が混在している。本来これらの動被写体においては、差分値が大きくなるはずであるから、「合成可」とは判定されないが、特に暗い被写体であればあるほど、差分値が閾値よりも小さくなる傾向が強いので、動被写体であっても「合成可」と判定されてしまう。これによって、従来の合成処理は、ゴーストが発生し、また、明るい部分においてはノイズむらが発生していた。

これに対して本願発明に係る画像処理方法は、画素の出力値によって（画素の出力値の平均値によって）最適な閾値を特定し（算定し）、これを用いて合成可否の判定を行っているので、図１１（ｂ）に示すように、空Ｃにおいては４枚の画像が合成されている状態となり、車列Ｂや人物Ｄ等の動被写体に対しては、合成処理がされていない状態となる。また、建物の輪郭などエッジを含んだ画像ブロックでは、エッジ部分のコントラストは強い傾向があるため、少しの位置ずれが生じても、敏感に動被写体判定されてしまう。どこまで動被写体を強めに（あるいは弱めに）検出するようにするかは、予め規定する閾値テーブルによるので、適宜調整の上、最適な値を特定し、ワークメモリに記憶しておけばよい。

次に、本発明に係る画像処理方法の効果について、さらに説明をする。図１２に示す画像Ｅはマクロモードで撮影されたものである。本願発明に係る画像処理装置は、実施例１にて説明したように、画像ブロック内のＲ・Ｇ・Ｂそれぞれの平均値を算出し、これら平均値に基づいて、Ｒ判定用の閾値、Ｇ判定用の閾値、Ｂ判定用の閾値を特定している。すなわち、基準画像と比較画像の対応する画像ブロックごとの差分値を、Ｒ・Ｇ・Ｂそれぞれ別々に算出し、これら差分値を各対応する閾値と比較することで、合成可否の判定を行っている（図７参照）。

画像Ｅにおける領域Ｆを拡大した図を図１３に示す。図１３（ａ）は従来の合成処理を施した合成画像の例であって、図１３（ｂ）は本発明に係る画像処理方法を施した合成画像の例である。

従来の画像処理方法は、Ｒ・Ｇ・Ｂを区別して合成可否の判定をするものではなく、画像ブロック内の画素値の総和を用いて基準画像と比較画像の差分を算出し、この差分が一定の閾値を超えるか否かで合成可否の判定を行っている。この場合、画像ブロック内の総和は、ΣＲ＋２＊ΣＧ＋ΣＢ（Ｒ、Ｇ、Ｂは各画素の出力値）で算出される値であり、画像ブロックの平均値は総和／画素数で算出される値である。いずれの値を用いるとしても、動被写体の判定に色相や彩度の情報を用いるものではなく、輝度に近い情報のみを判定していた。

このような、従来の画像処理方法によれば、図１３（ａ）のように、手前に写る被写体（主要被写体）と奥に写る被写体（背景）の輝度が近似していると、目視上は全く異なる画像ブロックであるにも関わらず、「合成可」とする判定になり、その結果、主要被写体に背景が重なってしまって、主要被写体（図１３（ａ）においては植物の葉）の画像が破壊されている。

これに対して本願発明に係る画像処理方法は、ＲＧＢを区別して合成可否の判定をおこなっているので、前景（主要被写体）と背景の色味の違いをより精度高く検出できる。このため、正しく「合成不可」とする判定がなされ、図１３（ｂ）に示すように、主要被写体が前景として写り、背景は重なりあわず、画像破壊を防ぐことができる。

図１２、図１３に示した画像においては、主要被写体である植物の葉の色に赤みがあるため、合成可否の判定処理において、画像ブロックに含まれるＲのみの情報を用いてもよい。また、被写体によっては、Ｒ・Ｇ・Ｂのいずれか１色のみで動被写体を含んだ画像合成処理における合成可否判定を精度よく行うこともできる。

以上、本発明に係る画像処理方法によれば、従来の処理方法に比べて、動被写体を誤って合成することがなく、また、露出が大きい部分は合成により適正な露出に調整されるので、より精度良く画像合成処理を行うことができる。

本発明に係る画像処理方法は、撮像装置に搭載する以外にも、パーソナルコンピュータ上で動作する画像処理ソフトウェアに適用することもできる。

１２ 記憶手段
１３ 画像分割手段
１４ 平均値算出手段
１５ 閾値特定手段
１６ 判定手段
１７ 画像合成手段
１８ 動きデータ算出手段

特許第３９３５５００号公報 特開２００９−１６４８５７号公報

Claims (17)

1. 連続的に撮影された複数の画像が記憶される記憶手段と、
   上記記憶手段に記憶されている複数の画像のうち、１の基準画像と上記基準画像とは異なる比較画像のそれぞれを所定の大きさの画像ブロックに分割する画像分割手段と、
   上記基準画像と上記比較画像それぞれの画像ブロックごとに、画素出力値の平均値を算出する平均値算出手段と、
   合成対象となる上記基準画像の画像ブロックと上記比較画像の画像ブロックとの合成可否の判定に用いる閾値を、上記基準画像の画像ブロックの画素出力値の平均値に基づいて特定する閾値特定手段と、
   合成対象となる上記基準画像の画像ブロックの閾値と、上記基準画像の画像ブロックの画素出力値の平均値と上記比較画像の画像ブロックの画素出力値の平均値との差分とを比較し、上記比較の結果に基づいて、合成対象となる上記基準画像の画像ブロックと上記比較画像の画像ブロックとの合成可否の判定をする判定手段と、を有してなることを特徴とする画像処理装置。
2. 上記基準画像と上記比較画像との間の動きデータを算出する動きデータ算出手段を備え、
   上記平均値算出手段は、上記算出された動きデータによって対応付けられた上記基準画像の画像ブロックと上記比較画像の画像ブロックごとに、上記画素出力値の平均値を算出し、
   上記判定手段は、上記算出された動きデータによって対応付けられた上記基準画像の画像ブロックと上記比較画像の画像ブロックとの合成可否を判定する、請求項１記載の画像処理装置。
3. 上記平均値算出手段が算出する平均値は、上記各画像ブロックに含まれる画素のＲＧＢごとの平均値であり、
   上記閾値特定手段は、上記ＲＧＢごとの平均値に基づいて上記閾値を特定する請求項１または２記載の画像処理装置。
4. 上記平均値算出手段が算出する平均値は、上記各画像ブロックに含まれるＲＧＢごとの平均値であり、
   上記閾値特定手段は、上記各画像ブロックに含まれる画素のうち最も大きいＲＧＢの平均値に基づいて閾値を特定する請求項１または２記載の画像処理装置。
5. 上記平均値算出手段が算出する平均値は、上記各画像ブロックに含まれる画素の輝度の平均値である請求項１または２記載の画像処理装置。
6. 上記閾値特定手段は、ＩＳＯ感度に応じて異なる閾値を特定する請求項１乃至５のいずれかに記載の画像処理装置。
7. 上記判定手段は、上記平均値の差分が上記閾値よりも小さいときに合成対象となる上記基準画像の画像ブロックと上記比較画像の画像ブロックとは合成可であると判定する請求項１乃至６のいずれかに記載の画像処理装置。
8. 上記判定手段による判定の結果、合成可と判定された上記基準画像の画像ブロックと上記比較画像の画像ブロックとを画像合成する画像合成手段を備える請求項１乃至７に記載の画像処理装置。
9. 連続的に撮影された複数の画像が記憶される記憶手段と、上記記憶手段に記憶されている複数の画像のうち、１の基準画像と上記基準画像とは異なる比較画像のそれぞれを所定の大きさの画像ブロックに分割する画像分割手段と、上記基準画像と上記比較画像それぞれの画像ブロックごとに画素出力値の平均値を算出する平均値算出手段と、合成対象となる上記基準画像の画像ブロックと上記比較画像の画像ブロックとの合成可否の判定に用いる閾値を上記基準画像の画像ブロックの画素出力値の平均値に基づいて特定する閾値特定手段と、合成対象となる上記基準画像の画像ブロックの閾値と、上記基準画像の画像ブロックの画素出力値の平均値と上記比較画像の画像ブロックの画素出力値の平均値との差分とを比較し、上記比較の結果に基づいて、合成対象となる上記基準画像の画像ブロックと上記比較画像の画像ブロックとの合成可否の判定をする判定手段と、を有してなる画像処理装置によって実行される画像処理方法であって、
   上記画像分割手段が、上記記憶手段に記憶されている複数の画像のうち、１の基準画像と上記基準画像とは異なる比較画像のそれぞれを所定の大きさの画像ブロックに分割する画像分割ステップと、
   上記平均値算出手段が、上記分割された基準画像と上記分割された比較画像のそれぞれの画像ブロックごとに、画素出力値の平均値を算出する平均値算出ステップと、
   上記閾値特定手段が、合成対象となる上記基準画像の画像ブロックと上記比較画像の画像ブロックとの合成可否の判定に用いる閾値を、上記基準画像の画像ブロックの画素出力値の平均値に基づいて特定する閾値特定ステップと、
   上記判定手段が、合成対象となる上記基準画像の画像ブロックの閾値と、上記基準画像の画像ブロックの画素出力値の平均値と上記比較画像の画像ブロックの画素出力値の平均値との差分とを比較するステップと、
   上記比較の結果に基づいて、合成対象となる上記基準画像の画像ブロックと上記比較画像の画像ブロックとの合成可否の判定をする判定ステップと、を実行することを特徴とする画像処理方法。
10. 上記画像処理装置が、上記基準画像と上記比較画像との間の動きデータを算出する動きデータ算出手段をさらに備え、
    上記平均値算出手段が、上記算出された動きデータによって対応付けられた上記基準画像の画像ブロックと上記比較画像の画像ブロックごとに、上記画素出力値の平均値を算出するステップと、
    上記判定手段が、上記算出された動きデータによって対応付けられた上記基準画像の画像ブロックと上記比較画像の画像ブロックとの合成可否を判定するステップと、を実行することを特徴とする請求項９記載の画像処理方法。
11. 上記平均値算出手段が算出する平均値は、上記各画像ブロックに含まれる画素のＲＧＢごとの平均値であり、
    上記閾値特定手段が、上記ＲＧＢごとの平均値に基づいて上記閾値を特定するステップを実行する請求項９または１０記載の画像処理方法。
12. 上記平均値算出手段が算出する平均値は、上記各画像ブロックに含まれるＲＧＢごとの平均値であり、
    上記閾値特定手段が、上記各画像ブロックに含まれる画素のうち最も大きいＲＧＢの平均値に基づいて閾値を特定するステップを実行する請求項９または１０記載の画像処理方法。
13. 上記平均値算出手段が算出する平均値は、上記各画像ブロックに含まれる画素の輝度の平均値である請求項９または１０記載の画像処理方法。
14. 上記閾値特定手段が、ＩＳＯ感度に応じて異なる閾値を特定するステップを実行する請求項９乃至１３のいずれかに記載の画像処理方法。
15. 上記判定手段が、上記平均値の差分が上記閾値よりも小さいときに合成対象となる上記基準画像の画像ブロックと上記比較画像の画像ブロックとは合成可であると判定するステップを実行する請求項９乃至１４のいずれかに記載の画像処理方法。
16. 上記判定ステップの結果、合成対象となる上記基準画像の画像ブロックと上記比較画像の画像ブロックとが合成可と判定されたとき、上記画像処理装置が、上記基準画像の画像ブロックと上記比較画像の画像ブロックとを画像合成するステップを実行する請求項９乃至１５のいずれかに記載の画像処理方法。
17. コンピュータを、請求項１乃至８のいずれかに記載の画像処理装置として機能させることを特徴とする画像処理プログラム。