JP4415198B2 - 画像合成装置及びプログラム - Google Patents

Description

本発明は、連続する複数のフレームから合成画像を出力する画像合成装置及びプログラムに関する。

近年、放送業界などで、動体連写画像を一枚の画像に並べて合成する技術が使われ始めている。
また、複数のフレーム中から観客や樹木など複雑な動きをする背景と、その背景を含む映像中の動物体とを分離して、動物体を逐次抽出して合成する動画像処理装置が知られている（例えば、特許文献１参照）。
かかる技術は、ある期間の動きの全体を静的に把握でき、スポーツ研究など，動体の運動解析に便利である。また、映像特殊効果としての面白味もある。
特許第３７９３２５８号

しかしながら、上記特許文献１の場合、二値化してラベリングの最大成分だけをとるため、入力される画像が悪条件（以下に詳しく述べる）になっている場合、連結性の途切れのために動体の部分画像（動体が人間であれば頭や手足の画像）がまるごと欠落してしまうといった品質劣化が生じる場合がある。また、フレームに複数の動体が含まれる場合、これら複数の動体全てを抽出することは不可能となっている。
さらに、抽出画像は縮小されたフレームで生成するが、実サイズに適用させた場合には抽出画像の輪郭に激しいジャギー瑕疵が発生する場合があるといった問題もあった。

また、撮影条件によっては、合成画像に照明変動、モーションブラー、動体の影・反射、ノイズなどの悪条件により、背景部分と動体部分との境界そのものが曖昧になり、違和感のない合成画像を得ることが困難になるという問題もあった。

そこで、本発明の課題は、適正な合成画像を安定的に出力することができる画像合成装置及びプログラムを提供することである。

請求項１に記載の発明は、複数のフレームについて、背景部分、もしくは他のフレームに関連する差分強度を画素毎に算出する第１の算出手段と、この第１の算出手段によって算出された前記複数のフレームの前記差分強度を画素毎に加算する加算手段と、前記複数のフレームのうち何れか一の任意のフレームの各画素について、前記第１の算出手段によって算出された差分強度を、対応する画素位置の前記加算手段によって加算された前記複数のフレーム分の差分強度の加算値で除した値を画素毎に算出する第２の算出手段と、
前記複数のフレームのうち、前記任意のフレームの各画素値に前記第２の算出手段によって画素毎に算出された値を乗じて合成すべきフレームを生成するフレーム生成手段と、
前記フレーム生成手段によって生成された複数の合成すべきフレームを合成する合成手段と、この合成手段によって合成された合成画像を出力する第１の出力手段と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明において、前記第１の算出手段は、前記フレームにおける各画像の色成分差分の重み付き二乗和を算出することを特徴とする。

請求項３に記載の発明は、請求項１に記載の発明において、前記第１の算出手段は、前記フレームにおける各画像の色成分差分の重み付き絶対値和を算出することを特徴とする。

請求項４に記載の発明は、請求項１乃至３の何れかに記載の発明において、前記差分強度から背景部分の代表値を算出する第３の算出手段と、前記第３の算出手段によって算出された前記代表値を前記フレームの前記差分強度からそれぞれ減じ、更に、減じた結果が負値になる場合は０にすることによって当該差分強度を正規化する正規化手段と、を更に備えることを特徴とする。

請求項５に記載の発明は、請求項４に記載の発明において、前記第３の算出手段が算出する背景部分の代表値は、前記複数のフレームの前記差分強度のうち所定の閾値を超えない差分強度の中央値であることを特徴とする。

請求項６に記載の発明は、請求項１乃至５の何れかに記載の発明において、前記複数のフレームについて、前記第１の算出手段により算出された差分強度に従って背景部分と動体部分を区分し、当該区分の結果に基づいて、前記合成手段により合成すべきフレームか否かを判断する第１の判断手段を更に備え、前記合成手段は、前記第１の判断手段により合成すべきと判断されたフレームを合成することを特徴とする。

請求項７に記載の発明は、請求項１乃至５の何れかに記載の発明において、前記合成手段は、前記複数のフレームにおける隣接するフレームに関連する動体部分の代表値に基づいて、合成すべきフレームを選択して合成することを特徴とする。

請求項８に記載の発明は、請求項１乃至５の何れかに記載の発明において、前記複数のフレームについて、前記第１の算出手段により算出された差分強度に従って背景部分と動体部分を区分し、前記複数のフレームにおける隣接するフレームの動体部分に対して当該動体部分の重なり部分が所定の比率を超えるか否かを判断する第２の判断手段を更に備え、前記合成手段は、前記第２の判断手段により前記動体部分の重なり部分が所定の比率を超えていると判断されたときは、前記隣接するフレームのうちの何れか一方のフレームに対応する、前記フレーム生成手段によって生成されたフレームを合成すべきフレームとして選択して合成することを特徴とする。

請求項９に記載の発明は、請求項１乃至８の何れかに記載の発明において、前記第１の算出手段によって算出された前記差分強度から前記背景部分のノイズレベルを推定する第１の推定手段と、前記第１の推定手段によって推定された前記背景部分のノイズレベルから前記合成手段によって合成されることにより発生する合成ノイズレベルを推定する第２の推定手段と、前記第２の推定手段によって推定された前記合成ノイズレベルに応じて増減する値を除数最小値とし、この除数最小値から前記第１の算出手段によって算出された前記差分強度のうちの動体部分の差分強度の総和を減じた背景強度値を算出する第４の算出手段と、前記第４の算出手段によって算出された背景強度値が正の場合、この背景強度値を前記第１の算出手段によって算出された前記背景部分の差分強度に加えた値を出力する第２の出力手段と、を更に備えることを特徴とする。

請求項１０に記載の発明は、請求項１乃至９の何れかに記載の発明において、撮像手段を更に備え、前記複数のフレームは、前記撮像手段を連続的に駆動して得られることを特徴とする。

請求項１１に記載の発明は、画像合成装置を制御するコンピュータを、複数のフレームについて、背景部分、もしくは他のフレームに関連する差分強度を画素毎に算出する第１の算出手段、この第１の算出手段によって算出された前記複数のフレームの前記差分強度を画素毎に加算する加算手段、前記複数のフレームのうち何れか一の任意のフレームの各画素について、前記第１の算出手段によって算出された差分強度を、対応する画素位置の前記加算手段によって加算された前記複数のフレーム分の差分強度の加算値で除した値を画素毎に算出する第２の算出手段、前記複数のフレームのうち、前記任意のフレームの各画素値に前記第２の算出手段によって画素毎に算出された値を乗じて合成すべきフレームを生成するフレーム生成手段、前記フレーム生成手段によって生成された複数の合成すべきフレームを合成する合成手段、この合成手段によって合成された合成画像出力する出力手段、として機能させることを特徴とする。

本発明によれば、画像撮影条件に関わらず、違和感のない自然な合成画像を安定的に出力することができる。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
本実施形態の撮像装置１００は、入力された複数のフレーム（Ｆ[０]、Ｆ［１］、…Ｆ［Ｎ−１］）について、画素毎に背景部分に関連する差分強度を算出し、これら複数のフレームのうち、何れか一の任意のフレームの差分強度を複数のフレーム分の差分強度で除したアルファ値を算出して、当該アルファ値に基づいて任意のフレームにおける動体抽出画像Ｇｍを出力する。
具体的には、撮像装置１００は、図１に示すように、撮像部１と、撮像補助部２と、表示部３、操作部４と、記録媒体５と、ＵＳＢ端子６と、制御部７等を備えて構成されている。

撮像部１は、撮像手段として、被写体を連続して撮像して上記複数のフレームを生成する。具体的には、撮像部１は、撮像レンズ群１１と、電子撮像部１２と、映像信号処理部１３と、画像メモリ１４と、撮影制御部１５等を備えている。

撮像レンズ群１１は、複数の撮像レンズから構成されている。
電子撮像部１２は、撮像レンズ群１１を通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等の撮像素子から構成されている。
映像信号処理部１３は、電子撮像部１２から出力される画像信号に対して所定の画像処理を施すものである。
画像メモリ１４は、画像処理後の画像信号を一時的に記憶する。

撮影制御部１５は、ＣＰＵ７１の制御下にて、電子撮像部１２及び映像信号処理部１３を制御する。具体的には、撮影制御部１５は、電子撮像部１２に所定の露出時間で被写体を連続して撮像させ、当該電子撮像部１２の撮像領域から画像信号（フレーム）を所定のフレームレートで読み出す処理の実行を制御する。

撮像補助部２は、撮像部１による被写体の撮像の際に駆動するものであり、フォーカス駆動部２１と、ズーム駆動部２２等を備えている。

フォーカス駆動部２１は、撮像レンズ群１１に接続されたフォーカス機構部（図示略）を駆動させる。
ズーム駆動部２２は、撮像レンズ群１１に接続されたズーム機構部（図示略）を駆動させる。
なお、フォーカス駆動部２１及びズーム駆動部２２は、撮影制御部１５に接続され、撮影制御部１５の制御下にて駆動する。

表示部３は、撮像部１により撮像された画像を表示するものであり、表示制御部３１と、画像表示部３２等を備えている。
表示制御部３１は、ＣＰＵ７１から適宜出力される表示データを一時的に保存するビデオメモリ（図示略）を備えている。
画像表示部３２は、表示制御部３１からの出力信号に基づいて所定の画像を表示する液晶モニタ等を備えている。

操作部４は、当該撮像装置１００の所定操作を行うためのものであり、操作入力部４１と、入力回路４２等を備えている。

操作入力部４１は、撮像部１による被写体の撮像を指示するシャッターボタン４１ａを備えている。
入力回路４２は、操作入力部４１から出力され入力された操作信号をＣＰＵ７１に入力するためのものである。

記録媒体５は、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等により構成され、撮像部１により撮像された画像の画像データを複数記憶する。

ＵＳＢ端子６は、外部機器との接続用の端子であり、ＵＳＢケーブル（図示略）等を介してデータの送受信を行う。

制御部７は、撮像装置１００の各部を制御するものであり、例えば、ＣＰＵ７１と、プログラムメモリ７２と、データメモリ７３等を備えている。

ＣＰＵ７１は、プログラムメモリ７２に記憶された撮像装置１００用の各種処理プログラムに従って各種の制御動作を行うものである。

データメモリ７３は、例えば、フラッシュメモリ等により構成され、ＣＰＵ７１によって処理されるデータ等を一時記憶する。

プログラムメモリ７２は、ＣＰＵ７１の動作に必要な各種プログラムやデータを記憶するものである。具体的には、プログラムメモリ７２は、背景画像生成プログラム７２ａ、差分強度算出プログラム７２ｂ、エラーフレーム除去プログラム７２ｃ、重複フレーム除去プログラム７２ｄ、アルファ値算出プログラム７２ｅ、合成プログラム７２ｆ等を記憶している。

背景画像生成プログラム７２ａは、前処理（後述）にて、動体Ｍの存在しない状態の背景画像Ｇｂを生成する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
即ち、ＣＰＵ７１が背景画像生成プログラム７２ａを実行することで、連写画像（図２参照；なお、図２にあっては、Ｆは連写画像のうちの一枚の画像を表す）の縮小画像フレーム（以降、フレームと称す）を用いて、多数決原理に基づいて仮想的背景画像Ｇｂ（図３参照）を合成する処理を行う。具体的には、単色画像であれば画素毎に全てのフレームの同座標の画素値のメディアン（中央値）を求めればよいが、カラー画像を対象としている場合、ベクトルのメディアンはとれないため、下記式（１）に規定するように、色空間の成分毎にメディアンを求める。ここで、入力されるｐ番目の原寸原画像をＦ’[ｐ]とし、それを所定サイズに縮小したｐ番目のフレームをＦ[ｐ]、その座標（ｘ,ｙ）の画素値をＦ[ｐ,ｘ,ｙ]とする。また、Ｃ∈{Ｙ，Ｃｂ，Ｃｒ}は色成分を表す添字とし（Ｙは輝度、Ｃｂ及びＣｒは色差）、これによりＦ_Ｃ[ｐ,ｘ,ｙ]はＦ[ｐ,ｘ,ｙ]の各色成分を表す。

なお、予め背景画像Ｇｂとして動体Ｍの存在しない状態の画像を撮影し、それを指定するようにしても良い。

差分強度算出プログラム７２ｂは、複数のフレームについて、背景部分に関連する差分強度を算出する差分強度算出処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
即ち、ＣＰＵ７１が差分強度算出プログラム７２ｂを実行することで、複数のフレームについて、背景画像の差分強度を算出する処理を行う。具体的には、下記式（２）に従って、各フレームの画像の色成分の重み付き二乗和を演算することで、原差分強度（配列Ｄｏ[ｐ])を算出する。ここで、各背景画像をＧｂで表す。

なお、差分強度を８bit値とする場合、最大値２５５にクリップする必要があり、特に、二乗値では非常に大きな値になりがちなので、シフトで数桁小さくしてから２５５にクリップするほうが良い。
また、色差成分の重み定数ｗは経験的に決めることができ、大抵の場合、ｗにさほど敏感には依存しないので、１でも良いが２以上の値の方が若干良好な結果を得ることができる点で好ましい。
また、色空間としては、ＪＰＥＧの処理で用いるのと同じＹ,Ｃｂ,Ｃｒをそのまま用いているが、変換された色空間を用いても良い。

ここで、上記式（２）に従って算出された原差分強度を示したグレースケール画像Ｇｄを示す（図４参照）。図４に示すように、入力された原画像（図２参照）における背景のホワイトボードの枠や段ボール箱等の影響により、動体Ｍの内部に強さの凹凸ができている。また、片足部分が暗いのと背景の壁が似た画素値であるために非常に薄くなっている。

また、原差分強度（配列Ｄｏ[ｐ])は、下記式（３）に従って、各フレームの画像の色成分の重み付き絶対値和により算出するようにしても良い。

また、差分強度算出処理にあっては、後述する差分強度の正規化処理、エラーフレーム判定処理、背景強度算出処理に用いる各種パラメータ算出のため、原差分強度に対して大津の二値化処理を行う（適応的二値化処理）。ここで、大津の二値化は、クラス内分散を基準としてグループを分離する分離度による判別分析法の一種である。この手法によれば、サンプル値のヒストグラムをとっておけば、後の処理はヒストグラムをスキャンするだけで極めて高速に処理できることとなる。
また、大津の二値化により、０に近いグループと１に近いグループの二つの集合をわける閾値ｔ_ｐが設定されるため、理想的には０値となる背景領域と動体領域に分かれたとみなしてよいはずであるが、この閾値ｔ_ｐによる境界がそのまま動体Ｍの輪郭になるとは限らない。動体領域のうち、典型的な差分値のグループとそれ以上の値の部分がとれただけであり、それよりかすかな差分値を持つ動体領域が残されているかもしれないからである。
そして、二値化の結果を利用して、下記式（４）〜（６）に規定される背景中央値ｚ_ｐ、動体中央値ｍ_ｐ、ノイズレベル推定値ｎ_ｐを抽出して保存する。ここで、ｚ’_ｐは、背景集合の上から２５パーセンタイル値である。

これらの値は、差分強度に関して、背景領域、動体領域、背景領域の振幅の典型値をとったという意味である。また、ノイズレベル推定値は、厳密に何かを意味しているわけではないものの、背景領域の標準偏差や平均偏差と近似している。メディアンやパーセンタイル値は、二値化閾値を求めるために作成したヒストグラムから簡単に且つ高速に計算できる。
ここで、平均や標準偏差を用いてノイズレベル推定値を算出してもよいが、それらはアウトライア値に影響されやすく、二値化による背景領域が本当に背景をきれいに切り出している保証のない状況では、ロバストな尺度とはいえないので、上記の推定方法をとった。
なお、二値化閾値ｔ_ｐは，上述した大津の二値化閾値であるが、正規化処理（後述）を行う場合には、正規化後の差分強度において、ほぼ同じ領域を切り出せるように本来の閾値からｚ_ｐを引いたものを保存するのが好ましい。

また、差分強度算出処理にあっては、照明変動に基づく合成時の動体Ｍのブレンド比の濃さの不均等を補正するため、差分強度の正規化処理を行う。
即ち、差分強度は、一種のファジイ集合のメンバーシップ関数とみることができ、曖昧な動体領域を表している。ここで、ファジイ集合とは、メンバーシップ関数と呼ばれる各要素の所属の度合いが定義された集合であり、値域を[０,１]とすると、０ならば全く所属していない、１ならば完全に所属している、中間値ならばその値に応じた度合いで所属しているということを意味している。また、メンバーシップ関数の中間値の決め方に強い制約はなく、漠然と度合いの序列を表していれば良い。
しかしながら、現実に得られる原差分強度は、照明変動により完全な背景領域（不動領域）であっても差分値は０ではなく、照明変動の程度によりフレーム毎に異なる直流オフセットと振幅を持っている。
そこで、完全な背景領域では、メンバーシップは０になるべきであるため、下記式（７）に従って、差分強度から適応的二値化処理にて算出された背景中央値ｚ_ｐを減じた上、減じた結果が負値になる場合は０にクリップした値に変換することにより、差分強度を正規化する。

なお、差分強度の正規化処理にあっては、背景中央値ｚ_ｐを用いるようにしたが、これに限られるものではなく、背景部分の代表値であれば良く、最頻値や平均値等であっても良い。

また、差分強度算出処理にあっては、ノイズに起因する細かい欠損・孤立点や、わずかなカメラブレに起因する細いエッジを消すため、差分強度の平滑化処理を行う。
ここで、平滑化処理は、モルフォロジー演算によって行うが、この手法は二値処理ではよく行われており（例えば、特許文献１等）、一種の平滑化処理とみることができる。
なお、本実施形態にあっては、多値モルフォロジー演算によって行うが、多値モルフォロジー演算の収縮・膨張処理は、Ｍｉｎ、Ｍａｘ演算に基づいており、これも一種のファジイ演算と言うことができる。具体的には、下記式（８）に従って、差分強度をclosing(収縮→膨張)の後、opening(膨張→収縮)を行う。

なお、平滑化処理は、上記した方法に限られるものではない。

エラーフレーム除去プログラム７２ｃは、有効フレームから動体Ｍが正しく抽出されずに背景の一部を誤って抽出してしまうおそれのあるエラーフレームを除去する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
ここで、特に影響が大きく、問題になるのは、動体Ｍが存在しない背景だけのフレーム（例えば、動体Ｍがフレームの外にあったり、オクルージョン（隠蔽）が発生しているフレーム等）である。即ち、背景は理想的には差分値が全て０であり、無理に二つのグループに分離すると、二値化閾値は非常に小さくなり、また、抽出される背景の面積はしばしば異常に大きくなってしまう。
そこで、適応的二値化処理にて算出した二値化閾値以上の差分強度を持つ点の個数を数えて、動体面積を算出して、当該面積値の画面全体に対する比が所定の範囲に入っているか否かを判定する。ここで、入っていないと判定されると、エラーフレームであるとする。実際には、極端な大面積が発生することがあるが、そのフレームに動体Ｍが存在していないか、オクルージョンにより非常に小さな面積になってしまっている場合に生じていた。
なお、面積比を判定するための範囲の最小値及び最大値は予め設定するが、応用範囲を極力限定したくないならば、例えば０から画面全体面積の１／４までといった程度の緩い制約であっても良い。
また、当該判定処理は、適応的二値化処理の直後に行ってもかまわない。
その後、全てのフレームに対する二値化閾値を求めた後、それらの閾値のメディアンを算出する。このメディアン値は、フレームの半数以上が背景部分という状況は、非常に例外的であると考えられるため、正常値の典型値と考えることができる。そして、メディアン値に比較して、例えば１／１０程度以下の小さい閾値を持つフレームが存するか否か判定する。ここで、当該１／１０程度以下の小さい閾値を持つフレームであると判定されると、そのフレームはエラーフレームであるとする。実際には、極端に小さな閾値が発生することがあるが、そのフレームに動体Ｍが存在していないか、オクルージョンにより非常に小さな面積になってしまっている場合に生じていた。
つまり、極端な超高速（超短時間露光）撮影を前提としているのでなければ、蛍光灯などの照明変動でそこまで極端な違いが出ることは無いはずであり、動体Ｍでないものを抽出してしまったと判断することができる。

重複フレーム除去プログラム７２ｄは、複数の有効フレームについて、他のフレームと動体領域の重複が大きいフレーム（重複フレーム）を判定して、自動的に間引く処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
即ち、ブレンディングによる合成の欠点は、動体Ｍの表示に時系列の概念が無いことであるため、特に、動きが遅かったり或いは一時的な滞留状態があるような場合、それを全て重ねると物体の動きがほとんど読み取れなくなる（重複画像Ｇｒ；図５参照）。
そこで、二値化処理により算出された二値化閾値に基づいてフレームにおける背景領域と動体領域を区分して、動体領域の面積（画素数）と動体重なり領域（画素数）の面積比を基準として、当該面積比が所定の閾値より大きいか否かに応じて重複フレームを判定する。具体的には、画像ｐと画像ｑにおける動体重なり面積比は、下記式（９）に従って、ｒ(ｐ,ｑ)で表される。なお、下記式（９）中のΣの対象が二値論理式になっているが、真ならば１、偽ならば０をそのまま数値として足し上げる意味である。そして、当該面積比が所定の閾値以上であるならば、画像ｐ及び画像ｑのうち、何れか一（例えば、時間的に後）のフレームを有効フレーム集合から除去する。

ここで、上記処理にあっては、閾値の設定により、どの程度の重なりを許すかを調節することができる。即ち、主観的な好みの問題もあるが、あえて１〜数割程度の重なりを許したほうが、合成枚数が増えスピード感にあふれる合成画像Ｇｃを得ることができる（図７参照）。
なお、二値化閾値による境界は、正確な動体境界を示しているとは限らないが、多少の重なりを許す観点から、やや間違った境界でもさほど悪い結果にはならないと考えられる。

アルファ値算出プログラム７２ｅは、複数の有効フレームのブレンド比であるアルファ値Ａを算出する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。具体的には、ＣＰＵ７１がアルファ値算出プログラム７２ｅを実行することで、下記式（１０）に従って、複数の有効フレームのうち、何れか一の任意のフレームの差分強度を複数の有効フレーム分加算された差分強度で除算することでアルファ値を算出する。

ここで、上記式（１０）にあっては、分母が０の時はエラーに、また、分母が０に近い時は結果が不安定になるといった問題がある。なお、分母が０の時、何れかの有効フレームの差分強度を１に強制的に変更して再計算することでエラーは回避することができるが不安定性は残ってしまい、わずかなノイズ変動により、どのフレームが優勢になるかが不安定に変わってしまい、特に照明変動のある場合には、背景が様々なフレームから選ばれていることが目立ってしまうこととなる。

そこで、背景領域で、結果をノイズ程度の微小な変動に対して鈍感にするために、アルファ値算出の前段階で背景強度による修正処理を行う。
具体的には、適応的二値化処理にて算出されたノイズレベル推定値n_pを用いて、合成ノイズレベルを推定する（下記式（１１）参照）。

即ち、仮に、フレーム間の同画素位置のノイズが無相関であれば、アルファ値の分母である加算結果のノイズの分散は、フレーム毎のノイズの分散の和となる。つまり、前記の通りノイズレベル推定値は標準偏差からかけ離れてはいないので、ノイズレベルの二乗和の平方根により分母の標準偏差を近似した合成ノイズレベルを見積もることができる。ここで、厳密には、ノイズは純粋なランダムノイズだけではなく、基準となる背景画像Ｇｂを各フレームのメディアンにより求めており依存性があること、また、正規化処理にて照明変動を背景中央値との差だけで補正しているため、背景内容による相関が残ることから、必ずしも無相関とはいえない。しかしながら、逆に、フレーム間の同画素位置のノイズに強い相関があった場合、アルファ値の分母のノイズ振幅は、フレーム毎のノイズ振幅の和（つまり、ノイズレベルの単純和）として見積もることができ、典型的には数倍大きくなる程度の違いでしかない。また、この見積もりを厳密化しようとしても実際的にはあまり効果がないと思われるので、上記の方法でも十分と考えられる。
アルファ値の分母最小値をα_min＝ｋｎ_ｃと規定する。ここで、ｋは適当な定数であり、この定数が大きいほどノイズに対してより鈍感になる。具体的には、例えば、３程度とする。
そして、合成ノイズレベルの推定値の数倍程度の値を用いて、分母がそれを下回る場合、その領域は背景領域である度合いを持っているとみなす。即ち、ファジイな背景性の強さである背景強度を下記式（１２）に従って規定する。

ここで、背景強度が０より大となる領域は、いずれのフレームにも明確な動体Ｍが存在しない、即ち、差分強度がノイズ若しくはノイズと同等の薄い変化しかなかった領域である。これらの領域では、背景強度の強さ（動体存在性の弱さ）に応じて何れかのフレームの画素値のアルファ値を高くする。なお、背景として選択するフレームはどれを選んでも背景となる領域のはずなので、どれでも良いし、複数のフレームに按分することもできるが、最も単純な方法はフレームの内で最初の有効フレームを選択することである。
そして、背景として選択するフレームのインデクスをｂとして、下記式（１３）に従って、差分強度の全画素位置の値を更新した後、前述のように各有効フレームｐ∈Vの各画素のアルファ値を上記式（１０）に従って算出する。

上記のアルファ値算出アルゴリズムの修正は、入力に対する合成結果の連続性を損なわず、むしろ良好にすることができる。
図６に示すように、任意のフレームにおける動体抽出画像Ｇｍは、アルファ値をファジイな領域としてみると、動体領域と動体Ｍの影などの周辺関連領域並びに背景ノイズ等から成り立っている。原差分強度を示したグレースケール画像Ｇｄ（図１参照）においてみられた動体Ｍ内部の凹凸は、ここではほぼうまく均らされている。

合成プログラム７２ｆは、複数の有効フレームを合成する合成処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
即ち、ＣＰＵ７１が合成プログラム７２ｆを実行することで、縮小画像の画素毎に算出されたアルファ値Ａ[ｐ]を原寸にアップスケールして、Ａ’[ｐ]を得る。ここで、補間処理は、最近傍でもよいが、画質的にはバイリニア補間等で連続に（より好ましくは、スムーズに）補間するのが良い。例えば、本実施形態の方式では、単一動体と背景の境界では（理想的には）ジャギーは出ないが、複数動体間或いは動体と大きな背景強度を持つ背景との間にはジャギーが発生することがある。二値処理に較べれば多値処理であるため、ジャギーによる明度差が小さく、そのまま最近傍補間しても目立たないが、より丁寧な補間のほうがより緩和されると考えられる。
そして、複数の有効フレームの各々の各画素値にアルファ値Ａ’[ｐ]を乗じて合成すべきフレームを生成して、これら複数のフレームを合成することで、合成画像Ｇｃを得る（図７参照）。
合成画像Ｇｃの画素値は、下記式（１４）〜（１６）に規定される。なお、ここでアルファ値は実数としているが、定数倍された整数値を用いる場合は適当なシフトにより除算する。また、色差値の表現は８bit無符号であり、無色の時に１２８であると仮定している。また、原寸の入力画像をＦ’[ｐ]とする。

次に、本実施形態の画像合成処理について図８〜図１５を参照して詳細に説明する。
図８は、画像合成処理に係る動作の一例を示すフローチャートである。

図８に示すように、画像合成の本処理に入る前の前処理を行い（ステップＳ１）、その後、連写された複数の画像フレームの各々から動体領域を抽出する抽出処理を行った後（ステップＳ２）、各画像フレームのアルファ値を基準として複数の有効フレームを合成する合成処理を行い（ステップＳ３）、合成結果としての合成画像Ｇｃを表示して保存する（ステップＳ４）。

次に、前処理について図９を参照してより詳細に説明する。
図９は、前処理に係る動作の一例を示すフローチャートである。

図９に示すように、前処理にあっては、ＣＰＵ７１は、入力される複数（Ｎ枚）の画像フレームについての縮小画像の生成をループにより処理する（ステップＳ１１〜Ｓ１４）。
具体的には、ＣＰＵ７１は、Ｎ枚（画像番号ｉが「０」〜「Ｎ−１」）のフレームのうち、各フレームの原寸原画像Ｆ’[ｐ]を入力して（ステップＳ１２）、当該画像に対して適当なローパスフィルタをかけた後、数分の一の所定のサイズにサブサンプリングして画素数を減らした縮小画像Ｆ[ｐ]を生成する（ステップＳ１３）。

上記の処理を画像番号ｉがＮ−１であるＮ枚目のフレームまで繰り返し行った後（ステップＳ１４）、ＣＰＵ７１は、プログラムメモリ７２内の背景画像生成プログラム７２ａを実行して、生成された連写画像の縮小画像を用いて、多数決原理に基づいて仮想的背景画像Ｇｂを生成する（ステップＳ１５）。
これにより、前処理を終了する。

次に、抽出処理について図１０〜図１４を参照してより詳細に説明する。
図１０は、抽出処理に係る動作の一例を示すフローチャートである。

図１０に示すように、抽出処理にあっては、先ず、ＣＰＵ７１は、Ｎ枚（画像番号ｉが「０」〜「Ｎ−１」）のフレームについて、差分強度の算出をループにより処理した後（ステップＳ２１〜Ｓ２３）、有効フレームからエラーフレームを除去するエラーフレーム除去処理を行って（ステップＳ２４）、その後、他のフレームと動体領域の重複が大きい重複フレームを除去する重複フレーム除去処理を行い（ステップＳ２５）、続けて、複数の有効フレームのブレンド比であるアルファ値を算出するアルファ値算出処理を行う（ステップＳ２６）。

以下に、差分強度算出処理について図１１を参照してより詳細に説明する。
図１１に示すように、差分強度算出処理では、ＣＰＵ７１は、プログラムメモリ７２内の差分強度算出プログラム７２ｂを実行して、複数のフレームについて、画像の色成分の重み付き二乗和を演算することで、原差分強度を算出する処理を行う（ステップＳ２０１）。続けて、ＣＰＵ７１は、算出された原差分強度に対して大津の二値化処理（適応的二値化処理）を行って、差分強度の正規化処理、エラーフレーム判定処理、背景強度算出処理に用いる各種パラメータとして、背景中央値、動体中央値、ノイズレベル推定値を算出して保存する（ステップＳ２０２）。

その後、ＣＰＵ７１は、差分強度の正規化処理を行って、照明変動に基づく合成時の動体Ｍのブレンド比の濃さの不均等を補正する（ステップＳ２０３）。
次に、ＣＰＵ７１は、差分強度の平滑化処理を行って、ノイズに起因する細かい欠損・孤立点や、わずかなカメラブレに起因する細いエッジを消す処理を行う（ステップＳ２０４）。
これにより、差分強度算出処理を終了する。

以下に、エラーフレーム除去処理について図１２を参照してより詳細に説明する。
図１２に示すように、エラーフレーム除去処理では、ＣＰＵ７１は、プログラムメモリ７２内のエラーフレーム除去プログラム７２ｃを実行して、適応的二値化処理にて算出された全てのフレームにおける二値化閾値のメディアンを算出し（ステップＳ２１１）、続けて、Ｎ枚（画像番号ｉが「０」〜「Ｎ−１」）のフレームについて、エラーフレームの判定及び除去をループにより処理する（ステップＳ２１２〜Ｓ２１７）。

具体的には、ＣＰＵ７１は、各フレームＦ[ｉ]（ｉ＝０、１、２…Ｎ−１）について、二値化閾値以上の差分強度を持つ点の個数を数えて動体面積を算出して、当該面積値の画面全体に対する比が所定の範囲に入っているか否かを判定（チェック）する（ステップＳ２１３）。ここで、面積比が所定の範囲内に入っていないと判定されると（ステップＳ２１３；ＮＧ）、ＣＰＵ７１は、当該フレームＦ[ｉ]をエラーフレームであるとして、有効フレーム集合から除去する（ステップＳ２１４）。
次に、ＣＰＵ７１は、ステップＳ２１３における判定にてＯＫと判定されたフレームＦ[ｉ]に対して、二値化閾値のメディアン値に比較して、例えば１／１０程度以下の小さい閾値を持つか否か判定（チェック）する（ステップＳ２１５）。ここで、当該１／１０程度以下の小さい閾値を持つと判定されると（ステップＳ２１５；ＮＧ）、ＣＰＵ７１は、当該フレームＦ[ｉ]をエラーフレームであるとして、有効フレーム集合から除去する（ステップＳ２１６）。
上記の処理を画像番号ｉがＮ−１であるＮ枚目のフレームまで繰り返し行うことで（ステップＳ２１７）、エラーフレーム除去処理を終了する。

以下に、重複フレーム除去処理について図１３を参照してより詳細に説明する。
図１３に示すように、重複フレーム除去処理では、ＣＰＵ７１は、プログラムメモリ７２内の重複フレーム除去プログラム７２ｄを実行して、Ｎ−１枚（画像番号ｉが「０」〜「Ｎ−２」）のフレームについて、他に重複フレームがあるか否かの判定及び間引きをループ（ループ１）により処理する（ステップＳ２２１〜Ｓ２２８）。
具体的には、先ず、ＣＰＵ７１は、Ｎ−１枚（画像番号ｉが「０」〜「Ｎ−２」）のフレームＦ[ｉ]について、有効フレームであるか否かを判定する（ステップＳ２２２）。ここで、有効フレームであると判定されると（ステップＳ２２２；ＹＥＳ）、画像番号ｊに関するループ（ループ２、ｊの範囲は「ｉ＋１」〜「Ｎ−１」）により、フレームＦ[ｊ]とフレームＦ[ｉ]の重複フレームであるか否かの判定及び間引きを処理する（ステップＳ２２３〜Ｓ２２７）。即ち、ＣＰＵ７１は、当該画像フレーム［ｉ］と次の画像フレーム［ｊ］における動体領域の面積と動体重なり領域の面積比を算出する（ステップＳ２２４）。そして、当該面積比が所定の閾値より大きいか否かを判定する（ステップＳ２２５）。
ここで、面積比が所定の閾値より大きいと判定されると（ステップＳ２２５；ＹＥＳ）、ＣＰＵ７１は、フレーム［ｊ］を有効フレーム集合から除去する（ステップＳ２２６）。
上記の処理を画像番号ｉがＮ−２であるＮ−１枚目のフレームまで繰り返し行うことで（ステップＳ２２８）、重複フレーム除去処理を終了する。

以下に、アルファ値算出処理について図１４を参照してより詳細に説明する。
図１４に示すように、アルファ値算出処理では、ＣＰＵ７１は、プログラムメモリ７２内のアルファ値算出プログラム７２ｅを実行して、背景強度の算出及び、Ｎ枚（画像番号ｉが「０」〜「Ｎ−１」）のフレームＦ[ｉ]についてのアルファ値の生成を処理する（ステップＳ２３１〜Ｓ２３６）。
具体的には、先ず、ＣＰＵ７１は、画素位置に関するループ（ループ３）を開始し、背景として選択するフレームの各画素位置について背景強度を算出して、当該背景強度により各画素位置の差分強度値を更新する（ステップＳ２３２）。
その後、Ｎ枚（画像番号ｉが「０」〜「Ｎ−１」）のフレームについて、アルファ値の生成をループ（ループ４）により処理する（ステップＳ２３３〜Ｓ２３５）。具体的には、複数の有効フレームの各々について、各画素のアルファ値を算出して配列Ａに保存する（ステップＳ２３４）。
上記の処理を画像番号ｉがＮ−１であるＮ枚目の画像フレームまで繰り返し行い（ステップＳ２３５）、全画素位置まで繰り返す（ステップＳ２３６）ことでアルファ値算出処理を終了する。

次に、合成処理について図１５を参照してより詳細に説明する。
図１５は、合成処理に係る動作の一例を示すフローチャートである。

図１５に示すように、合成処理では、ＣＰＵ７１は、プログラムメモリ７２内の合成プログラム７２ｆを実行して、先ず、合成画像Ｇｃバッファを黒にクリアした後、Ｎ枚（画像番号ｉが「０」〜「Ｎ−１」）のフレームについて、各画素がアルファ値倍された合成すべきフレームの加算をループ（ループ５）により処理する（ステップＳ３２〜Ｓ３７）。
具体的には、先ず、ＣＰＵ７１は、原寸原画像におけるアルファ値の補間処理及び合成すべきフレームの加算をループ（ループ６）により処理する（ステップＳ３３〜Ｓ３６）。即ち、ＣＰＵ７１は、縮小画像の画素毎に算出されたアルファ値を原寸にアップスケール（補間）する（ステップＳ３４）。そして、ＣＰＵ７１は、Ｎ枚（画像番号ｉが「０」〜「Ｎ−１」）のフレームについて、各有効フレームの各画素値にアルファ値を乗じて合成すべきフレームを生成して、これら複数のフレームを合成画像Ｇｃバッファに加算する（ステップＳ３５）。
上記の処理を画像番号ｉがＮ−１であるＮ枚目のフレームまで繰り返し行うことで（ステップＳ３７）、合成画像Ｇｃが生成され、これにより合成処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、複数のフレームのうち、何れか一の任意のフレームにおける背景画像Ｇｂに対する画素毎の差分強度を当該フレームの色成分の重み付き二乗和若しくは重み付き絶対値和に基づいて算出して、当該差分強度を複数のフレーム分の差分強度で除算したアルファ値を算出することができる。
また、当該アルファ値に基づいて任意のフレームにおける動体抽出画像Ｇｍを出力するので、画像撮影条件に関わらず、違和感のない自然な動体抽出画像Ｇｍを安定的に出力することができる。そして、アルファ値に基づいて合成すべきフレームを複数生成して、当該複数のフレームを合成することで、合成画像Ｇｃを得ることができる。
即ち、例えば、照明変動（特にフリッカー）がある場合であっても、差分の絶対的な大きさで閾値処理をするわけではないため、フレーム間で差分の大きさがばらついても動体領域を誤検出することはない。なお、合成品質確保のためには、差分強度の正規化処理により差分の直流成分のブレンド比への影響をキャンセルし、また、合成処理において背景強度の概念を導入することにより背景画質を安定させたほうが良いが、それについては後述する。
また、モーションブラーが発生している領域にあっても、動体成分の度合いに応じて連続的にブレンド比が高まり、不連続な、即ち、目立つ境界線が生じることはない。
また、動体Ｍの影や反射の生じている領域にあっても、動体Ｍ、具体的には、動体本体に比較してファジイ的に存在の薄い動体Ｍとして認識されるため、これらの領域が他のフレームの動体本体と重なる領域では動体本体が優先され、背景のみと重なる領域ではこれらの領域が優先される。従って、動体本体を削り取ることなく、影や反射の部分もある程度含む自然な合成結果を得ることができる。
なお、ノイズ、縮小画像の解像力限界、背景と動体Ｍの類似に関しては、動体Ｍのかすれのような形で問題が残ってしまうが、前述の合成の安定性によって問題の程度を小さくすることができ、また、動体Ｍ境界が最適でなくても、はっきりした偽のエッジは無いため、視覚上の印象を良くすることができる。

また、差分強度から適応的二値化処理にて算出された背景中央値ｚ_ｐを減じた最大値を算出することにより、差分強度を正規化するので、照明変動に基づく合成時の動体Ｍのブレンド比の濃さの不均等を適正に補正することができる。

さらに、複数のフレームについて差分強度に従って背景部分と動体部分Ｍを区分し、当該区分の結果に基づいて、合成処理にて合成すべきフレームか否かを判断、即ち、複数の有効フレームについて、他のフレームと動体領域の重複が大きいフレーム（重複フレームＦ）を判定して、自動的に間引くので、合成枚数、つまり、合成される動体Ｍの数を適正化することができ、見易く、動きを把握し易い合成画像Ｇｃを得ることができる。

また、アルファ値算出処理にて、背景として選択するフレームの全画素位置について背景強度を算出して、当該背景強度をフレームの背景部分の差分強度に加えることにより、全画素位置の差分強度値を更新するので、背景領域でのノイズ程度の微小な変動に対して鈍感にすることができ、わずかなノイズ変動によりどのフレームが優勢になるかが不安的に変化してしまうこと、特に、照明変動が発生している場合に、背景が様々なフレームから選ばれてしまい目立ってしまうことを防止することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。

また、上記実施形態では、差分強度算出処理にて背景差分法を用いたが、これに限られるものではなく、例えば、隣接するフレーム間で差分をとった後、それらの交わり（ＡＮＤ；積集合）をとるようにすることで（フレーム差分ＡＮＤ法）、原差分強度を算出するために背景画像Ｇｂを合成する必要がなくなり、さらに、背景変動にも強くなる。ここで、フレーム差分ＡＮＤ法自体は、従来から知られている技術であるが、多値画像を処理する場合には、ファジイ集合の積集合演算、即ち、Ｍｉｎ（最小値）をとるようにすればよい。

さらに、上記実施形態にあっては、差分強度算出処理にて、正規化処理及び平滑化処理を行うようにしたが、これに限られるものではなく、正規化処理及び平滑化処理を行うか否かは適宜任意に変更することができる。即ち、正規化処理及び平滑化処理のうち、何れか一方のみを行うようにしても良いし、何れも行わないようにしても良い。なお、かかる場合、Ｄ［ｐ］＝Ｄ_Ｏ［ｐ］とすれば良い。
また、正規化処理にて、背景領域におけるメンバーシップ関数が０となるように差分強度を正規化するようにしたが、これに限られるものではなく、明らかな動体領域におけるメンバーシップ関数が所定値（例えば、１（差分強度が８bitならば２５５））となるよう、より丁寧に差分強度を正規化するようにしても良い。

さらに、上記実施形態における重複フレーム除去処理にあっては、運動速度に対してフレームレートが高い時、空間的にほぼ等間隔に動体Ｍを並べることができるが、フレームレートが低い時、重なり判定によっては、ほぼ１フレーム分が欠落したように間が空いてしまうことがある（図１６（ａ）参照）。特に、スピード感のある競技やなんらかの軌道を描く運動を撮影した場合、全体のスピード感を損なう印象を受ける場合がある。例えば、徐々に加速していることを表現するには、動体Ｍの間隔がだんだん開いていくことが望ましい。
そこで、時間的にほぼ等間隔に動体Ｍを並べることを前提条件としながら、重なりを適度に抑えた有効フレーム集合を選択することが好ましい。具体的には、時間的にほぼ等間隔にとったフレーム集合の中のすべての隣接フレームの面積比のメディアンを基準として、最適なフレーム集合を選択する。これにより、一部疎な部分や密な部分があっても、全体としてちょうどよい間隔になっている画像を得ることができる（図１６（ｂ）参照）。
処理内容の例としては、先ず、フレーム間隔をａ、開始フレーム番号をｂとして、部分集合Ｕ_(a,b)（例えば、Ｕ_(3,1)={ １,４,７,１０,…}等）を定義する。
そして、現時点で有効フレーム集合Ｖに含まれているものを抜き出して、V_(a,b)=U_(a,b)∩Vと定義して、前記r（ｐ,ｑ）を利用して重なり面積のメディアンr'（ａ,ｂ）を下記式（１７）に従って導出する。

その後、候補集合のうちで、r'（ａ,ｂ）が所定の閾値以下となることを条件として、要素数が最大となる集合を選択して、その集合から外れたフレームを有効フレーム集合から除外する。
なお、重複フレームの判定に隣接フレームの動体重なり面積のメディアンを用いるようにしたが、これに限られるものではなく、隣接フレームに関連する動体部分Ｍの代表値、具体的には、隣接フレームの動体重なり領域の代表値であれば最頻値や平均値であっても良い。

また、重複フレーム除去処理にあっては、複数のフレームにおける隣接するフレーム間の差分強度の相関の強弱に基づいて、合成処理にて合成すべきフレームを選択するようにしても良い。即ち、画像を二値化せずに隣接するフレーム間の動体Ｍの重なり領域をファジイ演算で求め、その面積に相当するファジイな値をメンバーシップ関数の和によって求めたもの（下記式（１８）参照）を所定の閾値と比較することで判別するようにしても良い。
これにより、画像の二値化を行わないので、曖昧性の高い動体Ｍの存在を反映することができることとなる。

さらに、重複フレーム除去処理にあっては、処理の高速化を図る上で、下記式（１９）により規定される１次元差分強度（例えば、物体進行方向が水平ならば、差分強度を垂直列毎に加算した水平ラインに対応する配列。なお、物体進行方向が垂直ならば、水平垂直を逆にする）を用いても良い。

そして、下記式（２０）により規定される以下の比を評価して、上記実施形態と同様に判定することもできる。

なお、重複フレーム除去処理は、ユーザによるモード設定によって、上記例示した各種方法を使い分けることができるようにすることが望ましい。

また、アルファ値算出処理にあっては、上記の１次元差分強度を用いて、水平位置毎に決まるブレンド比を下記式（２１）に従って算出するようにしても良い。

この場合、重複フレーム除去処理において、重なりをほとんど許さないように間引くような場合には、この方法でもうまく働き、ループの数を減少させることができるので算出処理の高速化を図ることができる。

また、本実施形態の撮像装置１００は、三脚に固定した撮影を想定しているが、手持ち撮影にも対応可能である。即ち、手持ちで撮影した連写画像をソースとする場合には、手振れの動きを補償した後に上記の各処理を行うようにすれば良い。
なお、動き補償を行っても座標変換で正確にあわない部分が背景領域中にあると、そこがファジイ的に動体Ｍに近いとされてしまい、背景領域中に合成のずれを生じることがある。例えば、背景物体の稜線の一部が少しガタガタしてしまうといった形で表れるが、背景自体はあまり注視されないので、主観評価的としてはさほど目立たない。また、鏡面反射やハイライト領域（照明反射により特に明るく出ているところ）は、視点によって異なるので、カメラ位置が動くと本質的に合わせることができず、動体領域とされてしまい、かつ輝度が高いため少々目立つが、生じるケースは比較的まれである。

また、例えば、ゴルフスイング時の全身像などのほぼ同じ位置に滞留している被写体に対応するためには、下記の修正を施す必要がある。
先ず、第一に、背景の自動合成が行えないため、背景フレームを別途撮影しておく必要がある。第二に、重複フレーム除去処理を行うと、最初の１枚以外は全て除去されてしまうので、間引き処理を行わないか、或いは適当なフレーム間隔を決め打ちして間引くことになる。
これにより、例えば運動解析用途に有用な合成画像Ｇｃを得ることができる。

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
さらに、画像合成装置として撮像装置１００を例示したが、これに限られるものではなく、撮像部１により取得した動画像を構成する複数のフレームをＵＳＢ端子６を介して接続された外部機器に出力して、当該外部機器にて画像合成処理に係る前処理、抽出処理及び合成処理等の各種処理を行うようにしても良い。

加えて、上記実施形態では、第１の算出手段、加算手段、第２の算出手段、出力手段、第３の算出手段、正規化手段、フレーム生成手段、合成手段、第１の判断手段、第２の判断手段、第１の推定手段、第２の推定手段、第４の算出手段としての機能を、ＣＰＵ７１によって所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による画像合成処理に係る画像フレームの一例を模式的に示す図である。 図２の画像合成処理に係る背景画像の一例を模式的に示す図である。 図２の画像合成処理に係る原差分強度を示したグレースケール画像の一例を模式的に示す図である。 図２の画像合成処理に係る合成画像の一例を模式的に示す図である。 図２の画像合成処理に係る動体抽出画像の一例を模式的に示す図である。 図２の画像合成処理に係る合成画像の一例を模式的に示す図である。 図２の画像合成処理に係る動作の一例を示すフローチャートである。 図８の画像合成処理の前処理に係る動作の一例を示すフローチャートである。 図８の画像合成処理の抽出処理に係る動作の一例を示すフローチャートである。 図１０の抽出処理の差分強度算出処理に係る動作の一例を示すフローチャートである。 図１０の抽出処理のエラーフレーム除去処理に係る動作の一例を示すフローチャートである。 図１０の抽出処理の重複フレーム除去処理に係る動作の一例を示すフローチャートである。 図１０の抽出処理のアルファ値算出処理に係る動作の一例を示すフローチャートである。 図８の画像合成処理の合成処理に係る動作の一例を示すフローチャートである。 変形例１の撮像装置による画像合成処理に係る合成画像の一例を模式的に示す図である。

符号の説明

１００ 撮像装置
１ 撮像部
７１ ＣＰＵ
Ｆ フレーム
Ｇｃ 合成画像

Claims (11)

1. 複数のフレームについて、背景部分、もしくは他のフレームに関連する差分強度を画素毎に算出する第１の算出手段と、
   この第１の算出手段によって算出された前記複数のフレームの前記差分強度を画素毎に加算する加算手段と、
   前記複数のフレームのうち何れか一の任意のフレームの各画素について、前記第１の算出手段によって算出された差分強度を、対応する画素位置の前記加算手段によって加算された前記複数のフレーム分の差分強度の加算値で除した値を画素毎に算出する第２の算出手段と、
   前記複数のフレームのうち、前記任意のフレームの各画素値に前記第２の算出手段によって画素毎に算出された値を乗じて合成すべきフレームを生成するフレーム生成手段と、
   前記フレーム生成手段によって生成された複数の合成すべきフレームを合成する合成手段と、
   この合成手段によって合成された合成画像を出力する第１の出力手段と、
   を備えることを特徴とする画像合成装置。
2. 前記第１の算出手段は、前記フレームにおける各画像の色成分差分の重み付き二乗和を算出することを特徴とする請求項１に記載の画像合成装置。
3. 前記第１の算出手段は、前記フレームにおける各画像の色成分差分の重み付き絶対値和を算出することを特徴とする請求項１に記載の画像合成装置。
4. 前記差分強度から背景部分の代表値を算出する第３の算出手段と、
   前記第３の算出手段によって算出された前記代表値を前記フレームの前記差分強度からそれぞれ減じ、更に、減じた結果が負値になる場合は０にすることによって当該差分強度を正規化する正規化手段と、
   を更に備えることを特徴とする請求項１乃至３の何れかに記載の画像合成装置。
5. 前記第３の算出手段が算出する背景部分の代表値は、前記複数のフレームの前記差分強度のうち所定の閾値を超えない差分強度の中央値であることを特徴とする請求項４に記載の画像合成装置。
6. 前記複数のフレームについて、前記第１の算出手段により算出された差分強度に従って背景部分と動体部分を区分し、当該区分の結果に基づいて、前記合成手段により合成すべきフレームか否かを判断する第１の判断手段を更に備え、
   前記合成手段は、前記第１の判断手段により合成すべきと判断されたフレームを合成することを特徴とする請求項１乃至５の何れかに記載の画像合成装置。
7. 前記合成手段は、前記複数のフレームにおける隣接するフレームに関連する動体部分の代表値に基づいて、合成すべきフレームを選択して合成することを特徴とする請求項１乃至５の何れかに記載の画像合成装置。
8. 前記複数のフレームについて、前記第１の算出手段により算出された差分強度に従って背景部分と動体部分を区分し、前記複数のフレームにおける隣接するフレームの動体部分に対して当該動体部分の重なり部分が所定の比率を超えるか否かを判断する第２の判断手段を更に備え、
   前記合成手段は、前記第２の判断手段により前記動体部分の重なり部分が所定の比率を超えていると判断されたときは、前記隣接するフレームのうちの何れか一方のフレームに対応する、前記フレーム生成手段によって生成されたフレームを合成すべきフレームとして選択して合成することを特徴とする請求項１乃至５の何れかに記載の画像合成装置。
9. 前記第１の算出手段によって算出された前記差分強度から前記背景部分のノイズレベルを推定する第１の推定手段と、
   前記第１の推定手段によって推定された前記背景部分のノイズレベルから前記合成手段によって合成されることにより発生する合成ノイズレベルを推定する第２の推定手段と、
   前記第２の推定手段によって推定された前記合成ノイズレベルに応じて増減する値を除数最小値とし、この除数最小値から前記第１の算出手段によって算出された前記差分強度のうちの動体部分の差分強度の総和を減じた背景強度値を算出する第４の算出手段と、
   前記第４の算出手段によって算出された背景強度値が正の場合、この背景強度値を前記第１の算出手段によって算出された前記背景部分の差分強度に加えた値を出力する第２の出力手段と、
   を更に備えることを特徴とする請求項１乃至８の何れかに記載の画像合成装置。
10. 撮像手段を更に備え、
    前記複数のフレームは、前記撮像手段を連続的に駆動して得られることを特徴とする請求項１乃至９の何れかに記載の画像合成装置。
11. 画像合成装置を制御するコンピュータを、
    複数のフレームについて、背景部分、もしくは他のフレームに関連する差分強度を画素毎に算出する第１の算出手段、
    この第１の算出手段によって算出された前記複数のフレームの前記差分強度を画素毎に加算する加算手段、
    前記複数のフレームのうち何れか一の任意のフレームの各画素について、前記第１の算出手段によって算出された差分強度を、対応する画素位置の前記加算手段によって加算された前記複数のフレーム分の差分強度の加算値で除した値を画素毎に算出する第２の算出手段、
    前記複数のフレームのうち、前記任意のフレームの各画素値に前記第２の算出手段によって画素毎に算出された値を乗じて合成すべきフレームを生成するフレーム生成手段、
    前記フレーム生成手段によって生成された複数の合成すべきフレームを合成する合成手段、
    この合成手段によって合成された合成画像を出力する出力手段、
    として機能させることを特徴とするプログラム。

Images