JP4571370B2 - 動画像合成方法および装置並びにプログラム並びにデジタルカメラ - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像から高解像度の静止画像を取得する動画像合成方法および装置並びにプログラム並びにデジタルカメラに関するものである。
【０００２】
【従来の技術】
戸外で集合写真などを撮像する際に、撮像範囲内を他の人物が通ると、撮像して得た画像に目的の被写体以外の被写体が入ってしまうため、通行人を止めたり、人通りがないときを見計らったりして撮像する必要があり、面倒である。風景や、建築物などを撮像する際においても、被写体の手前を他人が通り過ぎると、同様の問題がある。
【０００３】
このような問題の解決方法の一つとして、カメラのシャッターを長時間開放してフィルム上に撮影することによって、静止している被写体のみをきれいに撮像し、局所的に動いているものをぼかす撮像方法が行われている。このときは、露出オーバーにならないように、特殊なフィルムあるいはフィルタを使用し、３脚も使用する。この方法によれば、静止の目的被写体（上述した集合写真が対象となる人物達、風景、建築物など）をきれいに撮像することができると共に、通行人などの動いている部分がぼかされるので、手前に邪魔物が写っていない静止画像を取得することができる。
【０００４】
一方、近年のデジタルビデオカメラの普及により、動画像を１フレーム単位で扱うことが可能となっている。このような動画像から複数のフレームをサンプリングし、サンプリングした複数のフレームを統合することにより高解像度の合成フレームを作成する試みがされている。
【０００５】
動画像の複数のフレームを統合する際に必要とされるのは、動領域における各フレーム間の画素の対応関係を求めることである。これには通常、ブロックマッチング法や勾配法が用いられるが、従来のブロックマッチング法は、ブロック内の動き量が同一方向であることを仮定したものであるため、回転、拡大、縮小、変形といった様々な動きに対応する柔軟性に欠けている上に、処理時間がかかり、実用的ではないという問題がある。一方、勾配法は、従来のブロックマッチング法と比較して安定に解を求めることができないという問題がある。これらの問題を克服した方法としては、統合される複数のフレームのうちの１つのフレームを基準フレームとし、基準フレームに１または複数の矩形領域からなる基準パッチを、基準フレーム以外の他のフレームに基準パッチと同様のパッチを配置し、パッチ内の画像が基準パッチ内の画像と一致するようにパッチを他のフレーム上において移動および／または変形し、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレーム上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係を求めて複数フレームを精度よく合成する方法が提案されている（非特許文献１参照）。
【０００６】
非特許文献１の方法においては、基準フレームと他のフレームとの対応関係を求め、求めた後、他のフレームと基準フレームとを、最終的に必要な解像度を有する統合画像上に割り当てることにより、高精細な合成フレームを得ることができる。
【０００７】
しかし、非特許文献１に記載された方法においては、他のフレームに含まれる被写体の動きが非常に大きい場合や、局所的に含まれる被写体が複雑な動きをしていたり非常に高速で動いている場合には、被写体の動きにパッチの移動および／または変形が追従できない場合がある。このように、パッチの移動および／または変形が被写体の移動および／または変形に追従できないと、合成フレームの全体がぼけたり、フレームに含まれる動きの大きい被写体がぼけたりするため、高画質の合成フレームを得ることができないという問題がある。
【０００８】
そのため、本願出願人は、動きの追従ができない部分（パッチ内の画像）に対しては基準フレーム内において補間を行い、動きの追従ができた部分に対しては他のフレームの情報を利用することによって、この問題を解消する方法を提案している（特許文献１参照）。この方法を利用して、集合写真を撮像する際に、動画像を撮像して高解像度の静止画（合成フレーム）を取得するようにすれば、他のフレーム内で局所的に動いているものが消去される（または暈される）ので、撮像する際に他の人物が通ったりしても合成フレームには残らないので、高品質な静止画像を得ることができる。
【０００９】
【特許文献１】
特願２００２−２４９２１２号
【００１０】
【非特許文献１】
「フレーム間統合による高精細ディジタル画像の獲得」，中沢祐二、小松隆、斉藤隆弘，テレビジョン学会誌，１９９５年，Ｖｏｌ．４９，Ｎｏ．３，ｐ２９９−３０８
【００１１】
【発明が解決しようとする課題】
しかし、特許文献１に記載された方法を静止画の取得に利用すれば、ブレなど全体的な動きによる影響を無くすことができると共に、他のフレーム内で局所的に動いているものも消去されるが、基準フレームに動いているものがあれば、最終的に取得した静止画像（合成フレーム）にはやはりこの動いているものの画像が残ってしまう問題がある。
【００１２】
また、カメラのシャッターを開放して高画質の静止画を撮影方法は、高価なカメラと、シャッターを開放して撮像するのに適したフィルムを必要とする上に、ブレの影響を無くすために、３脚を必要とするため、一般的ではない。
【００１３】
本発明は上記事情に鑑みなされたものであり、低価格なデジタルカメラを用いて手持ちで撮像しても高品質な静止画像を取得することができる動画像合成方法および装置並びにプログラム並びにデジタルカメラを提供することを目的とするものである。
【００１４】
【課題を解決するための手段】
本発明による第１の動画像合成方法は、動画像を構成する複数のフレームから連続する２つのフレームをサンプリングし、
該２つのフレームのうち、基準となる１つの基準フレーム上に１つ以上の矩形領域からなる第１の基準パッチを配置し、該第１の基準パッチと同様の第１のパッチを該基準フレーム以外の他のフレーム上に配置し、該第１のパッチ内の画像が前記第１の基準パッチ内の画像と一致するように、該第１のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第１のパッチおよび前記第１の基準パッチに基づいて、前記他のフレーム上の前記第１のパッチ内の画素と前記基準フレーム上の前記第１の基準パッチ内の画素との対応関係を第１の対応関係として求め、
該第１の対応関係に基づいて、前記第１のパッチ内の画像、または前記第１のパッチ内の画像および前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第１の補間フレームを取得し、
前記第１の対応関係に基づいて、前記第１のパッチ内の画像を前記基準フレームの座標空間に座標変換して第１の座標変換済みフレームを取得し、
該第１の座標変換済みフレームと前記第１の基準パッチ内の画像との相関を表す相関値を算出し、
前記２つのフレームのうちの前記基準フレーム上に１つ以上の、前記第１の基準パッチの前記矩形領域より大きい矩形領域からなる第２の基準パッチを配置し、該第２の基準パッチと同様の第２のパッチを前記他のフレーム上に配置し、該第２のパッチ内の画像が前記第２の基準パッチ内の画像と一致するように、該第２のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第２のパッチおよび前記第２の基準パッチに基づいて、前記第２のパッチ内の画素と前記第２の基準パッチ内の画素との対応関係を第２の対応関係として求め、
該第２の対応関係に基づいて、前記第２のパッチ内の画像を前記基準フレームの座標空間に座標変換して第２の座標変換済みフレームを取得し、
前記第２の基準パッチ内の画像と前記第２の座標変換済みフレームとに対して平均処理を施して平均フレームを取得し、
前記平均フレームに対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを取得し、
前記相関値に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて前記第１の補間フレームと前記第２の補間フレームとを重み付け合成することにより合成フレームを作成することを特徴とするものである。
【００１５】
ここで、「相関値」は、第１の座標変換済みフレームと第１の基準パッチ内の画像との各画素毎に算出してもよいが、相対応する局所領域毎、パッチの矩形領域毎、あるいはフレーム単位で算出してもよい。この場合、重み係数は相関値を算出した単位毎、すなわち画素毎、局所領域毎、矩形領域毎あるいはフレーム毎に取得される。
【００１６】
本発明による第２の動画像合成方法は、動画像を構成する複数のフレームから連続する３つ以上のフレームをサンプリングし、
該３つ以上のフレームのうち、基準となる１つの基準フレーム上に１つ以上の矩形領域からなる第１の基準パッチを配置し、該第１の基準パッチと同様の第１のパッチを該基準フレーム以外の他のフレーム上に配置し、該第１のパッチ内の画像が前記第１の基準パッチ内の画像と一致するように、該第１のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第１のパッチおよび前記第１の基準パッチに基づいて、複数の前記第１のパッチ内の画素と前記第１の基準パッチ内の画素との対応関係を第１の対応関係として求め、
該第１の対応関係に基づいて、複数の前記第１のパッチ内の画像、または複数の前記第１のパッチ内の画像および前記第１の基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得し、
前記第１の対応関係に基づいて、複数の前記第１のパッチ内の画像を前記第１の基準フレームの座標空間に座標変換して複数の第１の座標変換済みフレームを取得し、
該複数の第１の座標変換済みフレームと前記第１の基準パッチ内の画像との相関をそれぞれ表す相関値を算出し、
前記３つ以上のフレームのうちの前記基準フレーム上に１つ以上の、前記第１の基準パッチの前記矩形領域より大きい矩形領域からなる第２の基準パッチを配置し、該第２の基準パッチと同様の第２のパッチを該基準フレーム以外の他のフレーム上に配置し、該第２のパッチ内の画像が前記第２の基準パッチ内の画像と一致するように、該第２のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第２のパッチおよび前記第２の基準パッチに基づいて、複数の前記第２のパッチ内の画素と前記第２の基準パッチ内の画素との対応関係を第２の対応関係として求め、
該第２の対応関係に基づいて、複数の前記第２のパッチ内の画像を前記基準フレームの座標空間に座標変換して複数の第２の座標変換済みフレームを取得し、
前記第２の基準パッチ内の画像と各々の前記第２の座標変換済みフレームとに対して平均処理を施して平均フレームを取得し、
前記平均フレームに対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを複数の前記第１の補間フレームと対応付けて１つまたは複数取得し、
前記相関値に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成することを特徴とするものである。
【００１７】
ここで、本発明による第２の動画像合成方法においては、相関値は他のフレームに対応して複数算出されるが、複数の相関値の平均値や中間値を算出し、これを重み係数を取得するために用いてもよい。
【００１８】
また、「第２の補間フレームを第１の補間フレームと対応付けて複数取得する」とは、１つの第１の補間フレームにおける画素値を有する画素位置と同様の画素位置に、平均フレーム内の画素値を補間演算により割り当てることによりその第１の補間フレームに対応する第２の補間フレームを取得し、さらにこの処理を複数の第１の補間フレームのそれぞれについて行って、第１の補間フレームと同数の第２の補間フレームを取得することをいう。
【００１９】
一方、「第２の補間フレームを第１の補間フレームと対応付けて１つ取得する」とは、第１の補間フレームにおける画素値を有する画素位置に拘わらず、例えば第２の補間フレームにおける整数画素位置のような所定の画素位置に平均フレーム内の画素値を補間演算により割り当てて１つの第２の補間フレームを取得することをいう。この場合、複数の第１の補間フレームのそれぞれの画素位置の画素値と、これに最も近い第２の補間フレームにおける所定の画素位置の画素値とが互いに対応付けられることとなる。
【００２０】
また、本発明による第１および第２の動画像合成方法においては、前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数に対して補間演算を施して前記第１および第２の補間フレームを構成する全ての画素についての重み係数を取得してもよい。
【００２１】
すなわち、補間演算により各フレームよりも画素数が多い第１および第２の補間フレームが得られるが、重み係数はサンプリングしたフレームの画素にのみ対応して求められる。このため、その近傍の画素について取得された重み係数に対して補間演算を施して、増加した画素についての重み係数を求めるようにしてもよい。また、補間演算により増加した画素については、増加した画素の近傍にある元々存在する画素について取得された重み係数を用いて重み付け合成を行ってもよい。
【００２２】
本発明の第１の動画像合成装置は、動画像を構成する複数のフレームから連続する２つのフレームをサンプリングするサンプリング手段と、
該２つのフレームのうち、基準となる１つの基準フレーム上に１つ以上の矩形領域からなる第１の基準パッチを配置し、該第１の基準パッチと同様の第１のパッチを該基準フレーム以外の他のフレーム上に配置し、該第１のパッチ内の画像が前記第１の基準パッチ内の画像と一致するように、該第１のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第１のパッチおよび前記第１の基準パッチに基づいて、前記第１のパッチ内の画素と前記第１の基準パッチ内の画素との対応関係を第１の対応関係として求める第１の対応関係求出手段と、
該第１の対応関係に基づいて、前記第１のパッチ内の画像または、前記第１のパッチ内の画像および前記第１の基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第１の補間フレームを取得する第１の補間手段と、
前記第１の対応関係に基づいて、前記第１のパッチ内の画像を前記基準フレームの座標空間に座標変換して第１の座標変換済みフレームを取得する第１の座標変換手段と、
該第１の座標変換済みフレームと前記第１の基準パッチ内の画像との相関を表す相関値を算出する相関値算出手段と、
前記２つのフレームのうちの前記基準フレーム上に１つ以上の、前記第１の基準パッチの前記矩形領域より大きい矩形領域からなる第２の基準パッチを配置し、該第２の基準パッチと同様の第２のパッチを前記他のフレーム上に配置し、該第２のパッチ内の画像が前記第２の基準パッチ内の画像と一致するように、該第２のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第２のパッチおよび前記第２の基準パッチに基づいて、前記第２のパッチ内の画素と前記第２の基準パッチ内の画素との対応関係を第２の対応関係として求める第２の対応関係求出手段と、
該第２の対応関係に基づいて、前記第２のパッチ内の画像を前記基準フレームの座標空間に座標変換して第２の座標変換済みフレームを取得する第２の座標変換手段と、
前記第２の基準パッチ内の画像と前記第２の座標変換済みフレームとに対して平均処理を施して平均フレームを取得する平均手段と、
前記平均フレームに対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを取得する第２の補間手段と、
前記相関値算出手段により算出された前記相関値に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて前記第１の補間フレームと前記第２の補間フレームとを重み付け合成することにより合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【００２３】
本発明の第２の動画像合成装置は、動画像から連続する３つ以上のフレームをサンプリングするサンプリング手段と、
該３つ以上のフレームのうち、基準となる１つの基準フレーム上に１つ以上の矩形領域からなる第１の基準パッチを配置し、該第１の基準パッチと同様の第１のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該第１のパッチ内の画像が前記第１の基準パッチ内の画像と一致するように、該第１のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第１のパッチおよび前記第１の基準パッチに基づいて、前記複数の他のフレーム上の前記第１のパッチ内の画素と前記基準フレーム上の前記第１の基準パッチ内の画素との対応関係を第１の対応関係として求める第１の対応関係求出手段と、
該第１の対応関係に基づいて、前記複数の他のフレームの前記第１のパッチ内の画像または前記他のフレームの前記第１のパッチ内の画像および前記基準フレームの前記第１の基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得する第１の補間手段と、
前記第１の対応関係に基づいて、前記複数の他のフレームの前記第１のパッチ内の画像を前記基準フレームの座標空間に座標変換して複数の第１の座標変換済みフレームを取得する第１の座標変換手段と、
該複数の第１の座標変換済みフレームと前記基準フレームの前記第１の基準パッチ内の画像との相関をそれぞれ表す相関値を算出する相関値算出手段と、
前記３つ以上のフレームのうちの前記基準フレーム上に１つ以上の、前記第１の基準パッチの前記矩形領域より大きい矩形領域からなる第２の基準パッチを配置し、該第２の基準パッチと同様の第２のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該第２のパッチ内の画像が前記第２の基準パッチ内の画像と一致するように、該第２のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第２のパッチおよび前記第２の基準パッチに基づいて、前記複数の他のフレーム上の前記第２のパッチ内の画素と前記基準フレーム上の前記第２の基準パッチ内の画素との対応関係を第２の対応関係として求める第２の対応関係求出手段と、
該第２の対応関係に基づいて、前記複数の他のフレームの前記第２のパッチ内の画像を前記基準フレームの座標空間に座標変換して複数の第２の座標変換済みフレームを取得するする第２の第１の座標変換手段と、
前記第２の基準パッチ内の画像と各々の前記第２の座標変換済みフレームとに対して平均処理を施して平均フレームを取得する平均手段と、
前記平均フレームに対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを複数の前記第１の補間フレームと対応付けて１つまたは複数取得する第２の補間手段と、
前記相関値算出手段により算出された前記相関値に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【００２４】
本発明のデジタルカメラは、動画像を取得する撮像手段と、前記動画像から静止画像を取得する静止画像取得手段とを備え、
前記静止画取得手段が、本発明の第１の動画像合成装置または第２の動画像合成装置であることを特徴とするものである。
【００２５】
なお、本発明による第１および第２の動画像合成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２６】
【発明の効果】
本発明によれば、動画像がサンプリングされて連続する複数のフレームが取得され、複数のフレームのうち、基準となる１の基準フレーム上に１つ以上の矩形領域からなる第１の基準パッチが配置される。また、基準フレーム以外の他のフレーム上に、第１の基準パッチと同様の第１のパッチが配置される。そして、第１のパッチ内の画像が第１の基準パッチ内の画像と一致するように移動および／または変形され、移動および／または変形後の第１のパッチおよび第１の基準パッチに基づいて、第１のパッチ内の画素と第１の基準パッチ内の画素との対応関係が第１の対応関係として求められる。
【００２７】
そして求められた第１の対応関係に基づいて、第１のパッチ内の画像、または第１のパッチ内の画像および第１の基準パッチ内の画像に対して補間演算が施されて、各フレームよりも解像度が高い第１の補間フレームが取得される。なお、フレームが３以上サンプリングされた場合は、複数の第１の補間フレームが取得される。この第１の補間フレームは、各フレームに含まれる被写体が静止している、または動きが小さい場合には、各フレームよりも解像度が高い高精細な画像を表すものとなる一方、各フレームに含まれる被写体の動きが大きかったり動きが複雑な場合には、動いている被写体がぼけたものとなる。
【００２８】
また、サンプリングされた複数のフレームのうち、基準フレーム上に１つ以上の、第１の基準パッチの矩形領域より大きい矩形領域からなる第２の基準パッチが配置される。また、基準フレーム以外の他のフレーム上に、第２の基準パッチと同様の第２のパッチが配置される。そして、第２のパッチ内の画像が第２の基準パッチ内の画像と一致するように移動および／または変形され、移動および／または変形後の第２のパッチおよび第２の基準パッチに基づいて、第２のパッチ内の画素と第２の基準パッチ内の画素との対応関係が第２の対応関係として求められる。そして、求められた第２の対応関係に基づいて、第２のパッチ内の画像が基準フレームの座標空間に変換され、この座標変換された第２のパッチ内の画像と第２の基準パッチ内の画像とが平均処理される。平均処理によって取得した平均フレームに対して補間演算が施されて第２の補間フレームが取得される。なお、フレームが３つ以上サンプリングされた場合、複数の第１の補間フレームに対して１つまたは複数の第２の補間フレームが取得される。この第２の補間フレームは平均フレームに対して補間演算を施して得たものであるので、動きが大きい被写体が目立たなくなる。
【００２９】
さらに、第１の対応関係に基づいて他のフレームの第１のパッチ内の画像が基準フレームの座標空間に座標変換されて第１の座標変換済みフレームが取得され、第１の座標変換済みフレームと第１の基準パッチ内の画像との相関を表す相関値が算出され、さらに相関値に基づいて第１の補間フレームと第２の補間フレームとを合成する際の重み係数が算出される。この重み係数は第１の座標変換済みフレームと基準フレームとの相関が大きいほど第１の補間フレームの重みを大きくしたものである。なお、フレームが３以上サンプリングされた場合は、他のフレーム毎に第１の座標変換済みフレーム、相関値および重み係数が取得される。
【００３０】
ここで、各フレームに含まれる被写体の動きが小さければ、第１の座標変換済みフレームと基準フレームとの相関は大きくなるが、被写体の動きが大きかったり複雑であったりすると、第１の座標変換済みフレームと基準フレームとの相関は小さくなる。したがって、取得された重み係数に基づいて第１の補間フレームおよび第２の補間フレームを重み付け合成することにより、動きが小さい場合は高精細な第１の補間フレームが占める割合が多く、動きが大きい場合には動きのある被写体を暈した第２の補間フレームの占める割合が多い合成フレームが作成される。なお、フレームが３以上サンプリングされた場合は、対応する第１および第２の補間フレームが合成されて中間合成フレームが取得され、さらに中間合成フレームが合成されて合成フレームが取得される。
【００３１】
このため、合成フレームは、フレームに含まれる被写体の動きが大きい場合には被写体がぼけて目立たなくなり、被写体の動きが小さい場合には高精細なものとなり、これにより、フレームに含まれる被写体が動いても、静止または動きの少ない部分の被写体（前述した集合写真の対象となる人達や、風景、建築物など）が高精細で、大きく動いた部分（集合写真を撮像する時の通行人など）がぼけて目立たなくなるため、基準フレームに大きく動くものがあっても、高画質の合成フレーム、すなわち静止画像を得ることができる。
【００３２】
また、動画像からサンプリングした複数のフレームに対して動き追従を行って合成フレームを作成することにより静止画像を取得するようにしているので、ブレなどがあっても合成フレームに影響を与えない。そのため、３脚を必要とせず、カメラを手持ちで撮像しても、高品質な静止画像を得ることができる。
【００３３】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
【００３４】
図１は本発明の実施形態によるデジタルカメラの構成を示すブロック図である。図示のように、本実施形態のデジタルカメラは、被写体を撮像して動画像データＭ０を得る撮像手段１００と、撮像して得た動画像データＭ０から複数のフレームをサンプリングするサンプリング手段１と、複数のフレームのうち、基準となる１つの基準フレームの画素および基準フレーム以外の他のフレームの画素の対応関係（第１の対応関係）を求める第１の対応関係求出手段２と、第１の対応関係求出手段２において求められた第１の対応関係に基づいて、他のフレームをそれぞれ基準フレームの座標空間上に座標変換して第１の座標変換済みフレームＦｒＴ０（１）を取得する第１の座標変換手段３と、第１の対応関係求出手段２において求められた第１の対応関係に基づいて、他のフレームに対して補間演算を施して各フレームよりも解像度が高い第１の補間フレームＦｒＨ１を取得する時空間補間手段４と、第１の座標変換済みフレームＦｒＴ０（１）と基準フレームとの相関を表す相関値を算出する相関値算出手段５と、サンプリング手段１によりサンプリングした複数のフレームのうち、基準フレームの画素および他のフレームの画素の対応関係（第２の対応関係）を求める第２の対応関係求出手段１２と、第２の対応関係求出手段１２において求められた第２の対応関係に基づいて、他のフレームをそれぞれ基準フレームの座標空間上に座標変換して第２の座標変換済みフレームＦｒＴ０（２）を取得する第２の座標変換手段１３と、基準フレームおよび各々の第２の座標変換済みフレームＦｒＴ０（２）に対して平均処理を施して平均フレームＦｒＡを取得する平均手段１４と、平均フレームＦｒＡに対して補間演算を行って各フレームよりも解像度が高い第２の補間フレームＦｒＨ２を取得する空間補間手段１５と、第１の補間フレームＦｒＨ１と第２の補間フレームＦｒＨ２とを重み付け加算するための重み係数を相関値算出手段５において算出された相関値に基づいて算出する重み算出手段６と、重み算出手段６において算出された重み係数に基づいて第１の補間フレームＦｒＨ１とＦｒＨ２とを重み付け加算して合成フレームＦｒＧを取得する合成手段２０と、合成手段２０により得られた合成フレームＦｒＧを記憶保存する記憶手段２５とを備える。なお、本実施形態において合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍の画素を有するものとする。なお、以降では、合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい。
【００３５】
サンプリング手段１は、動画像データＭ０から複数のフレームをサンプリングするが、ここでは、例として動画像データＭ０から２つのフレームＦｒＮおよびフレームＦｒＮ＋１をサンプリングするものとする。なお、フレームＦｒＮを基準フレームとする。また、動画像データＭ０はカラーの動画像を表すものであり、フレームＦｒＮ，ＦｒＮ＋１はＹ，Ｃｂ，Ｃｒの輝度色差成分からなるものとする。なお、以降の説明において、Ｙ，Ｃｂ，Ｃｒの各成分に対して処理が行われるが、行われる処理は全ての成分について同様であるため、本実施形態においては輝度成分Ｙの処理について詳細に説明し、色差成分Ｃｂ，Ｃｒに対する処理については説明を省略する。
【００３６】
第１の対応関係求出手段２および第２の対応関係求出手段１２は、以下のようにしてフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係を求める。なお、第１の対応関係求出手段２は、フレーム上に１６×１６個の矩形領域からなるパッチを配置することに対して、第２の対応関係求出手段１２は、４×４個の矩形領域からなるパッチを配置して対応関係を求めるものである。すなわち、第２の対応関係求出手段１２に用いられるパッチの矩形領域のサイズが第１の対応関係２に用いられたパッチの矩形領域より大きい点を除いて、第１の対応関係求出２と第２の対応関係求出手段１２の動作が同様であるので、ここで、第２の対応関係求出手段１２の動作の詳細について説明する。
【００３７】
図２は第２の対応関係求出手段１２によるフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の求出を説明するための図である。なお、図２において、基準フレームＦｒＮに含まれる円形の被写体が、フレームＦｒＮ＋１においては図面上右側に若干移動しているものとする。
【００３８】
まず、第２の対応関係求出手段１２は、基準フレームＦｒＮ上に４×４の矩形領域からなる基準パッチＰ０を配置する。図２（ａ）は、基準フレームＦｒＮ上に基準パッチＰ０が配置された状態を示す図である。次いで、図２（ｂ）に示すように、フレームＦｒＮ＋１の適当な位置に基準パッチＰ０と同様のパッチＰ１を配置し、基準パッチＰ０内の画像とパッチＰ１内の画像との相関を表す相関値を算出する。なお、相関値は下記の式（１）により平均二乗誤差として算出することができる。また、座標軸は紙面左右方向にｘ軸、紙面上下方向にｙ軸をとるものとする。
【００３９】
【数１】

但し、Ｅ：相関値
ｐｉ，ｑｉ：基準パッチＰ０，Ｐ１内にそれぞれ対応する画素の画素値
Ｎ：基準パッチＰ０およびパッチＰ１内の画素数
次いで、フレームＦｒＮ＋１上のパッチＰ１を上下左右の４方向に一定画素±Δｘ，±Δｙ移動し、このときのパッチＰ１内の画像と基準フレームＦｒＮ上の基準パッチＰ０内の画像との相関値を算出する。ここで、相関値は上下左右方向のそれぞれについて算出され、各相関値をそれぞれＥ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）とする。
【００４０】
そして、移動後の４つの相関値Ｅ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を相関勾配として求め、この方向に予め設定した実数値倍だけ図２（ｃ）に示すようにパッチＰ１を移動する。具体的には、下記の式（２）により係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）を算出し、これらの係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）から下記の式（３），（４）により相関勾配ｇｘ，ｇｙを算出する。
【００４１】
【数２】

そして、算出された相関勾配ｇｘ，ｇｙに基づいてパッチＰ１の全体を（−λ１ｇｘ，−λ１ｇｙ）移動し、さらに上記と同様の処理を繰り返すことにより、図２（ｄ）に示すようにパッチＰ１がある位置に収束するまで反復的にパッチＰ１を移動する。ここで、λ１は収束の速さを決定するパラメータであり、実数値をとるものとする。なお、λ１をあまり大きな値とすると反復処理により解が発散してしまうため、適当な値（例えば１０）を選ぶ必要がある。
【００４２】
さらに、パッチＰ１の格子点を座標軸に沿った４方向に一定画素移動させる。
このとき、移動した格子点を含む矩形領域は例えば図３に示すように変形する。
そして、変形した矩形領域について基準パッチＰ０の対応する矩形領域との相関値を算出する。この相関値をそれぞれＥ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）とする。
【００４３】
そして、上記と同様に、変形後の４つの相関値Ｅ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を求め、この方向に予め設定した実数値倍だけパッチＰ１の格子点を移動する。これをパッチＰ１の全ての格子点について行い、これを１回の処理とする。そして格子点の座標が収束するまでこの処理を繰り返す。
【００４４】
これにより、パッチＰ１の基準パッチＰ０に対する移動量および変形量が求まり、これに基づいて基準パッチＰ０内の画素とパッチＰ１内の画素との対応関係（第２の対応関係）を求めることができる。
【００４５】
第１の対応関係求出手段２も、同様の処理をして基準フレームＦｒＮに配置した基準パッチ内の画素と他のフレームＦｒＮ＋１に配置したパッチ内の画素との対応関係（第１の対応関係）を求める。
【００４６】
第１の座標変換手段３および第２の座標変換手段１３は、夫々第１の対応関係求出手段２により求められた第１の対応関係と第２の対応関係求出手段１２により求められた第２の対応関係に基づいて、フレームＦｒＮ＋１を基準フレームＦｒＮの座標空間に変換して座標変換済みフレームＦｒＴ０（１）とＦｒＴ０（２）を夫々取得するものである。なお、パッチを構成する矩形領域のサイズが異なる点以外、第１の座標変換手段３と第２の座標変換手段１３は、同様の動作をするものであるので、ここでも第１の対応関係求出手段２と第２の対応関係求出手段１２の動作の説明と同様に、第２の座標変換手段１３の動作についてのみ詳細的に説明する。
【００４７】
第２の座標変換手段１３は以下のようにしてフレームＦｒＮ＋１を基準フレームＦｒＮの座標空間に座標変換して座標変換済みフレームＦｒＴ０（２）を取得する。なお、以降の説明においては、基準フレームＦｒＮの基準パッチ内の領域およびフレームＦｒＮ＋１のパッチ内の領域についてのみ変換、補間演算および合成が行われる。
【００４８】
本実施形態においては、座標変換は双１次変換を用いて行うものとする。双１次変換による座標変換は、下記の式（５），（６）により定義される。
【００４９】
【数３】

式（５），（６）は、２次元座標上の４点（ｘｎ，ｙｎ）（１≦ｎ≦４）で与えられたパッチＰ１内の座標を、正規化座標系（ｕ，ｖ）（０≦ｕ，ｖ≦１）によって補間するものであり、任意の２つの矩形内の座標変換は、式（５），（６）および式（５），（６）の逆変換を組み合わせることにより行うことができる。
【００５０】
ここで、図４に示すように、パッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）が対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）内のどの位置に対応するかを考える。
まずパッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）について、正規化座標（ｕ，ｖ）を求める。これは式（５），（６）の逆変換により求める。そしてこのときの（ｕ，ｖ）と対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）を元に、式（５），（６）から点（ｘ，ｙ）に対応する座標（ｘ′，ｙ′）を求める。ここで、点（ｘ，ｙ）が本来画素値が存在する整数座標であるのに対し、点（ｘ′，ｙ′）は本来画素値が存在しない実数座標となる場合があるため、変換後の整数座標における画素値は、基準パッチＰ０の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に変換された座標（ｘ′，ｙ′）の画素値の荷重和として求めるものとする。
【００５１】
具体的には、図５に示すように基準パッチＰ０上における整数座標ｂ（ｘ，ｙ）について、その８近傍の整数座標ｂ（ｘ−１，ｙ−１），ｂ（ｘ，ｙ−１），ｂ（ｘ＋１，ｙ−１），ｂ（ｘ−１，ｙ），ｂ（ｘ＋１，ｙ），ｂ（ｘ−１，ｙ＋１），ｂ（ｘ，ｙ＋１），ｂ（ｘ＋１，ｙ＋１）に囲まれる領域内に変換されたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｍ個の画素値が８近傍の画素に囲まれる領域内に変換され、変換された各画素の画素値をＩｔｊ（ｘ°，ｙ°）（１≦ｊ≦ｍ）とすると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は、下記の式（７）により算出することができる。なお、式（７）においてφは荷重和演算を表す関数である。
【００５２】
【数４】

但し、Ｗｉ（１≦ｊ≦ｍ）：画素値Ｉｔｊ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積
ここで、簡単のため、図５を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉｔ１，Ｉｔ２が変換された場合について考えると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は下記の式（８）により算出することができる。
【００５３】
【数５】

但し、Ｗ１＝ｕ×ｖ、Ｗ２＝（１−ｓ）×（１−ｔ）
第２の座標変換手段１３は、以上の処理をパッチＰ１内の全ての画素について行うことにより、パッチＰ１内の画像が基準フレームＦｒＮの座標空間に変換されて、第２の座標変換済みフレームＦｒＴ０（２）が得られる。
【００５４】
なお、第１の座標変換手段３も、第２の座標変換手段１３と同様の処理をフレームＦｒＮ＋１に配置したパッチ内の全ての画素について行って、第１の座標変換済みフレームＦｒＴ０（１）を得る。
【００５５】
時空間補間手段４は、フレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得する。具体的には、まず図６に示すように、最終的に必要な画素数を有する統合画像（本実施形態においては、フレームＦｒＮ，ＦｒＮ＋１の縦横それぞれ２倍の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい）を用意し、第１の対応関係求出手段２において求められた第１の対応関係に基づいて、フレームＦｒＮ＋１（フレームＦｒＮ＋１に配置したパッチ内の領域）の画素の画素値を統合画像上に割り当てる。この割り当てを行う関数をΠとすると、下記の式（９）によりフレームＦｒＮ＋１の各画素の画素値が統合画像上に割り当てられる。
【００５６】
【数６】

但し、Ｉ１Ｎ＋１（ｘ°，ｙ°）：統合画像上に割り当てられたフレームＦｒＮ＋１の画素値
ＦｒＮ＋１（ｘ，ｙ）：フレームＦｒＮ＋１の画素値
このように統合画像上にフレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ°，ｙ°）を得、各画素についてＩ１（ｘ°，ｙ°）（＝Ｉ１Ｎ＋１（ｘ°，ｙ°））の画素値を有する第１の補間フレームＦｒＨ１を取得する。
【００５７】
ここで、画素値を統合画像上に割り当てる際に、統合画像の画素数とフレームＦｒＮ＋１の画素数との関係によっては、フレームＦｒＮ＋１上の各画素が統合画像の整数座標（すなわち画素値が存在すべき座標）に対応しない場合がある。
本実施形態においては、後述するように合成時において統合画像の整数座標における画素値を求めるものであるが、以下、合成時の説明を容易にするために統合画像の整数座標における画素値の算出について説明する。
【００５８】
統合画像の整数座標における画素値は、統合画像の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に割り当てられたフレームＦｒＮ＋１上の各画素の画素値の荷重和として求める。
【００５９】
すなわち、図７に示すように統合画像における整数座標ｐ（ｘ，ｙ）については、その８近傍の整数座標ｐ（ｘ−１，ｙ−１），ｐ（ｘ，ｙ−１），ｐ（ｘ＋１，ｙ−１），ｐ（ｘ−１，ｙ），ｐ（ｘ＋１，ｙ），ｐ（ｘ−１，ｙ＋１），ｐ（ｘ，ｙ＋１），ｐ（ｘ＋１，ｙ＋１）に囲まれる領域内に割り当てられたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｋ個の画素値が８近傍の画素に囲まれる領域内に割り当てられ、割り当てられた各画素の画素値をＩ１Ｎ＋１ｉ（ｘ°，ｙ°）（１≦ｉ≦ｋ）とすると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は、下記の式（１０）により算出することができる。なお、式（１０）においてΦは荷重和演算を表す関数である。
【００６０】
【数７】

但し、Ｍｉ（１≦ｉ≦ｋ）：画素値Ｉ１Ｎ＋１ｉ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積
ここで、簡単のため、図７を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉ１Ｎ＋１１，Ｉ１Ｎ＋１２が割り当てられた場合について考えると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は下記の式（１１）により算出することができる。
【００６１】
【数８】

但し、Ｍ１＝ｕ×ｖ、Ｍ２＝（１−ｓ）×（１−ｔ）
そして、統合画像の全ての整数座標について、フレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）を得ることができる。この場合、第１の補間フレームＦｒＨ１の各画素値Ｉ１（ｘ＾，ｙ＾）はＩ１Ｎ＋１（ｘ＾，ｙ＾）となる。
【００６２】
なお、上記ではフレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得しているが、フレームＦｒＮ＋１とともに基準フレームＦｒＮをも用いて第１の補間フレームＦｒＨ１を取得してもよい。この場合、基準フレームＦｒＮの画素は、統合画像の整数座標に補間されて直接割り当てられることとなる。
【００６３】
平均手段１４は、第２の座標変換手段１３によりＦｒＮ＋１の画像を基準フレームＦｒＮの座標空間に変換して得た第２の座標変換済みフレームＦｒＴ０（２）と基準フレームＦｒＮとに対して平均処理を施して平均フレームＦｒＡを取得し、空間補間手段１５は、平均フレームＦｒＡに対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、第２の補間フレームＦｒＨ２を取得する。ここで、第２の補間フレームＦｒＨ２の実数座標の画素値をＩ２（ｘ°，ｙ°）とすると、画素値Ｉ２（ｘ°，ｙ°）は下記の式（１２）により算出される。
【００６４】
【数９】

但し、ｆ：補間演算の関数
なお、補間演算としては、線形補間演算、スプライン補間演算等の種々の補間演算を用いることができる。
【００６５】
また、本実施形態においては、合成フレームＦｒＧは基準フレームＦｒＮの縦横それぞれ２倍の画素数であるため、平均フレームＦｒＡに対して縦横方向に画素数を２倍とする補間演算を施すことにより、統合画像の画素数と同一の画素数を有する第２の補間フレームＦｒＨ２を取得してもよい。この場合、補間演算により得られる画素値は統合画像における整数座標の画素値であり、この画素値をＩ２（ｘ＾，ｙ＾）とすると、画素値Ｉ２（ｘ＾，ｙ＾）は下記の式（１３）により算出される。
【００６６】
【数１０】

相関値算出手段５は、第１の座標変換済みフレームＦｒＴ０（１）と基準フレームＦｒＮとの相対応する画素同士の相関値ｄ０（ｘ，ｙ）を算出する。具体的には下記の式（１４）に示すように、第１の座標変換済みフレームＦｒＴ０（１）と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（１）（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値を相関値ｄ０（ｘ，ｙ）として算出する。なお、相関値ｄ０（ｘ，ｙ）は第１の座標変換済みフレームＦｒＴ０（１）と基準フレームＦｒＮとの相関が大きいほど小さい値となる。
【００６７】
【数１１】

なお、本実施形態では第１の座標変換済みフレームＦｒＴ０（１）と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（１）（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値を相関値ｄ０（ｘ，ｙ）として算出しているが、差の二乗を相関値として算出してもよい。また、相関値を画素毎に算出しているが、第１の座標変換済みフレームＦｒＴ０（１）および基準フレームＦｒＮを複数の領域に分割し、領域内の全画素値の平均値または加算値を算出して、領域単位で相関値を得てもよい。また、画素毎に算出された相関値ｄ０（ｘ，ｙ）のフレーム全体についての平均値または加算値を算出して、フレーム単位で相関値を得てもよい。また、第１の座標変換済みフレームＦｒＴ０（１）および基準フレームＦｒＮのヒストグラムをそれぞれ算出し、第１の座標変換済みフレームＦｒＴ０（１）および基準フレームＦｒＮのヒストグラムの平均値、メディアン値または標準偏差の差分値、もしくはヒストグラムの差分値の累積和を相関値として用いてもよい。また、基準フレームＦｒＮに対する第１の座標変換済みフレームＦｒＴ０（１）の動きを表す動きベクトルを基準フレームＦｒＮの各画素または小領域毎に算出し、算出された動きベクトルの平均値、メディアン値または標準偏差を相関値として用いてもよく、動きベクトルのヒストグラムの累積和を相関値として用いてもよい。
【００６８】
重み算出手段６は、相関値算出手段５により算出された相関値ｄ０（ｘ，ｙ）から第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み付け加算する際の重み係数α（ｘ，ｙ）を取得する。具体的には、図８に示すテーブルを参照して重み係数α（ｘ，ｙ）を取得する。なお、図８に示すテーブルは、相関値ｄ０（ｘ，ｙ）が小さい、すなわち第１の座標変換済みフレームＦｒＴ０（１）および基準フレームＦｒＮの相関が大きいほど、重み係数α（ｘ，ｙ）の値が１に近いものとなる。なお、ここでは相関値ｄ０（ｘ，ｙ）は８ビットの値をとるものとする。
【００６９】
さらに、重み算出手段６は、フレームＦｒＮ＋１を統合画像上に割り当てた場合と同様に重み係数α（ｘ，ｙ）を統合画像上に割り当てることにより、フレームＦｒＮ＋１の画素が割り当てられた座標（実数座標）における重み係数α（ｘ°，ｙ°）を算出する。具体的には、空間補間手段１５における補間演算と同様に、重み係数α（ｘ，ｙ）に対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、重み係数α（ｘ°，ｙ°）を取得する。
【００７０】
なお、統合画像の上記実数座標における重み係数α（ｘ°，ｙ°）を補間演算により算出することなく、基準フレームＦｒＮを統合画像のサイズとなるように拡大または等倍して拡大または等倍基準フレームを取得し、統合画像におけるフレームＦｒＮ＋１の画素が割り当てられた実数座標の最近傍に対応する拡大または等倍基準フレームの画素について取得された重み係数α（ｘ，ｙ）の値をその実数座標の重み係数α（ｘ°，ｙ°）として用いてもよい。
【００７１】
さらに、統合画像の整数座標における画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）が取得されている場合には、統合画像上に割り当てた重み係数α（ｘ°，ｙ°）について上記と同様に荷重和を求めることにより、統合画像の整数座標における重み係数α（ｘ＾，ｙ＾）を算出すればよい。
【００７２】
合成手段２０は、第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み算出手段６により算出された重み係数α（ｘ°，ｙ°）に基づいて重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧ（ｘ＾，ｙ＾）を有する合成フレームＦｒＧを取得する。具体的には、下記の式（１５）により第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２の対応する画素の画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）を重み係数α（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行い合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【００７３】
【数１２】

なお、式（１５）において、ｋは合成フレームＦｒＧすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられたフレームＦｒＮ＋１の画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）および重み係数α（ｘ°，ｙ°）を有するものである。
【００７４】
本実施形態においては、基準フレームＦｒＮと第１の座標変換済みフレームＦｒＴ０（１）との相関が大きいほど、第１の補間フレームＦｒＨ１の重み付けが大きくされて、第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２の重み付け加算が行われる。
【００７５】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段１５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【００７６】
また、上記では輝度成分Ｙについての合成フレームＦｒＧを求める処理について説明したが、色差成分Ｃｂ，Ｃｒについても同様に合成フレームＦｒＧが取得される。そして、輝度成分Ｙから求められた合成フレームＦｒＧ（Ｙ）および色差成分Ｃｂ，Ｃｒから求められた合成フレームＦｒＧ（Ｃｂ），ＦｒＧ（Ｃｒ）を合成することにより、最終的な合成フレームが得られることとなる。なお、処理の高速化のためには、輝度成分Ｙについてのみ基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係を求め、色差成分Ｃｂ，Ｃｒについては輝度成分Ｙについて求められた対応関係に基づいて処理を行うことが好ましい。
【００７７】
また、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２並びに整数座標の重み係数α（ｘ＾，ｙ＾）を取得した場合には、下記の式（１６）により第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２の対応する画素の画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）を重み係数α（ｘ＾，ｙ＾）により重み付け加算して合成フレームＦｒＧの画素値ＦｒＧ（ｘ，ｙ）を取得すればよい。
【００７８】
【数１３】

次いで、図９のフローチャートを用いて本実施形態のデジタルカメラの動作について説明する。なお、ここでは統合画像のフレームＦｒＮ＋１の画素が割り当てられた実数座標について第１の補間フレームＦｒＨ１、第２の補間フレームＦｒＨ２および重み係数α（ｘ°，ｙ°）を取得するものとして説明する。まず、本実施形態のデジタルカメラの撮像手段１００により、被写体を撮像して動画像データＭ０を取得する（Ｓ１）。サンプリング手段１は、動画像データＭ０から基準フレームＦｒＮおよびフレームＦｒＮ＋１をサンプリングする（Ｓ３）。続いて、第１の対応関係求出手段２により、基準フレームＦｒＮとフレームＦｒＮ＋１との第１の対応関係が求められる（Ｓ５）。
【００７９】
そして、求められた第１の対応関係に基づいて、第１の座標変換手段３によりフレームＦｒＮ＋１が基準フレームＦｒＮの座標空間に変換されて第１の座標変換済みフレームＦｒＴ０（１）が取得される（Ｓ７）。そして、相関値算出手段５により第１の座標変換済みフレームＦｒＴ０（１）と基準フレームＦｒＮとの対応する画素の相関値ｄ０（ｘ，ｙ）が算出される（Ｓ９）。さらに、相関値ｄ０に基づいて重み算出手段６により重み係数α（ｘ°，ｙ°）が算出される（Ｓ１１）。
【００８０】
一方、第１の対応関係求出手段２により求められた第１の対応関係に基づいて、時空間補間手段４により第１の補間フレームＦｒＨ１が取得される（Ｓ１３）。
【００８１】
片方、第２の対応関係求出手段１２は、第１の対応関係求出手段２に用いられた基準パッチおよびパッチを構成する矩形領域よりサイズの大きい矩形領域から構成された基準パッチおよび基準パッチと同様のパッチを夫々基準フレームＦｒＮとフレームＦｒＮ＋１に配置して、基準フレームＦｒＮとフレームＦｒＮ＋１との第２の対応関係を求める（Ｓ１５）。
【００８２】
第２の座標変換手段１３は、第２の対応関係求出手段１２により求められた第２の対応関係に基づいて、フレームＦｒＮ＋１を基準フレームＦｒＮの座標空間に変換して第２の座標変換済みフレームＦｒＴ０（２）を取得する（Ｓ１７）。
【００８３】
平均手段１４は、基準フレームＦｒＮと第２の座標変換済みフレームＦｒＴ０（２）に対して平均処理を施して平均フレームＦｒＡを取得する（Ｓ１９）。
【００８４】
空間補間手段１５は、平均フレームＦｒＡに対して補間演算を行って第２の補間フレームＦｒＨ２を取得する（Ｓ２１）。
【００８５】
なお、ステップＳ７〜Ｓ１１の処理と、ステップＳ１３の処理と、ステップＳ１５〜Ｓ２１の処理とを、先後に行ってもよいし、並列に行ってもよい。
【００８６】
合成手段２０は、ステップＳ１１において算出された重み係数を用いて第１の補間フレームＦｒＨ１と第２の補間フレームＦｒＨ２とを重み付け合成して合成フレームＦｒＧを取得する（Ｓ２３）。合成フレームＦｒＧが、デジタルカメラの記憶手段２５に記憶保存され（Ｓ２５）ことをもって、処理を終了する。
【００８７】
ここで、第１の補間フレームＦｒＨ１は、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体が動いていないまたは動きが小さい場合には、基準フレームＦｒＮおよびフレームＦｒＮ＋１よりも解像度が高い高精細な画像を表すものとなる。
【００８８】
また、第２の補間フレームＦｒＨ２は第１の補間フレームＦｒＨ１と比較して、基準フレームＦｒＮと他のフレームＦｒＮ＋１とに対して平均を取って得た平均フレームＦｒＡを補間演算して取得したものであるので、撮像範囲内を大きく動いているものや、複雑に動いているもの（集合写真を撮像する時の通行人など）がぼけたものとなる。
【００８９】
さらに、重み算出手段６により算出される重み係数α（ｘ°，ｙ°）は、座標変換済みフレームＦｒＴ０（１）と基準フレームＦｒＮとの相関が大きいほど第１の補間フレームＦｒＨ１の重みが大きくされてなるものである。
【００９０】
ここで、各フレームＦｒＮ，ＦｒＮ＋１に含まれる被写体の動きがなくまたは小さければ、座標変換済みフレームＦｒＴ０（１）と基準フレームＦｒＮとの相関は大きくなるが、被写体の動きが大きかったり複雑であったりすると、座標変換済みフレームＦｒＴ０（１）と基準フレームＦｒＮとの相関は小さくなる。したがって、取得された重み係数α（ｘ°，ｙ°）に基づいて第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み付け加算することにより、動きが小さい場合は高精細な第１の補間フレームＦｒＨ１が占める割合が多く、動きが大きい場合には大きく動いた被写体がぼけた第２の補間フレームＦｒＨ２の占める割合が多い合成フレームＦｒＧが作成される。
【００９１】
このため、合成フレームＦｒＧは、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体が静止または動きが小さい場合には高精細なものとなると共に、撮像範囲に大きく動いたものがあっても、そのものの映像がぼけたものとなるので、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きに拘わらず、目標とする静止画像、すなわち静止または動きが小さい目的被写体（前述した集合写真の対象となる人達や、風景、建築物など）が高精細な、大きく動いたもの（通行人など）がぼけた静止画像（合成フレームＦｒＧ）を得ることができる。
【００９２】
また、動画像からサンプリングした複数のフレームに対して動き追従を行って合成フレームを作成することにより静止画像を取得するようにしているので、ブレなどがあっても合成フレームに影響を与えない。そのため、３脚を必要とせず、カメラを手持ちで撮像しても、高品質な静止画像を得ることができる。
【００９３】
以上、本発明の一実施形態について説明したが、本発明は、上記実施形態に限られるものではなく、本発明の主旨を変えない限り、種々の増減、変更を加えることができる。
【００９４】
例えば、図１に示す実施形態においては、デジタルカメラの中において、撮像した動画像を静止画像（合成フレーム）に作成してから記憶手段に保存するようにしているが、動画像を撮像して記録媒体などに保存し、後にプリントなどの必要に応じて記録媒体に保存された動画像から静止画像を作成するようにしてもよい。
【００９５】
また、図１に示す実施形態のデジタルカメラにおいて、重み算出手段６は、相関値算出手段５により算出した相関値ｄ０（ｘ，ｙ）を直接用いて重み係数を算出しているが、相関値ｄ０（ｘ，ｙ）に対してローパスフィルタによるフィルタリング処理を施してから重み係数を算出するようにしてもよい。そうすることによって、統合画像上における重み係数の変化が滑らかになり、その結果、相関が変化する領域における画像の変化を滑らかにすることができ、合成フレームＦｒＧの見え方を自然なものとすることができる。
【００９６】
また、フィルタリングに用いるフィルタは、ローパスフィルタに限らず、メディアンフィルタ、最大値フィルタまたは最小値フィルタであってもよい。
【００９７】
上記実施形態のデジタルカメラにおいて、基準フレームＦｒＮおよびフレームＦｒＮ＋１の輝度色差成分Ｙ，Ｃｂ，Ｃｒ毎に合成フレームＦｒＧを取得しているが、輝度成分Ｙについてのみ合成フレームＦｒＧを取得し、色差成分Ｃｂ，Ｃｒについては、基準フレームＦｒＮの色差成分Ｃｂ，Ｃｒを線形補間して色差成分の合成フレームを求めてもよく、色差成分Ｃｂ，Ｃｒについて第１の補間フレームＦｒＨ１のみを取得し、これを色差成分の合成フレームとしてもよい。
【００９８】
また、フレームＦｒＮ，ＦｒＮ＋１がＲＧＢの色データからなる場合には、ＲＧＢ各色データ毎に処理を行って合成フレームＦｒＧを取得してもよい。
【００９９】
また、上記実施形態のデジタルカメラにおいては、輝度色差成分Ｙ，Ｃｂ，Ｃｒ毎に相関値ｄ０（ｘ，ｙ）を算出しているが、下記の式（１７）に示すように、輝度成分の相関値ｄ０Ｙ（ｘ，ｙ）、色差成分の相関値ｄ０Ｃｂ（ｘ，ｙ），ｄ０Ｃｒ（ｘ，ｙ）を重み係数ａ，ｂ，ｃにより重み付け加算することにより、１の相関値ｄ１（ｘ，ｙ）を算出し、この１の相関値ｄ１（ｘ，ｙ）を用いて輝度色差成分Ｙ，Ｃｂ，Ｃｒそれぞれについての重み係数α（ｘ，ｙ）を算出してもよい。
【０１００】
【数１４】

また、下記の式（１８）に示すように、第１の座標変換済みフレームＦｒＴ０（１）の輝度成分ＦｒＴ０（１）Ｙ（ｘ，ｙ）および色差成分ＦｒＴ０（１）Ｃｂ（ｘ，ｙ），ＦｒＴ０（１）Ｃｒ（ｘ，ｙ）と、基準フレームＦｒＮのＦｒＮＹ（ｘ，ｙ）および色差成分ＦｒＮＣｂ（ｘ，ｙ），ＦｒＮＣｒ（ｘ，ｙ）との重み係数ａ，ｂ，ｃを用いたユークリッド距離を算出し、これを重み係数α（ｘ，ｙ）を取得するための１の相関値ｄ１（ｘ，ｙ）としてもよい。
【０１０１】
【数１５】

また、上記実施形態のデジタルカメラにおいては、重み算出手段６において図８に示すようにテーブルを用いて重み係数α（ｘ，ｙ）を取得しているが、図１０に示すように、値が変化する境界部分において滑らかにかつ緩やかに重み係数α（ｘ，ｙ）の値が変化する非線形のテーブルを用いてもよい。
【０１０２】
このように、図１０に示すような非線形のテーブルを用いることにより、相関が変化する局所領域において画像の変化の度合いが緩やかになるため、合成フレームの見え方を自然なものとすることができる。
【０１０３】
また、上記実施形態のデジタルカメラにおいては、２つのフレームＦｒＮ，ＦｒＮ＋１から合成フレームＦｒＧを取得しているが、３以上の複数のフレームから合成フレームＦｒＧを取得してもよい。例えば、Ｔ個のフレームＦｒＮ＋ｔ′（０≦ｔ′≦Ｔ−１）から合成フレームＦｒＧを取得する場合、基準フレームＦｒＮ（＝ＦｒＮ＋０）以外の他のフレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）について、基準フレームＦｒＮとの第１の対応関係を求め、統合画像上に画素値を割り当てて複数の第１の補間フレームＦｒＨ１ｔを得る。なお、第１の補間フレームＦｒＨ１ｔの画素値をＩ１ｔ（ｘ°，ｙ°）とする。
【０１０４】
また、ＦｒＨ１を取得するための第１の対応関係を求める際に用いた基準パッチおよびパッチの矩形領域より大きい矩形領域からなる基準パッチおよびパッチを用いて動き追従を行って平均フレームＦｒＡを取得し、この平均フレームＦｒＡに対して、統合画像上のフレームＦｒＮ＋ｔの画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、フレームＦｒＮ＋ｔに対応した第２の補間フレームＦｒＨ２ｔを取得する。なお、第２の補間フレームＦｒＨ２ｔの画素値をＩ２ｔ（ｘ°，ｙ°）とする。
【０１０５】
さらに、第１の対応関係に基づいて、対応する第１の補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔを重み付け加算する重み係数αｔ（ｘ°，ｙ°）を取得する。
【０１０６】
そして、互いに対応する第１の補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔを重み係数αｔ（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧｔ（ｘ＾，ｙ＾）を有する中間合成フレームＦｒＧｔを取得する。具体的には、下記の式（１９）により第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＨ２ｔの対応する画素の画素値Ｉ１ｔ（ｘ°，ｙ°），Ｉ２ｔ（ｘ°，ｙ°）を対応する重み係数αｔ（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行い、中間合成フレームＦｒＧｔの画素値ＦｒＧｔ（ｘ＾，ｙ＾）を取得する。
【０１０７】
【数１６】

なお、式（１９）において、ｋは中間合成フレームＦｒＧｔすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられたフレームＦｒＮ＋ｔの画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１ｔ（ｘ°，ｙ°），Ｉ２ｔ（ｘ°，ｙ°）および重み係数αｔ（ｘ°，ｙ°）を有するものである。
【０１０８】
そして、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを取得する。具体的には、下記の式（２０）により中間合成フレームＦｒＧｔを対応する画素同士で加算することにより、合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【０１０９】
【数１７】

なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【０１１０】
また、３以上の複数のフレームから合成フレームＦｒＧを取得する場合、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＨ２ｔ並びに整数座標の重み係数αｔ（ｘ＾，ｙ＾）を取得してもよい。この場合、各フレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）について、各フレームＦｒＮ＋ｔの画素値ＦｒＮ＋ｔ（ｘ，ｙ）を統合座標の全ての整数座標に割り当てて画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）すなわち画素値Ｉ１ｔ（ｘ＾，ｙ＾）を有する第１の補間フレームＦｒＨ１ｔを取得する。そして、全てのフレームＦｒＮ＋ｔについて割り当てられた画素値Ｉ１ｔ（ｘ＾，ｙ＾）と第２の補間フレームＦｒＨ２ｔの画素値Ｉ２ｔ（ｘ＾，ｙ＾）とを加算することにより複数の中間合成フレームＦｒＧｔを取得し、これらをさらに加算して合成フレームＦｒＧを取得すればよい。
【０１１１】
具体的には、まず、下記の式（２１）に示すように、全てのフレームＦｒＮ＋ｔについて、統合画像の整数座標における画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）を算出する。そして、式（２２）に示すように、画素値Ｉ１ｔ（ｘ＾，ｙ＾）と画素値Ｉ２ｔ（ｘ＾，ｙ＾）とを重み係数α（ｘ＾，ｙ＾）により重み付け加算することにより中間合成フレームＦｒＧｔを得る。そして、上記式（２０）に示すように、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを取得する。
【０１１２】
【数１８】

なお、３以上の複数のフレームから合成フレームＦｒＧを取得する場合、第１の座標変換済みフレームＦｒＴ０（１）は複数取得されるため、相関値および重み係数もフレーム数に対応して複数取得される。この場合、複数取得された重み係数の平均値や中間値を対応する第１および第２の補間フレームＦｒＨ１、ＦｒＨ２を重み付け加算する際の重み係数としてもよい。
【図面の簡単な説明】
【図１】本発明の実施形態によるデジタルカメラの構成を示すブロック図
【図２】フレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の求出を説明するための図
【図３】パッチの変形を説明するための図
【図４】パッチＰ１と基準パッチＰ０との対応関係を説明するための図
【図５】双１次内挿を説明するための図
【図６】フレームＦｒＮ＋１の統合画像への割り当てを説明するための図
【図７】統合画像における整数座標の画素値の算出を説明するための図
【図８】重み係数を求めるテーブルを示す図（その１）
【図９】本実施形態において行われる処理を示すフローチャート
【図１０】重み係数を求めるテーブルを示す図（その２）
【符号の説明】
１ サンプリング手段
２ 第１の対応関係求出手段
３ 第１の座標変換手段
４ 時空間補間手段
５ 相関値算出手段
６ 重み算出手段
１２ 第２の対応関係求出手段
１３ 第２の座標変換手段
１４ 平均手段
１５ 空間補間手段
２０ 合成手段
２５ 記憶手段
１００ 撮像手段

Claims (7)

1. 動画像を構成する複数のフレームから連続する２つのフレームをサンプリングし、
   該２つのフレームのうち、基準となる１つの基準フレーム上に１つ以上の矩形領域からなる第１の基準パッチを配置し、該第１の基準パッチと同様の第１のパッチを該基準フレーム以外の他のフレーム上に配置し、該第１のパッチ内の画像が前記第１の基準パッチ内の画像と一致するように、該第１のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第１のパッチおよび前記第１の基準パッチに基づいて、前記他のフレーム上の前記第１のパッチ内の画素と前記基準フレーム上の前記第１の基準パッチ内の画素との対応関係を第１の対応関係として求め、
   該第１の対応関係に基づいて、前記第１のパッチ内の画像、または前記第１のパッチ内の画像および前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも画素数が多い第１の補間フレームを取得し、
   前記第１の対応関係に基づいて、前記第１のパッチ内の画像を前記基準フレームの座標空間に座標変換して第１の座標変換済みフレームを取得し、
   該第１の座標変換済みフレームと前記第１の基準パッチ内の画像との相関を表す相関値を算出し、
   前記２つのフレームのうちの前記基準フレーム上に１つ以上の、前記第１の基準パッチの前記矩形領域より大きい矩形領域からなる第２の基準パッチを配置し、該第２の基準パッチと同様の第２のパッチを前記他のフレーム上に配置し、該第２のパッチ内の画像が前記第２の基準パッチ内の画像と一致するように、該第２のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第２のパッチおよび前記第２の基準パッチに基づいて、前記第２のパッチ内の画素と前記第２の基準パッチ内の画素との対応関係を第２の対応関係として求め、
   該第２の対応関係に基づいて、前記第２のパッチ内の画像を前記基準フレームの座標空間に座標変換して第２の座標変換済みフレームを取得し、
   前記第２の基準パッチ内の画像と前記第２の座標変換済みフレームとに対して平均処理を施して平均フレームを取得し、
   前記平均フレームに対して補間演算を施して、前記各フレームよりも画素数が多い第２の補間フレームを取得し、
   前記相関値に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得し、
   該重み係数に基づいて前記第１の補間フレームと前記第２の補間フレームとを重み付け合成することにより合成フレームを作成することを特徴とする動画像合成方法。
2. 動画像を構成する複数のフレームから連続する３つ以上のフレームをサンプリングし、
   該３つ以上のフレームのうち、基準となる１つの基準フレーム上に１つ以上の矩形領域からなる第１の基準パッチを配置し、該第１の基準パッチと同様の第１のパッチを該基準フレーム以外の他のフレーム上に配置し、該第１のパッチ内の画像が前記第１の基準パッチ内の画像と一致するように、該第１のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第１のパッチおよび前記第１の基準パッチに基づいて、複数の前記第１のパッチ内の画素と前記第１の基準パッチ内の画素との対応関係を第１の対応関係として求め、
   該第１の対応関係に基づいて、複数の前記第１のパッチ内の画像、または複数の前記第１のパッチ内の画像および前記第１の基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも画素数が多い複数の第１の補間フレームを取得し、
   前記第１の対応関係に基づいて、複数の前記第１のパッチ内の画像を前記第１の基準フレームの座標空間に座標変換して複数の第１の座標変換済みフレームを取得し、
   該複数の第１の座標変換済みフレームと前記第１の基準パッチ内の画像との相関をそれぞれ表す相関値を算出し、
   前記３つ以上のフレームのうちの前記基準フレーム上に１つ以上の、前記第１の基準パッチの前記矩形領域より大きい矩形領域からなる第２の基準パッチを配置し、該第２の基準パッチと同様の第２のパッチを該基準フレーム以外の他のフレーム上に配置し、該第２のパッチ内の画像が前記第２の基準パッチ内の画像と一致するように、該第２のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第２のパッチおよび前記第２の基準パッチに基づいて、複数の前記第２のパッチ内の画素と前記第２の基準パッチ内の画素との対応関係を第２の対応関係として求め、
   該第２の対応関係に基づいて、複数の前記第２のパッチ内の画像を前記基準フレームの座標空間に座標変換して複数の第２の座標変換済みフレームを取得し、
   前記第２の基準パッチ内の画像と各々の前記第２の座標変換済みフレームとに対して平均処理を施して平均フレームを取得し、
   前記平均フレームに対して補間演算を施して、前記各フレームよりも画素数が多い第２の補間フレームを複数の前記第１の補間フレームと対応付けて１つまたは複数取得し、
   前記相関値に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得し、
   該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成することを特徴とする動画像合成方法。
3. 動画像を構成する複数のフレームから連続する２つのフレームをサンプリングするサンプリング手段と、
   該２つのフレームのうち、基準となる１つの基準フレーム上に１つ以上の矩形領域からなる第１の基準パッチを配置し、該第１の基準パッチと同様の第１のパッチを該基準フレーム以外の他のフレーム上に配置し、該第１のパッチ内の画像が前記第１の基準パッチ内の画像と一致するように、該第１のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第１のパッチおよび前記第１の基準パッチに基づいて、前記第１のパッチ内の画素と前記第１の基準パッチ内の画素との対応関係を第１の対応関係として求める第１の対応関係求出手段と、
   該第１の対応関係に基づいて、前記第１のパッチ内の画像または、前記第１のパッチ内の画像および前記第１の基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも画素数が多い第１の補間フレームを取得する第１の補間手段と、
   前記第１の対応関係に基づいて、前記第１のパッチ内の画像を前記基準フレームの座標空間に座標変換して第１の座標変換済みフレームを取得する第１の座標変換手段と、
   該第１の座標変換済みフレームと前記第１の基準パッチ内の画像との相関を表す相関値を算出する相関値算出手段と、
   前記２つのフレームのうちの前記基準フレーム上に１つ以上の、前記第１の基準パッチの前記矩形領域より大きい矩形領域からなる第２の基準パッチを配置し、該第２の基準パッチと同様の第２のパッチを前記他のフレーム上に配置し、該第２のパッチ内の画像が前記第２の基準パッチ内の画像と一致するように、該第２のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第２のパッチおよび前記第２の基準パッチに基づいて、前記第２のパッチ内の画素と前記第２の基準パッチ内の画素との対応関係を第２の対応関係として求める第２の対応関係求出手段と、
   該第２の対応関係に基づいて、前記第２のパッチ内の画像を前記基準フレームの座標空間に座標変換して第２の座標変換済みフレームを取得する第２の座標変換手段と、
   前記第２の基準パッチ内の画像と前記第２の座標変換済みフレームとに対して平均処理を施して平均フレームを取得する平均手段と、
   前記平均フレームに対して補間演算を施して、前記各フレームよりも画素数が多い第２の補間フレームを取得する第２の補間手段と、
   前記相関値算出手段により算出された前記相関値に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
   該重み係数に基づいて前記第１の補間フレームと前記第２の補間フレームとを重み付け合成することにより合成フレームを作成する合成手段とを備えたことを特徴とする動画像合成装置。
4. 動画像から連続する３つ以上のフレームをサンプリングするサンプリング手段と、
   該３つ以上のフレームのうち、基準となる１つの基準フレーム上に１つ以上の矩形領域からなる第１の基準パッチを配置し、該第１の基準パッチと同様の第１のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該第１のパッチ内の画像が前記第１の基準パッチ内の画像と一致するように、該第１のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第１のパッチおよび前記第１の基準パッチに基づいて、前記複数の他のフレーム上の前記第１のパッチ内の画素と前記基準フレーム上の前記第１の基準パッチ内の画素との対応関係を第１の対応関係として求める第１の対応関係求出手段と、
   該第１の対応関係に基づいて、前記複数の他のフレームの前記第１のパッチ内の画像または前記他のフレームの前記第１のパッチ内の画像および前記基準フレームの前記第１の基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも画素数が多い複数の第１の補間フレームを取得する第１の補間手段と、
   前記第１の対応関係に基づいて、前記複数の他のフレームの前記第１のパッチ内の画像を前記基準フレームの座標空間に座標変換して複数の第１の座標変換済みフレームを取得する第１の座標変換手段と、
   該複数の第１の座標変換済みフレームと前記基準フレームの前記第１の基準パッチ内の画像との相関をそれぞれ表す相関値を算出する相関値算出手段と、
   前記３つ以上のフレームのうちの前記基準フレーム上に１つ以上の、前記第１の基準パッチの前記矩形領域より大きい矩形領域からなる第２の基準パッチを配置し、該第２の基準パッチと同様の第２のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該第２のパッチ内の画像が前記第２の基準パッチ内の画像と一致するように、該第２のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第２のパッチおよび前記第２の基準パッチに基づいて、前記複数の他のフレーム上の前記第２のパッチ内の画素と前記基準フレーム上の前記第２の基準パッチ内の画素との対応関係を第２の対応関係として求める第２の対応関係求出手段と、
   該第２の対応関係に基づいて、前記複数の他のフレームの前記第２のパッチ内の画像を前記基準フレームの座標空間に座標変換して複数の第２の座標変換済みフレームを取得するする第２の第１の座標変換手段と、
   前記第２の基準パッチ内の画像と各々の前記第２の座標変換済みフレームとに対して平均処理を施して平均フレームを取得する平均手段と、
   前記平均フレームに対して補間演算を施して、前記各フレームよりも画素数が多い第２の補間フレームを複数の前記第１の補間フレームと対応付けて１つまたは複数取得する第２の補間手段と、
   前記相関値算出手段により算出された前記相関値に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
   該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成する合成手段とを備えたことを特徴とする動画像合成装置。
5. 動画像を構成する複数のフレームから連続する２つのフレームをサンプリングするサンプリング処理と、
   該２つのフレームのうち、基準となる１つの基準フレーム上に１つ以上の矩形領域からなる第１の基準パッチを配置し、該第１の基準パッチと同様の第１のパッチを該基準フレーム以外の他のフレーム上に配置し、該第１のパッチ内の画像が前記第１の基準パッチ内の画像と一致するように、該第１のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第１のパッチおよび前記第１の基準パッチに基づいて、前記他のフレーム上の前記第１のパッチ内の画素と前記基準フレーム上の前記第１の基準パッチ内の画素との対応関係を第１の対応関係として求める第１の対応関係求出処理と、
   該第１の対応関係に基づいて、前記第１のパッチ内の画像、または前記第１のパッチ内の画像および前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも画素数が多い第１の補間フレームを取得する第１の補間処理と、
   前記第１の対応関係に基づいて、前記第１のパッチ内の画像を前記基準フレームの座標空間に座標変換して第１の座標変換済みフレームを取得する第１の座標変換処理と、
   該第１の座標変換済みフレームと前記第１の基準パッチ内の画像との相関を表す相関値を算出する相関値算出処理と、
   前記２つのフレームのうちの前記基準フレーム上に１つ以上の、前記第１の基準パッチの前記矩形領域より大きい矩形領域からなる第２の基準パッチを配置し、該第２の基準パッチと同様の第２のパッチを前記他のフレーム上に配置し、該第２のパッチ内の画像が前記第２の基準パッチ内の画像と一致するように、該第２のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第２のパッチおよび前記第２の基準パッチに基づいて、前記第２のパッチ内の画素と前記第２の基準パッチ内の画素との対応関係を第２の対応関係として求める第２の対応関係求出処理と、
   該第２の対応関係に基づいて、前記第２のパッチ内の画像を前記基準フレームの座標空間に座標変換して第２の座標変換済みフレームを取得する第２の座標変換処理と、
   前記第２の基準パッチ内の画像と前記第２の座標変換済みフレームとに対して平均処理を施して平均フレームを取得する平均処理と、
   前記平均フレームに対して補間演算を施して、前記各フレームよりも画素数が多い第２の補間フレームを取得する第２の補間処理と、
   前記相関値に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得処理と、
   該重み係数に基づいて前記第１の補間フレームと前記第２の補間フレームとを重み付け合成することにより合成フレームを作成する合成処理とをコンピュータに実行させることを特徴とするプログラム。
6. 動画像を構成する複数のフレームから連続する３つ以上のフレームをサンプリングするサンプリング処理と、
   該３つ以上のフレームのうち、基準となる１つの基準フレーム上に１つ以上の矩形領域からなる第１の基準パッチを配置し、該第１の基準パッチと同様の第１のパッチを該基準フレーム以外の他のフレーム上に配置し、該第１のパッチ内の画像が前記第１の基準パッチ内の画像と一致するように、該第１のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第１のパッチおよび前記第１の基準パッチに基づいて、複数の前記第１のパッチ内の画素と前記第１の基準パッチ内の画素との対応関係を第１の対応関係として求める第１の対応関係求出処理と、
   該第１の対応関係に基づいて、複数の前記第１のパッチ内の画像、または複数の前記第１のパッチ内の画像および前記第１の基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも画素数が多い複数の第１の補間フレームを取得する第１の補間処理と、
   前記第１の対応関係に基づいて、複数の前記第１のパッチ内の画像を前記第１の基準フレームの座標空間に座標変換して複数の第１の座標変換済みフレームを取得する第１の座標変換処理と、
   該複数の第１の座標変換済みフレームと前記第１の基準パッチ内の画像との相関をそれぞれ表す相関値を算出する相関値算出処理と、
   前記３つ以上のフレームのうちの前記基準フレーム上に１つ以上の、前記第１の基準パッチの前記矩形領域より大きい矩形領域からなる第２の基準パッチを配置し、該第２の基準パッチと同様の第２のパッチを該基準フレーム以外の他のフレーム上に配置し、該第２のパッチ内の画像が前記第２の基準パッチ内の画像と一致するように、該第２のパッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後の第２のパッチおよび前記第２の基準パッチに基づいて、複数の前記第２のパッチ内の画素と前記第２の基準パッチ内の画素との対応関係を第２の対応関係として求める第２の対応関係求出処理と、
   該第２の対応関係に基づいて、複数の前記第２のパッチ内の画像を前記基準フレームの座標空間に座標変換して複数の第２の座標変換済みフレームを取得する第２の座標変換処理と、
   前記第２の基準パッチ内の画像と各々の前記第２の座標変換済みフレームとに対して平均処理を施して平均フレームを取得する平均処理と、
   前記平均フレームに対して補間演算を施して、前記各フレームよりも画素数が多い第２の補間フレームを複数の前記第１の補間フレームと対応付けて１つまたは複数取得する第２の補間処理と、
   前記相関値に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得処理と、
   該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成する合成処理とをコンピュータに実行させることを特徴とするプログラム。
7. 動画像を撮像する撮像手段と、
   前記動画像から静止画像を取得する静止画像取得手段とを備えたデジタルカメラであって、
   前記静止画取得手段が、請求項３または４記載の動画像合成装置であることを特徴とするデジタルカメラ。

Images