JP4104947B2 - 動画像合成方法および装置並びにプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像の連続する複数のフレームを統合して、これら複数のフレームよりも高解像度の合成フレームを作成することができる動画像合成方法および装置並びに動画像合成方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
近年、デジタルビデオカメラの普及により、動画像を１フレーム単位で扱うことが可能となっている。このような動画像のフレームをプリント出力する際には、画質を向上させるためにフレームを高解像度にする必要がある。このため、動画像から複数のフレームをサンプリングし、サンプリングした複数のフレームを統合することにより、これらのフレームよりも高解像度の１の合成フレームを作成する方法が提案されている。
【０００３】
動画像の複数のフレームを統合する際に必要とされるのは、動領域における各フレーム間の画素の対応関係を求めることである。これには通常、ブロックマッチング法や勾配法が用いられるが、従来のブロックマッチング法は、ブロック内の動き量が同一方向であることを仮定したものであるため、回転、拡大、縮小、変形といった様々な動きに対応する柔軟性に欠けている上に、処理時間がかかり、実用的ではないという問題がある。一方、勾配法は、従来のブロックマッチング法と比較して安定に解を求めることができないという問題がある。これらの問題を克服した方法としては、統合される複数のフレームのうちの１つのフレームを基準フレームとし、基準フレームに１または複数の矩形領域からなる基準パッチを、基準フレーム以外の他のフレームに基準パッチと同様のパッチを配置し、パッチ内の画像が基準パッチ内の画像と一致するようにパッチを他のフレーム上において移動および／または変形し、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレーム上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係を求めて複数フレームを精度よく合成する方法が提案されている（非特許文献１参照）。
【０００４】
非特許文献１の方法においては、基準フレームと他のフレームとの対応関係を求め、求めた後、他のフレームと基準フレームとを、最終的に必要な解像度を有する統合画像上に割り当てることにより、高精細な合成フレームを得ることができる。
【０００５】
【非特許文献１】
「フレーム間統合による高精細ディジタル画像の獲得」，中沢祐二、小松隆、斉藤隆弘，テレビジョン学会誌，１９９５年，Ｖｏｌ．４９，Ｎｏ．３，ｐ２９９−３０８
【０００６】
【発明が解決しようとする課題】
しかし、非特許文献１に記載された方法においては、動画像から複数のフレームをサンプリングする際に、基準フレームを含むどの範囲のフレーム、すなわち、基準フレームを含む何枚までのフレームを統合に使用するフレームとすることについては、操作者の手動により設定されることになっている。操作者に画像処理の知識を要求すると共に、手間がかかるという問題がある。また、操作者の手動により設定されるので、操作者の主観が入り、必ずしも客観的に適切な範囲を得ることができず、合成フレームの品質に悪い影響を与えてしまうという問題がある。
【０００７】
本発明は、上記事情を鑑みなされたものであり、動画像の複数のフレームを統合して合成フレームを作成する際に、簡単かつ客観的に適切なフレーム範囲を決定し、品質の良い合成フレームを作成することが可能な動画像合成方法および装置並びにプログラムを提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明の動画像合成方法は、動画像の連続する、基準フレームを含む２以上の所定の枚数のフレームをサンプリングし、
前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、
該基準パッチと同様のパッチを前記所定の枚数のフレームのうちの他のフレーム上に配置し、
該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、
該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求め、
求められた前記対応関係に基づいて前記所定の枚数のフレームから合成フレームを作成する動画像合成方法において、
前記動画像および／または作成しようとする前記合成フレームの画像特性に基づいて前記所定の枚数を決定して該所定の枚数のフレームをサンプリングすることを特徴とするものである。
【０００９】
ここで、動画像の画像特性とは、動画像から合成フレームを作成する際に合成フレームの品質に影響を与える可能性のある特性を意味し、例えば、動画像の各フレームの画素サイズや解像度、動画像のフレームレート、動画像の圧縮率などを例として挙げることができる。同様に、作成しようとする合成フレームの画像特性とは、該合成フレームを作成するのにサンプリングするフレームの数、若しくは必要とするフレームの数を決定する上で影響を与える可能性のある特性を意味し、例えば、作成しようとする合成フレームの画素サイズや解像度などを例として挙げることができる。また、直接的ではないが、例えば作成しようとする合成フレームの画素サイズが、前記動画像のフレームの画素サイズに対する倍率なども、間接的に前記動画像および作成しようとする前記合成フレームの画像特性である。
【００１０】
本発明の動画像合成方法において、前記画像特性を取得する方式としては、必要な画像特性を取得することができればいかなる方式であってもよく、例えば、動画像の画像特性としては、動画像のタグなどの付属情報を読み取って取得するようにしてもよいし、操作者により入力された値を用いるようにしてもよく、作成しようとする合成フレームの画像特性としては、操作者により入力された値を用いてよいし、固定した目標値を用いるようにしてもよい。
【００１１】
本発明の画像処理方法は、前記基準フレームに近い他のフレームから順に、前記対応関係を求めると共に、前記対応関係が求められる前記他のフレームと前記基準フレームとの相関を求めていき、
前記相関が所定の閾値より低くなったフレームにおいて、前記対応関係を求める処理を中止し、
求められた前記対応関係に基づいて、前記基準フレームおよび前記対応関係が求められた前記他のフレームを用いて前記合成フレームを作成することが好ましい。
【００１２】
ここで、「基準フレームに近い他のフレームから順に」とは、例えば、サンプリングされた複数のフレームにおける基準フレームの時系列的な位置が先頭または末端であれば、「基準フレームより時系列的に早い他のフレームから順に」または「基準フレームより時系列的に遅い他のフレームから順に」とのことを意味するが、サンプリングされた複数のフレームにおける基準フレームの時系列的な位置が先頭および末端ではなければ、「基準フレームより時系列的に早い他のフレームから順に」と「基準フレームより時系列的に遅い他のフレームから順に」との夫々両方のことを意味する。
【００１３】
本発明の動画像合成装置は、動画像の連続する、基準フレームを含む２以上の所定の枚数のフレームをサンプリングするサンプリング手段と、
前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを前記所定の枚数のフレームのうちの他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求める対応関係求出手段と、
該対応関係求出手段により求められた前記対応関係に基づいて前記所定の枚数のフレームから合成フレームを作成するフレーム統合手段とを備えてなる動画像合成装置であって、
前記サンプリング手段が、前記動画像および／または作成しようとする前記合成フレームの画像特性に基づいて前記所定の枚数を決定するフレーム枚数決定手段を備え、該フレーム枚数決定手段に決定された前記所定の枚数のフレームをサンプリングするものであることを特徴とするものである。
【００１４】
本発明の動画像合成装置は、前記対応関係求出手段の処理を中止する中止手段をさらに備え、
前記対応関係求出手段が、前記基準フレームに近い他のフレームから順に、前記対応関係を求めるものであり、
前記中止手段が、前記対応関係求出手段により前記対応関係が求められる前記他のフレームと前記基準フレームとの相関を求めると共に、前記相関が所定の閾値より低くなったフレームから、前記対応関係求出手段の処理を中止するものであり、
前記フレーム統合手段が、求められた前記対応関係に基づいて、前記基準フレームおよび前記対応関係が求められた前記他のフレームを用いて前記合成フレームを作成するものであることが好ましい。
【００１５】
本発明のプログラムは、動画像および／または該動画像の複数のフレームから作成しようとする合成フレームの画像特性に基づいて、合成に使用する前記フレームの枚数を決定する枚数決定処理と、
前記動画像の連続する、基準フレームを含む前記枚数のフレームをサンプリングするサンプリング処理と、
前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを前記枚数のフレームのうちの他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求める対応関係求出処理と、
求められた前記対応関係に基づいて前記枚数のフレームから合成フレームを作成するフレーム統合処理とをコンピュータに実行させることを特徴とするものである。
【００１６】
前記対応関係求出処理が、前記基準フレームに近い他のフレームから順に、前記対応関係を求めるものであり、本発明のプログラムは、前記対応関係が求められる前記他のフレームと前記基準フレームとの相関を求めると共に、前記相関が所定の閾値より低くなったフレームから、前記対応関係を求める処理を中止する中止処理をさらにコンピュータに実行させるものであることが好ましい。
【００１７】
【発明の効果】
本発明の動画像合成方法および装置によれば、動画像の複数の連続するフレームをサンプリングして合成フレームを作成する際に、動画像および／または合成しようとする合成フレームの画像特性に基づいてサンプリングするフレームの数を決定するようにしているので、操作者が手動でフレームの数を決定する必要がなく、便利である。また、動画像および／または作成しようとする合成フレームの画像特性に基づいてフレームの数を決定することによって、客観的に適切なフレームの数を決定することができので、高品質の合成フレームを作成することができる。
【００１８】
本発明の動画像合成方法および装置において、決定されたフレームの数のフレームをサンプリングし、これらのフレームに対して、基準フレームに近い基準フレーム以外の他のフレームから順に、他のフレーム上のパッチ内の画素と基準フレーム上の基準パッチ上内の画素との対応関係を求めると共に、他のフレームと基準フレームとの相関を求めていき、相関が所定の閾値より大きければ、次の他のフレームに対して対応関係を求める処理を続行するが、相関が所定の閾値より低くなったフレームを検出すると、決定されたフレームの数に到達していなくても、このフレーム以降の他のフレームに対する対応関係求出処理を中止するようにすることによって、基準フレームと相関が低いフレーム（例えば基準フレームのシーンと切り替わったシーンにフレーム）を用いて合成フレームを作成することを避けることができ、より高品質の合成フレームを作成することが可能となる。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
【００２０】
図１は、本発明の実施形態となる動画像合成装置の構成を示すブロック図である。図１に示すように、本実施形態による動画像合成装置は、入力された動画像データＭ０から複数のフレームをサンプリングするサンプリング手段１と、後述する対応関係求出手段２の処理を中止させる中止手段１０と、サンプリング手段１によりサンプリングした複数のフレームのうち、中止手段１０により中止されるフレームまでのフレーム（中止されなければ複数のフレーム全部）に対して、基準となる１つの基準フレームの画素および基準フレーム以外の他のフレームの画素の対応関係を、基準フレームに近い他のフレームから順に求める対応関係求出手段２と、対応関係求出手段２により求められた対応関係に基づいて、対応関係が求められた他のフレームを夫々基準フレームの座標空間上に座標変換して座標変換済みフレームを取得する座標変換手段３と、対応関係求出手段２において求められた対応関係に基づいて、対応関係が求められた他のフレームに対して補間演算を施して各フレームよりも解像度が高い第１の補間フレームを取得する時空間補間手段４と、基準フレームに対して補間演算を施して各フレームよりも解像度が高い第２の補間フレームを取得する空間補間手段５と、夫々の座標変換済みフレームと基準フレームとの相関を表す相関値を算出する相関値算出手段６と、第１の補間フレームと第２の補間フレームとを重み付け加算するための重み係数を相関値算出手段６において算出された相関値に基づいて算出する重み算出手段７と、重み算出手段７において算出された重み係数に基づいて第１および第２の補間フレームを重み付け加算して合成フレームＦｒＧを取得する合成手段８とを備える。なお、座標変換手段３と、時空間補間手段４と、空間補間手段５と、相関値算出手段６と、重み算出手段７と、合成手段８とは、請求項記載のフレーム統合手段に当たるものである。
【００２１】
図２は、図１に示す動画像合成装置におけるサンプリング手段１の構成を示すブロック図である。図２に示すように、サンプリング手段１は、合成フレームの画素サイズが動画像の１フレームの画素サイズに対する倍率、動画像のフレームレート、および動画像の圧縮クオリティと、サンプリングすべきフレームの数Ｓとを対応付けて作成されたフレーム数決定テーブルを記憶した記憶手段１２と、実際に作成しようとする合成フレームＦｒＧの画素サイズが動画像の１フレームの画素サイズに対する倍率、動画像データＭ０のフレームレート、および動画像データＭ０の圧縮クオリティを入力させるための条件設定手段１４と、記憶手段１２に記憶されたフレーム数決定テーブルを参照し、条件設定手段１４を介して入力された倍率、フレームレート、圧縮クオリティに対応した、サンプリングすべきフレームの数Ｓを検出して、Ｓ枚の連続したフレームを動画像データＭ０からサンプリングするサンプリング実行手段１６とを備えてなるものである。
【００２２】
図３は、図２に示すサンプリング手段１の記憶手段１２に記憶されたフレーム数決定テーブルの１例を示している。図示の例は、下記の式（１）に従って、様々な倍率、フレームレート、圧縮クオリティの組み合わせから、この組み合わせに対応してサンプリングすべきフレームの数Ｓを求めたものである。
【００２３】
Ｓ＝ｍｉｎ（Ｓ１，Ｓ２×Ｓ３）
Ｓ１＝フレームレート×３ （１）
Ｓ２＝倍率×１．５
Ｓ３＝１．０（高圧縮クオリティ）
Ｓ３＝１．２（中圧縮クオリティ）
Ｓ３＝１．５（低圧縮クオリティ）
即ち、フレームレートが大きければフレームの数Ｓが多く、倍率が大きければフレームの数Ｓが多く、圧縮クオリティが低ければフレームの数Ｓが多くなる傾向でフレームの数が求められている。
【００２４】
サンプリング手段１は、サンプリングしたＳ枚のフレームを対応関係求出手段２に出力し、対応関係求出手段２は、このＳ枚のフレーム（中止手段１０により中止されれば、このＳ枚のフレームのうちの中止されたフレームまでのフレーム）のうちの基準フレームの画素および他のフレームの画素の対応関係を、基準フレームに近い他のフレームから順に求める。ここで対応関係求出手段２の動作を説明する。なお、動画像データＭ０はカラーの動画像を表すものであり、各フレームはＹ，Ｃｂ，Ｃｒの輝度色差成分からなるものとする。また、以降の説明において、Ｙ，Ｃｂ，Ｃｒの各成分に対して処理が行われるが、行われる処理は全ての成分について同様であるため、本実施形態においては輝度成分Ｙの処理について詳細に説明し、色差成分Ｃｂ，Ｃｒに対する処理については説明を省略する。
【００２５】
サンプリング手段１から出力されてきたＳ枚のフレームは、例として１つの基準フレームＦｒＮを先頭にして、基準フレームＦｒＮに近い順からＦｒＮ＋１，ＦｒＮ＋２．．．ＦｒＮ＋（Ｓ−１）のように連続して並んだものである。ここで、フレームＦｒＮ＋１と基準フレームＦｒＮとを例にして対応関係求出手段２の動作を説明する。なお、以降では、作成しようとする合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍（倍率が４倍となる）の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい。
【００２６】
対応関係求出手段２は、以下のようにしてフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係を求める。図４はフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の求出を説明するための図である。なお、図４において、基準フレームＦｒＮに含まれる円形の被写体が、フレームＦｒＮ＋１においては図面上右側に若干移動しているものとする。
【００２７】
まず、対応関係求出手段２は、基準フレームＦｒＮ上に１または複数の矩形領域からなる基準パッチＰ０を配置する。図４（ａ）は、基準フレームＦｒＮ上に基準パッチＰ０が配置された状態を示す図である。図４（ａ）に示すように、本実施形態においては、基準パッチＰ０は４×４の矩形領域からなるものとする。次いで、図４（ｂ）に示すように、フレームＦｒＮ＋１の適当な位置に基準パッチＰ０と同様のパッチＰ１を配置し、基準パッチＰ０内の画像とパッチＰ１内の画像との相関を表す相関値を算出する。なお、相関値は下記の式（２）により平均二乗誤差として算出することができる。また、座標軸は紙面左右方向にｘ軸、紙面上下方向にｙ軸をとるものとする。
【００２８】
【数１】

但し、Ｅ：相関値
ｐｉ，ｑｉ：基準パッチＰ０，Ｐ１内にそれぞれ対応する画素の画素値
Ｎ：基準パッチＰ０およびパッチＰ１内の画素数
次いで、フレームＦｒＮ＋１上のパッチＰ１を上下左右の４方向に一定画素±Δｘ，±Δｙ移動し、このときのパッチＰ１内の画像と基準フレームＦｒＮ上の基準パッチＰ０内の画像との相関値を算出する。ここで、相関値は上下左右方向のそれぞれについて算出され、各相関値をそれぞれＥ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）とする。
【００２９】
そして、移動後の４つの相関値Ｅ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を相関勾配として求め、この方向に予め設定した実数値倍だけ図４（ｃ）に示すようにパッチＰ１を移動する。具体的には、下記の式（３）により係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）を算出し、これらの係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）から下記の式（４），式（５）により相関勾配ｇｘ，ｇｙを算出する。
【００３０】
【数２】

そして、算出された相関勾配ｇｘ，ｇｙに基づいてパッチＰ１の全体を（−λ１ｇｘ，−λ１ｇｙ）移動し、さらに上記と同様の処理を繰り返すことにより、図４（ｄ）に示すようにパッチＰ１がある位置に収束するまで反復的にパッチＰ１を移動する。ここで、λ１は収束の速さを決定するパラメータであり、実数値をとるものとする。なお、λ１をあまり大きな値とすると反復処理により解が発散してしまうため、適当な値（例えば１０）を選ぶ必要がある。
【００３１】
さらに、パッチＰ１の格子点を座標軸に沿った４方向に一定画素移動させる。このとき、移動した格子点を含む矩形領域は例えば図５に示すように変形する。そして、変形した矩形領域について基準パッチＰ０の対応する矩形領域との相関値を算出する。この相関値をそれぞれＥ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）とする。
【００３２】
そして、上記と同様に、変形後の４つの相関値Ｅ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を求め、この方向に予め設定した実数値倍だけパッチＰ１の格子点を移動する。これをパッチＰ１の全ての格子点について行い、これを１回の処理とする。そして格子点の座標が収束するまでこの処理を繰り返す。
【００３３】
これにより、パッチＰ１の基準パッチＰ０に対する移動量および変形量が求まり、これに基づいて基準パッチＰ０内の画素とパッチＰ１内の画素との対応関係を求めることができる。
【００３４】
対応関係求出手段２は、このようにしてサンプリング手段１から出力されてきたＳ枚のフレームに対して、基準フレームＦｒＮに近いフレームからの順、即ちＦｒＮ＋１，ＦｒＮ＋２，．．．の順に対応関係を求めるが、中止手段１０により中止されたときは、中止されたフレームから以降のフレームに対する対応関係の求出を中止する。
【００３５】
図６は、中止手段１０の構成を示すブロック図である。図示のように、中止手段１０は、対応関係求出手段２により処理中のフレームと基準フレームとの相関を求める相関取得手段２２と、相関取得手段２２により求められた相関が所定の閾値以上であれば、対応関係求出手段２の処理を中止しないが、相関が所定の閾値より低ければ、対応関係求出手段２による処理中のフレーム以降のフレームに対する対応関係の求出を中止する。
【００３６】
本実施形態において、相関取得手段２２は、対応関係求出手段２において１つのフレームに対して算出された、収束時の相関値Ｅの和を、このフレームと基準フレームとの相関値として用い、この相関値が所定の閾値より高ければ（すなわち、相関が所定の閾値より低くければ）、対応関係求出手段２の処理を中止させ、すなわち、処理中のフレーム以降のフレームに対する対応関係の求出処理を中止させる。
【００３７】
座標変換手段３などからなるフレーム統合手段は、対応関係求出手段２により求められた対応関係に基づいて、基準フレームおよび、基準フレームとの対応関係が求められた他のフレームを用いて合成フレームを作成するものである。説明上の便宜のため、まず、対応関係求出手段２により対応関係が求められたフレームはＦｒＮ＋１のみであると仮定して、フレーム統合手段の動作を説明する。
【００３８】
座標変換手段３は以下のようにしてフレームＦｒＮ＋１を基準フレームＦｒＮの座標空間に座標変換して座標変換済みフレームＦｒＴ０を取得する。なお、以降の説明においては、基準フレームＦｒＮの基準パッチＰ０内の領域およびフレームＦｒＮ＋１のパッチＰ１内の領域についてのみ変換、補間演算および合成が行われる。
【００３９】
本実施形態においては、座標変換は双１次変換を用いて行うものとする。双１次変換による座標変換は、下記の式（６），（７）により定義される。
【００４０】
【数３】

式（６），（７）は、２次元座標上の４点（ｘｎ，ｙｎ）（１≦ｎ≦４）で与えられたパッチＰ１内の座標を、正規化座標系（ｕ，ｖ）（０≦ｕ，ｖ≦１）によって補間するものであり、任意の２つの矩形内の座標変換は、式（６），（７）および式（６），（７）の逆変換を組み合わせることにより行うことができる。
【００４１】
ここで、図７に示すように、パッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）が対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）内のどの位置に対応するかを考える。まずパッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）について、正規化座標（ｕ，ｖ）を求める。これは式（６），（７）の逆変換により求める。そしてこのときの（ｕ，ｖ）と対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）を元に、式（６），（７）から点（ｘ，ｙ）に対応する座標（ｘ′，ｙ′）を求める。ここで、点（ｘ，ｙ）が本来画素値が存在する整数座標であるのに対し、点（ｘ′，ｙ′）は本来画素値が存在しない実数座標となる場合があるため、変換後の整数座標における画素値は、基準パッチＰ０の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に変換された座標（ｘ′，ｙ′）の画素値の荷重和として求めるものとする。
【００４２】
具体的には、図８に示すように基準パッチＰ０上における整数座標ｂ（ｘ，ｙ）について、その８近傍の整数座標ｂ（ｘ−１，ｙ−１），ｂ（ｘ，ｙ−１），ｂ（ｘ＋１，ｙ−１），ｂ（ｘ−１，ｙ），ｂ（ｘ＋１，ｙ），ｂ（ｘ−１，ｙ＋１），ｂ（ｘ，ｙ＋１），ｂ（ｘ＋１，ｙ＋１）に囲まれる領域内に変換されたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｍ個の画素値が８近傍の画素に囲まれる領域内に変換され、変換された各画素の画素値をＩｔｊ（ｘ°，ｙ°）（１≦ｊ≦ｍ）とすると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は、下記の式（８）により算出することができる。なお、式（８）においてφは荷重和演算を表す関数である。
【００４３】
【数４】

但し、Ｗｉ（１≦ｊ≦ｍ）：画素値Ｉｔｊ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積
ここで、簡単のため、図８を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉｔ１，Ｉｔ２が変換された場合について考えると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は下記の式（９）により算出することができる。
【００４４】
【数５】

但し、Ｗ１＝ｕ×ｖ、Ｗ２＝（１−ｓ）×（１−ｔ）
以上の処理をパッチＰ１内の全ての画素について行うことにより、パッチＰ１内の画像が基準フレームＦｒＮの座標空間に変換されて、座標変換済みフレームＦｒＴ０が得られる。
【００４５】
時空間補間手段４は、フレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得する。具体的には、まず図９に示すように、最終的に必要な画素数を有する統合画像（本実施形態においては、フレームＦｒＮ，ＦｒＮ＋１の縦横それぞれ２倍の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい）を用意し、対応関係求出手段２において求められた対応関係に基づいて、フレームＦｒＮ＋１（パッチＰ１内の領域）の画素の画素値を統合画像上に割り当てる。この割り当てを行う関数をΠとすると、下記の式（１０）によりフレームＦｒＮ＋１の各画素の画素値が統合画像上に割り当てられる。
【００４６】
【数６】

但し、Ｉ１Ｎ＋１（ｘ°，ｙ°）：統合画像上に割り当てられたフレームＦｒＮ＋１の画素値
ＦｒＮ＋１（ｘ，ｙ）：フレームＦｒＮ＋１の画素値
このように統合画像上にフレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ°，ｙ°）を得、各画素についてＩ１（ｘ°，ｙ°）（＝Ｉ１Ｎ＋１（ｘ°，ｙ°））の画素値を有する第１の補間フレームＦｒＨ１を取得する。
【００４７】
ここで、画素値を統合画像上に割り当てる際に、統合画像の画素数とフレームＦｒＮ＋１の画素数との関係によっては、フレームＦｒＮ＋１上の各画素が統合画像の整数座標（すなわち画素値が存在すべき座標）に対応しない場合がある。本実施形態においては、後述するように合成時において統合画像の整数座標における画素値を求めるものであるが、以下、合成時の説明を容易にするために統合画像の整数座標における画素値の算出について説明する。
【００４８】
統合画像の整数座標における画素値は、統合画像の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に割り当てられたフレームＦｒＮ＋１上の各画素の画素値の荷重和として求める。
【００４９】
すなわち、図１０に示すように統合画像における整数座標ｐ（ｘ，ｙ）については、その８近傍の整数座標ｐ（ｘ−１，ｙ−１），ｐ（ｘ，ｙ−１），ｐ（ｘ＋１，ｙ−１），ｐ（ｘ−１，ｙ），ｐ（ｘ＋１，ｙ），ｐ（ｘ−１，ｙ＋１），ｐ（ｘ，ｙ＋１），ｐ（ｘ＋１，ｙ＋１）に囲まれる領域内に割り当てられたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｋ個の画素値が８近傍の画素に囲まれる領域内に割り当てられ、割り当てられた各画素の画素値をＩ１Ｎ＋１ｉ（ｘ°，ｙ°）（１≦ｉ≦ｋ）とすると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は、下記の式（１１）により算出することができる。なお、式（１１）においてΦは荷重和演算を表す関数である。
【００５０】
【数７】

但し、Ｍｉ（１≦ｉ≦ｋ）：画素値Ｉ１Ｎ＋１ｉ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積
ここで、簡単のため、図１０を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉ１Ｎ＋１１，Ｉ１Ｎ＋１２が割り当てられた場合について考えると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は下記の式（１２）により算出することができる。
【００５１】
【数８】

但し、Ｍ１＝ｕ×ｖ、Ｍ２＝（１−ｓ）×（１−ｔ）
そして、統合画像の全ての整数座標について、フレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）を得ることができる。この場合、第１の補間フレームＦｒＨ１の各画素値Ｉ１（ｘ＾，ｙ＾）はＩ１Ｎ＋１（ｘ＾，ｙ＾）となる。
【００５２】
なお、上記ではフレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得しているが、フレームＦｒＮ＋１とともに基準フレームＦｒＮをも用いて第１の補間フレームＦｒＨ１を取得してもよい。この場合、基準フレームＦｒＮの画素は、統合画像の整数座標に補間されて直接割り当てられることとなる。
【００５３】
空間補間手段５は、基準フレームＦｒＮに対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、第２の補間フレームＦｒＨ２を取得する。ここで、第２の補間フレームＦｒＨ２の実数座標の画素値をＩ２（ｘ°，ｙ°）とすると、画素値Ｉ２（ｘ°，ｙ°）は下記の式（１３）により算出される。
【００５４】
【数９】

但し、ｆ：補間演算の関数
なお、補間演算としては、線形補間演算、スプライン補間演算等の種々の補間演算を用いることができる。
【００５５】
また、本実施形態においては、合成フレームＦｒＧは基準フレームＦｒＮの縦横それぞれ２倍の画素数であるため、基準フレームＦｒＮに対して縦横方向に画素数を２倍とする補間演算を施すことにより、統合画像の画素数と同一の画素数を有する第２の補間フレームＦｒＨ２を取得してもよい。この場合、補間演算により得られる画素値は統合画像における整数座標の画素値であり、この画素値をＩ２（ｘ＾，ｙ＾）とすると、画素値Ｉ２（ｘ＾，ｙ＾）は下記の式（１４）により算出される。
【００５６】
【数１０】

相関値算出手段６は、座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの相対応する画素同士の相関値ｄ０（ｘ，ｙ）を算出する。具体的には下記の式（１５）に示すように、座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値を相関値ｄ０（ｘ，ｙ）として算出する。なお、相関値ｄ０（ｘ，ｙ）は座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの相関が大きいほど小さい値となる。
【００５７】
【数１１】

なお、本実施形態では座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値を相関値ｄ０（ｘ，ｙ）として算出しているが、差の二乗を相関値として算出してもよい。また、相関値を画素毎に算出しているが、座標変換済みフレームＦｒＴ０および基準フレームＦｒＮを複数の領域に分割し、領域内の全画素値の平均値または加算値を算出して、領域単位で相関値を得てもよい。また、画素毎に算出された相関値ｄ０（ｘ，ｙ）のフレーム全体についての平均値または加算値を算出して、フレーム単位で相関値を得てもよい。また、座標変換済みフレームＦｒＴ０および基準フレームＦｒＮのヒストグラムをそれぞれ算出し、座標変換済みフレームＦｒＴ０および基準フレームＦｒＮのヒストグラムの平均値、メディアン値または標準偏差の差分値、もしくはヒストグラムの差分値の累積和を相関値として用いてもよい。また、基準フレームＦｒＮに対する座標変換済みフレームＦｒＴ０の動きを表す動きベクトルを基準フレームＦｒＮの各画素または小領域毎に算出し、算出された動ベクトルの平均値、メディアン値または標準偏差を相関値として用いてもよく、動ベクトルのヒストグラムの累積和を相関値として用いてもよい。
【００５８】
重み算出手段７は、相関値算出手段６により算出された相関値ｄ０（ｘ，ｙ）から第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み付け加算する際の重み係数α（ｘ，ｙ）を取得する。具体的には、図１１に示すテーブルを参照して重み係数α（ｘ，ｙ）を取得する。なお、図１１に示すテーブルは、相関値ｄ０（ｘ，ｙ）が小さい、すなわち座標変換済みフレームＦｒＴ０および基準フレームＦｒＮの相関が大きいほど、重み係数α（ｘ，ｙ）の値が１に近いものとなる。なお、ここでは相関値ｄ０（ｘ，ｙ）は８ビットの値をとるものとする。
【００５９】
さらに、重み算出手段７は、フレームＦｒＮ＋１を統合画像上に割り当てた場合と同様に重み係数α（ｘ，ｙ）を統合画像上に割り当てることにより、フレームＦｒＮ＋１の画素が割り当てられた座標（実数座標）における重み係数α（ｘ°，ｙ°）を算出する。具体的には、空間補間手段５における補間演算と同様に、重み係数α（ｘ，ｙ）に対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、重み係数α（ｘ°，ｙ°）を取得する。
【００６０】
なお、統合画像の上記実数座標における重み係数α（ｘ°，ｙ°）を補間演算により算出することなく、基準フレームＦｒＮを統合画像のサイズとなるように拡大または等倍して拡大または等倍基準フレームを取得し、統合画像におけるフレームＦｒＮ＋１の画素が割り当てられた実数座標の最近傍に対応する拡大または等倍基準フレームの画素について取得された重み係数α（ｘ，ｙ）の値をその実数座標の重み係数α（ｘ°，ｙ°）として用いてもよい。
【００６１】
さらに、統合画像の整数座標における画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）が取得されている場合には、統合画像上に割り当てた重み係数α（ｘ°，ｙ°）について上記と同様に荷重和を求めることにより、統合画像の整数座標における重み係数α（ｘ＾，ｙ＾）を算出すればよい。
【００６２】
合成手段８は、第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み算出手段７により算出された重み係数α（ｘ°，ｙ°）に基づいて重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧ（ｘ＾，ｙ＾）を有する合成フレームＦｒＧを取得する。具体的には、下記の式（１６）により第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２の対応する画素の画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）を重み係数α（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行い合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【００６３】
【数１２】

なお、式（１６）において、ｋは合成フレームＦｒＧすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられたフレームＦｒＮ＋１の画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）および重み係数α（ｘ°，ｙ°）を有するものである。
【００６４】
本実施形態においては、基準フレームＦｒＮと座標変換済みフレームＦｒＴ０との相関が大きいほど、第１の補間フレームＦｒＨ１の重み付けが大きくされて、第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２の重み付け加算が行われる。
【００６５】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【００６６】
また、上記では輝度成分Ｙについての合成フレームＦｒＧを求める処理について説明したが、色差成分Ｃｂ，Ｃｒについても同様に合成フレームＦｒＧが取得される。そして、輝度成分Ｙから求められた合成フレームＦｒＧ（Ｙ）および色差成分Ｃｂ，Ｃｒから求められた合成フレームＦｒＧ（Ｃｂ），ＦｒＧ（Ｃｒ）を合成することにより、最終的な合成フレームが得られることとなる。なお、処理の高速化のためには、輝度成分Ｙについてのみ基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係を求め、色差成分Ｃｂ，Ｃｒについては輝度成分Ｙについて求められた対応関係に基づいて処理を行うことが好ましい。
【００６７】
また、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２並びに整数座標の重み係数α（ｘ＾，ｙ＾）を取得した場合には、下記の式（１７）により第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＧ２の対応する画素の画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）を重み係数α（ｘ＾，ｙ＾）により重み付け加算して合成フレームＦｒＧの画素値ＦｒＧ（ｘ，ｙ）を取得すればよい。
【００６８】
【数１３】

図１２は、本実施形態において行われる処理を示すフローチャートである。なお、ここでは統合画像のフレームＦｒＮ＋１の画素が割り当てられた実数座標について第１の補間フレームＦｒＨ１、第２の補間フレームＦｒＨ２および重み係数α（ｘ°，ｙ°）を取得するものとして説明する。図１２に示すように、本実施形態の動画像合成装置の動作は、動画像データＭ０が入力される（Ｓ２）ことから始まる。動画像データＭ０から合成フレームを作成するため、サンプリング手段１の条件設定手段１４を介して倍率、フレームレート、圧縮クオリティが入力される（Ｓ４）と、サンプリング手段１のサンプリング実行手段１６は、記憶手段１２に記憶されたフレーム数決定テーブルを参照し、条件設定手段１４を介して入力された倍率、フレームレート、圧縮クオリティに対応した、サンプリングすべきフレームの数Ｓを検出して、Ｓ枚の連続したフレームを動画像データＭ０からサンプリングして対応関係求出手段２に出力する（Ｓ６）。対応関係求出手段２は、Ｓ枚のフレームのうちの基準フレームＦｒＮ上に基準パッチを配置する（Ｓ８）と共に、フレームＦｒＮ＋１上に基準パッチと同様のパッチを配置して、パッチ内の画像と、基準パッチ内の画像との相関値Ｅが収束するまで、パッチを移動および変形する（Ｓ１２、Ｓ１４）。中止手段１０は、収束時の相関値Ｅの和を求め、Ｅの和が所定の閾値より高ければ（すなわち、このフレームと基準フレームとの相関が所定の閾値より低くければ）、対応関係求出手段２の処理を中止させ、すなわち、処理中のフレーム以降のフレームに対する対応関係の求出処理を中止させることによって、動画像合成装置の処理を、座標変換手段３等からなるフレーム統合手段の処理に移行させる（Ｓ１６：Ｎｏ、Ｓ３０〜Ｓ４０）。
【００６９】
一方、中止手段１０により中止されなければ、対応関係求出手段２は、サンプリング手段１によりサンプリングしたＳ枚のフレームのうち、基準フレームを除く全てのフレームと基準フレームとの対応関係を求めて、フレーム統合手段に供する（Ｓ１６：Ｎｏ、Ｓ１８、Ｓ２０：Ｙｅｓ、Ｓ２５）。
【００７０】
ステップＳ３０からステップＳ４０までは、座標変換手段などからなるフレーム統合手段の動作を示している。ここでも、説明上の便宜のため、例として、対応関係求出手段２からフレームＦｒＮ＋１のみについて基準フレームＦｒＮとの対応関係が求められたとして説明をする。
【００７１】
対応関係求出手段２により求められた対応関係に基づいて、座標変換手段３によりフレームＦｒＮ＋１が基準フレームＦｒＮの座標空間に変換されて座標変換済みフレームＦｒＴ０が取得される（Ｓ３０）。そして、相関値算出手段６により座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの対応する画素の相関値ｄ０（ｘ，ｙ）が算出される（Ｓ３２）。さらに、相関値ｄ０に基づいて重み算出手段７により重み係数α（ｘ°，ｙ°）が算出される（Ｓ３４）。
【００７２】
一方、求められた対応関係に基づいて、時空間補間手段４により第１の補間フレームＦｒＨ１が取得され（Ｓ３６）、空間補間手段５により第２の補間フレームＦｒＨ２が取得される（Ｓ３８）。
【００７３】
なお、Ｓ３６〜Ｓ３８の処理を先に行ってもよく、ステップＳ３０〜Ｓ３４の処理およびステップＳ３６〜Ｓ３８の処理を並列に行ってもよい。
【００７４】
そして、合成手段８において上記式（１６）により第１の補間フレームＦｒＨ１の画素Ｉ１（ｘ°，ｙ°）と第２の補間フレームＦｒＨ２の画素Ｉ２（ｘ°，ｙ°）とが合成されて、画素ＦｒＧ（ｘ＾，ｙ＾）からなる合成フレームＦｒＧが取得され（Ｓ４０）、処理を終了する。
【００７５】
上述において、説明上の便宜のため、対応関係求出手段２によりＦｒＮ＋１のみについて基準フレームＦｒＮとの対応関係が求められ、フレーム統合手段は、基準フレームＦｒＮとＦｒＮ＋１との２つのフレームを用いて合成フレームを作成することについて説明したが、例えばＴ個（Ｔ≧３）のフレームＦｒＮ＋ｔ′（０≦ｔ′≦Ｔ−１）から合成フレームＦｒＧを取得する場合（すなわち、対応関係求出手段２により２つ以上のフレームと基準フレームとの対応関係が求められた場合）、基準フレームＦｒＮ（＝ＦｒＮ＋０）以外の他のフレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）について、統合画像上に画素値を割り当てて複数の第１の補間フレームＦｒＨ１ｔを得る。なお、第１の補間フレームＦｒＨ１ｔの画素値をＩ１ｔ（ｘ°，ｙ°）とする。
【００７６】
また、基準フレームＦｒＮに対して、統合画像上のフレームＦｒＮ＋ｔの画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、フレームＦｒＮ＋ｔに対応した第２の補間フレームＦｒＨ２ｔを取得する。なお、第２の補間フレームＦｒＨ２ｔの画素値をＩ２ｔ（ｘ°，ｙ°）とする。
【００７７】
さらに、求められた対応関係に基づいて、対応する第１および第２の補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔを重み付け加算する重み係数αｔ（ｘ°，ｙ°）を取得する。
【００７８】
そして、互いに対応する第１および第２の補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔを重み係数αｔ（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧｔ（ｘ＾，ｙ＾）を有する中間合成フレームＦｒＧｔを取得する。具体的には、下記の式（１８）により第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＧ２ｔの対応する画素の画素値Ｉ１ｔ（ｘ°，ｙ°），Ｉ２ｔ（ｘ°，ｙ°）を対応する重み係数αｔ（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行い、中間合成フレームＦｒＧｔの画素値ＦｒＧｔ（ｘ＾，ｙ＾）を取得する。
【００７９】
【数１４】

なお、式（１８）において、ｋは中間合成フレームＦｒＧｔすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられたフレームＦｒＮ＋ｔの画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１ｔ（ｘ°，ｙ°），Ｉ２ｔ（ｘ°，ｙ°）および重み係数αｔ（ｘ°，ｙ°）を有するものである。
【００８０】
そして、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを取得する。具体的には、下記の式（１９）により中間合成フレームＦｒＧｔを対応する画素同士で加算することにより、合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【００８１】
【数１５】

なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【００８２】
また、３以上の複数のフレームから合成フレームＦｒＧを取得する場合、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＨ２ｔ並びに整数座標の重み係数αｔ（ｘ＾，ｙ＾）を取得してもよい。この場合、各フレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）について、各フレームＦｒＮ＋ｔの画素値ＦｒＮ＋ｔ（ｘ，ｙ）を統合座標の全ての整数座標に割り当てて画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）すなわち画素値Ｉ１ｔ（ｘ＾，ｙ＾）を有する第１の補間フレームＦｒＨ１ｔを取得する。そして、全てのフレームＦｒＮ＋ｔについて割り当てられた画素値Ｉ１ｔ（ｘ＾，ｙ＾）と第２の補間フレームＦｒＨ２ｔの画素値Ｉ２ｔ（ｘ＾，ｙ＾）とを加算することにより複数の中間合成フレームＦｒＧｔを取得し、これらをさらに加算して合成フレームＦｒＧを取得すればよい。
【００８３】
具体的には、まず、下記の式（２０）に示すように、全てのフレームＦｒＮ＋ｔについて、統合画像の整数座標における画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）を算出する。そして、式（２１）に示すように、画素値Ｉ１ｔ（ｘ＾，ｙ＾）と画素値Ｉ２ｔ（ｘ＾，ｙ＾）とを重み係数α（ｘ＾，ｙ＾）により重み付け加算することにより中間合成フレームＦｒＧｔを得る。そして、上記式（２０）に示すように、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを取得する。
【００８４】
【数１６】

なお、３以上の複数のフレームから合成フレームＦｒＧを取得する場合、座標変換済みフレームＦｒＴ０は複数取得されるため、相関値および重み係数もフレーム数に対応して複数取得される。この場合、複数取得された重み係数の平均値や中間値を対応する第１および第２の補間フレームＦｒＨ１，ＦｒＨ２を重み付け加算する際の重み係数としてもよい。
【００８５】
このように、本実施形態の動画像合成装置において、サンプリング手段１は、動画像データＭ０の圧縮クオリティおよびフレームレートと、合成しようとする合成フレームの画素サイズが動画像のフレームの画素サイズに対する倍率とに基づいてサンプリングするフレームの数を決定するようにしているので、操作者が手動でフレームの数を決定する必要がなく、便利である。また、動画像と作成しようとする合成フレームとの画像特性に基づいてフレームの数を決定することによって、客観的に適切なフレームの数を決定することができので、高品質の合成フレームを作成することができる。
【００８６】
また、本実施形態の動画像合成装置において、サンプリングしたＳ枚のフレームに対して、基準フレームＦｒＮに近い基準フレーム以外の他のフレームから順に、他のフレーム上のパッチ内の画素と基準フレーム上の基準パッチ上内の画素との対応関係を求めると共に、他のフレームと基準フレームとの相関を求め、相関が所定の閾値より大きければ、次の他のフレームに対して対応関係を求める処理を続行するが、相関が所定の閾値より低くなったフレームを検出すると、決定されたフレームの数に到達していなくても、このフレーム以降の他のフレームに対する対応関係求出処理を中止するようにすることによって、基準フレームと相関が低いフレーム（例えば基準フレームのシーンと切り替わったシーンにフレーム）を用いて合成フレームを作成することを避けることができ、より高品質の合成フレームを作成することを可能とする。
【図面の簡単な説明】
【図１】本発明の実施形態による動画像合成装置の構成を示すブロック図
【図２】図１に示す動画像合成装置のサンプリング手段１の構成を示すブロック図
【図３】フレーム数決定テーブルの一例を示す図
【図４】フレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の求出を説明するための図
【図５】パッチの変形を説明するための図
【図６】図１に示す動画像合成装置の中止手段１０の構成を示すブロック図
【図７】パッチＰ１と基準パッチＰ０との対応関係を説明するための図
【図８】双１次内挿を説明するための図
【図９】フレームＦｒＮ＋１の統合画像への割り当てを説明するための図
【図１０】統合画像における整数座標の画素値の算出を説明するための図
【図１１】重み係数を求めるテーブルを示す図
【図１２】図１に示す動画像合成装置において行われる処理を示すフローチャート
【符号の説明】
１ サンプリング手段
２ 対応関係求出手段
３ 座標変換手段
４ 時空間補間手段
５ 空間補間手段
６ 相関値算出手段
７ 重み算出手段
８ 合成手段
１０ 中止手段
１２ 記憶手段
１４ 条件設定手段
１６ サンプリング実行手段
２２ 相関取得手段
２４ 中止実行手段

Claims (6)

1. 動画像の連続する、基準フレームを含む２以上の所定の枚数のフレームをサンプリングし、
   前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、
   該基準パッチと同様のパッチを前記所定の枚数のフレームのうちの他のフレーム上に配置し、
   該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、
   該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求め、
   求められた前記対応関係に基づいて前記所定の枚数のフレームから合成フレームを作成する動画像合成方法において、
   前記動画像のフレームレートに基づいて、該フレームレートが大きいほど前記所定の枚数が多くなるように、および／または、前記動画像の各フレームの圧縮率に基づいて、該圧縮率が大きいほど前記所定の枚数が多くなるように、および／または、前記動画像の各フレームの画素サイズ・解像度、前記合成フレームの画素サイズ・解像度、前記合成フレームの画素サイズと前記動画像のフレームの画素サイズとの比率の少なくとも１つに基づいて、前記合成フレームの前記動画像の各フレームからの高精細化の度合が高いほど前記所定の枚数が多くなるように、前記所定の枚数を決定して該所定の枚数のフレームをサンプリングすることを特徴とする動画像合成方法。
2. 前記基準フレームに近い他のフレームから順に、前記対応関係を求めると共に、前記対応関係が求められる前記他のフレームと前記基準フレームとの相関を求めていき、
   前記相関が所定の閾値より低くなったフレームにおいて、前記対応関係を求める処理を中止し、
   求められた前記対応関係に基づいて、前記基準フレームおよび前記対応関係が求められた前記他のフレームを用いて前記合成フレームを作成することを特徴とする請求項１記載の動画像合成方法。
3. 動画像の連続する、基準フレームを含む２以上の所定の枚数のフレームをサンプリングするサンプリング手段と、
   前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを前記所定の枚数のフレームのうちの他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求める対応関係求出手段と、
   該対応関係求出手段により求められた前記対応関係に基づいて前記所定の枚数のフレームから合成フレームを作成するフレーム統合手段とを備えてなる動画像合成装置であって、
   前記サンプリング手段が、前記動画像のフレームレートに基づいて、該フレームレートが大きいほど前記所定の枚数が多くなるように、および／または、前記動画像の各フレームの圧縮率に基づいて、該圧縮率が大きいほど前記所定の枚数が多くなるように、および／または、前記動画像の各フレームの画素サイズ・解像度、前記合成フレームの画素サイズ・解像度、前記合成フレームの画素サイズと前記動画像のフレームの画素サイズとの比率の少なくとも１つに基づいて、前記合成フレームの前記動画像の各フレームからの高精細化の度合が高いほど前記所定の枚数が多くなるように、前記所定の枚数を決定するフレーム枚数決定手段を備え、該フレーム枚数決定手段に決定された前記所定の枚数のフレームをサンプリングするものであることを特徴とする動画像合成装置。
4. 前記対応関係求出手段が、前記基準フレームに近い他のフレームから順に、前記対応関係を求めるものであり、
   前記対応関係求出手段により前記対応関係が求められる前記他のフレームと前記基準フレームとの相関を求めると共に、前記相関が所定の閾値より低くなったフレームから、前記対応関係求出手段の処理を中止する中止手段とを備え、
   前記フレーム統合手段が、求められた前記対応関係に基づいて、前記基準フレームおよび前記対応関係が求められた前記他のフレームを用いて前記合成フレームを作成するものであることを特徴とする請求項３記載の動画像合成装置。
5. 動画像の連続する、基準フレームを含む２以上の所定の枚数のフレームをサンプリングするサンプリング処理と、
   前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを前記枚数のフレームのうちの他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求める対応関係求出処理と、
   求められた前記対応関係に基づいて前記枚数のフレームから合成フレームを作成するフレーム統合処理とをコンピュータに実行させることを特徴とするプログラムにおいて、
   前記サンプリング処理が、前記動画像のフレームレートに基づいて、該フレームレートが大きいほど前記所定の枚数が多くなるように、および／または、前記動画像の各フレームの圧縮率に基づいて、該圧縮率が大きいほど前記所定の枚数が多くなるように、および／または、前記動画像の各フレームの画素サイズ・解像度、前記合成フレームの画素サイズ・解像度、前記合成フレームの画素サイズと前記動画像のフレームの画素サイズとの比率の少なくとも１つに基づいて、前記合成フレームの前記動画像の各フレームからの高精細化の度合が高いほど前記所定の枚数が多くなるように、前記所定の枚数を決定して該所定の枚数のフレームをサンプリングするものであることを特徴とするプログラム。
6. 前記対応関係求出処理が、前記基準フレームに近い他のフレームから順に、前記対応関係を求めるものであり、
   前記対応関係が求められる前記他のフレームと前記基準フレームとの相関を求めると共に、前記相関が所定の閾値より低くなったフレームから、前記対応関係を求める処理を中止する中止処理をさらにコンピュータに実行させるものであることを特徴とする請求項５記載のプログラム。

Images