JP4582993B2 - 動画像合成方法および装置並びにプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像の連続する複数のフレームを統合して、これら複数のフレームよりも高解像度の合成フレームを作成することができる動画像合成方法および装置並びに動画像合成方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
近年、デジタルビデオカメラの普及により、動画像を１フレーム単位で扱うことが可能となっている。このような動画像のフレームをプリント出力する際には、画質を向上させるためにフレームを高解像度にする必要がある。このため、動画像から複数のフレームをサンプリングし、サンプリングした複数のフレームを統合することにより、これらのフレームよりも高解像度の１の合成フレームを作成する方法が提案されている。
【０００３】
動画像の複数のフレームを統合する際に必要とされるのは、動領域における各フレーム間の画素の対応関係を求めることである。これには通常、ブロックマッチング法や勾配法が用いられるが、従来のブロックマッチング法は、ブロック内の動き量が同一方向であることを仮定したものであるため、回転、拡大、縮小、変形といった様々な動きに対応する柔軟性に欠けている上に、処理時間がかかり、実用的ではないという問題がある。一方、勾配法は、従来のブロックマッチング法と比較して安定に解を求めることができないという問題がある。これらの問題を克服した方法としては、統合される複数のフレームのうちの１つのフレームを基準フレームとし、基準フレームに１または複数の矩形領域からなる基準パッチを、基準フレーム以外の他のフレームに基準パッチと同様のパッチを配置し、パッチ内の画像が基準パッチ内の画像と一致するようにパッチを他のフレーム上において移動および／または変形し、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレーム上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係を求めて複数フレームを精度よく合成する方法が提案されている（非特許文献１参照）。
【０００４】
非特許文献１の方法においては、基準フレームと他のフレームとの対応関係を求め、求めた後、他のフレームと基準フレームとを、最終的に必要な解像度を有する統合画像上に割り当てることにより、高精細な合成フレームを得ることができる。
【０００５】
【非特許文献１】
「フレーム間統合による高精細ディジタル画像の獲得」，中沢祐二、小松隆、斉藤隆弘，テレビジョン学会誌，１９９５年，Ｖｏｌ．４９，Ｎｏ．３，ｐ２９９−３０８
【０００６】
【発明が解決しようとする課題】
しかし、非特許文献１に記載された方法においては、動画像から複数のフレームをサンプリングする際に、基準フレームを含むどの範囲のフレーム、すなわち、基準フレームを含む何枚までのフレームを統合に使用するフレームとするかということについては、操作者の手動により設定されることになっている。操作者に画像処理の知識を要求すると共に、手間がかかるという問題がある。また、操作者の手動により設定されるので、操作者の主観が入り、必ずしも客観的に適切な範囲を得ることができず、合成フレームの品質に悪い影響を与えてしまうという問題がある。
【０００７】
本発明は、上記事情を鑑みなされたものであり、動画像の複数のフレームを統合して合成フレームを作成する際に、簡単かつ客観的に適切なフレーム範囲を決定し、品質の良い合成フレームを作成することが可能な動画像合成方法および装置並びにプログラムを提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明の動画像合成方法は、動画像において連続シーンを示す複数のフレームを検出して連続フレーム群を得、
該連続フレーム群に含まれる前記複数のフレームのうち、基準となる１つの基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、
該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、
該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、
該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求め、
求められた各々の前記対応関係に基づいて前記複数のフレームから合成フレームを作成することを特徴とするものである。
【０００９】
ここで、「連続シーン」とは、動画像において、略同様の内容が続いたシーンのことを意味し、「連続フレーム群」とは、１つの連続シーンを構成する複数のフレームのことを意味する。
【００１０】
本発明の動画像合成方法は、連続フレームを検出する際に、前記基準フレームから開始し、隣接するフレーム同士間の相関を求め、
前記基準フレームから、前記相関が所定の第１の閾値より低い一対の前記隣接するフレームのうち、前記基準フレームに近いフレームまでの各々のフレームを前記連続フレーム群として検出するようにすることができる。
【００１１】
また、本発明の動画像合成方法は、隣接するフレーム間の相関を求める方法として、前記隣接するフレームの夫々のＹＣＣ成分のうちの少なくとも１つの成分についてヒストグラムを求め、
前記ヒストグラムを用いて前記隣接するフレーム間の前記成分毎のユーグリッド距離を計算し、
各成分のユーグリッド距離の和を求め、
該ユーグリッド距離の和が所定の第２の閾値より大きいとき、前記隣接するフレーム間の相関が前記所定の第１の閾値より低いとするようにすることができる。
【００１２】
ここでは、「ＹＣＣ成分のうちの少なくとも１つの成分」とは、輝度色差成分Ｙ，Ｃｂ，Ｃｒのうちの１つ、または２つ以上の組み合わせを意味し、輝度成分Ｙのみ、またはＹ，Ｃｂ，Ｃｒの３つの組み合わせが好ましい。
【００１３】
また、前記ＹＣＣ成分のうちの使用される各々の成分を、１より大きい値で割ってから前記ヒストグラムを求めるようにしてもよい。
【００１４】
本発明の動画像合成方法は、隣接するフレーム間の相関を求める方法として、前記隣接するフレームの対応する各々の画素間の画素値の差分を求め、
前記各々の差分の絶対値の和を求め、
該絶対値の和が所定の第３の閾値より大きいとき、前記隣接するフレーム間の相関が前記所定の第１の閾値より低いとするようにしてもよい。
【００１５】
本発明の動画像合成方法において、フレーム間の相関を求める際に、各フレームの縮小画像または間引き画像を用いてもよい。
【００１６】
さらに、本発明の動画像合成方法において、前記連続フレーム群を検出する際に、既に検出されたフレームの数が所定の上限値に到達したとき、前記連続フレーム群を検出する処理を中止することが好ましい。
【００１７】
本発明の動画像合成装置は、動画像において連続シーンを示す複数のフレームを検出して連続フレーム群を得る連続フレーム群検出手段と、
該連続フレーム群検出手段により検出された前記連続フレーム群に含まれる前記複数のフレームのうち、基準となる１つの基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と略一致になるように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求める対応関係求出手段と、
該対応関係求出手段により求められた各々の前記対応関係に基づいて前記複数のフレームから合成フレームを作成するフレーム統合手段とを備えてなることを特徴とするものである。
【００１８】
前記連続フレーム群検出手段は、前記基準フレームから開始し、隣接するフレーム同士間の相関を求める相関計算手段を備え、
前記基準フレームから、前記相関が所定の第１の閾値より低い一対の前記隣接するフレームのうち、前記基準フレームに近いフレームまでの各々のフレームを前記連続フレーム群として検出するものであることが好ましい。
【００１９】
また、前記相関計算手段は、前記隣接するフレームの夫々のＹＣＣ成分のうちの少なくとも１つの成分についてヒストグラムを求め、
前記ヒストグラムを用いて前記隣接するフレーム間の前記成分毎のユーグリッド距離を計算し、
各成分のユーグリッド距離の和を求めるものであり、
前記連続フレーム群検出手段が、前記相関計算手段により求められた前記ユーグリッド距離の和が所定の第２の閾値より大きいとき、前記隣接するフレーム間の相関が前記所定の第１の閾値より低いとするものであることが望ましく、処理を高速化するために、前記ヒストグラムを求める際に、前記ＹＣＣ成分のうちの使用される各々の成分を、１より大きい値で割ってから前記ヒストグラムを求めることがより望ましい。
【００２０】
また、前記相関計算手段は、前記隣接するフレームの対応する各々の画素間の画素値の差分を求め、
前記各々の差分の絶対値の和を求めるものであり、
前記連続フレーム群検出手段が、前記相関計算手段により求められた前記絶対値の和が所定の第３の閾値より大きいとき、前記隣接するフレーム間の相関が前記所定の第１の閾値より低いとするものであってもよい。
【００２１】
本発明の動画像合成装置における前記相関計算手段は、処理を高速にするために、各フレームの縮小画像または間引き画像を用いて隣接するフレーム間の相関を求めるものであることが好ましい。
【００２２】
さらに、前記連続フレーム群検出手段により、既に検出されたフレームの数が所定の上限値に到達したとき、前記連続フレーム群検出手段の処理を中止する連続フレーム検出中止手段を備えたことがより好ましい。
【００２３】
本発明のプログラムは、動画像において連続シーンを示す複数のフレームを検出して連続フレーム群を得る連続フレーム群検出処理と、
該連続フレーム群に含まれる前記複数のフレームのうち、基準となる１つの基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と略一致になるように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求める対応関係求出処理と、
求められた各々の前記対応関係に基づいて前記複数のフレームから合成フレームを作成するフレーム統合処理とをコンピュータに実行させることを特徴とするものである。
【００２４】
【発明の効果】
本発明の動画像合成方法および装置によれば、動画像の複数の連続するフレームから合成フレームを作成する際に、連続シーンを示す複数のフレームを夫々連続フレーム群として検出して、夫々のフレーム群から合成フレームを作成するようにしているので、操作者が手動でフレームのサンプリングをする必要がなく、便利である。また、各連続フレーム群内の複数のフレームが、略同様な内容のシーンを示すものであるので、高品質な合成フレームを作成するのに適切である。
【００２５】
本発明の動画像合成方法および装置においては、所定の上限値を設け、連続フレーム群を検出する際に、１つの連続フレーム群に対してフレームの数がこの所定の上限値に到達したとき、この連続フレーム群に対するフレームの検出を中止するようにすることができので、1枚の合成フレームを作成するのに無意味に過多なフレームを用いることを避け、効率の良い処理を図ることができる。
【００２６】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
【００２７】
図１は、本発明の実施形態となる動画像合成装置の構成を示すブロック図である。図１に示すように、本実施形態による動画像合成装置は、入力された動画像データＭ０から複数のフレームをサンプリングするサンプリング手段１と、サンプリング手段１によりサンプリングした複数のフレームのうち、基準となる１つの基準フレームの画素および基準フレーム以外の他のフレームの画素の対応関係を求める対応関係求出手段２と、対応関係求出手段２により求められた対応関係に基づいて、基準フレーム以外の他のフレームを夫々基準フレームの座標空間上に座標変換して座標変換済みフレームを取得する座標変換手段３と、対応関係求出手段２において求められた対応関係に基づいて、他のフレームに対して補間演算を施して各フレームよりも解像度が高い第１の補間フレームを取得する時空間補間手段４と、基準フレームに対して補間演算を施して各フレームよりも解像度が高い第２の補間フレームを取得する空間補間手段５と、夫々の座標変換済みフレームと基準フレームとの相関を表す相関値を算出する相関値算出手段６と、第１の補間フレームと第２の補間フレームとを重み付け加算するための重み係数を相関値算出手段６において算出された相関値に基づいて算出する重み算出手段７と、重み算出手段７において算出された重み係数に基づいて第１および第２の補間フレームを重み付け加算して合成フレームＦｒＧを取得する合成手段８とを備える。なお、座標変換手段３と、時空間補間手段４と、空間補間手段５と、相関値算出手段６と、重み算出手段７と、合成手段８とは、請求項記載のフレーム統合手段に当たるものである。
【００２８】
図２は、図１に示す動画像合成装置におけるサンプリング手段１の構成を示すブロック図である。図２に示すように、サンプリング手段１は、動画像データＭ０に対して縮小処理を施して縮小動画像データを得る縮小手段１２と、縮小手段１２により得られた縮小動画像データに対して、基準フレーム（ここでは、動画像データＭ０における基準フレームと区別するために、縮小基準フレームという。なお、縮小基準フレーム以外のフレームについても、動画像データＭ０におけるフレームと区別して縮小フレームという）から開始し、隣接する縮小フレーム同士間の相関を求める相関取得手段１４と、相関取得手段１４により相関が求められた縮小フレームの数を監視し、この数が所定の上限値に到達したとき、相関取得手段１４の処理を中止させる中止手段１６と、中止手段１６により相関取得手段１４の処理が中止されていないとき、相関取得手段１４により取得した各隣接する縮小フレーム同士間の相関に基づいて、縮小基準フレームから、この相関が所定の閾値より低い１対の隣接する縮小フレームのうち、縮小基準フレームに近い縮小フレームまでの範囲をサンプリング範囲とし、動画像データＭ０においてこの範囲に対応する範囲内のフレームをサンプリングする一方、中止手段１６により相関取得手段１４の処理が中止されたとき、縮小基準フレームフレームから、中止されたときの縮小フレームまでの範囲をサンプリング範囲とし、動画像データＭ０においてこの範囲に対応する範囲内のフレームをサンプリングするサンプリング実行手段１８とを備えてなるものである。なお、縮小基準フレームから、隣接する縮小フレーム同士間の相関を求める際に、縮小基準フレームを先頭にして、基準フレーム以降の隣接する縮小フレーム同士間の相関を求めるようにしてもよいし、縮小基準フレームを末端にして、縮小基準フレーム以前の隣接する縮小フレーム同士間の相関を求めるようにしてもよい。さらに、縮小基準フレームの前後相互にして夫々隣接する縮小フレーム間の相関を求めるようにして、縮小基準フレームを内包した前述のサンプリング範囲を検出してもよい。本実施形態において、例として、縮小基準フレームを先頭にしてサンプリング範囲を検出する。
【００２９】
また、本実施形態における相関取得手段１４は、各縮小フレームの輝度成分Ｙについてヒストグラムを求め、このヒストグラムを用いて隣接する縮小フレーム間のユーグリッド距離を算出して隣接する縮小フレーム間の相関値とするものである。また、サンプリング実行手段１８は、中止手段１６により相関取得手段１４の処理が中止されていないとき、相関取得手段１４により取得した各隣接する縮小フレーム同士間の相関に基づいて、縮小基準フレームから、この相関が所定の閾値より低い（すなわち、ユーグリッド距離からなる相関値が所定の閾値より高い）１対の隣接する縮小フレームのうち、縮小基準フレームに近い縮小フレームまでの範囲をサンプリング範囲とし、動画像データＭ０においてこの範囲に対応する範囲内のフレームをサンプリングする一方、中止手段１６により相関手段１４の処理が中止されたとき、縮小基準フレームから、中止されたときの縮小フレームまでの範囲をサンプリング範囲とし、動画像データＭ０においてこの範囲に対応する範囲内のフレームをサンプリングするものである。
【００３０】
サンプリング手段１は、サンプリングした複数枚（Ｓ枚とする）のフレームを対応関係求出手段２に出力し、対応関係求出手段２は、このＳ枚のフレームのうちの基準フレームの画素および他のフレームの画素の対応関係を求める。ここで対応関係求出手段２の動作を説明する。なお、動画像データＭ０はカラーの動画像を表すものであり、各フレームはＹ，Ｃｂ，Ｃｒの輝度色差成分からなるものとする。また、以降の説明において、Ｙ，Ｃｂ，Ｃｒの各成分に対して処理が行われるが、行われる処理は全ての成分について同様であるため、本実施形態においては輝度成分Ｙの処理について詳細に説明し、色差成分Ｃｂ，Ｃｒに対する処理については説明を省略する。
【００３１】
サンプリング手段１から出力されてきたＳ枚のフレームは、例として１つの基準フレームＦｒＮを先頭にして、基準フレームＦｒＮに近い順からＦｒＮ＋１，ＦｒＮ＋２．．．ＦｒＮ＋（Ｓ−１）のように連続して並んだものである。ここで、フレームＦｒＮ＋１と基準フレームＦｒＮとを例にして対応関係求出手段２の動作を説明する。なお、以降では、作成しようとする合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍（倍率が４倍となる）の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい。
【００３２】
対応関係求出手段２は、以下のようにしてフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係を求める。図３はフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の求出を説明するための図である。なお、図３において、基準フレームＦｒＮに含まれる円形の被写体が、フレームＦｒＮ＋１においては図面上右側に若干移動しているものとする。
【００３３】
まず、対応関係求出手段２は、基準フレームＦｒＮ上に１または複数の矩形領域からなる基準パッチＰ０を配置する。図３（ａ）は、基準フレームＦｒＮ上に基準パッチＰ０が配置された状態を示す図である。図３（ａ）に示すように、本実施形態においては、基準パッチＰ０は４×４の矩形領域からなるものとする。次いで、図３（ｂ）に示すように、フレームＦｒＮ＋１の適当な位置に基準パッチＰ０と同様のパッチＰ１を配置し、基準パッチＰ０内の画像とパッチＰ１内の画像との相関を表す相関値を算出する。なお、相関値は下記の式（１）により平均二乗誤差として算出することができる。また、座標軸は紙面左右方向にｘ軸、紙面上下方向にｙ軸をとるものとする。
【００３４】
【数１】

但し、Ｅ：相関値
ｐｉ，ｑｉ：基準パッチＰ０，Ｐ１内にそれぞれ対応する画素の画素値
Ｎ：基準パッチＰ０およびパッチＰ１内の画素数
次いで、フレームＦｒＮ＋１上のパッチＰ１を上下左右の４方向に一定画素±Δｘ，±Δｙ移動し、このときのパッチＰ１内の画像と基準フレームＦｒＮ上の基準パッチＰ０内の画像との相関値を算出する。ここで、相関値は上下左右方向のそれぞれについて算出され、各相関値をそれぞれＥ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）とする。
【００３５】
そして、移動後の４つの相関値Ｅ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を相関勾配として求め、この方向に予め設定した実数値倍だけ図３（ｃ）に示すようにパッチＰ１を移動する。具体的には、下記の式（２）により係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）を算出し、これらの係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）から下記の式（３），式（４）により相関勾配ｇｘ，ｇｙを算出する。
【００３６】
【数２】

そして、算出された相関勾配ｇｘ，ｇｙに基づいてパッチＰ１の全体を（−λ１ｇｘ，−λ１ｇｙ）移動し、さらに上記と同様の処理を繰り返すことにより、図３（ｄ）に示すようにパッチＰ１がある位置に収束するまで反復的にパッチＰ１を移動する。ここで、λ１は収束の速さを決定するパラメータであり、実数値をとるものとする。なお、λ１をあまり大きな値とすると反復処理により解が発散してしまうため、適当な値（例えば１０）を選ぶ必要がある。
【００３７】
さらに、パッチＰ１の格子点を座標軸に沿った４方向に一定画素移動させる。このとき、移動した格子点を含む矩形領域は例えば図４に示すように変形する。そして、変形した矩形領域について基準パッチＰ０の対応する矩形領域との相関値を算出する。この相関値をそれぞれＥ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）とする。
【００３８】
そして、上記と同様に、変形後の４つの相関値Ｅ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を求め、この方向に予め設定した実数値倍だけパッチＰ１の格子点を移動する。これをパッチＰ１の全ての格子点について行い、これを１回の処理とする。そして格子点の座標が収束するまでこの処理を繰り返す。
【００３９】
これにより、パッチＰ１の基準パッチＰ０に対する移動量および変形量が求まり、これに基づいて基準パッチＰ０内の画素とパッチＰ１内の画素との対応関係を求めることができる。
【００４０】
対応関係求出手段２は、このようにしてサンプリング手段１から出力されてきたフレームに対して対応関係を求める。
【００４１】
座標変換手段３などからなるフレーム統合手段は、対応関係求出手段２により求められた対応関係に基づいて、サンプリング手段１から出力されてきたＳ枚のフレームを用いて合成フレームを作成するものである。説明上の便宜のため、まず、Ｓを２として、すなわち、サンプリング手段１によりサンプリングしたフレームは、基準フレームＦｒＮおよびＦｒＮ＋１のみであると仮定して、フレーム統合手段の動作を説明する。
【００４２】
座標変換手段３は以下のようにしてフレームＦｒＮ＋１を基準フレームＦｒＮの座標空間に座標変換して座標変換済みフレームＦｒＴ０を取得する。なお、以降の説明においては、基準フレームＦｒＮの基準パッチＰ０内の領域およびフレームＦｒＮ＋１のパッチＰ１内の領域についてのみ変換、補間演算および合成が行われる。
【００４３】
本実施形態においては、座標変換は双１次変換を用いて行うものとする。双１次変換による座標変換は、下記の式（５），（６）により定義される。
【００４４】
【数３】

式（５），（６）は、２次元座標上の４点（ｘｎ，ｙｎ）（１≦ｎ≦４）で与えられたパッチＰ１内の座標を、正規化座標系（ｕ，ｖ）（０≦ｕ，ｖ≦１）によって補間するものであり、任意の２つの矩形内の座標変換は、式（５），（６）および式（５），（６）の逆変換を組み合わせることにより行うことができる。
【００４５】
ここで、図５に示すように、パッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）が対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）内のどの位置に対応するかを考える。まずパッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）について、正規化座標（ｕ，ｖ）を求める。これは式（５），（６）の逆変換により求める。そしてこのときの（ｕ，ｖ）と対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）を元に、式（５），（６）から点（ｘ，ｙ）に対応する座標（ｘ′，ｙ′）を求める。ここで、点（ｘ，ｙ）が本来画素値が存在する整数座標であるのに対し、点（ｘ′，ｙ′）は本来画素値が存在しない実数座標となる場合があるため、変換後の整数座標における画素値は、基準パッチＰ０の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に変換された座標（ｘ′，ｙ′）の画素値の荷重和として求めるものとする。
【００４６】
具体的には、図６に示すように基準パッチＰ０上における整数座標ｂ（ｘ，ｙ）について、その８近傍の整数座標ｂ（ｘ−１，ｙ−１），ｂ（ｘ，ｙ−１），ｂ（ｘ＋１，ｙ−１），ｂ（ｘ−１，ｙ），ｂ（ｘ＋１，ｙ），ｂ（ｘ−１，ｙ＋１），ｂ（ｘ，ｙ＋１），ｂ（ｘ＋１，ｙ＋１）に囲まれる領域内に変換されたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｍ個の画素値が８近傍の画素に囲まれる領域内に変換され、変換された各画素の画素値をＩｔｊ（ｘ°，ｙ°）（１≦ｊ≦ｍ）とすると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は、下記の式（７）により算出することができる。なお、式（７）においてφは荷重和演算を表す関数である。
【００４７】
【数４】

但し、Ｗｉ（１≦ｊ≦ｍ）：画素値Ｉｔｊ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積
ここで、簡単のため、図６を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉｔ１，Ｉｔ２が変換された場合について考えると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は下記の式（８）により算出することができる。
【００４８】
【数５】

但し、Ｗ１＝ｕ×ｖ、Ｗ２＝（１−ｓ）×（１−ｔ）
以上の処理をパッチＰ１内の全ての画素について行うことにより、パッチＰ１内の画像が基準フレームＦｒＮの座標空間に変換されて、座標変換済みフレームＦｒＴ０が得られる。
【００４９】
時空間補間手段４は、フレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得する。具体的には、まず図７に示すように、最終的に必要な画素数を有する統合画像（本実施形態においては、フレームＦｒＮ，ＦｒＮ＋１の縦横それぞれ２倍の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい）を用意し、対応関係求出手段２において求められた対応関係に基づいて、フレームＦｒＮ＋１（パッチＰ１内の領域）の画素の画素値を統合画像上に割り当てる。この割り当てを行う関数をΠとすると、下記の式（９）によりフレームＦｒＮ＋１の各画素の画素値が統合画像上に割り当てられる。
【００５０】
【数６】

但し、Ｉ１Ｎ＋１（ｘ°，ｙ°）：統合画像上に割り当てられたフレームＦｒＮ＋１の画素値
ＦｒＮ＋１（ｘ，ｙ）：フレームＦｒＮ＋１の画素値
このように統合画像上にフレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ°，ｙ°）を得、各画素についてＩ１（ｘ°，ｙ°）（＝Ｉ１Ｎ＋１（ｘ°，ｙ°））の画素値を有する第１の補間フレームＦｒＨ１を取得する。
【００５１】
ここで、画素値を統合画像上に割り当てる際に、統合画像の画素数とフレームＦｒＮ＋１の画素数との関係によっては、フレームＦｒＮ＋１上の各画素が統合画像の整数座標（すなわち画素値が存在すべき座標）に対応しない場合がある。本実施形態においては、後述するように合成時において統合画像の整数座標における画素値を求めるものであるが、以下、合成時の説明を容易にするために統合画像の整数座標における画素値の算出について説明する。
【００５２】
統合画像の整数座標における画素値は、統合画像の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に割り当てられたフレームＦｒＮ＋１上の各画素の画素値の荷重和として求める。
【００５３】
すなわち、図８に示すように統合画像における整数座標ｐ（ｘ，ｙ）については、その８近傍の整数座標ｐ（ｘ−１，ｙ−１），ｐ（ｘ，ｙ−１），ｐ（ｘ＋１，ｙ−１），ｐ（ｘ−１，ｙ），ｐ（ｘ＋１，ｙ），ｐ（ｘ−１，ｙ＋１），ｐ（ｘ，ｙ＋１），ｐ（ｘ＋１，ｙ＋１）に囲まれる領域内に割り当てられたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｋ個の画素値が８近傍の画素に囲まれる領域内に割り当てられ、割り当てられた各画素の画素値をＩ１Ｎ＋１ｉ（ｘ°，ｙ°）（１≦ｉ≦ｋ）とすると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は、下記の式（１０）により算出することができる。なお、式（１０）においてΦは荷重和演算を表す関数である。
【００５４】
【数７】

但し、Ｍｉ（１≦ｉ≦ｋ）：画素値Ｉ１Ｎ＋１ｉ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積
ここで、簡単のため、図８を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉ１Ｎ＋１１，Ｉ１Ｎ＋１２が割り当てられた場合について考えると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は下記の式（１１）により算出することができる。
【００５５】
【数８】

但し、Ｍ１＝ｕ×ｖ、Ｍ２＝（１−ｓ）×（１−ｔ）
そして、統合画像の全ての整数座標について、フレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）を得ることができる。この場合、第１の補間フレームＦｒＨ１の各画素値Ｉ１（ｘ＾，ｙ＾）はＩ１Ｎ＋１（ｘ＾，ｙ＾）となる。
【００５６】
なお、上記ではフレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得しているが、フレームＦｒＮ＋１とともに基準フレームＦｒＮをも用いて第１の補間フレームＦｒＨ１を取得してもよい。この場合、基準フレームＦｒＮの画素は、統合画像の整数座標に補間されて直接割り当てられることとなる。
【００５７】
空間補間手段５は、基準フレームＦｒＮに対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、第２の補間フレームＦｒＨ２を取得する。ここで、第２の補間フレームＦｒＨ２の実数座標の画素値をＩ２（ｘ°，ｙ°）とすると、画素値Ｉ２（ｘ°，ｙ°）は下記の式（１２）により算出される。
【００５８】
【数９】

但し、ｆ：補間演算の関数
なお、補間演算としては、線形補間演算、スプライン補間演算等の種々の補間演算を用いることができる。
【００５９】
また、本実施形態においては、合成フレームＦｒＧは基準フレームＦｒＮの縦横それぞれ２倍の画素数であるため、基準フレームＦｒＮに対して縦横方向に画素数を２倍とする補間演算を施すことにより、統合画像の画素数と同一の画素数を有する第２の補間フレームＦｒＨ２を取得してもよい。この場合、補間演算により得られる画素値は統合画像における整数座標の画素値であり、この画素値をＩ２（ｘ＾，ｙ＾）とすると、画素値Ｉ２（ｘ＾，ｙ＾）は下記の式（１３）により算出される。
【００６０】
【数１０】

相関値算出手段６は、座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの相対応する画素同士の相関値ｄ０（ｘ，ｙ）を算出する。具体的には下記の式（１４）に示すように、座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値を相関値ｄ０（ｘ，ｙ）として算出する。なお、相関値ｄ０（ｘ，ｙ）は座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの相関が大きいほど小さい値となる。
【００６１】
【数１１】

なお、本実施形態では座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値を相関値ｄ０（ｘ，ｙ）として算出しているが、差の二乗を相関値として算出してもよい。また、相関値を画素毎に算出しているが、座標変換済みフレームＦｒＴ０および基準フレームＦｒＮを複数の領域に分割し、領域内の全画素値の平均値または加算値を算出して、領域単位で相関値を得てもよい。また、画素毎に算出された相関値ｄ０（ｘ，ｙ）のフレーム全体についての平均値または加算値を算出して、フレーム単位で相関値を得てもよい。また、座標変換済みフレームＦｒＴ０および基準フレームＦｒＮのヒストグラムをそれぞれ算出し、座標変換済みフレームＦｒＴ０および基準フレームＦｒＮのヒストグラムの平均値、メディアン値または標準偏差の差分値、もしくはヒストグラムの差分値の累積和を相関値として用いてもよい。また、基準フレームＦｒＮに対する座標変換済みフレームＦｒＴ０の動きを表す動きベクトルを基準フレームＦｒＮの各画素または小領域毎に算出し、算出された動ベクトルの平均値、メディアン値または標準偏差を相関値として用いてもよく、動ベクトルのヒストグラムの累積和を相関値として用いてもよい。
【００６２】
重み算出手段７は、相関値算出手段６により算出された相関値ｄ０（ｘ，ｙ）から第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み付け加算する際の重み係数α（ｘ，ｙ）を取得する。具体的には、図９に示すテーブルを参照して重み係数α（ｘ，ｙ）を取得する。なお、図９に示すテーブルは、相関値ｄ０（ｘ，ｙ）が小さい、すなわち座標変換済みフレームＦｒＴ０および基準フレームＦｒＮの相関が大きいほど、重み係数α（ｘ，ｙ）の値が１に近いものとなる。なお、ここでは相関値ｄ０（ｘ，ｙ）は８ビットの値をとるものとする。
【００６３】
さらに、重み算出手段７は、フレームＦｒＮ＋１を統合画像上に割り当てた場合と同様に重み係数α（ｘ，ｙ）を統合画像上に割り当てることにより、フレームＦｒＮ＋１の画素が割り当てられた座標（実数座標）における重み係数α（ｘ°，ｙ°）を算出する。具体的には、空間補間手段５における補間演算と同様に、重み係数α（ｘ，ｙ）に対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、重み係数α（ｘ°，ｙ°）を取得する。
【００６４】
なお、統合画像の上記実数座標における重み係数α（ｘ°，ｙ°）を補間演算により算出することなく、基準フレームＦｒＮを統合画像のサイズとなるように拡大または等倍して拡大または等倍基準フレームを取得し、統合画像におけるフレームＦｒＮ＋１の画素が割り当てられた実数座標の最近傍に対応する拡大または等倍基準フレームの画素について取得された重み係数α（ｘ，ｙ）の値をその実数座標の重み係数α（ｘ°，ｙ°）として用いてもよい。
【００６５】
さらに、統合画像の整数座標における画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）が取得されている場合には、統合画像上に割り当てた重み係数α（ｘ°，ｙ°）について上記と同様に荷重和を求めることにより、統合画像の整数座標における重み係数α（ｘ＾，ｙ＾）を算出すればよい。
【００６６】
合成手段８は、第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み算出手段７により算出された重み係数α（ｘ°，ｙ°）に基づいて重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧ（ｘ＾，ｙ＾）を有する合成フレームＦｒＧを取得する。具体的には、下記の式（１５）により第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２の対応する画素の画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）を重み係数α（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行い合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【００６７】
【数１２】

なお、式（１５）において、ｋは合成フレームＦｒＧすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられたフレームＦｒＮ＋１の画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）および重み係数α（ｘ°，ｙ°）を有するものである。
【００６８】
本実施形態においては、基準フレームＦｒＮと座標変換済みフレームＦｒＴ０との相関が大きいほど、第１の補間フレームＦｒＨ１の重み付けが大きくされて、第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２の重み付け加算が行われる。
【００６９】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【００７０】
また、上記では輝度成分Ｙについての合成フレームＦｒＧを求める処理について説明したが、色差成分Ｃｂ，Ｃｒについても同様に合成フレームＦｒＧが取得される。そして、輝度成分Ｙから求められた合成フレームＦｒＧ（Ｙ）および色差成分Ｃｂ，Ｃｒから求められた合成フレームＦｒＧ（Ｃｂ），ＦｒＧ（Ｃｒ）を合成することにより、最終的な合成フレームが得られることとなる。なお、処理の高速化のためには、輝度成分Ｙについてのみ基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係を求め、色差成分Ｃｂ，Ｃｒについては輝度成分Ｙについて求められた対応関係に基づいて処理を行うことが好ましい。
【００７１】
また、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２並びに整数座標の重み係数α（ｘ＾，ｙ＾）を取得した場合には、下記の式（１６）により第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２の対応する画素の画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）を重み係数α（ｘ＾，ｙ＾）により重み付け加算して合成フレームＦｒＧの画素値ＦｒＧ（ｘ，ｙ）を取得すればよい。
【００７２】
【数１３】

図１０は、本実施形態において行われる処理を示すフローチャートである。なお、ここでは統合画像のフレームＦｒＮ＋１の画素が割り当てられた実数座標について第１の補間フレームＦｒＨ１、第２の補間フレームＦｒＨ２および重み係数α（ｘ°，ｙ°）を取得するものとして説明する。図１０に示すように、本実施形態の動画像合成装置の動作は、動画像データＭ０が入力される（Ｓ２）ことから始まる。動画像データＭ０から合成フレームを作成するため、サンプリング手段１の縮小手段１２は、動画像データＭ０に対して縮小処理を施して縮小動画像データを得る（Ｓ４）。サンプリング実行手段１８は、相関取得手段１４により取得した各縮小フレームと縮小基準フレームとの相関に基づいて、縮小基準フレームから、この相関が所定の閾値より低い１対の隣接する縮小フレームのうち、基準フレームに近い縮小フレームまでの範囲をサンプリング範囲とし、動画像データＭ０においてこの範囲に対応する範囲内のフレームをサンプリングする一方、中止手段１６により相関手段１４の処理が中止されたとき、縮小基準フレームフレームから、中止されたときの縮小フレームまでの範囲をサンプリング範囲とし、動画像データＭ０においてこの範囲に対応する範囲内のフレームをサンプリングして、サンプリングして得たＳ枚のフレームを対応関係求出手段２に出力する（Ｓ６）。対応関係求出手段２は、基準フレームＦｒＮ上に基準パッチを配置する（Ｓ８）と共に、フレームＦｒＮ＋１上に基準パッチと同様のパッチを配置して、パッチ内の画像と、基準パッチ内の画像との相関値Ｅが収束するまで、パッチを移動および変形する（Ｓ１２、Ｓ１４）。そして、対応関係求出手段２は、フレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係を求める（Ｓ１８）。対応関係求出手段２は、ステップＳ１２からステップＳ１８までの処理を、サンプリング手段１によりサンプリングしたＳ枚のフレームのうち、基準フレームを除く全てのフレームに対して行う（Ｓ０：Ｙｅｓ、Ｓ２５）。
【００７３】
ステップＳ３０からステップＳ４０までは、座標変換手段などからなるフレーム統合手段の動作を示している。ここでも、説明上の便宜のため、例として、対応関係求出手段２からフレームＦｒＮ＋１のみについて基準フレームＦｒＮとの対応関係が求められたとして説明をする。
【００７４】
対応関係求出手段２により求められた対応関係に基づいて、座標変換手段３によりフレームＦｒＮ＋１が基準フレームＦｒＮの座標空間に変換されて座標変換済みフレームＦｒＴ０が取得される（Ｓ３０）。そして、相関値算出手段６により座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの対応する画素の相関値ｄ０（ｘ，ｙ）が算出される（Ｓ３２）。さらに、相関値ｄ０に基づいて重み算出手段７により重み係数α（ｘ°，ｙ°）が算出される（Ｓ３４）。
【００７５】
一方、求められた対応関係に基づいて、時空間補間手段４により第１の補間フレームＦｒＨ１が取得され（Ｓ３６）、空間補間手段５により第２の補間フレームＦｒＨ２が取得される（Ｓ３８）。
【００７６】
なお、Ｓ３６〜Ｓ３８の処理を先に行ってもよく、ステップＳ３０〜Ｓ３４の処理およびステップＳ３６〜Ｓ３８の処理を並列に行ってもよい。
【００７７】
そして、合成手段８において上記式（１５）により第１の補間フレームＦｒＨ１の画素Ｉ１（ｘ°，ｙ°）と第２の補間フレームＦｒＨ２の画素Ｉ２（ｘ°，ｙ°）とが合成されて、画素ＦｒＧ（ｘ＾，ｙ＾）からなる合成フレームＦｒＧが取得され（Ｓ４０）、処理を終了する。
【００７８】
上述において、説明上の便宜のため、サンプリング手段１により基準フレームＦｒＮとＦｒＮ＋１のみサンプリングされ、フレーム統合手段は、基準フレームＦｒＮとＦｒＮ＋１との２つのフレームを用いて合成フレームを作成することについて説明したが、例えばＴ個（Ｔ≧３）のフレームＦｒＮ＋ｔ′（０≦ｔ′≦Ｔ−１）から合成フレームＦｒＧを取得する場合（すなわち、サンプリング手段１により３つ以上のフレームがサンプリングされた場合）、基準フレームＦｒＮ（＝ＦｒＮ＋０）以外の他のフレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）について、統合画像上に画素値を割り当てて複数の第１の補間フレームＦｒＨ１ｔを得る。なお、第１の補間フレームＦｒＨ１ｔの画素値をＩ１ｔ（ｘ°，ｙ°）とする。
【００７９】
また、基準フレームＦｒＮに対して、統合画像上のフレームＦｒＮ＋ｔの画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、フレームＦｒＮ＋ｔに対応した第２の補間フレームＦｒＨ２ｔを取得する。なお、第２の補間フレームＦｒＨ２ｔの画素値をＩ２ｔ（ｘ°，ｙ°）とする。
【００８０】
さらに、求められた対応関係に基づいて、対応する第１および第２の補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔを重み付け加算する重み係数αｔ（ｘ°，ｙ°）を取得する。
【００８１】
そして、互いに対応する第１および第２の補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔを重み係数αｔ（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧｔ（ｘ＾，ｙ＾）を有する中間合成フレームＦｒＧｔを取得する。具体的には、下記の式（１７）により第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＨ２ｔの対応する画素の画素値Ｉ１ｔ（ｘ°，ｙ°），Ｉ２ｔ（ｘ°，ｙ°）を対応する重み係数αｔ（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行い、中間合成フレームＦｒＧｔの画素値ＦｒＧｔ（ｘ＾，ｙ＾）を取得する。
【００８２】
【数１４】

なお、式（１７）において、ｋは中間合成フレームＦｒＧｔすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられたフレームＦｒＮ＋ｔの画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１ｔ（ｘ°，ｙ°），Ｉ２ｔ（ｘ°，ｙ°）および重み係数αｔ（ｘ°，ｙ°）を有するものである。
【００８３】
そして、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを取得する。具体的には、下記の式（１８）により中間合成フレームＦｒＧｔを対応する画素同士で加算することにより、合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【００８４】
【数１５】

なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【００８５】
また、３以上の複数のフレームから合成フレームＦｒＧを取得する場合、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＨ２ｔ並びに整数座標の重み係数αｔ（ｘ＾，ｙ＾）を取得してもよい。この場合、各フレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）について、各フレームＦｒＮ＋ｔの画素値ＦｒＮ＋ｔ（ｘ，ｙ）を統合座標の全ての整数座標に割り当てて画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）すなわち画素値Ｉ１ｔ（ｘ＾，ｙ＾）を有する第１の補間フレームＦｒＨ１ｔを取得する。そして、全てのフレームＦｒＮ＋ｔについて割り当てられた画素値Ｉ１ｔ（ｘ＾，ｙ＾）と第２の補間フレームＦｒＨ２ｔの画素値Ｉ２ｔ（ｘ＾，ｙ＾）とを加算することにより複数の中間合成フレームＦｒＧｔを取得し、これらをさらに加算して合成フレームＦｒＧを取得すればよい。
【００８６】
具体的には、まず、下記の式（１９）に示すように、全てのフレームＦｒＮ＋ｔについて、統合画像の整数座標における画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）を算出する。そして、式（２０）に示すように、画素値Ｉ１ｔ（ｘ＾，ｙ＾）と画素値Ｉ２ｔ（ｘ＾，ｙ＾）とを重み係数α（ｘ＾，ｙ＾）により重み付け加算することにより中間合成フレームＦｒＧｔを得る。そして、上記式（１９）に示すように、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを取得する。
【００８７】
【数１６】

なお、３以上の複数のフレームから合成フレームＦｒＧを取得する場合、座標変換済みフレームＦｒＴ０は複数取得されるため、相関値および重み係数もフレーム数に対応して複数取得される。この場合、複数取得された重み係数の平均値や中間値を対応する第１および第２の補間フレームＦｒＨ１，ＦｒＨ２を重み付け加算する際の重み係数としてもよい。
【００８８】
このように、本実施形態の動画像合成装置において、サンプリング手段１は、動画像から合成フレームを作成する際に、連続シーンを示す複数のフレームを連続フレーム群として検出して、このフレーム群から合成フレームを作成するようにしているので、操作者が手動でフレームのサンプリングをする必要がなく、便利である。また、連続フレーム群内の複数のフレームが、略同様な内容のシーンを示すものであるので、高品質な合成フレームを作成するのに適切である。
【００８９】
また、本実施形態の動画像合成装置において、所定の上限値を設け、連続フレーム群を検出する際に、１つの連続フレーム群に対してフレームの数がこの所定の上限値に到達したとき、この連続フレーム群に対するフレームの検出を中止するようにしているので、1枚の合成フレームを作成するのに無意味に過多なフレームを用いることを避け、効率の良い処理を図ることができる。
【００９０】
上述において、本発明の一実施形態について説明したが、本発明は、上述した実施形態に限られるものではなく、本発明の主旨を変えない限り、種々の変更、増減をすることができる。
【００９１】
例えば、図１に示す実施形態において、サンプリング手段１の相関取得手段１４は、各隣接する縮小フレーム同士間の輝度成分Ｙについてのユーグリッド距離を相関値として求めているが、Ｙ，Ｃｂ，Ｃｒの３つの成分について夫々ユーグリッド距離を求め、この３つのユーグリッド距離の和を相関値としてもよく、隣接する縮小フレームの、各々の相互に対応する画素間の画素値の差分を計算し、各々の差分の絶対値の和を相関値として求めるようにしてもよい。
【００９２】
さらに、輝度成分Ｙ（またはＹ，Ｃｂ，Ｃｒの３つ成分）について求めたユーグリッド距離（またはユーグリッド距離の和）を相関値として求める際に、予め輝度成分Ｙ（またはＹ，Ｃｂ，Ｃｒの３つの成分）を、１より大きい値で割ってからヒストグラムを求め、処理の高速化を図るようにしてもよい。
【００９３】
また、図１に示す実施形態において、サンプリング手段１の相関取得手段１４は、動画像データＭ０の縮小画像データを用いて相関値を求めているが、動画像データＭ０そのものまたは動画像データＭ０を間引きして得た動画像データを用いるようにしてもよい。
【図面の簡単な説明】
【図１】本発明の実施形態による動画像合成装置の構成を示すブロック図
【図２】図１に示す動画像合成装置のサンプリング手段１の構成を示すブロック図
【図３】フレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の求出を説明するための図
【図４】パッチの変形を説明するための図
【図５】パッチＰ１と基準パッチＰ０との対応関係を説明するための図
【図６】双１次内挿を説明するための図
【図７】フレームＦｒＮ＋１の統合画像への割り当てを説明するための図
【図８】統合画像における整数座標の画素値の算出を説明するための図
【図９】重み係数を求めるテーブルを示す図
【図１０】図１に示す動画像合成装置において行われる処理を示すフローチャート
【符号の説明】
１ サンプリング手段
２ 対応関係求出手段
３ 座標変換手段
４ 時空間補間手段
５ 空間補間手段
６ 相関値算出手段
７ 重み算出手段
８ 合成手段
１２ 縮小手段
１４ 相関取得手段
１６ 中止手段
１８ サンプリング実行手段

Claims (13)

1. 動画像中に任意に設定された所定の基準フレームおよび該基準フレームの近傍のフレームのうちの少なくとも一部のフレームについて、フレーム間の画像情報の相関を計算し、該相関に基づいて該基準フレームと内容的特徴が類似するフレームを検出して、検出されたフレームと前記基準フレームとからなる連続するフレーム群を得、
   該連続するフレーム群に含まれる前記複数のフレームのうち、前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、
   該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、
   該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、
   該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求め、
   求められた各々の前記対応関係に基づいて前記複数のフレームから合成フレームを作成することを特徴とする動画像合成方法。
2. 前記基準フレームから開始し、隣接するフレーム同士間の相関を求め、
   前記基準フレームから、前記相関が所定の第１の閾値より低い一対の前記隣接するフレームのうち、前記基準フレームに近いフレームまでの各々のフレームを前記連続するフレーム群として検出することを特徴とする請求項１記載の動画像合成方法。
3. 前記隣接するフレームの夫々のＹＣＣ成分のうちの少なくとも１つの成分についてヒストグラムを求め、
   前記ヒストグラムを用いて前記隣接するフレーム間の前記成分毎のユーグリッド距離を計算し、
   各成分のユーグリッド距離の和を求め、
   該ユーグリッド距離の和が所定の第２の閾値より大きいとき、前記隣接するフレーム間の相関が前記所定の第１の閾値より低いとすることを特徴とする請求項２記載の動画像合成方法。
4. 前記隣接するフレームの対応する各々の画素間の画素値の差分を求め、
   前記各々の差分の絶対値の和を求め、
   該絶対値の和が所定の第３の閾値より大きいとき、前記隣接するフレーム間の相関が前記所定の第１の閾値より低いとすることを特徴とする請求項２記載の動画像合成方法。
5. 各フレームの縮小画像または間引き画像を用いて前記相関を求めることを特徴とする請求項２から４のいずれか１項記載の動画像合成方法。
6. 前記連続するフレーム群を構成する複数のフレームを検出する際に、既に検出されたフレームの数が所定の上限値に到達したとき、該連続するフレーム群に対するフレームの検出の処理を中止することを特徴とする請求項１から５のいずれか１項記載の動画像合成方法。
7. 動画像中に任意に設定された所定の基準フレームおよび該基準フレームの近傍のフレームのうちの少なくとも一部のフレームについて、フレーム間の画像情報の相関を計算し、該相関に基づいて該基準フレームと内容的特徴が類似するフレームを検出して、検出されたフレームと前記基準フレームとからなる連続するフレーム群を得る連続フレーム群検出手段と、
   該連続フレーム群検出手段により検出された前記連続するフレーム群に含まれる前記複数のフレームのうち、前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と略一致になるように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求める対応関係求出手段と、
   該対応関係求出手段により求められた各々の前記対応関係に基づいて前記複数のフレームから合成フレームを作成するフレーム統合手段とを備えてなることを特徴とする動画像合成装置。
8. 前記連続フレーム群検出手段が、前記基準フレームから開始し、隣接するフレーム同士間の相関を求める相関計算手段を備え、
   前記基準フレームから、前記相関が所定の第１の閾値より低い一対の前記隣接するフレームのうち、前記基準フレームに近いフレームまでの各々のフレームを前記連続するフレーム群として検出するものであることを特徴とする請求項７記載の動画像合成装置。
9. 前記相関計算手段が、前記隣接するフレームの夫々のＹＣＣ成分のうちの少なくとも１つの成分についてヒストグラムを求め、
   前記ヒストグラムを用いて前記隣接するフレーム間の前記成分毎のユーグリッド距離を計算し、
   各成分のユーグリッド距離の和を求めるものであり、
   前記連続フレーム群検出手段が、前記相関計算手段により求められた前記ユーグリッド距離の和が所定の第２の閾値より大きいとき、前記隣接するフレーム間の相関が前記所定の第１の閾値より低いとするものであることを特徴とする請求項８記載の動画像合成装置。
10. 前記相関計算手段が、前記隣接するフレームの対応する各々の画素間の画素値の差分を求め、
    前記各々の差分の絶対値の和を求めるものであり、
    前記連続フレーム群検出手段が、前記相関計算手段により求められた前記絶対値の和が所定の第３の閾値より大きいとき、前記隣接するフレーム間の相関が前記所定の第１の閾値より低いとするものであることを特徴とする請求項８記載の動画像合成装置。
11. 前記相関計算手段が、各フレームの縮小画像または間引き画像を用いて前記相関を求めることを特徴とする請求項８から１０のいずれか1項記載の動画像合成装置。
12. 前記連続フレーム群検出手段により、前記連続するフレーム群を構成する複数のフレームを検出する際に、既に検出されたフレームの数が所定の上限値に到達したとき、該連続するフレーム群に対するフレームの検出の処理を中止する連続フレーム検出中止手段をさらに備えたことを特徴とする請求項７から１１のいずれか1項記載の動画像合成装置。
13. 動画像中に任意に設定された所定の基準フレームおよび該基準フレームの近傍のフレームのうちの少なくとも一部のフレームについて、フレーム間の画像情報の相関を計算し、該相関に基づいて該基準フレームと内容的特徴が類似するフレームを検出して、検出されたフレームと前記基準フレームとからなる連続するフレーム群を得る連続フレーム群検出処理と、
    該連続するフレーム群に含まれる前記複数のフレームのうち、前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と略一致になるように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求める対応関係求出処理と、
    求められた各々の前記対応関係に基づいて前記複数のフレームから合成フレームを作成するフレーム統合処理とをコンピュータに実行させることを特徴とするプログラム。

Images