JPWO2013146508A1 - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

本技術は、より高品質なループ動画像を得ることができるようにする画像処理装置および方法、並びにプログラムに関する。フレーム列決定部は、入力された素材動画像から遷移元フレーム列と遷移先フレーム列を抽出し、部分フレーム列決定部は、遷移先フレーム列から、長さが異なるいくつかの部分フレーム列を抽出する。マッチング処理部は、遷移元フレーム列と部分フレーム列とのＤＰマッチングを行なって、互いに対応するフレームのペアを定め、ブレンド処理部は、各フレームペアの画像をブレンドすることで、遷移元フレーム列の画像から、遷移先フレーム列の画像へと遷移していく遷移期間のフレーム列を生成する。ループ動画像生成部は、素材動画像と遷移期間のフレーム列とに基づいて、ループ動画像を生成する。本技術は、画像処理装置に適用することができる。

Description

本技術は画像処理装置および方法、並びにプログラムに関し、特に、より高品質なループ動画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。

例えば、ビデオ映像素材からループ動画像を生成して提示するビデオテクスチャ技法が知られている。ビデオテクスチャ技法とは、数秒間のビデオ素材を繰り返し再生した場合に、繰り返しの映像のつなぎ目が目立たないように画像処理してループ動画像を生成する方法である。

このようなループ動画像は、１回分の繰り返しを記録したビデオ映像で、再生時にループ動画像の終わりのフレームと始まりのフレームを途切れなく再生することで、あたかも無限長のビデオ映像のように提示することができる。また、ループ動画像は、１回分の繰り返しのビデオ映像データだけを保存しておけばよいので、記憶容量や転送時間を節約することができる。

例えば、滝の流れる風景や風にたなびく旗など、周期のあるような映像であれば、ループ動画像として映像を繰り返し再生しても視聴者が違和感なく鑑賞することができる。そのため、ループ動画像は、デジタルフォトフレーム上での鑑賞やウェブサイトの広告動画像、パーソナルコンピュータ画面の背景動画像などの用途に適している。

このループ動画像を自動で生成する方法として、例えば非特許文献１に記載されたビデオテクスチャ技法が知られている。ビデオテクスチャ技法では、ループ動画像の繰り返しの再生区間、および遷移フレーム画像が自動で計算される。

具体的には、ビデオ映像に含まれる各フレーム画像について、任意の２つのフレーム画像の類似度が計算される。そして、計算された類似度の最も高いフレーム画像のペアが繰り返し再生のイン点とアウト点とされて、それらの両点の間が繰り返し再生されるようにループ動画像が生成される。このとき、イン点とアウト点の前後の遷移期間において、イン点とアウト点のつなぎ目が目立たないように、ビデオ映像のクロスフェード処理が行なわれる。

Video Textures, Arno Schodl, Richard Szeliski, David H. Salesin, Irfan Essa, Proceedings of SIGGRAPH 2000, pages 489-498, July 2000

しかしながら、上述した技術では、充分に高品質なループ動画像を得ることができない場合があった。

例えば、上述したビデオテクスチャ技法では、周期性のない動きが含まれるビデオ映像がループ動画像の素材とされた場合、類似度の高いイン点とアウト点がみつからないために、繰り返し再生時のつなぎ目が明らかになってしまうことがあり、好ましくない。そのため、より多様なビデオ映像素材に対応できるようなループ動画像の生成手法が望まれている。

本技術は、このような状況に鑑みてなされたものであり、より高品質なループ動画像を得ることができるようにするものである。

本技術の一側面の画像処理装置は、第１の動画像と第２の動画像のうちの一方から他方へと画像が遷移する遷移動画像を生成する画像処理装置であって、前記第１の動画像を構成するフレームの画像と、前記第２の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第１の動画像と前記第２の動画像のフレームペアを探索するマッチング処理部と、時系列に並ぶ複数の前記フレームペアを、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差および前記第２の動画像のフレームの時間差に基づいて、時間方向に再配置する再配置処理部と、再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像を生成するブレンド処理部とを備える。

時系列に並ぶ複数の前記フレームペアの前記第１の動画像のフレームと前記第２の動画像のフレームは、それぞれ時系列の昇順または降順に並ぶようにすることができる。

前記再配置処理部には、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差と前記第２の動画像のフレームの時間差とを重み付き加算して得られる時間差で、互いに隣接する前記フレームペアが配置されるように、前記再配置を行なわせることができる。

前記重み付き加算に用いられる前記第１の動画像のフレームの時間差の重みを、互いに隣接する前記フレームペアの各前記第１の動画像のフレームの重みの平均値とし、前記第１の動画像の各フレームの重みを、前記第１の動画像の先頭側にあるフレームほど大きくなるように定められるようにすることができる。

前記マッチング処理部には、所定の前記フレームペアを起点として、前記第１の動画像に対する前記第２の動画像の再生速度を変化させたときに、同時に提示されるべき前記第１の動画像と前記第２の動画像のフレームのペアの前記類似の度合いに基づいて、いくつかの前記再生速度のフレームのペアのうちの何れかを前記所定の前記フレームペアに隣接する前記フレームペアとさせることができる。

前記マッチング処理部には、互いに長さの異なる複数の前記第１の動画像について、時系列に並ぶ複数の前記フレームペアを求めさせ、前記ブレンド処理部には、前記第１の動画像ごとに求めた複数の前記フレームペアのうち、各フレームについての前記類似の度合いに基づく評価が最も高いものを用いて前記遷移動画像を生成させることができる。

画像処理装置には、前記遷移動画像に基づいてループ動画像を生成するループ動画像生成部をさらに設けることができる。

本技術の一側面の画像処理方法またはプログラムは、第１の動画像と第２の動画像のうちの一方から他方へと画像が遷移する遷移動画像を生成する画像処理方法またはプログラムであって、前記第１の動画像を構成するフレームの画像と、前記第２の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第１の動画像と前記第２の動画像のフレームペアを探索し、時系列に並ぶ複数の前記フレームペアを、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差および前記第２の動画像のフレームの時間差に基づいて、時間方向に再配置し、再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像を生成するステップを含む。

本技術の一側面においては、第１の動画像と第２の動画像のうちの一方から他方へと画像が遷移する遷移動画像を生成する画像処理において、前記第１の動画像を構成するフレームの画像と、前記第２の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第１の動画像と前記第２の動画像のフレームペアが探索され、時系列に並ぶ複数の前記フレームペアが、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差および前記第２の動画像のフレームの時間差に基づいて、時間方向に再配置され、再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像が生成される。

本技術の一側面によれば、より高品質なループ動画像を得ることができる。

ビデオテクスチャ技法によるループ動画像の生成について説明する図である。 二次元差分値行列について説明する図である。 二次元差分値行列と遷移コストについて説明する図である。 ＤＰマッチングによる最小コスト経路の探索について説明する図である。 ＤＰマッチングによる最小コスト経路の探索について説明する図である。 ＤＰ平面におけるエッジの傾斜制限について説明する図である。 エッジ長を考慮したコストの算出について説明する図である。 ブレンド処理について説明する図である。 逆転再生を含むループ動画像の生成について説明する図である。 画像処理装置の構成例を示す図である。 ループ動画像生成処理について説明するフローチャートである。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
［ループ動画像の生成について］
まず、ビデオテクスチャ技法によるループ動画像の生成について説明する。

なお、ここではループ動画像の素材となる動画像（ビデオ映像）は１つであり、１つの動画像内から繰り返し再生される区間を決定してループ動画像を生成するものとする。

例えば、図１に示すように、動画像ＭＴ１１が素材として与えられ、この動画像ＭＴ１１が用いられてループ動画像ＬＰ１１が生成されるとする。

なお、図１において、動画像ＭＴ１１やループ動画像ＬＰ１１を表す長方形内の複数の長方形のそれぞれは、１つのフレームの画像を表している。また、図１では、図中、左端にあるフレームが、フレーム番号が最も小さいフレームとなっており、通常の再生時には、左端のフレームから右端のフレームまで順番に再生されていく。例えば、動画像ＭＴ１１の図中、左端のフレームが１番目のフレームであり、そのフレームの右側に隣接するフレームが２番目のフレームである。

ビデオテクスチャ技法では、２つのステップの処理によりループ動画像が生成される。

まず、第１のステップでは、動画像ＭＴ１１のなかから、遷移元のフレーム列と、遷移先のフレーム列の２つのフレーム列が決定される。つまり、遷移元と遷移先の各フレーム列（区間）のイン点とアウト点の対応が決定される。

図１の例では、動画像ＭＴ１１における５つのフレームからなる区間が遷移元のフレーム列ＴＳ１１とされ、動画像ＭＴ１１におけるフレーム列ＴＳ１１より前にある５つのフレームからなる区間が遷移先のフレーム列ＴＤ１１とされている。

ここで、フレーム列ＴＳ１１とフレーム列ＴＤ１１において、それらのフレーム列の先頭のフレームおよび最後のフレームが、それぞれイン点およびアウト点である。

すなわち、フレーム列ＴＳ１１では、先頭のフレームＦＳ_ｉｎがイン点であり、最後のフレームＦＳ_ｏｕｔがアウト点である。また、フレーム列ＴＤ１１では、先頭のフレームＦＤ_ｉｎがイン点であり、最後のフレームＦＤ_ｏｕｔがアウト点である。

フレーム列ＴＳ１１とフレーム列ＴＤ１１は、それらのフレーム列の同じ位置にあるフレームの画像が互いに類似した画像となるように定められる。通常、遷移元のフレーム列ＴＳ１１は、素材となる動画像ＭＴ１１の終端付近から選択され、遷移先のフレーム列ＴＤ１１は、動画像ＭＴ１１の開始端付近から選択される。

また、第２のステップでは、動画像ＭＴ１１のフレームＦＤ_ｉｎからフレームＦＳ_ｏｕｔまでの区間の画像データに基づいて、ループ動画像ＬＰ１１が生成される。

具体的には、遷移元のフレーム列ＴＳ１１と遷移先のフレーム列ＴＤ１１とがブレンド処理されて、ループ動画像ＬＰ１１の後半の区間、すなわち遷移期間Ｔｒの各フレームの画像が生成される。ブレンド処理では、フレーム列ＴＳ１１とフレーム列ＴＤ１１の同じ位置にあるフレームの画像が重み付き加算されて、ループ動画像ＬＰ１１の遷移期間Ｔｒの各フレームの画像とされる。

したがって、例えば遷移期間Ｔｒの先頭のフレームＦＢ_ｉｎの画像は、遷移元のフレーム列ＴＳ１１における先頭のフレームＦＳ_ｉｎの画像と、遷移先のフレーム列ＴＤ１１における先頭のフレームＦＤ_ｉｎの画像とをブレンドして得られた画像である。

また、ループ動画像ＬＰ１１の遷移期間Ｔｒの最後のフレームＦＢ_ｏｕｔの画像は、遷移元のフレーム列ＴＳ１１における最後のフレームＦＳ_ｏｕｔの画像と、遷移先のフレーム列ＴＤ１１における最後のフレームＦＤ_ｏｕｔの画像とをブレンドして得られた画像である。

このようなブレンド処理により得られる遷移期間Ｔｒは、各フレームの画像が、遷移元のフレーム列ＴＳ１１の画像から、遷移先のフレーム列ＴＤ１１の画像へと徐々に変化（遷移）していく画像となる。

さらに、動画像ＭＴ１１におけるフレームＦＤ_ｏｕｔとフレームＦＳ_ｉｎの間にある区間ＮＴ１１が、そのままループ動画像ＬＰ１１の前半の区間Ｔｎとされ、区間Ｔｎと遷移期間Ｔｒとからなるループ動画像ＬＰ１１が得られる。

ループ動画像ＬＰ１１の再生時には、区間Ｔｎの先頭のフレームから遷移期間Ｔｒの最後のフレームまで順番に再生された後、再び区間Ｔｎの先頭のフレームに戻り、ループ動画像ＬＰ１１を構成する各フレームが繰り返し再生される。

なお、ループ動画像ＬＰ１１の生成時には、遷移に要するフレーム数、すなわち遷移期間Ｔｒのフレーム数は予めパラメータとして与えられている。また、ループ動画像ＬＰ１１の最小の長さである最小ループ動画像長Ｔｒ＿ｍｉｎ、すなわちフレームＦＤ_ｉｎからフレームＦＳ_ｉｎまでの区間の最小距離制約も、予めパラメータとして与えられている。

次に、遷移元のフレーム列ＴＳ１１と遷移先のフレーム列ＴＤ１１のイン点およびアウト点を決定する方法について説明する。

まず、入力された素材となる動画像を構成する任意のｉ番目のフレームｉの画像Ｆｉと、ｊ番目のフレームｊの画像Ｆｊについて、それらの画像の差分値Ｄ（ｉ，ｊ）が計算される。すなわち、次式（１）の計算が行なわれる。

なお、式（１）において、Ｆ_ｉ（ｘ，ｙ）は、画像Ｆｉの位置（ｘ，ｙ）にある画素の画素値を示しており、Ｆ_ｊ（ｘ，ｙ）は、画像Ｆｊの位置（ｘ，ｙ）にある画素の画素値を示している。したがって、式（１）では、画像Ｆｉと画像Ｆｊの全ての画素について、画像Ｆｉと画像Ｆｊの同じ位置にある画素の画素値の差分の二乗値が求められ、それらの二乗値の総和（積算値）がフレームｉとフレームｊの差分値Ｄ（ｉ，ｊ）とされる。

この差分値Ｄ（ｉ，ｊ）は、フレームｉの画像Ｆｉと、とフレームｊの画像Ｆｊとの類似の度合いを示しており、それらの画像が類似しているほど差分値Ｄ（ｉ，ｊ）の値は小さくなる。

ループ動画像の生成時には、素材となる動画像を構成する全ての（ｉ，ｊ）の組み合わせについて差分値Ｄ（ｉ，ｊ）が求められ、それらの差分値Ｄ（ｉ，ｊ）が二次元差分値行列ＭＤとして保存される。

ここで、二次元差分値行列ＭＤは、例えば図２に示すように、図中、縦方向をｉ軸とし、横方向をｊ軸として、位置（ｉ，ｊ）の要素の値が差分値Ｄ（ｉ，ｊ）となる行列である。なお、図２において、各正方形は、二次元差分値行列ＭＤの各要素を表しており、要素を表す正方形の濃度が濃いほど、その要素の値、つまり差分値Ｄ（ｉ，ｊ）の値は小さくなっている。

例えば、二次元差分値行列ＭＤの図中、右下方向の対角線上にある各要素では、フレームｉとフレームｊは同じフレームとなるので、それらの要素の値（差分値Ｄ（ｉ，ｊ））は０となっている。また、フレームｉとフレームｊは、同じ動画像を構成するフレームであるので、二次元差分値行列ＭＤは、直線ｉ＝ｊに関して対称となっている。

このようにして二次元差分値行列ＭＤが得られると、次に二次元差分値行列ＭＤ上で連続して並ぶ要素列について、次式（２）の計算が行なわれ、遷移コストＣ（ｉ，ｊ）が算出される。

なお、式（２）において、Ｔｒは、図１を参照して説明した遷移期間Ｔｒのフレーム数から１を減じた数を示している。したがって、式（２）では、位置（ｉ，ｊ）から位置（ｉ＋Ｔｒ，ｊ＋Ｔｒ）までの差分値Ｄ（ｉ，ｊ）の総和が遷移コストＣ（ｉ，ｊ）として求められる。

例えば、Ｔｒ＝４である場合、図２の位置（ｉ，ｊ）＝（ｉ１，ｊ１）に注目すると、領域ＲＣ１１内に含まれる５つの各要素の値である差分値Ｄ（ｉ，ｊ）の和が、位置（ｉ１，ｊ１）についての遷移コストＣ（ｉ１，ｊ１）となる。

ここで、領域ＲＣ１１内に含まれる要素列は、位置（ｉ１，ｊ１）の要素を先頭として図中、右斜め下方向に隣接して並ぶ５つの要素の列である。

例えば、フレームｉが図１のフレームＦＳ_ｉｎであるとすると、フレームｉ乃至フレーム（ｉ＋Ｔｒ）は、それぞれフレーム列ＴＳ１１を構成するフレームＦＳ_ｉｎ乃至フレームＦＳ_ｏｕｔとなる。また、フレームｊが図１のフレームＦＤ_ｉｎであるとすると、フレームｊ乃至フレーム（ｊ＋Ｔｒ）は、それぞれフレーム列ＴＤ１１を構成するフレームＦＤ_ｉｎ乃至フレームＦＤ_ｏｕｔとなる。

この場合、位置（ｉ，ｊ）についての遷移コストＣ（ｉ，ｊ）は、フレーム列ＴＳ１１とフレーム列ＴＤ１１の同じ位置にあるフレームの差分値Ｄ（ｉ，ｊ）の総和となる。

したがって、遷移コストＣ（ｉ，ｊ）は、フレーム列ＴＳ１１とフレーム列ＴＤ１１との類似の度合いを示しているということができる。そのため、遷移コストＣ（ｉ，ｊ）が最小となる位置（ｉ，ｊ）を求めて、そのフレーム位置を先頭とする区間を遷移元および遷移先のフレーム列とすれば、つなぎ目の目立ちにくいループ動画像を得ることができる。

そこで、ループ動画像の生成時には、各位置（ｉ，ｊ）のうち、遷移コストＣ（ｉ，ｊ）が最小となる位置（ｉ，ｊ）が求められ、得られた位置（ｉ，ｊ）により示されるフレームｉ，ｊが、それぞれイン点であるフレームＦＳ_ｉｎ，ＦＤ_ｉｎとされる。

なお、より詳細には、二次元差分値行列ＭＤ上の各位置（ｉ，ｊ）のうち、最小ループ動画像長Ｔｒ＿ｍｉｎにより定まる領域、具体的にはｉ＝ｊである要素近傍の領域は、遷移コストＣ（ｉ，ｊ）が最小となる位置（ｉ，ｊ）の検出の対象外とされる。

また、ビデオテクスチャ技法では、遷移コストＣ（ｉ，ｊ）の算出時に、単純に各位置の差分値Ｄ（ｉ，ｊ）を積算するのではなく、イン点とアウト点の中間位置を最大値として両端点へ徐々に減衰する重みを付加した差分値Ｄ（ｉ，ｊ）の重み付き積算値を遷移コストＣ（ｉ，ｊ）とする方法も提案されている。

さて、以上において説明したビデオテクスチャ技法においては、素材として入力された動画像から、類似したフレーム列を探し出して繰り返し遷移点、つまりイン点とアウト点としたが、実際の映像で２つのフレーム列の画像が一致することは稀である。

例えば、素材となる動画像内の２つの区間で、被写体の動きが似たような動きであっても動きの速度が異なったり、そもそも周期的な動きが素材となる動画像に含まれていなかったりすることもある。そのような場合、素材となる動画像からループ動画像を生成したとしても、ループ動画像の繰り返し再生時に、先頭フレームと終了フレームとのつなぎ目がはっきりと認識できてしまうようになる。

そのため、より高品質なループ動画像を得るためには、素材となる動画像の類似する２つの区間で、被写体の動きの速度が異なるのであれば、速度まで考慮に入れて遷移点を決定し、各フレームの画像に対するブレンド処理を行なうことが望ましい。また、被写体の動きが周期的でない動きであっても、動画像を逆転再生する場合も遷移元または遷移先のフレーム列の候補に含めれば、より適切な遷移点が見つかる可能性がある。

ここで、考慮する再生速度をＮ倍速とすると、前者は再生速度を速くしたり遅くしたりする場合、つまりＮが０以上の速度を考えることに相当し、後者の逆転再生はＮが負となる場合であると考えることができる。

例えば、図３に示すように、二次元差分値行列ＭＤでの表現では、１倍再生でないフレーム列の遷移コストＣ（ｉ，ｊ）は、図中、右下がりの４５度でない方向に並ぶ要素の差分値Ｄ（ｉ，ｊ）の積算に相当する。また、逆転再生のフレーム列の遷移コストＣ（ｉ，ｊ）は、図中、左下がりの方向に並ぶ要素の差分値Ｄ（ｉ，ｊ）の積算に相当する。

なお、図３において、縦方向および横方向は、それぞれｉ軸方向およびｊ軸方向を示しており、図３では、図２に示した二次元差分値行列ＭＤと同じ二次元差分値行列ＭＤが示されている。

例えば、図３の例では、領域ＲＣ２１内に含まれる８つの各要素の値である差分値Ｄ（ｉ，ｊ）の和が、１倍でない再生速度で一方のフレーム列を再生させる場合における、位置（ｉ，ｊ）についての遷移コストＣ（ｉ，ｊ）となる。この例では、ｊ軸方向のフレーム列の１フレーム分の画像が再生されている期間に、ｉ軸方向のフレーム列の２フレーム分の画像が再生されることになる。この場合、２つのフレーム列の長さは異なるが、それらのフレーム列の再生速度が異なるために、各フレーム列の再生時間が同じ長さとなる。

また、領域ＲＣ２２内に含まれる６つの各要素の値である差分値Ｄ（ｉ，ｊ）の和が、一方のフレーム列に対して、他方のフレーム列が逆転再生される場合における、位置（ｉ，ｊ）についての遷移コストＣ（ｉ，ｊ）となる。この例では、ｉ軸方向のフレーム列がフレーム番号の小さいものから順番に再生される場合には、ｊ軸方向のフレーム列は、フレーム番号の大きいものから順番に再生されることになる。

なお、再生速度も考慮して遷移元と遷移先のフレーム列を決定する場合、例えば領域ＲＣ２１と領域ＲＣ２２とでは遷移期間の長さが異なるので、遷移コストＣ（ｉ，ｊ）を正規化して比較する必要がある。

以上のように、再生速度や再生方向を考慮すれば、遷移元と遷移先のフレーム列として、より適切な区間を得ることができるので、より高品質なループ動画像を生成することができる。そこで、従来では、順方向の１倍再生のみを考慮していたところを、本技術ではＮ倍再生についても考慮することで、より高品質なループ動画像を得ることができるようにする。

なお、一方のフレーム列に対して他方のフレーム列を逆転再生とするのに適した動画像は、方向性を持たない動きが含まれる映像であり、例えば人物が表情を変えるような映像や、動物が体の向きを変えるような映像、旗が風ではためいているような映像などである。

これに対して、方向性のある動きが含まれる映像とは、人が左から右へ歩いて通り過ぎるような映像などである。そのような映像を素材として、映像の一部の区間を逆転再生したものを遷移元または遷移先のフレーム列とすると、得られたループ動画像は不自然なものとなってしまう。

［再生速度を考慮したループ動画像の生成について］
それでは、以下において、本技術によるループ動画像の生成について説明していく。

本技術では、ループ動画像を生成する際に、速度Ｎを調整しながら最適な遷移フレーム画像が生成される。

まず、ループ動画像の素材となる動画像（以下、素材動画像とも称する）について、遷移元となるフレーム列と、遷移先となるフレーム列とが決定される。以下では、遷移元となるフレーム列を遷移元フレーム列ＦＳと称し、遷移先となるフレーム列を遷移先フレーム列ＦＤと称することとする。

例えば、典型的には、遷移元フレーム列ＦＳは素材動画像の終端付近から選択され、遷移先フレーム列ＦＤは素材動画像の開始端付近から選択される。また、遷移元フレーム列ＦＳおよび遷移先フレーム列ＦＤの各フレーム列を構成するフレーム数ＮＦは、入力パラメータとして予め与えられているものとする。

これから生成しようとするループ動画像では、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの一部の区間同士を用いて映像を遷移させるとする。そして、遷移に要する最小のフレーム数ＮＦ＿ｍｉｎ、つまりループ動画像に含まれる遷移期間の最小のフレーム数は、入力パラメータとして予め与えられているものとする。

例えば、再生速度Ｎ＝１も含めた速度Ｎでの最適な遷移期間を求めるということは、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの各フレーム列のなかから抽出した部分的なフレーム列同士の対応付けを、そのコストが最小になるように求めることと同義である。なお、ここでいうコストとは、例えば式（２）の計算で得られる遷移コストＣ（ｉ，ｊ）である。

このとき、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤから抽出するフレーム列の長さが異なれば、それは、すなわち再生速度が異なる遷移となることを意味する。

例えば、遷移元の１５個のフレームに対して、遷移先の３０個のフレームが対応付けられたとすると、遷移先のフレーム列をＮ＝２として再生しながら映像を遷移していくことになる。

このような対応付け問題をより一般的な問題として考えると、信号Ｘと信号Ｙの２つの信号について、弾性マッチングを行うことに相当する。

すなわち、信号Ｘと信号Ｙから一部系列がそれぞれ取り出され、取り出した各系列を伸び縮みさせながら２つの系列間の距離が求められ、その距離が最小となる系列の組み合わせが探索される。

このように長さの異なる数列の最適な対応を計算する方法の１つに、ＤＰ（Dynamic Programming）マッチング（動的計画法）があり、ＤＰマッチングは、音声やジェスチャなどの時系列パターン認識や、画像パターン認識などの様々な分野で用いられている。

１次元の信号Ｘと信号ＹのＤＰマッチングを行なうには、信号間のマッチングの制約を決める必要がある。

一般的には、信号Ｘの長さをＪとし、信号Ｙの長さをＩとすると、例えば、図４に示すように（Ｉ×Ｊ）個の格子点を持つＤＰ平面を定義して、その格子点間のつながり（エッジ）が与えられ、各格子点間のつながりには傾斜制限と呼ばれる制限が加えられる。

なお、図４において、横方向および縦方向は、それぞれ信号Ｘおよび信号Ｙの時間方向を示しており、各円は、ＤＰ平面上の１つの格子点を表している。

ここで、図中、横方向をｊ軸方向とし、縦方向をｉ軸方向とすると、ＤＰ平面上の各格子点の位置を、ｉｊ座標系の位置（ｉ，ｊ）（但し、１≦ｉ≦Ｉ，１≦ｊ≦Ｊ）で表現することができる。

図４のＤＰ平面では、位置（ｉ，ｊ）＝（１，１）を始点ＳＰ１１とし、位置（ｉ，ｊ）＝（Ｉ，Ｊ）を終点ＤＰ１１として、始点ＳＰ１１から終点ＤＰ１１までの経路を考えるときに、各格子点から他の格子点への経路として、矢印Ｑ１１に示す３通りの経路が与えられている。すなわち、矢印Ｑ１１に示すように傾斜制限が与えられる。

具体的には、位置（ｉ，ｊ）にある格子点ＰＯ１１からは、位置（ｉ，ｊ＋１）にある格子点ＰＯ１２、位置（ｉ＋１，ｊ＋１）にある格子点ＰＯ１３、または位置（ｉ＋２，ｊ＋１）にある格子点ＰＯ１４の何れかに遷移することができる。換言すれば、格子点ＰＯ１１は、格子点ＰＯ１２乃至格子点ＰＯ１４の何れかへの経路に接続されている。

さらに、ＤＰ平面では、各格子点、格子点間のエッジ、または各格子点と格子点間のエッジの両方に対してコストが定義される。

そして、ＤＰ平面の始点ＳＰ１１から終点ＤＰ１１までの経路中のコストが積算されて、コストが最小となる経路がＤＰマッチングによって計算され、その結果得られた経路を通る各格子点群が、最適な信号の組み合わせ方となる。

このようなＤＰマッチングを、上述した遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの対応付けに適用することを考える。

この場合、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの間の距離が最小となる組み合わせは、以下のようにして得られる。すなわち、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤから取り出されるフレーム列長を変えながら、取り出された２つのフレーム列の組み合わせを作り、フレーム列の各組について弾性マッチングを行なっていき、各組から距離が最小となる組を選択すればよい。

しかしながら、そのような処理を行なうと、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤから取り出した２つのフレーム列の組み合わせの数が膨大な数となってしまう。そこで、ＤＰマッチングの次のような拡張機能を利用することで、フレーム列の組み合わせの数を減らすことができる。

すなわち、拡張機能を利用したＤＰマッチングとは、始点終点自由化によるＤＰマッチングであり、図４の例では始点ＳＰ１１と終点ＤＰ１１が固定されていたのに対して、これらの始点と終点の候補を複数与えるものである。

具体的には、例えば図５に示すように、ＤＰ平面が拡大される。なお、図５では、縦方向および横方向は、それぞれｉ軸方向およびｊ軸方向を示しており、各円は、ＤＰ平面上の１つの格子点を表している。

図５では、図４に示したＤＰ平面に対して、さらに１つの仮の始点ＴＳＰ１１と、１つの仮の終点ＴＤＰ１１とが与えられている。

そして、ＤＰ平面では仮の始点ＴＳＰ１１に対して、５つの格子点ＰＯ２１乃至格子点ＰＯ２５が真の始点の候補とされて、仮の始点ＴＳＰ１１から格子点ＰＯ２１乃至格子点ＰＯ２５のそれぞれへのエッジが定義され、それらのエッジのコストが０とされる。

また、仮の終点ＴＤＰ１１に対して、６つの格子点ＰＯ３１乃至格子点ＰＯ３６が真の終点の候補とされて、仮の終点ＴＤＰ１１から格子点ＰＯ３１乃至格子点ＰＯ３６のそれぞれへのエッジが定義され、それらのエッジのコストが０とされる。

これにより、ＤＰ平面にＤＰマッチングを適用するだけで、自動的に真の始点から終点までの経路が、コストの合計が最小となる経路として決定される。

このような始点終点自由化によるＤＰマッチングによって、信号Ｘについては、信号Ｘ中の部分信号のうち、コストが最小になる部分信号が選択されることになる。

すなわち、可変長の信号Ｘと可変長の信号Ｙの弾性マッチングのうち、信号Ｘについては入力を固定することができるので、試行する組み合わせ数を大幅に削減することができる。また、信号Ｙについては、部分信号長および部分信号開始位置を変えながら、全ての部分信号パターンを抽出して信号Ｘとの弾性マッチングを行うこととする。

つまり、図５に示したＤＰ平面では、仮の始点と終点が定められるので、固定された信号Ｘを入力すれば、ＤＰマッチングにより信号Ｘから抽出された各部分信号についてのマッチングが行なわれることになる。したがって、信号Ｙから抽出した部分信号の信号長等を変化させながら、その部分信号と信号Ｘとを入力としてＤＰマッチングを行なえば、可変長の信号Ｘと可変長の信号Ｙの弾性マッチングの処理結果が得られることになる。

続いて、上述のＤＰマッチングを用いて、ループ動画像を生成する具体的な方法について説明する。なお、ループ動画像を生成する場合に、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの両方を可変長としてもよいが、ここでは、遷移元フレーム列ＦＳを固定長とし、遷移先フレーム列ＦＤのみを可変長とする例について説明する。このような場合、両方のフレーム列を可変長とする場合と比べて、計算量を削減することができる。

例えば、フレーム数がＮＦである遷移元フレーム列ＦＳと遷移先フレーム列ＦＤが与えられており、これらのフレーム列に含まれる部分フレーム列の最適なマッチングを計算するとする。

この場合に、遷移元フレーム列ＦＳに関しては固定長にしておいて、始点終点自由化によって部分フレーム列が選択されるようにする。

また、遷移先フレーム列ＦＤに関しては、部分フレーム列の開始位置を遷移先フレーム列ＦＤの１フレーム目乃至（ＮＦ−ＮＦ＿ｍｉｎ）フレーム目の間で変化させ、かつ部分フレーム列の長さもＮＦ＿ｍｉｎ乃至ＮＦの間で変化させて、部分フレーム列が決定される。なお、以下、遷移先フレーム列ＦＤから抽出された、ＤＰマッチングに用いられるフレーム列を部分フレーム列ＦＤ’とも称することとする。

本技術では、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤとから、例えば図５と同様にしてＤＰ平面が生成される。このとき、遷移先フレーム列ＦＤの真の始点から終点までの部分が部分フレーム列ＦＤ’となる。

ここで、ＤＰ平面では、遷移元フレーム列ＦＳの方向がｉ軸方向とされ、部分フレーム列ＦＤ’（遷移先フレーム列ＦＤ）の方向がｊ軸方向とされる。そして、ｉｊ座標系において、遷移元フレーム列ＦＳのＫ番目のフレームの位置のｉ座標はｉ＝Ｋとされ、部分フレーム列ＦＤ’のフレームとされる遷移先フレーム列ＦＤのＬ番目のフレームの位置のｊ座標はｊ＝Ｌとされる。

また、ＤＰ平面上の各位置（ｉ，ｊ）に格子点が配置されるとともに、ＤＰ平面には仮の始点と仮の終点が与えられる。そして、位置（ｉ，ｊ）＝（１，１）乃至（１，ＮＦ−ＮＦ＿ｍｉｎ）にある各格子点が仮の始点と接続され、ｉ座標が最大となり、かつｊ座標がＮＦ＿ｍｉｎから最大値までの間となる各格子点には、仮の終点が接続される。

さらに、格子点間のつながり（エッジ）が与えられ、各格子点間のつながりには、例えば図６に示す傾斜制限が与えられる。

なお、図６において、縦方向および横方向は、それぞれｉ軸方向（遷移元フレーム列ＦＳ方向）、およびｊ軸方向（部分フレーム列ＦＤ’方向）を示しており、各円は、１つの格子点を表している。

図６の例では、格子点ＰＯ４１からは、格子点ＰＯ５１乃至格子点ＰＯ５５の何れかへの経路をとることができる。

例えば、格子点ＰＯ４１が位置（ｉ，ｊ）にあるとすると、格子点ＰＯ５１の位置は位置（ｉ＋１，ｊ＋３）となる。つまり、格子点ＰＯ４１から格子点ＰＯ５１への経路は、遷移元フレーム列ＦＳ方向に１進むのに対して、部分フレーム列ＦＤ’方向へは３進む対応となっている。

これは、遷移元フレーム列ＦＳの再生速度を１倍速とすると、部分フレーム列ＦＤ’の再生速度が３倍速となっていることに相当する。つまり、遷移元フレーム列ＦＳに対する部分フレーム列ＦＤ’の相対的な再生速度が３倍となっていることに相当する。

したがって、経路が格子点ＰＯ４１から格子点ＰＯ５１へと進む場合、格子点ＰＯ４１の位置（ｉ，ｊ）と、格子点ＰＯ５１の位置（ｉ＋１，ｊ＋３）とは、次のような関係を有しているといえる。

すなわち、フレームｉとフレームｊを起点（再生開始位置）とし、遷移元フレーム列ＦＳに対する部分フレーム列ＦＤ’の再生速度を３倍速として、それらの遷移元フレーム列ＦＳと部分フレーム列ＦＤ’を仮想的に再生させるとする。このとき、フレームｉともフレームｊとも異なる遷移元フレーム列ＦＳと部分フレーム列ＦＤ’のフレームのペアのうち、再生開始位置であるフレームｉとフレームｊよりも後に、最初に同時に提示させるべきフレームのペアがフレームｉ＋１とフレームｊ＋３となる。

格子点ＰＯ４１の位置（ｉ，ｊ）に対して、格子点ＰＯ５２の位置は位置（ｉ＋１，ｊ＋２）となり、このときの遷移元フレーム列ＦＳに対する部分フレーム列ＦＤ’の相対的な再生速度は２倍速となる。

また、格子点ＰＯ４１の位置（ｉ，ｊ）に対して、格子点ＰＯ５３の位置は位置（ｉ＋１，ｊ＋１）となり、このときの遷移元フレーム列ＦＳに対する部分フレーム列ＦＤ’の相対的な再生速度は１倍速となる。

格子点ＰＯ４１の位置（ｉ，ｊ）に対して、格子点ＰＯ５４の位置は位置（ｉ＋２，ｊ＋１）となり、このときの遷移元フレーム列ＦＳに対する部分フレーム列ＦＤ’の相対的な再生速度は１／２倍速となる。

さらに、格子点ＰＯ４１の位置（ｉ，ｊ）に対して、格子点ＰＯ５５の位置は位置（ｉ＋３，ｊ＋１）となり、このときの遷移元フレーム列ＦＳに対する部分フレーム列ＦＤ’の相対的な再生速度は１／３倍速となる。

なお、ここで説明した再生速度は、２つの格子点の位置関係を説明するためのものであり、遷移元フレーム列ＦＳと部分フレーム列ＦＤ’の全体の長さの違いにより定まる再生速度とは異なる。フレーム列の全体の長さの違いにより定まる再生速度とは、遷移元から遷移先に遷移させようとするときに、再生時間を揃えるために必要となる遷移元フレーム列ＦＳと部分フレーム列ＦＤ’の相対的な再生速度である。

また、ＤＰ平面では、各格子点間のエッジにコストが定義される。

例えば、ＤＰ平面の各格子点に図６に示した傾斜制限が与えられた場合、ＤＰ平面上の仮の始点から所定の格子点までの各経路のコストに対して正規化が必要となる。これは、同じ格子点に到達する経路であっても、経路が異なるとコストの加算回数が異なるためである。

例えば、ここでは、仮に位置（ｉ，ｊ）にある格子点におけるコストを、上述した式（１）により求まる差分値Ｄ（ｉ，ｊ）の値としておき、実際にエッジに付加されるコストとして、その格子点に達するエッジごとに異なるコストが割り当てられるようにする。すなわち、エッジに付加されるコストは、例えばそのエッジの長さ、つまりエッジ長に応じてスケールされる。なお、格子点におけるコストは、エッジにコストを与えるために一時的に与えられたものであり、最終的なＤＰ平面では、格子点にはコストは与えられない。

より具体的には、位置（ｉ，ｊ）にある格子点におけるコストが差分値Ｄ（ｉ，ｊ）の値とされており、この格子点につながるエッジｋのエッジ長がlength(k)であるとする。この場合、次式（３）に示すように、差分値Ｄ（ｉ，ｊ）をlength(k)倍して得られる値がエッジｋに付加されるコストＥ（ｉ，ｊ，ｋ）とされる。

例えば、図７に示すように、ＤＰ平面上において、格子点ＯＰ６１から格子点ＰＯ６２へのエッジｋ１１の長さがlength(k)であるとする。また、格子点ＯＰ６２の位置が位置（ｉ，ｊ）であるとする。

この場合、エッジｋ１１に付加されるコストＥ（ｉ，ｊ，ｋ）は、位置（ｉ，ｊ）について求められた差分値Ｄ（ｉ，ｊ）と、エッジｋ１１の長さlength(k)との積「Ｄ（ｉ，ｊ）×length(k)」となる。

ここで、差分値Ｄ（ｉ，ｊ）は、上述した式（１）を計算することで求まる差分値である。すなわち、差分値Ｄ（ｉ，ｊ）は、遷移元フレーム列ＦＳの先頭からｉ番目のフレームの画像の各画素の画素値と、部分フレーム列ＦＤ’のフレームとされる遷移先フレーム列ＦＤの先頭からｊ番目のフレームの画像の各画素の画素値との差分二乗値の総和である。

差分値Ｄ（ｉ，ｊ）は、遷移元フレーム列ＦＳの画像と、部分フレーム列ＦＤ’の画像との類似の度合いを示しているが、コストＥ（ｉ，ｊ，ｋ）を求める場合に、差分値Ｄ（ｉ，ｊ）に代えてオプティカルフローなどが用いられてもよい。

このようにして、ＤＰ平面上の各格子点間のエッジにコストＥ（ｉ，ｊ，ｋ）が付加される。このとき、ＤＰ平面の始点から終点までの経路の合計コストは、その経路上のエッジに付加されたコストの合計値であるから、長いエッジが多く選択された経路ほど、経路の合計コストの算出時におけるコストの加算回数が少なくなる。

そこで、差分値にエッジの長さを乗算してエッジのコストとすることで、加算回数が少なくなる分だけ、エッジのコストを大きくすることができ、合計コストが最小となる経路が正しく求められるようになる。

なお、以下、遷移元フレーム列ＦＳと部分フレーム列ＦＤ’とのＤＰマッチングにより得られた、ＤＰ平面の始点から終点までの合計コストが最小となる経路を最小コスト経路とも称し、最小コスト経路の合計コストを最小合計コストとも称することとする。

仮の始点と終点を定めて遷移元フレーム列ＦＳと遷移先フレーム列ＦＤのＤＰマッチングを行なうと、遷移元フレーム列ＦＳと各部分フレーム列ＦＤ’とのＤＰマッチングが行なわれたことになる。

遷移元フレーム列ＦＳと部分フレーム列ＦＤ’とのＤＰマッチングを行なうと、遷移先フレーム列ＦＤの部分フレーム列ＦＤ’ごとに最小合計コストが求まるので、各部分フレーム列ＦＤ’のうち、最小合計コストが最小となるものを選択すればよい。

しかし、各部分フレーム列ＦＤ’は、信号長、つまりフレーム数が異なり、各部分フレーム列ＦＤ’についての最小合計コストの算出時におけるコストの加算回数は異なるため、そのままでは各最小合計コストを公平に比較することができない。

そこで、部分フレーム列ＦＤ’について求めた最小合計コストを、部分フレーム列ＦＤ’の信号長、つまりフレーム数で除算して、最小合計コストを正規化してから、正規化された最小合計コストが最小となる部分フレーム列ＦＤ’を選択すればよい。

したがって、部分フレーム列ＦＤ’の信号長がｍであり、ＤＰ平面上の部分フレーム列ＦＤ’の始点位置が位置（ｉ，ｊ）である場合、部分フレーム列ＦＤ’の最小コスト経路の合計コストＣ（ｉ，ｊ，ｍ）は、次式（４）を計算することで求められる。

なお、式（４）においてＥ（ｘ，ｙ，ｋ）は、式（３）により求まるエッジのコストを示している。したがって、合計コストＣ（ｉ，ｊ，ｍ）は、最小コスト経路上にある各エッジのコストＥ（ｘ，ｙ，ｋ）の総和を、部分フレーム列ＦＤ’の信号長ｍで除算することにより得られる。

各部分フレーム列ＦＤ’のうち、式（４）により求められる合計コストＣ（ｉ，ｊ，ｍ）が最小となるものが、最終的な遷移先フレーム列ＦＤとされる。

以上のように、ＤＰマッチングを行なうと、最終的な遷移元となる遷移元フレーム列ＦＳと、最終的な遷移先となる遷移先フレーム列ＦＤ、つまり選択された部分フレーム列ＦＤ’が得られる。

次に、ＤＰマッチングにより得られた遷移元フレーム列ＦＳと遷移先フレーム列ＦＤをどのようにブレンドして再生するかについて説明する。

例えば、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの対応付けによって、遷移元の再生速度を１に固定した場合、遷移先の再生速度は様々な速度となる。

そのため、遷移先フレーム列ＦＤを、遷移元フレーム列ＦＳの再生速度とし、それらのフレーム列の各フレームの画像をブレンドして得られた映像を再生すると、完全に遷移先に遷移したときの映像のつながりが悪くなってしまう。これは、遷移先の再生速度がＮ倍から１倍に急に変化する箇所が生じるからである。

そこで、本技術では、遷移開始時点、つまり遷移期間の先頭のフレームでは、遷移元が１倍の再生速度，遷移先がＮ倍の再生速度とされ、遷移終了時点、つまり遷移期間の最後のフレームでは、遷移元が１／Ｎ倍の再生速度，遷移先が１倍の再生速度となるように徐々に再生速度を変化させて遷移期間の各フレームが生成される。

本技術では、このような再生速度を割り当てる処理が行なわれる。

すなわち、ＤＰマッチングにより得られた遷移先フレーム列ＦＤと遷移元フレーム列ＦＳとの互いに対応するフレーム、つまり類似するフレーム（以下、マッチングフレームとも称する）の列が、ＤＰマッチング時の最小コスト経路から得られる。

このマッチングフレーム列は、最小コスト経路上の格子点位置のフレームだけでなく、遷移先フレーム列ＦＤと遷移元フレーム列ＦＳの各フレームのうち、マッチングフレームとされていないフレームについても、他方のフレーム列の対応するフレームを定めることで得られるものである。

具体的には、例えば図８の矢印Ｑ３１に示すＤＰマッチング結果が得られたとする。この例では、図中、横軸は遷移元フレーム列ＦＳのフレーム番号ｉ（但し、１≦ｉ≦６）を示しており、縦軸は遷移先フレーム列ＦＤのフレーム番号ｊ（但し、１≦ｊ≦７）を示している。また、各円は遷移元フレーム列ＦＳと遷移先フレーム列ＦＤのマッチングフレーム列を示している。

例えば、位置（ｉ，ｊ）＝（１，１），（２，３），（３，４），（５，５），（６，７）の各位置におけるマッチングフレームが、ＤＰマッチングにより得られた最小コスト経路上の格子点により示される遷移元フレーム列ＦＳと遷移先フレーム列ＦＤのフレームの組であるとする。例えば、位置（ｉ，ｊ）＝（１，１）は、遷移元フレーム列ＦＳの１フレーム目と、遷移先フレーム列ＦＤの１フレーム目とが互いに対応しているマッチングフレームであることを示している。

しかし、このままでは、遷移元フレーム列ＦＳの４フレーム目に対応する遷移先フレーム列ＦＤのフレームと、遷移先フレーム列ＦＤの２フレーム目および６フレーム目に対応する遷移元フレーム列ＦＳのフレームとが定まっていない。

そこで、例えば最小コスト経路上の格子点に対応する各位置（ｉ，ｊ）に基づいて、遷移元フレーム列ＦＳの４フレーム目と、遷移先フレーム列ＦＤの２フレーム目および６フレーム目とに対応するマッチングフレームが決定される。

その結果、例えば位置（ｉ，ｊ）＝（１，２），（４，４），（５，６）の各位置により示されるフレームペアがマッチングフレームとされる。

すなわち、遷移先フレーム列ＦＤの２フレーム目に対応するフレームが、遷移元フレーム列ＦＳの１フレーム目とされ、遷移元フレーム列ＦＳの４フレーム目に対応するフレームが、遷移先フレーム列ＦＤの４フレーム目とされる。また、遷移先フレーム列ＦＤの６フレーム目に対応するフレームが、遷移元フレーム列ＦＳの５フレーム目とされる。

このようにして遷移元フレーム列ＦＳと遷移先フレーム列ＦＤのマッチングフレーム列が定まると、次に、図８の右側の矢印Ｑ３２に示すように、初期状態において、マッチングフレームが、そのまま１倍速で再生されるように割り当てられる。

なお、図８中、右側において右方向は時間方向を示しており、各四角形は１つのフレームの画像を表している。

特に、四角形内にＦ_Ｓｉ（但し、１≦ｉ≦６）が記されたフレームは、遷移元フレーム列ＦＳの先頭からｉ番目のフレームを表しており、四角形内にＦ_Ｄｊ（但し、１≦ｊ≦７）が記されたフレームは、遷移先フレーム列ＦＤの先頭からｊ番目のフレームを表している。また、四角形内にＦ_Ｂｈ（但し、１≦ｈ≦７）が記されたフレームは、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤとをブレンド処理して得られた、遷移期間の先頭からｈ番目のフレームを表している。

なお、以下では、遷移元フレーム列ＦＳのｉ番目のフレームをフレームＦ_Ｓｉとも称し、遷移先フレーム列ＦＤのｊ番目のフレームをフレームＦ_Ｄｊとも称することとする。また、以下、遷移期間のｈ番目のフレームをフレームＦ_Ｂｈとも称することとする。

図８では、矢印Ｑ３２により示される部分では、各マッチングフレームが等間隔に並べられている。

すなわち、フレームＦ_Ｓ１とフレームＦ_Ｄ１のペア、フレームＦ_Ｓ１とフレームＦ_Ｄ２のペア、フレームＦ_Ｓ２とフレームＦ_Ｄ３のペア、およびフレームＦ_Ｓ３とフレームＦ_Ｄ４のペアが右方向に順番に並べられている。

そして、さらにその右側に、フレームＦ_Ｓ４とフレームＦ_Ｄ４のペア、フレームＦ_Ｓ５とフレームＦ_Ｄ５のペア、フレームＦ_Ｓ５とフレームＦ_Ｄ６のペア、およびフレームＦ_Ｓ６とフレームＦ_Ｄ７のペアが右方向に順番に並べられている。

これらの時系列に並べられた遷移元フレーム列ＦＳのフレームＦ_Ｓｉと遷移先フレーム列ＦＤのフレームＦ_Ｄｊとのペアを構成する各フレームＦ_Ｓｉは、フレーム番号が大きい順または小さい順、つまり昇順または降順に並べられることになる。同様に、フレームＦ_ＳｉとフレームＦ_Ｄｊとのペアを構成する各フレームＦ_Ｄｊも昇順または降順に並べられることになる。

また、矢印Ｑ３２に示される部分では、右方向に並ぶ各フレームＦ_Ｓｉ間には、それらのフレーム間の時間差を示す数値が示されている。なお、時間差の単位はフレーム数である。

例えば、同じフレームＦ_Ｓ１が並んでいる間には、それらのフレームＦ_Ｓ１間の時間差「０」が記されており、フレームＦ_Ｓ１とフレームＦ_Ｓ２が並んでいる間には、それらのフレーム間の時間差「１」が記されている。

同様に、右方向に並ぶ各フレームＦ_Ｄｊ間には、それらのフレーム間の時間差を示す数値が示されている。例えば、同じフレームＦ_Ｄ４が並んでいる間には、それらのフレームＦ_Ｄ４間の時間差「０」が記されており、フレームＦ_Ｄ１とフレームＦ_Ｄ２が並んでいる間には、それらのフレーム間の時間差「１」が記されている。

このように各マッチングフレームが等間隔に並べられると、この状態（初期状態）から、マッチングフレーム再配置処理が行なわれ、各フレームＦ_ＳｉとフレームＦ_Ｄｊのペアが再配置される。

マッチングフレーム再配置処理では、遷移期間の始端から終端、つまり時系列に並べられたフレームＦ_ＳｉとフレームＦ_Ｄｊのペアの先頭から最後尾に向かって、徐々に遷移元から遷移先のフレーム間の時間差（間隔）が１になるように、その位置がずらされていく。

すなわち、図８中、左側にある遷移期間の開始位置近傍では、遷移元フレーム列ＦＳの各フレームＦ_Ｓｉの間隔が１となり、図８中、右側にある遷移期間の終了位置近傍では、遷移先フレーム列ＦＤの各フレームＦ_Ｄｊの間隔が１となるように、各フレームペアの配置位置が調整される。

各フレームＦ_ＳｉとフレームＦ_Ｄｊのペアを時間方向に配置した場合、図中、右方向に同じフレームが連続して並ぶ区間は、本来であれば、時間差０で再生されるべき箇所である。

しかし、矢印Ｑ３２に示す状態では、横方向に並ぶフレームＦ_Ｓｉ間では時間差が０となっている場合でも、同じ位置にあるフレームＦ_Ｄｊ間では時間差が０となっていない箇所がある。例えば、フレームＦ_Ｓ１およびフレームＦ_Ｄ１のペアと、フレームＦ_Ｓ１およびフレームＦ_Ｄ２のペアとが並んでいる部分では、フレームＦ_Ｓ１の時間差は０であるが、フレームＦ_Ｄ１とフレームＦ_Ｄ２の時間差は１となっている。

そこで、マッチングフレーム再配置処理では、遷移先と遷移元で時間差が異なる場所について、重みを付けて各フレームペアの配置位置の間隔（時間差）が調整される。これにより、遷移始端においては遷移元フレーム列ＦＳが１倍の再生速度に近い間隔で配置され、終端部においては遷移先フレーム列ＦＤが１倍の再生速度に近い間隔で配置されるようになる。

例えばマッチングフレーム再配置処理では、各フレームペアについて、遷移先と遷移元の互いに隣接して配置されているフレームのフレーム間隔、つまり矢印Ｑ３２に示す時間差に対して重みが付けられる。そして、重み付けされたフレーム間隔（時間差）をブレンドすることで、更新後のフレーム間隔が算出される。そして、各フレームペアが、そのフレームペアの時間方向の直前にあるフレームペアに対して、得られたフレーム間隔（時間差）で並ぶように、フレームペアが配置し直される。

より具体的には、遷移元フレーム列ＦＳに対して重みＷＳが与えられ、遷移先フレーム列ＦＤに対して重みＷＤが与えられているとする。

なお、より詳細には、重みＷＳは、遷移元フレーム列ＦＳの各フレームＦ_Ｓｉに対して与えられた重みＷＳ_ｉ（但し、１≦ｉ≦６）からなり、重みＷＤは、遷移先フレーム列ＦＤの各フレームＦ_Ｄｊに対して与えられた重みＷＤ_ｊ（但し、１≦ｊ≦７）からなる。

ここで、重みＷＳは、遷移元フレーム列ＦＳの先頭の位置から最後の位置へ向かって減衰していくように定められる。つまり、例えば重みＷＳ_１＝1.0とされ、重みＷＳ_６＝0.0とされて、それらの間にあるＷＳ_ｉは、重みＷＳ_１と重みＷＳ_６を用いた線形補間により求められる値とされる。

一方、重みＷＤは、遷移先フレーム列ＦＤの先頭の位置から最後の位置へ向かって増加していくように定められる。つまり、例えば重みＷＤ_１＝0.0とされ、重みＷＤ_７＝1.0とされて、それらの間にあるＷＤ_ｊは、重みＷＤ_１と重みＷＤ_７を用いた線形補間により求められる値とされる。

このような重みＷＳが用いられて、遷移元フレーム列ＦＳのフレーム間の重みが求められる。フレーム間の重みは、例えば互いに隣接するフレームの重みの平均値とされる。したがって、例えばフレームＦ_Ｓ１とフレームＦ_Ｓ２の間の重みは、（ＷＳ_１＋ＷＳ_２）／２とされる。遷移元フレーム列ＦＳのフレーム間の重みと同様に、遷移先フレーム列ＦＤのフレーム間の重みも重みＷＤが用いられて求められる。

そして、用いられた重みが用いられて、注目するフレームペアについて、遷移元フレーム列ＦＳのフレーム間隔（時間差）と、遷移先フレーム列ＦＤのフレーム間隔（時間差）とがブレンド処理され、更新後のフレーム間隔（時間差）が算出される。

例えば、フレームＦ_Ｓ１とフレームＦ_Ｄ２のペアに注目すると、このフレームペアの直前にあるフレームペアは、フレームＦ_Ｓ１とフレームＦ_Ｄ１のペアである。

したがって、これらのペアの遷移元フレーム列ＦＳについては、同じフレームＦ_Ｓ１が並んでおり、遷移先フレーム列ＦＤについては、フレームＦ_Ｄ１とフレームＦ_Ｄ２が並んでいる。

そこで、フレーム間隔のブレンド処理に用いられる重みとして、フレームＦ_Ｄ１の重みＷＤ_１と、フレームＦ_Ｄ２の重みＷＤ_２との平均値が、それらのフレーム間の重み（ＷＤ_１，２とする）として算出される。なお、遷移元フレーム列ＦＳについては、同じフレームＦ_Ｓ１が並んでいるので、重みＷＳ_１がそのまま用いられる。これは、２つの重みＷＳ_１の平均値は重みＷＳ_１となるからである。

そして、注目しているフレームＦ_Ｓ１とフレームＦ_Ｄ２のペアについて、そのペアの直前のフレームペアとのフレーム間隔のブレンドが行なわれる。

この場合、遷移元フレーム列ＦＳについては、同じフレームＦ_Ｓ１が並んでいるので、そのフレーム間隔（時間差）は「０」である。また、遷移先フレーム列ＦＤについては、フレームＦ_Ｄ１とフレームＦ_Ｄ２が並んでいるので、そのフレーム間隔（時間差）は「１」である。

したがって、これらのフレーム間隔を、求めた重みを付けてブレンド（重み付き加算）すれば、最終的に得ようとするフレーム間隔が得られる。すなわち、（ＷＳ_１×０）＋（ＷＤ_１，２×１）が計算され、得られた値が最終的なフレーム間隔である。

最終的なフレーム間隔（時間差）が得られると、注目しているフレームＦ_Ｓ１とフレームＦ_Ｄ２のペアと、その直前にあるフレームＦ_Ｓ１とフレームＦ_Ｄ１のペアとのフレーム間隔、つまり図中、横方向に並ぶ間隔が、求めたフレーム間隔となるように、フレームＦ_Ｓ１とフレームＦ_Ｄ２のペアが配置し直される。

このように、マッチングフレーム再配置処理を行なって、矢印Ｑ３２に示した各フレームペアを再配置すると、矢印Ｑ３３に示すようになる。この例では、フレームＦ_Ｓ１とフレームＦ_Ｄ２のペアは、その直前にあるフレームＦ_Ｓ１とフレームＦ_Ｄ１のペアにほぼ重なる位置に配置されている。

マッチングフレーム再配置処理が行なわれて、各フレームペアが再配置されると、実際に再生される遷移期間の各時刻のマッチングフレームが選択される。

矢印Ｑ３３に示す各フレームペアは、時系列に並べられたそれらのフレームペアの先頭のフレームペアの位置が、遷移期間の先頭のフレームの時刻の位置となるように配置されている。

ここでは、例えば矢印Ｑ３４に示すように、各フレームペアのうち、点線で示される遷移期間の各フレームの提示時刻ごとに、その時刻に最も近い位置に配置されているフレームペアが選択される。この場合、選択されずに破棄されるフレームペアが存在することもある。

矢印Ｑ３４に示す例では、遷移期間の各時刻のマッチングフレームのペアとして、フレームＦ_Ｓ１とフレームＦ_Ｄ１のペア、フレームＦ_Ｓ２とフレームＦ_Ｄ３のペア、およびフレームＦ_Ｓ３とフレームＦ_Ｄ４のペア、フレームＦ_Ｓ４とフレームＦ_Ｄ４のペア、フレームＦ_Ｓ５とフレームＦ_Ｄ５のペア、フレームＦ_Ｓ５とフレームＦ_Ｄ６のペア、およびフレームＦ_Ｓ６とフレームＦ_Ｄ７のペアが選択されている。

最後に、遷移期間の時刻ごとに選択されたフレームペアの各フレームの画像が、ブレンド率αによりブレンドされ、遷移期間のフレームの画像とされる。なお、図８では、遷移期間の各時刻を表す点線の位置に、それらの時刻におけるブレンド率αが示されている。

この例では、ブレンド率αは、遷移先フレーム列ＦＤの各フレームＦ_Ｄｊに乗算される重みを示しており、ブレンド率αは、α＝0.0からα＝1.0まで、遷移期間のフレーム番号が大きくなるにしたがって線形的に大きくなっている。

また、フレームペアのブレンド時には、遷移元フレーム列ＦＳの各フレームＦ_Ｓｉには、（１−α）が重みとして乗算される。

したがって、例えば遷移期間の１つ目のフレームＦ_Ｂ１に注目し、遷移元フレーム列ＦＳのフレームＦ_Ｓ１の画像をＦ_Ｓ１とし、遷移先フレーム列ＦＤのフレームＦ_Ｄ１の画像をＦ_Ｄ１とすると、フレームＦ_Ｂ１の画像は、α×Ｆ_Ｄ１＋（１−α）×Ｆ_Ｓ１により求められる。

このような遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの各フレームのブレンドにより、遷移期間の各フレームの画像が生成される。図８では、遷移期間の画像（フレーム列）は、遷移元フレーム列ＦＳの画像から、遷移先フレーム列ＦＤの画像へと徐々に遷移していく画像となる。

遷移期間のフレーム列が得られると、素材動画像における遷移先フレーム列ＦＤの最後のフレーム（アウト点）と、遷移元フレーム列ＦＳの最初のフレーム（イン点）との間の区間のフレーム列と、そのフレーム列に続く遷移期間のフレーム列とからなるループ動画像が得られる。

なお、逆転再生も含めたループ動画像も、以上において説明した方法と同様の計算により生成することができる。

そのような場合、上述したＤＰマッチングにおいて、遷移元フレーム列ＦＳと、遷移先フレーム列ＦＤから抽出される部分フレーム列ＦＤ’の組み合わせとして、逆転再生も考慮した組み合わせも加えればよい。

例えば、ループ動画像に含まれる遷移期間の最小のフレーム数がＮＦ＿ｍｉｎであるとし、遷移元フレーム列ＦＳおよび遷移先フレーム列ＦＤの各フレーム列を構成するフレーム数がＮＦであるとする。

この場合、遷移先フレーム列ＦＤから抽出される部分フレーム列ＦＤ’の先頭のフレーム（開始位置）を、遷移先フレーム列ＦＤの先頭からＮＦ乃至（ＮＦ−ＮＦ＿ｍｉｎ）フレーム目の間で変化させ、かつ部分フレーム列ＦＤ’の信号長をＮＦ＿ｍｉｎ乃至ＮＦフレームの間で変化させて、部分フレーム列ＦＤ’が抽出される。このとき、遷移先フレーム列ＦＤから抽出されたフレーム列の表示順（フレームの順番）を逆向きに並べて得られるフレーム列、つまりフレーム番号が新しいものから古いものへと順番に各フレームを並べて得られるフレーム列が、部分フレーム列ＦＤ’とされる。

そして、遷移元フレーム列ＦＳと、得られた部分フレーム列ＦＤ’との各組み合わせについてＤＰマッチングが行なわれ、逆転再生についての最終的な遷移先フレーム列ＦＤが得られる。したがって、これらの逆転再生についての遷移元フレーム列ＦＳと遷移先フレーム列ＦＤとから、逆転再生につての遷移期間のフレーム列が得られる。

但し、逆転再生を用いたループ動画像を最終的に出力する場合には、２つの遷移期間が必要となるので、素材動画像から、それぞれ独立に順再生の遷移期間と、逆転再生の遷移期間とを生成する必要がある。

例えば、図９に示すように、１つの素材動画像ＭＴ３１から、逆転再生の区間を含むループ動画像ＬＰ３１を生成するものとする。

この場合、素材動画像ＭＴ３１の終了端近傍の区間ＦＶ１１から、ＤＰマッチングにより順再生の遷移期間ＴＲ１１、つまり順方向への再生により画像遷移が行われる遷移期間ＴＲ１１を得るための遷移元フレーム列ＦＳ１と遷移先フレーム列ＦＤ１が定められる。

そして、遷移元フレーム列ＦＳ１と遷移先フレーム列ＦＤ１の各フレームの画像がブレンドされ、遷移期間ＴＲ１１が生成される。

また、素材動画像ＭＴ３１の開始端近傍の区間ＦＶ１２から、ＤＰマッチングにより逆転再生の遷移期間ＴＲ１２、つまり逆転再生を用いた画像遷移が行われる遷移期間ＴＲ１２を得るための遷移元フレーム列ＦＳ２と遷移先フレーム列ＦＤ２が定められる。そして、遷移元フレーム列ＦＳ２と遷移先フレーム列ＦＤ２の各フレームの画像がブレンドされ、遷移期間ＴＲ１２が生成される。

さらに、素材動画像ＭＴ３１における遷移先フレーム列ＦＤ２の直後のフレームから、遷移元フレーム列ＦＳ１の直前のフレームまでの区間がそのまま切り出され、ループ動画像ＬＰ３１における順再生期間ＴＵ１１とされる。

また、素材動画像ＭＴ３１における遷移元フレーム列ＦＳ２の直前のフレームから、遷移先フレーム列ＦＤ１の直前のフレームまでの区間が切り出され、切り出された区間のフレームがフレーム番号の新しい方から古い方へと順番に並べられる。そして、その結果得られたフレーム列からなる区間が、ループ動画像ＬＰ３１における逆転再生期間ＴＵ１２とされる。この逆転再生期間ＴＵ１２は、素材動画像ＭＴ３１の一部の区間が逆方向に再生される区間である。

そして、順再生期間ＴＵ１１、遷移期間ＴＲ１１、逆転再生期間ＴＵ１２、および遷移期間ＴＲ１２を順番につなげて得られる動画像が、ループ動画像ＬＰ３１とされる。

なお、以下では、説明を簡単にするため、逆転再生を含まないループ動画像の生成について説明することとする。

［画像処理装置の構成例］
次に、本技術を適用した具体的な実施の形態について説明する。

図１０は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。

図１０の画像処理装置１１は、取得部２１、フレーム列決定部２２、部分フレーム列決定部２３、マッチング処理部２４、再配置処理部２５、ブレンド処理部２６、およびループ動画像生成部２７から構成される。

取得部２１は、これから生成しようとするループ動画像の素材となる素材動画像を取得して、フレーム列決定部２２およびループ動画像生成部２７に供給する。

フレーム列決定部２２は、取得部２１から供給された素材動画像から、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤを抽出し、部分フレーム列決定部２３、マッチング処理部２４、およびブレンド処理部２６に供給する。

部分フレーム列決定部２３は、フレーム列決定部２２から供給された遷移先フレーム列ＦＤから部分フレーム列ＦＤ’を抽出し、マッチング処理部２４に供給する。

マッチング処理部２４は、フレーム列決定部２２からの遷移元フレーム列ＦＳと遷移先フレーム列ＦＤ、および部分フレーム列決定部２３からの部分フレーム列ＦＤ’に基づいて弾性マッチングを行い、そのマッチング結果を再配置処理部２５に供給する。

再配置処理部２５は、マッチング処理部２４から供給されたマッチング結果に基づいて、マッチングフレーム再配置処理を行い、その処理結果をブレンド処理部２６に供給する。

ブレンド処理部２６は、再配置処理部２５からの処理結果、およびフレーム列決定部２２からの遷移元フレーム列ＦＳと遷移先フレーム列ＦＤに基づいてブレンド処理を行い、ループ動画像を構成する遷移期間の各フレームを生成し、ループ動画像生成部２７に供給する。

ループ動画像生成部２７は、ブレンド処理部２６からの遷移期間の各フレームと、取得部２１からの素材動画像とに基づいてループ動画像を生成し、出力する。

［ループ動画像生成処理の説明］
ところで、画像処理装置１１に素材動画像が供給され、ループ動画像の生成が指示されると、画像処理装置１１によりループ動画像生成処理が行なわれ、ループ動画像が生成される。以下、図１１のフローチャートを参照して、画像処理装置１１によるループ動画像生成処理について説明する。

ステップＳ１１において、取得部２１は、供給された素材動画像を取得して、フレーム列決定部２２およびループ動画像生成部２７に供給する。

ステップＳ１２において、フレーム列決定部２２は、取得部２１から供給された素材動画像における、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの区間を決定し、部分フレーム列決定部２３、マッチング処理部２４、およびブレンド処理部２６に供給する。

例えば、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤの各フレーム列を構成するフレーム数ＮＦが予め定められているとする。この場合、フレーム列決定部２２は、素材動画像の先頭のフレームからＮＦ番目のフレームまでの区間を遷移先フレーム列ＦＤとし、素材動画像の最後のＮＦフレームからなる区間を遷移元フレーム列ＦＳとする。

なお、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤは、それぞれ異なる素材動画像から抽出されるようにしてもよい。

ステップＳ１３において、部分フレーム列決定部２３は、フレーム列決定部２２から供給された遷移先フレーム列ＦＤから部分フレーム列ＦＤ’を抽出し、マッチング処理部２４に供給する。

例えば、遷移元フレーム列ＦＳおよび遷移先フレーム列ＦＤのフレーム数ＮＦと、ループ動画像に含まれる遷移期間の最小のフレーム数ＮＦ＿ｍｉｎとが予め定められているとする。

この場合、部分フレーム列決定部２３は、部分フレーム列ＦＤ’の開始位置を、遷移先フレーム列ＦＤの１乃至（ＮＦ−ＮＦ＿ｍｉｎ）フレーム目の間で変化させ、かつ部分フレーム列ＦＤ’の長さもＮＦ＿ｍｉｎ乃至ＮＦフレームの間で変化させて、部分フレーム列ＦＤ’を決定する。したがって、複数のフレーム列が部分フレーム列ＦＤ’となり得るので、ステップＳ１３では、それらのフレーム列のうち、まだ処理対象とされていないものが部分フレーム列ＦＤ’とされる。

ステップＳ１４において、マッチング処理部２４は、フレーム列決定部２２からの遷移元フレーム列ＦＳと遷移先フレーム列ＦＤ、および部分フレーム列決定部２３からの部分フレーム列ＦＤ’に基づいて弾性マッチングを行なう。

例えば、弾性マッチングとして、ＤＰマッチングが行なわれる。そのような場合、マッチング処理部２４は、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤに基づいてＤＰ平面を生成し、ＤＰ平面上の各エッジに式（３）に示したコストＥ（ｉ，ｊ，ｋ）を与える。このとき、ＤＰ平面には、必要に応じて仮の始点と仮の終点が与えられる。

そして、マッチング処理部２４は、ＤＰ平面上における始点から終点までの最小コスト経路を探索して、その最小コスト経路の合計コストＣ（ｉ，ｊ，ｍ）を、式（４）を計算することにより求める。式（４）により求まる合計コストは、各マッチングフレームの画像の類似の度合いに基づく最小コスト経路の評価値ということができる。

なお、ＤＰ平面の始点は、遷移元フレーム列ＦＳの先頭のフレームと、部分フレーム列ＦＤ’の先頭のフレームとにより定まる格子点の位置とされる。同様に、ＤＰ平面の終点は、遷移元フレーム列ＦＳの最後のフレームと、部分フレーム列ＦＤ’の最後のフレームとにより定まる格子点の位置とされる。

ステップＳ１５において、マッチング処理部２４は、直前のステップＳ１４の処理で得られた最小コスト経路の合計コストＣ（ｉ，ｊ，ｍ）が最小であるか否かを判定する。すなわち、直前のステップＳ１４の処理で得られた最小コスト経路の合計コストＣ（ｉ，ｊ，ｍ）が、これまで処理対象とした部分フレーム列ＦＤ’について求めた最小コスト経路の合計コストＣ（ｉ，ｊ，ｍ）よりも小さいか否かが判定される。

例えば、マッチング処理部２４は、これまで処理対象とした部分フレーム列ＦＤ’について求めた最小コスト経路の合計コストＣ（ｉ，ｊ，ｍ）のうち、最小となる合計コストＣ（ｉ，ｊ，ｍ）と、そのときのマッチングフレームとを保持している。そして、マッチング処理部２４は、保持している合計コストよりも、直前のステップＳ１４の処理で新たに求められた合計コストが小さい場合、合計コストが最小であると判定する。

ステップＳ１５において、合計コストが最小であると判定された場合、ステップＳ１６において、マッチング処理部２４は、保持している合計コストＣ（ｉ，ｊ，ｍ）とマッチングフレームを更新する。

すなわち、マッチング処理部２４は、これまで保持していた合計コストとマッチングフレームを破棄し、新たに求められた最小コスト経路の合計コストと、その最小コスト経路により示されるマッチングフレームとを保持する。

このように最小コスト経路の合計コストとマッチングフレームの更新を行なっていくことで、合計コストに基づく評価が最も高いマッチングフレームが得られることになる。合計コストとマッチングフレームの更新が行なわれると、その後、処理はステップＳ１７へと進む。

また、ステップＳ１５において、合計コストが最小でないと判定された場合、合計コストとマッチングフレームの更新は行なわれず、処理はステップＳ１７に進む。

ステップＳ１５において合計コストが最小でないと判定されたか、またはステップＳ１６において合計コストとマッチングフレームの更新が行なわれると、ステップＳ１７において、マッチング処理部２４は、全ての部分フレーム列ＦＤ’について処理を行なったか否かを判定する。

ステップＳ１７において、まだ全ての部分フレーム列ＦＤ’について処理を行なっていないと判定された場合、処理はステップＳ１３に戻り、上述した処理が繰り返される。

これに対して、ステップＳ１７において、全ての部分フレーム列ＦＤ’について処理を行なったと判定された場合、マッチング処理部２４は、保持しているマッチングフレームを再配置処理部２５に供給し、処理はステップＳ１８に進む。

ステップＳ１８において、再配置処理部２５は、マッチング処理部２４から供給されたマッチングフレームに基づいて、マッチングフレーム再配置処理を行い、その処理結果をブレンド処理部２６に供給する。

例えば、再配置処理部２５は、図８を参照して説明したように、適宜、マッチングフレームを補間により求めて、マッチングフレームとされた遷移元フレーム列ＦＳと遷移先フレーム列ＦＤのフレームのペアを時系列に並べる。

例えば、図８の矢印Ｑ３１に示したように、補間によってフレームＦ_Ｓ１とフレームＦ_Ｄ２のペア、フレームＦ_Ｓ４とフレームＦ_Ｄ４のペア、およびフレームＦ_Ｓ５とフレームＦ_Ｄ６のペアが求められ、矢印Ｑ３２に示すように、各フレームペアが並べられる。

そして、再配置処理部２５は、各フレームペアについて、フレーム間の時間差（フレーム間隔）と、フレーム間の重みとに基づいて、矢印Ｑ３３に示したように、各フレームペアを配置し直す。

ステップＳ１９において、ブレンド処理部２６は、再配置処理部２５からの処理結果に基づいて、各フレームペアの再割り当て処理を行なう。

例えば、ブレンド処理部２６は、図８を参照して説明したように、遷移期間の各時刻に対して、１つのフレームペアを割り当てる。これにより、図８の矢印Ｑ３４に示すように、遷移期間の各時刻に対して、その時刻のブレンド処理に用いるフレームペアが定められる。

ステップＳ２０において、ブレンド処理部２６は、遷移期間の各時刻へのフレームペアの割り当て結果、およびフレーム列決定部２２からの遷移元フレーム列ＦＳと遷移先フレーム列ＦＤに基づいてブレンド処理を行って、遷移期間の各フレームの画像を生成する。

例えばブレンド処理部２６は、図８を参照して説明したように、遷移期間の時刻ごとに、その時刻に割り当てられたフレームペア、つまり遷移元フレーム列ＦＳのフレームの画像と、部分フレーム列ＦＤ’（遷移先フレーム列ＦＤ）のフレームの画像とをブレンドし、遷移期間のフレームの画像とする。これにより、図８の矢印Ｑ３５に示した遷移期間のフレーム列が得られる。ブレンド処理部２６は、得られた遷移期間のフレーム列を、ループ動画像生成部２７に供給する。

ステップＳ２１において、ループ動画像生成部２７は、ブレンド処理部２６からの遷移期間のフレーム列と、取得部２１からの素材動画像とに基づいてループ動画像を生成する。

例えば、ループ動画像生成部２７は、素材動画像における遷移先フレーム列ＦＤの最後のフレームと、遷移元フレーム列ＦＳの最初のフレームとの間の区間のフレーム列の後に、遷移期間のフレーム列を接続することでループ動画像を生成する。

ループ動画像が生成されると、ループ動画像生成部２７は、生成したループ動画像を出力し、ループ動画像生成処理は終了する。画像処理装置１１から出力されたループ動画像は再生されたり、記録媒体に記録されたりする。

以上のようにして画像処理装置１１は、最終的な遷移先フレーム列ＦＤの候補となる部分フレーム列ＦＤ’の長さや先頭フレームの位置を変えながら、各部分フレーム列ＦＤ’と遷移元フレーム列ＦＳとのマッチングを行い、最適なマッチングフレームを求める。

そして、画像処理装置１１は、得られたマッチングフレームのペアの時間方向の提示位置を調整して、ブレンド処理により遷移期間のフレーム列を生成するとともに、この遷移期間のフレーム列を用いてループ動画像を生成する。

このように、部分フレーム列ＦＤ’の長さや先頭フレームの位置を変えながらマッチングを行なうことで、遷移元フレーム列ＦＳと遷移先フレーム列ＦＤのフレームのペアとして、より適切なペアを得ることができる。これにより、より高精度に類似フレームの遷移を行なうことができ、その結果、より高品質なループ動画像を得ることができる。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

［１］
第１の動画像と第２の動画像のうちの一方から他方へと画像が遷移する遷移動画像を生成する画像処理装置であって、
前記第１の動画像を構成するフレームの画像と、前記第２の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第１の動画像と前記第２の動画像のフレームペアを探索するマッチング処理部と、
時系列に並ぶ複数の前記フレームペアを、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差および前記第２の動画像のフレームの時間差に基づいて、時間方向に再配置する再配置処理部と、
再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像を生成するブレンド処理部と
を備える画像処理装置。
［２］
時系列に並ぶ複数の前記フレームペアの前記第１の動画像のフレームと前記第２の動画像のフレームは、それぞれ時系列の昇順または降順に並んでいる
［１］に記載の画像処理装置。
［３］
前記再配置処理部は、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差と前記第２の動画像のフレームの時間差とを重み付き加算して得られる時間差で、互いに隣接する前記フレームペアが配置されるように、前記再配置を行なう
［２］に記載の画像処理装置。
［４］
前記重み付き加算に用いられる前記第１の動画像のフレームの時間差の重みは、互いに隣接する前記フレームペアの各前記第１の動画像のフレームの重みの平均値とされ、
前記第１の動画像の各フレームの重みは、前記第１の動画像の先頭側にあるフレームほど大きくなるように定められる
［３］に記載の画像処理装置。
［５］
前記マッチング処理部は、所定の前記フレームペアを起点として、前記第１の動画像に対する前記第２の動画像の再生速度を変化させたときに、同時に提示されるべき前記第１の動画像と前記第２の動画像のフレームのペアの前記類似の度合いに基づいて、いくつかの前記再生速度のフレームのペアのうちの何れかを前記所定の前記フレームペアに隣接する前記フレームペアとする
［１］乃至［４］の何れかに記載の画像処理装置。
［６］
前記マッチング処理部は、互いに長さの異なる複数の前記第１の動画像について、時系列に並ぶ複数の前記フレームペアを求め、
前記ブレンド処理部は、前記第１の動画像ごとに求めた複数の前記フレームペアのうち、各フレームについての前記類似の度合いに基づく評価が最も高いものを用いて前記遷移動画像を生成する
［１］乃至［５］の何れかに記載の画像処理装置。
［７］
前記遷移動画像に基づいてループ動画像を生成するループ動画像生成部をさらに備える
［１］乃至［６］の何れかに記載の画像処理装置。

１１ 画像処理装置， ２２ フレーム列決定部， ２３ 部分フレーム列決定部， ２４ マッチング処理部， ２５ 再配置処理部， ２６ ブレンド処理部， ２７ ループ動画像生成部

Claims (9)

1. 第１の動画像と第２の動画像のうちの一方から他方へと画像が遷移する遷移動画像を生成する画像処理装置であって、
   前記第１の動画像を構成するフレームの画像と、前記第２の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第１の動画像と前記第２の動画像のフレームペアを探索するマッチング処理部と、
   時系列に並ぶ複数の前記フレームペアを、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差および前記第２の動画像のフレームの時間差に基づいて、時間方向に再配置する再配置処理部と、
   再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像を生成するブレンド処理部と
   を備える画像処理装置。
2. 時系列に並ぶ複数の前記フレームペアの前記第１の動画像のフレームと前記第２の動画像のフレームは、それぞれ時系列の昇順または降順に並んでいる
   請求項１に記載の画像処理装置。
3. 前記再配置処理部は、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差と前記第２の動画像のフレームの時間差とを重み付き加算して得られる時間差で、互いに隣接する前記フレームペアが配置されるように、前記再配置を行なう
   請求項２に記載の画像処理装置。
4. 前記重み付き加算に用いられる前記第１の動画像のフレームの時間差の重みは、互いに隣接する前記フレームペアの各前記第１の動画像のフレームの重みの平均値とされ、
   前記第１の動画像の各フレームの重みは、前記第１の動画像の先頭側にあるフレームほど大きくなるように定められる
   請求項３に記載の画像処理装置。
5. 前記マッチング処理部は、所定の前記フレームペアを起点として、前記第１の動画像に対する前記第２の動画像の再生速度を変化させたときに、同時に提示されるべき前記第１の動画像と前記第２の動画像のフレームのペアの前記類似の度合いに基づいて、いくつかの前記再生速度のフレームのペアのうちの何れかを前記所定の前記フレームペアに隣接する前記フレームペアとする
   請求項２に記載の画像処理装置。
6. 前記マッチング処理部は、互いに長さの異なる複数の前記第１の動画像について、時系列に並ぶ複数の前記フレームペアを求め、
   前記ブレンド処理部は、前記第１の動画像ごとに求めた複数の前記フレームペアのうち、各フレームについての前記類似の度合いに基づく評価が最も高いものを用いて前記遷移動画像を生成する
   請求項２に記載の画像処理装置。
7. 前記遷移動画像に基づいてループ動画像を生成するループ動画像生成部をさらに備える
   請求項２に記載の画像処理装置。
8. 第１の動画像と第２の動画像のうちの一方から他方へと画像が遷移する遷移動画像を生成する画像処理方法であって、
   前記第１の動画像を構成するフレームの画像と、前記第２の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第１の動画像と前記第２の動画像のフレームペアを探索し、
   時系列に並ぶ複数の前記フレームペアを、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差および前記第２の動画像のフレームの時間差に基づいて、時間方向に再配置し、
   再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像を生成する
   ステップを含む画像処理方法。
9. 第１の動画像と第２の動画像のうちの一方から他方へと画像が遷移する遷移動画像を生成する画像処理用のプログラムであって、
   前記第１の動画像を構成するフレームの画像と、前記第２の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第１の動画像と前記第２の動画像のフレームペアを探索し、
   時系列に並ぶ複数の前記フレームペアを、互いに隣接する前記フレームペアの前記第１の動画像のフレームの時間差および前記第２の動画像のフレームの時間差に基づいて、時間方向に再配置し、
   再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像を生成する
   ステップを含む処理をコンピュータに実行させるプログラム。

Images