JP5435382B2 - モーフィングアニメーションを生成するための方法および装置 - Google Patents

Description

本発明は、画像処理技術に関し、詳細には、モーフィングアニメーションを生成するための方法および装置に関する。

複数の画像からモーフィングアニメーションを生成するための方法および装置は、現在広く利用されている。モーフィングアニメーションのための一般的な方法は、画像ワープを達成することに基づいており、まず2つの画像を2方向にそれぞれワープさせる。2つの画像は、再生時間シーケンスにより、それぞれソース画像および目標画像と呼ばれ、2方向のワープは、2種類のワープを、すなわち、ソース画像から目標画像へのワープと、目標画像からソース画像へのワープを含む。2つのワープされた画像に対して画像のグレースケール融合が行われて一連の中間画像が生成され、それにより、画像の滑らかなモーフィングが得られる。したがって、画像ワーピング技術の品質および関連する特性は、画像モーフィングに影響を与える重要な因子である。

現在、画像ワーピング技術は、すでに、視覚効果および広告デザインで広く利用されている。画像ワーピング技術に対する広範囲で、かつ十分な研究が行われた後、空間マッピングに焦点を当てる一連の方法が形成された。画像ワーピングでは、空間マッピングが中心となり、これによれば、画像ワーピング技術は、一般に、次の3つのタイプに分類することができる。

(1)ブロックベースの画像ワーピング:典型的なアルゴリズムは、2段階のメッシュ画像ワーピングアルゴリズムおよび三角測量ベースのワーピングアルゴリズムを含む。それらの共通の概念は、全体画像をいくつかのブロックに分割し、次いで、すべての小画像のワープを組み合わせて、全体画像のワープを達成することである。このタイプのアルゴリズムの顕著な利点は、ワーピング速度が速いことである。しかしながら、画像を小ブロックへと分割する前処理は、面倒な作業であり、ブロック分割を合理的かつ効果的に行うことが、最終的なワーピング効果に直接影響する。
(2)線ベースのワーピング:このアルゴリズムの概念は、画像上に一連の特徴線を構成することであり、画素とこれらの特徴線の間の距離によって画像上の各画素のオフセットが共に決定される。この方法は、まだワーピング速度が遅く、直感的に十分ではないという問題を有する。

(3)点ベースのワーピング:典型的なアルゴリズムは、放射基底関数に基づくワーピングアルゴリズムである。このアルゴリズムの基本概念は、画像を複数の分散した点の構成体と見なすことである。画像上のすべての点の空間マッピングは、いくつかの指定された特定の点の空間マッピング、およびいくつかの適正な放射基底関数により達成される。このようなアルゴリズムは、比較的直感的なものである。しかしながら、放射基底関数は、通常、ガウス関数などの複雑な関数であるため、ワーピング速度は非常に遅い。さらに、このようなアルゴリズムは、ワープされた画像の安定した境界をほとんど保証することができない。

人々は、アニメーションモーフィング効果に対して、ますます高い要求を持つようになっているが、現在の画像ワーピング技術の場合、複数の画像から生成されるモーフィングアニメーションの得られたモーフィング品質をコントロールすることは容易ではなく、さらなる改良が求められている。

本発明の実施態様は、モーフィング視覚効果を改良するために、複数の画像からモーフィングアニメーションを生成するための方法および装置を提供する。

本発明の実施態様は、モーフィングアニメーションを生成するための方法を提供する。本方法は、隣接画像間の色相差を低減するために、複数の画像中の隣接画像に対して色相前処理を実行する段階と、色相前処理が実行された隣接画像の特徴点差分に従って隣接画像間の中間フレームの数を求める段階であって、特徴点差分が、隣接画像に対応する特徴点の画素距離から算出される、段階と、中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により隣接画像間で生成する段階と、隣接画像間に中間フレーム画像を挿入する段階と、複数の画像、および複数の画像中のすべての隣接画像間に挿入された中間フレーム画像から、モーフィングアニメーションを生成する段階とを有する。

本発明の実施態様は、モーフィングアニメーションを生成するための装置を提供する。本装置は、隣接画像間の色相差を低減するために、複数の画像中の隣接画像に対して色相前処理を実行するように構成された色相前処理モジュールと、色相前処理モジュールにより色相前処理が実行された隣接画像の特徴点差分に従って中間フレームの数を求めるように構成された中間フレーム生成モジュールであって、特徴点差分が、隣接画像に対応する特徴点の画素距離から算出され、さらに、中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により隣接画像間で生成し、隣接画像間に中間フレーム画像を挿入するように構成された中間フレーム生成モジュールと、複数の画像、および複数の画像中のすべての隣接画像間に挿入された中間フレーム画像から、モーフィングアニメーションを生成するように構成されたアニメーション生成モジュールとを具備する。

本発明の実施態様は、音楽再生背景を生成するための方法を提供する。本方法は、アニメーションを生成するために使用される複数の画像を受け取る段階と、隣接画像間の色相差を低減するために、複数の画像中の隣接画像に対して色相前処理を実行する段階と、色相前処理が実行された隣接画像の特徴点差分に従って中間フレームの数を求め、中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により隣接画像間で生成し、隣接画像間に中間フレーム画像を挿入し、複数の画像、および複数の画像中のすべての隣接画像間に挿入された中間フレーム画像から、モーフィングアニメーションを生成する段階と、音楽再生装置のための再生背景としてモーフィングアニメーションを使用する段階とを有する。

本発明の実施態様は音楽再生装置を提供する。本音楽再生装置は、隣接画像間の色相差を低減するために、複数の画像中の隣接画像に対して色相前処理を実行するように構成された色相前処理モジュールと、色相前処理モジュールにより処理が実行された隣接画像の特徴点差分に従って中間フレームの数を求めるように構成された中間フレーム生成モジュールであって、特徴点差分が、隣接画像に対応する特徴点の画素距離から算出され、さらに、中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により隣接画像間で生成し、隣接画像間に中間フレーム画像を挿入するように構成された中間フレーム生成モジュールと、複数の画像、および複数の画像中のすべての隣接画像間に挿入された中間フレーム画像から、モーフィングアニメーションを生成するように構成されたアニメーション生成モジュールと、音楽ファイルを再生し、音楽ファイルの残りの再生時間がゼロを超える場合、音楽ファイルのビデオ表示インターフェース上でモーフィングアニメーションを再生するように構成された再生モジュールとを具備する。

本発明の実施態様では、色相前処理が行われ、また中間フレームの数と同一の数の中間フレーム画像が隣接画像間に挿入されてモーフィングアニメーションが生成されるが、中間フレームの数は、特徴点差分に従って求められ、また生成されたモーフィングアニメーションは、滑らかで、かつ自然であり、それにより、モーフィングアニメーションのモーフィング効果が改善される。

本発明の実施形態、または従来技術における技術的な解決策をより明確に示すために、諸実施形態または従来技術を説明するのに必要な添付の図面を以下で簡単に紹介する。当然ながら、以下の説明における添付の図面は、本発明のいくつかの実施形態であるに過ぎず、当業者であれば、創造的努力をすることなく、さらにこれらの添付図面から他の図面を導出することも可能である。

本発明の実施形態に従ってモーフィングアニメーションを生成するための方法の流れ図である。 本発明の別の実施形態に従ってモーフィングアニメーションを生成するための方法の概略図である。 本発明の実施形態による色相モーフィングの前処理の流れ図である。 本発明の実施形態による明度モーフィングの前処理の流れ図である。 本発明の実施形態による中間フレームの数を求める流れ図である。 本発明の実施形態による複数の人の顔画像からモーフィングアニメーションを生成するための装置の概略的な構造図である。 本発明の実施形態による音楽再生装置に対する再生背景を生成するための方法の流れ図である。 本発明の実施形態による音楽再生装置の概略的な構造図である。

本発明の目的、技術的解決策、および利点を明確にするために、本発明の実施形態における技術的解決策は、本発明の実施形態における添付の図面を参照して、以下で明確に、かつ完全に説明される。以下の記載における実施形態は、本発明の実施形態のすべてではなく、その一部に過ぎないことは明らかである。本発明の実施形態に基づき、創造的努力なしに当業者により取得されたすべての他の実施形態は、本発明の保護範囲に含まれるものとする。

本発明の実施形態は、複数の画像からモーフィングアニメーションを生成するための方法を提供する。本方法は、隣接画像間の色相差を低減するために、複数の画像の中の隣接画像に対して色相前処理を実行するステップと、色相前処理が実行された隣接画像の特徴点差分に従って隣接画像間の中間フレームの数を求めるステップであって、特徴点差分が、隣接画像に対応する特徴点の画素距離に従って計算することにより得られる、ステップと、中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により隣接画像間で生成するステップと、隣接画像間に中間フレーム画像を挿入するステップと、複数の画像、および複数の画像中のすべての隣接画像間に挿入された中間フレーム画像から、モーフィングアニメーションを生成するステップとを含む。図1を参照すると、図1は、本発明の実施形態に従って複数の画像からモーフィングアニメーションを生成するための方法の流れ図であり、以下のステップを含む。

S101:隣接画像間の色相差を低減するために、複数の画像の中の隣接画像に対して色相前処理を実行し、したがって、生成されたアニメーションは、隣接画像の一方から他方へとより滑らかに再生される。

S103:色相前処理が実行された隣接画像の特徴点差分に従って中間フレームの数を求め、かつ中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により隣接画像間で生成する。

S105:複数の画像、および複数の画像中のすべての2つの隣接画像間に挿入された中間フレーム画像から、モーフィングアニメーションを生成する。

本発明の実施形態では、画像は人の顔画像である。複数の画像の中の隣接画像に対して色相前処理を実行するステップは、複数の人の顔画像の中の隣接画像に対して色相前処理を実行するステップを含む。

本発明の別の実施形態では、S101で、複数の人の顔画像の中の隣接画像に対して色相前処理を実行するステップの前に、本方法は、隣接画像間の差を概して低減するために、複数の人の顔画像をソートするステップをさらに含む。複数の画像の中の隣接画像に対して色相前処理を実行するステップは、ソートされた複数の人の顔画像の中の隣接画像に対して色相前処理を実行するステップを指す。

本発明の実施形態の流れ図が図2で示されており、本方法は、以下のステップを含む。

S201:生成されるアニメーションがより滑らかに、かつより自然になるように、隣接画像間の差を概して低減するために複数の人の顔画像をソートする。

S203:隣接画像間の色相差を低減するために、複数の人の顔画像の中の隣接画像に対して画像色相前処理を実行し、したがって、生成されたアニメーションは、隣接画像の一方から他方へとより滑らかに再生される。

S205:隣接画像の類似性に従って中間フレームの数を求め、中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により隣接画像間で生成する。

S207:複数の人の顔画像、および複数の人の顔画像中のすべての2つの隣接画像の間に挿入された中間フレーム画像から、モーフィングアニメーションを生成する。

さらに、S201で、複数の人の顔画像をソートするステップは、人の顔のサイズに従って複数の人の顔画像をソートするステップを特に含む。

具体的なステップは以下のようになる。

すべてのピクチャが読み取られた後、最小のピクチャサイズを見出すために、ピクチャのサイズに対して統計が行われる、またはピクチャサイズが指定され、すべてのピクチャが同一のピクチャサイズのピクチャへと変換される。

同一のピクチャサイズを有する変換された画像中の人の顔サイズに対して、統計が行われ、複数の画像が、同一のピクチャサイズを有する変換された画像における人の顔サイズに従って、昇順または降順でソートされる。

次の処理が、ソートされたピクチャシーケンスに対して行われる。

特定の実施形態では、人の顔サイズは、人の顔の面積、人の顔の幅、人の顔の長さなどとすることができる。

隣接する人の顔画像のモーフィングアニメーション効果は、隣接画像における人の顔サイズの差により影響を受ける。人の顔サイズの差が大きくなると、同等の条件下で、得られたアニメーション効果は、自然さと滑らかさが悪くなり、また人の顔サイズの差が小さくなると、同等の条件下で、得られたアニメーション効果は、より滑らかに、かつより自然になる。したがって、このようなソートプロセスのないアニメーション効果と比較すると、人の顔サイズに基づいてソートされた複数の人の顔ピクチャにより形成された全体的なモーフィング効果は、同等の、その後のモーフィング処理法で得られるモーフィング効果よりも良好である。

複数の人の顔画像をS201でソートすることは、画像の明度に従って複数の人の顔画像をソートするステップをさらに含む。

具体的なステップは、以下のようになる。

画像のすべてのサンプリング点の平均明度値を計算し、平均明度値を画像の明度値として使用する。

上記の方法によれば、複数の人の顔ピクチャの平均明度値がそれぞれ計算された後、複数の画像が、平均明度値の昇順または降順にソートされる。

次いで、ソートされたピクチャシーケンスに対して次の処理が行われる。

隣接する人の顔画像のモーフィングアニメーション効果は、隣接画像における明度の差により影響を受ける。明度の差が大きくなると、同等の条件下で、得られたアニメーション効果は、自然さと滑らかさが悪くなり、また明度の差が小さくなると、同等の条件下で、得られたアニメーション効果は、より滑らかに、かつより自然になる。ソートされた複数のピクチャから生成されたアニメーションは、全体的な明度の点で、暗い部分から明るい部分、または明るい部分から暗い部分への遷移においてより滑らかになり、したがって、複数のピクチャのモーフィングアニメーションの視覚効果を、概して改善することができる。このようなソートプロセスを使用しないアニメーション効果と比較すると、人の顔サイズに基づいてソートされた複数の人の顔ピクチャにより生成された全体的なアニメーション効果は、同等の、その後の処理法で得られるアニメーション効果よりも滑らかで、かつより自然である。

特にS203で、複数の人の顔画像の中の隣接画像に対して画像色相前処理を実行するステップは、色相差を取得するために隣接画像の色相により計算を行うステップと、色相差により色相差絶対値を取得するステップと、差の絶対値が第1の閾値よりも大きいとき、隣接画像中で、かつ差に応じた色相調整法で色相が調整される必要のある画像を決定するステップと、色相調整方法により色相が調整される必要のある画像に対して色相調整を実行するステップとを特に含む。

隣接画像の色相差を取得するために、隣接画像の色相により計算を行うステップは、隣接画像の色相差を取得するために、隣接画像中の第1の画像の平均色相値から第2の画像の平均色相値を減算するステップを含み、また色相調整方法により、調整される必要のある画像に対して色相調整を実行するステップは、色相差がゼロを超える場合、第1の画像の各画素の色相を減少させるか、または第2の画像の各画素の色相を増加させるステップと、色相差がゼロより小さい場合、第1の画像の各画素の色相を増加させるか、または第2の画像の各画素の色相を減少させるステップとを含む。

図3を参照すると、図3は、実施形態による色相モーフィングのアニメーション前処理の流れ図であり、プロセスは以下のステップを含む。

S301:隣接画像の第1の画像の画素の平均色相値から、第2の画像の画素の平均色相値を減算することにより、差Hdmを計算する。

Hdmの絶対値が第1の閾値よりも大きい場合、Hdmはゼロよりも大きい。

S303:第2の画像における各画素の色相値を適正に増加させる。

Hdmの絶対値が第1の閾値よりも大きい場合、Hdmはゼロよりも小さい。

S305:第1の画像における各画素の色相値を適正に増加させる。

S301で、隣接画像における第1の画像と第2の画像との間の色相差を計算するプロセスは、具体的に以下のものを含む。

まず、画像中のランダムな画素の色相値を取得するために、第1の画像Sおよび第2の画像Dを、それぞれ、HISカラーモデルへと変換する。

次に、第2の画像を、第1の画像と同一の尺度に縮尺を合わせる。第1の画像の幅および高さをそれぞれWおよびHとし、幅および高さは、単位として画素数を使用する。

その後に、第1の画像および第2の画像上にそれぞれ対応する長方形領域を構成する。ここで、長方形の幅は、w(0<w≦W)であり、長方形の高さは、h(0<h≦H)であり、長方形の幅および高さは、単位として画素数を使用する。

その後、第1の画像および第2の画像中のそれぞれ対応する画素の色相値を取得し、式(1)で示すように、第1の画像および第2の画像上の対応する画素の色相値の差の合計Hdtを計算する。

最後に、すべてのメッシュ点の数でHdtを割り、式(2)で示されるように、画像画素の色相差平均Hdmを得る。
Hdm=Hdt/(w×h) (2)

第1の画像および第2の画像の色相差平均Hdmは、第1の画像および第2の画像の色相類似性を表すために使用される。特定の実施形態では、長方形の幅および高さはそれぞれWおよびHである。

現在のHdmが正の値であり、第1の閾値よりも大きい場合、それは、第2の画像における画素の平均色相値が比較的低いことを示しており、S303で、第2の画像におけるすべての画素の色相値を適正に増加させる。特定の実施形態では、第1の閾値は0.1であり、第2の画像における各画素の色相値は、0.8×|Hdm|だけ加算される。

現在のHdmが負の値であり、第1の閾値よりも大きい場合、それは、第1の画像における画素の平均色相値が比較的低いことを示しており、S305で、第1の画像におけるすべての画素の色相値を適正に増加させる。特定の実施形態では、第1の画像における各画素の色相値は、0.8×|Hdm|だけ加算される。

現在のHdmがゼロに近づいた場合、それは、第1の画像および第2の画像が、類似した色相を有しており、色相調整を必要としないことを示している。

本発明の実施形態では、S203の方法は、隣接画像の明度差を低減するために、複数の画像の中の隣接画像に対して明度前処理を実行するステップをさらに含み、また色相前処理が行われた隣接画像の特徴点差分に従って隣接画像間の中間フレームの数を求めるステップは、色相前処理および明度前処理が実行された隣接画像の特徴点差分に従って隣接画像間の中間フレームの数を求めるステップを含む。

明度の前処理は、隣接画像の明度差を得るために、隣接画像の明度により計算を行うステップと、明度差による計算で明度差の絶対値を取得するステップと、差の絶対値が第2の閾値よりも大きいとき、まず、隣接画像中で、かつ差に応じた明度調整法で明度を調整する必要のある画像を決定するステップと、次いで、明度調整法に従って、明度を調整する必要のある画像に対して明度調整を実行するステップとを特に含む。

隣接画像の明度差を得るために、隣接画像の明度により計算を実行するステップは、隣接画像の明度差を得るために、隣接画像中の第1の画像の平均明度値から、第2の画像の平均明度値を減算するステップを含み、明度調整法に従って調整する必要のある画像に対して明度調整を実行するステップは、明度差がゼロを超える場合、第1の画像における各画素の明度を減少させるか、または第2の画像における各画素の明度を増加させるステップと、明度の差がゼロよりも小さい場合、第1の画像における各画素の明度を増加させるか、または第2の画像における各画素の明度を減少させるステップとを含む。

図4を参照すると、図4は、本発明の実施形態による明度モーフィングのアニメーション前処理の流れ図であり、プロセスは以下のステップを含む。

S401:隣接画像の第1の画像の画素の平均明度値から、第2の画像の画素の平均明度値を減算することにより差の値Idmを計算する。

Idmの絶対値が、第2の閾値よりも大きく、かつIdmが0よりも大きい場合、
S403:第2の画像における各画素の明度値を適正に増加させる。

Idmの絶対値が第2の閾値よりも大きく、かつIdmが0よりも小さい場合、
S405:第1の画像における各画素の明度値を適正に増加させる。

S401で、第1の画像および第2の画像の明度の類似性を計算するプロセスは、以下のようになる。

まず、画像におけるランダムな画素の明度値を取得するために、第1の画像Sおよび第2の画像DをそれぞれHISカラーモデルへと変換する。

次に、第2の画像を、第1の画像と同一の尺度に縮尺を合わせる。ここで、第1の画像の幅および高さをそれぞれWおよびHとし、幅および高さは共に、単位として画素数を使用する。

その後に、第1の画像および第2の画像上にそれぞれ対応する長方形領域を構成する。ここで、長方形の幅は、w(0<w<W)であり、長方形の高さは、h(0<h<H)であり、長方形の幅および高さは共に、単位として画素数を使用する。

その後、第1の画像および第2の画像上のメッシュ点の画素の明度値をそれぞれ取得し、式(3)で示すように、第1の画像および第2の画像上にあり、かつメッシュ点に対応する画素の明度差の合計(Idt:Intensity difference total)を計算する。

次いで、式(4)で示すように、Idtをすべてのメッシュ点の数で割り、画像画素の明度差平均Idm(明度差平均)を得る。
Idm=Idt/(w×h) (4)

第1の画像および第2の画像の明度差平均Idmは、第1の画像および第2の画像の明度の類似性を表すために使用される。特定の実施形態では、長方形の幅および高さはそれぞれWおよびHである。

現在のIdmが正の値であり、第2の閾値よりも大きい場合、それは、第2の画像における画素の平均明度値が比較的小さいことを示しており、S403で、第2の画像と第1の画像の間で高い類似性を得るために、第2の画像におけるすべての画素の明度値を適正に増加させる。特定の実施形態では、第1の閾値は0.1であり、第2の画像における各画素の明度値は、0.8×|Idm|だけ加算される。

現在のIdmが負の値であり、比較的大きい場合、それは、第2の画像における画素の平均明度値が比較的大きいことを示しており、第2の画像と第1の画像の間で高い類似性を得るために、第1の画像におけるすべての画素の明度値を適正に増加させる。特定の実施形態では、第1の閾値が0.1であり、第1の画像における各画素の明度値は、0.8×|Idm|だけ加算される。

現在のIdmがゼロに近い場合、それは、第1の画像および第2の画像が同様の明度を有しており、明度調整を必要としないことを示している。

隣接画像の色相差が大きい場合、得られたカラー画像のモーフィングアニメーション効果をほとんど保証することができない。したがって、本発明のこの実施形態では、モーフィングアニメーション処理を必要とする隣接画像の色相および明度差が最初に評価される。その差が大きい場合、色相前処理が実行され、次いで、その後のモーフィングアニメーション処理が行われる。自動評価の結果、差がわずかである場合、その後のモーフィングアニメーション処理は、ピクチャのグループに対して直接行われる。

S205で、隣接画像の類似性に従って中間フレームの数を求めるステップは、隣接画像の特徴点差分に従って中間フレームの数を求めるステップを含む。

本発明の実施形態では、特徴点を抽出するための方法は、
まず、動的形状モデル(ASM:active shape model)アルゴリズムにより、人の顔画像ライブラリを訓練し、ASM訓練結果により、特徴点検出ファイルを取得するステップと、
人の顔を含む入力画像に対して、現在最も一般に使用される人の顔検出アルゴリズムであるAdaboost(アダブースト/エイダブースト)アルゴリズムを用いることにより画像中の人の顔領域を取得するステップと、
最後に、ASM訓練アルゴリズムを用いることにより出力された特徴点検出ファイルを用いることによって人の顔領域中の人の顔特徴点を位置決めするステップと
を含む。

本発明の実施形態では、人の顔特徴点の数は45と選択される。

本発明の特定の実施形態では、正規化ベースの絶対距離法が特徴点差分に対して使用される。隣接画像は、再生時間シーケンスにより、それぞれソース画像と目標画像と呼ばれる。方法は以下のようになる。

まず、スケーリング係数xScaleおよびyScaleを定義し、また計算方法は、式(5)および(6)で示すようになる。
xScale=Dx/Sx (5)
yScale=Dy/Sy (6)

ソース画像の幅および高さをそれぞれSxおよびSyとし、目標画像の幅および高さをそれぞれDxおよびDyとする。

目標画像におけるN個の特徴点のD_i(1≦i≦N)の位置を、ソース画像の尺度のD'_i(1≦i≦N)の位置へとマップし、かつ変換する。計算方法は式(7)および(8)で示される。
(D'_i)_x=(D_i)_x/xScale (7)
(D'_i)_y=(D_i)_y/yScale (8)

S_iを、ソース画像のN個の特徴点の位置であるとする。ここで、1≦i≦Nである。

次に、式(9)で示されるソース画像と目標画像の絶対特徴差Reを計算する。

最後に、式(10)で示されるソース画像と目標画像の相対的な特徴差aReを計算する。
aRe=Re/Sf (10)

ソース画像における人の顔の幅をSfとする。

本発明では、ソース画像と目標画像との相対的な特徴差aReは、ソース画像と目標画像との特徴差分を表すために使用される。

モーフィングアニメーション処理において、ソース画像と目標画像とで人の顔の特徴差が異なる場合、中間フレームの数は、モーフィングアニメーションのソース画像および目標画像に対して別々に選択されうる。隣接画像の特徴点差分の値に従って中間フレームの数を求めるステップは、隣接画像の特徴点差分の値が第1の間隔に含まれるとき、中間フレームの数を第1の数として求めるステップと、隣接画像の類似性の値が第2の間隔に含まれるとき、中間フレームの数を第2の数として求めるステップとを含み、第1の間隔の値が、第2の間隔の値よりも小さく、また第1の数が、第2の数よりも小さい。

本発明の実施形態では、隣接画像は、再生時間シーケンスにより、それぞれソース画像および目標画像と呼ばれる。より自然なモーフィングアニメーションを得るために、直感的な評価によれば、ソース画像と目標画像との特徴の類似性の値が大きくなると、相対的な特徴差が小さくなり、モーフィングアニメーションプロセスに必要な中間フレームが少なくなるが、ソース画像と目標画像との特徴の類似性の値が小さくなると、相対的な特徴差は大きくなり、モーフィングプロセスは、より多くの中間フレームを必要とする。特定のソース画像および目標画像の評価後、モーフィング処理に対する評価結果に従って、異なる数の中間フレームを選択する必要がある。

図5を参照すると、図5は、本発明の実施形態による中間フレームの数を求める流れ図であり、プロセスは、
aReがLよりも小さい場合、挿入すべき中間フレームの数をNとし、
aReがLよりも大きく、かつ2Lよりも小さい場合、挿入すべき中間フレームの数を1.5*Nとし、かつ、
aReが2Lより大きい場合、挿入すべき中間フレームの数を2*Nとする。

本発明のこの実施形態では、第1の間隔の値は(0, L)であり、第2の間隔の値は(L, 2L)であり、本発明のこの実施形態におけるLの好ましい値は0.25であるが、当業者であれば、実際の要求により他の値を使用することもでき、また本発明のこの実施形態における第1の値はNであり、本発明のこの実施形態における第2の値は1.5*Nであり、Nは自然数である。本発明の例示的な実施形態では、Nは16と24の間のランダムな数とすることができるが、当業者であれば、実際の要求により他の自然数を使用することもできる。

中間フレームの数が得られた後、中間フレーム画像が、ソース画像および目標画像から生成される。プロセスは以下のものを含む。

ソース画像および目標画像上の特徴点選択を実行し、ソース制御点(SCP:Source Control Points)、および目標制御点(DCP:Destination Control Points)をそれぞれ生成する。

SCPおよびDCPにより、中間制御点(ICP:Inter Control Points)を生成する。ここで、時間tにおけるICPは、ICP(t)で表されるが、t=0とすると、この明細書では線形の遷移過程である。ICP(t)を計算するための式が式(11)で示される。
ICP(t)=(1-t)*SCP(t)+t*DCP(t)t∈[0, 1] (11)

SCPおよびICP(t)は、それぞれ、ソース制御点および目標制御点として使用されて、ソース画像(SI:Source Image)に対して画像ワーピングを行い、ソースをワープさせた画像(SWI(t):Source Warped Image)を取得する。またDCPおよびICP(t)は、それぞれ、ソース制御点および目標制御点として使用され、目標画像(DI:Destination Image)に対して画像ワーピングを行い、画像(DWI(t):Destination Warped Image)を取得する。

画像融合が、式(12)によりSWI(t)およびDWI(t)に対して行われて、中間画像(INTER_I(t):Inter Image)が得られる。
INTER_I(t)=t*SWI(t)+(1-t)*DWI(t) (12)

最後に、tに対して、ワープステップサイズ

が加算され、Nは中間画像の数であり、プロセスはS603に戻る。

結論として、すべてのΔtを通して、ソース画像と目標画像との間で1つの中間遷移画像INTER_I(t)が得られ、画像モーフィングは、NΔtを通して完了する。

モーフィングアニメーションは、固定された再生持続期間を有するモーフィングアニメーションである。S101で、ソートされた隣接画像に対して画像モーフィング前処理が行われる前に、方法は、再生持続期間の現在の残り時間がゼロを超えているかどうかを判断するステップをさらに含み、また複数の画像の中の隣接画像に対して色相前処理を実行するステップは、現在の残り時間がゼロを超える場合、複数の画像の中の隣接画像に対して色相前処理を実行するステップを含む。

本発明は、複数の画像からモーフィングアニメーションを生成するための装置を提供する。図6を参照すると、図6は、本発明の実施形態による複数の画像からモーフィングアニメーションを生成するための装置の概略的な構造図である。装置は、隣接画像間の色相差を低減するために、複数の画像の中の隣接画像に対して色相前処理を実行するように構成され、したがって、生成されたアニメーションが隣接画像の一方から他方へとより滑らかに切り替わるようになる色相前処理モジュール601と、色相前処理モジュールにより色相前処理が実行された隣接画像の特徴点差分に従って中間フレームの数を求め、中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により隣接画像間で生成し、中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により隣接画像間で生成するように構成された中間フレーム生成モジュール603と、複数の画像、および複数の画像中のすべての隣接画像間で挿入された中間フレーム画像から、モーフィングアニメーションを生成するように構成されたアニメーション生成モジュール605とを含む。

本発明の実施形態では、複数の画像は、複数の人の顔画像であり、また色相前処理モジュールは、隣接画像の色相差を低減するために、複数の人の顔画像の中の隣接画像に対して色相前処理を実行するように構成される。

本発明の別の実施形態では、ソーティングモジュールをさらに含み、隣接画像間の差を概して低減するために、複数の人の顔画像をソートするように構成され、したがって、生成されたアニメーションは、隣接画像の一方から他方へとより滑らかに再生され、また色相前処理モジュールは、ソーティングモジュールにより処理が行われた複数の画像の中の隣接画像に対して色相前処理を実行するように構成される。

ソーティングモジュールは、人の顔サイズに従って複数の人の顔画像をソートするように構成される。

ソーティングモジュールは、画像明度に従って複数の人の顔画像をソートするように構成される。

色相前処理モジュール601は、隣接画像の色相差を取得するために、隣接画像の色相により計算を行い、色相差による計算で色相差絶対値を取得し、差の絶対値が第1の閾値よりも大きいとき、隣接画像中で、かつ差に応じた色相調整法で色相を調整する必要のある画像を決定し、次いで、色相調整方法に従って、色相を調整する必要のある画像に対して色相調整を実行するように構成される。

中間フレーム生成モジュール603は、隣接画像の類似性に従って中間フレームの数を求めるように構成されるが、それは、隣接画像の特徴点差分に従って中間フレームの数を求めるステップを含む。

中間フレーム生成モジュール603は、隣接画像の特徴点差分に従って中間フレームの数を求めるように構成されるが、それは特に、隣接画像の類似性の値が第1の間隔に含まれるとき、中間フレームの数を第1の数として求めるステップと、隣接画像の類似性の値が第2の間隔に含まれるとき、中間フレームの数を第2の数として求めるステップとを含み、その場合、第1の間隔の値は、第2の間隔の値よりも小さく、また第1の数は、第2の数よりも小さい。

装置は、複数の人の顔画像の中の隣接画像に対して明度前処理を実行するように構成された明度前処理モジュールをさらに含み、また中間フレーム生成モジュールは、色相前処理および明度前処理が実行された隣接画像に従ってモーフィングアニメーションを生成するように構成される。

明度前処理モジュールは、隣接画像の明度差を取得するために、隣接画像の明度による計算を行い、明度差に従って明度差絶対値を取得し、差の絶対値が第2の閾値よりも大きいとき、隣接画像中で、かつ差に応じた明度調整法で明度を調整する必要のある画像を決定し、次いで、明度調整法に従って、調整する必要のある画像に対して明度調整を実行するように特に構成される。

本発明の実施形態では、モーフィングアニメーションは、固定された再生持続期間を有するモーフィングアニメーションであり、装置は、再生持続期間の現在の残り時間がゼロを超えるかどうかを判断するように構成された判断モジュールをさらに含み、また色相前処理モジュールは、再生持続期間の現在の残り時間がゼロを超えるとき、複数の画像の中の隣接画像に対して色相前処理を実行するように構成される。

本発明の実施形態は、音楽再生装置に対する再生背景を生成するための方法を提供する。図7を参照すると、図7は、本発明の実施形態による構造図であり、次のステップを含む。

S701:アニメーションを生成するために使用される複数の画像を受け取る。

S703:隣接画像間の色相差を低減するために、複数の画像の中の隣接画像に対して色相前処理を実行する。

S705:色相前処理が実行された隣接画像の特徴点差分に従って中間フレームの数を求め、中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により隣接画像間で生成し、隣接画像間に中間フレーム画像を挿入し、かつ複数の画像、および複数の画像中のすべての隣接画像間に挿入される中間フレーム画像から、モーフィングアニメーションを生成する。

S707:音楽再生装置のための再生背景として、複数の画像から生成されたモーフィングアニメーションを使用する。

本発明の実施形態では、複数の画像は、複数の人の顔画像であり、また複数の画像の中の隣接画像に対して色相前処理を実行するステップは、複数の人の顔画像の中の隣接画像に対して色相前処理を実行するステップを含む。

色相前処理モジュールは、隣接画像の色相差を低減するために、複数の人の顔画像の中の隣接画像に対して色相前処理を実行するように構成される。

本発明のこの実施形態では、隣接画像の特徴点差分に従って中間フレームの数を求めるステップの前に、方法は、複数の画像中の人の顔画像の特徴点を位置決めするステップを含む。

特徴点を位置決めするための方法は、自動検出により人の顔の特徴点を位置決めするステップを含む。

自動検出により人の顔の特徴点を位置決めするステップでは、指定されたピクチャに対して、人の顔検出に基づき、人の顔の主要な特徴点が、ユーザによる多くの手動操作を必要とせずに自動的に検出され、人の顔の位置決めが簡便に、かつ高速に行われる。自動検出による人の顔の特徴点を位置決めするステップは、動的形状モデルアルゴリズムにより、人の顔の特徴点を検出し、かつ位置決めするステップである。

人の顔画像の特徴点を位置決めするステップは、全体的なドラッギング(dragging)、または単一点のドラッギングにより、人の顔の特徴点を位置決めするステップを含む。全体的なドラッギング法は、人の顔画像の特徴点を、人の顔の輪郭、眉毛、眼、鼻、および口の5つの部分の特徴点に分割することであり、人の顔の輪郭、眉毛、眼、鼻、および口の5つの部分の特徴点は、それぞれ、全体としてドラッグされる（なぞられる）。眉毛と眼の2つの部分に対しては、左右の眉毛、および左右の眼がまた、別々にドラッグされる。全体的なドラッギングは、手動の位置決めモードにおける、自動検出により位置決めされた特徴点と人の顔の特徴点の実際のテンプレートとの間の距離が大きいことによる、1つずつ特徴点を移動する面倒過ぎる作業を回避することができる。

単一点のドラッギング法の場合、人の顔の特徴の正確な位置決め操作を実行するために、1つずつドラッグすることにより特徴点が選択される。

本発明のこの実施形態では、特徴点を自動的に検出し、かつ位置決めするための位置決め法が主として使用される。自動検出および位置決め法が、望ましくない影響を有する場合、人の顔画像の特徴点は、全体的なドラッギング、または単一点ドラッギングにより位置決めされて、自動的に検出され、かつ位置決めされた不満足な特徴点が調整される。

画像の中の隣接画像に対して、画像モーフィング前処理が行われる前に、方法は、音楽ファイルのタイムスタンプを取り込むことにより音楽ファイルの現在の残りの時間を取得するステップをさらに含む。現在の残り時間がゼロを超えるかどうかが判断される。画像の中の隣接画像に対して画像色相前処理を実行するステップは、現在の残り時間がゼロを超える場合、複数の画像の中の隣接画像に対して色相前処理を実行するステップを指す。

本発明のこの実施形態では、音楽が再生されると同時に写真が動的にロードされ、毎回、人の顔を変形する必要のある2つの写真だけをメモリにロードする必要があるに過ぎず、変形されると削除される。その場合、2つの新しい写真は、メモリを消費することなくロードされる。

写真をロードする時間間隔が大きすぎる場合、再生背景の滑らかさに影響を与え、写真をロードする時間間隔が小さすぎる場合、再生背景は、どうしようもない混乱したものとなり、実際の人の顔の元のピクチャを区別することができなくなって、各フレームは絶えず変化することになる。本発明のこの実施形態では、最適な時間間隔は3から5秒であるが、本発明は、この値の時間間隔に限定されることはない。

本発明の実施形態は、音楽再生装置を提供し、その場合、音楽再生装置は、隣接画像間の色相差を低減するために、複数の画像の中の隣接画像に対して色相前処理を実行するように構成された色相前処理モジュール801と、色相前処理モジュールにより処理が実行された隣接画像の特徴点差分に従って中間フレームの数を求めるように構成された中間フレーム生成モジュール803であって、特徴点差分が、隣接画像に対応する特徴点の画素距離による計算で取得され、さらに、中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により隣接画像間で生成し、かつ隣接画像間に中間フレーム画像を挿入するように構成された中間フレーム生成モジュール803と、複数の画像、および複数の画像中のすべての隣接画像間に挿入された中間フレーム画像に従ってモーフィングアニメーションを生成するように構成されたアニメーション生成モジュール805と、音楽ファイルを再生し、かつ音楽ファイルの残りの再生時間がゼロを超えるとき、音楽ファイルのビデオ表示インターフェース上でモーフィングアニメーションを再生するように構成された再生モジュールとを含む。

本発明のこの実施形態で提供される音楽再生装置は、音楽ファイルおよび複数の画像を記憶するように構成されたストレージモジュール807をさらに含む。

本発明のこの実施形態で提供される音楽再生装置は、音楽ファイルのビデオ表示インターフェースを表示するように構成された表示モジュール809をさらに含む。

当業者であれば、添付の図面は、例示的な実施形態の概略図に過ぎないこと、および添付図面におけるモジュールまたは手順は、本発明を実施するために必ずしも必要ではないことを理解するはずである。

当業者であれば、諸実施形態で提供された装置のモジュールは、諸実施形態の記載に従って分散された方法で装置中に構成することができるが、諸実施形態で説明したものとは異なる1つまたは複数の装置で構成できることも理解されるはずである。実施形態におけるモジュールは、1つのモジュールに組み合わせることができるが、複数のサブモジュールに分割することも可能である。

最後に、上記の諸実施形態は、本発明の技術的な解決策を説明するために使用されるに過ぎず、本発明を限定することを意図していないことに留意されたい。本発明は、上記の実施形態を参照して詳細に説明されているが、当業者であれば、上記の実施形態で説明された技術的解決策に対してさらに諸変更を加えることができること、または技術的な解決策のいくつかの技術的特徴に対して、等価な置換えを行うことができるが、これらの変更または置換えが、対応する技術的解決策を、本発明の実施形態における技術的解決策の精神および範囲から逸脱させるものではないことも理解すべきである。

601 色相前処理モジュール
603 中間フレーム生成モジュール
605 アニメーション生成モジュール
801 色相前処理モジュール
803 中間フレーム生成モジュール
805 アニメーション生成モジュール
807 ストレージモジュール
809 表示モジュール

Claims (30)

1. モーフィングアニメーションを生成するための方法であって、
   複数の画像中の隣接画像に対して色相前処理を実行して、前記隣接画像間の色相差を減少させる段階と、
   前記色相前処理が実行された前記隣接画像の特徴点差分に従って前記隣接画像間の中間フレームの数を求める段階と、
   前記中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により前記隣接画像間で生成する段階と、
   前記隣接画像間に前記中間フレーム画像を挿入する段階と、
   前記複数の画像、および前記複数の画像中のすべての隣接画像間に挿入された前記中間フレーム画像から、モーフィングアニメーションを生成する段階と
   を有し、
   前記特徴点差分は、前記隣接画像に対応する特徴点の画素距離から算出されることを特徴とする方法。
2. 前記複数の画像中の前記隣接画像に対して明度前処理を実行して、前記隣接画像間の明度差を減少させる段階をさらに有し、
   前記色相前処理が実行された前記隣接画像の特徴点差分に従って前記隣接画像間の中間フレームの数を求める前記段階が、前記色相前処理および前記明度前処理が実行された前記隣接画像の特徴点差分に従って前記隣接画像間の中間フレームの数を求める段階を含むことを特徴とする請求項１に記載の方法。
3. 前記複数の画像中の前記隣接画像に対して明度前処理を実行する前記段階が、
   前記隣接画像の明度に従う計算を行って、前記隣接画像間の明度差を取得する段階と、
   前記明度差に従って明度差絶対値を取得する段階と、
   前記明度差絶対値が第２閾値よりも大きい場合、前記隣接画像中で、かつ前記明度差に応じた明度調整法で明度が調整される必要のある画像を決定する段階と、
   明度が調整される必要のある前記画像に対して、前記明度調整法により明度調整を実行する段階と
   を含むことを特徴とする請求項２に記載の方法。
4. 前記隣接画像の明度に従う計算を行って、前記隣接画像間の明度差を取得する前記段階が、前記隣接画像のうちの第１画像の平均明度値から、前記隣接画像のうちの第２画像の平均明度値を減算して、前記隣接画像間の明度差を取得する段階を含み、
   明度が調整される必要のある前記画像に対して、前記明度調整法により明度調整を実行する前記段階が、
   前記明度差がゼロを超える場合、前記第１画像の各画素の明度を減少させるか、または前記第２画像の各画素の明度を増加させる段階と、
   前記明度差がゼロより小さい場合、前記第１画像の各画素の明度を増加させるか、または前記第２画像の各画素の明度を減少させる段階と
   を含むことを特徴とする請求項３に記載の方法。
5. 複数の画像中の隣接画像に対して色相前処理を実行する前記段階が、
   前記隣接画像の色相に従う計算を行って、前記隣接画像間の色相差を取得する段階と、
   前記色相差に従って色相差絶対値を取得する段階と、
   前記色相差絶対値が第１閾値よりも大きい場合、前記隣接画像中で、かつ前記色相差に応じた色相調整法で色相が調整される必要のある画像を決定する段階と、
   色相が調整される必要のある前記画像に対して、前記色相調整法により色相調整を実行する段階と
   を含むことを特徴とする請求項１ないし４のいずれか１項に記載の方法。
6. 前記隣接画像の色相に従う計算を行って、前記隣接画像間の色相差を取得する前記段階が、前記隣接画像のうちの第１画像の平均色相値から、前記隣接画像のうちの第２画像の平均色相値を減算して、前記隣接画像間の色相差を取得する段階を含み、
   色相が調整される必要のある前記画像に対して、前記色相調整法により色相調整を実行する前記段階が、
   前記色相差がゼロを超える場合、前記第１画像の各画素の色相を減少させるか、または前記第２画像の各画素の色相を増加させる段階と、
   前記色相差がゼロより小さい場合、前記第１画像の各画素の色相を増加させるか、または前記第２画像のに各画素の色相を減少させる段階と
   を含むことを特徴とする請求項５に記載の方法。
7. 前記色相前処理が実行された前記隣接画像の前記特徴点差分に従って前記隣接画像間の中間フレームの数を求める前記段階が、
   前記隣接画像の前記特徴点差分の値が第１間隔に含まれる場合、中間フレームの数を第１数に決定する段階と、
   前記隣接画像の前記特徴点差分の値が第２間隔に含まれる場合、中間フレームの数を第２数に決定する段階と
   を含み、
   前記第１間隔の値は、前記第２間隔の値よりも小さく、
   前記第１数は、前記第２数よりも小さいことを特徴とする請求項１ないし６のいずれか１項に記載の方法。
8. 前記モーフィングアニメーションが、固定された再生持続期間を有するモーフィングアニメーションであり、
   複数の画像中の隣接画像に対して色相前処理を実行する前記段階の前に、前記再生持続期間の現在の残り時間がゼロを超えるか否かを判断する段階をさらに有し、
   複数の画像中の隣接画像に対して色相前処理を実行する前記段階が、前記現在の残り時間がゼロを超える場合、前記複数の画像中の前記隣接画像に対して色相前処理を実行する段階を含むことを特徴とする請求項１ないし７のいずれか１項に記載の方法。
9. 前記複数の画像が、複数の人の顔画像であり、
   複数の画像中の隣接画像に対して色相前処理を実行する前記段階が、前記複数の人の顔画像中の隣接画像に対して色相前処理を実行する段階を含むことを特徴とする請求項１ないし８のいずれか１項に記載の方法。
10. 前記複数の人の顔画像中の隣接画像に対して色相前処理を実行する前記段階の前に、前記複数の人の顔画像をソートする段階をさらに含み、
    前記複数の人の顔画像中の隣接画像に対して色相前処理を実行する前記段階が、ソートされた前記複数の人の顔画像中の隣接画像に対して色相前処理を実行する段階であることを特徴とする請求項９に記載の方法。
11. 前記複数の人の顔画像をソートする前記段階が、画像中の人の顔のサイズに従って前記複数の人の顔画像をソートする段階を含むことを特徴とする請求項１０に記載の方法。
12. 前記複数の人の顔画像をソートする前記段階が、画像の明度に従って前記複数の人の顔画像をソートする段階を含むことを特徴とする請求項１０に記載の方法。
13. モーフィングアニメーションを生成するための装置であって、
    複数の画像中の隣接画像に対して色相前処理を実行して、前記隣接画像間の色相差を減少させるように構成された色相前処理モジュールと、
    前記色相前処理モジュールにより前記色相前処理が実行された前記隣接画像の特徴点差分に従って中間フレームの数を求め、前記中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により前記隣接画像間で生成し、前記隣接画像間に前記中間フレーム画像を挿入するように構成された中間フレーム生成モジュールと、
    前記複数の画像、および前記複数の画像中のすべての隣接画像間に挿入された前記中間フレーム画像から、モーフィングアニメーションを生成するように構成されたアニメーション生成モジュールと
    を具備し、
    前記特徴点差分は、前記隣接画像に対応する特徴点の画素距離から算出されることを特徴とする装置。
14. 前記色相前処理モジュールが、前記隣接画像の色相に従う計算を行って、前記隣接画像間の色相差を取得し、前記色相差に従って色相差絶対値を取得し、前記色相差絶対値が第１閾値よりも大きい場合、前記隣接画像中で、かつ前記色相差に応じた色相調整法で色相が調整される必要のある画像を決定し、色相が調整される必要のある前記画像に対して、前記色相調整法により色相調整を実行するように構成されることを特徴とする請求項１３に記載の装置。
15. 前記中間フレーム生成モジュールが、前記隣接画像の類似性の値が第１間隔に含まれる場合、中間フレームの数を第１数に決定し、かつ前記隣接画像の類似性の値が第２間隔に含まれる場合、中間フレームの数を第２数に決定するように構成され、
    前記第１間隔の値は、前記第２間隔の値よりも小さく、
    前記第１数は、前記第２数よりも小さいことを特徴とする請求項１３または１４に記載の装置。
16. 前記モーフィングアニメーションが、固定された再生持続期間を有するモーフィングアニメーションであり、
    前記再生持続期間の現在の残り時間がゼロを超えるか否かを判断するように構成された判断モジュールをさらに具備し、
    前記色相前処理モジュールが、前記再生持続期間の前記現在の残り時間がゼロを超える場合、前記複数の画像中の前記隣接画像に対して色相前処理を実行するように構成されることを特徴とする請求項１３ないし１５のいずれか１項に記載の装置。
17. 前記複数の画像が、複数の人の顔画像であり、
    前記色相前処理モジュールが、前記複数の人の顔画像中の隣接画像に対して色相前処理を実行して、前記隣接画像間の色相差を減少させるように構成されることを特徴とする請求項１３ないし１６のいずれか１項に記載の装置。
18. 前記複数の人の顔画像中の前記隣接画像に対して明度前処理を実行するように構成された明度前処理モジュールをさらに具備し、
    前記中間フレーム生成モジュールが、前記色相前処理および前記明度前処理が実行された前記隣接画像の特徴点差分に従って中間フレームの数を求めるように構成されることを特徴とする請求項１７に記載の装置。
19. 前記明度前処理モジュールが、前記隣接画像の明度に従う計算を行って、前記隣接画像間の明度差を取得し、前記明度差に従って明度差絶対値を取得し、前記明度差絶対値が第２閾値よりも大きい場合、前記隣接画像中で、かつ前記明度差に応じた明度調整法で明度が調整される必要のある画像を決定し、明度が調整される必要のある前記画像に対して、前記明度調整法により明度調整を実行するように構成されることを特徴とする請求項１８に記載の装置。
20. 前記複数の人の顔画像をソートするように構成されたソーティングモジュールをさらに具備し、
    前記色相前処理モジュールが、前記ソーティングモジュールによりソートされた前記複数の人の顔画像中の隣接画像に対して色相前処理を実行するように構成されることを特徴とする請求項１７ないし１９のいずれか１項に記載の装置。
21. 前記ソーティングモジュールが、画像中の人の顔のサイズに従って前記複数の人の顔画像をソートするように構成されることを特徴とする請求項２０に記載の装置。
22. 前記ソーティングモジュールが、画像の明度に従って前記複数の人の顔画像をソートするように構成されることを特徴とする請求項２０に記載の装置。
23. 音楽再生背景を生成するための方法であって、
    アニメーションを生成するために使用される複数の画像を受け取る段階と、
    前記複数の画像中の隣接画像に対して色相前処理を実行して、前記隣接画像間の色相差を減少させる段階と、
    前記色相前処理が実行された前記隣接画像の特徴点差分に従って中間フレームの数を求め、前記中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により前記隣接画像間で生成し、前記隣接画像間に前記中間フレーム画像を挿入し、前記複数の画像、および前記複数の画像中のすべての隣接画像間に挿入された前記中間フレーム画像から、モーフィングアニメーションを生成する段階と、
    音楽再生装置のための再生背景として前記モーフィングアニメーションを使用する段階と
    を有することを特徴とする方法。
24. 前記複数の画像が、複数の人の顔画像であり、
    複数の画像中の隣接画像に対して色相前処理を実行する前記段階が、前記複数の人の顔画像中の隣接画像に対して色相前処理を実行する段階を含むことを特徴とする請求項２３に記載の方法。
25. 前記色相前処理が実行された前記隣接画像の特徴点差分に従って中間フレームの数を求める前記段階の前に、前記隣接画像の特徴点の位置決めをする段階をさらに有することを特徴とする請求項２４に記載の方法。
26. 前記人の顔画像の特徴点の位置決めをする前記段階が、自動検出により人の顔の特徴点を位置決めする段階を含むことを特徴とする請求項２５に記載の方法。
27. 自動検出により人の顔の特徴点を位置決めする前記段階が、動的形状モデルアルゴリズムにより自動的に人の顔の特徴点を検出して位置決めする段階を含むことを特徴とする請求項２６に記載の方法。
28. 前記人の顔画像の特徴点の位置決めをする前記段階が、全体的なドラッギング、または単一点ドラッギングにより前記人の顔画像の前記特徴点を位置決めする段階を含み、
    前記全体的なドラッギングにより前記人の顔画像の前記特徴点を位置決めする段階は、
    前記人の顔画像の特徴点を、人の顔の輪郭、眉毛、眼、鼻、および口の５つの部分の特徴点へと分割する段階と、
    全体として人の顔の輪郭、眉毛、眼、鼻、および口の５つの部分の特徴点をそれぞれドラッグする段階と
    を含み、
    前記単一点ドラッギングにより前記人の顔画像の前記特徴点を位置決めする段階は、各特徴点を別々にドラッグする段階を含むことを特徴とする請求項２５に記載の方法。
29. 前記複数の画像中の隣接画像に対して色相前処理を実行する前記段階の前に、
    音楽ファイルのタイムスタンプを取り込むことにより、前記音楽ファイルの現在の残り時間を取得する段階と、
    前記現在の残り時間がゼロを超えるか否かを判断する段階と
    をさらに有し、
    前記複数の画像中の隣接画像に対して色相前処理を実行する前記段階が、前記現在の残り時間がゼロを超える場合、前記複数の画像中の前記隣接画像に対して色相前処理を実行する段階であることを特徴とする請求項２３に記載の方法。
30. 複数の画像中の隣接画像に対して色相前処理を実行して、前記隣接画像間の色相差を減少させるように構成された色相前処理モジュールと、
    前記色相前処理モジュールにより前記色相前処理が実行された前記隣接画像の特徴点差分に従って中間フレームの数を求め、前記中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により前記隣接画像間で生成し、前記隣接画像間に前記中間フレーム画像を挿入するように構成された中間フレーム生成モジュールと、
    前記複数の画像、および前記複数の画像中のすべての隣接画像間に挿入された前記中間フレーム画像から、モーフィングアニメーションを生成するように構成されたアニメーション生成モジュールと、
    音楽ファイルを再生し、前記音楽ファイルの残りの再生時間がゼロを超える場合、前記音楽ファイルのビデオ表示インターフェース上で前記モーフィングアニメーションを再生するように構成された再生モジュールと
    を具備し、
    前記特徴点差分は、前記隣接画像に対応する特徴点の画素距離から算出されることを特徴とする音楽再生装置。

Images