JP5434965B2 - 動画生成方法、動画生成装置及びプログラム - Google Patents

Description

本発明は、静止画像から動画像を生成する動画生成方法、動画生成装置及びプログラムに関する。

従来、静止画像内の所望の位置に制御点を設定して、動きをつけたい制御点に所望の動きを指定することで当該静止画像を動かす技術が知られている（例えば、特許文献１参照）。

特開２００７−３２３２９３号公報

しかしながら、上記特許文献１の場合、制御点毎に動きを指定しなければならず、その作業が煩雑であるだけでなく、ユーザ所望の動きを再現するのが難しいといった問題がある。

本発明は、このような問題に鑑みてなされたものであり、ユーザ所望の動きの動画像の生成を簡便に行うことができる動画生成方法、動画生成装置及びプログラムを提供することである。

上記課題を解決するため、本発明の動画生成方法は、
動体モデルに設定されている複数の可動点と、予め所定空間内における前記動体モデルの複数の可動点の動きを示す動き情報を記憶した動画生成装置を用いた動画生成方法であって、当該動画生成装置のコンピュータが、
静止画像を取得する取得ステップと、
前記取得ステップにて取得された静止画に対して、前記動体モデルと前記静止画像の大きさを合わせるように寸法の調整を行ない、前記動体モデルに設定されている複数の可動点を反映させる可動点反映ステップと、
前記可動点反映ステップにて反映された前記静止画像の前記複数の可動点を、前記動き情報に基づいて動かし、当該可動点の動きに従って前記静止画像を変形させたフレーム画像を複数生成するフレーム画像生成ステップと、
前記フレーム画像生成ステップにて生成された複数のフレームから動画像を生成する動画像生成ステップと、
を実行することを特徴としている。

また、本発明の動画生成装置は、
動体モデルに設定されている複数の可動点と、
予め所定空間内における前記動体モデルの複数の可動点の動きを示す動き情報を記憶する記憶手段と、
静止画像を取得する取得手段と、
前記取得手段により取得された静止画像に対して、前記動体モデルと前記静止画像の大きさを合わせるように寸法の調整を行ない、前記動体モデルに設定されている複数の可動点を反映させる可動点反映手段と、
前記可動点反映手段により反映された前記静止画像の前記複数の可動点を、前記動き情報に基づいて動かし、当該可動点の動きに従って前記静止画像を変形させたフレーム画像を複数生成するフレーム画像生成手段と、
前記フレーム画像生成手段により生成された複数のフレームから動画像を生成する動画像生成手段と、
を備えたことを特徴としている。

また、本発明のプログラムは、
動体モデルに設定されている複数の可動点と、予め所定空間内における前記動体モデルの複数の可動点の動きを示す動き情報を記憶する記憶手段を備える動画生成装置のコンピュータを、
静止画像を取得する取得手段、
前記取得手段により取得された静止画像に対して、前記動体モデルと前記静止画像の大きさを合わせるように寸法の調整を行ない、前記動体モデルに設定されている複数の可動点を反映させる可動点反映手段、
前記可動点反映手段により反映された前記静止画像の前記複数の可動点を、前記動き情報に基づいて動かし、当該可動点の動きに従って前記静止画像を変形させたフレーム画像を複数生成するフレーム画像生成手段、
前記フレーム画像生成手段により生成された複数のフレームから動画像を生成する動画像生成手段、
として機能させることを特徴としている。

本発明によれば、ユーザ所望の動きの動画像の生成を簡便に行うことができる。

本発明を適用した一実施形態の動画生成システムの概略構成を示すブロック図である。 動画生成システムを構成するユーザ端末の概略構成を示すブロック図である。 動画生成システムを構成するサーバの概略構成を示すブロック図である。 動画生成システムによる動画生成処理に係る動作の一例を示すフローチャートである。 図４の動画生成処理の続きを示すフローチャートである。 図４の動画生成処理に係る画像の一例を模式的に示す図である。 図４の動画生成処理を説明するための図である。 図４の動画生成処理を説明するための図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の動画生成システム１００の概略構成を示すブロック図である。

本実施形態の動画生成システム１００は、図１に示すように、撮像装置１と、ユーザ端末２と、サーバ３とを備え、ユーザ端末２とサーバ３とが所定の通信ネットワークＮを介して各種情報を送受信可能に接続されている。

撮像装置１は、被写体を撮像する撮像機能や撮像画像の画像データを記録媒体Ｃに記録する記録機能等を具備する。即ち、撮像装置１は、公知のものを適用可能であり、例えば、主要な機能を撮像機能とするデジタルカメラ等だけでなく、主要な機能としないものの撮像機能を具備する携帯電話機等も含む。

次に、ユーザ端末２について図２を参照して説明する。
ユーザ端末２は、例えば、パーソナルコンピュータ等により構成され、サーバ３により開設されるＷｅｂページ（例えば、動画生成用ページ）にアクセスして、当該Ｗｅｂページ上で各種の指示を入力する。

図２は、ユーザ端末２の概略構成を示すブロック図である。
図２に示すように、ユーザ端末２は、具体的には、中央制御部２０１と、通信制御部２０２と、表示部２０３と、音出力部２０４と、記録媒体制御部２０５と、操作入力部２０６等を備えている。

中央制御部２０１は、ユーザ端末２の各部を制御するものである。具体的には、中央制御部２０１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、ＲＯＭに記憶されたユーザ端末２用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部２０３に表示させる。
ＲＡＭは、例えば、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、ユーザ端末２で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。

通信制御部２０２は、例えば、モデム（MODEM:Modulater/DEModulater）、ターミナルアダプタ（Terminal Adapter）等によって構成され、所定の通信ネットワークＮを介してサーバ３等の外部機器との間で情報の通信制御を行うためのものである。

なお、通信ネットワークＮは、例えば、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信回線網と、それらを接続するインターネットサービスプロバイダ等が含まれる。

表示部２０３は、例えば、ＬＣＤ、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、中央制御部２０１のＣＰＵの制御下にて各種情報を表示画面に表示する。
即ち、表示部２０３は、例えば、サーバ３から送信され通信制御部２０２により受信されたＷｅｂページ（例えば、動画生成用ページ）のページデータに基づいて、対応するＷｅｂページを表示画面に表示する。具体的には、表示部２０３は、動画生成処理（後述）に係る各種の処理画面の画像データに基づいて、各種の処理画面を表示画面に表示する（図７（ａ）等参照）。

音出力部２０４は、例えば、Ｄ／Ａコンバータ、ＬＰＦ（Low Pass Filter）、増幅器、スピーカ等により構成され、中央制御部２０１のＣＰＵの制御下にて放音する。
即ち、音出力部２０４は、例えば、サーバ３から送信され通信制御部２０２により受信された演奏情報に基づいて、当該演奏情報のデジタルデータをＤ／Ａコンバータによりアナログデータに変換し、増幅器を介してスピーカから、所定の音色、音高、音長で曲を放音する。また、音出力部２０４は、一の音源（例えば、楽器）の音を放音しても良いし、複数の音源の音を同時に放音しても良い。

記録媒体制御部２０５は、記録媒体Ｃが着脱自在に構成され、装着された記録媒体Ｃからのデータの読み出しや記録媒体Ｃに対するデータの書き込みを制御する。即ち、記録媒体制御部２０５は、撮像装置１から取り外されて装着された記録媒体Ｃから動画生成処理（後述）に係る被写体存在画像Ｐ１（図６（ａ）参照）の画像データを読み出して通信制御部２０２に出力する。
ここで、被写体存在画像Ｐ１とは、所定の背景内に主要な被写体が存在する画像のことである。また、記録媒体Ｃには、撮像装置１の画像処理部（図示略）により所定の符号化形式（例えば、ＪＰＥＧ形式等）に従って符号化された被写体存在画像Ｐ１の画像データが記録されている。
そして、通信制御部２０２は、入力された被写体存在画像Ｐ１の画像データをサーバ３に所定の通信ネットワークＮを介して送信する。

操作入力部２０６は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより押下されたキーの押下信号やマウスの操作信号を中央制御部２０１のＣＰＵに出力する。
なお、操作入力部２０６としてタッチパネル（図示略）を表示部２０３の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。

次に、サーバ３について図３を参照して説明する。
サーバ３は、Ｗｅｂ（World Wide Web）サーバとしてインターネット上にＷｅｂページ（例えば、動画生成用ページ）を開設する機能を具備するものであり、ユーザ端末２からのアクセスに応じて当該ユーザ端末２にＷｅｂページのページデータを送信する。また、サーバ３は、動画生成装置として、静止画像内で動き情報Ｍに係る複数の可動点Ｄａ、…に対応する各位置に動きの制御点Ｄｂを複数設定し、指定された動き情報Ｍの複数の可動点Ｄａ、…の動きに追従させるように複数の制御点Ｄｂ、…を動かして動画像Ｑを生成する。

図３は、サーバ３の概略構成を示すブロック図である。
図３に示すように、サーバ３は、具体的には、中央制御部３０１と、表示部３０２と、通信制御部３０３と、被写体切抜部３０４と、記憶部３０５と、動画処理部３０６等を備えて構成されている。

中央制御部３０１は、サーバ３の各部を制御するものである。具体的には、中央制御部３０１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、ＣＰＵは、ＲＯＭに記憶されたサーバ３用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部３０２に表示させる。
ＲＡＭは、例えば、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、サーバ３で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。

表示部３０２は、例えば、ＬＣＤ、ＣＲＴ等のディスプレイから構成され、中央制御部３０１のＣＰＵの制御下にて各種情報を表示画面に表示する。

通信制御部３０３は、例えば、モデム、ターミナルアダプタ等によって構成され、所定の通信ネットワークＮを介してユーザ端末２等の外部機器との間で情報の通信制御を行うためのものである。
具体的には、通信制御部３０３は、例えば、動画生成処理（後述）にてユーザ端末２から所定の通信ネットワークＮを介して送信された被写体存在画像Ｐ１の画像データを受信して、当該画像データを中央制御部３０１のＣＰＵに出力する。
中央制御部３０１のＣＰＵは、入力された被写体存在画像Ｐ１の画像データを被写体切抜部３０４に出力する。

被写体切抜部３０４は、被写体存在画像Ｐ１から被写体切り抜き画像Ｐ２を生成する。
即ち、被写体切抜部３０４は、公知の被写体切抜手法を用いて、被写体存在画像Ｐ１から被写体Ｓが含まれる領域が切り抜いた画像を生成する。具体的には、被写体切抜部３０４は、中央制御部３０１のＣＰＵから出力された被写体存在画像Ｐ１の画像データを取得して、例えば、ユーザによるユーザ端末２の操作入力部２０６（例えば、マウス等）の所定操作に基づいて、表示部２０３に表示されている当該被写体存在画像Ｐ１上に描画された境界線（図示略）により当該被写体存在画像Ｐ１を区分する。そして、被写体切抜部３０４は、被写体存在画像Ｐ１の境界線により区分される被写体Ｓが含まれる被写体領域を抽出して、当該被写体領域のアルファ値を「１」とするとともに被写体Ｓの背景部分のアルファ値を「０」とし、当該被写体領域の画像を所定の単一色画像と合成した被写体切り抜き画像Ｐ２（図６（ｂ）参照）の画像データを生成する。即ち、被写体切り抜き画像Ｐ２のうち、アルファ値が「１」の被写体領域の所定の背景に対する透過度が０％となり、一方、アルファ値が「０」の被写体Ｓの背景部分の所定の背景に対する透過度が１００％となる。
また、被写体切り抜き画像Ｐ２の画像データとしては、例えば、ＲＧＢＡ形式の画像データを適用することができ、具体的には、ＲＧＢ色空間で規定される各色に透過度（Ａ）の情報が付加されている。なお、被写体切り抜き画像Ｐ２の画像データは、例えば、被写体存在画像Ｐ１の各画素について、被写体領域の画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したアルファマップと対応付けられる構成であっても良い。

なお、上記した被写体切抜部３０４による被写体切抜手法は、一例であってこれに限られるものではなく、被写体存在画像Ｐ１から被写体Ｓが含まれる領域を切り抜く公知の手法であれば如何なる手法を適用しても良い。

記憶部３０５は、例えば、半導体の不揮発メモリやＨＤＤ（Hard Disc Drive）等により構成され、ユーザ端末２に送信されるＷｅｂページのページデータや被写体切抜部３０４により生成された被写体切り抜き画像Ｐ２の画像データ等を記憶する。

また、記憶部３０５は、動画生成処理に用いられる動き情報Ｍを複数記憶している。
各動き情報Ｍは、所定空間、即ち、例えば、互いに直交する二軸（例えば、ｘ軸、ｙ軸等）により規定される二次元の平面空間やこれら二軸に加えて当該二軸に直交する軸（例えば、ｚ軸等）により規定される三次元の立体的空間内における複数の可動点Ｄａ、…の動きを示す情報である。なお、動き情報Ｍは、二次元の平面空間を所定の回動軸周りに回転させることで複数の可動点Ｄａ、…の動きに奥行きをもたせるような情報であっても良い。
ここで、各可動点Ｄａの位置は、動きのモデルとなる動体モデル（例えば、ヒトや動物等）の骨格の形状や関節の位置等を考慮してそれぞれ規定されている。また、可動点Ｄａの個数は、動体モデルの形状や大きさ等に応じて適宜任意に設定可能である。
また、各動き情報Ｍは、所定空間内にて複数の可動点Ｄａ、…の全て若しくは少なくとも一つを移動させた座標情報を所定の時間間隔で連続して並べることで、複数の可動点Ｄａ、…の動きが連続して表されている（図８（ａ）参照）。具体的には、各動き情報Ｍは、例えば、複数の可動点Ｄａ、…を所定の踊りに対応させるように移動させた情報であり、複数の可動点Ｄａ、…の動きが連続して表された動体モデルのモデル名と対応付けてそれぞれ記憶されている。また、各動き情報Ｍは、動きの種類（例えば、ヒップホップ、ツイスト、ロボットダンス等）やバリエーション（例えば、ヒップホップ１〜３等）に応じて、複数の可動点Ｄａ、…の連続した動きを異ならせている。

例えば、図８（ａ）に示すように、動き情報Ｍは、ヒトの動体モデルの両方の腕を挙げた状態を模式的に表した複数の可動点Ｄａ、…の座標情報Ｄ１、片方の腕（図８（ａ）における左側の腕）を下げた状態を模式的に表した複数の可動点Ｄａ、…の座標情報Ｄ２、両方の腕を下げた状態を模式的に表した複数の可動点Ｄａ、…の座標情報Ｄ３といったように、時間軸に沿って所定の時間間隔を空けて連続して並べられている（図８（ａ）にあっては、座標情報Ｄ３以降の座標情報の図示は省略する）。
ここで、複数の可動点Ｄａ、…の座標情報Ｄ１、Ｄ２、Ｄ３、…の各々は、例えば、基準となる可動点Ｄａの座標情報（例えば、座標情報Ｄ１等）に対する各可動点Ｄａの移動量を規定した情報であっても良いし、各可動点Ｄａの絶対位置座標を規定した情報であっても良い。
なお、図８（ａ）に示した動き情報Ｍは、一例であってこれに限られるものではなく、動きの種類等は適宜任意に変更可能である。
このように、記憶部３０５は、予め所定空間内における複数の可動点Ｄａ、…の動きを示す動き情報Ｍを複数記憶する記憶手段を構成している。

また、記憶部３０５は、動画生成処理に用いられる演奏情報Ｔを複数記憶している。
演奏情報Ｔは、動画再生部３０６ｅにより動画像Ｑとともに自動的に演奏される情報である。即ち、演奏情報Ｔは、例えば、テンポ、拍子、音程、音階、調、発想標語等を異ならせて複数規定され、それぞれ曲名と対応付けて記憶されている。
また、各演奏情報Ｔは、例えば、ＭＩＤＩ（Musical Instruments Digital Interface）規格等に従って規定されたデジタルデータであり、具体的には、トラック数や四分音符の分解能（Tickカウント数）等が規定されたヘッダ情報と、各音源（例えば、楽器等）毎の演奏情報Ｔ等が規定されたトラック情報等を有している。また、トラック情報には、テンポ及び拍子の設定情報やNoteOn・Offのタイミング等が規定されている。

動画処理部３０６は、画像取得部３０６ａと、制御点設定部３０６ｂと、動き指定部３０６ｃと、画像生成部３０６ｄと、動画再生部３０６ｅと、速さ指定部３０６ｆとを具備している。

画像取得部３０６ａは、動画生成処理に用いられる静止画像を取得する。
即ち、画像取得部３０６ａは、静止画像として、背景と被写体Ｓとが存在する被写体存在画像Ｐ１から被写体Ｓが含まれる領域が切り抜かれた被写体切り抜き画像Ｐ２を取得する。具体的には、画像取得部３０６ａは、被写体切抜部３０４により生成された被写体切り抜き画像Ｐ２の画像データを処理対象の静止画像として取得する。

制御点設定部３０６ｂは、処理対象の静止画像内で動きの制御点Ｄｂを複数設定する。
即ち、制御点設定部３０６ｂは、画像取得部３０６ａにより取得された被写体切り抜き画像Ｐ２の被写体画像Ｐｓ内で複数の可動点Ｄａ、…に対応する各位置に動きの制御点Ｄｂを複数設定する。具体的には、制御点設定部３０６ｂは、記憶部３０５から動体モデル（例えば、ヒト）の動き情報Ｍを読み出して、被写体切り抜き画像Ｐ２の被写体画像Ｐｓ内で、当該動き情報Ｍに規定されている基準フレーム（例えば、１フレーム目等）の複数の可動点Ｄａ、…の各々が対応する位置を特定する。例えば、制御点設定部３０６ｂは、被写体画像Ｐｓがヒトを主要被写体Ｓとして切り抜いた画像である場合には（図７（ｂ）参照）、ヒトの骨格の形状や関節の位置等を考慮して複数の可動点Ｄａ、…の各々が対応する位置を特定する。このとき、動体モデルと被写体画像Ｐｓについて、例えば、顔などの主要部の大きさを合わせるように寸法の調整（例えば、動体モデルの拡大や縮小、変形等）を行うようにしても良い。また、例えば、動体モデルと被写体画像Ｐｓを重ね合わせて被写体画像Ｐｓにおける複数の可動点Ｄａ、…の各々が対応する位置を特定しても良い。
そして、制御点設定部３０６ｂは、特定された複数の可動点Ｄａ、…の各々が対応する位置に動きの制御点Ｄｂをそれぞれ設定する。

なお、制御点設定部３０６ｂによる動きの制御点Ｄｂの設定は、上記のように自動的に行われても良いし、手動で行われても良い。即ち、例えば、ユーザによるユーザ端末２の操作入力部２０６の所定操作に基づいて入力された所望の位置に動きの制御点Ｄｂを設定するようにしても良い。
さらに、制御点設定部３０６ｂによる動きの制御点Ｄｂの設定が自動的に行われた場合であっても、ユーザによる操作入力部の所定操作に基づいて制御点Ｄｂの設定位置の修正（変更）を受け付けるようにしても良い。

動き指定部３０６ｃは、動画生成処理に用いられる動き情報Ｍを指定する。
即ち、動き指定部３０６ｃは、記憶部３０５に記憶されている複数の動き情報Ｍ、…の中で、何れか一の動き情報Ｍを指定する。具体的には、表示部２０３に表示されている所定画面内の複数の動きモデルのモデル名の中で、ユーザによるユーザ端末２の操作入力部２０６の所定操作に基づいて何れか一のモデル名（例えば、ヒップホップ１等）を指定する指示が通信ネットワークＮ及び通信制御部３０３を介して入力されると、動き指定部３０６ｃは、複数の動き情報Ｍ、…の中で、指定指示に係る動きモデルのモデル名と対応付けられている動き情報Ｍを指定する。
なお、動き指定部３０６ｃは、複数の動き情報Ｍ、…の中で、例えば、デフォルトとして設定されている動き情報Ｍやユーザにより前回指定された動き情報Ｍを自動的に指定するようにしても良い。

画像生成部３０６ｄは、動画像Ｑを構成する複数のフレーム画像Ｆ、…を逐次生成する。
即ち、画像生成部３０６ｄは、動き指定部３０６ｃにより指定された動き情報Ｍの複数の可動点Ｄａ、…の動きに追従させるように、被写体切り抜き画像Ｐ２の被写体画像Ｐｓ内に設定されている複数の制御点Ｄｂ、…を移動させて複数のフレーム画像Ｆ、…を逐次生成する。具体的には、画像生成部３０６ｄは、例えば、動き情報Ｍに従って所定の時間間隔で移動する複数の可動点Ｄａ、…の座標情報を逐次取得して、当該可動点Ｄａの各々に対応する各制御点Ｄｂの座標を算出する。そして、画像生成部３０６ｄは、算出された座標に制御点Ｄｂを逐次移動させていくとともに、少なくとも一の制御点Ｄｂを基準として被写体画像Ｐｓ内に設定される所定の画像領域（例えば、三角形や矩形のメッシュ状の領域）を移動させたり変形させることで、基準フレーム画像Ｆａ（図８（ｂ）参照）を生成する。これにより、例えば、動き情報Ｍの複数の可動点Ｄａ、…の各座標情報Ｄ１、Ｄ２、Ｄ３（図８（ｂ）参照）等に対応する位置に制御点Ｄｂが配設された基準フレーム画像Ｆａ（図８（ｂ）参照）がそれぞれ生成される。なお、図８（ｂ）にあっては、各制御点Ｄｂを仮想的に表したものであり、基準フレーム画像Ｆａに実際に現れているものではない。
また、制御点Ｄｂを基準とした所定の画像領域を移動させたり変形させる処理は、公知の技術であるので、ここでは詳細な説明を省略する。

また、画像生成部３０６ｄは、移動後の可動点Ｄａの各々に対応する複数の制御点Ｄｂ、…に基づいて生成される時間軸に沿って隣合う二つの基準フレーム画像Ｆａ、Ｆａどうしの間を補間する補間フレーム画像Ｆｂを生成する（図８（ｂ）参照）。即ち、画像生成部３０６ｄは、動画再生部３０６ｅにより複数のフレーム画像Ｆが所定の再生フレームレート（例えば、３０ｆｐｓ等）で再生されるように、二つの基準フレーム画像Ｆａ、Ｆａどうしの間を補間する補間フレーム画像Ｆｂを所定数生成する。
具体的には、画像生成部３０６ｄは、隣合う二つの基準フレーム画像Ｆａ、Ｆａ間における、動画再生部３０６ｅにより演奏される所定の曲の演奏の進行度合を逐次取得して、当該進行度合に応じて、隣合う二つの基準フレーム画像Ｆａ、Ｆａ間で再生される補間フレーム画像Ｆｂを逐次生成する。例えば、画像生成部３０６ｄは、ＭＩＤＩ規格の演奏情報Ｔに基づいてテンポの設定情報及び四分音符の分解能（Tickカウント数）を取得して、動画再生部３０６ｅにより演奏される所定の曲の演奏の経過時間をTickカウント数に変換する。続けて、画像生成部３０６ｄは、所定の曲の演奏の経過時間に対応するTickカウント数に基づいて、所定のタイミング（例えば、各小節の一拍目等）に同期させた隣合う二つの基準フレーム画像Ｆａ、Ｆａ間における所定の曲の演奏の相対的な進行度合を、例えば百分率で算出する。そして、画像生成部３０６ｄは、所定の曲の演奏の相対的な進行度合に応じて、当該隣合う二つの基準フレーム画像Ｆａ、Ｆａに対する重み付けを変えて補間フレーム画像Ｆｂを生成する。
ここで、所定の曲の演奏の相対的な進行度合は、隣合う二つの基準フレーム画像Ｆａ、Ｆａの各々が同期した所定のタイミングどうしの間で、テンポや拍子の変更が行われて、算出された進行度合が前回算出された進行度合に対して減少した場合には、進行度合の減少度合が小さくなるように当該進行度合を補正するようにしても良い。これにより、曲の進行度合を考慮してより適正な補間フレーム画像Ｆｂを生成することができる。
なお、補間フレーム画像Ｆｂを生成する処理は、公知の技術であるので、ここでは詳細な説明を省略する。

また、画像生成部３０６ｄによる基準フレーム画像Ｆａや補間フレーム画像Ｆｂの生成は、例えば、ＲＧＢＡ形式の画像データの場合、ＲＧＢ色空間で規定される被写体画像Ｐｓの各色の情報及び透過度（Ａ）の情報の両方について行われる。

また、制御点設定部３０６ｂによる制御点Ｄｂの設定処理にて、動き情報Ｍの基準フレームの可動点Ｄａの位置に対して所定の距離以上離れた位置に、当該可動点Ｄａに対応する制御点Ｄｂが設定された場合には、当該可動点Ｄａと制御点Ｄｂとの距離を考慮して、基準フレーム画像Ｆａの生成を行っても良い。
即ち、複数の可動点Ｄａ、…の座標情報Ｄ１、Ｄ２、Ｄ３、…の各々が、例えば、基準となる可動点Ｄａの座標情報（例えば、座標情報Ｄ１等）に対する各可動点Ｄａの移動量を規定した情報の場合、基準となる可動点Ｄａの座標情報以降の座標情報（例えば、座標情報Ｄ２、Ｄ３等）に対応させるように、それぞれの可動点Ｄａの移動量に応じて移動させた制御点Ｄｂの位置が、予め動き情報Ｍに規定されている可動点Ｄａの位置に対して所定の距離以上離れてしまう。この結果、生成される基準フレーム画像Ｆａが、動き情報Ｍに規定している可動点Ｄａの動きを再現することができない虞がある。
そこで、基準となる可動点Ｄａの座標情報以降の座標情報（例えば、座標情報Ｄ２、Ｄ３等）については、それぞれの可動点Ｄａの移動量に、基準となる可動点Ｄａと当該可動点Ｄａに対応する制御点Ｄｂとの距離を加算して、それぞれの可動点Ｄａに対応する制御点Ｄｂの座標を算出するようにしても良い。

動画再生部３０６ｅは、画像生成部３０６ｄにより生成された複数のフレーム画像Ｆ、…の各々を再生する。
即ち、動画再生部３０６ｅは、ユーザによるユーザ端末２の操作入力部２０６の所定操作に基づいて指定された演奏情報Ｔに基づいて所定の曲を自動的に演奏するとともに、当該所定の曲の所定のタイミングで複数のフレーム画像Ｆ、…の各々を再生する。具体的には、動画再生部３０６ｅは、所定の曲の演奏情報のデジタルデータをＤ／Ａコンバータによりアナログデータに変換して当該所定の曲を自動的に演奏させ、このとき、所定のタイミング（例えば、各小節の１拍目や各拍等）に同期させるように隣合う二つの基準フレーム画像Ｆａ、Ｆａを再生するとともに、隣合う二つの基準フレーム画像Ｆａ、Ｆａ間における所定の曲の演奏の相対的な進行度合に応じて、当該進行度合に対応する各々の補間フレーム画像Ｆｂを再生する。
なお、動画再生部３０６ｅは、速さ指定部３０６ｆ（後述）により指定された速さで被写体画像Ｐｓに係る複数のフレーム画像Ｆ、…を再生しても良い。この場合には、動画再生部３０６ｅは、隣合う二つの基準フレーム画像Ｆａ、Ｆａを同期させるタイミングを変化させることで、所定の単位時間内に再生されるフレーム画像Ｆの数を変更して被写体画像Ｐｓの動きの速さを可変させる。

速さ指定部３０６ｆは、被写体画像Ｐｓの動きの速さを指定する。
即ち、速さ指定部３０６ｆは、制御点設定部３０６ｂにより設定される複数の動きの制御点Ｄｂの動きの速さを指定する。具体的には、サーバ３には、表示部２０３に表示されている所定画面内の被写体画像Ｐｓの複数の速さ（例えば、１／２倍、標準（等倍）、２倍等）の中で、ユーザによるユーザ端末２の操作入力部２０６の所定操作に基づいて何れか一の速さ（例えば、標準等）を指定する指示が、通信ネットワークＮ及び通信制御部３０３を介して入力される。速さ指定部３０６ｆは、複数の動きの速さの中で、当該指定指示に係る速さを被写体画像Ｐｓの動きの速さとして指定する。
これにより、所定の単位時間で切り替えられるフレーム画像Ｆ数が、例えば、１／２倍、等倍、２倍等に変更される。

次に、ユーザ端末２及びサーバ３を用いた動画生成処理について図４〜図８を参照して説明する。
ここで、図４及び図５は、動画生成処理に係る動作の一例を示すフローチャートである。また、図６（ａ）〜図６（ｃ）は、動画生成処理に係る画像の一例を模式的に示す図である。また、図７（ａ）及び図７（ｃ）は、動画生成処理におけるユーザ端末２の表示部２０３に表示される表示画面の一例を模式的に示す図であり、図７（ｂ）は、可動点Ｄａと制御点Ｄｂとの対応関係の一例を模式的に示す図である。また、図８（ａ）は、動き情報Ｍの一例を模式的に示す図であり、図８（ｂ）は、動画像Ｑを構成するフレーム画像Ｆの一例を模式的に示す図である。
なお、以下の説明にあっては、被写体存在画像Ｐ１の画像データから生成された被写体切り抜き画像Ｐ２（図６（ｂ）参照）の画像データがサーバ３の記憶部３０５に記憶されているものとする。また、ヒトを動体モデルとした動き情報Ｍ（図８（ａ）参照）が記憶部３０５に記憶されているものとする。

図４に示すように、ユーザ端末２の中央制御部２０１のＣＰＵは、ユーザによる操作入力部２０６の所定操作に基づいて、サーバ３により開設される動画生成用ページのアクセス指示が入力されると、当該アクセス指示を通信制御部２０２により所定の通信ネットワークＮを介してサーバ３に送信させる（ステップＳ１）。
サーバ３の通信制御部３０３によって、ユーザ端末２から送信されたアクセス指示が受信されると、中央制御部３０１のＣＰＵは、動画生成用ページのページデータを通信制御部３０３により所定の通信ネットワークＮを介してユーザ端末２に送信させる（ステップＳ２）。
そして、ユーザ端末２の通信制御部２０２によって、動画生成用ページのページデータが受信されると、表示部２０３は、当該動画生成用ページのページデータに基づいて、動画生成用ページの画面Ｐｇを表示する（図７（ａ）参照）。

次に、ユーザ端末２の中央制御部２０１は、ユーザによる操作入力部２０６の所定操作に基づいて、動画生成用ページの画面Ｐｇ内にて操作された各種ボタンに対応する指示信号を通信制御部２０２により所定の通信ネットワークＮを介してサーバ３に送信させる（ステップＳ３）。
図５に示すように、サーバ３の中央制御部３０１のＣＰＵは、ユーザ端末２からの指示の内容に応じて処理を分岐させる（ステップＳ４）。具体的には、中央制御部３０１のＣＰＵは、ユーザ端末２からの指示が、被写体画像Ｐｓの指定に関する内容の場合（ステップＳ４；被写体画像の指定）、処理をステップＳ５１に移行させ、また、制御点Ｄｂの修正に関する内容の場合（ステップＳ４；制御点の修正）、処理をステップＳ６１に移行させ、また、合成内容の修正に関する内容の場合（ステップＳ４；合成内容の修正）、処理をステップＳ７１に移行させ、また、背景画像Ｐｂの指定に関する内容の場合（ステップＳ４；背景画像の指定）、処理をステップＳ８１に移行させ、また、動き及び曲の指定に関する内容の場合（ステップＳ４；動き及び曲の指定）、処理をステップＳ９１に移行させる。

＜被写体画像の指定＞
ステップＳ４にて、ユーザ端末２からの指示が、被写体画像Ｐｓの指定に関する内容の場合（ステップＳ４；被写体画像の指定）、動画処理部３０６の画像取得部３０６ａは、記憶部３０５に記憶されている被写体切り抜き画像Ｐ２の画像データの中からユーザにより指定された被写体切り抜き画像Ｐ２の画像データを読み出して取得する（ステップＳ５１）。
次に、制御点設定部３０６ｂは、取得された被写体切り抜き画像Ｐ２の被写体画像Ｐｓ内で動きの制御点Ｄｂが既に設定されているか否かを判定する（ステップＳ５２）。

ステップＳ５２にて、動きの制御点Ｄｂが設定されていないと判定されると（ステップＳ５２；ＮＯ）、制御点設定部３０６ｂは、被写体切り抜き画像Ｐ２の画像データに基づいて、当該被写体切り抜き画像Ｐ２のトリミングを行って、トリミング後の画像Ｐ３の被写体画像Ｐｓの背面に所定色の画像を付加して背面画像（図示略）を生成する（ステップＳ５３）。
具体的には、制御点設定部３０６ｂは、被写体切り抜き画像Ｐ２の画像データに基づいて、被写体画像Ｐｓの所定位置（例えば、中心やヒトの顔の位置等）を基準として被写体切り抜き画像Ｐ２をトリミングすることで被写体画像Ｐｓと動きモデル（例えば、ヒト）の大きさが等しくなるように補正する（ステップＳ５３）。被写体切り抜き画像Ｐ２のトリミング後の画像Ｐ３を図６（ｃ）に示す。
このとき、制御点設定部３０６ｂは、例えば、被写体画像Ｐｓがヒトの場合、当該ヒトの顔や背骨といった中心部がトリミング後の画像Ｐ３の左右方向の中心に沿って配設されるようにトリミングを行っても良い。
また、被写体切り抜き画像Ｐ２のトリミングは、例えば、ＲＧＢＡ形式の画像データの場合、ＲＧＢ色空間で規定される被写体画像Ｐｓの各色の情報及び透過度（Ａ）の情報について行われる。

次に、中央制御部３０１のＣＰＵは、トリミングされた画像Ｐ３の画像データを通信制御部３０３により所定の通信ネットワークＮを介してユーザ端末２に送信させる（ステップＳ５４）。その後、制御点設定部３０６ｂは、トリミング後の画像Ｐ３の被写体画像Ｐｓ内で複数の可動点Ｄａ、…に対応する各位置に動きの制御点Ｄｂを複数設定する（ステップＳ５５；図７（ｂ）参照）。
具体的には、制御点設定部３０６ｂは、記憶部３０５から動体モデル（例えば、ヒト）の動き情報Ｍを読み出して、被写体切り抜き画像Ｐ２の被写体画像Ｐｓ内で、当該動き情報Ｍに規定されている複数の可動点Ｄａ、…の各々が対応する位置を特定した後、当該複数の可動点Ｄａ、…の各々が対応する位置に動きの制御点Ｄｂをそれぞれ設定する。
そして、動画再生部３０６ｅは、当該被写体画像Ｐｓに対して設定された複数の制御点Ｄｂ、…、並びに被写体画像Ｐｓの合成位置やサイズ等の合成内容を所定の格納手段（例えば、所定のメモリ等）に登録する（ステップＳ５６）。
その後、中央制御部３０１のＣＰＵは、処理をステップＳ１０に移行させる。ステップＳ１０の処理の内容については、後述する。

なお、ステップＳ５２にて、既に動きの制御点Ｄｂが設定されていると判定されると（ステップＳ５２；ＹＥＳ）、中央制御部３０１のＣＰＵは、ステップＳ５３〜Ｓ５６の処理をスキップして、処理をステップＳ１０に移行させる。

＜制御点の修正＞
ステップＳ４にて、ユーザ端末２からの指示が、制御点Ｄｂの修正に関する内容の場合（ステップＳ４；制御点の修正）、動画処理部３０６の制御点設定部３０６ｂは、ユーザによる操作入力部２０６の所定操作に基づいて動きの制御点Ｄｂの位置を修正する（ステップＳ６１）。
即ち、図４に示すように、ステップＳ１１にて、ユーザ端末２の中央制御部２０１は、ユーザによる操作入力部２０６の所定操作に基づいて、設定済みの制御点Ｄｂの修正指示が入力されたと判定すると（ステップＳ１１；ＹＥＳ）、当該修正指示に対応する信号を通信制御部２０２により所定の通信ネットワークＮを介してサーバ３に送信させる（ステップＳ３）。
そして、図５に示すように、動画処理部３０６の制御点設定部３０６ｂは、ユーザによる操作入力部２０６の所定操作に基づいて入力された所望の位置に動きの制御点Ｄｂを設定する（ステップＳ６１）。
その後、中央制御部３０１のＣＰＵは、処理をステップＳ１０に移行させる。ステップＳ１０の処理の内容については、後述する。

＜合成内容の修正＞
ステップＳ４にて、ユーザ端末２からの指示が、合成内容の修正に関する内容の場合（ステップＳ４；合成内容の修正）、動画処理部３０６は、ユーザによる操作入力部２０６の所定操作に基づいて被写体画像Ｐｓの合成位置やサイズを設定する（ステップＳ７１）。
即ち、図４に示すように、ステップＳ１１にて、ユーザ端末２の中央制御部２０１は、ユーザによる操作入力部２０６の所定操作に基づいて、被写体画像Ｐｓの合成位置やサイズの修正指示が入力されたと判定すると（ステップＳ１１；ＹＥＳ）、当該修正指示に対応する信号を通信制御部２０２により所定の通信ネットワークＮを介してサーバ３に送信させる（ステップＳ３）。
そして、図５に示すように、動画処理部３０６は、ユーザによる操作入力部２０６の所定操作に基づいて、被写体画像Ｐｓの合成位置を所望の合成位置に設定したり、当該被写体画像Ｐｓのサイズを所望のサイズに設定する（ステップＳ７１）。
その後、中央制御部３０１のＣＰＵは、処理をステップＳ１０に移行させる。ステップＳ１０の処理の内容については、後述する。

＜背景画像の指定＞
ステップＳ４にて、ユーザ端末２からの指示が、背景画像Ｐｂの指定に関する内容の場合（ステップＳ４；背景画像の指定）、動画処理部３０６の動画再生部３０６ｅは、ユーザによる操作入力部２０６の所定操作に基づいて所望の背景画像（他の画像）Ｐｂの画像データを読み出して（ステップＳ８１）、当該背景画像Ｐｂの画像データを動画像Ｑの背景として所定の格納手段に登録する（ステップＳ８２）。
具体的には、サーバ３には、ユーザ端末２の表示部２０３に表示されている動画生成用ページの画面Ｐｇ内の複数の画像データの中で、ユーザによる操作入力部２０６の所定操作に基づいて指定された何れか一の画像データの指定指示が、通信ネットワークＮ及び通信制御部３０３を介して入力される。動画再生部３０６ｅは、当該指定指示に係る背景画像Ｐｂ（図７（ａ）参照）の画像データを記憶部３０５から読み出して取得した後（ステップＳ８１）、当該背景画像Ｐｂの画像データを動画像Ｑの背景として登録する（ステップＳ８２）。

次に、中央制御部３０１のＣＰＵは、背景画像Ｐｂの画像データを通信制御部３０３により所定の通信ネットワークＮを介してユーザ端末２に送信させる（ステップＳ８３）。
その後、中央制御部３０１のＣＰＵは、処理をステップＳ１０に移行させる。ステップＳ１０の処理の内容については、後述する。

＜動き及び曲の指定＞
ステップＳ４にて、ユーザ端末２からの指示が、動き及び曲の指定に関する内容の場合（ステップＳ４；動き及び曲の指定）、動画処理部３０６は、ユーザによる操作入力部２０６の所定操作に基づいて動き情報Ｍや動きの速さを設定する（ステップＳ９１）。
具体的には、サーバ３には、ユーザ端末２の表示部２０３に表示されている動画生成用ページの画面Ｐｇ内の複数の動きモデルのモデル名の中で、ユーザによる操作入力部２０６の所定操作に基づいて指定された何れか一のモデル名（例えば、フラダンス等）の指定指示が、通信ネットワークＮ及び通信制御部３０３を介して入力される。動画処理部３０６の動き指定部３０６ｃは、記憶部３０５に記憶されている複数の動き情報Ｍ、…の中で、当該指定指示に係る動きモデルのモデル名と対応付けられている動き情報Ｍを設定する。また、サーバ３には、ユーザ端末２の表示部２０３に表示されている動画生成用ページの画面Ｐｇ内の複数の動きの速さの中で、ユーザによる操作入力部２０６の所定操作に基づいて指定された何れか一の速さ（例えば、標準等）の指定指示が、通信ネットワークＮ及び通信制御部３０３を介して入力される。動画処理部３０６の速さ指定部３０６ｆは、当該指定指示に係る速さを被写体画像Ｐｓの動きの速さとして設定する。
その後、動画処理部３０６の動画再生部３０６ｅは、設定された動き情報Ｍや動きの速さを動画像Ｑの動きの内容として所定の格納手段に登録する（ステップＳ９２）。

次に、動画処理部３０６は、ユーザによる操作入力部２０６の所定操作に基づいて自動的に演奏される曲を設定する（ステップＳ９３）。
具体的には、サーバ３には、ユーザ端末２の表示部２０３に表示されている動画生成用ページの画面Ｐｇ内の複数の曲名の中で、ユーザによる操作入力部２０６の所定操作に基づいて指定された何れか一の曲名の指定指示が、通信ネットワークＮ及び通信制御部３０３を介して入力される。動画処理部３０６は、当該指定指示に係る曲名の曲を設定する。
その後、中央制御部３０１のＣＰＵは、処理をステップＳ１０に移行させる。ステップＳ１０の処理の内容については、後述する。

ステップＳ１０では、中央制御部３０１のＣＰＵは、動画像Ｑの生成が可能な状態であるか否かを判定する（ステップＳ１０）。即ち、ユーザによる操作入力部２０６の所定操作に基づいて、サーバ３の動画処理部３０６は、被写体画像Ｐｓに対する制御点Ｄｂの登録、被写体画像Ｐｓの動きの内容の登録、背景画像Ｐｂの登録等を行うことで、動画像Ｑの生成準備が整って動画像Ｑを生成可能か否か判定する。
ここで、動画像Ｑの生成が可能な状態でないと判定されると（ステップＳ１０；ＮＯ）、中央制御部３０１のＣＰＵは、処理をステップＳ４に戻し、ユーザ端末２からの指示の内容に応じて処理を分岐させる（ステップＳ４）。
一方、動画像Ｑの生成が可能な状態であると判定されると（ステップＳ１０；ＹＥＳ）、図４に示すように、中央制御部３０１のＣＰＵは、処理をステップＳ１３に移行させる。

ステップＳ１３では、サーバ３の中央制御部３０１のＣＰＵは、ユーザによるユーザ端末２の操作入力部２０６の所定操作に基づいて動画像Ｑのプレビュー指示が入力されたか否かを判定する（ステップＳ１３）。
即ち、ステップＳ１１にて、ユーザ端末２の中央制御部２０１が、被写体画像Ｐｓの合成位置やサイズの修正指示が入力されていないと判定した後（ステップＳ１１；ＮＯ）、ユーザによる操作入力部２０６の所定操作に基づいて入力された動画像Ｑのプレビュー指示を通信制御部２０２により所定の通信ネットワークＮを介してサーバ３に送信させる（ステップＳ１２）。
そして、ステップＳ１３にて、サーバ３の中央制御部３０１のＣＰＵによって、動画像Ｑのプレビュー指示が入力されたと判定されると（ステップＳ１３；ＹＥＳ）、動画処理部３０６は、制御点Ｄｂの位置や合成内容に修正があったか否かを判定する（ステップＳ１４）。即ち、動画処理部３０６は、ステップＳ６１にて、制御点Ｄｂの位置が修正されたり、ステップＳ７１にて、被写体画像Ｐｓの合成位置やサイズの修正が行われたか否かを判定する。

ステップＳ１４にて、制御点Ｄｂの位置や合成内容に修正があったと判定されると（ステップＳ１４；ＹＥＳ）、動画再生部３０６ｅは、修正内容を反映させるように、制御点Ｄｂの位置の再登録、被写体画像Ｐｓの合成位置やサイズの再登録を行う（ステップＳ１５）。
次に、動画処理部３０６の動画再生部３０６ｅは、設定済みの曲名に対応する演奏情報Ｔを動画像Ｑとともに自動的に演奏される情報として所定の格納手段に登録する（ステップＳ１６）。
なお、ステップＳ１４にて、制御点Ｄｂの位置や合成内容に修正がなかったと判定されると（ステップＳ１４；ＮＯ）、動画処理部３０６は、ステップＳ１５の処理をスキップして、処理をステップＳ１６に移行させる。

次に、動画処理部３０６は、格納手段に登録されている演奏情報Ｔに基づいて動画再生部３０６ｆによる所定の曲の演奏を開始させるとともに、動画像Ｑを構成する複数のフレーム画像Ｆ、…の画像生成部３０６ｄによる生成を開始させる（ステップＳ１７）。
続けて、動画処理部３０６は、動画再生部３０６ｆによる所定の曲の演奏が終了したか否かを判定する（ステップＳ１８）。
ここで、曲の演奏が終了していないと判定されると（ステップＳ１８；ＮＯ）、動画処理部３０６の画像生成部３０６ｄは、動き情報Ｍに応じて変形させた被写体画像Ｐｓの基準フレーム画像Ｆａを生成する（ステップＳ１９；図８（ｂ）参照）。具体的には、画像生成部３０６ｄは、格納手段に登録されている動き情報Ｍに従って所定の時間間隔で移動する複数の可動点Ｄａ、…の座標情報をそれぞれ取得して、当該可動点Ｄａの各々に対応する各制御点Ｄｂの座標を算出する。そして、画像生成部３０６ｄは、算出された座標に制御点Ｄｂを逐次移動させていくとともに、制御点Ｄｂの移動に応じて被写体画像Ｐｓ内に設定される所定の画像領域を移動させたり変形させることで、基準フレーム画像Ｆａを生成する。
また、動画処理部３０６は、基準フレーム画像Ｆａと背景画像（他の画像）Ｐｂとを公知の画像合成手法を用いて合成する。具体的には、動画処理部３０６は、例えば、背景画像Ｐｂの各画素のうち、アルファ値が「０」の画素は透過させ、アルファ値が「１」の画素は基準フレーム画像Ｆａの対応する画素の画素値で上書きし、さらに、背景画像Ｐｂの各画素のうち、アルファ値が「０＜α＜１」の画素は１の補数（１−α）を用いて基準フレーム画像Ｆａの被写体領域を切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて基準フレーム画像Ｆａを生成した際に単一背景色とブレンドした値を計算し、当該値を基準フレーム画像Ｆａから減算し、それを被写体領域を切り抜いた画像（背景用画像×（１−α））と合成する。

続けて、画像生成部３０６ｄは、動画再生部３０６ｅにより演奏される所定の曲の演奏の進行度合に応じて、隣合う二つの基準フレーム画像Ｆａ、Ｆａどうしの間を補間する補間フレーム画像Ｆｂを生成する（ステップＳ２０；図８（ｂ）参照）。具体的には、画像生成部３０６ｄは、隣合う二つの基準フレーム画像Ｆａ、Ｆａ間における、動画再生部３０６ｅにより演奏される所定の曲の演奏の進行度合を逐次取得して、当該進行度合に応じて、隣合う二つの基準フレーム画像Ｆａ、Ｆａ間で再生される補間フレーム画像Ｆｂを逐次生成する。
また、動画処理部３０６は、補間フレーム画像Ｆｂと背景画像（他の画像）Ｐｂとを、上記基準フレーム画像Ｆａの場合と同様に、公知の画像合成手法を用いて合成する。

次に、中央制御部３０１のＣＰＵは、動画再生部３０６ｅにより自動的に演奏される曲の演奏情報とともに、当該曲の所定のタイミングで再生される基準フレーム画像Ｆａ及び補間フレーム画像Ｆｂからなるプレビュー動画のデータを、通信制御部３０３により所定の通信ネットワークＮを介してユーザ端末２に送信させる（ステップＳ２１）。ここで、プレビュー動画のデータは、所定数の基準フレーム画像Ｆａ及び補間フレーム画像Ｆｂからなる複数のフレーム画像Ｆとユーザ所望の背景画像（他の画像）Ｐｂとが合成された動画像を構成している。
次に、動画処理部３０６は、処理をステップＳ１８に戻し、曲の演奏が終了したか否かを判定する（ステップＳ１８）。
上記の処理は、ステップＳ１８にて、曲の演奏が終了したと判定されるまで（ステップＳ１８；ＹＥＳ）、繰り返し実行される。
そして、曲の演奏が終了したと判定されると（ステップＳ１８；ＹＥＳ）、図５に示すように、中央制御部３０１のＣＰＵは、処理をステップＳ４に戻し、ユーザ端末２からの指示の内容に応じて処理を分岐させる（ステップＳ４）。

ステップＳ２１にて、サーバ３から送信されたプレビュー動画のデータがユーザ端末２の通信制御部３０３によって受信されると、中央制御部２０１のＣＰＵは、音出力部２０４及び表示部２０３を制御してプレビュー動画を再生させる（ステップＳ２２）。
具体的には、音出力部２０４は、演奏情報に基づいて曲を自動的に演奏してスピーカから放音するとともに、表示部２０３は、当該自動的に演奏される曲の所定のタイミングで基準フレーム画像Ｆａ及び補間フレーム画像Ｆｂからなるプレビュー動画を表示画面に表示する。

なお、上記の動画生成処理にあっては、プレビュー動画を再生するようにしたが、一例であってこれに限られるものではなく、例えば、逐次生成された基準フレーム画像Ｆａや補間フレーム画像Ｆｂや背景画像の画像データ並びに演奏情報を一つのファイルとして所定の記憶手段に記憶していき、動画像Ｑに係る全てのデータの生成完了後に、当該ファイルをサーバ３からユーザ端末２に送信して当該ユーザ端末２にて再生させるようにしても良い。

以上のように、本実施形態の動画生成システム１００によれば、処理対象の静止画像（例えば、被写体画像Ｐｓ）内で動き情報Ｍに係る複数の可動点Ｄａ、…に対応する各位置に動きの制御点Ｄｂを複数設定し、指定された動き情報Ｍの複数の可動点Ｄａ、…の動きに追従させるように複数の制御点Ｄｂ、…を動かして動画像Ｑを生成する。即ち、予め所定空間内における複数の可動点Ｄａ、…の動きを示す動き情報Ｍを複数記憶しておき、複数の可動点Ｄａ、…に対応させて静止画像内で設定された複数の制御点Ｄｂ、…を、指定された動き情報Ｍの複数の可動点Ｄａ、…の動きに追従させるように移動させることにより動画像Ｑを構成する各フレーム画像Ｆを生成することができ、従来のように制御点Ｄｂ毎に動きを指定する作業が不要となる。
従って、複数の動き情報Ｍ、…の中で何れか一の動き情報Ｍを指定するという簡単な作業で、ユーザ所望の動きを再現した動画像Ｑを簡便に生成することができる。

また、ユーザによる操作入力部２０６の所定操作に応じたモデル名の指定に基づいて、当該モデル名と対応付けられている動き情報Ｍを指定することができるので、複数の動き情報Ｍ、…の中での何れか一の動き情報Ｍの指定をより簡便に行うことができ、ユーザ所望の動きを再現した動画像Ｑの生成を簡便に行うことができる。

さらに、複数の可動点Ｄａ、…を所定の踊りに対応させるように動かした動き情報Ｍに基づいて、当該複数の可動点Ｄａ、…の動きに追従させるように複数の制御点Ｄｂ、…を移動させることにより所定の踊りを再現した動画像Ｑを構成する各フレーム画像Ｆを生成することができる。従って、ユーザ所望の踊りの動きを再現した動画像Ｑの生成を簡便に行うことができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、ユーザによるユーザ端末２の所定操作に基づいて、Ｗｅｂサーバとして機能するサーバ（動画生成装置）３によって動画像Ｑを生成するようにしたが、一例であってこれに限られるものではなく、動画生成装置の構成は適宜任意に変更可能である。即ち、動画像Ｑの生成に係る動画処理部３０６の機能をソフトウェアにより実現される構成として、ユーザ端末２にインストールすることで通信ネットワークＮを必要とすることなく、当該ユーザ端末２単体で動画生成処理を行うようにしても良い。

また、上記実施形態にあっては、ユーザ端末２として、パーソナルコンピュータを例示したが、一例であってこれに限られるものではなく適宜任意に変更可能であり、例えば、携帯電話機等を適用しても良い。
なお、被写体切り抜き画像Ｐ２や動画像Ｑのデータには、ユーザによる所定の改変を禁止する制御情報を埋め込むようにしても良い。

加えて、上記実施形態にあっては、取得手段、設定手段、指定手段、フレーム画像生成手段、動画像生成手段としての機能を、中央制御部３０１の制御下にて、画像取得部３０６ａ、制御点設定部３０６ｂ、動き指定部３０６ｃ、画像生成部３０６ｄ、動画処理部３０６が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部３０１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、設定処理ルーチン、指定処理ルーチン、フレーム画像生成処理ルーチン、動画像生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部３０１のＣＰＵを、静止画像を取得する取得手段として機能させるようにしても良い。また、設定処理ルーチンにより中央制御部３０１のＣＰＵを、取得手段により取得された静止画像内で複数の可動点Ｄａ、…に対応する各位置に動きの制御点Ｄｂを複数設定する設定手段として機能させるようにしても良い。また、指定処理ルーチンにより中央制御部３０１のＣＰＵを、記憶手段に記憶されている複数の動き情報Ｍ、…の中で、何れか一の動き情報Ｍを指定する指定手段として機能させるようにしても良い。また、フレーム画像生成処理ルーチンにより中央制御部３０１のＣＰＵを、指定手段により指定された動き情報Ｍの複数の可動点Ｄａ、…の動きに基づいて、複数の制御点Ｄｂを動かし、当該制御点Ｄｂの動きに従って静止画像を変形させたフレーム画像Ｆを複数生成するフレーム画像生成手段として機能させるようにしても良い。また、動画像生成処理ルーチンにより中央制御部３０１のＣＰＵを、フレーム画像生成手段により生成された複数のフレームＦから動画像Ｑを生成する動画像生成手段として機能させるようにしても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

〔付記〕
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
予め所定空間内における複数の可動点の動きを示す動き情報を複数記憶する記憶手段を備える動画生成装置を用いた動画生成方法であって、
静止画像を取得する取得ステップと、
前記取得ステップにて取得された静止画像内で前記複数の可動点に対応する各位置に動きの制御点を複数設定する設定ステップと、
前記記憶手段に記憶されている前記複数の動き情報の中で、何れか一の動き情報を指定する指定ステップと、
前記指定ステップにて指定された前記動き情報の前記複数の可動点の動きに基づいて、前記複数の制御点を動かし、当該制御点の動きに従って前記静止画像を変形させたフレーム画像を複数生成するフレーム画像生成ステップと、
前記フレーム画像生成ステップにて生成された複数のフレームから動画像を生成する動画像生成ステップと、
を含むことを特徴とする動画生成方法。
＜請求項２＞
前記動き情報は、前記複数の可動点の動きが連続して表された動きモデルのモデル名と対応付けてそれぞれ記憶され、
前記指定ステップは、更に、
ユーザによる所定操作に応じた前記モデル名の指定に基づいて、当該モデル名と対応付けられている動き情報を指定することを特徴とする請求項１に記載の動画生成方法。
＜請求項３＞
前記動き情報は、前記複数の可動点を所定の踊りに対応させるように動かした動き情報を含むことを特徴とする請求項１又は２に記載の動画生成方法。
＜請求項４＞
前記取得ステップは、
前記静止画像として、背景と被写体とが存在する画像から被写体が含まれる領域が切り抜かれた切り抜き画像を取得し、
前記動画像生成ステップは、前記切り抜き画像から生成された複数のフレーム画像を他の画像に合成して動画像を生成することを特徴とする請求項１〜３の何れか一項に記載の動画生成方法。
＜請求項５＞
予め所定空間内における複数の可動点の動きを示す動き情報を複数記憶する記憶手段と、
静止画像を取得する取得手段と、
前記取得手段により取得された静止画像内で前記複数の可動点に対応する各位置に動きの制御点を複数設定する設定手段と、
前記記憶手段に記憶されている前記複数の動き情報の中で、何れか一の動き情報を指定する指定手段と、
前記指定手段により指定された前記動き情報の前記複数の可動点の動きに基づいて、前記複数の制御点を動かし、当該制御点の動きに従って前記静止画像を変形させたフレーム画像を複数生成するフレーム画像生成手段と、
前記フレーム画像生成手段により生成された複数のフレームから動画像を生成する動画像生成手段と、
を備えたことを特徴とする動画生成装置。
＜請求項６＞
予め所定空間内における複数の可動点の動きを示す動き情報を複数記憶する記憶手段を備える動画生成装置のコンピュータを、
静止画像を取得する取得手段、
前記取得手段により取得された静止画像内で前記複数の可動点に対応する各位置に動きの制御点を複数設定する設定手段、
前記記憶手段に記憶されている前記複数の動き情報の中で、何れか一の動き情報を指定する指定手段、
前記指定手段により指定された前記動き情報の前記複数の可動点の動きに基づいて、前記複数の制御点を動かし、当該制御点の動きに従って前記静止画像を変形させたフレーム画像を複数生成するフレーム画像生成手段、
前記フレーム画像生成手段により生成された複数のフレームから動画像を生成する動画像生成手段、
として機能させることを特徴とするプログラム。

１００ 動画生成システム
１ 撮像装置
２ ユーザ端末
３ サーバ
３０１ 中央制御部
３０３ 通信制御部
３０５ 記憶部
３０６ 動画処理部
３０６ａ 画像取得部
３０６ｂ 制御点設定部
３０６ｃ 動き指定部
３０６ｄ 画像生成部
３０６ｅ 動画再生部
Ｃ 記録媒体
Ｍ 動き情報
Ｎ 通信ネットワーク

Claims (13)

1. 動体モデルに設定されている複数の可動点と、予め所定空間内における前記動体モデルの複数の可動点の動きを示す動き情報を記憶した動画生成装置を用いた動画生成方法であって、当該動画生成装置のコンピュータが、
   静止画像を取得する取得ステップと、
   前記取得ステップにて取得された静止画に対して、前記動体モデルと前記静止画像の大きさを合わせるように寸法の調整を行ない、前記動体モデルに設定されている複数の可動点を反映させる可動点反映ステップと、
   前記可動点反映ステップにて反映された前記静止画像の前記複数の可動点を、前記動き情報に基づいて動かし、当該可動点の動きに従って前記静止画像を変形させたフレーム画像を複数生成するフレーム画像生成ステップと、
   前記フレーム画像生成ステップにて生成された複数のフレームから動画像を生成する動画像生成ステップと、
   を実行することを特徴とする動画生成方法。
2. 前記動き情報は、前記複数の可動点の動きが連続して表された前記動体モデルのモデル名と対応付けてそれぞれ記憶され、
   前記フレーム画像生成ステップは、ユーザによる所定操作に応じた前記モデル名と対応付けられている動き情報の前記複数の可動点の動きに基づいて、前記静止画像の前記複数の可動点を動かすことを特徴とする請求項１に記載の動画生成方法。
3. 前記動き情報は、前記複数の可動点を所定のダンスに対応させるように動かした動き情報を含むことを特徴とする請求項１又は２に記載の動画生成方法。
4. 前記取得ステップは、
   前記静止画像として、背景と被写体とが存在する画像から被写体が含まれる領域が切り抜かれた切り抜き画像を取得し、
   前記動画像生成ステップは、前記切り抜き画像から生成された複数のフレーム画像を他の画像に合成して動画像を生成することを特徴とする請求項１〜３の何れか一項に記載の動画生成方法。
5. 前記フレーム画像生成ステップは、動画と共に再生する曲の進行度合いに応じてフレーム間の補間画像を生成することを特徴とする請求項１〜４の何れか一項に記載の動画生成方法。
6. 前記動画生成装置は、前記動き情報を複数記憶し、
   前記フレーム画像生成ステップは、前記可動点反映ステップにて反映された前記静止画像の前記複数の可動点を、前記複数の動き情報の中の何れか一つの動き情報に基づいて動かし、当該可動点の動きに従って前記静止画像を変形させたフレーム画像を複数生成することを特徴とする請求項１〜５の何れか一項に記載の動画生成方法。
7. 動体モデルに設定されている複数の可動点と、
   予め所定空間内における前記動体モデルの複数の可動点の動きを示す動き情報を記憶する記憶手段と、
   静止画像を取得する取得手段と、
   前記取得手段により取得された静止画像に対して、前記動体モデルと前記静止画像の大きさを合わせるように寸法の調整を行ない、前記動体モデルに設定されている複数の可動点を反映させる可動点反映手段と、
   前記可動点反映手段により反映された前記静止画像の前記複数の可動点を、前記動き情報に基づいて動かし、当該可動点の動きに従って前記静止画像を変形させたフレーム画像を複数生成するフレーム画像生成手段と、
   前記フレーム画像生成手段により生成された複数のフレームから動画像を生成する動画像生成手段と、
   を備えたことを特徴とする動画生成装置。
8. 前記動き情報は、前記複数の可動点の動きが連続して表された前記動体モデルのモデル名と対応付けてそれぞれ記憶され、
   前記フレーム画像生成手段は、ユーザによる所定操作に応じた前記モデル名と対応付けられている動き情報の前記複数の可動点の動きに基づいて、前記静止画像の前記複数の可動点を動かすことを特徴とする請求項７に記載の動画生成装置。
9. 前記動き情報は、前記複数の可動点を所定のダンスに対応させるように動かした動き情報を含むことを特徴とする請求項７又は８に記載の動画生成装置。
10. 前記取得手段は、
    前記静止画像として、背景と被写体とが存在する画像から被写体が含まれる領域が切り抜かれた切り抜き画像を取得し、
    前記動画像生成手段は、前記切り抜き画像から生成された複数のフレーム画像を他の画像に合成して動画像を生成することを特徴とする請求項７〜９の何れか一項に記載の動画生成装置。
11. 前記フレーム画像生成手段は、動画と共に再生する曲の進行度合いに応じてフレーム間の補間画像を生成することを特徴とする請求項７〜１０の何れか一項に記載の動画生成装置。
12. 前記記憶手段は、前記動き情報を複数記憶し、
    前記フレーム画像生成手段は、前記可動点反映手段により反映された前記静止画像の前記複数の可動点を、前記複数の動き情報の中の何れか一つの動き情報に基づいて動かし、当該可動点の動きに従って前記静止画像を変形させたフレーム画像を複数生成することを特徴とする請求項７〜１１の何れか一項に記載の動画生成装置。
13. 動体モデルに設定されている複数の可動点と、予め所定空間内における前記動体モデルの複数の可動点の動きを示す動き情報を記憶する記憶手段を備える動画生成装置のコンピュータを、
    静止画像を取得する取得手段、
    前記取得手段により取得された静止画像に対して、前記動体モデルと前記静止画像の大きさを合わせるように寸法の調整を行ない、前記動体モデルに設定されている複数の可動点を反映させる可動点反映手段、
    前記可動点反映手段により反映された前記静止画像の前記複数の可動点を、前記動き情報に基づいて動かし、当該可動点の動きに従って前記静止画像を変形させたフレーム画像を複数生成するフレーム画像生成手段、
    前記フレーム画像生成手段により生成された複数のフレームから動画像を生成する動画像生成手段、
    として機能させることを特徴とするプログラム。