JP5891883B2 - 画像生成方法、画像生成装置及びプログラム - Google Patents

Description

本発明は、画像生成方法、画像生成装置及びプログラムに関する。

二次元の原画像を予め記録されている動作データに適合するように変形させて動画像を生成する技術が知られている（例えば、特許文献１参照）。

特許文献１には、画像入力装置から入力された二次元原画像中のキャラクターをキャラクター指示に従って抽出し、抽出されたキャラクターに対して対応付け指示に従ってキャラクターの基本構造データに対応付ける。さらに、対応付けられたキャラクターに動作データに従って変形を加えて動画像を生成して表示することが記載されている。

特開平１０−０４０４０７号公報

しかしながら、従来の画像生成方法等では、個々の画像であるキャラクター毎に異なる動きや速度を設定することは可能であるものの、初期設定した動きのみを行うだけである。

このため、例えば、複数の画像を配置して所定の動きで動かす場合に、それぞれ異なる動きで動いている画像の動きを、同じ動きに揃えたり、再び異なる動きに戻したりすることが容易にできないと言った問題点があった。

本発明の課題は、配置された複数の画像を変形させて動画を生成する際に、容易に画像間の動きを同期させ、若しくは、動きの同期を解除することが可能な画像生成方法、画像生成装置及びプログラムを提供することにある。

また、本発明に係る一つの態様は、第１及び第２画像をそれぞれ取得する取得ステップと、前記第１及び第２画像に対して同期条件及び動きの条件をそれぞれ設定する設定ステップと、前記動きの条件に基づいて前記第１及び第２画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する第１生成ステップと、前記第１及び第２画像の前記同期条件が成立した場合、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する第２生成ステップとを含み、前記設定ステップは、前記第１及び第２画像に対して同期制御領域をそれぞれ設定し、前記第２生成ステップは、前記同期条件として前記第１及び第２画像の前記同期制御領域が互いに重なった場合、前記同期制御領域の重なる回数に基づき、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする画像生成方法である。

本発明によれば、第１及び第２画像をそれぞれ取得する取得ステップと、第１及び第２画像に対して同期条件及び動きの条件をそれぞれ設定する設定ステップと、動きの条件に基づいて第１及び第２画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する第１生成ステップと、第１及び第２画像の前記同期条件が成立した場合、第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する第２生成ステップとを含むことにより、容易に画像間の動きを同期させることが可能になる。

本発明を適用した一実施形態の動画生成システムの概略構成を示すブロック図である。 図１の動画生成システムを構成するユーザ端末の概略構成を示すブロック図である。 図１の動画生成システムを構成するサーバの概略構成を示すブロック図である。 図１の動画生成システムによる同期設定処理に係る動作の一例を示すフローチャートである。 同期制御領域の一例を示す説明図である。 移動位置座標の一例を示す説明図である。 図１の動画生成システムによる同期制御処理に係る動作の一例を示すフローチャートである。 動きの同期の一例を示す説明図である。 キャラクターの動きの一例を示す説明図である。 キャラクターの動きの一例を示す説明図である。 動きの同期の一例を示す説明図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。但し、発明の範囲は、図示例に限定されない。

（第１実施形態）
本発明の第１実施形態の動画生成システムについて、図１、図２及び図３に基づいて説明する。

本実施形態の動画生成システム１００は、図１に示すように、撮像装置１と、ユーザ端末２と、サーバ３とを備え、ユーザ端末２とサーバ３とが所定の通信ネットワークＮを介して各種情報を送受信可能に接続されている。

撮像装置１は、被写体を撮像する撮像機能や撮像画像の画像データを記録媒体Ｃに記録する記録機能等を具備する。即ち、撮像装置１は、公知のものを適用可能であり、例えば、主要な機能を撮像機能とするデジタルカメラ等だけでなく、主要な機能としないものの撮像機能を具備する携帯電話機等も含む。

次に、ユーザ端末２について図２を参照して説明する。
ユーザ端末２は、例えば、パーソナルコンピュータ等により構成され、サーバ３により開設されるＷｅｂページ（例えば、動画生成用ページ）にアクセスして、当該Ｗｅｂページ上で各種の指示を入力する。

図２は、ユーザ端末２の概略構成を示すブロック図である。
図２に示すように、ユーザ端末２は、具体的には、中央制御部２０１と、通信制御部２０２と、表示部２０３と、音出力部２０４と、記録媒体制御部２０５と、操作入力部２０６等を備えている。

中央制御部２０１は、ユーザ端末２の各部を制御するものである。具体的には、中央制御部２０１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、ＲＯＭに記憶されたユーザ端末２用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部２０３に表示させる。
ＲＡＭは、例えば、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、ユーザ端末２で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。

通信制御部２０２は、例えば、モデム（MODEM:Modulater/DEModulater）、ターミナルアダプタ（Terminal Adapter）等によって構成され、所定の通信ネットワークＮを介してサーバ３等の外部機器との間で情報の通信制御を行うためのものである。

なお、通信ネットワークＮは、例えば、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信回線網と、それらを接続するインターネットサービスプロバイダ等が含まれる。

表示部２０３は、例えば、ＬＣＤ、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、中央制御部２０１のＣＰＵの制御下にて各種情報を表示画面に表示する。
即ち、表示部２０３は、例えば、サーバ３から送信され通信制御部２０２により受信されたＷｅｂページ（例えば、動画生成用ページ）のページデータに基づいて、対応するＷｅｂページを表示画面に表示する。具体的には、表示部２０３は、動画生成処理（後述）に係る各種の処理画面の画像データに基づいて、各種の処理画面を表示画面に表示する。

音出力部２０４は、例えば、Ｄ／Ａコンバータ、ＬＰＦ（Low Pass Filter）、増幅器、スピーカ等により構成され、中央制御部２０１のＣＰＵの制御下にて放音する。
即ち、音出力部２０４は、例えば、サーバ３から送信され通信制御部２０２により受信された演奏情報に基づいて、当該演奏情報のデジタルデータをＤ／Ａコンバータによりアナログデータに変換し、増幅器を介してスピーカから、所定の音色、音高、音長で曲を放音する。また、音出力部２０４は、一の音源（例えば、楽器）の音を放音しても良いし、複数の音源の音を同時に放音しても良い。

記録媒体制御部２０５は、記録媒体Ｃが着脱自在に構成され、装着された記録媒体Ｃからのデータの読み出しや記録媒体Ｃに対するデータの書き込みを制御する。即ち、記録媒体制御部２０５は、撮像装置１から取り外されて装着された記録媒体Ｃから動画生成処理（後述）に係る被写体存在画像の画像データを読み出して通信制御部２０２に出力する。
ここで、被写体存在画像とは、所定の背景内に主要な被写体が存在する画像のことである。また、記録媒体Ｃには、撮像装置１の画像処理部（図示略）により所定の符号化形式（例えば、ＪＰＥＧ形式等）に従って符号化された被写体存在画像の画像データが記録されている。
そして、通信制御部２０２は、入力された被写体存在画像の画像データをサーバ３に所定の通信ネットワークＮを介して送信する。

操作入力部２０６は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより押下されたキーの押下信号やマウスの操作信号を中央制御部２０１のＣＰＵに出力する。
なお、操作入力部２０６としてタッチパネル（図示略）を表示部２０３の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。

次に、サーバ３について図３を参照して説明する。
サーバ３は、Ｗｅｂ（World Wide Web）サーバとしてインターネット上にＷｅｂページ（例えば、動画生成用ページ）を開設する機能を具備するものであり、ユーザ端末２からのアクセスに応じて当該ユーザ端末２にＷｅｂページのページデータを送信する。また、サーバ３は、動画生成装置として、静止画像内で動き情報Ｍに係る複数の可動点に対応する各位置に動きの制御点を複数設定し、指定された動き情報Ｍの複数の可動点の動きに追従させるように複数の制御点を動かして動画像を生成する。

図３は、サーバ３の概略構成を示すブロック図である。
図３に示すように、サーバ３は、具体的には、中央制御部３０１と、表示部３０２と、通信制御部３０３と、被写体切抜部３０４と、記憶部３０５と、動画処理部３０６等を備えて構成されている。

中央制御部３０１は、サーバ３の各部を制御するものである。具体的には、中央制御部３０１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、ＣＰＵは、ＲＯＭに記憶されたサーバ３用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部３０２に表示させる。
ＲＡＭは、例えば、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、サーバ３で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。

表示部３０２は、例えば、ＬＣＤ、ＣＲＴ等のディスプレイから構成され、中央制御部３０１のＣＰＵの制御下にて各種情報を表示画面に表示する。

通信制御部３０３は、例えば、モデム、ターミナルアダプタ等によって構成され、所定の通信ネットワークＮを介してユーザ端末２等の外部機器との間で情報の通信制御を行うためのものである。
具体的には、通信制御部３０３は、例えば、動画生成処理（後述）にてユーザ端末２から所定の通信ネットワークＮを介して送信された被写体存在画像の画像データを受信して、当該画像データを中央制御部３０１のＣＰＵに出力する。
中央制御部３０１のＣＰＵは、入力された被写体存在画像の画像データを被写体切抜部３０４に出力する。

被写体切抜部３０４は、被写体存在画像から被写体切り抜き画像を生成する。（「被写体画像の生成」）
即ち、被写体切抜部３０４は、公知の被写体切抜手法を用いて、被写体存在画像から被写体が含まれる領域が切り抜いた画像を生成する。具体的には、被写体切抜部３０４は、中央制御部３０１のＣＰＵから出力された被写体存在画像の画像データを取得して、例えば、ユーザによるユーザ端末２の操作入力部２０６（例えば、マウス等）の所定操作に基づいて、表示部２０３に表示されている当該被写体存在画像上に描画された境界線（図示略）により当該被写体存在画像を区分する。そして、被写体切抜部３０４は、被写体存在画像の境界線により区分される被写体が含まれる被写体領域を抽出して、当該被写体領域のアルファ値を「１」とするとともに被写体の背景部分のアルファ値を「０」とし、当該被写体領域の画像を所定の単一色画像と合成した被写体切り抜き画像の画像データを生成する。即ち、被写体切り抜き画像のうち、アルファ値が「１」の被写体領域の所定の背景に対する透過度が０％となり、一方、アルファ値が「０」の被写体の背景部分の所定の背景に対する透過度が１００％となる。
また、被写体切り抜き画像の画像データとしては、例えば、ＲＧＢＡ形式の画像データを適用することができ、具体的には、ＲＧＢ色空間で規定される各色に透過度（Ａ）の情報が付加されている。なお、被写体切り抜き画像の画像データは、例えば、被写体存在画像の各画素について、被写体領域の画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したアルファマップと対応付けられる構成であっても良い。

なお、上記した被写体切抜部３０４による被写体切抜手法は、一例であってこれに限られるものではなく、被写体存在画像から被写体が含まれる領域を切り抜く公知の手法であれば如何なる手法を適用しても良い。

記憶部３０５は、例えば、半導体の不揮発メモリやＨＤＤ（Hard Disc Drive）等により構成され、ユーザ端末２に送信されるＷｅｂページのページデータや被写体切抜部３０４により生成された被写体切り抜き画像の画像データ等を記憶する。

また、記憶部３０５は、動画生成処理に用いられる動き情報Ｍを複数記憶している。
各動き情報Ｍは、所定空間、即ち、例えば、互いに直交する二軸（例えば、ｘ軸、ｙ軸等）により規定される二次元の平面空間やこれら二軸に加えて当該二軸に直交する軸（例えば、ｚ軸等）により規定される三次元の立体的空間内における複数の可動点の動きを示す情報である。なお、動き情報Ｍは、二次元の平面空間を所定の回動軸周りに回転させることで複数の可動点の動きに奥行きをもたせるような情報であっても良い。
ここで、各可動点の位置は、動きのモデルとなる動体モデル（例えば、ヒトや動物等）の骨格の形状や関節の位置等を考慮してそれぞれ規定されている。また、可動点の個数は、動体モデルの形状や大きさ等に応じて適宜任意に設定可能である。
また、各動き情報Ｍは、所定空間内にて複数の可動点の全て若しくは少なくとも一つを移動させた座標情報を所定の時間間隔で連続して並べることで、複数の可動点の動きが連続して表されている。具体的には、各動き情報Ｍは、例えば、複数の可動点を所定の踊りに対応させるように移動させた情報であり、複数の可動点の動きが連続して表された動体モデルのモデル名と対応付けてそれぞれ記憶されている。また、各動き情報Ｍは、動きの種類（例えば、ヒップホップ、ツイスト、ロボットダンス等）やバリエーション（例えば、ヒップホップ１〜３等）に応じて、複数の可動点の連続した動きを異ならせている。

また、記憶部３０５は、動画生成処理に用いられる演奏情報Ｔを複数記憶している。
演奏情報Ｔは、動画再生部３０６ｅにより動画像とともに自動的に演奏される情報である。即ち、演奏情報Ｔは、例えば、テンポ、拍子、音程、音階、調、発想標語等を異ならせて複数規定され、それぞれ曲名と対応付けて記憶されている。
また、各演奏情報Ｔは、例えば、ＭＩＤＩ（Musical Instruments Digital Interface
）規格等に従って規定されたデジタルデータであり、具体的には、トラック数や四分音符の分解能（Tickカウント数）等が規定されたヘッダ情報と、各音源（例えば、楽器等）毎の演奏情報Ｔ等が規定されたトラック情報等を有している。また、トラック情報には、テンポ及び拍子の設定情報やNoteOn・Offのタイミング等が規定されている。

動画処理部３０６は、画像取得部３０６ａと、制御点設定部３０６ｂと、動き指定部３０６ｃと、画像生成部３０６ｄと、動画再生部３０６ｅと、速さ指定部３０６ｆと、同期設定部３０６ｇと、同期制御部３０６ｈとを具備している。

画像取得部３０６ａは、動画生成処理に用いられる静止画像を取得する。（「被写体画像の取得」）
即ち、画像取得部３０６ａは、静止画像として、背景と被写体とが存在する被写体存在画像から被写体が含まれる領域が切り抜かれた被写体切り抜き画像を取得する。具体的には、画像取得部３０６ａは、被写体切抜部３０４により生成された被写体切り抜き画像の画像データを処理対象の静止画像として取得する。

制御点設定部３０６ｂは、処理対象の静止画像内で動きの制御点を複数設定する。（「制御点の設定」）
即ち、制御点設定部３０６ｂは、画像取得部３０６ａにより取得された被写体切り抜き画像の被写体画像内で複数の可動点に対応する各位置に動きの制御点を複数設定する。具体的には、制御点設定部３０６ｂは、記憶部３０５から動体モデル（例えば、ヒト）の動き情報Ｍを読み出して、被写体切り抜き画像の被写体画像内で、当該動き情報Ｍに規定されている基準フレーム（例えば、１フレーム目等）の複数の可動点の各々が対応する位置を特定する。例えば、制御点設定部３０６ｂは、被写体画像がヒトを主要被写体として切り抜いた画像である場合には、ヒトの骨格の形状や関節の位置等を考慮して複数の可動点の各々が対応する位置を特定する。このとき、動体モデルと被写体画像について、例えば、顔などの主要部の大きさを合わせるように寸法の調整（例えば、動体モデルの拡大や縮小、変形等）を行うようにしても良い。また、例えば、動体モデルと被写体画像を重ね合わせて被写体画像における複数の可動点の各々が対応する位置を特定しても良い。
そして、制御点設定部３０６ｂは、特定された複数の可動点の各々が対応する位置に動きの制御点をそれぞれ設定する。

なお、制御点設定部３０６ｂによる動きの制御点の設定は、上記のように自動的に行われても良いし、手動で行われても良い。即ち、例えば、ユーザによるユーザ端末２の操作入力部２０６の所定操作に基づいて入力された所望の位置に動きの制御点を設定するようにしても良い。
さらに、制御点設定部３０６ｂによる動きの制御点の設定が自動的に行われた場合であっても、ユーザによる操作入力部の所定操作に基づいて制御点の設定位置の修正（変更）を受け付けるようにしても良い。

動き指定部３０６ｃは、動画生成処理に用いられる動き情報Ｍを指定する。（「動きの指定」）
即ち、動き指定部３０６ｃは、記憶部３０５に記憶されている複数の動き情報Ｍの中で、何れか一の動き情報Ｍを指定する。具体的には、表示部２０３に表示されている所定画面内の複数の動きモデルのモデル名の中で、ユーザによるユーザ端末２の操作入力部２０６の所定操作に基づいて何れか一のモデル名（例えば、ヒップホップ１等）を指定する指示が通信ネットワークＮ及び通信制御部３０３を介して入力されると、動き指定部３０６ｃは、複数の動き情報Ｍの中で、指定指示に係る動きモデルのモデル名と対応付けられている動き情報Ｍを指定する。
なお、動き指定部３０６ｃは、複数の動き情報Ｍの中で、例えば、デフォルトとして設定されている動き情報Ｍやユーザにより前回指定された動き情報Ｍを自動的に指定するようにしても良い。

画像生成部３０６ｄは、動画像を構成する複数のフレーム画像を逐次生成する。（「フレーム画像の生成」）
即ち、画像生成部３０６ｄは、動き指定部３０６ｃにより指定された動き情報Ｍの複数の可動点の動きに追従させるように、被写体切り抜き画像の被写体画像内に設定されている複数の制御点を移動させて複数のフレーム画像を逐次生成する。具体的には、画像生成部３０６ｄは、例えば、動き情報Ｍに従って所定の時間間隔で移動する複数の可動点の座標情報を逐次取得して、当該可動点の各々に対応する各制御点の座標を算出する。そして、画像生成部３０６ｄは、算出された座標に制御点を逐次移動させていくとともに、少なくとも一の制御点を基準として被写体画像内に設定される所定の画像領域（例えば、三角形や矩形のメッシュ状の領域）を移動させたり変形させることで、基準フレーム画像を生成する。これにより、例えば、動き情報Ｍの複数の可動点の各座標情報等に対応する位置に制御点が配設された基準フレーム画像がそれぞれ生成される。
また、制御点を基準とした所定の画像領域を移動させたり変形させる処理は、公知の技術であるので、ここでは詳細な説明を省略する。

また、画像生成部３０６ｄは、移動後の可動点の各々に対応する複数の制御点に基づいて生成される時間軸に沿って隣合う二つの基準フレーム画像どうしの間を補間する補間フレーム画像を生成する。即ち、画像生成部３０６ｄは、動画再生部３０６ｅにより複数のフレーム画像が所定の再生フレームレート（例えば、３０ｆｐｓ等）で再生されるように、二つの基準フレーム画像どうしの間を補間する補間フレーム画像を所定数生成する。
具体的には、画像生成部３０６ｄは、隣合う二つの基準フレーム画像間における、動画再生部３０６ｅにより演奏される所定の曲の演奏の進行度合を逐次取得して、当該進行度合に応じて、隣合う二つの基準フレーム画像間で再生される補間フレーム画像を逐次生成する。例えば、画像生成部３０６ｄは、ＭＩＤＩ規格の演奏情報Ｔに基づいてテンポの設定情報及び四分音符の分解能（Tickカウント数）を取得して、動画再生部３０６ｅにより演奏される所定の曲の演奏の経過時間をTickカウント数に変換する。続けて、画像生成部３０６ｄは、所定の曲の演奏の経過時間に対応するTickカウント数に基づいて、所定のタイミング（例えば、各小節の一拍目等）に同期させた隣合う二つの基準フレーム画像間における所定の曲の演奏の相対的な進行度合を、例えば百分率で算出する。
そして、画像生成部３０６ｄは、所定の曲の演奏の相対的な進行度合に応じて、当該隣合う二つの基準フレーム画像に対する重み付けを変えて補間フレーム画像を生成する。
ここで、所定の曲の演奏の相対的な進行度合は、隣合う二つの基準フレーム画像の各々が同期した所定のタイミングどうしの間で、テンポや拍子の変更が行われて、算出された進行度合が前回算出された進行度合に対して減少した場合には、進行度合の減少度合が小さくなるように当該進行度合を補正するようにしても良い。これにより、曲の進行度合を考慮してより適正な補間フレーム画像を生成することができる。
なお、補間フレーム画像を生成する処理は、公知の技術であるので、ここでは詳細な説明を省略する。

また、画像生成部３０６ｄによる基準フレーム画像や補間フレーム画像の生成は、例えば、ＲＧＢＡ形式の画像データの場合、ＲＧＢ色空間で規定される被写体画像の各色の情報及び透過度（Ａ）の情報の両方について行われる。

また、制御点設定部３０６ｂによる制御点の設定処理にて、動き情報Ｍの基準フレームの可動点の位置に対して所定の距離以上離れた位置に、当該可動点に対応する制御点が設定された場合には、当該可動点と制御点との距離を考慮して、基準フレーム画像の生成を行っても良い。
即ち、複数の可動点の座標情報の各々が、例えば、基準となる可動点の座標情報に対する各可動点の移動量を規定した情報の場合、基準となる可動点の座標情報以降の座標情報に対応させるように、それぞれの可動点の移動量に応じて移動させた制御点の位置が、予め動き情報Ｍに規定されている可動点の位置に対して所定の距離以上離れてしまう。この結果、生成される基準フレーム画像が、動き情報Ｍに規定している可動点の動きを再現することができない虞がある。
そこで、基準となる可動点の座標情報以降の座標情報については、それぞれの可動点の移動量に、基準となる可動点と当該可動点に対応する制御点との距離を加算して、それぞれの可動点に対応する制御点の座標を算出するようにしても良い。

動画再生部３０６ｅは、画像生成部３０６ｄにより生成された複数のフレーム画像の各々を再生する。（「フレーム画像の再生」）
即ち、動画再生部３０６ｅは、ユーザによるユーザ端末２の操作入力部２０６の所定操作に基づいて指定された演奏情報Ｔに基づいて所定の曲を自動的に演奏するとともに、当該所定の曲の所定のタイミングで複数のフレーム画像の各々を再生する。具体的には、動画再生部３０６ｅは、所定の曲の演奏情報のデジタルデータをＤ／Ａコンバータによりアナログデータに変換して当該所定の曲を自動的に演奏させ、このとき、所定のタイミング（例えば、各小節の１拍目や各拍等）に同期させるように隣合う二つの基準フレーム画像を再生するとともに、隣合う二つの基準フレーム画像間における所定の曲の演奏の相対的な進行度合に応じて、当該進行度合に対応する各々の補間フレーム画像を再生する。
なお、動画再生部３０６ｅは、速さ指定部３０６ｆ（後述）により指定された速さで被写体画像に係る複数のフレーム画像を再生しても良い。この場合には、動画再生部３０６ｅは、隣合う二つの基準フレーム画像を同期させるタイミングを変化させることで、所定の単位時間内に再生されるフレーム画像の数を変更して被写体画像の動きの速さを可変させる。

速さ指定部３０６ｆは、被写体画像の動きの速さを指定する。（「速さの指定」）
即ち、速さ指定部３０６ｆは、制御点設定部３０６ｂにより設定される複数の動きの制御点の動きの速さを指定する。具体的には、サーバ３には、表示部２０３に表示されている所定画面内の被写体画像の複数の速さ（例えば、１／２倍、標準（等倍）、２倍等）の中で、ユーザによるユーザ端末２の操作入力部２０６の所定操作に基づいて何れか一の速さ（例えば、標準等）を指定する指示が、通信ネットワークＮ及び通信制御部３０３を介して入力される。速さ指定部３０６ｆは、複数の動きの速さの中で、当該指定指示に係る速さを被写体画像の動きの速さとして指定する。
これにより、所定の単位時間で切り替えられるフレーム画像数が、例えば、１／２倍、等倍、２倍等に変更される。

同期設定部３０６ｇは、「動きの指定」の動作に際して、ユーザ端末２からの指示に基づき、取得した被写体画像に対する同期制御領域の設定を行うと共に、複数のキャラクター（第１画像、第２画像）の配置、各キャラクター毎の移動位置座標や移動速度（動きの条件）の設定、優先度の設定、各種同期条件、同期内容（例えば、開始後何秒後に同期、奇数回目のみ同期、ダンスの種類を同期、ダンス速度の同期等）の設定を行う。

同期制御部３０６ｈは、「フレーム画像の生成」の動作に際して、各キャラクター毎の移動位置座標や移動速度（動きの条件）に基づき各キャラクターを移動させてフレーム画像を生成し、各キャラクターの設定された同期制御領域が重なった場合、優先度の設定の有無、その他同期条件等に基づき、配置されたキャラクターの動きを同期、若しくは、同期を解除したフレーム画像を逐次生成する。
但し、これ以降の説明に際して、「同期」とは、動きのタイミングを揃えることや、動きの内容を揃えることを含む意味として取り扱うものとする。

次に、ユーザ端末２及びサーバ３を用いた動画生成処理について、図４〜図１１を参照して説明する。

但し、動画生成処理に係る動作において、「被写体画像の生成」、「制御点の設定」、「被写体画像の取得」、「動きの指定」、「フレーム画像の生成」、「フレーム画像の再生」及び「速さの指定」等の基本的な動作に関する詳細な説明は省略し、本発明の第１実施形態に関連する動作について詳細に説明する。

ここで、図４及び図７は、動画生成処理に係る動作の一例を示すフローチャートである。なお、以下の説明にあっては、被写体存在画像の画像データから生成された被写体切り抜き画像の画像データ等の各種データはサーバ３の記憶部３０５に予め記憶されているものとする。

上述の「動きの設定」の動作に際して、図４に示すように動画処理部３０６の同期設定部３０６ｇは、ユーザ端末２からの指示に基づき、同期の設定をするか否かを判断する（ステップＳ１）。
ここで、同期設定部３０６ｇが同期の設定をしないと判断した場合（ステップＳ1：Ｎｏ）、通常の「動きの設定」の動作に移行し、同期の設定をすると判断した場合（ステップＳ１：Ｙｅｓ）、同期設定部３０６ｇは、ユーザ端末２からの指示に基づき、被写体画像をサーバ３の記憶部３０５に記憶されている被写体切り抜き画像の画像データから取得し、複数のキャラクター（第１画像、第２画像）としてフレーム画像に配置する（ステップＳ２：取得ステップ）。

次に、同期設定部３０６ｇは、ユーザ端末２からの指示に基づき、配置したそれぞれのキャラクターに同期制御領域を設定する（ステップＳ３：設定ステップ）。
例えば、同期設定部３０６ｇは、ユーザ端末２からの指示に基づき、図５に示すようにフレーム画像に配置されたキャラクターＣＨ１の周囲に、破線で示す同期制御領域ＯＲ１を設定する。
なお、同期制御領域の設定に関しては、ユーザ端末２からの指示に基づき、配置されたキャラクターＣＨ１が選択されると、同期設定部３０６ｇが自動的に同期制御領域ＯＲ１を設定するものであっても良い。

そして、同期設定部３０６ｇは、ユーザ端末２からの指示に基づき、それぞれの当該キャラクター（第１画像、第２画像）の移動位置座標や移動速度（動きの条件）を設定する（ステップＳ４：設定ステップ）。
例えば、同期設定部３０６ｇは、ユーザ端末２からの指示に基づき、図６に示すようにフレーム画像の中央に配置されたキャラクターＣＨ１１に移動しながら近づくように、フレーム画像に配置されたＣＨ１２及びＣＨ１３に対して、移動位置座標ＭＶ１１及びＭＶ１２をそれぞれ設定する。
すなわち、図６では、キャラクターＣＨ１１は移動することなくその場でダンス踊って（ＣＨ１１の画像の動き）おり、その周りからキャラクターＣＨ１２がダンスを踊り（ＣＨ１２の画像の動き）ながら、移動位置座標ＭＶ１１に示すように時計回りで近づき、キャラクターＣＨ１３がダンスを踊り（ＣＨ１３の画像の動き）ながら、移動位置座標ＭＶ１２に示すように時計回りで近づくように移動するように設定される。
なお、移動速度の設定に関しては、ユーザ端末２からの指示に基づき、同期設定部３０６ｇが、移動速度に関する数値を取得して各キャラクターに設定する等、公知の技術を用いて設定すれば良い。

最後に、同期設定部３０６ｇは、ユーザ端末２からの指示に基づき、配置されたそれぞれのキャラクター（第１画像、第２画像）の優先度を設定し（ステップＳ５：設定ステップ）、当該キャラクターの同期条件を設定する（ステップＳ６：設定ステップ）。その後、同期設定部３０６ｇは、通常の「動きの指定」の動作に移行する。
例えば、同期条件としては、「同期制御領域が重なったら同期」、「同期制御領域ではなくキャラクター本体が重なった場合に同期」、「初めからキャラクターが重なっている場合でも同期」等の条件が考えられる。
但し、基本的に同期制御領域を設定する時点で、同期制御領域の重複が同期条件であることは、明らかであるので、同期条件の設定がなくても「同期制御領域が重なったら同期」という同期条件を含むことになる。
なお、上述の同期条、件は、一例であってこれに限られるものではなく、同期条件は適宜任意に設定が可能である。
また、同期条件のみならず、同期設定部３０６ｇは、ユーザ端末２からの指示に基づき、「初めからキャラクターが重なっている場合には非同期」、「同期制御領域ではなくキャラクター本体が重なった場合には非同期」、「キャラクターが前後で重なった場合には非同期」、「同期制御領域が重ならなくなった場合には同期を解除」と言った非同期条件、若しくは、同期解除条件を設定することも可能である。
但し、第１実施形態では、同期条件として後述の同期時間は設定されていないものとする。

このように、同期設定部３０６ｇによってキャラクターの配置、同期制御領域の設定、移動位置座標等（動きの条件）の設定、優先度の設定及び同期条件の設定がされた後、上述の「フレーム画像の生成」の動作に際して、図７に示す第１生成ステップ及び第２生成ステップを行う。すなわち、動画処理部３０６の同期制御部３０６ｈは、配置されているキャラクターに移動位置座標及び移動時間（動きの条件）が設定されているか否かを判断する（ステップＳ１０）。
ここで、同期制御部３０６ｈが、移動位置座標及び移動時間（動きの条件）が設定されていないと判断した場合（ステップＳ１０：Ｎｏ）、同期条件として同期時間が設定されているか否かを判断する（ステップＳ１１）。但し、第１実施形態では、同期条件として後述の同期時間は設定されていないので、同期制御部３０６ｈは、同期時間の設定がないと判断して（ステップＳ１１：Ｎｏ）、通常の「フレーム画像の生成」の動作に移行する。

一方、同期制御部３０６ｈが、移動位置座標及び移動時間（動きの条件）が設定されていると判断した場合（ステップＳ１０：Ｙｅｓ）、同期制御部３０６ｈは、設定されている移動位置座標及び移動速度（動きの条件）に基づき各キャラクターを変形させながら、それぞれを移動させて複数のフレーム画像を生成する（ステップＳ１２：第１生成ステップ）。
次に、同期制御部３０６ｈは、配置されている各キャラクターの同期制御領域が重複しているか否かを判断する（ステップＳ１３：第２生成ステップ）。
ここで、同期制御部３０６ｈが、同期制御領域が重なっていないと判断した場合（ステップＳ１３：Ｎｏ）、通常の「フレーム画像の生成」の動作に移行し、同期制御領域が重なっていると判断した場合（ステップＳ１３：Ｙｅｓ）、同期制御部３０６ｈは、さらに、配置されているキャラクターに優先度が設定されているか否かを判断する（ステップＳ１４：第２生成ステップ）。
そして、同期制御部３０６ｈが、優先度が設定されていないと判断した場合（ステップＳ１４：Ｎｏ）、通常の「フレーム画像の生成」の動作に移行し、優先度が設定されていると判断した場合（ステップＳ１４：Ｙｅｓ）、同期制御部３０６ｈは、さらに、配置されているキャラクターに同期条件を満足するか否かを判断する（ステップＳ１５：第２生成ステップ）。
そして、同期制御部３０６ｈが、同期条件を満足しないと判断した場合（ステップＳ１５：Ｎｏ）、通常の「フレーム画像の生成」の動作に移行し、同期条件を満足すると判断した場合（ステップＳ１５：Ｙｅｓ）、同期制御部３０６ｈは、優先度の低いキャラクターの動きを、優先度が高いキャラクターの動きに同期させたフレーム画像を逐次生成し（ステップＳ１６：第２生成ステップ）、その後、通常の「フレーム画像の生成」の動作に移行する。

これまでに図４〜図７用いて説明した内容を、図８〜図１１を用いてさらに詳細に説明する。

図８において、フレーム画像に互いに離れて配置されたキャラクターＣＨ２１及びＣＨ２２（第１画像、第２画像）は、同期設定部３０６ｇにより、同期制御領域（ＯＲ２１及びＯＲ２２）、移動位置座標（ＭＶ２１及びＭＶ２２）、優先度及び同期条件等がそれぞれ設定されており、キャラクターＣＨ２１の方が設定された優先度は高いものとする。
また、優先度の高いキャラクターＣＨ２１は、図９に示すように、体の横方向に両腕を水平に伸ばした状態、水平に伸ばしていた右腕を前に突き出す状態、体の横方向に両腕を水平に伸ばした状態、水平に伸ばしていた左腕を前に突き出す状態をフレーム毎に順次繰り返す動きを行うものとする。（画像の動き）
同様に、優先度の低いキャラクターＣＨ２２は、図１０に示すように、体の横方向に両腕を水平に伸ばした状態、水平に伸ばしていた両腕を真上に突き出す状態をフレーム毎に順次繰り返す動きを行うものとする。（画像の動き）

従って、図８において、キャラクターＣＨ２１は図９に示す動きを行いながら、設定された移動位置座標ＭＶ２１に沿って移動し、キャラクターＣＨ２２は図１０に示す動きを行いながら、設定された移動位置座標ＭＶ２２に沿って移動して、図１１に示すような位置関係となる。

図８に示す移動位置座標及び移動速度（動きの条件）に従ってキャラクターＣＨ２１及びＣＨ２２を移動させた結果、例えば、図１１中ＣＲ２１に示すように、キャラクターＣＨ２１の左手と、キャラクターＣＨ２２の右手の部分の同期制御領域が重なった場合、この時点で、同期制御部３０６ｈは、優先度の低いキャラクターの動きを、優先度が高いキャラクターの動きに同期させたフレーム画像を逐次生成する。
そして、動画再生部３０６ｅにより逐次生成されたフレーム画像を再生することにより、２つのキャラクターの同期制御領域が重なった時点で、優先度の低いキャラクターＣＨ２２の動きは図１０に示す動きから、図９に示す優先度の高いキャラクターＣＨ２１の動きに変更、言い換えれば、キャラクターＣＨ２２の動きがキャラクターＣＨ２１の動きに同期した動画として再生されることになる。

以上のように、記憶部から画像データを取得して複数のキャラクター（第１画像、第２画像）としてフレーム画像に配置し、同期制御領域、移動位置座標や移動速度（動きの条件）、優先度、同期条件をそれぞれ設定して、移動位置座標及び移動速度（動きの条件）に基づき各キャラクターを移動させた結果、同期条件としてキャラクターの同期制御領域が互いに重なり、優先度が設定されており、その他の同期条件を満足する場合に、優先度の低いキャラクターの動きを、優先度が高いキャラクターの動きに同期させたフレーム画像を逐次生成することにより、容易にキャラクター間の動きを同期させることが可能になる。

なお、第１実施形態では、キャラクターに対する優先度の設定を前提としているが、勿論、優先度は必須ではない。例えば、同期制御領域が重なった場合、どちらか一方の画像の動きを、もう一方（他方）の動きに同期させても構わない。この場合、図７におけるステップＳ１４の条件判断は不要になる。

さらに、第１実施形態では、同期条件として、複数のキャラクター（第１画像、第２画像）の同期制御領域の重複を例示しているが、勿論、これに限定される訳ではなく、その他の同期条件が成立した場合に、どちらか一方の画像の動きを、もう一方（他方）の動きに同期させても構わない。

また、前述の通り、同期条件のみならず、「同期制御領域が重ならなくなった場合には同期を解除」と言った同期解除条件を設定しておくことにより、容易にキャラクター間の動きの同期を解除することが可能になる。
さらに、前述の通り、同期条件のみならず、「初めからキャラクターが重なっている場合には非同期」、「同期制御領域ではなくキャラクター本体が重なった場合には非同期」と言った非同期条件を設定しておくことにより、容易にキャラクター間の動きを非同期にさせることが可能になる。

（第２実施形態）
また、本発明の第２実施形態の動画生成システムについて、図４及び図７に基づいて説明する。但し、同期設定部３０６ｇによる各キャラクターの配置や各種設定その他、本発明の第１実施形態と同様の部分に関しては説明を省略する。

図４に示す動画生成処理に係る動作の一例を示すフローチャートにおいて、同期設定部３０６ｇは、ユーザ端末２からの指示に基づき、移動位置座標及び移動速度（動きの条件）の設定（ステップＳ４）ぜず、例えば、同期条件として、「開始後５秒後に同期する」と言った「同期時間」、「開始後１０秒後に同期を解除にする」と言った「同期解除時間」を設定（ステップＳ６）した場合を想定する。
ここで、「同期時間」とは、移動位置座標や移動速度（動きの条件）といった具体的な設定でなく、設定された時間後に各キャラクターの同期制御領域が自動的に重なって同期が起こるように、各キャラクターを移動させるための値である。
また、「同期解除時間」とは、移動位置座標や移動速度（動きの条件）といった具体的な設定でなく、設定された時間後に各キャラクターの同期制御領域が自動的に重ならなくなって同期が解除されるように、各キャラクターを移動させるための値である。

このように、同期設定部３０６ｇによってキャラクターの配置、同期制御領域の設定、優先度の設定及び同期条件の設定がされた後、上述の「フレーム画像の生成」の動作に際して、図７に示す移動制御ステップ及び生成ステップを行う。すなわち、動画処理部３０６の同期制御部３０６ｈは、配置されているキャラクターに移動位置座標及び移動時間（動きの条件）が設定されているか否かを判断する（ステップＳ１０）。但し、第２実施形態では、移動位置座標及び移動時間（動きの条件）が設定されていないので、同期制御部３０６ｈは、移動位置座標及び移動時間（動きの条件）の設定がないと判断する（ステップＳ１０：Ｎｏ）。
また、同期制御部３０６ｈは、同期条件として同期時間が設定されているか否かを判断する（ステップＳ１１）。
そして、同期制御部３０６ｈが、同期条件として同期時間が設定されていないと判断した場合（ステップＳ１１：Ｎｏ）、通常の「フレーム画像の生成」の動作に移行し、同期条件として同期時間が設定されていると判断した場合（ステップＳ１１：Ｙｅｓ）、同期制御部３０６ｈは、同期時間に基づき、同期時間経過後に各キャラクターの同期制御領域が重なるように、各キャラクターの移動すべき移動位置座標や移動速度を計算し、（ステップＳ１７：移動制御ステップ）、計算された移動速度で移動位置座標に各キャラクターを変形させながら複数のフレーム画像を生成する際に、それぞれを移動させる（ステップＳ１８：移動制御ステップ）。
次に、同期制御部３０６ｈは、配置されている各キャラクターの同期制御領域が重複しているか否かを判断する（ステップＳ１３：生成ステップ）。
ここで、同期制御部３０６ｈが、同期制御領域が重なっていないと判断した場合（ステップＳ１３：Ｎｏ）、通常の「フレーム画像の生成」の動作に移行し、同期制御領域が重なっていると判断した場合（ステップＳ１３：Ｙｅｓ）、同期制御部３０６ｈは、さらに、配置されているキャラクターに優先度が設定されているか否かを判断する（ステップＳ１４：生成ステップ）。
そして、同期制御部３０６ｈが、優先度が設定されていないと判断した場合（ステップＳ１４：Ｎｏ）、通常の「フレーム画像の生成」の動作に移行し、優先度が設定されていると判断した場合（ステップＳ１４：Ｙｅｓ）、同期制御部３０６ｈは、さらに、配置されているキャラクターに同期条件を満足するか否かを判断する（ステップＳ１５：生成ステップ）。
そして、同期制御部３０６ｈが、同期条件を満足しないと判断した場合（ステップＳ１５：Ｎｏ）、通常の「フレーム画像の生成」の動作に移行し、同期条件を満足すると判断した場合（ステップＳ１５：Ｙｅｓ）、同期制御部３０６ｈは、優先度の低いキャラクターの動きを、優先度が高いキャラクターの動きに同期させたフレーム画像を逐次生成し（ステップＳ１６：生成ステップ）、その後、通常の「フレーム画像の生成」の動作に移行する。

以上のように、記憶部から画像データを取得して複数のキャラクター（第１画像、第２画像）としてフレーム画像に配置し、同期制御領域、優先度、同期時間を含む同期条件をそれぞれ設定して、同期時間に基づき各キャラクターを移動させた結果、同期条件としてキャラクターの同期制御領域が互いに重なり、優先度が設定されており、その他の同期条件を満足する場合に、優先度の低いキャラクターの動きを、優先度が高いキャラクターの動きに同期させたフレーム画像を逐次生成することにより、容易にキャラクター間の動きを同期させることが可能になる。

なお、第２実施形態でも、キャラクターに対する優先度の設定を前提としているが、勿論、優先度は必須ではない。例えば、同期制御領域が重なった場合、どちらか一方の画像の動きを、もう一方（他方）の動きに同期させても構わない。この場合、図７におけるステップＳ１４の条件判断は不要になる。

さらに、第２実施形態では、同期条件として同期制御領域の重複を例示しているが、勿論、これに限定される訳ではなく、複数のキャラクター（第１画像、第２画像）の位置関係には関わりなく、単純に同期時間が経過した時点で、どちらか一方の画像の動きを、もう一方（他方）の動きに同期させても構わない。

また、前述の通り、同期条件のみならず、「同期制御領域が重ならなくなった場合には同期を解除」と言った同期解除条件を設定しておくことにより、容易にキャラクター間の動きの同期を解除することが可能になる。
さらに、前述の通り、同期条件のみならず、「初めからキャラクターが重なっている場合には非同期」、「同期制御領域ではなくキャラクター本体が重なった場合には非同期」と言った非同期条件を設定しておくことにより、容易にキャラクター間の動きを非同期にさせることが可能になる。
特に、前述の通り、「同期時間」のみならず、「同期解除時間」を設定しておくことにより、容易にキャラクター間の動きの同期を解除することが可能になる。
すなわち、同期解除時間に基づき同期解除時間経過後に各キャラクターの同期制御領域が重ならないように、各キャラクターの移動すべき移動位置座標や移動速度を計算し、計算された移動速度で移動位置座標に各キャラクターを移動させることにより、容易にキャラクター間の動きの同期を解除することが可能になる。

（変形例１）
本発明の第１実施形態及び第２実施形態の変形例１について説明する。
図４のステップＳ６において、同期制御部３０６ｈは、ユーザ端末２からの指示に基づき、配置されたキャラクターの同期条件として、例えば、「同期制御領域が３回重なるまで同期する（重なり回数１〜３回目は同期）」、「同期制御領域が３回重なるまで同期しない（重なり回数４回目以降に同期）」、「同期制御領域の重なり回数が奇数の場合に同期」、「同期制御領域の重なり回数が偶数の場合に同期」、等の条件を設定する。

すなわち、単純に同期制御領域の重なりだけで、キャラクター間の動きを同期させ、若しくは、動きの同期を解除するだけではなく、同期制御領域の重なる回数をカウントして、そのカウント値に基づき同期条件を設定することにより、キャラクター間の同期等の仕方が複雑になり、フレーム画像全体として、より複雑な動きとしてユーザに認識させることができる。
また、キャラクターに予め設定されている演奏情報Ｔが、予め設定されている演奏情報Ｔ（例えば、アップテンポな曲調の演奏情報Ｔ）に一致する場合のみ、同期制御領域が重なって時点で同期させる制御を行っても構わない。

以上のように、変形例１では、単純に同期制御領域の重なりだけで、キャラクター間の動きを同期等させる場合と比較して、同期制御領域の重なり回数に応じて、或いは、予め設定された演奏情報Ｔと一致する場合に、一方の画像の動きを他方の画像の動きに同期させたフレーム画像を生成して再生することにより、フレーム画像全体として、より複雑な動きとしてユーザに認識させることができる。

（変形例２）
本発明の第１実施形態及び第２実施形態の変形例２について説明する。
図４のステップＳ３において、同期制御部３０６ｈは、ユーザ端末２からの指示に基づき、配置されたキャラクターの同期制御領域に関し、例えば、図５中のキャラクターＣＨ１の外周から破線までの幅である同期制御領域ＯＲ１の幅（以下、単に同期制御領域幅と呼ぶ。）を任意に設定する。
例えば、同期制御領域幅を正の値に設定すれば、キャラクターの同期制御領域が重なった時点で動きが同期するものの、同期制御領域幅の違いにより、キャラクター間の同期等の仕方が複雑になり、フレーム画像全体として、より複雑な動きとしてユーザに認識させることができる。
また、同期制御領域幅を”０”に設定すれば、キャラクター本体が重なることで動きが同期し、同期制御領域幅を負の値に設定すれば、キャラクター本体がある程度重なるまで動きが同期しないことになるので、更に、キャラクター間の同期等の仕方が複雑になり、フレーム画像全体として、より複雑な動きとしてユーザに認識させることができる。

以上のように、変形例２では、単純に同期制御領域の重なりだけで、キャラクター間の動きを同期等させる場合と比較して、同期制御領域幅を任意に変更可能にして、同期制御領域が重なった場合、一方の画像の動きを他方の画像の動きに同期させたフレーム画像を生成して再生することにより、フレーム画像全体として、より複雑な動きとしてユーザに認識させることができる。

（変形例３）
本発明の第１実施形態及び第２実施形態の変形例３について説明する。
図４のステップＳ６において、同期制御部３０６ｈは、ユーザ端末２からの指示に基づき、配置されたキャラクターの同期条件の代わりに同期内容を設定する。
同期内容とは、単純にキャラクターの全ての動きを同期させるのでなく、動きを同期させる内容、例えば、「ダンスの種類のみ同期（ダンス速度は異なる）」、「ダンスの速度のみ同期（ダンス種類は異なる）」、「ダンスの種類及び速度の双方に同期」等を選択可能にする。

すなわち、単純に同期オフセット領域の重なりだけで、キャラクター間の動きを同期させ、若しくは、動きの同期を解除するだけではなく、同期制御領域が重なって時点で、ダンスの種類のみ同期、ダンスの速度のみ同期、ダンスの種類及び速度の双方に同期、と言った同期内容を設定することにより、キャラクター間の同期等の仕方が複雑になり、フレーム画像全体として、より複雑な動きとしてユーザに認識させることができる。

以上のように、変形例３では、単純に同期制御領域の重なりだけで、キャラクター間の動きを同期等させる場合と比較して、同期内容（種類、速度、両方等）を設定し、同期制御領域が重なった場合、一方の画像の動きの該当する同期内容のみを他方の画像の動きに同期させたフレーム画像を生成して再生することにより、フレーム画像全体として、より複雑な動きとしてユーザに認識させることができる。

「被写体画像の生成」でも説明した通り、第１実施形態や第２実施形態におけるキャラクターは、背景と被写体とが存在する画像から被写体が含まれる領域が切り抜かれた画像であることは言うまでもない。

加えて、上記実施形態にあっては、取得ステップ、設定ステップ、第１生成ステップ（第２実施形態では移動制御ステップ）及び第２生成ステップ（第２実施形態では生成ステップ）としての動作を、中央制御部３０１の制御下にて、画像取得部３０６ａと、背面画像生成部３０６ｂと、制御点設定部３０６ｃと、フレーム生成部３０６ｄと、動画再生部３０６ｅと、速さ指定部３０６ｆと、同期設定部３０６ｇと、同期制御部３０６ｈとを具備している動画処理部３０６より実現される構成としたが、これに限られるものではなく、取得手段、設定手段、第１生成手段（移動制御手段）、第２生成手段（生成手段）から構成される画像生成装置として実現しても良い。
即ち、ユーザ端末２からの指示に基づき、被写体画像をサーバ３の記憶部３０５に記憶されている被写体切り抜き画像の画像データから取得し、複数のキャラクター（第１画像、第２画像）としてフレーム画像に配置する取得手段と、ユーザ端末２からの指示に基づき、配置したそれぞれのキャラクターに同期制御領域を設定し、それぞれの当該キャラクターの移動位置座標や移動速度（動きの条件）を設定し、配置されたそれぞれのキャラクターの優先度を設定し、当該キャラクターの同期条件を設定する設定手段と、設定されている移動位置座標及び移動速度（動きの条件）に基づき各キャラクターを移動させてフレーム画像を生成する第１生成手段（移動制御手段）と、同期制御領域が重なっていると判断した場合、配置されているキャラクターに優先度が設定され、配置されているキャラクターに同期条件を満足するすると判断した場合、優先度の低いキャラクターの動きを、優先度が高いキャラクターの動きに同期させたフレーム画像を逐次生成する第２生成手段（生成手段）とから画像生成装置を構成しても良い。

また、加えて、上記実施形態にあっては、取得ステップ、設定ステップ、第１生成ステップ（第２実施形態では移動制御ステップ）及び第２生成ステップ（第２実施形態では生成ステップ）としての動作を、中央制御部３０１の制御下にて、画像取得部３０６ａと、背面画像生成部３０６ｂと、制御点設定部３０６ｃと、フレーム生成部３０６ｄと、動画再生部３０６ｅと、速さ指定部３０６ｆと、同期設定部３０６ｇと、同期制御部３０６ｈとを具備している動画処理部３０６より実現される構成としたが、これに限られるものではなく、中央制御部３０１によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、設定処理ルーチン、第１生成処理ルーチン（移動制御処理ルーチン）及び第２生成処理ルーチン（生成処理ルーチン）を含むプログラムを記憶しておく。
そして、取得処理ルーチンにより中央制御部３０１のＣＰＵを、ユーザ端末２からの指示に基づき、被写体画像をサーバ３の記憶部３０５に記憶されている被写体切り抜き画像の画像データから取得し、複数のキャラクター（第１画像、第２画像）としてフレーム画像に配置する取得手段として機能させるようにしても良い。
また、設定処理ルーチンにより中央制御部３０１のＣＰＵを、ユーザ端末２からの指示に基づき、配置したそれぞれのキャラクターに同期制御領域を設定し、それぞれの当該キャラクターの移動位置座標や移動速度（動きの条件）を設定し、配置されたそれぞれのキャラクターの優先度を設定し、当該キャラクターの同期条件を設定する設定手段として機能させるようにしても良い。
また、第１生成処理ルーチン（移動制御処理ルーチン）により中央制御部３０１のＣＰＵを、設定されている移動位置座標及び移動速度（動きの条件）に基づき各キャラクターを移動させてフレーム画像を生成する第１生成手段（移動制御手段）として機能させるようにしても良い。
また、第２生成処理ルーチン（生成処理ルーチン）により中央制御部３０１のＣＰＵを、同期制御領域が重なっていると判断した場合、配置されているキャラクターに優先度が設定され、配置されているキャラクターに同期条件を満足するすると判断した場合、優先度の低いキャラクターの動きを、優先度が高いキャラクターの動きに同期させたフレーム画像を逐次生成する第２生成手段（生成手段）として機能させるようにしても良い。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
第１及び第２画像をそれぞれ取得する取得ステップと、
前記第１及び第２画像に対して同期条件及び動きの条件をそれぞれ設定する設定ステップと、
前記動きの条件に基づいて前記第１及び第２画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する第１生成ステップと、
前記第１及び第２画像の前記同期条件が成立した場合、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する第２生成ステップと
を含むことを特徴とする画像生成方法。
＜請求項２＞
前記設定ステップは、
前記第１及び第２画像に対して同期制御領域をそれぞれ設定し、
前記第２生成ステップは、
前記同期条件として前記第１及び第２画像の前記同期制御領域が互いに重なった場合、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項１に記載の画像生成方法。
＜請求項３＞
前記第２生成ステップは、
前記同期条件として前記第１及び第２画像の前記同期制御領域が互いに重なった場合、前記同期制御領域の重なる回数に基づき、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項２に記載の画像生成方法。
＜請求項４＞
前記第２生成ステップは、
前記同期条件として前記第１若しくは第２画像の前記同期制御領域が互いに重なり、且つ、前記第１若しくは第２画像に設定されている演奏情報が予め設定されている演奏情報に一致する場合、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項２に記載の画像生成方法。
＜請求項５＞
前記設定ステップは、
前記第１及び第２画像にそれぞれ優先度を設定し、
前記第２生成ステップは、
前記第１及び第２画像の前記同期条件が成立した場合、優先度の低い画像の動きを、優先度の高い画像の動きに同期させたフレーム画像を生成することを特徴とする請求項１〜４の何れか一項に記載の画像生成方法。
＜請求項６＞
前記設定ステップは、
前記第１及び第２画像に対して同期内容をそれぞれ設定し、
前記第２生成ステップは、
前記第１及び第２画像の前記同期条件が成立した場合、前記第１及び第２画像のうちの何れか一方の画像の動きのうち前記同期内容に該当する動きのみを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項１〜４の何れか一項に記載の画像生成方法。
＜請求項７＞
前記同期内容が、
前記動きの種類及び前記動きの速度のうち少なくとも一方を含むことを特徴とする請求項６に記載の画像生成方法。
＜請求項８＞
前記同期制御領域の幅を設定可能にしたことを特徴とする請求項２〜４の何れか一項に記載の画像生成方法。
＜請求項９＞
第１及び第２画像をそれぞれ取得する取得ステップと、
前記第１及び第２画像に対して、同期時間をそれぞれ設定する設定ステップと、
所定の動きの条件に基づいて前記第１及び第２画像を変形させながら複数のフレーム画像を生成する際に、前記同期時間が経過した場合、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する生成ステップと
を含むことを特徴とする画像生成方法。
＜請求項１０＞
前記第１及び第２画像を変形させながら複数のフレーム画像を生成する際に、それぞれを移動させる移動制御ステップを備え、
前記設定ステップは、
前記第１及び第２画像に対して同期制御領域をそれぞれ設定し、
前記移動制御ステップは、
前記同期時間に基づき前記同期時間経過後に前記第１及び第２画像の同期制御領域が重なるように、前記第１及び第２画像の移動すべき移動位置座標や移動速度を計算し、計算された移動位置座標や移動速度に基づき前記第１及び第２画像を移動させ、
前記生成ステップは、
同期条件として前記第１及び第２画像の前記同期制御領域が互いに重なった場合、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項９に記載の画像生成方法。
＜請求項１１＞
前記第１及び第２画像は、
背景と被写体とが存在する画像から被写体が含まれる領域が切り抜かれた画像であることを特徴とする請求項１〜１０の何れか一項に記載の画像生成方法。
＜請求項１２＞
第１及び第２画像をそれぞれ取得する取得手段と、
前記第１及び第２画像に対して同期条件及び動きの条件をそれぞれ設定する設定手段と、
前記動きの条件に基づいて前記第１及び第２画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する第１生成手段と、
前記第１及び第２画像の前記同期条件が成立した場合、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する第２生成手段と
を備えたことを特徴とする画像生成装置。
＜請求項１３＞
コンピュータを、
第１及び第２画像をそれぞれ取得する取得手段と、
前記第１及び第２画像に対して同期条件及び動きの条件をそれぞれ設定する設定手段と、
前記動きの条件に基づいて前記第１及び第２画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する移動制御手段と、
前記第１及び第２画像の前記同期条件が成立した場合、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する生成手段と
して機能させることを特徴とするプログラム。

１００ 動画生成システム
１ 撮像装置
２ ユーザ端末
３ サーバ
２０１，３０１ 中央制御部
２０２，３０３ 通信制御部
２０３，３０２ 表示部
２０４ 音出力部
２０５ 記録媒体制御部
２０６ 操作入力部
３０４ 被写体切抜部
３０５ 記憶部
３０６ 動画処理部
３０６ｇ 同期設定部
３０６ｈ 同期制御部

Claims (8)

1. 第１及び第２画像をそれぞれ取得する取得ステップと、
   前記第１及び第２画像に対して同期条件及び動きの条件をそれぞれ設定する設定ステップと、
   前記動きの条件に基づいて前記第１及び第２画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する第１生成ステップと、
   前記第１及び第２画像の前記同期条件が成立した場合、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する第２生成ステップと
   を含み、
   前記設定ステップは、
   前記第１及び第２画像に対して同期制御領域をそれぞれ設定し、
   前記第２生成ステップは、
   前記同期条件として前記第１及び第２画像の前記同期制御領域が互いに重なった場合、前記同期制御領域の重なる回数に基づき、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする画像生成方法。
2. 前記第２生成ステップは、更に、
   前記同期条件として前記第１若しくは第２画像の前記同期制御領域が互いに重なり、且つ、前記第１若しくは第２画像に設定されている演奏情報が予め設定されている演奏情報に一致する場合、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項１に記載の画像生成方法。
3. 前記設定ステップは、
   前記第１及び第２画像にそれぞれ優先度を設定し、
   前記第２生成ステップは、更に、
   前記第１及び第２画像の前記同期条件が成立した場合、優先度の低い画像の動きを、優先度の高い画像の動きに同期させたフレーム画像を生成することを特徴とする請求項１又は２に記載の画像生成方法。
4. 前記設定ステップは、
   前記第１及び第２画像に対して同期内容をそれぞれ設定し、
   前記第２生成ステップは、更に、
   前記第１及び第２画像の前記同期条件が成立した場合、前記第１及び第２画像のうちの何れか一方の画像の動きのうち前記同期内容に該当する動きのみを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項１〜３の何れか一項に記載の画像生成方法。
5. 前記同期内容が、
   前記動きの種類及び前記動きの速度のうち少なくとも一方を含むことを特徴とする請求項４に記載の画像生成方法。
6. 前記同期制御領域の幅を設定可能にしたことを特徴とする請求項１〜４の何れか一項に記載の画像生成方法。
7. 第１及び第２画像をそれぞれ取得する取得手段と、
   前記第１及び第２画像に対して同期条件及び動きの条件をそれぞれ設定する設定手段と、
   前記動きの条件に基づいて前記第１及び第２画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する第１生成手段と、
   前記第１及び第２画像の前記同期条件が成立した場合、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する第２生成手段と
   を備え、
   前記設定手段は、
   前記第１及び第２画像に対して同期制御領域をそれぞれ設定し、
   前記第２生成手段は、
   前記同期条件として前記第１及び第２画像の前記同期制御領域が互いに重なった場合、前記同期制御領域の重なる回数に基づき、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする画像生成装置。
8. コンピュータを、
   第１及び第２画像をそれぞれ取得する取得手段と、
   前記第１及び第２画像に対して同期条件及び動きの条件をそれぞれ設定する設定手段と、
   前記動きの条件に基づいて前記第１及び第２画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する第１生成手段と、
   前記第１及び第２画像の前記同期条件が成立した場合、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する第２生成手段と
   して機能させ、
   前記設定手段は、
   前記第１及び第２画像に対して同期制御領域をそれぞれ設定し、
   前記第２生成手段は、
   前記同期条件として前記第１及び第２画像の前記同期制御領域が互いに重なった場合、前記同期制御領域の重なる回数に基づき、前記第１及び第２画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とするプログラム。

Images