JP4881045B2 - 動画生成装置、動画生成方法、及びプログラム - Google Patents

Description

本発明は、動画生成装置、動画生成方法、及びプログラムに関する。特に本発明は、静止画から動画を生成する動画生成装置及び動画生成方法、並びに、動画生成装置用のプログラムに関する。

顧客から提供された複数の静止画像データから動画データを生成して記録するシステムにおいて、静止画像データに静止画の切り替わりを示す差分データを付加することによって、静止画が切り替わってゆく動画データを生成するシステムが知られている（例えば、特許文献１参照。）。この技術によって、ユーザはＤＶＤプレーヤーのような家庭用動画再生機器でも、パソコン等のコンピュータ端末でも、簡単に写真画像を閲覧することができる。
特開２００３−２５９３０３号公報

しかし、特許文献１には、画像の切り替わりを示す動画を効率的に生成する具体的な技術について開示されていない。例えば、特許文献１には、静止画上のオブジェクトの移動、拡大・縮小、回転、色調の変化、静止画のフェードイン・フェードアウト、静止画に対するモザイク表示等、静止画の移り変わりを示す動画データを効率的に生成する具体的な技術については開示されていない。

そこで本発明は、上記の課題を解決することができる動画生成装置、動画生成方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

本発明の第１の形態によると、複数の静止画が移り変わるＭＰＥＧ符号化された動画を生成する動画生成装置であって、動画における静止画の表示タイミング及び表示位置が定められ、複数の主要な静止画毎にそれぞれ対応する複数のシーンを含む動画テンプレートを格納する動画テンプレート格納部と、動画テンプレート格納部が格納している動画テンプレートが含む複数のシーンのそれぞれの主要な静止画を選択する主要静止画選択部と、主要静止画選択部がシーン毎に選択した主要な静止画から、当該シーンに含まれるＩピクチャを生成するＩピクチャ生成部と、Ｉピクチャ生成部が生成した第１のＩピクチャから、第１のＩピクチャと当該第１のＩピクチャの次の第２のＩピクチャとの間に再生されるＰピクチャを生成するＰピクチャ生成部と、Ｉピクチャ生成部が生成したＩピクチャ及びＰピクチャ生成部が生成したＰピクチャを含むＭＰＥＧ符号化された動画を生成する動画生成部とを備える。

Ｉピクチャ生成部が生成した第１のＩピクチャ及び第２のＩピクチャから、第１のＩピクチャと第２のＩピクチャとの間に再生されるＢピクチャを生成するＢピクチャ生成部をさらに備え、動画生成部は、Ｉピクチャ生成部が生成したＩピクチャ、Ｐピクチャ生成部が生成したＰピクチャ、及びＢピクチャ生成部が生成したＢピクチャを含む動画を生成してよい。

主要静止画選択部が選択した主要な静止画のシーン毎に、他の複数の静止画を分類する画像分類部をさらに備え、Ｉピクチャ生成部は、主要静止画選択部がシーン毎に選択した主要な静止画、及び当該シーンに分類された他の静止画から、当該シーンに含まれるＩピクチャを生成し、Ｐピクチャ生成部は、Ｉピクチャ生成部が生成した第１のＩピクチャ、及び当該シーンに分類された他の静止画から、第１のＩピクチャと当該第１のＩピクチャの次の第２のＩピクチャとの間に再生されるシーンのＰピクチャを生成してよい。

Ｂピクチャ生成部は、Ｉピクチャ生成部が生成した第１のＩピクチャ及び第２のＩピクチャ、並びに当該シーンに分類された他の静止画から、第１のＩピクチャと第２のＩピクチャとの間に再生されるシーンのＢピクチャを生成してよい。

動画テンプレート格納部が格納する動画テンプレートに含まれる複数のシーンの間において、複数の静止画をどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得部と、トランジションデータ取得部が取得したトランジションデータに基づいて、一のＰピクチャに含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、当該Ｐピクチャが再生される前のタイミングで再生されるＩピクチャ生成部が生成したＩピクチャ又はＰピクチャ生成部が生成したＰピクチャに存在するか否かを特定する同一部分領域特定部と、トランジションデータ取得部が取得したトランジションデータに基づいて、同一部分領域特定部が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容である、Ｉピクチャ生成部が生成したＩピクチャ又はＰピクチャ生成部が生成したＰピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出する動きベクトル算出部とをさらに備え、Ｐピクチャ生成部は、同一部分領域が前のタイミングで再生されるＩピクチャ又はＰピクチャに同一の画像内容の部分領域が存在すると判断したマクロブロックを表現する、動きベクトル算出部が算出した動きベクトルを含むＰピクチャを生成してよい。

Ｉピクチャ生成部が生成した第１のＩピクチャ及び第２のＩピクチャから、第１のＩピクチャと第２のＩピクチャとの間に再生されるＢピクチャを生成するＢピクチャ生成部をさらに備え、同一部分領域特定部は、トランジションデータ取得部が取得したトランジションデータに基づいて、一のＢピクチャに含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、当該Ｂピクチャが再生される前又は後のタイミングで再生されるＩピクチャ生成部が生成したＩピクチャ又はＰピクチャ生成部が生成したＰピクチャに存在するか否かを特定し、動きベクトル算出部は、トランジションデータ取得部が取得したトランジションデータに基づいて、同一部分領域特定部が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容である、Ｉピクチャ生成部が生成したＩピクチャ又はＰピクチャ生成部が生成したＰピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出し、Ｂピクチャ生成部は、同一部分領域が前又は後のタイミングで再生されるＩピクチャ又はＰピクチャに同一の画像内容の部分領域が存在すると判断したマクロブロックを表現する、動きベクトル算出部が算出した動きベクトルを含むＢピクチャを生成してよい。

トランジションデータ取得部は、動画テンプレート格納部が格納する動画テンプレートに含まれる複数のシーンの間における、オブジェクトの移動を示すトランジションデータを取得し、同一部分領域特定部は、トランジションデータ取得部が取得したオブジェクトの移動を示すトランジションデータに基づいて、一のＰピクチャにおけるオブジェクトに全領域が含まれるマクロブロックと同一の画像内容の部分領域が、当該Ｐピクチャが再生される前のタイミングで再生されるＩピクチャ又はＰピクチャに存在するか否かを特定し、動きベクトル算出部は、トランジションデータ取得部が取得したオブジェクトの移動を示すトランジションデータに基づいて、同一部分領域特定部が同一の画像内容の部分領域が存在すると判断したオブジェクトに全領域が含まれるマクロブロックと、当該マクロブロックと同一の画像内容である、Ｉピクチャ又はＰピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出し、Ｐピクチャ生成部は、同一部分領域が前のタイミングで再生されるＩピクチャ又はＰピクチャに同一の画像内容の部分領域が存在すると判断したオブジェクトに全領域が含まれるマクロブロックを表現する、動きベクトル算出部が算出した動きベクトルを含むＰピクチャを生成してよい。

Ｉピクチャ生成部は、主要静止画選択部が選択した第１の主要な静止画から第１のＩピクチャを生成し、主要静止画選択部が選択した第２の主要な静止画から、第１のＩピクチャの次に再生されるＩピクチャである第２のＩピクチャを生成し、Ｐピクチャ生成部は、第１のＩピクチャにおける静止画の表示位置を含むマクロブロックのＤＣＴ係数と、第２のＩピクチャにおける静止画の表示位置を含むマクロブロックのＤＣＴ係数とを重み付けして周波数成分毎に平均化することによって、第１のＩピクチャと第２のＩピクチャとの間に再生されるＰピクチャにおける静止画の表示位置を含むマクロブロックのＤＣＴ係数を生成してよい。

第１のＩピクチャにおける静止画の表示位置を含むマクロブロックのＤＣＴ係数と、第２のＩピクチャにおける静止画の表示位置を含むマクロブロックのＤＣＴ係数とを重み付けして周波数成分毎に平均化することによって、第１のＩピクチャと第２のＩピクチャとの間に再生されるＢピクチャにおける静止画の表示位置を含むマクロブロックのＤＣＴ係数を生成するＢピクチャ生成部をさらに備えてよい。

本発明の第２の形態によると、複数の静止画が移り変わるＭＰＥＧ符号化された動画を生成する動画生成方法であって、動画における静止画の表示タイミング及び表示位置が定められ、複数の主要な静止画毎にそれぞれ対応する複数のシーンを含む動画テンプレートを格納する動画テンプレート格納段階と、動画テンプレート格納段階において格納されている動画テンプレートが含む複数のシーンのそれぞれの主要な静止画を選択する主要静止画選択段階と、主要静止画選択段階においてシーン毎に選択された主要な静止画から、当該シーンに含まれるＩピクチャを生成するＩピクチャ生成段階と、Ｉピクチャ生成段階において生成された第１のＩピクチャから、第１のＩピクチャと当該第１のＩピクチャの次の第２のＩピクチャとの間に再生されるＰピクチャを生成するＰピクチャ生成段階と、Ｉピクチャ生成段階において生成されたＩピクチャ及びＰピクチャ生成段階において生成されたＰピクチャを含むＭＰＥＧ符号化された動画を生成する動画生成段階とを備える。

本発明の第３の形態によると、複数の静止画が移り変わるＭＰＥＧ符号化された動画を生成する動画生成装置用のプログラムであって、動画生成装置を、動画における静止画の表示タイミング及び表示位置が定められ、複数の主要な静止画毎にそれぞれ対応する複数のシーンを含む動画テンプレートを格納する動画テンプレート格納部、動画テンプレート格納部が格納している動画テンプレートが含む複数のシーンのそれぞれの主要な静止画を選択する主要静止画選択部、主要静止画選択部がシーン毎に選択した主要な静止画から、当該シーンに含まれるＩピクチャを生成するＩピクチャ生成部、Ｉピクチャ生成部が生成した第１のＩピクチャから、第１のＩピクチャと当該第１のＩピクチャの次の第２のＩピクチャとの間に再生されるＰピクチャを生成するＰピクチャ生成部、Ｉピクチャ生成部が生成したＩピクチャ及びＰピクチャ生成部が生成したＰピクチャを含むＭＰＥＧ符号化された動画を生成する動画生成部として機能させる。

本発明の第４の形態によると、複数の静止画が移り変わるＭＰＥＧ符号化された動画を生成する動画生成装置であって、複数の静止画をどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得部と、トランジションデータ取得部が取得したトランジションデータに基づいて、静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含むＭＰＥＧ符号化された動画を生成する動画生成部とを備え、動画生成部は、トランジションデータ取得部が取得したトランジションデータに基づいて、生成する動画に含まれる複数の動画構成画像のうちのいずれの動画構成画像をＩピクチャとするかを決定するピクチャ種別決定部と、ピクチャ種別決定部がＩピクチャとする旨を決定した動画構成画像を、トランジションデータ取得部が取得したトランジションデータに基づいて、静止画からＩピクチャとして生成するＩピクチャ生成部と、トランジションデータ取得部が取得したトランジションデータ及びＩピクチャ生成部が生成したＩピクチャに基づいて、当該Ｉピクチャの後に再生されるＰピクチャを静止画から生成するＰピクチャ生成部とを有する。

ピクチャ種別決定部は、トランジションデータ取得部が取得したトランジションデータに基づいて、Ｉピクチャ生成部が生成したＩピクチャと、当該Ｉピクチャの後に再生される動画構成画像との間において変化する領域の面積を算出して、算出した面積が予め定められた面積より大きい動画構成画像を、当該Ｉピクチャの次のＩピクチャとする旨を決定してよい。

トランジションデータ取得部は、静止画又は他の動画構成画像を背景として移動するオブジェクトの移動を示すトランジションデータを取得し、ピクチャ種別決定部は、トランジションデータ取得部が取得したトランジションデータに基づいて、Ｉピクチャ生成部が生成したＩピクチャと、当該Ｉピクチャの後に再生される動画構成画像との間において、移動するオブジェクト以外の画像領域において変化する領域の面積を算出して、算出した変化する領域の面積が予め定められた面積より大きい動画構成画像を、当該Ｉピクチャの次のＩピクチャとする旨を決定してよい。

ピクチャ種別決定部は、トランジションデータ取得部が取得したトランジションデータに基づいて、移動する同一のオブジェクトを含む連続して再生される複数の動画構成画像のうち、移動するオブジェクトを最も大きく含む動画構成画像を特定し、特定した動画構成画像をＩピクチャとする旨を決定してよい。

動画生成部は、トランジションデータ取得部が取得したトランジションデータ、並びにＩピクチャ生成部が生成したＩピクチャ又はＰピクチャ生成部が生成したＰピクチャに基づいて、Ｉピクチャ又はＰピクチャの間に再生されるＢピクチャを静止画から生成するＢピクチャ生成部をさらに有してよい。

ピクチャ種別決定部は、トランジションデータ取得部が取得したトランジションデータに基づいて、Ｉピクチャ生成部が生成したＩピクチャ又はＰピクチャ生成部が生成したＰピクチャと、当該Ｉピクチャ又はＰピクチャの後に再生される動画構成画像との間において変化する領域の面積を算出して、算出した面積が予め定められた面積より大きい動画構成画像を、当該Ｉピクチャ又はＰピクチャの次のＩピクチャ又はＰピクチャとする旨を決定し、Ｐピクチャ生成部は、ピクチャ種別決定部がＰピクチャとする旨を決定した動画構成画像を、トランジションデータ取得部が取得したトランジションデータに基づいて、静止画からＰピクチャとして生成してよい。

トランジションデータ取得部は、静止画又は他の動画構成画像を背景として移動するオブジェクトの移動を示すトランジションデータを取得し、ピクチャ種別決定部は、トランジションデータ取得部が取得したトランジションデータに基づいて、Ｉピクチャ生成部が生成したＩピクチャ又はＰピクチャ生成部が生成したＰピクチャと、当該Ｉピクチャ又はＰピクチャの後に再生される動画構成画像との間において、移動するオブジェクト以外の画像領域において変化する領域の面積を算出して、算出した面積が予め定められた面積より大きい動画構成画像を、当該Ｉピクチャ又はＰピクチャの次のＩピクチャ又はＰピクチャとする旨を決定してよい。

ピクチャ種別決定部は、トランジションデータ取得部が取得したトランジションデータに基づいて、移動する同一のオブジェクトを含む連続して再生される複数の動画構成画像のうち、移動するオブジェクトを最も大きく含む動画構成画像を特定し、特定した動画構成画像をＩピクチャ又はＰピクチャとする旨を決定してよい。

ピクチャ種別決定部は、トランジションデータ取得部が取得したトランジションデータに基づいて、Ｉピクチャ生成部が生成した第１のＩピクチャ又はＰピクチャ生成部が生成した第１のＰピクチャにおける移動するオブジェクトの領域の背景を含む、第１のＩピクチャ又は第１のＰピクチャの後に再生される動画構成画像を特定し、特定した動画構成画像を、当該第１のＩピクチャ又は第１のＰピクチャの次の第２のＩピクチャ又は第２のＰピクチャとする旨を決定し、Ｂピクチャ生成部は、トランジションデータ取得部が取得したトランジションデータに基づいて、第１のＩピクチャ又は第１のＰピクチャと第２のＩピクチャ又は第２のＰピクチャとの間に再生されるＢピクチャを生成してよい。

本発明の第５の形態によると、複数の静止画が移り変わるＭＰＥＧ符号化された動画を生成する動画生成方法であって、複数の静止画をどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得段階と、トランジションデータ取得段階において取得されたトランジションデータに基づいて、静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含むＭＰＥＧ符号化された動画を生成する動画生成段階とを備え、動画生成段階は、トランジションデータ取得段階において取得されたトランジションデータに基づいて、生成する動画に含まれる複数の動画構成画像のうちのいずれの動画構成画像をＩピクチャとするかを決定するピクチャ種別決定段階と、ピクチャ種別決定段階においてＩピクチャとする旨が決定された動画構成画像を、トランジションデータ取得段階において取得されたトランジションデータに基づいて、静止画からＩピクチャとして生成するＩピクチャ生成段階と、トランジションデータ取得段階において取得されたトランジションデータ及びＩピクチャ生成段階において生成されたＩピクチャに基づいて、当該Ｉピクチャの後に再生されるＰピクチャを静止画から生成するＰピクチャ生成段階とを有する。

本発明の第６の形態によると、複数の静止画が移り変わるＭＰＥＧ符号化された動画を生成する動画生成装置用のプログラムであって、動画生成装置を、複数の静止画をどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得部、トランジションデータ取得部が取得したトランジションデータに基づいて、静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含むＭＰＥＧ符号化された動画を生成する動画生成部として機能させ、動画生成部を、トランジションデータ取得部が取得したトランジションデータに基づいて、生成する動画に含まれる複数の動画構成画像のうちのいずれの動画構成画像をＩピクチャとするかを決定するピクチャ種別決定部、ピクチャ種別決定部がＩピクチャとする旨を決定した動画構成画像を、トランジションデータ取得部が取得したトランジションデータに基づいて、静止画からＩピクチャとして生成するＩピクチャ生成部、トランジションデータ取得部が取得したトランジションデータ及びＩピクチャ生成部が生成したＩピクチャに基づいて、当該Ｉピクチャの後に再生されるＰピクチャを静止画から生成するＰピクチャ生成部として機能させる。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。

本発明によれば、静止画の移り変わりを表現する動画を効率的に生成する動画生成装置を提供することができる。

以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係る動画生成装置１００の利用環境の一例を示す。動画生成装置１００は、ユーザ１９０が撮像装置１１０を用いて撮像した静止画１２０、１２１、１２２、１２３、・・・を受け取って、スライドショー等のＭＰＥＧ符号化された動画データ１３０を生成する。このとき、動画生成装置１００は、静止画の動き等の、静止画の遷移が定義されたトランジションデータに従って静止画を加工することによって、静止画と静止画との間で再生される一駒の画像であるＰピクチャ又はＢピクチャを複数生成する。図１の例では、動画生成装置１００は、静止画１２１から生成されるＩピクチャ、及び表示領域１４４に静止画１２２が次第に現れてくる動画を構成する複数のＰピクチャ又はＢピクチャ１３１、１３２、・・・を生成する。

具体的には、動画生成装置１００は、静止画１２２が現れる表示領域１４４の位置及び大きさが定義されたテンプレートデータと、静止画１２２の輝度の増加速度が定義されトランジションデータを取得する。そして、動画生成装置１００は、表示領域１４４に静止画１２２が配置されたＩピクチャ１３３を生成する。そして、動画生成装置１００は、静止画１２２の輝度の増加速度に応じた、各Ｐピクチャ又はＢピクチャの表示領域１４４における静止画１２１及び１２２の重み付け係数を算出する。そして、動画生成装置１００は、静止画１２１の表示領域１４４内のマクロブロックのＤＣＴ係数と静止画１２２のマクロブロックのＤＣＴ係数とを周波数成分毎に重み付けして足し合わせることによって、各Ｐピクチャ又はＢピクチャの表示領域１４４内のマクロブロックのＤＣＴ係数を算出する。このように、動画生成装置１００は、各Ｐピクチャ又はＢピクチャの画素データを算出することなく、直接的にＤＣＴ係数を算出することができる。

また、動画生成装置１００は、各Ｐピクチャ又はＢピクチャの表示領域以外に含まれるマクロブロックの画像内容が、Ｉピクチャの同じ位置のマクロブロックと同一であることを、テンプレートデータから判断する。そして、動画生成装置１００は、各Ｐピクチャ又はＢピクチャにおける表示領域１４４外のマクロブロックを、０の動きベクトルと、０の差分画像信号とによって表現する。このように、動画生成装置１００は、画像内容が変化しないマクロブロックをブロックマッチングによらずにテンプレートデータから直接的に判断して、当該マクロブロックを動きベクトルと差分画像信号とによって表現する。したがって、動画生成装置１００は動画を高速に生成することができる。

なお、動画生成装置１００は、動画を作成するデザイナ、ユーザ１９０等からの指示をトランジションデータ又はテンプレートデータとして取得してよい。また、動画生成装置１００は、動画生成装置１００又は動画生成装置１００がアクセスすることのできる記録媒体、通信回線を介して、トランジションデータ又はテンプレートデータを受け取ってもよい。なお、動画生成装置１００は、ＤＶＤ１５０等の光記録媒体に生成した動画を記録することによってユーザ１９０に動画を提供してよいし、インターネット等の通信回線を通じてユーザ１９０に動画を提供してもよい。また、動画生成装置１００は、インターネット等の通信回線を通じて撮像装置１１０から静止画を受け取ってよいし、撮像装置１１０によって半導体メモリ等の記録媒体に記録された静止画を受け取ってよい。なお、動画生成装置１００は、撮像画像であってもよいし、撮像画像以外の、画像加工ソフト等を利用して作成されたイメージデータであってよい。なお、動画生成装置１００は、デジタルフォトショップ１７０に設けられた動画生成用の端末であってよいし、個人宅に設けられたパーソナルコンピュータ等の端末であってよい。

以上説明したように、本実施例の動画生成装置１００によれば、静止画と同じ画像内容を持つマクロブロックのデータをトランジションデータ及びテンプレートデータから直接的に判断することができる。したがって、動画生成装置１００は、本図の例における表示領域１４４等、画像が変化する画像領域の画像データを生成すればよい。しかも、動画生成装置１００は、画像が変化する画像領域についてはＤＣＴ係数の足し合わせによって生成する。したがって、動画生成装置１００は、動画構成画像の全画像領域の画素データを生成してからＭＰＥＧ符号化を施す場合に比べて、高速にＭＰＥＧ符号化された動画を生成することができる。

図２は、動画生成装置１００のブロック構成の一実施例を示す。本実施例の動画生成装置１００は、複数の静止画が移り変わるＭＰＥＧ符号化された動画を生成する。動画生成装置１００は、指示入力部２００、画像出力部２０５、画像格納部２１０、トランジションデータ取得部２１２、動画生成部２１４、及び動画テンプレート格納部２１６を備える。動画生成部２１４は、同一部分領域特定部２４０、動きベクトル算出部２５０、画像分類部２７０、動画構成画像生成部２８０、ＤＣＴ係数量子化部２９２、及び符号化部２９４を有する。動画構成画像生成部２８０は、Ｉピクチャ生成部２８２、Ｐピクチャ生成部２８４、及びＢピクチャ生成部２８６を含む。

画像格納部２１０は複数の静止画を格納する。動画テンプレート格納部２１６は、動画における静止画の表示タイミング及び表示位置が定められ、複数の主要な静止画毎にそれぞれ対応する複数のシーンを含む動画テンプレートを格納する。

主要静止画選択部２６０は、動画テンプレート格納部２１６が格納している動画テンプレートが含む複数のシーンのそれぞれの主要な静止画を選択する。具体的には、主要静止画選択部２６０は、画像格納部２１０が格納する複数の静止画の中から、主要な静止画を選択する。なお、主要静止画選択部２６０は、より多くの画像に被写体として含まれる人物を含む静止画を、主要な静止画として優先的に選択してもよい。また、主要静止画選択部２６０は、より多くの画像に被写体として含まれる人物が、より大きく写っている静止画を、主要な静止画として優先的に選択してもよい。また、主要静止画選択部２６０はさらに、複数の静止画の中で互いに類似性の小さい画像内容である画像を、主要な静止画として優先的に選択してもよい。例えば、主要静止画選択部２６０は、画像が撮像された時刻又は位置の少なくとも一方に基づいて、類似性の小さい画像内容である画像を、主要な静止画として優先的に選択してもよい。例えば、主要静止画選択部２６０は、撮像された時刻に互いに隔たりがある画像、又は撮像された位置に互いに隔たりがある画像を、主要な静止画として優先的に選択してもよい。また、主要静止画選択部２６０は、ユーザ１９０からの指示によって主要な静止画を選択してもよい。

Ｉピクチャ生成部２８２は、主要静止画選択部２６０がシーン毎に選択した主要な静止画から、当該シーンに含まれるＩピクチャを生成する。そして、Ｐピクチャ生成部２８４は、Ｉピクチャ生成部２８２が生成した第１のＩピクチャから、第１のＩピクチャと当該第１のＩピクチャの次の第２のＩピクチャとの間に再生されるＰピクチャを生成する。そして、動画生成部２１４は、Ｉピクチャ生成部２８２が生成したＩピクチャ及びＰピクチャ生成部２８４が生成したＰピクチャを含むＭＰＥＧ符号化された動画を生成する。

例えば、ユーザ１９０は、変化に富んだ動画を作成するべく、画像内容の異なる画像を主要な静止画として選択したり、選択した画像について異なるレイアウト、異なるデザイン等を施したりする場合が多い。このような場合、主要な静止画が表示されるタイミングで画像内容が大きく変化する。上記のように、動画生成装置１００は、シーンの切れ目毎にＩピクチャを生成するとともに、シーンの切れ目の間に表示する、画像内容、デザイン等が類似する動画構成画像をＰピクチャとして生成するので、高い圧縮率の動画が生成される。なお、複数の連続するＰピクチャの間において画像の差分をとることによって画像を圧縮する場合、繰り返し差分がとられることによって誤差が累積する場合がある。したがって、主要な画像を用いてＰピクチャを生成すると、当該主要な画像の画質が劣化してしまう場合がある。しかし、動画生成装置１００によると、主要な静止画を含む動画構成画像をＩピクチャとして生成するので誤差の累積による画質の劣化は無く、ユーザ１９０は主要な静止画をより高い画質で鑑賞することができる。

また、Ｂピクチャ生成部２８６は、Ｉピクチャ生成部２８２が生成した第１のＩピクチャ及び第２のＩピクチャから、第１のＩピクチャと第２のＩピクチャとの間に再生されるＢピクチャを生成する。そして、動画生成部２１４は、Ｉピクチャ生成部２８２が生成したＩピクチャ、Ｐピクチャ生成部２８４が生成したＰピクチャ、及びＢピクチャ生成部２８６が生成したＢピクチャを含む動画を生成する。

画像分類部２７０は、主要静止画選択部２６０が選択した主要な静止画のシーン毎に、他の複数の静止画を分類する。具体的には、画像分類部２７０は、静止画が撮像された時刻又は場所の少なくとも一方に基づいて、他の複数の静止画を分類してよい。例えば、画像分類部２７０は、選択された主要な静止画が撮像された時刻により近い時刻に撮像された静止画、又は選択された主要な静止画が撮像された位置により近い位置で撮像された静止画を、他の複数の静止画の中から優先的に選択して、当該主要な静止画と同じ画像群に分類してよい。また、画像分類部２７０は、静止画に含まれる被写体に基づいて、他の複数の静止画を分類してよい。例えば、画像分類部２７０は、選択された主要な静止画に含まれる被写体との類似度が予め定められた基準値より大きい被写体が含まれる静止画を、当該主要な静止画と同じ画像群に分類してよい。

そして、Ｉピクチャ生成部２８２は、主要静止画選択部２６０がシーン毎に選択した主要な静止画、及び当該シーンに分類された他の静止画から、当該シーンに含まれるＩピクチャを生成する。そして、Ｐピクチャ生成部２８４は、Ｉピクチャ生成部２８２が生成した第１のＩピクチャ、及び当該シーンに分類された他の静止画から、第１のＩピクチャと当該第１のＩピクチャの次の第２のＩピクチャとの間に再生されるシーンのＰピクチャを生成する。また、Ｂピクチャ生成部２８６は、Ｉピクチャ生成部２８２が生成した第１のＩピクチャ及び第２のＩピクチャ、並びに当該シーンに分類された他の静止画から、第１のＩピクチャと第２のＩピクチャとの間に再生されるシーンのＢピクチャを生成する。この場合、動画生成装置１００は、同じ位置、時刻で撮像された静止画、又は類似度の高い被写体を含む静止画間で画像の差分をとることでＰピクチャ又はＢピクチャを生成することになる。したがって動画生成装置１００は、効果的に圧縮された動画を生成することができる。

トランジションデータ取得部２１２は、動画テンプレート格納部２１６が格納する動画テンプレートに含まれる複数のシーンの間において、複数の静止画をどのように移り変わらせるかを示すトランジションデータを取得する。具体的には、トランジションデータ取得部２１２は、動画テンプレート格納部２１６が格納する動画テンプレートに含まれる複数のシーンの間における、オブジェクトの移動を示すトランジションデータを取得する。

そして、同一部分領域特定部２４０は、トランジションデータ取得部２１２が取得したオブジェクトの移動を示すトランジションデータに基づいて、一のＰピクチャにおけるオブジェクトに全領域が含まれるマクロブロックと同一の画像内容の部分領域が、当該Ｐピクチャが再生される前のタイミングで再生されるＩピクチャ又はＰピクチャに存在するか否かを特定する。

そして、動きベクトル算出部２５０は、トランジションデータ取得部２１２が取得したオブジェクトの移動を示すトランジションデータに基づいて、同一部分領域特定部２４０が同一の画像内容の部分領域が存在すると判断したオブジェクトに全領域が含まれるマクロブロックと、当該マクロブロックと同一の画像内容である、Ｉピクチャ又はＰピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出する。そして、Ｐピクチャ生成部２８４は、同一部分領域が前のタイミングで再生されるＩピクチャ又はＰピクチャに同一の画像内容の部分領域が存在すると判断したオブジェクトに全領域が含まれるマクロブロックを表現する、動きベクトル算出部２５０が算出した動きベクトルを含むＰピクチャを生成する。このため、動画生成装置１００は、移動するオブジェクトに含まれるマクロブロックをトランジションデータに基づいて特定することによって、ブロックマッチングをすることなく適切な動きベクトルを算出することができる。

以上説明したように、同一部分領域特定部２４０は、トランジションデータ取得部２１２が取得したトランジションデータに基づいて、一のＰピクチャに含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、当該Ｐピクチャが再生される前のタイミングで再生されるＩピクチャ生成部２８２が生成したＩピクチャ又はＰピクチャ生成部２８４が生成したＰピクチャに存在するか否かを特定する。そして、動きベクトル算出部２５０は、トランジションデータ取得部２１２が取得したトランジションデータに基づいて、同一部分領域特定部２４０が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容である、Ｉピクチャ生成部２８２が生成したＩピクチャ又はＰピクチャ生成部２８４が生成したＰピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出する。そして、Ｐピクチャ生成部２８４は、同一部分領域特定部２４０が前のタイミングで再生されるＩピクチャ又はＰピクチャに同一の画像内容の部分領域が存在すると判断したマクロブロックを表現する、動きベクトル算出部２５０が算出した動きベクトルを含むＰピクチャを生成する。

また、同一部分領域特定部２４０は、トランジションデータ取得部２１２が取得したトランジションデータに基づいて、一のＢピクチャに含まれる複数のマクロブロックのそれぞれと同一の画像内容の部分領域が、当該Ｂピクチャが再生される前又は後のタイミングで再生されるＩピクチャ生成部２８２が生成したＩピクチャ又はＰピクチャ生成部２８４が生成したＰピクチャに存在するか否かを特定する。そして、動きベクトル算出部２５０は、トランジションデータ取得部２１２が取得したトランジションデータに基づいて、同一部分領域特定部２４０が同一の画像内容の部分領域が存在すると判断したマクロブロックと、当該マクロブロックと同一の画像内容である、Ｉピクチャ生成部２８２が生成したＩピクチャ又はＰピクチャ生成部２８４が生成したＰピクチャに含まれる部分領域との間の位置の差を示す動きベクトルを算出する。そして、Ｂピクチャ生成部２８６は、同一部分領域が前又は後のタイミングで再生されるＩピクチャ又はＰピクチャに同一の画像内容の部分領域が存在すると判断したマクロブロックを表現する、動きベクトル算出部２５０が算出した動きベクトルを含むＢピクチャを生成する。

なお、Ｉピクチャ生成部２８２は、主要静止画選択部２６０が選択した第１の主要な静止画から第１のＩピクチャを生成し、主要静止画選択部２６０が選択した第２の主要な静止画から、第１のＩピクチャの次に再生されるＩピクチャである第２のＩピクチャを生成する。Ｐピクチャ生成部２８４は、第１のＩピクチャにおける静止画の表示位置を含むマクロブロックのＤＣＴ係数と、第２のＩピクチャにおける静止画の表示位置を含むマクロブロックのＤＣＴ係数とを重み付けして周波数成分毎に平均化することによって、第１のＩピクチャと第２のＩピクチャとの間に再生されるＰピクチャにおける静止画の表示位置を含むマクロブロックのＤＣＴ係数を生成してよい。また、Ｂピクチャ生成部２８６は、第１のＩピクチャにおける静止画の表示位置を含むマクロブロックのＤＣＴ係数と、第２のＩピクチャにおける静止画の表示位置を含むマクロブロックのＤＣＴ係数とを重み付けして周波数成分毎に平均化することによって、第１のＩピクチャと第２のＩピクチャとの間に再生されるＢピクチャにおける静止画の表示位置を含むマクロブロックのＤＣＴ係数を生成してよい。このため、動画生成装置１００は、画像内容が変化する領域のマクロブロックのＤＣＴ係数を、Ｉピクチャの生成時に生成されたＤＣＴ係数の平均化によって算出することができる。したがって、画素データを生成してからＭＰＥＧ符号化を施す場合に比べて高速に動画を生成することができる。

また、ＤＣＴ係数量子化部２９２は、動画構成画像生成部２８０が生成したＩピクチャ、Ｐピクチャ、及びＢピクチャに含まれるＤＣＴ係数に量子化を施すことによって、データ量が圧縮されたＩピクチャ、Ｐピクチャ、及びＢピクチャを生成する。符号化部２９４は、ＤＣＴ係数量子化部２９２が生成したＩピクチャ、Ｐピクチャ、及びＢピクチャを含む動画に対して符号化を施すことによって、データ量が圧縮された動画を生成する。具体的には、符号化部２９４は、Ｉピクチャ、Ｐピクチャ、及びＢピクチャを含む動画に対してランレングス符号化及びハフマン符号化を施してよい。画像出力部２０５は、符号化部２９４が生成した動画を、動画生成装置１００の外部に出力する。例えば、画像出力部２０５は、ＤＶＤ１５０等の記録媒体に動画を出力する。

以上説明したように、本実施例における動画生成装置１００は、シーンの切れ目毎にＩピクチャを生成するので動画を効率的に生成することができる。また、動画生成装置１００は、ブロックマッチングによらずに、テンプレートに基づいて動きベクトルを算出するので、動画を高速に生成することができる。なお、本実施形態における静止画とは、アニメーションを構成する画像であってよく、アニメーションに含まれるオブジェクトの画像等の、アニメーションを構成する一枚の画像における部分画像であってよい。そして、動画生成装置１００は、それらの複数の静止画からアニメーションを生成してよい。この場合でも、動画生成装置１００はアニメーションを構成する画像の画素データを生成してからＭＰＥＧ符号化を施す場合に比べてアニメーションを高速に生成することができるのは言うまでもない。

図３は、動画生成装置１００が生成する動画の一例を示す。動画テンプレート格納部２１６は、各ピクチャにおける静止画を配置する画像枠（例えば、画像枠３７１、３７２、３７３）の位置及び大きさが定められた動画テンプレートを格納する。本図の例では、動画テンプレート格納部２１６は、１シーンにおいて、画像枠３７１に主要な静止画を配置する旨が定義された動画テンプレートを格納する。そして、動画テンプレート格納部２１６は、同じシーンにおいて、当該画像枠３７１の左下方の一部を上書きする形で画像枠３７２に他の静止画を配置し、さらにその後、当該画像枠３７１の右上方の一部を上書きする形で画像枠３７３に他の静止画を配置する旨が定義されている。

なお、静止画を配置する画像枠３７１、３７２、３７３等は、指示入力部２００を介してユーザ１９０により選択された、１シーンに適用する動画テンプレートによって指定される。また、当該画像枠３７１内に表示する主要な静止画３００及び静止画３０１も、指示入力部２００を介してユーザ１９０により選択される。このとき、画像分類部２７０は、画像格納部２１０が格納する画像の中から、主要な静止画として選択された静止画と同じシーンで生成する静止画を選択する。

例えば、画像分類部２７０は、主要な静止画が撮像された時刻と予め定められた時間範囲の基準値より短い時間範囲内で撮像された画像を、同じシーンで生成する静止画として選択してよい。他にも、画像分類部２７０は、主要な静止画が撮像された位置と予め定められた距離範囲の基準値より短い距離範囲内で撮像された画像を、同じシーンで生成する静止画として選択してよい。他にも、画像分類部２７０は、類似する被写体を含む静止画を、同じシーンで生成する静止画として選択してもよい。

そして、Ｉピクチャ生成部２８２は、主要な静止画３００及び３０１を画像枠３７１に配置して、それぞれＩピクチャ３１０及び３２０を生成する。また、Ｐピクチャ生成部２８４は、静止画３４２を画像枠３７３に配置して、Ｐピクチャ３１５を生成する。また、Ｂピクチャ生成部２８６は、静止画３４１を画像枠３７２に配置して、Ｂピクチャ３１３を生成する。

このとき、同一部分領域特定部２４０は、選択された動画テンプレートにおける画像枠３７１、３７２、３７３の位置及び大きさに基づいて、Ｐピクチャ３１５における画像枠３７１内のマクロブロックであって、画像枠３７２及び３７３を含まないマクロブロック（例えば、マクロブロック３８５）の画像内容は、Ｉピクチャ３１０における同じ位置の部分領域（例えば、部分領域３８０）の画像内容と同一であることを特定する。この結果、Ｐピクチャ生成部２８４は、当該マクロブロックの画像内容を、Ｉピクチャ３１０に対する０の動きベクトルと、０の差分画像信号とによって表現する。

同様に、また、Ｂピクチャ生成部２８６は、Ｂピクチャ３１３における画像枠３７１内のマクロブロックであって、画像枠３７２を含まないマクロブロックの画像内容を、Ｉピクチャ３１０に対する０の動きベクトルと、０の差分画像信号とによって表現する。また、Ｂピクチャ生成部２８６は、画像領域３７２に含まれるマクロブロックの画像内容を、後に再生されるＰピクチャ３１５に対する０の動きベクトルと、０の差分画像信号によって表現することもできる。

以上説明したように、動画生成装置１００は、複数のシーンを定義する動画テンプレートに基づいて、動きベクトルを及び差分画像信号を算出することができる。したがって、動画生成装置１００は、各Ｐピクチャ又はＢピクチャの全画素データを一旦生成してからＭＰＥＧ符号化を行う場合に比べて動画の生成時間を削減することができる。

図４は、ＤＣＴ係数の足し合わせによって静止画が移り変わる動画を生成する生成方法の一例を示す。本図の例では、動画生成部２１４は、図３において説明した静止画３００が表示された状態から、一部の表示領域４５１に図３で説明した静止画３０１が表れてくる動画を生成する。本図の例においては、動画生成装置１００は、静止画３００及び静止画３０１について算出されたＤＣＴ係数を表示領域４５１の画像領域において足し合わせることによってＰピクチャ及びＢピクチャを生成する。

なお、本図の例では、動画において画像上を移動する含む太陽を示すオブジェクトを含んでいるが、移動するオブジェクトを含むマクロブロックの画像内容を生成する方法については図５に関連して説明する。

Ｉピクチャ生成部２８２は、Ｉピクチャ４１０及び４２０を生成する場合に、それぞれのＩピクチャに含まれる各マクロブロックの画像についてＤＣＴ変換を施すことによって、ＤＣＴ係数を算出する。例えば、Ｉピクチャ生成部２８２は、Ｉピクチャ４１０における縦横それぞれ１６画素のマクロブロック４６０における、縦横それぞれ８画素を有する４つのブロックの輝度信号について、ブロック毎にＤＣＴ係数を算出する。また、Ｉピクチャ生成部２８２は、マクロブロック４６０において、Ｃｒ及びＣｂの色差信号のそれぞれについて、縦横それぞれ８画素分のブロックとしてＤＣＴ係数を算出する。同様に、Ｉピクチャ４２０の生成過程において、表示領域４５１に含まれるマクロブロックについても、４つのブロックの輝度信号、並びにＣｒ及びＣｂの色差信号を示すそれぞれのブロックについてＤＣＴ係数がそれぞれ算出される。

そして、Ｐピクチャ４１３の表示領域４５１に含まれるマクロブロック４６５のＤＣＴ係数を算出する場合について具体的に説明すると、マクロブロック４６０のＤＣＴ係数及びマクロブロック４７０のＤＣＴ係数を周波数成分毎に加重平均することによって、マクロブロック４６５の輝度信号並びに色差信号Ｃｒ及びＣｂのＤＣＴ係数を算出する。なお、輝度信号の各ブロックにおけるＤＣＴ係数の平均化は、同じ位置を示すブロックにおけるＤＣＴ係数の平均化であることは言うまでもない。また、言うまでもなく、Ｃｒ信号及びＣｂ信号についても、同じ位置を示すマクロブロックの間でＤＣＴ係数を平均化する。本図の例では、マクロブロック４６０の輝度信号における１つのブロックのＤＣ成分Ｉ４０１と、マクロブロック４７０の輝度信号における１つのブロックのＤＣ成分Ｉ４０２と、それぞれに対する重み付け係数α及びβを用いて、マクロブロック４６５の輝度信号における１つのブロックのＤＣ成分（α×Ｉ４０１＋β×Ｉ４０２）を算出する例が図示されている。

なお、重み付け係数α及びβの決定においては、動画生成部２１４は、連続するＩピクチャ間のピクチャ数ｎがより大きいほど、連続するピクチャに間における重み付け係数の変化量をより小さく設定してよい。例えば、Ｐピクチャ生成部２８４及びＢピクチャ生成部２８６は、静止画３００に対する重み付け係数を、直前のピクチャにおける当該重み付け係数に対して１／（ｎ＋１）ずつ減少させる。また、Ｐピクチャ生成部２８４及びＢピクチャ生成部２８６は、静止画３０１に対する重み付け係数を、直前のピクチャにおける当該重み付け係数に対して１／（ｎ＋１）ずつ増加させる。これにより、動画生成装置１００は、表示領域４５１において静止画３００の画像内容が徐々に消えてゆき、静止画３０１の画像内容が徐々に現れてくる動画を、画素データを生成することなく生成することができる。

以上説明したように動画生成装置１００は、表示領域４７０のマクロブロックの画像内容のＤＣＴ係数を、Ｉピクチャの生成時に算出されたＤＣＴ係数の平均化によって直接的に算出することができる。したがって、各Ｐピクチャ又はＢピクチャの画素データを一旦生成してからＭＰＥＧ符号化を施す場合に比べて、ＭＰＥＧ符号化された動画をより高速に生成することができる。

図５は、オブジェクトの移動を含む動画の生成例を示す。本図の例では、動画生成装置１００は、静止画５００を背景とした太陽を示すオブジェクトの移動を含む動画データを生成する。トランジションデータ取得部２１２は、連続して再生されるピクチャ間における、太陽を示すオブジェクトの座標の差（ベクトルΔＴＶ５０１、５０２、５０３、５０４）をトランジションデータとして取得する。また、トランジションデータにはオブジェクトの初期位置も含まれており、動画生成部２１４は静止画５００のトランジションデータで示されるオブジェクトの初期位置にオブジェクトの画像を重ねて、Ｉピクチャ５３１を生成する。

動画生成部２１４がＰピクチャ及びＢピクチャを生成する動作の一例を、Ｐピクチャ５３４を生成する場合の動作を例に挙げて説明すると、同一部分領域特定部２４０は、トランジションデータで示される各ベクトルΔＴＶを、Ｉピクチャ５３１から順に加算していくことによって、当該Ｉピクチャ５３１との間のオブジェクトの位置の差を示すオブジェクト移動ベクトルＶ５１４を算出する。本図の例では、オブジェクト移動ベクトルＴＶ５１４は、ΔＴＶ５０１＋ΔＴＶ５０２＋ΔＴＶ５０３で表現することができる。他にも、トランジションデータ取得部２１２は、オブジェクトの速度の時間依存データを取得してもよく、Ｉピクチャからの時間的な積分によってオブジェクトが移動したオブジェクト移動ベクトルを算出してもよい。

また、Ｐピクチャ５３４におけるオブジェクトの位置、オブジェクトの輪郭情報、及びマクロブロックの位置とから、オブジェクトの輪郭を含むマクロブロック（例えば、マクロブロック５７１、５７２、５７３、及び５７４）を特定することができる。そして、同一部分領域特定部２４０は、例えばＰピクチャ５３４におけるオブジェクトと背景の境界部分の近傍の領域５８０において、オブジェクトに全領域が含まれるマクロブロック５６１、５６２、及び５６３は、それぞれオブジェクト移動ベクトルＴＶ５１４の逆向きにずらした位置のＩピクチャ５３１における部分領域５５１、５５２、５５３と同一の画像内容となると判断する。

また、領域５８０において、動画生成部２１４は、Ｐピクチャ５３４におけるオブジェクトの位置、オブジェクトの輪郭情報、及びマクロブロックの位置とから、オブジェクトの輪郭を含むマクロブロック５７１、５７２、５７３、及び５７４を特定する。そして、動画生成部２１４は、このオブジェクトの輪郭を含むマクロブロック５７１、５７２、５７３、及び５７４の、オブジェクトより外側の周囲に存在するマクロブロック（例えば、マクロブロック５８１）は、全領域が背景に含まれると判断する。このような、全領域が背景に含まれるマクロブロックの画像内容は、Ｉピクチャ５３１における当該マクロブロックの範囲内にオブジェクトが含まれない限り、そのマクロブロックの範囲のＩピクチャ５３１の画像内容（背景の画像）と同一となる。したがって、全領域が背景に含まれるマクロブロックの画像内容は、０の動きベクトルと、０の差分画像信号によって表現することができる。

また、動画生成部２１４は、オブジェクトの輪郭を含むマクロブロック（例えば、マクロブロック５７２）を、背景画像とオブジェクトの画像とを合成することによって生成してよい。例えば、動画生成部２１４は、マクロブロック５７２におけるオブジェクトを含む領域５９１のオブジェクトの画像（例えば、Ｉピクチャ５３１における画像５４１の部分）と、Ｉピクチャ５３１におけるマクロブロック５７２で示される範囲の画像内容のうちの、オブジェクトの領域５９１以外の領域５４２の画像とを合成することによって、マクロブロック５７２の画像を生成することができる。

また、動画生成部２１４は、マクロブロック５７２の画像内容を、差分画像及び動きベクトルを用いて表現してもよい。例えば、動画生成部２１４は、オブジェクトの領域５９１の面積を算出して、マクロブロックの面積に対する領域５９１の面積の比が予め定められた値（例えば、０．５）より大きい場合に、動画構成画像５３１（Ｉピクチャ）の部分領域５５４との差分画像信号を生成し、生成した差分画像信号と、当該マクロブロックとの間のオブジェクト移動ベクトルによって、マクロブロック５７２の画像内容を表現してよい。また、動画生成部２１４は、マクロブロックの面積に対する領域５９１の面積の比が予め定められた値以下（例えば、０．５以下）である場合には、マクロブロック５７２の位置における動画構成画像５３１（Ｉピクチャ）の部分領域５５５との差分画像信号を生成し、生成した差分画像信号と０の動きベクトルとによってマクロブロック５７２の画像内容を表現してよい。このように、動画生成装置１００は、ブロックマッチングを行うことなく、トランジションデータに基づいて容易に類似する部分領域を特定することができる。

なお、動画生成部２１４は、境界線を含むマクロブロック５７２の画像内容を、上記のように画像の合成から生成する方法の他に、境界線の近傍のＤＣＴ係数の周波数成分毎の平均化によって生成することもできる。例えば、動画生成部２１４は、マクロブロック５５４及び５５５の各ブロックについて計算されたＤＣＴ係数を、周波数成分毎に加重平均することによって、マクロブロックの、輝度信号、並びに色差信号Ｃｒ及びＣｂのＤＣＴ係数を算出してよい。なお、マクロブロックにおけるＤＣＴ係数の平均化は、図４に関連して説明した平均化処理と同様の処理によって得ることができるので説明を省略する。

このように、動画生成装置１００は、境界部を含むマクロブロックの画像内容のＤＣＴ係数を、予め計算されたＤＣＴ係数の平均化によって直接的に算出することができる。したがって、動画生成装置１００は、画素データからＤＣＴ変換を施す場合に比べて、境界部を含むマクロブロックの画像内容のＤＣＴ係数をより高速に生成することができる。なお、このようなＤＣＴ係数の平均化によって得られる画像は、背景とオブジェクトとが重ね合わされた画像となるので、例えば背景画像をオブジェクトが移動する画像において、オブジェクトと背景の境界部分が正確に表現された画像にはならない。しかし、動画の閲覧者の目には、移動するオブジェクトの周囲に背景の画像とオブジェクトの画像とが残像として残るので、動くオブジェクトはぼやけて見える。このため、オブジェクトの輪郭を含むマクロブロックの画像が、背景とオブジェクトとが重畳された画像となっても、閲覧者は違和感を感じることなく動画を閲覧することができる。

以上説明したように、動画生成装置１００は、トランジションデータで示されるオブジェクトの移動情報の加算によって、同一の画像内容である画像を容易に特定することができる。このため、一旦動画構成画像の画素データを生成する場合に比べて、ＭＰＥＧ圧縮された動画をより迅速に生成することができる。特に、動画生成装置１００によると、動きベクトルを算出するためのブロックマッチング等に相当する処理を、オブジェクトの移動情報の加算によって実現することができるので、動きベクトルをより高速に算出することができる。なお、トランジションデータで示されるオブジェクトの移動は、基準となる動画構成画像（例えば、Ｉピクチャ又はＰピクチャ）におけるオブジェクトの位置と他のＢピクチャ、Ｐピクチャにおけるオブジェクトの位置の差が、１／２画素を最小単位とする値となることが望ましい。この場合、オブジェクトに全画像領域が含まれるマクロブロックについては、動きベクトルがオブジェクト移動ベクトルと同一であり、かつ、０の差分画像信号で表現することができるので、動画をより高い圧縮率で圧縮することができるとともに、動画をより高速に生成することができる。

図６は、動画生成装置１００の他の実施形態におけるブロック構成の一例を示す。動画生成装置１００は、画像格納部６１０、トランジションデータ取得部６１２、動画生成部６１４、及び画像出力部６０５を備える。動画生成部６１４は、動画構成画像生成部６８０、ピクチャ種別決定部６６０、ＤＣＴ係数量子化部６９２、及び符号化部６９４を有する。動画構成画像生成部６８０は、Ｉピクチャ生成部６８２、Ｐピクチャ生成部６８４、及びＢピクチャ生成部６８６を含む。本実施形態の動画生成装置１００は、複数の静止画が移り変わるＭＰＥＧ符号化された動画を生成する。本実施形態の動画生成装置１００は特に、トランジションデータに基づいてＩピクチャ又はＰピクチャの挿入タイミングを決定する。なお、動画生成装置１００の利用環境は、図１で説明した利用環境と同様であるので説明を省略する。また、ＤＣＴ係数量子化部６９２及び符号化部６９４の機能及び動作は、それぞれ、図１から図５に関連して説明したＤＣＴ係数量子化部２９２及び符号化部２９４の機能及び動作と略同一であるので説明を省略する。

画像格納部２１０は複数の静止画を格納する。トランジションデータ取得部６１２は、複数の静止画をどのように移り変わらせるかを示すトランジションデータを取得する。そして、動画生成部６１４は、トランジションデータ取得部６１２が取得したトランジションデータに基づいて、画像格納部２１０が格納している複数の静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含むＭＰＥＧ符号化された動画を生成する。そして、画像出力部６０５は、動画生成部６１４が生成した動画を、動画生成装置１００の外部に出力する。例えば、画像出力部２０５は、ＤＶＤ１５０等の記録媒体に動画を出力する。

ピクチャ種別決定部６６０は、トランジションデータ取得部６１２が取得したトランジションデータに基づいて、生成する動画に含まれる複数の動画構成画像の種類を決定する。そして、動画構成画像生成部６８０は、トランジションデータ取得部６１２が取得したトランジションデータに基づいて、画像格納部６１０が格納している複数の画像からピクチャ種別決定部６６０が決定した種類の動画構成画像を生成する。

具体的には、ピクチャ種別決定部６６０は、トランジションデータ取得部６１２が取得したトランジションデータに基づいて、生成する動画に含まれる複数の動画構成画像のうちのいずれの動画構成画像をＩピクチャとするかを決定する。そして、Ｉピクチャ生成部６８２は、ピクチャ種別決定部６６０がＩピクチャとする旨を決定した動画構成画像を、トランジションデータ取得部６１２が取得したトランジションデータに基づいて、静止画からＩピクチャとして生成する。そして、Ｐピクチャ生成部６８４は、トランジションデータ取得部６１２が取得したトランジションデータ及びＩピクチャ生成部６８２が生成したＩピクチャに基づいて、当該Ｉピクチャの後に再生されるＰピクチャを静止画から生成する。また、Ｂピクチャ生成部６８６は、トランジションデータ取得部６１２が取得したトランジションデータ、並びにＩピクチャ生成部６８２が生成したＩピクチャ又はＰピクチャ生成部６８４が生成したＰピクチャに基づいて、Ｉピクチャ又はＰピクチャの間に再生されるＢピクチャを静止画から生成する。このように、ピクチャ種別決定部６６０は、トランジションデータ取得部６１２が取得したトランジションデータに基づいてピクチャ種別を決定するので、動画を構成する動画構成画像の画像データを生成してから各ピクチャを生成する場合に比べて、効率的に動画を生成することができる。

より具体的には、ピクチャ種別決定部６６０は、トランジションデータ取得部６１２が取得したトランジションデータに基づいて、Ｉピクチャ生成部６８２が生成したＩピクチャと、当該Ｉピクチャの後に再生される動画構成画像との間において変化する領域の面積を算出して、算出した面積が予め定められた面積より大きい動画構成画像を、当該Ｉピクチャの次のＩピクチャとする旨を決定する。このようにして、ピクチャ種別決定部６６０は、例えば動画におけるシーンの変わり目の動画構成画像をＩピクチャとする旨を決定する。したがって、動画生成装置１００は、前に再生される動画構成画像と画像内容が大きく変化する動画構成画像との間においては、画像のマッチングをすることなく、その動画構成画像をＩピクチャとする旨を迅速に決定することができる。

例えば、トランジションデータ取得部６１２は、静止画又は他の動画構成画像を背景として移動するオブジェクトの移動を示すトランジションデータを取得する。この場合、ピクチャ種別決定部６６０は、トランジションデータ取得部６１２が取得したトランジションデータに基づいて、Ｉピクチャ生成部６８２が生成したＩピクチャと、当該Ｉピクチャの後に再生される動画構成画像との間において、移動するオブジェクト以外の画像領域において変化する領域の面積を算出して、算出した変化する領域の面積が予め定められた面積より大きい動画構成画像を、当該Ｉピクチャの次のＩピクチャとする旨を決定する。先の実施形態において説明したように、移動するオブジェクトを全域に含むマクロブロックは、移動ベクトル及び０の差分画像信号で表現することができる。ピクチャ種別決定部６６０は、そのような領域を変化する面積に組み入れないことによって、Ｉピクチャとするか否かをより的確に決定することができる。

ピクチャ種別決定部６６０は、トランジションデータ取得部６１２が取得したトランジションデータに基づいて、移動する同一のオブジェクトを含む連続して再生される複数の動画構成画像のうち、移動するオブジェクトを最も大きく含む動画構成画像を特定し、特定した動画構成画像をＩピクチャとする旨を決定する。移動するオブジェクトを大きく含む動画構成画像をＩピクチャとすることによって、その後（又は後）に再生される、当該オブジェクトを含む動画構成画像を生成する場合に、当該Ｉピクチャを参照する移動ベクトル及び０の差分画像信号で表現することができる領域の面積を高めることができる。

なお、ピクチャ種別決定部６６０は、トランジションデータ取得部６１２が取得したトランジションデータに基づいて、Ｉピクチャ生成部６８２が生成したＩピクチャ又はＰピクチャ生成部６８４が生成したＰピクチャと、当該Ｉピクチャ又はＰピクチャの後に再生される動画構成画像との間において変化する領域の面積を算出して、算出した面積が予め定められた面積より大きい動画構成画像を、当該Ｉピクチャ又はＰピクチャの次のＩピクチャ又はＰピクチャとする旨を決定する。そして、Ｐピクチャ生成部６８４は、ピクチャ種別決定部６６０がＰピクチャとする旨を決定した動画構成画像を、トランジションデータ取得部６１２が取得したトランジションデータに基づいて、静止画からＰピクチャとして生成する。このため、動画生成装置１００は、前に再生される動画構成画像と画像内容が大きく変化する動画構成画像との間で画像のマッチングをすることなく、Ｂピクチャが参照するＩピクチャ又はＰピクチャを挿入するタイミングを迅速に決定することができる。

トランジションデータ取得部６１２は、静止画又は他の動画構成画像を背景として移動するオブジェクトの移動を示すトランジションデータを取得した場合には、ピクチャ種別決定部６６０は、トランジションデータ取得部６１２が取得したトランジションデータに基づいて、Ｉピクチャ生成部６８２が生成したＩピクチャ又はＰピクチャ生成部６８４が生成したＰピクチャと、当該Ｉピクチャ又はＰピクチャの後に再生される動画構成画像との間において、移動するオブジェクト以外の画像領域において変化する領域の面積を算出する。そして、ピクチャ種別決定部６６０は、算出した面積が予め定められた面積より大きい動画構成画像を、当該Ｉピクチャ又はＰピクチャの次のＩピクチャ又はＰピクチャとする旨を決定する。

また、ピクチャ種別決定部６６０は、トランジションデータ取得部６１２が取得したトランジションデータに基づいて、移動する同一のオブジェクトを含む連続して再生される複数の動画構成画像のうち、移動するオブジェクトを最も大きく含む動画構成画像を特定し、特定した動画構成画像をＩピクチャ又はＰピクチャとする旨を決定する。このように、動画生成装置１００は、Ｂピクチャが参照するＩピクチャ又はＰピクチャの挿入タイミングを迅速に決定することができる。

また、ピクチャ種別決定部６６０は、トランジションデータ取得部６１２が取得したトランジションデータに基づいて、Ｉピクチャ生成部６８２が生成した第１のＩピクチャ又はＰピクチャ生成部６８４が生成した第１のＰピクチャにおける移動するオブジェクトの領域の背景を含む、第１のＩピクチャ又は第１のＰピクチャの後に再生される動画構成画像を特定し、特定した動画構成画像を、当該第１のＩピクチャ又は第１のＰピクチャの次の第２のＩピクチャ又は第２のＰピクチャとする旨を決定する。そして、Ｂピクチャ生成部６８６は、トランジションデータ取得部６１２が取得したトランジションデータに基づいて、第１のＩピクチャ又は第１のＰピクチャと第２のＩピクチャ又は第２のＰピクチャとの間に再生されるＢピクチャを生成する。このため、Ｂピクチャ生成部６８６は、オブジェクトを含む画像領域については第１のＩピクチャ又は第１のＰピクチャを参照し、オブジェクトの背景となる画像領域については第２のＩピクチャ又は第２のＰピクチャを参照すればよいので、その間の動画構成画像をＢピクチャとして生成することによって、データの圧縮率を高めることができる。

図７は、画像の入れ替わりを示すトランジションデータから基づいてピクチャ種別決定部によって決定されたピクチャ種別の一例を示す。トランジションデータ取得部６１２は、一の画像７０１（ＩＭＧ７０１）を表示領域の全域に表示し始めてから所定の時間ｔ７００経過した後に、画像７０１とは異なる一の画像７０２（ＩＭＧ７０２）を表示領域の全域に表示する旨を示すトランジションデータを取得する。時間ｔ７００は、例えば動画構成者によって指定されてよいし、動画のテンプレートとして当該時間が予め定められていてもよい。そしてピクチャ種別決定部６６０は、予め定められた動画のフレームレート及び時刻ｔ７００から動画構成画像７１１〜７２０の枚数を決定して、それぞれのピクチャの種別を決定する。

この場合、ピクチャ種別決定部６６０は、取得したトランジションデータから、動画構成画像７２１において、Ｉピクチャである動画構成画像７１１からの変化した面積が最大となると判断し、動画構成画像７２１をＩピクチャとする旨を決定する。このとき、ピクチャ種別決定部６６０は、動画構成画像７２１が表示されるタイミングで表示領域の全域に表示する画像が変わるというトランジションデータに基づいて、そのタイミングで表示領域の全域が変化する旨を判断しており、画像７０１と画像７０２の画像内容を比較することによって変化している領域の面積を算出しているわけではない。したがって、ピクチャ種別決定部６６０は、画像内容をマッチング等によって比較する場合に比べて迅速にそのＩピクチャを挿入するタイミングを決定することができる。

そして、ピクチャ種別決定部６６０は、そのＩピクチャである動画構成画像７１１と動画構成画像７２１との間の動画構成画像を、Ｐピクチャ又はＢピクチャとする旨を決定する。なお、ピクチャ種別決定部６６０は、当該Ｉピクチャの間の動画構成画像７１２〜７２０の全てをＰピクチャとする旨を決定してよいし、連続してＢピクチャを２つ挿入する毎にＰピクチャを１つ挿入する等、任意のタイミングでＰピクチャ又はＢピクチャを挿入する旨を決定してよい。なお、本図の例では、動画構成画像７１２〜７２０の間では表示内容が変化しないので、それらがＢピクチャ及びＰピクチャのいずれの種類で生成される場合であっても、それらはＩピクチャである動画構成画像７１１を参照して０の移動ベクトル及び０の差分画像信号で表現され得る。

なお、ピクチャ種別決定部６６０は、Ｉピクチャとして生成される動画構成画像７２１の直前の動画構成画像７２０をＰピクチャとする旨を決定してもよい。この場合、動画生成装置１００が動画を生成した後で、Ｉピクチャである動画構成画像７２１から次のＩピクチャの直前の動画構成画像までの動画の一部をカットする場合には、その一連の動画構成画像を動画から除くことによって編集することができ、再度エンコードする必要がない。

図８は、オブジェクトが移動するトランジションデータからピクチャ種別決定部が決定するピクチャ種別の一例を示す。トランジションデータ取得部６１２は、一の画像８０１（ＩＭＧ８０１）を表示領域の全域に表示した後に、一の画像８０２（ＩＭＧ８０２）が画像８０１を背景として移動する旨を示すトランジションデータを取得する。そして、トランジションデータ取得部６１２は、図５に関連して説明したような、トランジションデータを取得する。なお、このようなトランジションデータは、例えば動画構成者によって指定された画像の移動速度に基づいてトランジションデータ取得部６１２が取得してよいし、動画のテンプレートとして画像の移動速度が予め定められていてもよい。そしてピクチャ種別決定部６６０は、予め定められた動画のフレームレート及び移動速度から動画構成画像８１１〜８２３における画像８０２の位置を決定して、決定した画像８０２の位置に基づいてそれぞれのピクチャの種別を決定する。

この場合、ピクチャ種別決定部６６０は、一連の動画構成画像８１２〜８２３のうち、Ｉピクチャである動画構成画像８１１に対して変化する領域の面積が最大となる動画構成画像８２０〜８２３を特定する。或いはピクチャ種別決定部６６０は、移動する画像８０２の面積の大きさを判断基準として、移動する画像８０２を最も大きく含む動画構成画像８２０〜８２３を特定してもよい。そして、ピクチャ種別決定部６６０は、特定した動画構成画像８２０〜８２３の中で最も早いタイミングで表示される動画構成画像８２０をＩピクチャとする旨を決定してよい。そして、ピクチャ種別決定部６６０は、その後に表示される動画構成画像８２１〜８２３のうち、動画構成画像８２０に含まれる画像８０２の背景領域の画像を含む動画構成画像８２３を特定して、動画構成画像８２３を、Ｉピクチャである動画構成画像８２０の次のＰピクチャとして決定する。そして、ピクチャ種別決定部６６０は、その間に表示される動画構成画像８２１及び８２２をＢピクチャとする旨を決定する。これにより、動画構成画像８２１及び８２２は、Ｉピクチャである動画構成画像８２０及びＰピクチャである動画構成画像８２３を参照して、移動ベクトル及び０の差分画像信号で表現され得る。ただし、画像８０２と画像８０１との境界を含むマクロブロックが存在する場合には、そのマクロブロックを移動ベクトル及び０の差分画像信号で表現することはできないが、大半の画像領域において移動ベクトル及び０の差分画像信号で表現され得る。

図９は、画像の入れ替わりを示すトランジションデータからピクチャ種別決定部が決定したピクチャ種別の一例を示す。トランジションデータ取得部６１２は、一の画像９０１（ＩＭＧ９０１）を表示領域の全域に表示した後に、一の画像９０２（ＩＭＧ９０２）が表示領域の右方から現れる旨を示すトランジションデータを取得する。なお、この画像の入れ替わりが、画像９０２が表示領域の右方から９０１を背景として移動によって入れ替わる場合には、図８のトランジションデータと同様に、トランジションデータ取得部６１２は、画像９０１を背景とする画像９０２の移動を示すトランジションデータを取得することができる。

他にも、トランジションデータ取得部６１２は、画像９０１が表示領域の左方向に移動しつつ、画像９０２が表示領域の右方向から移動しながら現れる入れ替わりパターン、画像９０１及び画像９０２が表示領域に対する位置が時間的に固定されていて、表示領域に表示される画像９０２の領域の面積が増加していく入れ替わりパターン等、様々な入れ替わりパターンを示すトランジションデータを取得してよい。なお、トランジションデータ取得部６１２は、動画作成者が様々な入れ替わりパターンの中から一の入れ替わりパターンを指定することによって、その入れ替わりパターンを示すトランジションデータを取得してよい。

上記で説明した入れ替わりパターンのように、全表示領域で表示される画像が入れ替わる場合は、ピクチャ種別決定部６６０は、Ｉピクチャである動画構成画像９１１に対して、変化する領域の面積が最大となる動画構成画像９２０をＩピクチャとして決定してよい。このとき、動画構成画像９１２〜９１９は、Ｉピクチャである動画構成画像９１１及び９２０を参照して、移動ベクトル及び０の差分画像信号によって表現され得る（ただし、前述のように、画像９０１と画像９０２との境界を含むマクロブロックが存在する場合には、そのマクロブロックを移動ベクトル及び０の差分画像信号で表現することはできないが、大半の画像領域において移動ベクトル及び０の差分画像信号で表現され得る。）また、入れ替わりパターンによっては、０の移動ベクトルで表現されるマクロブロックが存在するが、そのマクロブロックはトランジションデータから直接的に特定することができる。

図１０は、画像の入れ替わりを示す他のトランジションデータからピクチャ種別決定部が決定するピクチャ種別の一例を示す。トランジションデータ取得部６１２は、一の画像１００１（ＩＭＧ１００１）を表示領域の全域に表示した後に、画像が徐々にフェードアウトしていき、画像が一旦完全に消えた後に（例えば、全域が真っ白なフレーム画像を一旦表示した後に）、画像１００２（ＩＭＧ１００２）が徐々にフェードインしてくる旨を示すトランジションデータを取得する。例えば、トランジションデータ取得部６１２は、画像１００１のフェードアウトの速さ、及び画像１００２のフェードインの速さを示すトランジションデータを取得する。そして、ピクチャ種別決定部６６０は、予め定められた動画のフレームレート並びにフェードイン及びフェードアウトの速さに基づいて、生成される動画構成画像１０１２〜１０３１のピクチャの種別を決定する。

本図の例では、動画構成画像１０１２〜１０３１にわたって、全ての画像領域が変化する。この場合、ピクチャ種別決定部６６０は、トランジションデータによって示される画像の変化量に基づいてピクチャ種別を決定する。例えば、画像１００１がフェードアウトしていく様子を示す動画構成画像は、画像１００１と他の重ね合わせ画像（例えば、輝度値が全画像領域において一定の画像）とを所定の強度で重ね合わせることによって生成され得る。例えば、ピクチャ種別決定部６６０は、トランジションデータが示すフェードアウトの速度に基づいて、動画構成画像１０１２は画像１００１と重ね合わせ画像とを９：１の強度の割合で重ね合わせることによって生成され、動画構成画像１０１２は画像１００１と重ね合わせ画像とを８：２の強度の割合で重ね合わせることによって生成される旨を決定する。この場合、ピクチャ種別決定部６６０は、重ね合わせ画像の強度の割合を、画像の変化量の指標としてよい。そして、ピクチャ種別決定部６６０は、画像１０１１との重ね合わせ比率が０：１０となる動画構成画像１０２１を、Ｉピクチャとする旨を決定する。

なお、ピクチャ種別決定部６６０は、前のＩピクチャ又はＰピクチャから予め定められた変化量以上変化した動画構成画像を、Ｐピクチャ又はＩピクチャとして決定してもよい。これにより、決定したＰピクチャ又はＩピクチャが示す画像と、その後の動画構成画像が示す画像との間の差分画像信号の強度を低減させることができるので、画像の圧縮率を高めることができる。

なお、画像１００２のフェードインしていく様子を示す動画構成画像は、重ね合わせ画像と画像１００２とを所定の強度で重ね合わせることによって生成され得るので、画像１００２の強度の割合を指標とする画像の変化量が所定量変化した動画構成画像（例えば、動画構成画像１０３１）を、Ｉピクチャ又はＰピクチャとする旨を決定することができる。

以上、図７から図１０に関連して、画像の移り変わりにおけるピクチャ種別の決定方法を、いくつか具体例を挙げて説明した。上記で説明したように、ピクチャ種別決定部６６０は、実際に使用される画像の画像内容を考慮することなく、トランジションデータによってピクチャ種別を決定する。したがって、動画生成装置１００は、より高い圧縮率の動画をより迅速に生成することができるＩピクチャ及びＰピクチャの挿入タイミングを決定することができる。なお、動画生成装置１００は、図１から図５に関連して説明した動画生成装置１００の機能及び構成と、図６から図１０に関連して説明した動画生成装置１００の機能及び構成とを組み合わせた機能及び構成を有してよい。

図１１は、動画生成装置１００のハードウェア構成の一例を示す。動画生成装置１００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、動画生成装置１００が起動時に実行するブート・プログラムや、動画生成装置１００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。

ＣＰＵ１５０５により実行されるプログラムは、動画生成装置１００を、図１から図５に関連して説明した指示入力部２００、画像出力部２０５、画像格納部２１０、トランジションデータ取得部２１２、動画テンプレート格納部２１６、及び動画生成部２１４として機能させる。そして、当該プログラムは、動画生成部２１４を、図１から図５に関連して説明した同一部分領域特定部２４０、動きベクトル算出部２５０、画像分類部２７０、動画構成画像生成部２８０、及び動画構成画像生成部２８０として機能させ、動画構成画像生成部２８０を、図１から図５に関連して説明したＩピクチャ生成部２８２、Ｐピクチャ生成部２８４、及びＢピクチャ生成部２８６として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、動画生成装置１００を、図６から図１０に関連して説明した画像格納部６１０、トランジションデータ取得部６１２、動画生成部６１４、及び画像出力部６０５として機能させる。そして、当該プログラムは、動画生成部６１４を、図６から図１０に関連して説明した動画構成画像生成部６８０、ピクチャ種別決定部６６０、ＤＣＴ係数量子化部６９２、及び符号化部６９４として機能させ、動画構成画像生成部６８０を、図６から図１０に関連して説明したＩピクチャ生成部６８２、Ｐピクチャ生成部６８４、及びＢピクチャ生成部６８６として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムを動画生成装置１００に提供してもよい。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

動画生成装置１００の利用環境の一例を示す図である。 動画生成装置１００のブロック構成の一例を示す図である。 動画生成装置１００が生成する動画の一例を示す図である。 ＤＣＴ係数の足し合わせによる動画生成方法の一例を示す図である。 オブジェクトの移動を含む動画の生成例を示す図である。 動画生成装置１００のブロック構成の一例を示す図である。 画像の入れ替わりを示すトランジションデータから決定されたピクチャ種別の一例を示す図である。 オブジェクトの移動を示すトランジションデータから決定されたピクチャ種別の一例を示す図である。 画像の入れ替わりを示すトランジションデータから決定されたピクチャ種別の他の一例を示す図である。 画像の入れ替わりを示すトランジションデータから決定されたピクチャ種別の他の一例を示す図である。 動画生成装置１００のハードウェア構成の一例を示す図である。

符号の説明

１００ 動画生成装置
１１０ 撮像装置
１３０ 動画データ
１５０ ＤＶＤ
１７０ デジタルフォトショップ
１９０ ユーザ
２００ 指示入力部
２０５ 画像出力部
２１０ 画像格納部
２１２ トランジションデータ取得部
２１４ 動画生成部
２１６ 動画テンプレート格納部
２４０ 同一部分領域特定部
２５０ 動きベクトル算出部
２６０ 主要静止画選択部
２７０ 画像分類部
２８２ Ｉピクチャ生成部
２８４ Ｐピクチャ生成部
２８６ Ｂピクチャ生成部
２９２ ＤＣＴ係数量子化部
２９４ 符号化部
６１０ 画像格納部
６１２ トランジションデータ取得部
６１４ 動画生成部
６６０ ピクチャ種別決定部
６８０ 動画構成画像生成部
６８２ Ｉピクチャ生成部
６８４ Ｐピクチャ生成部
６８６ Ｂピクチャ生成部
６９２ 量子化部
６９４ 符号化部
６０５ 画像出力部

Claims (13)

1. 複数の静止画が移り変わるＭＰＥＧ符号化された動画を生成する動画生成装置であって、
   複数の静止画をどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得部と、
   前記トランジションデータに基づいて、前記複数の静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含むＭＰＥＧ符号化された動画を生成する動画生成部と
   を備え、
   前記動画生成部は、
   前記トランジションデータに基づいて、生成する動画に含まれる複数の動画構成画像のうちのいずれの動画構成画像をＩピクチャとするかを決定するピクチャ種別決定部と、
   前記ピクチャ種別決定部がＩピクチャとする旨を決定した動画構成画像を、前記トランジションデータに基づいて、Ｉピクチャとして生成するＩピクチャ生成部と、
   前記トランジションデータ及び前記Ｉピクチャ生成部が生成したＩピクチャに基づいて、当該Ｉピクチャの後に再生されるＰピクチャを生成するＰピクチャ生成部と
   を有し、
   前記ピクチャ種別決定部は、前記トランジションデータに基づいて、前記Ｉピクチャ生成部が生成したＩピクチャと、当該Ｉピクチャの後に再生される動画構成画像との間において変化する領域の面積を算出して、算出した面積が予め定められた面積より大きい動画構成画像を、当該Ｉピクチャの次のＩピクチャとする旨を決定する動画生成装置。
2. 前記トランジションデータ取得部は、静止画又は他の動画構成画像を背景として移動するオブジェクトの移動を示すトランジションデータを取得し、
   前記ピクチャ種別決定部は、前記トランジションデータに基づいて、前記Ｉピクチャ生成部が生成したＩピクチャと、当該Ｉピクチャの後に再生される動画構成画像との間において、移動するオブジェクト以外の画像領域において変化する領域の面積を算出して、算出した変化する領域の面積が予め定められた面積より大きい動画構成画像を、当該Ｉピクチャの次のＩピクチャとする旨を決定する
   請求項１に記載の動画生成装置。
3. 前記ピクチャ種別決定部は、前記トランジションデータに基づいて、移動する同一のオブジェクトを含む連続して再生される複数の動画構成画像のうち、移動するオブジェクトを最も大きく含む動画構成画像を特定し、特定した動画構成画像をＩピクチャとする旨を決定する
   請求項２に記載の動画生成装置。
4. 前記ピクチャ種別決定部は、前記特定した動画構成画像のうち最も早いタイミングで表示される動画構成画像をＩピクチャとする旨を決定する
   請求項３に記載の動画生成装置。
5. 前記動画生成部は、
   前記トランジションデータ取得部が取得したトランジションデータ、並びに前記Ｉピクチャ生成部が生成したＩピクチャ又は前記Ｐピクチャ生成部が生成したＰピクチャに基づいて、Ｉピクチャ又はＰピクチャの間に再生されるＢピクチャを静止画から生成するＢピクチャ生成部
   をさらに有する請求項１から４のいずれか１項に記載の動画生成装置。
6. 複数の静止画が移り変わるＭＰＥＧ符号化された動画を生成する動画生成装置であって、
   複数の静止画をどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得部と、
   前記トランジションデータに基づいて、前記複数の静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含むＭＰＥＧ符号化された動画を生成する動画生成部と
   を備え、
   前記動画生成部は、
   前記トランジションデータに基づいて、生成する動画に含まれる複数の動画構成画像のうちのいずれの動画構成画像をＩピクチャとするかを決定するピクチャ種別決定部と、
   前記ピクチャ種別決定部がＩピクチャとする旨を決定した動画構成画像を、前記トランジションデータ取得部が取得したトランジションデータに基づいて、Ｉピクチャとして生成するＩピクチャ生成部と、
   前記トランジションデータ及び前記Ｉピクチャ生成部が生成したＩピクチャに基づいて、当該Ｉピクチャの後に再生されるＰピクチャを生成するＰピクチャ生成部と
   を有し、
   前記ピクチャ種別決定部は、前記トランジションデータに基づいて、前記Ｉピクチャ生成部が生成したＩピクチャ又は前記Ｐピクチャ生成部が生成したＰピクチャと、当該Ｉピクチャ又はＰピクチャの後に再生される動画構成画像との間において変化する領域の面積を算出して、算出した面積が予め定められた面積より大きい動画構成画像を、当該Ｉピクチャ又はＰピクチャの次のＩピクチャ又はＰピクチャとする旨を決定し、
   前記Ｐピクチャ生成部は、前記ピクチャ種別決定部がＰピクチャとする旨を決定した動画構成画像を、Ｐピクチャとして生成する
   動画生成装置。
7. 前記トランジションデータ取得部は、静止画又は他の動画構成画像を背景として移動するオブジェクトの移動を示すトランジションデータを取得し、
   前記ピクチャ種別決定部は、前記トランジションデータに基づいて、前記Ｉピクチャ生成部が生成したＩピクチャ又は前記Ｐピクチャ生成部が生成したＰピクチャと、当該Ｉピクチャ又はＰピクチャの後に再生される動画構成画像との間において、移動するオブジェクト以外の画像領域において変化する領域の面積を算出して、算出した面積が予め定められた面積より大きい動画構成画像を、当該Ｉピクチャ又はＰピクチャの次のＩピクチャ又はＰピクチャとする旨を決定する
   請求項６に記載の動画生成装置。
8. 前記ピクチャ種別決定部は、前記トランジションデータに基づいて、移動する同一のオブジェクトを含む連続して再生される複数の動画構成画像のうち、移動するオブジェクトを最も大きく含む動画構成画像を特定し、特定した動画構成画像をＩピクチャ又はＰピクチャとする旨を決定する
   請求項７に記載の動画生成装置。
9. 前記ピクチャ種別決定部は、前記特定した動画構成画像のうち最も早いタイミングで表示される動画構成画像を前記Ｉピクチャとする旨を決定する
   請求項８に記載の動画生成装置。
10. 前記動画生成部は、
    前記トランジションデータ、並びに前記Ｉピクチャ生成部が生成したＩピクチャ又は前記Ｐピクチャ生成部が生成したＰピクチャに基づいて、Ｉピクチャ又はＰピクチャの間に再生されるＢピクチャを生成するＢピクチャ生成部をさらに有し、
    前記ピクチャ種別決定部は、前記トランジションデータに基づいて、前記Ｉピクチャ生成部が生成した第１のＩピクチャ又は前記Ｐピクチャ生成部が生成した第１のＰピクチャにおける移動するオブジェクトの領域の背景を含む、第１のＩピクチャ又は第１のＰピクチャの後に再生される動画構成画像を特定し、特定した動画構成画像を、当該第１のＩピクチャ又は第１のＰピクチャの次の第２のＩピクチャ又は第２のＰピクチャとする旨を決定し、
    前記Ｂピクチャ生成部は、前記トランジションデータに基づいて、第１のＩピクチャ又は第１のＰピクチャと第２のＩピクチャ又は第２のＰピクチャとの間に再生されるＢピクチャを生成する
    請求項６から９のいずれか１項に記載の動画生成装置。
11. コンピュータを、請求項１から１０のいずれか１項に記載の動画生成装置として機能させるためのプログラム。
12. 複数の静止画が移り変わるＭＰＥＧ符号化された動画を生成する動画生成方法であって、
    複数の静止画をどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得段階と、
    前記トランジションデータに基づいて、前記複数の静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含むＭＰＥＧ符号化された動画を生成する動画生成段階と
    を備え、
    前記動画生成段階は、
    前記トランジションデータに基づいて、生成する動画に含まれる複数の動画構成画像のうちのいずれの動画構成画像をＩピクチャとするかを決定する第１のピクチャ種別決定段階と、
    前記第１のピクチャ種別決定段階においてＩピクチャとする旨が決定された動画構成画像を、前記トランジションデータに基づいて、Ｉピクチャとして生成するＩピクチャ生成段階と、
    前記トランジションデータ及び前記Ｉピクチャ生成段階において生成されたＩピクチャに基づいて、当該Ｉピクチャの後に再生されるＰピクチャを生成するＰピクチャ生成段階と
    前記Ｉピクチャ生成段階において生成されたＩピクチャと、当該Ｉピクチャの後に再生される動画構成画像との間において変化する領域の面積を算出して、算出した面積が予め定められた面積より大きい動画構成画像を、当該Ｉピクチャの次のＩピクチャとする旨を決定する第２のピクチャ種別決定段階と
    を有する動画生成方法。
13. 複数の静止画が移り変わるＭＰＥＧ符号化された動画を生成する動画生成方法であって、
    複数の静止画をどのように移り変わらせるかを示すトランジションデータを取得するトランジションデータ取得段階と、
    前記トランジションデータに基づいて、前記複数の静止画から複数の動画構成画像を生成して、生成した複数の動画構成画像を含むＭＰＥＧ符号化された動画を生成する動画生成段階と
    を備え、
    前記動画生成段階は、
    前記トランジションデータに基づいて、生成する動画に含まれる複数の動画構成画像のうちのいずれの動画構成画像をＩピクチャとするかを決定する第１のピクチャ種別決定段階と、
    前記第１のピクチャ種別決定段階においてＩピクチャとする旨が決定された動画構成画像を、前記トランジションデータに基づいて、Ｉピクチャとして生成するＩピクチャ生成段階と、
    前記トランジションデータ及び前記Ｉピクチャ生成段階において生成されたＩピクチャに基づいて、当該Ｉピクチャの後に再生されるＰピクチャを静止画から生成する第１のＰピクチャ生成段階と
    前記トランジションデータに基づいて、前記Ｉピクチャ生成段階において生成されたＩピクチャ又は前記第１のＰピクチャ生成段階において生成されたＰピクチャと、当該Ｉピクチャ又はＰピクチャの後に再生される動画構成画像との間において変化する領域の面積を算出して、算出した面積が予め定められた面積より大きい動画構成画像を、当該Ｉピクチャ又はＰピクチャの次のＩピクチャ又はＰピクチャとする旨を決定する第２のピクチャ種別決定段階と、
    前記第２のピクチャ種別決定段階において、Ｐピクチャとする旨が決定された動画構成画像を、Ｐピクチャとして生成する第２のＰピクチャ生成段階と
    を有する動画生成方法。

Images