JP5490480B2 - 動画作成装置、コンピュータプログラム及び記憶媒体 - Google Patents

Description

本発明は動画作成装置、コンピュータプログラム及び記憶媒体に関し、特に、好きな部分に好きなテーマを割り当てて動画を自動生成するために用いて好適な技術に関する。

近年、パーソナルコンピュータ等には、ユーザーが撮影した静止画や動画を、ユーザー自身で編集したり、フォトアルバム（電子アルバム）を作成したりする機能を搭載するものがある。

例えば、特許文献１では、ユーザーがハードディスク等に記憶されている画像を指定すると、指定された画像に所定の編集処理（エフェクト処理）を施し、予め用意された音楽（ＢＧＭ）に合わせて画像が順次表示されるコンテンツを作成する画像編集処理が開示されている。この画像編集処理は、画像に施す編集処理がランダムに決定されるため、同一の画像を指定しても、異なるコンテンツを作成することができるという特徴を有するものである。

また、特許文献２では、ユーザーが予め用意されている楽曲を選択するとともに、再生対象とする静止画が格納されたフォトアルバムを選択することにより、楽曲の雰囲気に合わせたエフェクトが施された静止画を、曲とともに順次表示するスライドショーコンテンツ（プレイリスト）を作成する技術が開示されている。

特開２００１−２８５７８４号公報 特開２００６−８６６２１号公報

従来技術では、タイムライン上に静止画素材およびそれに付加する映像効果を配置するためのエフェクトトラック（映像効果トラック）と、音楽素材を配置するためのＢＧＭトラックのみにより静止画と音楽とを組み合わせたスライドショーを作成していた。

そして、従来技術では、写真（静止画）自体を演出するためのズーム、パンニング、色変更などの「エフェクト」と、クロスフェード、ワイプなど時系列上隣接する静止画間を演出するための「トランジション」とを複数用意しておき、各静止画に「エフェクト」を選択して割り当て、静止画間に「トランジション」を選択して割り当てることで、スライドショーを演出できるようにしていた。

しかし、このような方法では、バラエティに富んだスライドショーを作成できるようにするためには、色々な種類の「エフェクト」や「トランジション」を用意しておく必要があるので、膨大な数のデータが必要であった。また、「エフェクト」や「トランジション」の数が膨大になるので、音楽に同期した映像効果を、自由自在でしかも容易に編集することは不可能であった。

また、従来技術では、部分的に別のテーマで自動生成することができず、動画全体にわたって１つのテーマに基づいて自動作成されるため、どの動画も似通ってしまい、新鮮味の無いものが出来上がる問題点があった。
本発明は前述の問題点に鑑み、好きな部分に好きなテーマを割当てて動画を自動生成できるようにすることを第１の目的とする。

本発明の動画作成装置は、ユーザー操作に応じて編集する動画の編集画面を表示する編集画面表示手段と、前記ユーザー操作で入力された動画の編集範囲をタイムライン上で検出する編集範囲検出手段と、テーマを選択するウィンドを表示するテーマウィンド表示手段と、音楽同期情報を検出する音楽同期情報検出手段と、前記動画の編集画面に対するユーザー操作の内容を検出するユーザー操作検出手段と、前記ユーザー操作検出手段によりテーマを選択する操作が検出された場合に、前記テーマウィンド表示手段により表示されたテーマ選択ウィンドにおいて選択されたテーマ内容に応じた動画を、前記音楽同期情報検出手段で検出された音楽同期情報に同期させて自動生成する動画生成手段とを有し、前記編集画面における映像効果トラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラックのうち、いずれか２つ以上のトラックを設けるとともに、前記映像効果トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けたことを特徴とする。

本発明のコンピュータプログラムは、ユーザー操作に応じて編集する動画の編集画面を表示する編集画面表示工程と、前記ユーザー操作で入力された動画の編集範囲をタイムライン上で検出する編集範囲検出工程と、テーマを選択するウィンドを表示するテーマウィンド表示工程と、音楽同期情報を検出する音楽同期情報検出工程と、前記動画の編集画面に対するユーザー操作の内容を検出するユーザー操作検出工程と、前記ユーザー操作検出工程によりテーマを選択する操作が検出された場合に、前記テーマウィンド表示工程により表示されたテーマ選択ウィンドにおいて選択されたテーマ内容に応じた動画を、前記音楽同期情報検出工程で検出された音楽同期情報に同期させて自動生成する動画生成工程とをコンピュータに実行させるコンピュータプログラムであって、前記編集画面における映像効果トラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラックのうち、いずれか２つ以上のトラックを設けるとともに、前記映像効果トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けた動画作成装置を制御することを特徴とする。

本発明によれば、編集画面における映像効果トラックごとに設けられた、区間映像トラックと瞬間映像トラックの好きな部分に好きなテーマ内容に応じた動画を、音楽同期情報に同期させて自動生成できるようにしたので、容易でかつ自由度の高い音楽に同期した動画を製作することが可能となり、新鮮味のある動画を楽しむことができる。

本発明の実施形態を示し、動画作成方法を実行する動画作成装置の構成例を説明するブロック図である。 動画作成手順の一例を示すフローチャートである。 動画作成及び動画編集を行う画面の一例を示す図である。 「楽曲タブ」が選択された状態の一例を示す図である。 「写真タブ」が選択された状態の一例を示す図である。 「切り替えタブ」が選択された状態の一例を示す図である。 「フォーカスタブ」が選択された状態の一例を示す図である。 「カメラタブ」が選択された状態の一例を示す図である。 「照明タブ」が選択された状態の一例を示す図である。 「背景タブ」が選択された状態の一例を示す図である。 「テキストタブ」が選択された状態の一例を示す図である。 「スクリーンタブ」が選択された状態の一例を示す図である。 動画作成画面の一例を示す図である。 オートシンクロ画面の一例を示す図である。 好きな部分に好きなテーマを割当てて動画を自動生成する際の処理手順の一例を説明するフローチャートである。 動画作成の具体例を説明する図である。 静止画に映像効果が施されて動画が生成される様子を説明する図である。

図１は、本実施形態の動画作成装置の構成例を説明するブロック図である。
図１に示すように、本実施形態の動画作成装置１００において行われるコンピュータプログラム（動画作成プログラム）により実行する一連の処理は、ＣＰＵ１０１、１０２、及びＲＡＭ１０３よりなるコンピュータシステムにより制御されて実行される。

動画作成装置１００において、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

また、入力部１０６には、キーボード１１２、マウス１１３、マイクロホン１１４などが接続されている。また、出力部１０７には、ディスプレイ１１５、スピーカ１１６などが接続されている。

以上のように構成される動画作成装置１００では、ＣＰＵ１０１が、例えば、記憶部１０８に記憶されている動画作成プログラムを、入出力インタフェース１０５及びバス１０４を介して、ＲＡＭ１０３にロードして実行することにより、動画作成処理が行われる。

本実施形態の動画作成装置１００において、ＣＰＵ１０１が実行する動画作成プログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

具体的には、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、有線または無線の伝送媒体を介して送信される動画作成プログラムを通信部１０９で受信して、記憶部１０８にインストールすることができる。その他、動画作成プログラムは、ＲＯＭ１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、動画作成装置１００が実行する動画作成プログラムは、本明細書で説明する順序に沿って時系列に処理が行われる動画作成プログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われる動画作成プログラムであってもよい。

前述した動画作成処理をソフトウェアにより実行する場合、一連の処理を１つのアプリケーションプログラムで実現してもよいし、機能的に分割した複数のアプリケーションプログラムで実現してもよい。

次に、図２のフローチャートを参照しながら本実施形態の動画作成処理手順の一例を説明する。
処理が開始されると、ステップＳ２１において動画作成画面をディスプレイ１１５に表示する動画作成画面表示処理が行われる。本実施形態の動画作成方法において用いる動画作成画面には、図３に示すように、音楽素材を配置するための楽曲トラックと、写真素材（静止画素材）を配置するための写真トラック、及び静止画素材に付加する映像効果を配置するためのエフェクトトラック（映像効果トラック）が複数設けられていて、これらのトラックを独立して操作することができる。

さらに、映像効果トラックは、「区間トラック」と「瞬間トラック」とで構成される。「区間トラック」上に配置された映像オブジェクトによる映像効果処理は、タイムライン上に配置された次の映像オブジェクト位置まで継続される。一方、「瞬間トラック」上に配置された映像オブジェクトによる映像効果処理は、配置タイミングを中心とした前後の短い時間のみ行われる。

図３に示したように、本実施形態においては、エフェクトトラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラック等が設けられている。また、映像トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けている。さらに、それぞれの映像トラックに対応して、複数の映像スタイルが用意されており、さらに各スタイルには複数のパターンの映像オブジェクトが用意され、それぞれの映像オブジェクト毎に映像効果のレベル設定ができる。

また、これらのトラックに対応するタブが複数設けられていて、入力するトラックに対応するタブをクリックすることにより、所望の素材を選択することができるように構成されている。図３の例では、「フレームタブ」が選択されていて、選択画面には「矩形」、「手書き風」、「額縁」、「ガラス」、「スタンプ」・・・等が選択可能に表示されている。フレームの「映像効果」は、写真を表示する形状、例えば、４角形やハート形などの形状に表示するためのデータである。

図４は、「楽曲タブ」が選択された状態の一例を示している。この例では、「その１」〜「その３」の楽曲が表示されていて、「その３」が選択されている様子を示している。
図５は、「写真タブ」が選択された状態の一例を示していて、「写真Ａ」、「写真Ｂ」、「写真Ｃ」、「写真Ｄ」・・・等の写真が選択可能に表示されている。

図６は、「切り替えタブ」が選択された状態の一例を示している。切り替えの「映像効果」は、各写真をどのようにモーションさせながら切り替え表示をするかを決めるためのデータである。この例では、スタイル名のウィンドに「ツイスト」、「リバース」、「インサイドキューブ」等の映像効果が選択可能に表示されている。また、パターン名のウィンドに「ノーマル」、「左旋回」、「右旋回」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。

効果レベルは、例えば「左旋回」というパターンの映像オブジェクトであれば、効果レベルの値が小さいほどゆっくり旋回し、大きいほどはやく旋回するようにしてもよいし、効果レベルの値が小さいほど小さい角度で旋回し、大きいほど大きい角度で旋回するようにしてもよい。つまり、効果レベルとは、同じパターンの映像オブジェクトであっても、微妙な映像の違いを表現するためのさじ加減を調整するために用意されているものである。上記例に限らず、同じようなパターンの映像効果についてその映像表現の違いを調整するようなものであれば何でもよい。なお、本項の「切り替え」についての効果レベルだけでなく、次項以降の効果レベルについても同様である。

図７は、「フォーカスタブ」が選択された状態の一例を示している。フォーカスの映像効果は、表示する写真に焦点を合わせる等の効果を施すためのものである。この例では、スタイル名のウィンドに「ズーム」、「パンニング」、「ジャンプ」、「不安定」等の映像効果が選択可能に表示されている。また、パターン名のウィンドに「横方向」、「縦方向」、「斜め方向」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。

図８は、「カメラタブ」が選択された状態の一例を示している。この例では、スタイル名のウィンドに「ズーム」、「パンニング」、「不安定」、「ビートズーム」、「ビートパンニング」等が選択可能に表示されている。また、パターン名のウィンドに「ズームイン（等速）」、「ズームイン（加速）」、「ズームイン（減速）」、「ズームアウト（等速）」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。

図９は、「照明タブ」が選択された状態の一例を示している。この例では、スタイル名のウィンドに「パンニング」、「回転」、「トーチ」、「ビートズーム」、「ビートパンニング」等が選択可能に表示されている。また、パターン名のウィンドに「時計回り（ノーマル）」、「反時計回り（ノーマル）」、「時計回り（リバース）」、「反時計回り（リバース）」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。また、色を選択するためのボタンも表示されている。

図１０は、「背景タブ」が選択された状態の一例を示している。「背景」の映像効果は、表示している写真の背景を任意に選択できるようにするためのデータである。この例では、スタイル名のウィンドに「カラー」、「ノイズ」、「移動」、「不安定」、「星」等が選択可能に表示されている。また、パターン名のウィンドに「縦方向のみ」、「横方向のみ」、「全方向」等が選択可能に表示されている。また、利用写真を選択するウィンドが設けられていて、「フォーカス写真」、「前の写真」、「次の写真」、「ランダム」の選択項目のうち、「フォーカス写真」が選択された状態で表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。

図１１は、「テキストタブ」が選択された状態の一例を示している。「テキスト」は、表示中の写真に重ねて表示するテキストに対する効果データである。この例では、スタイル名のウィンドに「なし」、「ノーマル」、「ズーム」、「伸張」、「スピン」等が選択可能に表示されている。また、パターン名のウィンドに「全文字」、「１文字」、「全文字」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。また、「編集」ボタンをクリックすると、テキストの文字列やフォントの種類、色、テキスト表示位置等を設定するためのウィンドが開くようになっている。

図１２は、「スクリーンタブ」が選択された状態の一例を示している。「スクリーン」はムービー全体に対する映像効果であり、画面全体を暗くしたり、ぼかしたりするデータである。この例では、スタイル名のウィンドに「ノーマル」、「フェードイン」、「フェードアウト」、「ブライト」、「カラー」等が選択可能に表示されている。また、パターン名のウインドに「固定」が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。

本実施形態においては、フレームトラック〜テキストトラックにおいては、複数のエフェクトトラックを設けた例を示している（図３の例では２列）。
すなわち、フレームトラックの上段には、「タイム０：０２」に「矩形、ラウンド大」、「タイム０：１４」に「額縁、リアル」、「タイム０：２８」に「矩形、ラウンド大」、「タイム０：３０」に「ユーザー、回転型」の「映像効果」が配置されている。また、下段には、「タイム０：３３」に「手書き風、矩形」の「映像効果」が配置されている。

フォーカストラックの上段には、「タイム０：０２」に「ノーマル、矩形」、「タイム０：２５」に「ジャンプ」の「映像効果」が配置されている。また、背景トラックの上段には、「タイム０：０２」に「カラー」、「タイム０：１７」に「ノイズ、周期変化」、「タイム０：３０」に「カラー、選択カラー」の「映像効果」が配置されている。また、下段には、「タイム０：２１」に「ノイズ、周期変化」、「タイム０：３７」に「ノイズ、周期変化」の「映像効果」が配置されている。

前述したような、「動画作成画面」に対して、ユーザーがマウス１１３を操作することにより動画作成処理が実行される。すなわち、ステップＳ２２においては、ユーザーにより楽曲選択が終了したか否かが判断される。この判断の結果、楽曲選択が終了していない場合には待機状態となる。また、ステップＳ２２の判断の結果、楽曲選択が終了した場合にはステップＳ２３に進む。本実施形態においては、図４を参照しながら説明したように、「その３」が選択されているので、ステップＳ２２からステップＳ２３に進む。ステップＳ２３においては、音楽同期情報を検出する処理を行う。処理の詳細は、図１３のフローチャートを参照しながら後述する。音楽同期情報の検出処理が終了したら、次に、ステップＳ２４に進む。

ステップＳ２４においては、写真選択が終了したか否かが判断される。この判断の結果、写真選択が終了していない場合には待機状態となる。また、ステップＳ２４の判断の結果、写真選択が終了して写真トラックに写真が配置された場合にはステップＳ２５に進む。
ステップＳ２５においては、ステップＳ２４で写真トラックに配置された画像に所定の編集処理（エフェクト処理）を施すために、切り替えトラック〜スクリーントラックのそれぞれに、図４〜図１２を参照しながら説明した「映像効果」が入力されるのを待機する。そして、各エフェクトトラックに「映像効果」が入力されたら、ステップＳ２６に進む。前述したＳ２２〜Ｓ２５の各工程が情報入力工程となる。

ステップＳ２６においては、ステップＳ２２〜ステップＳ２５の各工程において、動画作成画面に入力された情報及びステップＳ２３で検出された音楽の同期情報に基いて動画作成処理が行われる。

本実施形態においては、特徴情報として、「グリッド情報」、「ドラム情報」、「盛り上がり情報」、「イントロ／エンディング情報」を用いた例を示している。ここで、「グリッド情報」は、周期的な音圧ピークのタイミング、パワー、信頼性で構成される情報配列である。「ドラム情報」は、低音域の音圧ピークが周期的に現れる区間の情報配列である。

「盛り上がり情報」は、広範囲の周波数帯で高い音圧ピークが頻発する区間の情報配列である。具体的には、（イ）音の高低が大きい。（ロ）音量が大きい。（ハ）音が多い（楽器、音数が多い）。（ニ）高低の変化が大きい、等の区間を盛り上がり区間と称している。「イントロ／エンディング情報」は、フェードインやフェードアウトや大きな音で始まる／終わる、ドラムなしで始まる／終わる、長い音が出ている区間、等の情報配列である。これらの特徴情報を取得する処理手順の一例を、図１３を参照しながら後述する。以上の特徴情報を利用して、以下のような音楽同期映像効果処理を施す。

写真トラックに配置された各画像に対して「映像効果」に従った処理を個々に実行する。これにより、１つの「静止画」に対して複数の映像処理を施すことが可能となり、従来のように、映像効果処理の種類を大量に用意することなく、変化に富んだ多彩な演出効果を施した動画を生成することができる。動画作成処理が終了したら、次に、ステップＳ２７に進む。

ステップＳ２７においては、ステップＳ２６で作成した動画の再生処理が行われる。この動画再生処理が行われている期間中は、予め設定されている所定のタイミングでステップＳ２８に進み、ユーザー（操作者）により動画再生処理の中断操作が行われるか否かを判断する。この判断の結果、ユーザーにより中断操作が行われた場合には、動画再生中であってもステップＳ２２に戻り、ステップＳ２２〜ステップＳ２５の動画作成工程により作成された動画を編集可能な編集画面を表示する表示制御が行われる。これにより、ステップＳ２２〜ステップＳ２５において所望の効果を追加したり、変更したりする編集処理を行うことが可能となる。そして、編集結果に基いて、ステップＳ２６において動画作成処理が行われる（この場合、動画編集処理となる）。これにより、動画作成結果を確認しながら編集作業を自由に行うことができる。また、ステップＳ２８の判断の結果、ユーザーによる中断操作が行われなかった場合にはステップＳ２９に進む。

ステップＳ２９においては、動画再生処理が終了したか否かを判断する。この判断の結果、動画再生処理が終了していない場合にはステップＳ２２に戻る。この場合、ユーザーによる中断操作が行われないので、ステップＳ２２〜ステップＳ２６はスルーとなり、ステップＳ２７の動画再生処理が続行する。また、ステップＳ２９の判断の結果、動画再生処理が終了した場合にはエンド処理となる。

本実施形態においては、前述のようにして動画作成（動画編集）を行うことにより、映像効果処理が行われた動画素材を大量に用意することなく、変化に富んだ多彩な演出効果を施した動画を生成することができる。

次に、図１３の動画作成画面及び図１４のオートシンクロ画面を参照しながら、本実施形態の動画作成装置を用いて、「テーマによる音楽同期映像の自動生成」を実行させる処理手順を説明する。
「テーマによる音楽同期映像の自動生成」を実行させる場合、先ず、図１３に示す映像トラック編集画面において、タイムライン上で範囲を指定する。次に、ツールメニューの「指定範囲をオートシンクロ」をクリックする。

すると、図１４に示すように、好きな「テーマ」を選択することができる「オートシンクロ」画面が表示される。
図１４の例では、選択可能な「テーマ」として、「ランダム」、「スライドショー」、「シンプル」、「マイルド」、「アクション」、「ダンス」、「コメディ」、「サスペンス」、「オールド」、「美術館」、「アルバム」などが表示されている。

ここで、テーマについて説明すると、例えば、「アクション」は、動きにメリハリがある映像効果を選択し、効果のレベルも大きくする。「コメディ」は、動きが面白い映像効果を選択し、「美術館」は、フレームが額縁の映像効果、切り替えは壁面に展示された作品をまるで見学しているかのような動きの映像効果を選択する。また、「シンプル」は映像効果の中のシンプルな映像効果だけを選択する。「マイルド」はおとなしい映像効果を選択する。

また、使用する写真として、「全写真を１度だけ使う」、「楽曲に合わせて適当に」を選択することが可能になっており、図１４の例では、「楽曲に合わせて適当に」が選択されている。
また、素材の登場順序として、「手前の素材から」、「シャッフルする」を選択することが可能になっており、図１４の例では、「シャッフルする」が選択されている。また、画面の右下には、「自動生成ボタン」と「キャンセルボタン」が配置されており、図１４の「自動生成ボタン」が選択された場合、後述の自動生成処理を行うようになっている。

前述したような操作をユーザーが行うことにより、「テーマによる音楽同期映像の自動生成処理」を動画作成装置１００に実行させることができる。前述の操作手順は、ユーザーにより行われる手順である。次に、前述のユーザー操作に応じて動画作成装置１００で実行される処理手順について、図１５のフローチャートを参照しながら説明する。

処理が開始されると、先ず、ステップＳ１５１で編集画面を表示する処理が行われる。これにより、図１３の編集画面が表示される。次に、ステップＳ１５２において、タイムライン上で範囲を検出する処理が行われる。この処理は、図１３に示した映像トラック編集画面においてユーザーが行った操作に応じて実行される。

次に、ステップＳ１５３において、編集範囲が入力されたか否かを判断する。この判断の結果、編集範囲が入力されていない場合にはステップＳ１５２に戻って編集範囲を検出する処理を行う。また、ステップＳ１５３の判断の結果、編集範囲が入力されている場合にはステップＳ１５４に進む。ステップＳ１５４においては、ユーザーにより指定された編集範囲で行う処理内容の検出処理が行われる。この場合、前述したようにユーザーにより、「指定範囲をオートシンクロ」がクリックされているので、図１４に示したような「オートシンクロ」のウィンドを表示する。

「オートシンクロ」のウィンドにおいては、前述したように、好きな「テーマ」を選択することができる。図１４の例では、選択可能な「テーマ」として、「ランダム」、「スライドショー」、「シンプル」、「マイルド」、「アクション」、「ダンス」、「コメディ」、「サスペンス」、「オールド」、「美術館」、「アルバム」の中から気に入ったテーマを選択して動画を生成することが可能となる。

次に、ステップＳ１５５に進み、オートシンクロ画面で選択されている情報に応じた動画生成処理が行われる。この場合、テーマを１つ選択し、テーマが１つ選択され、使用する写真、素材の登場順序が選択されているので、これらの選択結果に対応した音楽同期映像効果を付加して動画を生成する。

次に、ステップＳ１５６に進み、ステップＳ１５５で生成した動画をディスプレイ１１５に表示する。その後、ステップＳ１５７において編集終了か否かを判断する。この判断の結果、ユーザーが編集を続行する場合にはステップＳ１５２に戻り、前述した処理を繰り返す。また、ステップＳ１５７の判断の結果、編集を終了する場合にはエンド処理を行う。

本実施形態においては、ユーザー入力に応じて、前述したようにして動画生成を行うので、ユーザーは、好きな部分に好きなテーマを割当てて動画を自動生成することができる。これにより、容易かつ自由度の高い音楽に同期した動画製作が楽しむことができる。

次に、図１６及び図１７を参照しながら、動画作成の具体例を説明する。
図１６に示すように、この例では、切り替えトラックには「タイム０：２６」付近に「美術館、直進（両側）」の「映像効果」が配置されている。また、タイム「０：３４」付近に「アルバム」の「映像効果」が配置されている。

また、フレームトラックの上段には「タイム０：２６」付近に「額縁リアル１」の「映像効果」が配置されている。「タイム０：３０」付近に「額縁リアル２」の「映像効果」が配置されている。「タイム０：３４」付近に「額縁リアル３」の「映像効果」が配置されている。

また、フォーカストラックの上段には、「タイム０：３１」に「パンニング横方向」の「映像効果」が配置されている。
カメラトラックの上段には、「タイム０：２６」に「パンニング時計周り」の「映像効果」が配置されている。
また、背景トラックの上段には、「タイム０：２６」に「ユーザイラスト２（ズーム）」の「映像効果」が配置されている。

写真トラックに配置されている写真１〜５は、図１６中において台形で示したように、フェードイン〜全表示〜フェードアウトによりディスプレイ１１５に表示される。具体的に説明すると、写真１は、「タイム０：２４」付近においてフェードインを開始する。そして、「タイム０：２６」付近においてフェードインを終了して全表示となる。その後、「タイム０：３０」の少し前でフェードアウトを開始し、「タイム０：３１」付近でフェードアウトを終了する。

写真２は、「タイム０：３０」付近においてフェードインを開始する。そして、「タイム０：３１」付近においてフェードインを終了して全表示となる。その後、「タイム０：３３」付近でフェードアウトを開始し、「タイム０：３４」付近でフェードアウトを終了する。

写真３は、「タイム０：３３」付近においてフェードインを開始する。そして、「タイム０：３４」の少し手前でフェードインを終了して全表示となる。その後、「タイム０：３８」の少し前でフェードアウトを開始し、「タイム０：３８」を少し過ぎた付近でフェードアウトを終了する。

写真４は、「タイム０：３８」の少し前でフェードインを開始する。そして、「タイム０：３８」を少し過ぎた付近においてフェードインを終了して全表示となる。その後、「タイム０：４０」でフェードアウトを開始し、「タイム０：４０」を少し過ぎた付近でフェードアウトを終了する。

写真５は、「タイム０：４０」でフェードインを開始する。そして、「タイム０：４０」を少し過ぎた付近においてフェードインを終了して全表示となる。その後、「タイム０：４２」でフェードアウトを開始する。

各エフェクトトラックに、前述のような「映像効果」が配置されることにより写真トラックに配置されている写真１〜５には、図１７（１)〜（８）に示すように、テーマ「美術館」と、テーマ「アルバム」の組み合わせ例で示すような映像効果が加えられて、好きな部分に好きなテーマを割当てて動画が自動生成される。

図１７(１)には、切り替え「ウォーク」の映像効果が加えられている（ビート明確区間）。図１７（２）は、「ウォーク」効果中である（左側の写真の方を向く）。図１７（３）は、「ウォーク」効果中である（歩く上下動でビート感を演出している）。図１７（４）は、「ウォーク」効果中である（右側の写真の方を向く）。図１７（５）は、切り替え「アルバム」が開始されている。図１７（６）は、「アルバム」効果の継続中であり、（ページめくり演出）が加えられている。図１７（７）は、「アルバム」の効果中に、フォーカス「パンニング」の効果がプラスされている。図１７（８）は、「アルバム」の効果中である（写真はパンニングしている）。

本発明における動画生成の手法としては、３次元座標を持つポリゴンデータに写真画像テクスチャを貼り付けてアニメーションさせ、それに照明効果や色調変更などの画像処理を施し、カメラワーク的な座標変換を行った上で２次元座標に投影した画像を生成するなど、ごく一般的に行われている周知の技術を応用することができる。

前述したように、本実施形態においては、夫々の効果毎に、複数の「スタイル」データ、及び複数「パターン」データを有しているので、写真に付与可能な効果は、「スタイル」×「パターン」の数だけ得ることができる。したがって、映像効果の種類をたくさん所持することなく莫大な種類で変化に富んだ演出効果を実現することができる。

（第２の実施形態）
本実施形態においては、楽曲素材に対応した音楽同期情報（同期タイミング情報）を有する。この同期情報は、楽曲を周波数分析する周知の手法等により得られたビートタイミングや音圧レベルなどの特徴検出情報であるが、ユーザー自身が楽曲全体あるいは楽曲の一部を聴きながらタップするなどの手入力によって得られる情報であってもよい。音楽同期情報は、図３及び図１６において、ムービーの時間情報のタイミングとは別に、楽曲トラック上に貼り付けられている楽曲に対応する音楽同期情報のタイミングで縦方向に示されている情報である。上記の図例では、音楽同期情報は、例えばビートやサブビート、小節先頭など周期的なタイミング情報を示すものであるが、これに限らず、イントロやエンディング区間、あるいは盛り上がり区間など、楽曲の特徴に対応した区間的な情報を示すものであってもよい。

映像が楽曲に同期するのは、ある映像スタイルから次の映像スタイルへ切り替わるタイミングのみではない。例えば、「フォーカス」や「照明」などの映像効果スタイルの中には、「ビートパンニング」という映像スタイルが用意されているが、このスタイルに属する映像オブジェクトを映像トラックに配置した場合、楽曲の同期情報に対応するビート位置に合わせてパンニングするような映像処理を行うようにする。

また、「フレーム」や「テキスト」、「カメラ」などの映像効果スタイルの中には、「ビートズーム」という映像スタイルが用意されているが、それに属する映像オブジェクトを映像トラックに配置した場合、ビートに合わせてズームするような映像処理を行うようにする。

これに限らず、各映像トラックに対応した映像スタイルには、同期情報に同期する映像処理に関連するものを含んでおり、これらの映像スタイルの映像オブジェクトを配置した場合には、次の映像スタイル時刻までの間に、周期的あるいは瞬間的な映像表現などの映像処理を行うようにする。さらに、本実施例にはないが、「イラスト」という映像トラックを用意して、選択したイラスト素材を、選択した映像スタイルに対応した映像処理を行うようにしてもよい。

ムービー編集中に、編集途中のムービーデータを再生しながら、選択した映像オブジェクトの入力操作を行うと、ムービー再生ポインタに対応した位置に、前記グリッドモードに応じて自動的に配置される。

（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各プログラムコードを動作させるように、前記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納された動画作成プログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。

また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記録する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれる。

さらに、コンピュータ読み取り可能な記憶媒体から供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれる。

Ｓ１５１ 編集画面表示工程、１５２ 編集範囲検出工程、Ｓ１５３ 編集範囲入力判断工程、Ｓ１５４ 編集画面表示工程、Ｓ１５５ 画像生成工程、Ｓ１５６ 編集動画再生工程、Ｓ１５７ 編集終了判断工程

Claims (3)

1. ユーザー操作に応じて編集する動画の編集画面を表示する編集画面表示手段と、
   前記ユーザー操作で入力された動画の編集範囲をタイムライン上で検出する編集範囲検出手段と、
   テーマを選択するウィンドを表示するテーマウィンド表示手段と、
   音楽同期情報を検出する音楽同期情報検出手段と、
   前記動画の編集画面に対するユーザー操作の内容を検出するユーザー操作検出手段と、
   前記ユーザー操作検出手段によりテーマを選択する操作が検出された場合に、前記テーマウィンド表示手段により表示されたテーマ選択ウィンドにおいて選択されたテーマ内容に応じた動画を、前記音楽同期情報検出手段で検出された音楽同期情報に同期させて自動生成する動画生成手段とを有し、
   前記編集画面における映像効果トラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラックのうち、いずれか２つ以上のトラックを設けるとともに、前記映像効果トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けたことを特徴とする動画作成装置。
2. ユーザー操作に応じて編集する動画の編集画面を表示する編集画面表示工程と、
   前記ユーザー操作で入力された動画の編集範囲をタイムライン上で検出する編集範囲検出工程と、
   テーマを選択するウィンドを表示するテーマウィンド表示工程と、
   音楽同期情報を検出する音楽同期情報検出工程と、
   前記動画の編集画面に対するユーザー操作の内容を検出するユーザー操作検出工程と、
   前記ユーザー操作検出工程によりテーマを選択する操作が検出された場合に、前記テーマウィンド表示工程により表示されたテーマ選択ウィンドにおいて選択されたテーマ内容に応じた動画を、前記音楽同期情報検出工程で検出された音楽同期情報に同期させて自動生成する動画生成工程とをコンピュータに実行させるコンピュータプログラムであって、
   前記編集画面における映像効果トラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラックのうち、いずれか２つ以上のトラックを設けるとともに、前記映像効果トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けた動画作成装置を制御することを特徴とするコンピュータプログラム。
3. 請求項２に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images