JP4660861B2 - 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置 - Google Patents

Description

本発明は楽曲にシンクロした動画を生成する技術に関する。

引用文献１は、音楽データからテンポ情報を取り出し、そのテンポ情報から画像データに対してカット編集を施すことで、ビデオ編集を行う。

引用文献２は、入力素材から記述子を分析し、それをもとにスタイル情報を定義し、入力素材・入力素材から得た記述子・スタイル情報を基に作業セットを作成し、それを実行することで出力データを生成するシステムである。入力・出力には少なくとも１つの映像・オーディオ各データが含まれており、記述子の取得は、入力素材を分析することで得られる。また、記述子はユーザからも受け取ることができる。
特開２００４−９６６１７号公報 特表２００５−５０６６４３号公報

動画全体の流れにストーリーを持たせる、タイミングよく楽曲にマッチした画像を出力させるなど、画像の表示タイミングと楽曲の相関は、出力動画の質を大きく左右する。

ところが、引用文献１では、楽曲からテンポ情報のみを使用してビデオを編集する方法を示しており、テンポ情報以外の楽曲の特徴量を使用する方法は明示されていない。また、引用文献２では、楽曲にシンクロしたムービーを作成できるが、どのタイミングでどの画像を出力させるかは明示されていない。

そこで、本発明は、単に楽曲の特徴点にシンクロするだけでなく、画像の属性にも同期性を持たせ、出力動画のクオリティを大幅に向上させることを目的とする。

上記課題を解決するため、本発明に係る楽曲画像シンクロ動画シナリオ生成方法は、楽曲のフレーズに関する特徴量及び楽曲の構成部分の拍または裏拍に関する特徴量からなる楽曲の特徴量を抽出するステップと、抽出された楽曲の特徴量に基づいて楽曲の構成を抽出し、該抽出結果に基づいて楽曲を複数の構成部分に分割するステップと、画像の特徴量を解析するステップと、楽曲の構成部分に対応する特徴量と画像の特徴量とに応じて、楽曲と画像とを関連づけるステップと、関連づけられた楽曲と画像とを同期して再生可能な動画シナリオを生成するステップと、を含む。

この発明によると、画像の特徴量に応じて楽曲の構成部分と画像とが関連づけられるから、従来に比して、楽曲の再生内容とマッチした画像の同期再生が可能となる。

特徴量が共通または類似する画像を同一の画像群に分類するステップと、楽曲のフレーズに関する特徴量と画像群の特徴量とに応じて、楽曲のフレーズと画像群とを関連づけるステップと、楽曲の構成部分の拍または裏拍に関する特徴量と楽曲の構成部分に関連づけられた画像群に含まれる各画像の特徴量とに応じて、楽曲の構成部分の拍または裏拍と画像とを関連づけるステップと、をさらに含んでもよい。

画像の特徴量は、画像のボケまたはブレに関する評価値を含み、評価値に基づいて、楽曲の構成部分に関連づけるべき画像を排除するステップと、をさらに含んでもよい。

動画シナリオに基づいて、楽曲に同期して再生可能な動画を生成するステップをさらに含んでもよい。

生成された動画を再生するステップをさらに含んでもよい。

上記の楽曲画像シンクロ動画シナリオ生成方法を演算装置に実行させるための楽曲画像シンクロ動画シナリオ生成プログラムも本発明に含まれる。

上記の楽曲画像シンクロ動画シナリオ生成プログラムを記憶する記憶部と、記憶部の楽曲画像シンクロ動画シナリオ生成プログラムを実行する演算装置と、を備える楽曲画像シンクロ動画シナリオ生成装置も本発明に含まれる。

この発明によると、画像の特徴量に応じて楽曲の構成部分と画像とが関連づけられるから、従来に比して、楽曲の再生内容とマッチした画像の同期再生が可能となる。

＜第１実施形態＞
図１は本発明の好ましい実施形態に係るシナリオ作成装置のブロック図である。

画像入力装置１１は、シナリオを生成するために必要な画像群を入力するものであり、例えば、メモリカードリーダーなどが考えられる。

楽曲入力装置１２は、シナリオを生成するために必要な楽曲を入力するものであり、例えば、メモリカードリーダーなどが考えられる。

入力装置１３は、ユーザがシステムの各種操作を行うためのものであり、例えば、キーボードやマウスなどが考えられる。

シナリオ生成装置１４は、入力された楽曲を解析したり、シナリオを生成したり、画像を選択したりするものである。

図２は、シナリオ生成装置１４に含まれる画像処理装置２０のブロック図である。画像処理装置２０は主として、複数の処理モジュールを含む個別処理部２１、全体処理部２２、および制御部２３を備える。

個別処理部２１は、画像または画像に付帯する各種情報（撮影日時等）の少なくともいずれか一方を用いて特徴量もしくは個別評価値を算出する機能を備える。ここで、特徴量とは、画像もしくは画像群の入力に対して、一意的・絶対的な結果が得られる情報（例えば、ある画像のエッジの強さを表すボケ情報）を指す。また、個別評価値とは、画像もしくは画像群の入力に対して、ユーザの好みにより結論が変わりうる多義的・相対的な情報（例えば、ボケの観点から当該画像の評価度合を表すボケ評価値）を指す。以下の表１に、個別処理部の例を記述する。

全体処理部２２は、上記特徴量のうちの一部または全部の合計、もしくは上記個別評価値のうちの一部または全部の合計、または上記特徴量および上記個別評価値のうちの一部または全部の合計をもとに、画像全体評価値を算出する機能を備える。

例えば、イベント情報（特徴量）、顔評価値（個別評価値）、明るさ評価値（個別評価値）の３個の数値を元に特定の画像の画像全体評価値（プリントなど特定の用途に向くか否かを表す数値）を算出する。

ただし、本実施形態では、画像のプリントは前提としておらず、画像の画像全体の評価を行う必要がない場合は、全体処理部２２は設けなくてもよい。

制御部２３は、画像処理装置２０と外部機器（他の画像処理装置やオペレータの操作対象となる操作装置）とのインターフェースを持つほか、個別処理部２１や全体処理部２２への処理の制御を受け持つ。

以下、図３のフローチャートを参照し、動画シナリオ作成装置の実行する動画シナリオ生成処理の流れを説明する。

Ｓ１では、楽曲から特徴量を抽出する。楽曲の特徴量とは、楽曲の拍や裏拍、アクセント、テンポの変化点などを指す。楽曲の特徴量を抽出する方法は、従来の手法で可能であり、例えば、特開２００３−２６３１６２号公報、特開２００５−０２７７５１号公報などが挙げられる。

Ｓ２では、楽曲の構成（これも楽曲の特徴量に含めてよい）を抽出し、抽出された構成に従って、楽曲を複数の部分に分割する。例えば、以下のような分割方法が考えられる。

（１）テンポの変わり目で楽曲の構成を区切る。

（２）拍の頭から８拍を１構成として区切る。

（３）Ａメロ、Ｂメロ、サビなど一般的に「フレーズ」と呼ばれているものに分ける。

（４）ある閾値以上のテンポを持つ曲に対しては、４拍を１構成とし、ある閾値以下のテンポを持つ曲に対しては、８拍を１構成として区切る。

なお、フレーズを取得する方法は、従来の手法で可能であり、例えば、特開平９−９０９７８号公報、特開２００４−２３３９６５号公報などが挙げられる。

Ｓ３では、画像を解析する。画像の解析は、画像処理装置２０によって実施される。

Ｓ４では、Ｓ２／Ｓ３の解析結果に基づき、楽曲の構成部分と画像群とを関連づける。すなわち、Ｓ２で求めた楽曲構成に関する特徴量（楽曲における構成部分の出現順序や、Ａメロ、Ｂメロ、サビなど）と、Ｓ３で求めた画像群の特徴量（特定の画像群に属する画像に共通するイベント情報や撮影日など）とを照合し、その照合結果に基づいて、両者を関連づける。関連づけの具体例は次のようなものが考えられる。

例１）同日の撮影日時の付帯情報を有する画像は同一の画像群に分類するなど、撮影されたイベントの異同に応じたカテゴライズによって時系列にグルーピングされた画像群を順番に、楽曲の構成要素の先頭からフレーズ１つ１つに当てはめていくことで、両者を関連づける（図４参照）。フレーズに対して、同一または類似の属性（撮影日時など）を持った画像群（類似画像群）を割り当てるので、楽曲の区切りに自然に画像が切り替わる動画を再生するシナリオを作成することができる。

例２）類似画像群の各々を楽曲構成部分の各々に関連づける（図５参照）。類似画像が楽曲構成部分ごとに切り替わるので、メリハリのある動画を再生するシナリオを生成することができる。

例３）同じフレーズには同じ画像群を関連づける（図６参照）。同じ画像群を反復利用することで、楽曲になじんだ動画を再生するシナリオを生成することができる。

例４）楽曲のサビに相応しい所定の特徴量を有する画像群をサビに関連づける（図７参照）。

例えば、サビに相応しい特徴を有する画像群としては、以下のようなものが考えられる。

（１）輝度の最も高い画像群
（２）直近のイベント（あるいは最新の撮影日時）で撮影された画像群
（３）予め登録されているユーザが被写体として撮影されている画像群
上記のような例のいずれかあるいは一部または全部の組み合わせで、サビに関連づけるのに相応しい特徴を有する画像群を特定し、これをサビと関連づける。

Ｓ５では、Ｓ１で求めた拍または裏拍と、Ｓ３で求めた個々の画像の特徴量を照合し、その結果に従って、各構成部分における拍または裏拍と、その構成部分に関連づけられている画像群に属する個々の画像とを関連づける。具体例は以下のようなものが考えられる。

例１）拍や裏拍に合わせて、対応する画像群の画像の各々を順次表示させるように関連づける。

例２）例１の方法に加えて、フレーズ内の拍数より画像群の画像枚数の方が少ない場合は、特定の画像あるいはランダムに選択された画像を繰り返し使用する。

例３）顔が抽出されている画像の属する画像群（顔画像群）に対しては、拍や裏拍に合わせて、顔に対するズームアウトやズームインといった表示効果（エフェクト）を取り入れる。

例４）アクセントとなる拍に対しては、その拍が含まれる楽曲構成に対応する画像群のうち最も明るい画像を特定して関連づける。

例５）楽曲から抽出された全ての拍を使うのではなく、パターンを決め、それに合わせて、画像を割り当てる。例えば図８に示すように、楽曲構成内を８拍で切り、１拍目、３拍目、６拍目の裏拍、８拍目に画像を表示させる。このようなパターンを増やし、繰り返すことによって、単調な画像切り替えを避けられる。上記のような例を組み合わせて楽曲の構成部分全てに対し、画像を割り当てる。

Ｓ６では、動画再生シナリオを作成する。シナリオの形式は特に問われず、例えば図９に示したようなＸＭＬ（Extensible Markup Language）でもよいし、あるいはSMIL (Synchronized Multimedia Integration Language)でもよいし、バイナリ形式であってもよい。シナリオには画像の選択方法や選択された画像の表示時間等が記述されており、これに基づいて画像を表示させることにより、楽曲と同期した動画を再生することができる。

＜第２実施形態＞
図１０は第２実施形態に係る動画シナリオ生成処理の流れを示すフローチャートである。

Ｓ１１〜Ｓ１３、Ｓ１５〜Ｓ１７は、それぞれ第１実施形態のＳ１〜Ｓ３、Ｓ４〜Ｓ６と同様である。

ただし、Ｓ１４では、Ｓ１３の画像解析から得たボケブレ評価値が、所定の値より高いものを、楽曲の構成部分に関連づけるべき画像群から排除する。Ｓ１６の処理では、Ｓ１３で排除された画像の関連づけを行わない。

このように、ボケやブレのあるクオリティの低い画像を動画から排除できるので、必然的にクオリティの高い動画を再生するシナリオを生成することができる。

なお、画像を排除した結果、画像が不足した場合は、ボケブレ評価値の低い画像を繰り返し使うなどして補うとよい。

＜第３実施形態＞
上述のようにして作成されたシナリオに基づいて、動画を作成する装置も本発明に含まれる。

図１１は本発明の好ましい実施形態に係る動画作成装置のブロック図である。

この装置は、シナリオ生成装置（図１）と同様、画像入力装置１１、楽曲入力装置１２、入力装置１３、シナリオ生成装置１４を備えており、さらに、動画生成装置１５を備えている。

図１２は動画生成処理の流れを示すフローチャートである。

Ｓ２１では、シナリオ生成装置１４によってシナリオを生成する（例えば図９のようなＸＭＬファイル）。

Ｓ２２では、動画生成装置１５は、画像入力装置１１・楽曲入力装置１２にそれぞれ入力された画像およびに楽曲のうち、シナリオに指定されている、動画生成に必要な画像および楽曲を取得する。シナリオに指定されているデータは、例えばＰＣ上に保存されているデータであったり、Ｗｅｂ上に公開されているデータである。

そしてＳ２３では、動画生成装置１５は、シナリオの記述に基づき、取得した画像および楽曲から、動画を生成する。具体的には、取得した全ての画像データに対して、ある瞬間でのエフェクトや変更を考慮した画像処理を施し、オーダー順に重ね合わせて、フレーム画像を作成する。このフレーム画像を時間順につなげ合わせることで動画を作成する。作成された動画の圧縮記録方式は、アニメーションＧＩＦ、ＭＰＥＧなど何でもよい。

＜第４実施形態＞
上記のようにして作成された動画を再生出力する動画出力装置も本発明に含まれる。

図１３は本発明の好ましい実施形態に係る動画出力装置のブロック図である。動画出力装置は、動画作成装置（図１１）と同様、画像入力装置１１、楽曲入力装置１２、入力装置１３、シナリオ生成装置１４、動画生成装置１５を備えており、さらに、動画再生装置１６および出力装置１７を備えている。

動画再生装置１６は、動画生成装置１５の生成した動画を、出力装置１７用の再生信号に変換する装置であり、例えば、パソコン上で動作するネットワークメディアプレーヤーなどの動画プレーヤーや、ＭＰＥＧデコーダなどが挙げられる。

出力装置１７は、動画再生装置１６からの再生信号に基づいて動画を出力するとともに、楽曲音声を出力する装置であり、例えば、ディスプレイやスピーカーが挙げられる。

シナリオ作成装置のブロック図 画像処理装置のブロック図 第１実施形態に係るシナリオ生成処理の流れを示すフローチャート 楽曲の構成要素と画像群との関連づけ（楽曲のフレーズと画像のイベントの関連づけ）の一例を示す図 楽曲の構成要素と画像群との関連づけ（楽曲のサビと類似像群の関連づけ）の一例を示す図 楽曲の構成要素と画像群との関連づけ（楽曲の各フレーズと各類似像群の関連づけ）の一例を示す図 楽曲の構成要素と画像群との関連づけ（楽曲のサビとサビ用画像群の関連づけ）の一例を示す図 拍または裏拍と画像との関連づけの一例を示す図 シナリオの一例を示す図 第２実施形態に係るシナリオ生成処理の流れを示すフローチャート 動画作成装置のブロック図 動画生成処理の流れを示すフローチャート 動画出力装置のブロック図

符号の説明

１１：画像入力装置、１２：楽曲入力装置、１３：入力装置、１４：シナリオ生成装置、１５：動画生成装置、１６：動画再生装置、１７：出力装置

Claims (6)

1. 楽曲の構成に関する特徴量及び前記楽曲の拍または裏拍に関する特徴量からなる楽曲の特徴量を抽出するステップと、
   抽出された楽曲の構成に関する特徴量に基づいて楽曲の構成を抽出し、該抽出結果に基づいて楽曲を複数の構成部分に分割するステップと、
   画像の特徴量を解析するステップと、
   前記画像の特徴量が共通または類似する画像を同一の画像群に分類するステップと、
   前記楽曲の構成に関する特徴量と前記分類された画像群の特徴量とに応じて、前記楽曲の構成部分と前記分類された画像群とを関連づけるステップと、
   前記楽曲の各構成部分における拍または裏拍に関する特徴量と前記楽曲の各構成部分に関連づけられた画像群に含まれる各画像の特徴量とに応じて、前記楽曲の各構成部分の拍または裏拍と前記各画像とを関連づけるステップと、
   関連づけられた楽曲と画像とを同期して再生可能な動画シナリオを生成するステップと、
   を含む楽曲画像シンクロ動画シナリオ生成方法。
2. 前記画像の特徴量は、画像のボケまたはブレに関する評価値を含み、
   前記評価値に基づいて、前記楽曲の構成部分に関連づけるべき画像を排除するステップと、
   をさらに含む請求項１に記載の楽曲画像シンクロ動画シナリオ生成方法。
3. 前記動画シナリオに基づいて、楽曲に同期して再生可能な動画を生成するステップをさらに含む請求項１または２に記載の楽曲画像シンクロ動画シナリオ生成方法。
4. 前記生成された動画を再生するステップをさらに含む請求項３に記載の楽曲画像シンクロ動画シナリオ生成方法。
5. 請求項１〜４のいずれかに記載の楽曲画像シンクロ動画シナリオ生成方法を演算装置に実行させるための楽曲画像シンクロ動画シナリオ生成プログラム。
6. 請求項５に記載の楽曲画像シンクロ動画シナリオ生成プログラムを記憶する記憶部と、
   前記記憶部の楽曲画像シンクロ動画シナリオ生成プログラムを実行する演算装置と、
   を備える楽曲画像シンクロ動画シナリオ生成装置。

Images