JP4202964B2

JP4202964B2 - 映像データへの楽曲データ付加装置

Info

Publication number: JP4202964B2
Application number: JP2004137517A
Authority: JP
Inventors: 敏雄茂出木
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2004-05-06
Filing date: 2004-05-06
Publication date: 2008-12-24
Anticipated expiration: 2024-05-06
Also published as: JP2005321460A

Description

本発明は、放送、ストリーミング伝送、ＤＶＤ映像パッケージなどの民生・業務用途における映像コンテンツの制作分野において好適な映像・音楽データの加工技術に関する。

映像（動画像）を主体とした番組を制作する際には、セリフ、ナレーションといった音声とともに、音響効果としてＢＧＭや効果音が挿入されることがよく行われている。ドラマやドキュメンタリーなどではストーリーに合わせて映像を盛り上げるために、特に楽曲の選定は重要であり、基本的にサウンドデザイナーの手作業に頼らざるを得ず、ストーリーに合わせて新規に作曲されることもある。しかし、環境映像やＣＧアニメーションなどのバックに流す音楽は、ちょうどカラオケのバックに流す環境映像のようにストーリー性は要求されないため、それほど慎重に楽曲を選定する必要はなく、できるだけ著作権料や編集コストを安価に抑えることが望まれる。近年、映像にＢＧＭを付加するＭＡ（Multi Audio, Multitrack Audio recording）作業を効率化する技術についても、いくつか提案されてきている（例えば、特許文献１〜２参照）。

特開２００１−３１２４９７号公報特開２００４−２９３２４号公報

上記特許文献１に記載の発明は、文書の内容分類に基づいて最適な楽曲を選定するものであるが、対象が分類分けを明確に行える文書に限定され、分類と楽曲選択のロジック部分で設計者の主観が入るという問題がある。また、上記特許文献２に記載の発明は、映像・音声コンテンツに連動させてＢＧＭを付加するものであるが、ＢＧＭの選曲がユーザの嗜好を反映させるというものであり、映像コンテンツに基づいたものとなっていない。

上記のような点に鑑み、本発明は、映像を解析し、その映像に最適な音楽を選択して、映像に付加することが可能な映像データへの楽曲データ付加装置を提供することを課題とする。

上記課題を解決するため、本発明では、映像データへの楽曲データ付加装置を、楽曲をデジタルデータ化した楽曲データを複数記憶した楽曲データ記憶手段と、前記楽曲データに対して音響解析を実施して算出された音量、音高、音符数、和声、倍音、テンポの６項目の各パラメータを音響感性パラメータとして、前記楽曲データを特定する情報と対応づけて記録した音響感性パラメータ記憶手段と、映像データに対して映像解析を実施してコントラスト、色相、彩度、明度、色数、フレーム変動の６項目の各パラメータを映像感性パラメータとして算出する映像解析手段と、前記映像感性パラメータのコントラストを前記音響感性パラメータの音量に、前記映像感性パラメータの色相を前記音響感性パラメータの音高に、前記映像感性パラメータの彩度を前記音響感性パラメータの音符数に、前記映像感性パラメータの明度を前記音響感性パラメータの和声に、前記映像感性パラメータの色数を前記音響感性パラメータの倍音に、前記映像感性パラメータのフレーム変動を前記音響感性パラメータのテンポに、各映像感性パラメータ、各音響感性パラメータをその値が上位から下位まで所定数の区分に分けた場合に、対応する区分となるように変換するパラメータ変換手段と、前記映像感性パラメータから変換された前記音響感性パラメータを基に、前記音響感性パラメータ記憶手段を検索し、該当する楽曲特定情報を１以上抽出して、利用者に提示する検索実行手段と、前記検索実行手段により提示された楽曲特定情報の中から利用者により選択された楽曲特定情報に対応する楽曲データを前記楽曲データ記憶手段から抽出し、抽出された楽曲データを前記映像データに対応付けて付加する楽曲データ付加手段を有する構成としたことを特徴とする。

本発明によれば、楽曲データの内容を解析して音量、音高、音符数、和声、倍音、テンポの６項目の各パラメータを音響感性パラメータとして算出しておき、対象とする映像データの解析を行ってコントラスト、色相、彩度、明度、色数、フレーム変動の６項目の各パラメータを映像感性パラメータとして算出し、各映像感性パラメータ、各音響感性パラメータをその値が上位から下位まで所定数の区分に分けた場合に、対応する区分となるように変換し、対応する楽曲データを抽出し、抽出した楽曲データを映像データに付加するようにしたので、映像データの内容に最適な楽曲データを容易に選択して付加することが可能となる。

以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．楽曲データの準備）
まず、楽曲が記録された音響信号をデジタル化した楽曲データについて説明する。時系列信号として与えられたアナログ音響信号を従来の一般的なＰＣＭの手法を用いてデジタル化する。具体的には、所定のサンプリング周波数でアナログ音響信号をサンプリングし、振幅を所定の量子化ビット数を用いてデジタルデータに変換する処理を行う。このようにしてデジタル化した音響信号は、量子化ビット数に応じた値をもつサンプルの時系列の集合となる。例えば、サンプリング周波数を４８ｋＨｚ、量子化ビット数を１６ビットとした場合、１秒間のアナログ音響信号は、−３２７６８〜３２７６７の値をとるサンプル４８０００個からなるデジタル音響信号に変換されることになる。このようにして得られたデジタル音響信号の各サンプルｉ（ｉ＝０〜Ｓ−１）の値をＸ（ｉ）とする。例えば、３分間のステレオ音楽の場合、サンプリング周波数を４８ｋＨｚとすると、サンプル数Ｓ＝１７２８００００（＝４８０００×２×１８０）となる。なお、ステレオ音楽の場合、元の左右の信号から得られたサンプルは、交互に記録されることになる。

（２．音響感性パラメータの作成）
上記のようなデジタル音響信号すなわち楽曲データに対して、検索用の各音響感性パラメータを算出する。具体的には、専用のソフトウェアが搭載されたコンピュータに、対象とする楽曲データを読み込ませ、読み込んだ楽曲データに対して、以下の各数式に従った処理を行うことにより算出される。音楽のダイナミックレンジを表す音量パラメータＰｖは以下の〔数式１〕により算出される。

〔数式１〕
Ｐｖ＝２０・ｌｏｇ₁₀（Σ_i=0,S-1｜Ｘ(ｉ)｜／Ｓ）

上記〔数式１〕においては、楽曲データを構成するＳ個のサンプルの絶対値の平均の対数をとり、それに２０を乗じることにより音量パラメータＰｖを算出している。すなわち、この音量パラメータＰｖが大きいほど全体として音量が大きい楽曲であるということになる。

また、音楽の左右空間的な広がりを示すステレオパラメータＰｓは以下の〔数式２〕により算出される。

〔数式２〕
Ｐｓ＝２０・ｌｏｇ₁₀（Σ_i=0,S/2-1｜Ｒ(ｉ)｜・２／Ｓ）
但し、｜ｘ(２ｉ)｜≧｜ｘ(２ｉ＋１)｜のときＲ(ｉ)＝ｘ(２ｉ)／ｘ(２ｉ＋１)
｜ｘ(２ｉ)｜＜｜ｘ(２ｉ＋１)｜のときＲ(ｉ)＝ｘ(２ｉ＋１)／ｘ(２ｉ)

上記〔数式２〕においては、連続する偶数番目と奇数番目のサンプル値の絶対値の大きさに応じてＲ(ｉ)の算出を異ならせており、｜Ｒ(ｉ)｜の値が必ず１以上の値をとるようにしている。なお、連続する偶数番目のサンプルと奇数番目のサンプルは同時刻における左右のチャンネルのサンプルを表している。すなわち、このステレオパラメータＰｓが大きいほど全体として広がりのある楽曲であるということになる。

音高パラメータＰｐ、音符数パラメータＰｎ、和声パラメータＰｈ、倍音パラメータＰｏの算出のためには、元の楽曲データの周波数成分の特徴が必要となる。このため、上記楽曲データに対して、所定のサンプル数からなる解析フレーム単位で周波数解析を行い、スペクトルＺ（ｎ）を算出する。本実施形態では、ｎをＭＩＤＩ符号におけるノートナンバーに対応させている。ＭＩＤＩ符号におけるノートナンバーは、０〜１２７までの１２８通りの値をとり、それぞれピアノの鍵盤の１つのキーを示すことになる。すなわち、Ｚ（ｎ）は各音階における音の強度を表すことになる。

具体的には、あらかじめ周波数の異なる１２８個の周期関数を調和信号として用意しておき、あらかじめ用意された１２８個の周期関数と、単位区間内の区間信号との相関を求める演算を行うことになる。本実施形態では、周期関数として三角関数を用意している。これらの三角関数は、同一周波数をもった正弦関数ｓｉｎ（２πｆ（ｎ）ｉ／Ｆ）と余弦関数ｃｏｓ（２πｆ（ｎ）ｉ／Ｆ）との対から構成されており、１２８通りの標準周波数ｆ（０）〜ｆ（１２７）のそれぞれについて、正弦関数および余弦関数の対が定義されていることになる。ここでは、同一の周波数をもった正弦関数および余弦関数からなる一対の関数を、当該周波数についての周期関数として定義することにする。すなわち、ある特定の周波数についての周期関数は、一対の正弦関数および余弦関数によって構成されることになる。このように、一対の正弦関数と余弦関数とにより周期関数を定義するのは、信号に対する周期関数の相関値を求める際に、相関値が位相の影響を受ける事を考慮するためである。なお、各三角関数内の変数Ｆおよびｉは、音響信号Ｘについてのサンプリング周波数Ｆ（例えば、４４．１ｋＨｚ）およびサンプル番号ｉに相当する変数である。例えば、周波数ｆ（０）についての正弦波は、ｓｉｎ（２πｆ（０）ｉ／Ｆ）で示され、任意のサンプル番号ｉを与えると、区間信号を構成する第ｉ番目のサンプルと同一時間位置における周期関数の振幅値が得られる。ここでは、１２８通りの標準周波数ｆ（０）〜ｆ（１２７）を以下に示す〔数式３〕で定義する。

〔数式３〕
ｆ（ｎ）＝４４０×２^γ(n)
γ（ｎ）＝（ｎ−６９）／１２
ただし、ｎ＝０，１，２，・・・，１２７

このような式によって標準周波数を定義しておくと、ＭＩＤＩデータに対応した音高が得られることになる。なぜなら、このような定義によって設定される１２８通りの標準周波数ｆ（０）〜ｆ（１２７）は、等比級数をなす周波数値をとることになり、ＭＩＤＩデータで利用されるノートナンバーに対応した周波数になるからである。したがって、１２８通りの標準周波数ｆ（０）〜ｆ（１２７）は、対数尺度で示した周波数軸上に等間隔（ＭＩＤＩにおける半音単位）に設定した周波数ということになる。

続いて、任意の区間の区間信号に対する各周期関数の相関の求め方について、具体的な説明を行う。ここでは、区間長Ｔをもった解析フレームｋについて、サンプリング周波数Ｆでサンプリングが行なわれており、全部でＴ組（ステレオの場合２Ｔ個）のサンプル値が得られているものとする。この場合、任意のサンプル番号ｉについては、Ｘ（ｉ）なる振幅値がデジタルデータとして与えられていることになる。

このような音響信号Ｘ（ｉ）に対して、上記の周期関数を利用して、以下の〔数式４〕により周波数解析が行われることになる。

〔数式４〕
Ｚk(n)＝[[Σ_i=kT,kT+T-1 (Ｘ(２ｉ)＋Ｘ(２ｉ+１)) ／(２・cos (２πｆ(n)ｉ／Ｆ)) ]²＋[Σ_i=kT,kT+T-1 (Ｘ(２ｉ)＋Ｘ(２ｉ+１)) ／(２・sin (２πｆ(n)ｉ／Ｆ)) ]² ]^1/4

上記〔数式４〕において、Ｘ（２ｉ）、Ｘ（２ｉ＋１）は、デジタル音響信号Ｘにおけるサンプル番号ｉの振幅値であり、ｓｉｎ（２πｆ(n)ｉ／Ｆ）、ｃｏｓ（２πｆ(n)ｉ／Ｆ）は、時間軸上での同位置における正弦関数、余弦関数の振幅値である。

上記のような周波数解析を楽曲データの全区間に渡って行う。すなわち、各解析フレームを２Ｔサンプルとした場合、Ｋ（＝Ｓ／(２Ｔ)）個の解析フレームについて行うことになる。この結果、ｋ（ｋ＝０，…，Ｋ−１）番目の解析フレームについて各周波数（ここではノートナンバーｎ）に対応した強度値Ｚｋ（ｎ）が得られることになる。

周波数解析の結果であるＺｋ（ｎ）を利用して、音楽の平均的な音域を示す音高パラメータＰｐは以下の〔数式５〕により算出される。

〔数式５〕
Ｐｐ＝[Σ_k=0,K-1｛Σ_n=0,N-1ｎ・Ｚｋ(ｎ)／Σ_n=0,N-1Ｚｋ(ｎ) ｝]／Ｋ

また、合奏されている楽器数に比例して音色の豊かさを示す音符数パラメータＰｎは以下の〔数式６〕により算出される。

〔数式６〕
Ｐｎ＝｛Σ_k=0,K-1Ｃ(ｋ)｝／Ｋ
ただし、Ｃ(ｋ)はフレームｋにおいて、Ｚｋ(ｎ)＞閾値となるｎの総数

また、音楽の調性・明るさ、短調系・長調系を示す和声パラメータＰｈは以下の〔数式７〕により算出される。

〔数式７〕
Ｐｈ＝[Σ_k=0,K-1｛Ｚｋ(ｍ＋４) −Ｚｋ(ｍ＋３)＋Ｚｋ(ｍ＋１６)−Ｚｋ(ｍ＋１５)＋Ｚｋ(ｍ−８)−Ｚｋ(ｍ−９)｝／６]／Ｋ

上記〔数式７〕中、ｍはフレームｋにおいてｎ＝０〜Ｎ−１の中でＺｋ(ｎ)が最大となる場合のｎを意味する。すなわち、ｍは強度が最大となる音階を示している。また、上記〔数式７〕中、Ｚｋ(ｍ＋４)はｍの長三度の音程（＋４半音）、Ｚｋ(ｍ＋３) はｍの短三度の音程（＋３半音）を示し、Ｚｋ(ｍ＋１６)はｍの１オクターブ上の音程の長三度の音程（＋１２＋４半音）、Ｚｋ(ｍ＋１５) はｍの１オクターブ上の音程の短三度の音程（＋１２＋３半音）を示し、Ｚｋ(ｍ−８) はｍの１オクターブ下の音程の長三度の音程（−１２＋４半音）を示し、Ｚｋ(ｍ−９) はｍの１オクターブ上の音程の短三度の音程（−１２＋３半音）を示している。つまり、上記〔数式７〕は、最大強度となるｍの上下オクターブ音を含めて長三度の音程が短三度の音程よりどの程度大きいのかを算出することになる。

また、倍音の豊かさ、音色の豊かさを示す倍音パラメータＰｏは以下の〔数式８〕により算出される。

〔数式８〕
Ｐｏ＝[Σ_k=0,K-1｛Σ_n=0,N-1(Ｚｋ(ｎ)＋Ｚｋ(ｎ＋１２) ＋Ｚｋ(ｎ＋１９) ＋Ｚｋ(ｎ＋２４)｝／４]／Ｋ

上記〔数式８〕において、ｎ＋１２、ｎ＋１９、ｎ＋２４は、それぞれｎの２倍、３倍、４倍の周波数となる音階を示している。

テンポパラメータＰｔ、リズムパラメータＰｒの算出のためには、元のデジタル音響信号を間引いたものについての周波数成分の特徴が必要となる。そのため、デジタル音響信号を構成するサンプルを１／６０に間引く処理を行う。具体的には、｛Ｘ（ｉ）＋Ｘ（ｉ＋２）＋，…，＋Ｘ（ｉ＋１１８）｝／６０からなる６０サンプルごとの平均値を新たなサンプルの値Ｙ₁（ｊ）とし、｛Ｘ（ｉ＋１）＋Ｘ（ｉ＋３）＋，…，＋Ｘ（ｉ＋１１９）｝／６０からなる６０サンプルごとの平均値を新たなサンプルの値Ｙ₂（ｊ）とする処理を行う。この場合、左右のチャンネル別に行う必要があるので、偶数番目の６０サンプルを１サンプルに、奇数番目の６０サンプルを１サンプルにそれぞれ間引くことになる。この結果、Ｓサンプルあったデジタル音響信号は、Ｓ／６０サンプルとなる。続いて、間引き後の楽曲データＹ₁（ｊ）、Ｙ₂（ｊ）に対して上記と同様に周波数解析を行う。具体的には、間引き処理と周波数解析は、以下の〔数式９〕により算出されることになる。なお、〔数式９〕におけるＹ(ｊ)としては、Ｙ₁（ｊ）、Ｙ₂（ｊ）の２つについて算出を行う。

〔数式９〕
Ｚk(n)＝[[Σ_j=kT,kT+T-1 Ｙ(ｊ) ・cos (２πｆ(n)ｊ／Ｆ) ]² ＋[Σ_j=kT,kT+T-1Ｙ(ｊ) ・sin (２πｆ(n)ｊ／Ｆ) ]² ]^1/4

この場合も解析フレームは間引き後の２Ｔサンプルとしているので、全体の解析フレーム数が減り、Ｌ（＝Ｋ／６０）個となる。このため、上記楽曲データに対して、所定のサンプル数からなる解析フレームｋ（ｋ＝０〜Ｌ−１）単位で周波数解析を行い、スペクトルＺｋ（ｎ）が算出される。テンポパラメータＰｔ、リズムパラメータＰｒの算出には、各解析フレームｋにおいて値が大きい最上位２つのＺｋ（ｎ）のノートナンバーＭ１（ｋ）、Ｍ２（ｋ）（Ｍ１（ｋ）＜Ｍ２（ｋ））を用いる。

周波数解析の結果であるＭ１（ｋ）、Ｍ２（ｋ）を利用して、平均的な基本ビート・テンポを示すテンポパラメータＰｔは以下の〔数式１０〕により算出される。

〔数式１０〕
Ｐｔ＝｛Σ_k=0,L-1４４０・２^{(M2(k)-64)/12}｝／Ｌ
ただし、単位はＢＰＭ（１分あたりの拍数）

また、平均的なリズム・拍子を示すリズムパラメータＰｒは以下の〔数式１１〕により算出される。

〔数式１１〕
Ｐｒ＝｛Σ_k=0,L-1１００・２^{(M1(k)-M2(k))/12}｝／Ｌ

上記〔数式１〕〜〔数式１１〕を利用して算出したパラメータは、楽曲データとは独立した音響感性パラメータ記憶手段２０に記録される。音響感性パラメータ記憶手段２０には、前記各音響感性パラメータを記憶するが、さらに、各音響感性パラメータについて、音響感性パラメータ記憶手段２０に記録されている全同一パラメータ項目における順位を算出し、記憶する。これは、登録された楽曲の中から相対的な感性特徴に基づいて検索するために用意される。

（３．楽曲データ付加装置）
次に、楽曲データ付加装置について説明する。図１は第１の実施形態における楽曲データ付加装置の構成図である。図１において、１０は楽曲データ記憶手段、２０は音響感性パラメータ記憶手段、３０は映像解析手段、４０はパラメータ変換手段、５０は検索実行手段、６０は楽曲データ付加手段である。図１に示す楽曲データ付加装置は、ハードウェアとしてはコンピュータ本体およびその周辺機器で構成され、これらのハードウェアに各手段として機能するための専用のソフトウェアを搭載することにより実現される。

楽曲データ記憶手段１０は、選択対象とする楽曲データを記憶するためのものである。楽曲データとしては、アナログ音響信号をＰＣＭ等の手法によりデジタル化した非圧縮のデジタル音響信号の形式で記録しても良いし、デジタル音響信号をさらにロスレス型圧縮で符号化した符号化データの形式で記録しても良い。いずれにしても楽曲データは、楽曲データを特定するための楽曲ＩＤをもたせて記録される。

音響感性パラメータ記憶手段２０は、上述のようにして、各楽曲データに対して算出された８つの音響感性パラメータを記憶するためのものである。具体的には、各楽曲データの楽曲ＩＤと対応付けて記録される。本実施形態では、上記音響感性パラメータのうち、ステレオパラメータＰｓ、リズムパラメータＰｒを除いた６つの音響感性パラメータを使用することになる。したがって、音量パラメータＰｖ、音高パラメータＰｐ、音符数パラメータＰｎ、和声パラメータＰｈ、倍音パラメータＰｏ、テンポパラメータＰｔの６つの各音響感性パラメータと楽曲ＩＤとを対応付けて記録しておいても良い。また、上述のように、各音響感性パラメータの全楽曲中の順位も記録されている。図２に音響感性パラメータ記憶手段に記憶された情報の一例を示す。３０００曲の楽曲データが記録されている場合、「０００１」〜「３０００」の各楽曲ＩＤに対応して各楽曲データについて算出した感性パラメータが記録される。図２において、各パラメータ値の記録欄には、「／」の記号を境にしてパラメータ値と順位が記録されている。

映像解析手段３０は、処理対象とする映像ファイルの内容を解析する機能を有している。具体的には、複数の映像フレームで構成される映像データについて、その内容を解析し、色数、フレーム変動、色相、彩度、明度、コントラストの６つの映像感性パラメータを算出する。ここで、各映像感性パラメータの算出手法について説明しておく。本実施形態では、処理対象とする映像データが複数の映像フレーム（１秒３０フレーム程度）で記録され、各映像フレームを構成する各画素がＲ，Ｇ，Ｂそれぞれ８ビットで記録されている場合を例にとって説明する。

色数パラメータの算出については、まず、各フレームに何通りの画素値が使用されているかを算出する。本実施形態では、Ｒ、Ｇ、Ｂの各原色が８ビットで表現されているため、１画素について約１６７７万通りの組合せが有りうるが、あまり細かくし過ぎても意味がないので、各画素各原色の値を１６で除算して、０〜１５の１６段階の値に変換し、この１６段階のいずれに属するかにより、何通りの画素値を使用しているかの判断とする。すなわち、ｆ番目のフレームｆの各画素（ｘ，ｙ）の各原色Ｒ、Ｇ、Ｂの値を、Ｒ（ｆ，ｘ，ｙ）、Ｇ（ｆ，ｘ，ｙ）、Ｂ（ｆ，ｘ，ｙ）とした場合、Ｒ（ｆ，ｘ，ｙ）、Ｇ（ｆ，ｘ，ｙ）、Ｂ（ｆ，ｘ，ｙ）の値を１６で割って、０〜１５の１６段階に変換し、フレームｆ内全画素のＲＧＢ組合せの頻度を算出し、０以外の頻度になるＲＧＢ組合せ数をカウントする。最小は１で最大は４０９６となる。各フレームについての色数を算出したら、全フレームについて、その色数の平均を算出する。色数平均値が１〜９９の場合、色数パラメータを「下位」とし、色数平均値が１００〜５００の場合、色数パラメータを「中位」とし、色数平均値が５０１〜４０９６の場合、色数パラメータを「上位」とする。

フレーム変動パラメータの算出については、まず、ｆ番目のフレームｆの各画素（ｘ，ｙ）の各原色Ｒ、Ｇ、Ｂの値を、Ｒ（ｆ，ｘ，ｙ）、Ｇ（ｆ，ｘ，ｙ）、Ｂ（ｆ，ｘ，ｙ）と、ｆ−１番目のフレームｆ−１の各画素（ｘ，ｙ）の各原色Ｒ、Ｇ、Ｂの値を、Ｒ（ｆ−１，ｘ，ｙ）、Ｇ（ｆ−１，ｘ，ｙ）、Ｂ（ｆ−１，ｘ，ｙ）を利用して、以下の〔数式１２〕により、フレーム間画素差分Ｄ（ｘ，ｙ）を算出する。

〔数式１２〕
Ｄ（ｘ，ｙ）＝〔｛Ｒ（ｆ，ｘ，ｙ）−Ｒ（ｆ−１，ｘ，ｙ）｝²＋｛Ｇ（ｆ，ｘ，ｙ）−Ｇ（ｆ−１，ｘ，ｙ）｝²＋｛Ｂ（ｆ，ｘ，ｙ）−Ｂ（ｆ−１，ｘ，ｙ）｝²〕^1/2

上記〔数式１２〕においては、結局、隣接するフレーム間の各画素の各色同士の差分の二乗平均を算出していることになる。上記〔数式１２〕を用いてフレームｆにおける全画素（ｘ，ｙ）についてＤ（ｘ，ｙ）を算出した後、その平均値を算出し、さらに、先頭フレームを除く全フレームについての平均値を算出する。このフレーム間差分値の平均値が０〜４９の場合はフレーム変動パラメータを「下位」とし、フレーム間差分値の平均値が５０〜１５０の場合はフレーム変動パラメータを「中位」とし、フレーム間差分値の平均値が１５１〜４４１の場合はフレーム変動パラメータを「上位」とする。

色相、彩度、明度、コントラストの各パラメータを算出するためには、各フレームの画素のＲＧＢの値をＨＳＶに変換する必要がある。このような、Ｒ，Ｇ，ＢをＨ，Ｓ，Ｖに変換する手法は周知の手法を用いることができるが、具体的に説明しておく。０≦Ｒ≦２５５、０≦Ｇ≦２５５、０≦Ｂ≦２５５、０≦Ｈ≦３６０、０≦Ｓ≦２５５、０≦Ｖ≦２５５とし、Ｒ，Ｇ，Ｂの最大値をＭａｘ、Ｒ，Ｇ，Ｂの最小値をＭｉｎとすると、Ｈ，Ｓ，Ｖは、以下の〔数式１３〕により算出される。

〔数式１３〕
Ｖ＝Ｍａｘ
Ｓ＝２５５×（Ｍａｘ−Ｍｉｎ）／Ｍａｘ
ｒ＝（Ｍａｘ−Ｒ）／（Ｍａｘ−Ｍｉｎ）
ｇ＝（Ｍａｘ−Ｇ）／（Ｍａｘ−Ｍｉｎ）
ｂ＝（Ｍａｘ−Ｂ）／（Ｍａｘ−Ｍｉｎ）
Ｒが最大のとき、Ｈ＝６０×（ｂ−ｇ）
Ｇが最大のとき、Ｈ＝６０×（ｒ−ｂ）＋１２０
Ｂが最大のとき、Ｈ＝６０×（ｇ−ｒ）＋２４０
（Ｈ＜０の場合、Ｈ←Ｈ＋３６０で正値にする）

なお、上記〔数式１３〕において、Ｍａｘが０の場合はＳ＝０とし、Ｍａｘ−Ｍｉｎが０の場合はｒ＝０とする。全フレームの全画素についてＨＳＶの値が算出できたら、全フレーム全画素のＨ、Ｓ、Ｖの平均値を算出する。Ｈの平均値が０〜１１９の場合は色相パラメータを「下位」とし、Ｈの平均値が１２０〜２３９の場合は色相パラメータを「中位」とし、Ｈの平均値が２４０〜３５９の場合は色相パラメータを「上位」とする。また、Ｓの平均値が０〜４９の場合は彩度パラメータを「下位」とし、Ｓの平均値が５０〜１５０の場合は彩度パラメータを「中位」とし、Ｓの平均値が１５１〜２５５の場合は彩度パラメータを「上位」とする。また、Ｖの平均値が０〜４９の場合は明度パラメータを「下位」とし、Ｖの平均値が５０〜１５０の場合は明度パラメータを「中位」とし、Ｖの平均値が１５１〜２５５の場合は明度パラメータを「上位」とする。

続いて、各フレーム内の全画素についてＶの最大値と最小値を求め、その差分Ｃを算出する。続いて、この差分Ｃの全フレームについての平均値を算出する。Ｃの平均値が０〜４９の場合はコントラストパラメータを「下位」とし、Ｃの平均値が５０〜１５０の場合はコントラストパラメータを「中位」とし、Ｃの平均値が１５１〜２５５の場合はコントラストパラメータを「上位」とする。

パラメータ変換手段４０は、映像解析手段により算出された映像感性パラメータを音響感性パラメータに変換する機能を有している。映像感性パラメータを音響感性パラメータに変換する場合の対応関係を図３に示す。図３に示すように、パラメータ変換手段４０は、コントラストパラメータを音量パラメータに、色相パラメータを音高パラメータに、彩度パラメータを音符数パラメータに、明度パラメータを和声パラメータに、色数パラメータを倍音パラメータに、フレーム変動パラメータをテンポパラメータに、それぞれ変換する。変換する際に、各映像感性パラメータの値は、各音響感性パラメータのパラメータ条件として設定される。例えば、コントラストパラメータの値が「上位」を示すものであれば、音量パラメータのパラメータ条件は「上位」として設定される。同様にして、各音響感性パラメータの値が、各音響感性パラメータのパラメータ条件として設定されることになる。

検索実行手段５０は、パラメータ変換手段４０により得られた音響感性パラメータのパラメータ条件を用いて検索を実行する機能を有している。検索の実行は、例えば、３０００曲の楽曲の中から検索する場合、音量パラメータが上位、すなわち、音量パラメータの順位が１位〜１０００位のものを検索する。同様に、他の音量パラメータについても検索し、各音量パラメータの全ての条件を満たす楽曲ＩＤが抽出される。

抽出された結果はディスプレイ装置の画面に表示される。具体的には、候補数の欄に抽出された楽曲の数および各楽曲の楽曲ＩＤが表示される。利用者がいずれかを選択してＯＫボタンをクリックすると、１つの楽曲が決定され、映像データに付加されることになる。

具体的には、決定された楽曲ＩＤの楽曲を付加すべき旨の情報が楽曲付加手段６０に伝達され、楽曲付加手段は指定された楽曲ＩＤに対応する楽曲データを楽曲データ記憶手段１０から抽出する。そして、映像データのフレームレートに合わせて、所定の再生時間に対応した長さのデータを楽曲データブロックとして抽出し、各映像フレームに対応付けて記録する。全映像フレームについて、楽曲データブロックを対応付けて記録することにより、楽曲データが映像データに付加されることになる。

ここで、楽曲データ付加前と付加後の映像データの構造を図４に示す。図４（ａ）は、楽曲データ付加前の映像データの構造、すなわち、映像データ記憶手段７０に記憶された映像データの構造を示している。また、図４（ｂ）は、楽曲データ付加後の映像データの構造、すなわち、楽曲データ付加手段６０により出力される映像データの構造を示している。図４（ａ）において、１，２、ｆはフレーム番号、Ｖは映像フレーム、Ａは音響データブロックを示している。図４（ａ）に示すように、処理前の映像データは、複数の映像フレームにより構成されたものとなっている。図４（ａ）に示したような映像データに対して映像解析手段３０が解析を行い、楽曲データ付加手段６０が楽曲データ記憶手段１０から抽出した楽曲データを１／３０秒単位の音響データブロックに分割し、各映像フレームと交互に記録していくことにより図４（ｂ）に示したような構造の映像データが得られることになる。図４（ｂ）に示したような楽曲データが付加された映像データを汎用的に普及している動画フォーマット（例えば、Microsoft社AVIフォーマット、Audio-Visual Interleave形式）で記録しておけば、そのままコンピュータで再生可能となる。汎用的な動画フォーマットでは、１秒間３０フレーム（正確にはＮＴＳＣ規格の１秒間29.97フレーム）で構成されていることが多く、例えば、３分の動画データであれば、５４００フレームで構成されることになる。また、映像フレームＶは、圧縮されているのが通常であり、圧縮方式により、１つの映像フレームＶから静止画像を復元できる場合もあり、他の映像フレームＶを利用しなければ静止画像を復元できない場合もある。楽曲データは、フレーム単位、すなわち１／３０秒単位で区分され、音響データブロックＡとして記録される。例えば、サンプリング周波数４８ｋＨｚでステレオ音響信号をサンプリングした場合は、１つの音響データブロックには、１／３０秒に相当する３２００サンプルが記録されることになる。

（４．複数の楽曲データの付加）
上記の例では、１つの映像データに対して１つの楽曲データを付加するようにしたが、１つの映像データに対して２以上の楽曲データを付加するようにすることも可能である。例えば、映像の状態が途中で大きく変化した場合、その映像の状態に合わせて楽曲データも変化させることが望ましい。このような処理を行う場合には、具体的には、映像解析手段３０が各映像パラメータの算出を行う際、映像パラメータを算出するための値が、あらかじめ定めた閾値以上に大きく変化している場合、その変化があったフレームの前までのフレーム群について一旦平均値を算出し、そのフレームまでの映像感性パラメータを算出する。例えば、各フレームについて算出したＣ，Ｈ，Ｓ，Ｖ，色数の値が隣接するフレーム間で大きく異なる場合、また、フレーム変動の値自体が大きい場合には、そのフレームまでの映像感性パラメータを算出することになる。そして、そのフレームから後については、別途平均値を算出して別の映像感性パラメータを算出する。このようにして、１つの映像データについて各映像感性パラメータの値が複数算出されることになる。パラメータ変換手段４０では、各映像感性パラメータについて値が複数与えられた場合には、それぞれの値に基づいて音響感性パラメータのパラメータ条件を設定し、複数の楽曲データの検索を行い、映像感性パラメータ算出の基となるＣ，Ｈ，Ｓ，Ｖ，色数等の値が大きく変化したフレームの前後で、異なる楽曲データを付加することになる。楽曲データを切り換える際は、クロスフェード（前の楽曲と次の楽曲を若干オーバーラップさせ、オーバーラップ部分で前の楽曲のレベルを徐々に下げ、次の楽曲のレベルを徐々に上げる基本的なミキシング手法）により自動的につなげることもできるが、ＭＡエンジニアによる手作業による編集が中心となる。

本発明に係る楽曲データ付加装置の構成図である。音声感性パラメータ記憶手段２０に記憶された情報の一例を示す図である。映像感性パラメータと音声感性の対応関係を示す図である。楽曲データ付加前と付加後の映像データの構造を示す図である。

符号の説明

１０・・・楽曲データ記憶手段
２０・・・音響感性パラメータ記憶手段
３０・・・映像解析手段
４０・・・パラメータ変換手段
５０・・・検索実行手段
６０・・・楽曲データ付加手段
７０・・・映像データ記憶手段

Claims

楽曲をデジタルデータ化した楽曲データを複数記憶した楽曲データ記憶手段と、
前記楽曲データに対して音響解析を実施して算出された音量、音高、音符数、和声、倍音、テンポの６項目の各パラメータを音響感性パラメータとして、前記楽曲データを特定する情報と対応づけて記録した音響感性パラメータ記憶手段と、
映像データに対して映像解析を実施してコントラスト、色相、彩度、明度、色数、フレーム変動の６項目の各パラメータを映像感性パラメータとして算出する映像解析手段と、
前記映像感性パラメータのコントラストを前記音響感性パラメータの音量に、前記映像感性パラメータの色相を前記音響感性パラメータの音高に、前記映像感性パラメータの彩度を前記音響感性パラメータの音符数に、前記映像感性パラメータの明度を前記音響感性パラメータの和声に、前記映像感性パラメータの色数を前記音響感性パラメータの倍音に、前記映像感性パラメータのフレーム変動を前記音響感性パラメータのテンポに、各映像感性パラメータ、各音響感性パラメータをその値が上位から下位まで所定数の区分に分けた場合に、対応する区分となるように変換するパラメータ変換手段と、
前記映像感性パラメータから変換された前記音響感性パラメータを基に、前記音響感性パラメータ記憶手段を検索し、該当する楽曲特定情報を１以上抽出して、利用者に提示する検索実行手段と、
前記検索実行手段により提示された楽曲特定情報の中から利用者により選択された楽曲特定情報に対応する楽曲データを前記楽曲データ記憶手段から抽出し、抽出された楽曲データを前記映像データに対応付けて付加する楽曲データ付加手段と、
を有することを特徴とする映像データへの楽曲データ付加装置。
請求項１において、
前記パラメータ変換手段は、その値を基に各映像感性パラメータ、各音響感性パラメータをともに上位、中位、下位の３つの区分に分けるものであり、各映像感性パラメータが上位の場合に、各音響感性パラメータを上位として、各映像感性パラメータが中位の場合に、各音響感性パラメータを中位として、各映像感性パラメータが下位の場合に、各音響感性パラメータを下位として、変換するものであり、
前記検索実行手段は、前記音響感性パラメータ記憶手段に記憶された各音響感性パラメータの値を参照し、前記音響感性パラメータの区分に属する音響感性パラメータの値をもつ楽曲特定情報を抽出することを特徴とする映像データへの楽曲データ付加装置。
請求項１または請求項２において、
前記楽曲データの音響解析は、楽曲データの波形データ解析、周波数解析、時間軸を間引いた周波数解析の３手法で構成され、前記音響感性パラメータの中で、波形データ解析により音量パラメータが算出され、周波数解析により、音高、音符数、和声、倍音の各パラメータが算出され、時間軸を間引いた周波数解析により、テンポパラメータが算出されるものであることを特徴とする映像データへの楽曲データ付加装置。
請求項１から請求項３のいずれかにおいて、
前記映像データの映像解析は、各映像フレーム内のＲＧＢで構成される各画素の原色の組合せから色数が算出され、隣接フレーム間の各原色同士の差分の二乗平均値によりフレーム変動が算出され、各映像フレーム内のＲＧＢで構成される各画素をＨＳＶ色空間値に変換し、Ｈのフレーム内平均値を基に色相が算出され、Ｓのフレーム内平均値を基に彩度が算出され、Ｖのフレーム内平均値を基に明度が算出され、Ｖのフレーム内の最大値と最小値の差を基にコントラストが算出されるものであることを特徴とする映像データへの楽曲データ付加装置。
請求項１から請求項４のいずれかにおいて、
前記映像解析手段によりフレーム単位に算出された映像パラメータについて、隣接フレーム間で映像パラメータの値が所定の値以上に顕著に変化する箇所がある場合、その前後の映像フレームで前記映像データを分断し、映像パラメータの平均値を分断された前後のフレーム群ごとに算出することにより、前記パラメータ変換手段に複数の映像パラメータを渡すものであることを特徴とする映像データへの楽曲データ付加装置。