JP5498017B2 - 第１特徴ベクトル及び第２特徴ベクトルの間の類似性距離を計算する方法及び装置 - Google Patents

Description

本発明は、第１音声及び／又はビデオ信号の第１特徴ベクトル及び第２音声及び／又はビデオ信号の第２特徴ベクトルの間の類似性距離を計算する方法に関する。

本発明は、更に、第１音声及び／又はビデオ信号の第１特徴ベクトル及び第２音声及び／又はビデオ信号の第２特徴ベクトルの間の類似性距離を計算する電子装置に関する。

本発明は、プログラム可能な装置を、第１音声及び／又はビデオ信号の第１特徴ベクトル及び第２音声及び／又はビデオ信号の第２特徴ベクトルの間の類似性距離を計算する方法を実行するように動作可能にするソフトウェアにも関する。

この方法の一つの実施例は、国際公開第2004/095315号から知られる。類似の音声信号を発見する既知の方法は、全ての類似する音声信号が発見されるとは限らない、又は類似されると決定される全ての音声信号が十分に類似するとは限らないことの何れかの点で、計算される類似性距離が最適でないという欠点を有する。

本発明の第１の目的は、より正確な類似性距離計算を提供する、冒頭の段落で説明される種類の方法を提供することである。

本発明の第２の目的は、より正確な類似性距離計算を提供する、冒頭の段落で説明される種類の電子装置を提供することである。

本発明に従うと、第１の目的は、前記方法が、第１特徴ベクトル及び第２特徴ベクトル間の距離を計算するステップであって、前記第１特徴ベクトル及び前記第２特徴ベクトルの両方が第２次元の特徴値を有し、第２次元よりも第１次元へ強い重み付けを与える重み付け因数が使用される、ステップを含むことにおいて実現される。実験は、より強い重み付け因数を特定の次元（特徴）、特に（音楽）分類に関して重要である次元、へ与えることによって、より正確な類似性距離計算が達成され得ることを示している。

音声及び／又はビデオ信号は、何れかの適切な供給源から生じ得る。最も一般的には、音声信号は、多数のフォーマットのうちの何れか一つのフォーマットを有しえる音声ファイルから生じ得る。音声ファイルフォーマットの例は、例えばWAVなどの無圧縮、例えばWindows（登録商標） Media Audio(WMA)などのロスレス圧縮、及びMP3(MPEG-1 Audio Layer 3)ファイル又はAAC (Advanced Audio Codec)などのロッシー圧縮フォーマットである。同様に、音声入力信号は、当業者に知られる何れかの適した技術を使用して音声信号をデジタル化することによって達成され得る。

本発明の方法の一つの実施例において、前記特徴のうちの特定の１つの特徴の前記重み付け因数が、一群の信号に関する前記特定の１つの特徴の値の分散（すなわち、一つの次元における全ての分類の全ての値の全体分散）、及び／又は信号の分類毎の前記特定の１つの特徴の平均値の分散（すなわち、一つの次元における複数の平均値の分散であり、この平均値は分類ごとに決定される）に依存し得る。このようにして、（音楽）分類に関して重要である次元は、より強い重み付けを与えられる。前記分散は、多次元空間において計算され得る。前記一群の信号は、会社若しくは組織によって所有されるコレクション、又は個人コレクションであり得る。前記一群の信号が会社又は組織によって所有されるコレクションである場合、重み付け因数は、ハードウェア又はソフトウェアにおいて事前設定され得る、又はインターネットを介してこの会社又は組織から入手可能であり得る。

前記重み付け因数は、一群の信号に関する前記特定の１つの特徴の値の分散によって除算される、信号の分類毎の前記特定の１つの特徴の平均値の分散に依存し得る。

前記重み付け因数は、前記第１又は第２音声及び／又はビデオ信号の分類（例えば、ジャンル、ムード及び／又はアーティスト）に依存し得る。前記分類は、例えば音声ファイルのID3タグなどから取得され得る。例えば、ユーザがロックソングをシード曲として選択する場合に使用される重み付け共分散行列は、ユーザがクラシック音楽をシード曲として選択する場合に使用される重み付け共分散行列とは異なり得る。

本発明に従うと、第２の目的は、電子装置が、第１特徴ベクトル及び第２特徴ベクトル間の距離を計算するように動作可能である電子回路を含み、前記第１特徴ベクトル及び前記第２特徴ベクトルの両方が第２次元の特徴値を有し、第２次元よりも第１次元へ強い重み付けを与える重み付け因数が使用される、電子装置によって実現される。

本発明の上記及び他の特徴及び有利な点は、添付の図面から明らかであり、例証を目的として、これらの図面を参照にして、更に説明される。

図面における対応する要素は、同一の参照符号によって記される。

本発明の方法は、目標の曲又は現在再生している選択項目に類似する音楽を発見するのに使用され得る。例えば、聴取者が大量の音楽のコレクションを有し、この聴取者が特に好きなトラックを聴いている場合、この聴取者は、音楽のコレクション全体において検索を開始し、最も類似する曲のリストを返し、そしてこれらを再生用に開始の合図を送り得るようなボタンを単純に押し得る。このような機能は、特定のPhilipsの民生装置におけるLikeMusic（登録商標）と称される。この機能は、ｍｐ３プレーヤ、カーラジオ、及び家庭用エンターテイメントシステムにおいて想定され、大量のローカルの音楽コレクション、ストリーミング音楽及び音声、並びに放送音楽及び音声に対して適用可能である。加えて、ユーザは、ラジオを聴き、ボタンに、ユーザのコレクションにおける類似する曲を検索するようにさせ得、また逆も同様である。LikeMusic（登録商標）アルゴリズムは、音声波形自体から自動的に抽出される特徴（信号統計）において作用し、したがって何の外部的な又は注釈付けられるメタデータも必要とされない。第１のLikeMusic（登録商標）アルゴリズムは、曲間の距離を計算するために標準統計距離測定法（マハラノビス距離）を使用した。

音楽類似性は多次元において記述され得るので、多くの場合、類似性の特定の次元を隔離することが興味深い。本発明の方法は、音楽分類に関して重要である特徴次元を重み付けするために、LikeMusic（登録商標）アルゴリズムを修正することによって、特定の知覚的類似性次元における音響パラメータから類似性距離を計算する効率的な手法を提供する。特徴次元の重み付けは、例えば、ジャンル、アーティスト、及び／又はムード分類に基づき得る。

本発明の方法の実施例において、当該方法は、始めに、各曲から特徴（記述的音声信号統計）を抽出し、各トラック名及び関連付けられる特徴を含むリストを生成する。この特徴は、広範囲の統計から生じ得る。最新のPCにおいて、これらの特徴は、数百倍の実時間で抽出される。曲が再生されている場合、当該方法は、実時間でこの曲から特徴を抽出する、又はこの曲がデータベースから生じる場合データベースリストにおいてルックアップし得る。これらの対策の間の差は、データベースにリスト化される特徴は曲全体において平均化される一方で、実時間で抽出される特徴は曲の一部分のみを表すことである（これらは、特定の時間量に関して累積され、この時間により平均化される）。両方の方法は、分析される音楽の種類に依存する良い点及び悪い点を有する（例えば、曲が様々なスタイルを含み、聴取者がこれらの特定のスタイルのうちの１つのみに興味がある場合、この目的に関して、局所的な分析は、曲全体における平均化された分析よりも優れている）。しかし、大抵の場合、曲のスタイルは、あまり変化せず、両方の方法は、同一の結果を提供する。

自動的に、又はボタンを押すことによって実行される推薦工程は、現在再生している選択項目の特徴をルックアップする、又は計算する、のいずれかを実行し、現在の曲とデータベースにおける全ての曲との間の距離尺度Dを計算し、そして最も近い２０の曲を推薦し得る。ユーザは、推薦される曲の数を調整し得、システムは、自動的にこの推薦された（類似する）曲に開始の合図を送り、再生し得る。距離尺度Dは、音楽分類に関して重要である次元（特徴）へより強い重み付けを与える重み付け因数を含む多次元的特徴空間における特徴ベクトル間の修正された形式のマハラノビス距離である。この特徴空間は、例えば２０次元的空間である。

音声トラック１及び音声トラック２の間の距離は、図１の式（１）を用いて計算され得、ここでμ_１及びμ_２はそれぞれトラック１及び２のベクトルであり、Wはデータベースにおける特徴ベクトルの全ての重み付け共分散行列である。重み付け共分散行列Wは、ある推薦から次の推薦へと変化しない定数である。このWは、会社又は組織によって所有される音声トラックのコレクションから決定され得る、又はユーザの個人的な音声トラックのコレクションから決定され得る。Wは、図１の式（２）を用いて計算され得、ここでCは（例えばトレーニング）データベースからの全ての特徴の共分散行列であり、gwは図１の式（３）において規定されるジャンル重み付けベクトルであり、ここで

は全体における特徴分散のベクトル（例えば、特徴１に関するジャンル１１及び１３の特徴値における分散、並びに特徴２に関するジャンル１１及び１３の特徴値の分散を含む、共分散行列Cの対角(diagonal)：図２参照）であり、ここで

はジャンル毎の平均特徴値の分散のベクトル（例えば、特徴１に関するジャンル１１の平均特徴値１５及びジャンル１３に関する平均特徴値１７の間における分散、並びに特徴２に関するジャンル１１の平均特徴値１５及びジャンル１３に関する平均特徴値１７の間における分散を含む：図２参照）である。この同種の計算は、音楽アーティスト、音楽ムード、又は音楽ジャンルの代わりに個人音楽分類に関して実行され得る。この場合、各分散は、類似性の異なる次元における距離を計算する。

当該方法は、例えば、特定用途処理器において、又はIntel Pentium（登録商標）又はAMD Athlon処理器などの汎用目的処理器などのハードウェア又はソフトウェアにおいて実行され得る。当該方法を実行する電子装置は、携帯型装置、又はメディアセンタPC／装置などの固定型装置であり得る。

本発明は、好ましい実施例に関連して開示されているが、上述される原理内のこれらの実施例の修正態様は、当業者にとって明らかであり、本発明は、上述の実施例に制限されず、このような修正態様を含むように意図されることを理解され得る。本発明は、それぞれの新規な特徴的な構造及びそれぞれの特徴的な構造の組合せに含まれる。請求項における如何なる参照符号も保護の範囲を制限しない。「有する」という動詞及びその活用形の使用は、請求項に記載される以外の異なる他の要素又はステップの存在を排除しないことは明らかである。単数形の構成要素は、複数個の斯様な構成要素の存在を排除しない。

当業者によって明らかであり得る「手段」は、単独で又は他の機能と組み合わせた場合、孤立して又は他の要素と協働した場合に、いかなるハードウェア（個別の又は集積回路若しくは電子要素など）、又は特定の機能を動作において実行する若しくは実行するように設計されるソフトウェア（プログラム又はプログラムの一部）をも含むように意図される。本発明は、いくつかの個別の要素を含むハードウェアを用いて、及び適切にプログラムされた計算機を用いて、実施化され得る。いくつかの手段を列挙している装置請求項において、これらの手段のいくつかは１つの同じハードウェアの項目によって、実施化することが可能である。「ソフトウェア」は、フロッピー（登録商標）ディスクなどの計算機読み取り可能媒体において記憶される、インターネットなどのネットワークを介してダウンロード可能である、又はいずれかのほかの方法により市販可能である、いずれかのソフトウェア製品を意味するように理解されるべきである。

図１は、本発明の実施例において使用される３つの式を示す。 図２は、特徴値が２つのジャンルに分類され得る２次元特徴空間における特徴値の例を示す。

Claims (8)

1. 特徴ベクトル間の類似性距離を計算する装置により、第１音声及び／又はビデオ信号の第１特徴ベクトル及び第２音声及び／又はビデオ信号の第２特徴ベクトルの間の類似性距離を計算する方法であって、
   −前記第１特徴ベクトル及び前記第２特徴ベクトル間の距離を計算するステップであって、前記第１特徴ベクトル及び前記第２特徴ベクトルの両方が第２次元の特徴値を有し、第２次元よりも第１次元へ強い重み付けを与える重み付け因数が使用される、ステップ
   を含む方法において、前記重み付け因数は、信号の一群の特徴に依存することを特徴とする方法。
2. 請求項１に記載の方法であって、該特徴のうちの特定の１つの特徴の前記重み付け因数が、信号の一群に関する前記特定の１つの特徴の値の分散、及び信号の分類毎の前記特定の１つの特徴の平均値の分散、に依存する、方法。
3. 請求項２に記載の方法、前記重み付け因数が、信号の一群に関する前記特定の１つの特徴の値の分散によって除算される、信号の分類毎の前記特定の１つの特徴の平均値の分散に依存する、方法。
4. 請求項１に記載の方法であって、前記重み付け因数が、前記第１音声、第２音声及びビデオ信号のうちの少なくとも１つの種類に依存する、方法。
5. 請求項１に記載の方法において使用する重み付け因数を計算する方法であって、
   該特徴のうちの特定の１つの特徴の前記重み付け因数が、信号の一群に関する前記特定の１つの特徴の値の分散、及び信号の分類毎の前記特定の１つの特徴の平均値の分散、に依存する、方法。
6. 請求項５に記載の方法であって、前記重み付け因数が、信号の一群に関する前記特定の１つの特徴の値の分散によって除算される、信号の分類毎の前記特定の１つの特徴の平均値の分散に依存する、方法。
7. プログラム可能な装置に、請求項１又は５に記載の方法を実行するように動作可能にさせるソフトウェア。
8. 音声及び／又はビデオ信号の第１特徴ベクトル及び第２特徴ベクトルの間の類似性距離を計算する電子装置であって、当該電子装置が、
   −前記第１特徴ベクトル及び前記第２特徴ベクトル間の距離を計算する、
   ように動作可能である電子回路を含み、前記第１特徴ベクトル及び前記第２特徴ベクトルの両方が第２次元の特徴値を有し、第２次元よりも第１次元へ強い重み付けを与える重み付け因数が使用される、
   電子装置において、前記重み付け因数は、信号の一群の特徴に依存することを特徴とする電子装置。

Images