JP4621782B2 - ディスプレイを使用することなしにオーディオコンテンツのメニューを作成及びアクセスするための方法 - Google Patents

Description

本発明は、非常に自然なやり方で、記憶されているオーディオファイルを通してユーザがブラウジングするのを可能にするオーディオマネージメントシステムに関する。本発明は、ＭＰＥＧオーディオレイヤ３（ＭＰ３）のようなオーディオコンテンツ用の大容量デジタルストレージプレイバックシステムに関する。

デジタルストレージ及びオーディオ圧縮の技術における最近の進歩に駆動されて、オーディオファイルの非常に大きなコレクションを管理する問題が主要になってきている。たとえば、現世代のＭＰ３プレーヤは、１０ギガビットのハードディスクドライブを含んでおり、このドライブにより、ユーザは、たとえば、４．０００を超えるタイトルを意味する３００時間を超えるＭＰ３ＰＲＯミュージックを記憶するのが可能となる。

信頼できるツールは、それらのコレクションをユーザにとってアクセス可能にするために必要とされる。

オーディオファイルに索引を付ける古典的なやり方は、たとえば、ＭＰ３オーディオファイルのＩＤ３タグのようなタイトル、アーティスト、アルバム又はジャンルのようなテクスチャ・メタ情報に基づいている。この類の組織化には幾つかの問題点がある。
１．メタデータはテクスチャであって、オーディオではなく、したがって、オーディオコンテンツの正確な表現を与えることができず、コンテンツの代表的な抜粋のように行うことができる。
２．ジャンル又はアーティストにより記憶される組織化により、ユーザは特定の１曲の音楽を配置することができる。これは、ユーザが何を聞きたいかを正確にわかっている、ユーザが良好に定義された目標を有していることを前提としている。方策を探しているユーザは、目標で駆動されなければならず、及び決定的でなければならない。
３．多数のジャンルが存在する。たとえば、ミュージックアーカイブｍｐ３．ｃｏｍは、１６の主要なジャンルに組織化される１８０の異なるサブジャンルの下でそのタイトルを現在列挙している。ユーザにとって、かかる組織化においてナビゲーションを行うことは困難である。
４．ジャンルは、先験的に確立され、コンテンツそれ自身から推測されないため、主観的なことがある。それらは、解釈するのが困難なことがある。
５．ジャンルによる分類は、たとえば、「この１曲の音楽は私をリラックスさせる。これに類似した曲をもっと聞きたい」のようなユーザニーズを非常に簡単に満たすことができない。

本発明は、上記の問題点を克服するために対処される。

本発明は、オーディオコンテンツの簡単な例（見本）を使用して、たとえばＭＰ３といった大量のオーディオファイルを通してナビゲーションを行うための処理及びシステムを扱う。ユーザがミュージックトラックを選択する前に、彼は、オーディオサムネイル（audio thumbnail）と以下で呼ばれる、簡単な代表的な引用を聞くことの利益を得ることができる。オーディオサムネイルは、たとえば５又は６秒の音楽を認識するに十分な長さからなる。

記憶されたオーディオファイルは、幾つかの関係した、主観的な記述子を抽出するために前もって処理される。本発明によれば、これらの記述子は、ミュージックトラックを知覚によって同種のグループにクラスタリングするために使用される。それぞれのクラスタから、関連するトラックが自動的又は手動的、若しくは半自動的に選択され、該選択されたトラックから、オーディオサムネイルが抽出される。次いで、これらキーフレーズであるオーディオサムネイルは、ディスプレイのような視覚的なナビゲーション手段なしにユーザがナビゲーションするのを可能にする、ツリーデータ構造、又はコンテンツのテーブルに配列される。

さらに、オーディオサムネイルにより、ユーザは、タイトル又は俳優名のようなテクスチャエレメントを思い出す必要なしに、オーディオデータベースを通して知覚的にナビゲーションを行うことができる。何を聞きたいかに関する正確な考えなしにそれらのデータベースをブラウジングすること、及び歌のクラスタから知覚的に選択することを可能にするために特に適している。知覚的にとは、本明細書では、サムネイルがユーザの知覚に向けられ、ユーザの記憶に向けられるのではないことを意味している。また、かかるクラスタは知覚的であって、クラスタの構造がユーザにとって適切であり、したがって、該構造化が実際のユーザニーズに合致することを意味している。

本発明を使用して、ユーザは、ポップ又はカントリーのような古典的な音楽のカテゴリを超えて、プレイリストを作成することができる。本発明の例示的な実施の形態は、添付図面を参照して記載される。

オーディオメニューを使用したオーディオ再生システムの例示的なアーキテクチャである。 ディスプレイを持たない例示的なユーザインタフェースである。

本発明は、オーディオコンテンツのオーディオの例を作成、組織化及び使用するための方法を説明する。本発明の構成が図１に示されている。通常は音楽であるオーディオトラックは、記憶手段Ｓに記憶されている。トラックは、分類手段ＣＬで分類され、トラックＣ１，Ｃ２，Ｃ３のクラスタに関連付けされる。それぞれのクラスタについて、代表的な例が代表選択手段Ｒで選択される。さらに、抽出手段Ｘは、該例から特徴的なサンプルすなわちサムネイルを抽出し、サムネイルは、コンテンツのテーブルＴに関連付けされている。ユーザは、第一のサムネイルにより表される第一のクラスタを選択するためにインタフェースＩを使用し、選択されたサムネイルを聞き、別のクラスタを選択するか、又は該第一のサムネイルに関連する該第一のクラスタを選択すべきかを判定し、該クラスタに属するトラックを選択し、次いでそのトラックは、ストレージ手段Ｓから読み出され、再生される。

有利なことに、このアプローチは、前の方法よりも知覚に基づいており、したがって、ユーザにとって更に便利である。本発明に係るオーディオベースのインデックスシステムは、他のコンテンツサーチシステムから知られている２つの方法、すなわち「テーブル・オブ・コンテンツ」方法及び「ラジオ・ライク・ナビゲーション」方法を組み合わせている。

「テーブル・オブ・コンテンツ」方法は、コンテンツのブックテーブルに関連するものであって、この場合、実際のテキストを要約する短い例のシーケンスがブックスコンテンツの構造に従ってグループ化される。これは、通常、トピックスへの論理的な分類との相関付けを行う。オーディオコンテンツ向けのこの方法を使用することは、以下に定義される主観的な基準に従って、オーディオファイルからパラメータ又は記述子を抽出することを意味し、次いで、クラスタにおける同種のトラックを互いにグループ化する。ユーザの観点で、それらのコンテンツベースの性質がジャンルにおける先験的な分類よりも更に進むため、これらのクラスタは意味がある。たとえば、全てのジャンルから到来する、全てのギターミュージックのグラグメントは、クラスタで互いにグループ化される場合がある。全てのリラックスさせる音楽は、別のクラスタを構成することができる。本発明によれば、異なるクラスタは、データベースの「テーブル・オブ・コンテンツ」を構成する。さらに、コンテンツのブックステーブルにおけるように、たとえば、１章、１．１章等のような異なる詳細のレベルが存在する場合がある。読者のように、章から章へナビゲーションを行うことができ、より詳細にある章を読むことを決定する場合があり、聞き手は、クラスタからクラスタにナビゲーションするか、又はクラスタからより類似の音楽を聴くことを決定する場合がある。

「ラジオ・ライク・ナビゲーション」方法は、ラジオを聞いているとき、典型的なユーザの振る舞いに関連する。この環境でのコンテンツのブラウジングは、たとえば、ユーザが自動車のラジオでのＦＭバンドをスキャニングしており、トラックを聞いているか又は次の放送局に切り替える。本発明は、ラジオステーションがトラックのクラスタに対応する、このコンセプトを使用している。次いで、「別の放送局への切り替え」は、「別のクラスタを選択する」に対応し、及び「トラックを聞く」は、「このトラックを聞くか、又は同じクラスタから類似のトラックを聞く」に対応する。

以下では、オーディオの例を作成及び組織化する上述されたステップが更に詳細に説明され、これらのステップは、トラックがデータベースに新たに追加されたとき、データベースが再組織化されたときに実行される。

第一のステップでは、オーディオトラックから記述子が抽出される。ユーザにとって主観的であって関連性のあることを試みて、３つのタイプの記述子が使用される。

第一のタイプの記述子は、信号処理方法にとって典型的である低レベルの記述子、又は物理的な特徴である。例は、スペクトルセントロイド、短時間エネルギー又は短時間アベレージのゼロクロスである。

第二のタイプの記述子は、ミュージシャンにより典型的に使用されるように媒体レベルの記述子、又は知覚的な特徴である。例は、２進リズム又は３進リズムといったリズム、調性、たとえばボイス又は特定の楽器といったフォーメーションの種類である。

第三のタイプの記述子は、平均的なユーザにとって典型的である、高水準の記述子、又はトラックの心理学的及び社会的な特性である。これらの特徴の主観的な性質を最小にするのを試みて、幸せ又は心配、平穏又はエネルギッシュであるとして音楽を分類することが可能である。これらの特性は、所定の程度に割り当てることができるか、所定の確率により、たとえば前に記載されたタイプの記述子が使用されるときに１曲の音楽に割り当てられる。また、ある曲は高く記憶することができ、所定のムード又は情緒を伝達することができ、何かのユーザを思い出させることができる等である。これは、管理されたアルゴリズム、すなわちユーザインタラクションを必要とするアルゴリズムを使用して自動的に行われる場合がある。

第二のステップは、音楽トラックをクラスタリングすることからなる。第一のステップで定義された記述子を使用して、トラックは、同種のクラスに分類することができる。これらのクラスは、アーティスト又はタイトルにより音楽を分類するよりもユーザにとって価値がある。類似の特性をもつパケットにトラックをクラスタリングするため、管理されていないアルゴリズムが使用される場合がある。かかるアルゴリズムの例は、Ｋ−ｍｅａｎｓ又は自己組織化マップである。新たなクラスタは、新たに追加されるトラックが類似しないことが既存のクラスタに比較して所定の最小レベルに到達したときに自動的に発生される場合があり、そのケースでは、新たに追加されたトラックは、新たなクラスタと関連される。

このポイントで、トラックが分類され、したがってコンテンツのテーブルを作成することが可能である。シャープな分類が必要とされておらず、たとえば、いずれかの数のクラスタで同じトラックを有することが可能である。たとえば、あるクラスタは、ギター音楽用であり、別のクラスタは、平穏な音楽用である場合があり、両方の特徴に整合するトラックが両方のクラスタと関連付けされる場合がある。このケースでは、両方のクラスタは、かかるオーディオトラックへのリンクを含んでいる場合があるが、トラックそれ自身は、一度だけ記憶される必要がある。

第三のステップは、それぞれのクラスタについて代表的なトラックを自動的に選択することからなる。有利なことに、古典的なメドイド（medoid）選択を使用して、クラスタについて最も代表的なトラックが選択される。メドイドは、クラスタの全てのオブジェクトに対する平均の相違が最小であるクラスタのオブジェクトである。かかる相違は、たとえば、第一のステップの間に抽出された記述子を使用して決定することができる。

第四のステップでは、メドイドトラックについてオーディオサムネイルが作成され、記憶される。本発明の別の実施の形態では、オーディオサムネイルは、他のトラックについても作成され、記憶される場合がある。サムネイルの作成について、短いオーディオシーケンスによりオーディオトラックを特徴付けするためにどの基準が最良であるかが評価される。オーディオシーケンスは、たとえば５又は６秒といったトラックを認識するために十分に長い。本発明の１実施の形態では、サムネイルの長さは一定であり、第二の実施の形態では、サムネイルの長さを変更することができ、第三の実施の形態では、トラック記述子に従って、サムネイルの長さをトラックからトラックに変化することができる。さらに、本発明の１実施の形態では、サムネイルは、トラックからのオリジナルのサンプルであるか、又は別の実施の形態では、かかるトラックから自動的に合成される。

第五のステップでは、オーディオサムネイルは、バーチャルテーブルに一覧され、このバーチャルテーブルは、異なるラジオステーションを通してスキャニングするように、ユーザによりスキャニングすることができる。テーブルをスキャニングしたときに、クラスタ内で最も関連するトラック、すなわちメドイドが最初に発見されるように、テーブルが組織化される場合がある。たとえば、関連性に従って、クラスタ内の他のトラックがソートされる場合がある。有利なことに、コンテンツのテーブルを通してスキャニングするため、グラフィカルディスプレイ又はテクスチャディスプレイが必要とされない。コンテンツのテーブルの構造は、以下のようである場合がある。

ユーザは、現在のトラックを聞くか、又は同じクラスタに属している別のトラックを聞くか、従って該現在のトラックに類似している別のトラックを決定する場合がある。代替的に、ユーザは、別のクラスタからのトラックを聞くのを決定する場合がある。有利なことに、いわば「クラスタを切り替える」である、ナビゲーションシステムを動作するため、唯一のボタン、又はコマンド入力の他の手段が必要とされる。ユーザにとってより快適なのは、図２に示されるような３つのボタンをもつ装置である。１つのボタンＳＤは、「近くのクラスタに切り替える」であり、１つのボタンＳＵは、「離れたクラスタに切り替える」であり、１つのボタンＭは、「現在のクラスタから別のトラックに切り替える」である。

代替的に、ボタンが１を超える機能又はユーザ入力の他の手段を有する場合は、唯一のボタンを有することが十分である。ユーザ入力により制御される他の機能は、たとえば、ランダムトラックセレクション又はランダムクラスタセレクションモードである。別の機能は、ユーザが１つのクラスタを選択するまで全てのクラスタの典型を連続的に再生することであり、該機能は、ユーザがコンテンツのテーブルを手動的にスキャニングする必要がないので有利である。

以下、更なる実施の形態が記載される。

ぞれぞれのクラス基準が互いを排除しないとき、本発明の１実施の形態では、オーディオトラックは、唯一のクラスタに属し、別の実施の形態では、オーディオトラックは、１を超えるクラスタに属している場合がある。

本発明の１実施の形態では、コンテンツのテーブルは、先に記載された例におけるように唯一のクラスタリングのレベルを有し、別の実施の形態では、コンテンツのテーブルは、より階層的なクラスタのレベルを有することができる。

本発明の１実施の形態では、オーディオトラックのための分類のルールは最終的なものであって、別の実施の形態では、該ルールは変更される場合がある。かかる変更は、たとえばインターネットを介して更新によるか、又はたとえばＰＣへのアップロード、ＰＣからのエディット及びダウンロードであるユーザインタラクションの形態によるか、又はたとえば人工知能により使用されるような統計的又はセルフラーニング方法によるか、のいずれかで生じる場合がある。

これは、変更又は拡張されたルールによる自動又は半自動再分類が、たとえばあるクラスタに関連されるトラック数が他のクラスタに関連されるトラック数よりも非常に大きいときに実行される場合があるように実現される場合がある。

本発明の１実施の形態では、サムネイルは、クラスタを表現しているトラックについてのみ作成される場合がある。本発明の別の実施の形態では、サムネイルは、たとえば、非常に頻繁に選択されるか、又は滅多に選択されないか、若しくは非常に長く選択されているような所定の条件を満たすトラックといった、他のトラックについても作成される場合がある。第三の実施の形態では、サムネイルは、全てのトラックについて作成される。

本発明の１実施の形態では、クラスタ内のトラックは、ユーザが所定のトラックが到来したときにしばらくして学習することができるように、一定のオーダーを有する場合がある。オーダーは、トラックの関連性、若しくは、たとえばストレージタイム又は選択の頻度といった他のパラメータに従うことができる。本発明の別の実施の形態では、クラスタ内のトラックがオーダリングされないか、又はユーザがクラスタを選択したときにランダムであるように見える場合がある。

本発明の１実施の形態では、それぞれのクラスタについて選択される代表的なトラックが存在し、別の実施の形態では、たとえば、好みのクラスタであるか、又は利用される方法により分類可能でないトラックのクラスタである、かかるクラスタのうちの１つについて代表的なトラックを持たないことが有効な場合がある。

有利なことに、音楽又は他のオーディオデータの記憶及び再生のため、知覚に基づいた分類及びオーディオコンテンツの検索のための記載される方法は、たとえばＭＰ３プレーヤである、好ましくは携帯用装置である装置で使用することができる。

Claims (22)

1. 記憶手段に記憶されるオーディオコンテンツのためのメニューを作成し、又は該メニューにアクセスするための方法であって、前記コンテンツはオーディオトラックからなり、前記メニューは前記オーディオトラックの表現を含み、
   前記オーディオトラックの特徴パラメータに従って実行される分類により、前記オーディオトラックをグループ又はクラスタに分類するステップと、
   新たなオーディオトラックの追加を検出するステップと、
   前記新たなオーディオトラックの特徴パラメータを決定するステップと、
   前記新たなオーディオトラックの決定された特徴パラメータに基づき、前記新たなオーディオトラックを既存の第１のグループ又はクラスタに分類するステップと、
   前記第１のクラスタ内のトラックの数、又は前記第１のクラスタ内のトラックの相違の範囲を検出するステップと、
   検出された数、又は相違の範囲が最小レベルを上回る場合に、新たな第２のクラスタを自動的に生成するステップと、
   幾つかのオーディオトラックが前記第１のクラスタに残ったまま、前記第１のクラスタのオーディオトラックの一部を各自の特徴パラメータに基づいて前記第２のクラスタへ割り当てるステップと、
   前記第１のクラスタにとって代表的である第１のオーディオトラックを自動的に選択するステップであって、該第１のクラスタのメドイドが選択されるステップと、
   前記第２のクラスタにとって代表的である第２のオーディオトラックを自動的に選択するステップであって、該第２のクラスタのメドイドが選択されるステップと、
   前記第１のオーディオトラックから第１の再生可能なオーディオの抜粋を自動的に生成するステップと、
   前記第２のオーディオトラックから第２の再生可能なオーディオの抜粋を自動的に生成するステップと、
   前記第１のクラスタ及び前記第２のクラスタの表現として前記第１のオーディオの抜粋及び前記第２のオーディオの抜粋をメニューリストに関連付けするステップと、
   を備えることを特徴とする方法。
2. オーディオコンテンツの分類のために使用される前記特徴パラメータは、１以上のオーディオ記述子を備え、該オーディオ記述子は、前記オーディオコンテンツの物理的な特徴、又は知覚的な特徴、又は心理的若しくは社会的な特徴のいずれかである、
   請求項１記載の方法。
3. 前記オーディオトラックは、１を超えるクラスタに分類される、
   請求項１又は２記載の方法。
4. クラスタ内の前記オーディオトラックは、クラスタを選択したときに、ユーザが、該クラスタに属する、ランダムに選択されたトラックを聞くように可変の順序を有する、
   請求項１乃至３のいずれか記載の方法。
5. ユーザは、オーディオトラックの自動的な分類の結果を変更する、
   請求項１乃至４のいずれか記載の方法。
6. ユーザは、オーディオトラックの自動的な分類のための分類ルールを変更する、
   請求項１乃至５のいずれか記載の方法。
7. 前記オーディオの抜粋は、前記オーディオトラックからのサンプルである、
   請求項１乃至６のいずれか記載の方法。
8. 前記オーディオの抜粋は、クラスタの代表ではないオーディオトラックについて更に作成される、
   請求項１乃至７のいずれか記載の方法。
9. 前記オーディオの抜粋の長さは予め決定されない、
   請求項１乃至８のいずれか記載の方法。
10. 前記クラスタのうちの１つは、代表的なトラックを有さない、
    請求項１乃至９のいずれか記載の方法。
11. 前記メニューは、クラスタが１以上のサブクラスタを含むように階層的である、
    請求項１乃至１０のいずれか記載の方法。
12. 前記分類ルールは定義された前提条件が検出された場合に自動的に変更され、再分類が実行される、
    請求項１乃至１１のいずれか記載の方法。
13. 前記前提条件は、あるクラスタにおけるトラック数と別のクラスタにおけるトラック数との間の差が最大の制限値に到達することを含む、
    請求項１２記載の方法。
14. 前記前提条件は、全ての記憶されたトラックが１つのクラスタに分類され、全体のトラック数が最大の制限値に到達することを含む、
    請求項１２記載の方法。
15. 前記オーディオの抜粋は、オーディオトラックからのオリジナルのサンプルに代えて、当該オーディオトラックから生成される、
    請求項１乃至１４のいずれか記載の方法。
16. 前記第１のクラスタのオーディオトラックの幾つかを前記第２のクラスタに割り当てるステップは、どのオーディオトラックが前記第２のオーディオトラックに割り当てられるのかを決定するためにＫ−ｍｅａｎｓアルゴリズムを用いる、
    請求項１乃至１５のいずれか記載の方法。
17. 前記第１のクラスタ内のトラックの検出された数と比較される前記最小レベルは、他の既存のクラスタにあるトラックの数に依存する、
    請求項１乃至１６のいずれか記載の方法。
18. 記憶手段に記憶されるオーディオコンテンツのためのメニューを作成し、又は該メニューにアクセスするための装置であって、前記コンテンツはオーディオトラックからなり、前記メニューはオーディオトラックの表現を含み、
    前記オーディオトラックの特徴パラメータに従って実行される分類により、前記オーディオトラックをグループ又はクラスタに自動的に分類するための手段と、
    新たなオーディオトラックの追加を検出する手段と、
    前記新たなオーディオトラックの特徴パラメータを決定する手段と、
    決定された特徴パラメータに基づき、前記新たなオーディオトラックを既存のグループ又はクラスタに分類する手段と、
    前記新たなオーディオトラックが第１のクラスタである前記既存のクラスタに分類された後であって、且つオーディオトラックが当該クラスタの表現として選択される前に、当該クラスタ内のトラックの数、又は相違の範囲を検出する手段と、
    検出された数、又は相違の範囲が最小レベルを上回る場合に、新たな第２のクラスタを自動的に生成する手段と、
    幾つかのオーディオトラックが前記第１のクラスタに残ったまま、前記第１のクラスタのオーディオトラックの一部を各自の特徴パラメータに基づいて前記第２のクラスタへ割り当てる手段と、
    前記第１のクラスタにとって代表的であるオーディオトラックを自動的に選択する手段であって、前記第１のクラスタのメドイドが選択される手段と、
    前記第２のクラスタにとって代表的であるオーディオトラックを自動的に選択する手段であって、前記第２のクラスタのメドイドが選択される手段と、
    前記第１のクラスにとって代表的であるオーディオトラックから第１の再生可能なオーディオの抜粋を自動的に生成する手段と、
    前記第２のクラスにとって代表的であるオーディオトラックから第２の再生可能なオーディオの抜粋を自動的に生成する手段と、
    前記第１のクラスタの表現として前記第１のオーディオの抜粋をメニューリストに関連付けする手段と、
    前記第２のクラスタの表現として前記第２のオーディオの抜粋を前記メニューリストに関連付けする手段と、
    を備えることを特徴とする装置。
19. 前記第１のクラスタから第１のオーディオ表現を選択及び再生するための手段と、
    現在選択されているオーディオのサムネイルと関連するクラスタが選択されたか否かを制御する入力である、第１のユーザ入力のための手段と、
    別のクラスタが選択されたか否かを制御する入力である、第２のユーザ入力のための手段と、
    を更に備えることを特徴とする請求項１８記載の装置。
20. 前記選択されたクラスタのオーディオトラックを、再生のために前記記憶手段から読み出す手段を更に有する、
    請求項１８又は１９記載の装置。
21. 前記第１のクラスタのオーディオトラックの幾つかを前記第２のクラスタに割り当てる手段は、どのオーディオトラックが前記第２のオーディオトラックに割り当てられるのかを決定するためにＫ−ｍｅａｎｓアルゴリズムを用いる、
    請求項１８乃至２０のいずれか記載の装置。
22. 前記第１のクラスタ内のトラックの検出された数と比較される前記最小レベルは、他の既存のクラスタにあるトラックの数に依存する、
    請求項２１記載の装置。

Images