JP4561766B2 - 音データ検索支援装置、音データ再生装置、プログラム - Google Patents

Description

本発明は、音データ検索支援装置等に関する。

従来、音データは、コンパクトディスク（ＣＤ）のような記録メディアによる所持・再生が主流であったが、大容量のハードディスクやフラッシュメモリ等（以下、ハードディスク等と呼ぶ。）の普及によって記録可能なデータ量が増大したため、音データを１つのハードディスク等に記録し、所望の曲を再生するようにした音データ再生装置が考えられている。

つまり、ハードディスク等は、アクセス速度が速く、ハードディスク等上では、再生曲順等を自在に設定できる。このため、ハードディスク等を音データの記録媒体として用いた場合には、複数の音楽ＣＤに収録されている音データを１つのハードディスク等に記録することができ、これら複数の音楽ＣＤに渡る曲をタイトル順やアーティスト順にソートして整理することなどができる。また、ハードディスク等はアクセス速度が速いので、データの選択時間が短縮できるというメリットもある。

しかしその反面、大量の音データを記録できるということは、効率的で分かりやすい音データの管理をしないと、所望の音データの検索が難しくなってしまう。コンピュータデータの場合には、大量のデータを効率的に管理する方法として階層構造による管理が良く行われている。そこで、ハードディスクに音データを記録する場合に、音データを階層構造で管理していくことが考えられる。音データを階層的に管理していくと、例えば、大分類としてアーティスト名で分類し、各アーティスト名の下の階層で、そのアーティストのアルバムで分類し、更にその下の階層で、そのアルバムに収められている曲名で分類するような構造となる。このようにすると、アーティスト名、アルバム名と辿っていくと、所望の曲を再生することができるようになる。

ところが、ユーザの音に関する記憶は曖昧であり、またユーザは明確に特定の音データを聞きたいと考えている場合だけでなく、そのときの気分で聞きたい音データを直感的に選択する場合もよくある。そのため、音データの管理をする場合には、コンピュータデータのような階層的な管理が必ずしも良いとは言えない。音データのような人間の感情を喚起させるデータを管理する場合には、コンピュータデータを管理する場合とは異なり、人間の直観に訴えるような、より自然な管理方法が望まれる。

このような観点で提案された技術として特許文献１に開示されたものがある。ここで提案されているものは、複数の音楽ＣＤに収録された音データをハードディスク等に記録した場合に、所望のディスクの所望の曲をより直観的に管理することを目的としている。その工夫とは、記録媒体に記録された複数の音データに関連するジャケットが立てて並べられているように表示し、音データのジャケットのうちの１のジャケットのイメージデータを露呈するように表示することで、音データの検索を容易にするというものである。つまり、あたかもラックにある音楽ＣＤのジャケットを捲りながら探していくときのようにして、所望の音データを検索することができるのである（特許文献１の段落［００１３］参照）。
特開２００７−２６４６２号公報

しかしながら、上述した検索方法はジャケット表示によってユーザの視覚に訴える手法であるため、ユーザ自身がジャケット表示から音楽イメージへの変換を行って、選択するか否かの判断を行うこととなる。音データを選択するのであるから、聴覚を通じて直接的に音楽イメージを認識し、もっと直感的に選択判断ができた方が好ましい。

聴覚を通じて直接的に音楽イメージを認識することで選択判断をするものとしては、例えばミュージックサーバのように音データの一部分を自動的にスキャンし、順番に再生していきながら、ユーザが所望の音データを選択できるようなものも考えられている。

しかし、この「音データの一部分を自動的にスキャンして再生する」手法を、上記特許文献１のジャケット表示に合わせて実行したとしても、配列に従う順番で検索していくこととなり、検索の自由度が低い。

なお、このような問題は、例えば音楽データのように音データのみで構成されるものだけを対象とするのではなく、例えば音声／音楽と映像がセットになっているものなど、音データが含まれているものであれば、同様に発生する問題である。

そこで、このような問題点を鑑み、聴覚を通じて直接的に音を認識して直感的に音データを検索でき、且つ検索の自由度も高い検索支援技術を提供することを本発明の目的とする。

かかる目的を達成するために成された本発明の音データ検索支援装置は、複数の音データの中からユーザが所望するものを検索する作業を支援するのであるが、音データの複数の属性情報それぞれに対応して設定された、仮想空間上のマッピングルールに基づき、仮想空間内における複数の音データそれぞれの配置位置及び音場が決定されている。そして制御手段は、ユーザの操作を受け付ける操作受付手段を介して受け付けた操作に応じて、仮想空間内の検索点を移動させ、その検索点が位置している音場を有する音データに対応する音を、音出力手段を介して出力させるのである。

このようにすることで、聴覚を通じて直接的に音を認識して直感的に音データを検索することができる。音データを選択するのであるから、このような検索によって自分が欲する音楽を選ぶことができるのは非常に好ましい。

そして、ユーザは仮想空間内の検索点を自由に移動させることができるため、音データの検索に際して、一の属性情報を頼りに検索している状態から他の属性情報を頼りに検索する状態へ即座に変更できるなど、検索の自由度も高い。

属性情報の例としてのジャンルとテンポで説明すれば、ジャンルとテンポそれぞれに対応して仮想空間上のマッピングルールが設定されており、そのようなマッピングルールに従って仮想空間内における複数の音データそれぞれの配置位置及び音場が決定されている。そのため、音データの検索に際して、ジャンルを選択してからテンポを選択したり、逆にテンポを選択してからジャンルを選択したり、といった検索が自由に行える。さらに、設定次第でジャンルとテンポを同時に加味しながら検索することも可能となる。このようにジャンルとテンポを同時に加味して検索できれば、ショートカットによってダイレクトに所望の音データを検索しやすくなる。

このように本発明の音データ検索支援装置によれば、いわば仮想空間内にユーザ自身が入り込み、その仮想空間内を自由に移動して音を聞きながら「自分の欲する音」を聴覚を用いて直感的に探していくことができる。そのため、ユーザによる音データの検索を支援するものとして非常に有効である。
また、本発明の音データ検索支援装置では、音場が重複している場合には下記のような音出力の工夫をしている。つまり、音場同士の一部が重複している仮想空間上を検索点が移動している間は、その検索点が位置している音場を有する全ての音データに対応する音を、音出力手段を介して一度に出力させるが、音場同士の一部が重複している仮想空間上で検索点が停止した場合は、その検索点の位置を基準として所定のルールで定まる一の音データに対応する音のみを、音出力手段を介して出力させるのである。
このように本発明の音データ検索支援装置によれば、複数の音を聞き分けられる人にとっては、複数の音の中から自分が欲する音が聞こえる方へ近づき、その場所で検索点を停止させて自分の欲する音を確認することができる。仮想空間内を自由に移動して音を聞きながら「自分の欲する音」を聴覚を用いて直感的に探していく、という観点では有効な工夫である。

なお、音データには、音声データや音楽データはもちろん、それらに区分されない音のデータも含まれる。また、音データと画像データなどがセットになっているものなど、音データが含まれるコンテンツデータであれば対象となる。例えば、ビデオクリップラジオ、メッセージつき写真、ＴＶ、効果音等のサウンド素材、映画…などが考えられる。

仮想空間に関しては、２次元でもよいし３次元でもよい。３次元仮想空間の場合には、音データの３つの属性情報それぞれに対応して設定された、３次元仮想空間上の所定のマッピングルールに基づき、３次元仮想空間内における複数の音データそれぞれの配置位置及び音場が決定されていることとなる。

検索点に関しては、操作受付手段を介して受け付けた操作に応じて、マッピングルールに基づく順方向・逆方向に移動させたり、停止させたりできるようにするとよい。検索点を移動させる場合には、その移動にしたがって出力される音も変化していく。そして、検索点を停止させた場合には、その止まった位置に対応する音が出力され続けることとなる。

また、操作受付手段を介して受け付けた操作に応じて、仮想空間内の検索点の移動速度を変更可能としてもよい。このようにすれば、個々のユーザの感覚に合致した検索が可能となる。

また、操作受付手段を介して検索点の移動のための操作を受け付けると、その操作を継続すれば移動すると想定される次の音データの配置位置へ検索点を自動的に移動させるようにしてもよい。これを音データの配置位置への「吸着」と称することとする。このように吸着させれば、ユーザの操作が簡単となる。

また、検索点を操作に応じて移動させるパターンと、吸着させるパターンとを併存させてもよい。つまり、音データの複数の属性情報の内の一部に対応して設定されたマッピングルールに基づく移動の場合は、操作受付手段を介して検索点の移動のための操作を受け付けると、その操作を継続すれば移動すると想定される次の音データの配置位置へ検索点を自動的に移動させる。一方、音データの複数の属性情報の内の他の一部に対応して設定されたマッピングルールに基づく移動の場合は、操作受付手段を介して検索点の移動のための操作を受け付けると、その操作に応じて検索点を移動させる。

このようにすれば、操作感を差別化できるので、ユーザは自分自身が音データのどの属性情報を基に検索しているのかが認識しやすくなる。属性情報の例としてのジャンルとテンポで説明すれば、例えばジャンルに基づいて探しているのか、同一ジャンル内でテンポに基づいて探しているかを容易に認識できるようになる。

音場に関しては、例えば音データの配置位置から離れるにしたがって音量が小さくなるように設定することが考えられる。このようにすれば、ユーザは音の遠近や位置を聴覚で実感でき、あたかも音空間を移動する感覚で検索できる。

また、音場の態様を、音データの属性情報に応じて設定してもよい。例えば、ジャンルやテンポに応じて音場のサイズや形状を変えて設定することが考えられる。
また、操作受付手段を介して受け付けた操作に応じて、音データ単位で音場の形態を変更するようにしてもよい。このようにすれば、ユーザは、例えばジャンルなどによって自分の好みの音量に設定できる。例えばオーケストラの場合には遠くからの大きな音が聞こえるように設定し、女性ボーカルの場合には近くでささやく音が聞こえるように設定する、といった自由な設定が可能となる。

また、仮想空間上で隣接する音場に関して、音場同士が接するかまたは一部が重複する形態に設定することが考えられる。このようにすれば、スムーズに（違和感なく）変更できる。一部が重複する形態に設定すれば、次に移動した先の音を予測できる。また、音データの配置位置から離れるにしたがって音量が小さくなるように設定された音場同士が接するかまたは一部が重複する形態に設定されていれば、一方の音場がフェードアウトしていき、次の音場がフェードインしてくる、といった音場変換が可能となる。

音データの属性情報が数値化された情報である場合、その数値化された属性情報に対応するマッピングルールは、属性情報の数値差が前記検索点の移動距離に比例するように設定することが考えられる。例えばテンポや年代に関しては数値化された情報である。テンポを例にとって説明する。例えば手前から奥に向かうほどテンポが速くなるように音データを配置した場合、テンポの変化は当然ながら一定にはならず、隣接する音データ間が近いものもあれば遠いものもある。その際に、テンポを示す数値差が検索点の移動距離に比例するように設定すれば、一定間隔で音データが配置されるとは限らず、いわゆる「歯抜け」が出てくる可能性が高い。そのような歯抜けがあれば、今の音データからどのくらいテンポが変化したかを感覚的に知ることができる。また、自分が所有している音データの嗜好性も感覚的に把握できる。

なお、このような歯抜けが生じた場合であっても、仮想空間上で隣接する音場に関して、音場同士が接するかまたは一部が重複する形態に設定することが考えられる。つまり、音場に工夫を施して、隣接する音場が通常よりも遠ければ、それに応じて音場を大きくするのである。

上述したように、本発明の音データ検索支援装置によれば、聴覚を通じて直接的に音楽イメージを認識して直感的に音データを検索することができるのであるが、さらに視覚を通じてユーザが認識できるようにしてもよい。

その場合は、複数の音データに、それぞれ対応するアイコン画像を設定しておき、画像を表示する表示手段を備え、制御手段が、仮想空間内における複数の音データの配置位置に対応するアイコン画像を配置させた状態で、表示手段に、検索点の位置に応じて所定のルールで定めた仮想視点から見た仮想空間の画像を表示させるのである。

このようにすれば、視覚でも仮想空間を認識でき、また音データの全貌を見渡すことができる。
アイコン画像としては、例えば音楽ＣＤのジャケットの絵などを採用することが考えられる。

操作受付手段を介して受け付けた操作に応じて、仮想視点を定めるための所定のルールを変更するようにしてもよい。このようにすれば、仮想空間を様々なアングルから見ることができる。したがって、自分が見たい部分のアイコン画像が重なって見えにくい場合に、側方からのアングルに変えることで、アイコン画像が見やすくなる。

仮想空間内の検索点を、マッピングルールに基づく逆方向に移動させる場合、振り返ってその移動方向を見るような仮想視点から見た仮想空間の画像を表示させるとともに、アイコン画像を反転させて表示させることが考えられる。

また、アイコン画像について、裏面にも別の画像を設定しておき、マッピングルールに基づく逆方向に移動させる場合、振り返ってその移動方向を見るような仮想視点から見た仮想空間の画像を表示させるとともに、アイコン画像の裏面を表示させるようにしてもよい。例えば音楽ＣＤのジャケットをアイコン画像として採用すれば、裏面も当然存在するので、その裏面を見ることでまた趣が変わる。

仮想視点から見た仮想空間の画像を表示させる際、複数のアイコン画像同士が重なって視認性を低下させる場合もありえる。その場合には、アイコン画像の変形・向きの変更・画像を透過させるなどの視認性向上のためのアイコン画像調整を行うことが考えられる。

検索点が位置している音場を有する音データに対応する音を出力させる際、予め定められた音データの特徴的な一部分に対応する音を繰り返し出力させることが考えられる。例えばいわゆる「サビ」の部分や「イントロ」の部分である。

検索対象の音データを追加しようとする場合には、当該音データの複数の属性情報を用いて、仮想空間上の所定のマッピングルールに基づき仮想空間内における配置位置及び音場を決定すればよい。

また、マッピングルール、または当該マッピングルールが設定される対象となる属性情報を、操作受付手段を介して受け付けた操作に応じて変更可能とすることも考えられる。このようにすれば、ユーザの嗜好性や感覚にあった検索のための仮想空間を構築することができる。

次に、請求項２０に記載のプログラムは、請求項１〜１９の何れかに記載の音データ検索支援装置が備える制御手段としてコンピュータを機能させるものである。このようなプログラムによれば、コンピュータを用いて前述した音データ検索支援装置を構築することができ、これにより前述した効果を得ることができる。特に、プログラムはネットワーク等を利用して流通させることも可能である上、プログラムの入れ替えは部品の入れ替えに比較して容易であるため、音データ検索支援装置の機能向上等を容易に行うことができる。

また、請求項２１に示すように、このような音データ検索支援装置を備えた音データ再生装置として実現してもよい。つまり、制御手段が、操作受付手段を介して所定の選択操作を受け付けた場合には、その選択操作に応じて再生対象の音データを選択し、操作受付手段を介して所定の再生操作を受け付けた場合には、選択されている音データに対応する音を、音出力手段を介して出力させるのである。

以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

［第１実施形態］
図１は、音データの検索支援機能を有する音データ再生装置１の概略構成を示すブロック図である。

この音データ再生装置１は、ユーザからの各種指示操作を受け付けるための操作スイッチ群２２と、音データを含む各種データを記憶するためのハードディスク（ＨＤＤ）２３と、音データ再生装置１とは別の装置から情報を入力したり別の装置に情報を出力したりすることが可能な外部情報入出力部２４と、ＣＤドライブ２５と、各種情報の表示を行うための表示部２６と、各種の音を出力するためのオーディオアンプ２７及びスピーカ２８と、上述した操作スイッチ群２２，ハードディスク２３，外部情報入出力部２４，ＣＤドライブ２５からの入力に応じて各種処理を実行し、外部情報入出力部２４，表示部２６，オーディオアンプ２７，ＣＤドライブ２５等を制御する制御装置２９と、を備えている。

操作スイッチ群２２は、ユーザからの各種指示操作を受け付けるためのものであるが、後述する「音データを配置した仮想空間」内で検索点を移動させるための操作を受け付けために、カーソル移動キーやジョイスティック等が準備されている。

外部情報入出力部２４は、電話回線などを介してインターネットと接続し、各種情報を取得することができるようにされている。
ＣＤドライブ２５は、図示しないＣＤ−ＲＯＭに記憶された各種データを入力するための装置である。このＣＤドライブ２５にてデータ入力する対象のＣＤ−ＲＯＭとしては、例えば音データの一例である音楽データが記憶されたいわゆる音楽ＣＤである。なお、ここでは簡単のためにＣＤドライブ２５として説明するが、記憶媒体の種類に応じたドライブを用いることの一例であり、記憶媒体がＤＶＤ−ＲＯＭであれば、それに対応したドライブを用いる。したがって、このＣＤドライブ２５に加えてＤＶＤドライブを追加したり、あるいはＣＤドライブ２５に替えて、例えばＤＶＤ−ＲＯＭ及びＣＤ−ＲＯＭの両方からのデータ読込が可能なＤＶＤ／ＣＤドライブを用いることが考えられる。

ＣＤドライブ２５を介して音楽ＣＤから読み出された音楽データは、ハードディスク２３に格納することができる。また、この音楽データの付属データとして、属性情報及びアイコン画像データもハードディスク２３に格納させることができる。

属性情報は、例えばジャンル／テンポ／アーティスト名称／アルバム名称／年代など、その音楽データの各種属性を示す情報である。
また、アイコン画像データは、例えばＣＤジャケットに用いられている絵をアイコン画像化したものを用いることが考えられる。これらの付属情報は、音楽ＣＤ内に音楽データとともに格納されていればそれを用いればよいし、もしも音楽ＣＤ内に存在しない場合は、それらの情報を格納している外部もサーバからインターネット経由で取得するなどすればよい。例えば音楽ＣＤから読み出したＴＯＣ（Table of Contents）情報を元に、外部情報入出力部２４を介してインターネット経由では所定のサーバにアクセスし、該当する付属情報を取得する。

表示部２６は、カラー表示装置であり、液晶ディスプレイ，有機ＥＬディスプレイ，ＣＲＴなどがあるが、その何れを用いてもよい。
オーディオアンプ２７は音を増幅するためのものであり、その増幅された音は、スピーカ２８から出力される。このスピーカ２８からは、いわゆる３Ｄサウンド（立体音響）が出力可能に構成されている。３Ｄサウンドを実現する場合には、例えば１〜２台のスピーカのみを用いながら、「その場所にスピーカはないにもかかわらず、あたかもその場所にスピーカがあって音を出しているかのような仮想音源を作り出して３次元的に音を再現する」技術を利用して実現してもよいし、３台以上のスピーカをユーザの周囲に配置するなどして実現してもよい。いずれも、制御装置２９からの制御によって３Ｄサウンドが実現される。

制御装置２９は、ＣＰＵ、ＲＯＭ，ＲＡＭ等のメモリ、Ｉ／Ｏ及びこれらの構成を接続するバスラインなどから構成されており、メモリに記憶されたプログラムに基づいて各種処理を実行する。例えば、音楽ＣＤの録音再生関連の処理としては、ＣＤドライブ２５を介して音楽ＣＤから読み出した音楽データをハードディスク２３に記録する録音処理や、操作スイッチ群２２の操作に従って選択された音楽データをハードディスク２３から読み出して再生し、再生した音信号をオーディオアンプ２７に出力する再生処理を実行する。

また、制御装置２９は、音楽ＣＤから読み出したＴＯＣ（Table of Contents）情報を元に、外部情報入出力部２４を介してインターネット経由では所定のサーバにアクセスし、該当するインデックスデータを取得する。そして、ハードディスク２３に、音楽データとインデックスデータとを対応させて記憶する。このインデックスデータは例えばアーティスト名称／アルバム名称／ジャンルデータなどであり、ユーザの操作によって編集可能とされている。

（仮想空間の説明、作動及び基本的効果）
音楽ＣＤから読み出された音楽データは、ハードディスク２３に格納するのであるが、音楽データの複数の属性情報それぞれに対応して設定された、仮想空間上のマッピングルールに基づき、仮想空間内における複数の音楽データそれぞれの配置位置及び音場が決定されている。ここでは、複数の属性情報としてジャンルとテンポを取り上げて説明する。

この仮想空間について図２を参照して説明する。図２（ａ）は仮想空間の概略構成を示す説明図であり、図２（ｂ）はその仮想空間を表示部２６に表示させた場合の説明図である。

本実施形態では、図２に示すように、ユーザの視点から見て奥行き方向に直線状のテンポ軸を設定し、そのテンポ軸を法線方向とする平面上に円状のジャンル軸を設定してある。そして、音楽データを、それらジャンル及びテンポ２つの属性情報に基づいて、仮想空間内に自動配置する。

また、音楽データにはそれぞれアイコン画像データを対応付けて設定する。このアイコン画像データは、上述したように例えばＣＤジャケットに用いられている絵をアイコン画像化したものを用いることが考えられる。なお、１枚の音楽ＣＤに複数曲が収容されている場合、それら複数曲の音楽データに関しては同じアイコン画像データを用いることが考えられる。また、同じジャケットの絵をアイコン画像に利用するものの、例えば曲のトラック番号をアイコン画像に重ねて表示したり、具体的な曲名をアイコン画像上にテキスト表示したりすることによって、視覚的に区別できるようにしてもよい。なお、曲のトラック番号や曲名は、音楽データの付属データとして設定しておけばよい。

そしてさらに、音楽データそれぞれに音場に関するデータを対応付けて設定する。この音場は、 図３（ａ）に示すように、音楽データの配置位置から離れるにしたがって音量が小さくなるように設定されている。なお、音場の態様は、一律でなくてもよく、音楽データの属性情報に応じて設定してもよい。例えば、ジャンルやテンポに応じて音場のサイズや形状を変えて設定することが考えられる。

このように、各音楽データに対応して、仮想空間上の配置位置、アイコン画像データ、音場に関するデータが設定されており、それらがハードディスク２３に格納されている。このハードディスク２３に格納された音楽データ、仮想空間上の配置位置、アイコン画像データ、音場に関するデータを用いることで、制御装置２９は仮想空間を構築することができる。

制御装置２９は、操作スイッチ群２２を介して、仮想空間内で検索点を移動させるための操作をユーザから受け付けると、検索点を仮想空間内で移動させる。そして制御装置２９は、その検索点が位置している音場を有する音楽データに対応する楽音を、オーディオアンプ２７及びスピーカ２８を介して出力させる。

ここで出力させる楽音は、例えばいわゆる「サビ」の部分や「イントロ」の部分であって、そのような音楽データの特徴的な一部分に対応する楽音を繰り返し出力させる（図４（ａ）参照）。そのため、この楽音を聞いたユーザは直感的にどの音楽データに対応するものなのかを認識し易い。

また、オーディオアンプ２７及びスピーカ２８を介して３Ｄサウンドを出力させているため、ユーザはいわば「音空間」の中を進んでいるような感覚を得ることができる。
このようにすることで、ユーザは、聴覚を通じて直接的に音楽イメージを認識して直感的に音楽データを検索することができる。音楽データを選択するのであるから、このような検索によって自分が欲する音楽を選ぶことができるのは非常に好ましい。

また、ユーザは、操作スイッチ群２２を操作することで仮想空間内の検索点を自由に移動させることができる。そのため、音楽データの検索に際して、一の属性情報を頼りに検索している状態から他の属性情報を頼りに検索する状態へ即座に変更できるなど、検索の自由度も高い。図２（ａ）に示すようにジャンルとテンポによる仮想空間上でのマッピングがされている場合、ジャンルを選択してからテンポを選択したり、逆にテンポを選択してからジャンルを選択したり、といった検索が自由に行える。

このように、いわば仮想空間内にユーザ自身が入り込み、その仮想空間内を自由に移動して楽音を聞きながら「自分の欲する音」を、聴覚を用いて直感的に探していくことができる。そのため、ユーザによる音楽データの検索を支援するものとして非常に有効である。

そして、ユーザは、操作スイッチ群２２を操作することで、検索点の移動を途中で止めることができる。制御装置２９は、検索点が停止したところの音楽データに対応する楽音を、オーディオアンプ２７及びスピーカ２８を介して出力させる。そのため、余裕をもって選曲できる。

さらに、本実施形態においては、図２（ｂ）に示すように、仮想空間を表示部２６に表示させることができるため、ユーザは、視覚でも仮想空間を認識でき、またアイコン画像によって音楽データの配置位置の全貌を見渡すことができる。また、ＣＤジャケットに用いられている絵をアイコン画像化したものを用いることで、ユーザにとってなじみのあるＣＤジャケットの絵を頼りにしてアイコン画像に近づくことができる。そして、近づいた後で聴覚によって音楽自身を確認する、といったこともでき、より有用な検索支援を実現できる。

なお、このような検索支援によって所望の音楽データを見つけたユーザからの所定の選択操作を操作スイッチ群２２を介して受け付けた場合、制御装置２９は、その選択操作によって選択された音楽データを１曲分全て再生し、オーディオアンプ２７及びスピーカ２８を介して楽音を出力させる。

（音場に関する工夫と効果）
図３（ａ）に示す例では、音楽データの配置位置から離れるにしたがって音量が小さくなるように音場が設定されているため、ユーザは音の遠近や位置を聴覚で実感でき、あたかも音空間を移動する感覚で検索できる。

また、操作スイッチ群２２を介して受け付けた操作に応じて、音楽データ単位で音場の形態を変更するようにしてもよい。このようにすれば、ユーザは、例えばジャンルや曲によって自分の好みの音量に設定できる。例えばオーケストラの場合には遠くからの大きな音が聞こえるように設定し、女性ボーカルの場合には近くでささやく音が聞こえるように設定する、といった自由な設定が可能となる（図３（ｂ）参照）。

また、仮想空間上で隣接する音場に関して、音場同士が接するかまたは一部が重複する形態に設定することが考えられる。このようにすれば、スムーズに（違和感なく）曲変更ができる。例えば図３（ｃ）に示すように、隣接する音場の一部が重複する形態に設定すれば、その音場が重複する部分を検索点が移動することによって、次に移動した先の楽曲を予測できる。

そして、音楽データの配置位置から離れるにしたがって音量が小さくなるように設定された音場（図３（ａ）参照）同士が接するかまたは一部が重複する形態に設定されていれば、一方の音場による楽音がフェードアウトしていき、次の音場による楽音がフェードインしてくる、といった音場変換が可能となる。

図３（ｃ）では２つの音場の一部が重複している様子を示しているが、３つ以上の音場が重複するようにしてもよい。図２に示す配置であれば、テンポ軸の方向に隣接する音楽データの音場同士だけでなく、ジャンル軸の方向に隣接する音楽データの音場同士も重複させることが考えられる。

なお、音場そのものに対する工夫ではないが、音場が重複している場合には次のような楽音出力の工夫をしてもよい。つまり、音場同士の一部が重複している仮想空間上を検索点が移動している間は、その検索点が位置している音場を有する全ての音楽データに対応する楽音を、オーディオアンプ２７及びスピーカ２８を介して一度に出力させるが、音場同士の一部が重複している仮想空間上で検索点が停止した場合は、その検索点の位置を基準として所定のルールで定まる一の音楽データ、例えば検索点から距離的に最も近い音楽データに対応する楽音のみを、オーディオアンプ２７及びスピーカ２８を介して出力させるようにするのである。

このようにすれば、複数の楽音を聞き分けられる人にとっては、検索点を移動させながら、複数の楽音の中から自分が欲する楽音が聞こえる方へ近づき、その場所で検索点を停止させて自分の欲する楽音を確認することができる。仮想空間内を自由に移動して楽音を聞きながら「自分の欲する音」を聴覚を用いて直感的に探していく、という観点では有効である。これを実現する上では、オーディオアンプ２７及びスピーカ２８を介して３Ｄサウンドを出力させることは非常に有効である。

（検索点の移動に関する工夫と効果）
図４（ｂ）に示すように、操作スイッチ群２２に対する操作に応じて音楽データ間の移動のスピードを変化させるようにしてもよい。例えばカーソル移動キーにて操作を受け付ける場合には、キーの押下時間が長くなれば検索点の移動速度が速くなるように設定したり、ジョイスティックにて操作を受け付ける場合には、ジョイスティックを倒す角度が大きいほど検索点の移動速度が速くなるように設定したりすることが考えられる。もちろん、他にも種々の操作方法が考えられる。

このように操作によって検索点の移動速度が変化するようにすることで、個々のユーザの感覚に合致した検索が可能となる。
検索点の移動のさせ方に関しては、種々考えられるが、例えば図４（ｃ）に示す検索点の移動軌跡の前半に示すように、ジャンルを所望分だけ移動させて次にテンポを所望分だけ移動させ、さらにテンポを所望分だけ移動させる、というように、ジャンル・テンポの何れか一方しか一度には移動させられない設定にすることが考えられる。あるいは図４（ｃ）に示す検索点の移動軌跡の後半に示すように、ジャンルとテンポを同時に移動させることもできるような設定にしてもよい。このようにジャンルとテンポを同時に加味して検索できれば、ショートカットによってダイレクトに所望の音楽データを検索しやすくなる。

また、検索点を操作スイッチ群２２に対する操作に応じて移動させるパターンと、吸着させるパターンとを併存させてもよい。例えば図５（ａ）に示すように、ジャンル軸方向への移動の場合は、操作スイッチ群２２を介して検索点の移動のための操作を受け付けると、その操作を継続すれば移動すると想定される次の音楽データの配置位置へ検索点を自動的に移動させる。つまり、音楽データの配置された位置ごとにシーケンシャルに（段階的に）移動が行われる。一方、テンポ軸方向への移動の場合は、操作スイッチ群２２を介して検索点の移動のための操作を受け付けると、その操作に応じて検索点を移動させる。つまり、リニアに（無段階に）移動させる。

このようにすれば、操作感を差別化できるので、ユーザは自分自身が音楽データのどの属性情報を基に検索しているのかが認識しやすくなる。つまり、ユーザは、操作スイッチ群２２に対して相対的に少ない操作をしたにもかかわらず検索点が自動的に次の音楽データに吸着した場合にはジャンルに基づいて探していることが認識でき、操作スイッチ群２２に対して行った操作とおりに検索点が移動した場合にはテンポに基づいて探していることが認識できる。

（音楽データの配置に関する工夫）
図５（ｂ）に示すように、ユーザから見て手前から奥にいくほどテンポが速くなるように音楽データを配置することが考えられる。もちろん、手前から奥にいくほどテンポが遅くなるように音楽データを配置してもよいが、一般的に操作子を操作して速さを変更する場合には、操作に応じて徐々に速くなっていくことが多い。そのため、ユーザから見て手前から奥にいくほどテンポが速くなるように音楽データを配置すれば、ユーザの感覚に合致したものとなり易い。

図５（ｃ）に示す例では、手前から奥にいくほど、一定の割合でテンポが速くなるように音楽データが配置されている。テンポの変化は当然ながら一定にはならず、隣接する音楽データ間が近いものもあれば遠いものもある。その際に、テンポを示す数値差が検索点の移動距離に比例するように設定すれば、一定間隔で音楽データが配置されるとは限らず、いわゆる「歯抜け」が出てくる可能性が高い。例えば、１分間に４分音符（あるいは８分音符）が何拍打つ速さなのかによって楽曲のテンポを示すことがあるが、そのテンポが必ずしも一定間隔となるような音楽データばかりとは言えない。むしろばらばらであることが多い。

そのような歯抜けがあれば、検索点の移動前後において移動前の音楽データから移動後の音楽データへ至るまでの検索点の移動距離によって、どのくらいテンポが変化したかを感覚的に知ることができる。移動距離が相対的に長ければその間のテンポの音楽データは存在しないということを把握できる。

また、自分が所有している音楽データの嗜好性も感覚的に把握できる。例えば比較的テンポが低い領域の音楽データと比較的テンポが高い領域の音楽データは多めに存在するが、中速域の音楽データは少ない、といったことも感覚的に把握できる。これに関連して音場に関する工夫になるが、このような歯抜けが生じた場合であっても、仮想空間上で隣接する音場に関して、音場同士が接するかまたは一部が重複する形態に設定することが考えられる。つまり、音場に工夫を施して、隣接する音場が通常よりも遠ければ、それに応じて音場を大きくするのである。

なお、同一ジャンル・テンポの音楽データが複数存在する場合、所定の配置場所には複数の音楽データの内の一つを配置し、その音楽データを基準とした新たな軸を設定して配置することが考えられる。例えばテンポ軸と直交する新たな直線の軸を設定したり、ループ状の軸を設定することが考えられる。そして操作スイッチ群２２を介して所定の操作がされると、同一ジャンル・テンポに属する複数の音楽データを所定の順番で検索点が移動していくようにする。

（仮想空間の表示態様に関する工夫）
仮想空間を表示部２６に表示させる場合、例えば図６（ａ）〜（ｃ）に示すように、操作スイッチ群２２を介して受け付けた操作に応じて、仮想視点を定めるための所定のルールを変更するようにしてもよい。

このようにすれば、仮想空間を様々なアングルから見ることができ、空間把握や遠方表示の把握が容易になる。例えば、自分が見たい部分のアイコン画像が重なって見えにくい場合に、側方からのアングルに変えることで、アイコン画像が見やすくなる。例えば図６（ａ）のようなアイコン画像の表示だと奥に配置されたアイコン画像が見えにくいので、図６（ｂ）に示すように、少し側方の仮想視点からのアングルに変えると、見やすくなる。それでもまだアイコン画像同士が重なって見えにくい場合には、図６（ｃ）に示すように、さらに側方の仮想視点からのアングルに変えることで、見やすくなる。

また、図７に示すように、各音楽データに関する音場を視覚化し、その視覚化した音場の形状や動きをジャンルやテンポに応じて変更してもよい。このようにすれば、音楽データのジャンルを視覚化した音場の形状を直感的に把握し易くなる。また、視覚化した音場をテンポに応じて動かせば、再生していない音楽データのテンポも相対的に把握できる。そのような視覚化した音場はユーザによる目的を持った検索点移動を支援することができる。なお、図７において音場を視覚化した線が２種類あるのは、視覚化した音場が動いていることを示している。

また、テンポ軸に沿って手前から奥へ移動した後、振り返って手前側に移動してくるような仮想視点を設定する場合には、その仮想視点から見た仮想空間の画像を表示させるとともに、アイコン画像を反転させて表示させるとよい。

また、アイコン画像について裏面にも別の画像を設定しておき、テンポ軸に沿って手前から奥へ移動した後、振り返って手前側に移動してくる場合、その仮想視点から見た仮想空間の画像を表示させるとともに、アイコン画像の裏面を表示させるようにしてもよい。例えば音楽ＣＤのジャケットをアイコン画像として採用すれば、裏面も当然存在するので、その裏面を見ることでまた趣が変わる。

また、図８（ａ）に示すように、アイコン画像を重ねて表示させた場合、複数のアイコン画像同士が重なって奥に位置するアイコン画像に対する視認性を低下させる場合もありえる。その場合には、アイコン画像の変形（図８（ｂ）参照）、アイコン画像の向きの変更（図８（ｃ）参照）、アイコン画像を透過させる（図８（ｄ）参照）といった、アイコン画像の視認性向上のためのアイコン画像調整を行うことが考えられる。

（その他の工夫）
ここまで説明した例では、図２などに示すように、ユーザの視点から見て奥行き方向に直線状のテンポ軸を設定し、そのテンポ軸を法線方向とする平面上に円状のジャンル軸を設定した。しかし、このようなマッピングルール、またはそのマッピングルールが設定される対象となる属性情報を、操作スイッチ群２２を介して受け付けた操作に応じて制御装置２９が変更できるようにしてもよい。

マッピングルールを変更する例を挙げておく。例えばユーザは、自分が使うジャンルが４つしかないのであれば、ジャンル軸を円状ではなく４角形にしてもよい。また、自分が使うジャンルが非常に多い場合には、図２などに示す場合とは反対に、ユーザの視点から見て奥行き方向に直線状のジャンル軸を設定し、そのジャンル軸を法線方向とする平面上に円状のテンポ軸を設定してもよい。

マッピングルールが設定される対象となる属性情報については、図２などに示すジャンルとテンポではなく、ジャンルと年代とか、年代とアーティストなど、ユーザが自由に設定できるようにしてもよい。

このようにすれば、ユーザの嗜好性や感覚にあった検索のための仮想空間を構築することができる。
（特許請求の範囲との対応）
操作スイッチ群２２が操作受付手段に相当し、オーディオアンプ２７及びスピーカ２８が音出力手段に相当する。また、制御装置２９が制御手段に相当し、表示部２６が表示手段に相当する。

［第２実施形態］
図９（ａ）は、２次元の直交座標系による仮想空間を構築した場合の例である。例えばＸ軸（横軸）にテンポ、Ｙ軸（縦軸）にジャンルを設定してある。この場合の検索点に関しては、ＸＹ座標平面上を自由に移動できるようにしてもよいし、座標が設定されている点から点へしか移動できないようにしてもよい。

図９（ｂ）に示す例では、音楽データの存在しないエリアがある場合、直近、もしくは同一ジャンル・テンポの直近の音楽データの音場を拡張してある。検索点の移動が、座標が設定されている点から点（たとえば図９（ｂ）の例で言えば、Ｘ軸要素であるテンポとＹ軸要素であるジャンルが形成する交点から交点）へしか移動できない設定であれば、基本的にどの座標点に移動しても常に音が聞こえることとなる。

［第３実施形態］
図１０は、図９に示す２次元の直交座標系による仮想空間に対して、部分的にＺ軸を追加して３次元の仮想空間を構築した場合の例である。例えば同一ジャンル・テンポの楽曲が複数存在する場合、その点からＸ軸及びＹ軸に垂直なＺ軸を追加し、そのＺ軸上に音楽データが積み上がるような配置とする。そして操作スイッチ群２２を介して所定の操作がされると、同一ジャンル・テンポに属する複数の音楽データを所定の順番で検索点が移動していくようにする。

［第４実施形態］
図１１は、３次元の直交座標系による仮想空間を構築した場合の例である。音楽データの複数の属性情報（ジャンル・テンポ・年代・地域など）の中から選択した３つの属性情報をＸ軸、Ｙ軸、Ｚ軸にそれぞれ設定し、それに応じて形成される３次元の仮想空間を構築する。そして、その３つの属性情報に基づいて音楽データを仮想空間内に配置（マッピング）する。図１１に示す例では、テンポ、ジャンル、年代の３つの属性情報を各直交軸に設定してある。

この場合の検索点に関しても、図９（ａ）に示す２次元の直交座標系による仮想空間の場合と同様に、ＸＹＺ座標空間内を自由に移動できるようにしてもよいし、座標が設定されている点から点へしか移動できないようにしてもよい。そして、このような３次元の仮想空間の場合であっても、図９（ｂ）に示す２次元の仮想空間の場合と同様に、音楽データの存在しないエリアがある場合、直近、もしくは同一ジャンル・テンポ・年代の直近の音楽データの音場を拡張することが考えられる。

［他の実施形態］
図１２（ａ）は、第１実施形態として図２などに示した３次元の仮想空間を、２次元化したものに相当する。横方向にテンポ軸を設定し、円状のジャンル軸を、そのテンポ軸に沿って少しずつずらしながら平面的に配置させたものである。例えば検索点を、あるジャンル軸の所定ジャンルの音楽データの位置からテンポ軸方向に移動させると、別のテンポであるが移動前と同一のジャンルの音楽データに移動することとなる。

図１２（ｂ）は、３次元の仮想空間に音データを配置する別の例を示す図である。これは、第１実施形態として図２などに示したマッピングにおけるテンポ軸をリング状に設定し、音楽データが全体として環状に配置されるようにしたものである。

［その他］
（１）なお、上記実施形態では、音データの一例として音楽データを取り上げて説明したが、音声データや音楽データはもちろん、それらに区分されない音のデータも含まれる。また、音データと画像データなどがセットになっているものなど、音データが含まれるコンテンツデータであれば対象となる。例えば、ビデオクリップラジオ、メッセージつき写真、ＴＶ、効果音等のサウンド素材、映画…などが考えられる。

（２）上記実施形態は、音データの検索支援機能を有する音データ再生装置１として実現した例を説明したが、例えば音データの検索支援機能のみを持つ音データ検索支援装置として実現することもできる。

音データの検索支援機能を有する音データ再生装置１の概略構成を示すブロック図である。 （ａ）は仮想空間の概略構成を示す説明図であり、（ｂ）はその仮想空間を表示部２６に表示させた場合の説明図である。 音場に関する工夫を示す説明図である。 検索点の移動に関する工夫を示す説明図である。 （ａ）は検索点の移動に関する工夫を示す説明図、（ｂ）（ｃ）は音楽データの配置に関する工夫を示す説明図である。 仮想空間の表示態様に関する工夫を示す説明図である。 仮想空間の表示態様に関する工夫を示す説明図である。 仮想空間の表示態様に関する工夫を示す説明図である。 ２次元直交座標系による仮想空間を構築した場合の例を示す説明図である。 ２次元の直交座標系による仮想空間に対して、部分的にＺ軸を追加して３次元の仮想空間を構築した場合の例を示す説明図である。 ３次元直交座標系による仮想空間を構築した場合の例を示す説明図である。 他の実施形態を示す説明図である。

符号の説明

１…音データ再生装置、２２…操作スイッチ群、２３…ハードディスク、２４…外部情報入出力部、２５…ＣＤドライブ、２６…表示部、２７…オーディオアンプ、２８…スピーカ、２９…制御装置。

Claims (21)

1. ユーザの操作を受け付ける操作受付手段と、
   音を出力する音出力手段と、
   各種制御を行う制御手段と、を備え、
   複数の音データの中からユーザが所望するものを検索する作業を支援する音データ検索支援装置であって、
   音データの複数の属性情報それぞれに対応して設定された、仮想空間上の所定のマッピングルールに基づき、前記仮想空間内における前記複数の音データそれぞれの配置位置及び音場が決定されており、
   前記制御手段は、
   前記操作受付手段を介して受け付けた操作に応じて、前記仮想空間内の検索点を移動させ、その検索点が位置している音場を有する音データに対応する音を、前記音出力手段を介して出力させ、前記音場同士の一部が重複している仮想空間上を前記検索点が移動している間は、その検索点が位置している音場を有する全ての音データに対応する音を、前記音出力手段を介して一度に出力させるが、前記音場同士の一部が重複している仮想空間上で前記検索点が停止した場合は、その検索点の位置を基準として所定のルールで定まる一の音データに対応する音のみを、前記音出力手段を介して出力させること
   を特徴とする音データ検索支援装置。
2. 請求項１に記載の音データ検索支援装置において、
   前記仮想空間は３次元であり、音データの３つの属性情報それぞれに対応して設定された、３次元仮想空間上の所定のマッピングルールに基づき、前記３次元仮想空間内における前記複数の音データそれぞれの配置位置及び音場が決定されていること
   を特徴とする音データ検索支援装置。
3. 請求項１または２に記載の音データ検索支援装置において、
   前記制御手段は、
   前記操作受付手段を介して受け付けた操作に応じて、前記仮想空間内の検索点を、前記マッピングルールに基づく順方向・逆方向に移動させたり、停止させたりすること
   を特徴とする音データ検索支援装置。
4. 請求項１〜３の何れかに記載の音データ検索支援装置において、
   前記制御手段は、
   前記操作受付手段を介して受け付けた操作に応じて、前記仮想空間内の検索点の移動速度を変更可能であること
   を特徴とする音データ検索支援装置。
5. 請求項１〜３の何れかに記載の音データ検索支援装置において、
   前記制御手段は、
   前記操作受付手段を介して検索点の移動のための操作を受け付けると、その操作を継続すれば移動すると想定される次の音データの配置位置へ前記検索点を自動的に移動させること
   を特徴とする音データ検索支援装置。
6. 請求項１〜３の何れかに記載の音データ検索支援装置において、
   前記制御手段は、
   前記音データの複数の属性情報の内の一部に対応して設定されたマッピングルールに基づく移動の場合は、前記操作受付手段を介して検索点の移動のための操作を受け付けると、その操作を継続すれば移動すると想定される次の音データの配置位置へ前記検索点を自動的に移動させ、
   前記音データの複数の属性情報の内の他の一部に対応して設定されたマッピングルールに基づく移動の場合は、前記操作受付手段を介して検索点の移動のための操作を受け付けると、その操作に応じて前記検索点を移動させること
   を特徴とする音データ検索支援装置。
7. 請求項１〜６の何れかに記載の音データ検索支援装置において、
   前記音場は、前記音データの配置位置から離れるにしたがって音量が小さくなるように設定されていること
   を特徴とする音データ検索支援装置。
8. 請求項１〜７の何れかに記載の音データ検索支援装置において、
   前記音場の態様は、前記音データの属性情報に応じて設定されていること
   を特徴とする音データ検索支援装置。
9. 請求項１〜８の何れかに記載の音データ検索支援装置において、
   前記制御手段は、前記操作受付手段を介して受け付けた操作に応じて、前記音データ単位で前記音場の形態を変更すること
   を特徴とする音データ検索支援装置。
10. 請求項１〜９の何れかに記載の音データ検索支援装置において、
    前記仮想空間上で隣接する音場は、音場同士が接するかまたは一部が重複する形態に設定されていること
    を特徴とする音データ検索支援装置。
11. 請求項１〜１０の何れかに記載の音データ検索支援装置において、
    前記音データの属性情報が数値化された情報である場合、その数値化された属性情報に対応するマッピングルールは、属性情報の数値差が前記検索点の移動距離に比例するように設定されていること
    を特徴とする音データ検索支援装置。
12. 請求項１〜１１の何れかに記載の音データ検索支援装置において、
    前記複数の音データには、それぞれ対応するアイコン画像が設定されており、
    画像を表示する表示手段を備え、
    前記制御手段は、
    前記仮想空間内における前記複数の音データの配置位置に前記対応するアイコン画像を配置させた状態で、前記表示手段に、前記検索点の位置に応じて所定のルールで定めた仮想視点から見た前記仮想空間の画像を表示させること
    を特徴とする音データ検索支援装置。
13. 請求項１２に記載の音データ検索支援装置において、
    前記制御手段は、前記操作受付手段を介して受け付けた操作に応じて、前記仮想視点を定めるための所定のルールを変更すること
    を特徴とする音データ検索支援装置。
14. 請求項１２または１３に記載の音データ検索支援装置において、
    前記制御手段は、
    前記操作受付手段を介して受け付けた操作に応じて、前記仮想空間内の検索点を、前記マッピングルールに基づく逆方向に移動させる場合、振り返ってその移動方向を見るような仮想視点から見た前記仮想空間の画像を表示させるとともに、前記アイコン画像を反転させて表示させること
    を特徴とする音データ検索支援装置。
15. 請求項１２または１３に記載の音データ検索支援装置において、
    前記アイコン画像は、裏面にも別の画像が設定されており、
    前記制御手段は、
    前記操作受付手段を介して受け付けた操作に応じて、前記仮想空間内の検索点を、前記マッピングルールに基づく逆方向に移動させる場合、振り返ってその移動方向を見るような仮想視点から見た前記仮想空間の画像を表示させるとともに、前記アイコン画像の裏面を表示させること
    を特徴とする音データ検索支援装置。
16. 請求項１２〜１５の何れかに記載の音データ検索支援装置において、
    前記制御手段は、
    前記仮想視点から見た前記仮想空間の画像を表示させる際、前記複数のアイコン画像同士が重なって視認性を低下させる場合には、アイコン画像の変形・向きの変更・画像を透過させるなどの視認性向上のためのアイコン画像調整を行うこと
    を特徴とする音データ検索支援装置。
17. 請求項１〜１６の何れかに記載の音データ検索支援装置において、
    前記制御手段は、
    前記検索点が位置している音場を有する音データに対応する音を出力させる際、予め定められた前記音データの特徴的な一部分に対応する音を繰り返し出力させること
    を特徴とする音データ検索支援装置。
18. 請求項１〜１７の何れかに記載の音データ検索支援装置において、
    前記制御手段は、
    検索対象の音データを追加しようとする場合には、当該音データの複数の属性情報を用いて、前記仮想空間上の所定のマッピングルールに基づき前記仮想空間内における配置位置及び音場を決定すること
    を特徴とする音データ検索支援装置。
19. 請求項１〜１８の何れかに記載の音データ検索支援装置において、
    前記制御手段は、
    前記マッピングルール、または当該マッピングルールが設定される対象となる属性情報を、前記操作受付手段を介して受け付けた操作に応じて変更可能であること
    を特徴とする音データ検索支援装置。
20. 請求項１〜１９の何れかに記載の音データ検索支援装置が備える前記制御手段としてコンピュータを機能させることを特徴とするプログラム。
21. 請求項１〜１９の何れかに記載の音データ検索支援装置を備え、
    前記制御手段は、
    前記操作受付手段を介して所定の選択操作を受け付けた場合には、その選択操作に応じて再生対象の音データを選択し、前記操作受付手段を介して所定の再生操作を受け付けた場合には、前記選択されている音データに対応する音を、前記音出力手段を介して出力させること
    を特徴とする音データ再生装置。