JP4438816B2

JP4438816B2 - サウンドデータ配信システム

Info

Publication number: JP4438816B2
Application number: JP2007101979A
Authority: JP
Inventors: あかね野口; 佑西堀
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2002-08-27
Filing date: 2007-04-09
Publication date: 2010-03-24
Anticipated expiration: 2023-02-27
Also published as: JP2007215228A

Description

本発明は、サウンドデータ配信システムに関する。

従来から、無線通信網を介してストリーム配信された楽曲などのオーディオデータを移動端末において受信し、該移動端末に接続されたヘッドフォンなどから音として出力するオーディオ配信システムが知られている（例えば、特許文献１参照）。このようなオーディオ配信システムによれば、ユーザは、外出時などにおいても、音楽を手軽に楽しむことができる。

特開平９−１８１５１０号公報（第３図）

しかしながら、従来のオーディオ配信システムにあっては、配信されたオーディオデータを移動端末において忠実に再生することはできても、ユーザがオーディオデータの生成に参加するなどといった娯楽性をユーザに提供することはできなかった。

本発明は上述した事情に鑑みてなされたものであり、その目的とするところは、娯楽性の高い音響アミューズメントを提供することを可能にするサウンドデータ配信システムを提供することにある。

本発明に係るサウンドデータ配信システムは、複数の端末およびサーバを有するサウンドデータ配信システムであって、前記端末は、自端末を一意に識別可能な識別子と自端末に対応付けられたサウンドデータとを記憶する記憶手段と、自端末の位置を表す位置データおよび方向を示す方向データを含む端末情報を取得する端末情報取得手段と、前記記憶手段に記憶された識別子とサウンドデータと前記端末情報取得手段により取得された端末情報に含まれる位置データとを前記サーバに送信する送信手段と、前記サーバから送信された他の端末のサウンドデータ、位置データおよび当該位置データと過去の位置データとの変位に応じた変位データを受信する受信手段と、前記受信手段が受信した位置データおよび変位データに基づいて予測される予測位置と、前記端末情報取得手段が取得した端末情報に含まれる位置データで示される位置と、前記端末情報に含まれる方向データで示される方向とから前記受信手段が受信したサウンドデータの仮想的な発音地点の相対的な位置関係を求め、該相対的な位置関係に前記受信手段が受信したサウンドデータの音像を定位させる定位手段とを有し、前記サーバは、前記複数の端末の各々から送信された識別子とサウンドデータと位置データとを受取る受取手段と、前記受け取り手段によって受取られる位置データと過去に受けたられた位置データとの変位に応じた変位データを各端末に対応して取得する変位データ取得手段と、前記受取手段が前記端末の各々から受取ったサウンドデータ、位置データおよび前記変位データ取得手段によって取得された変位データを、各端末の識別子に対応づけて記憶する第２の記憶手段と、前記第２の記憶手段に記憶された複数の端末の位置データに基づき、サウンドデータを配信する端末を選択する選択手段と、前記選択された端末に対し、前記第２の記憶手段に記憶された前記選択された端末に配信すべきサウンドデータ、該サウンドデータに対応付けられた端末の位置データおよび変位データを送信する第２の送信手段と、を具備することを特徴とする。
また、別の好ましい態様において、前記予測位置は、前記受信手段が受信した位置データおよび変位データと、前記受信手段が当該位置データを受信してから前記相対的な位置関係を求めるまでに経過した時間とから予測される位置であることを特徴とする。
また、別の好ましい態様において、前記定位手段は、前記受信手段によって位置データが受信される時間間隔より短い時間間隔で、前記相対的な位置関係を求め、前記音像を定位させる位置関係を変更することを特徴とする。

以上説明したように本発明によれば、娯楽性の高い音響アミューズメントを提供することを可能にするサウンドデータ配信システムが提供される。

以下、本発明の実施形態について図面を参照して説明する。

＜サウンドデータ配信システムの概略構成＞
はじめに、本実施形態にかかるサウンドデータ配信システムの概略構成について図１を参照して説明する。この図において、衛星群４００は、ＧＰＳ（Global Positioning System）などのＧＮＳＳ（Global Navigation Satellite System）に対応した人口衛星であり、図示しない地上制御局によって管制制御され、地上に向けて衛星信号を送出する。この衛星信号には、衛星から送出された時刻や、当該信号を送出した衛星の軌道位置などを示す情報が含まれている。

一方、移動通信網５００は、基地局制御装置など、データ通信サービスを提供するための各種装置を含んでおり、多数の基地局５１０が接続されている。サウンドデータ配信サーバ３００は、移動通信網５００および基地局５１０を介して、サウンドデータを端末１００にストリーム配信する。ここで、サウンドデータとは、３次元座標によって規定された仮想的な発音地点から出力される音を表す情報である。

端末１００は、携帯型の無線通信端末であり、いずれかの基地局５１０を介して、端末１００の位置を示す端末位置情報などをサウンドデータ配信サーバ３００に送信したり、サウンドデータ配信サーバ３００からサウンドデータなどを受信したりする。端末１００は、後述するように、サウンドデータを受信すると、当該サウンドデータに対応する発音地点の位置から発せられると想定される音の音像を定位させたオーディオ信号をサウンドデータから生成する。

また、端末１００は、ステレオ形式のヘッドフォン２００が接続可能になされており、サウンドデータから生成されたオーディオ信号を、ヘッドフォン２００を介して放音する。このヘッドフォン２００は、ユーザの頭に装着された使用状態において、ユーザの顔の向く方向を検出する方位センサ２１０を有しており、オーディオ信号が入力される間にわたり、検出した方位を示す信号を端末１００に送信する。また、端末１００は、衛星群４００から送出される衛星信号を受信するための受信機を備えている。
なお、この図においては、端末１００およびヘッドフォン２００の組として、２人のユーザ、すなわち、ユーザＵ１に用いられる組と、ユーザＵ２に用いられる組との２組が例示されているが、端末１００とヘッドフォン２００との組は、１組であっても良いし、３組以上であっても良い。

＜サウンドデータ配信サーバの構成＞
図２は、サウンドデータ配信サーバ３００の構成を示すブロック図である。この図において、制御部３１０は、バスＢ３を介して各部を制御する。また、制御部３１０は、後述するように発音地点を選択するための処理や、サウンドデータのデータ量を変換するための処理などを実行する。

通信部３２０は、移動通信網５００を介して、端末１００から送信された端末位置情報などの情報を受信する。また、通信部３２０は、後述するように制御部３１０によって選択された４つの発音地点に対応するサウンドデータの各々を並列して、端末１００に送信する。記憶部３３０は、磁気ディスクなどから構成され、各種情報を記憶する。

図３は、記憶部３３０に記憶される情報の一部を示す図である。この図に示されるように、記憶部３３０には、複数の発音地点ＩＤと、各々の発音地点ＩＤに対応付けられた発音位置情報およびサウンドデータが記憶されている。このうち、発音地点ＩＤは、発音地点を識別するためのものである。本実施形態においては、各発音地点は、街中における構造物（例えば、店舗や、ビルなど）に対応する位置に規定されており、それらの構造物を示す「ミニストアＡ」や、「ビルＡ」などの構造物名が、発音地点ＩＤとして登録されている。なお、発音地点の配置場所は、構造物に対応する位置に限られず、任意に設定することが可能である。また、発音位置情報は、例えば、緯度、経度、高度などからなり、３次元座標によって発音地点の位置を規定するものである。

サウンドデータは、発音地点から発せられると想定される音を表すデータであり、所定の周波数（例えば、４４．１ｋＨｚ）でサンプリングされたデータである。サウンドデータは、楽曲、楽音、音声などの音を表すデータであればどのようなデータであっても良く、本実施形態においては、サウンドデータとして「買い物マーチ（楽曲）」、「太鼓音（楽音）」、「犬の鳴き声（音声）」、「チャイム（電子音）」などが記録されている。サウンドデータ配信サーバ３００は、記憶部３３０に記憶されるサウンドデータのうち、４つのサウンドデータを端末１００に配信する。そして、端末１００おいては、配信された４つのサウンドデータを加工・混合した後、ヘッドフォン２００を介して放音する。

また、記憶部３３０には、サウンドデータのデータ量変換に使用されるデータ量変換テーブルが記憶されている。図４は、データ量変換テーブルの構成を示す図である。この図に示されるように、データ量変換テーブルＴＢＬは、端末１００および発音地点の距離Ｄと、当該発音地点に対応するサウンドデータが変換されるべきサンプリング周波数とが対応付けられたテーブルである。例えば、図４においては、「０」以上「Ｌ１（＞０）」未満の距離Ｄには、サンプリング周波数「ｆ１（＝４４．１ｋＨｚ）」が対応付けられており、「Ｌ１」以上「Ｌ２（＞Ｌ１）」未満の距離Ｄには、サンプリング周波数「ｆ２（＝２２ｋＨｚ）」が対応付けられている。制御部３１０は、データ量変換テーブルＴＢＬに従って、後述するデータ量変換処理において、サウンドデータのデータ量を変換する。なお、図４における「Ｌ１」、「Ｌ２」、「Ｌ３」および「Ｌ４」の各々は、「０」＜「Ｌ１」＜「Ｌ２」＜「Ｌ３」＜「Ｌ４」の関係を満たしている。

＜端末の構成＞
図５は、端末１００の構成を示すブロック図である。この図において制御部１１０は、バスＢ１を介して各部を制御する。また、衛星電波受信部１４５は、衛星群４００に含まれる複数の衛星の各々から、並列して衛星信号を受信し、受信された各々の信号を測位部１４０に入力する。測位部１４０は、衛星電波受信部１４５から入力された各々の衛星信号に含まれる送出時刻や軌道位置などの情報を用いて、端末１００の位置を示す端末位置情報を生成する。この際、測位部１４０は、端末１００から各々の衛星信号が送出された衛星までの距離（擬似距離）を測定し、測定された各々の距離を測位方程式に代入して、３次元座標による端末位置情報を生成する。
ここで、端末１００は、ユーザに携帯されて使用される。このため、測位部１４０によって測定された端末１００の位置は、ユーザの位置（中心位置）と等しいものとみなすことができる。

指示入力部１２０は、操作ボタンなどから構成され、オーディオ信号の生成開始を指示する生成開始信号などを制御部１１０に入力する。ここで、オーディオ信号の生成とは、発音地点から出力される音の音像を定位させたオーディオ信号を、サウンドデータから生成する処理である。制御部１１０は、指示入力部１２０を介して与えられるユーザからの指示に従って、端末１００全体を制御する。

方位検出部１５０は、ヘッドフォン２００に備えられた方位センサ２１０によって、ヘッドフォンを装着したユーザの顔がいずれの方向を向いているのかを検出し、方位情報としてバスＢ１に供給する。なお、ヘッドフォン２００に備えられる方位センサ２１０としては、地磁気を検出する手法や、ジャイロスコープを用いる手法の他、次の手法を用いることも可能である。すなわち、複数の測位部をヘッドフォン２００に設け、各測位部により検出された位置の相対的な変化量を用いて、ユーザの顔の向く方向を検出することも可能である。

無線通信部１３０は、制御部１１０の制御の下、端末１００が在圏するエリアの基地局５１０との間に無線リンクを確立し、これを経由して、端末位置情報をサウンドデータ配信サーバ３００に送信したり、４つのサウンドデータを並行してサウンドデータ配信サーバ３００から受信したりする。

オーディオ信号生成部１６０は、無線通信部１３０から並列して入力された４つのサウンドデータの各々から、２チャネルのオーディオ信号を生成し、生成したオーディオ信号をバスＢ１に供給する。この際、オーディオ信号生成部１６０は、左耳用のオーディオ信号であるＬチャネル信号と、右耳用のオーディオ信号であるＲチャネル信号とを別個独立に生成し、その各々をバスＢ１に供給する。バスＢ１に供給されたＬチャネル信号およびＲチャネル信号の各々は、オーディオ信号出力部１９０を介して、ヘッドフォン２００から音として出力される。

次に、オーディオ信号生成部１６０の詳細構成について、図６を参照して説明する。この図に示されるように、オーディオ信号生成部１６０には、端末１００がサウンドデータ配信サーバ３００から並行して受信するサウンドデータ数と等しい４つの加工部１７０-１、１７０-２、１７０-３、１７０-４が含まれている。これらの加工部１７０-１、１７０-２、１７０-３、１７０-４の各々は、４つのサウンドデータのうちいずれかひとつのサウンドデータを加工して、発音地点から発せられると想定される音の音像を定位させたオーディオ信号を生成する。いずれの加工部１７０-１、１７０-２、１７０-３、１７０-４が、いずれのサウンドデータを加工するかについては、各発音地点と端末１００との距離に応じて、加工部１７０-１、１７０-２、１７０-３、１７０-４の順に、端末１００との距離が長くなる発音地点に対応するサウンドデータを割り当てるなどの構成が考えられる。なお、以下の説明においては、加工部１７０-１、１７０-２、１７０-３、１７０-４の各々を区別する必要のない場合には、単に、その符号を１７０と記すことにする。

ここで、加工部１７０の詳細説明に先立って、ある地点（音源）から実際に出力された音を聴いた聴取者が、当該音源の方向や音源までの距離を知覚する仕組み、すなわち、音像定位について説明する。例えば、聴取者の右方に音源が位置する場合、聴取者の右耳から音源までの距離は、左耳から音源までの距離より近くなる。このため、ある時点に音源から出力された音が、右耳に到達するのにかかる時間は、左耳に到達するのにかかる時間より短くなる。このような左耳と右耳との間に生じる遅延時間により、聴取者は、音源の方向を知覚する。また、聴取者の近くに位置する音源と、遠くに位置する音源との２つの音源がある場合を想定する。この場合、ある音量（音圧）の音が各々の音源から出力されたとき、聴取者の位置においては、聴取者の遠くに位置する音源による音の音量より、近くに位置する音源による音の音量のほうが大きいものとなる。このような音量の差により、聴取者は、音源までの距離を知覚する。

そこで、本実施形態における各々の加工部１７０は、あたかも発音地点が実在するかのようにユーザが体感することができるように、各々の発音地点について、当該発音地点の位置と、ユーザ（聴取者）の左右の耳の位置とに応じて、左右の耳で生じる遅延時間および音量が規定されたオーディオ信号を生成する。以下、ひとつの加工部１７０に着目して、ひとつの発音地点に関するオーディオ信号の生成について説明する。

図７に示されるように、端末位置情報によって示されるユーザＵの中心位置Ｐ（Ｘ_P，Ｙ_P，Ｚ_P）と、方位情報によって示されるユーザの顔方向Ａとが与えられた場合、左耳と右耳との距離をｅとしたとき、ユーザＵの左耳の位置Ｌ（Ｘ_L，Ｙ_L，Ｚ_L）は、中心位置Ｐ（Ｘ_P，Ｙ_P，Ｚ_P）から水平、かつ、方向Ａと垂直にｅ／２の距離だけ左側の位置によって特定され、右耳の位置Ｒ（Ｘ_R，Ｙ_R，Ｚ_R）は、中心位置Ｐ（Ｘ_P，Ｙ_P，Ｚ_P）から水平、かつ、方向Ａと垂直にｅ／２の距離だけ右側の位置によって特定される。ここで、発音地点Ｓ（Ｘ_S，Ｙ_S，Ｚ_S）とユーザ（中心位置Ｐ）との距離が十分離れていることを想定し、音は平面波としてユーザの耳に到達するものとする。また、ユーザからみて発音地点Ｓが右前方に位置し、このとき、ユーザの顔の向いている方向Ａとユーザからみた発音地点Ｓの方向との成す角がθであると仮定する。このとき、発音地点Ｓから音が出力されると、右耳と左耳との間に生じる音の到達する時間差（遅延時間）Δｔは、到達経路の距離の差ｄおよび音速ｃを用いて、

と表現される。ここで、ｄ＝e・sinθが成り立つので、遅延時間Δｔは、

となる。
また、発音地点Ｓからユーザの左右各々の耳までの距離を、それぞれＤ_L、Ｄ_Rとし、時刻をｔ、球面波の波動方程式をｆとした場合、左耳で生じる音圧Ｐ_L、および、右耳で生じる音圧Ｐ_Rの各々は、以下のように表すことができる。
すなわち、

と表現することができる。
加工部１７０は、これらの遅延時間Δｔ式（２）、音圧Ｐ_L式（３）および音圧Ｐ_R式（４）を表現するオーディオ信号を、サウンドデータから生成する。これにより、ユーザにおいては、発音位置情報で示される位置から発音しているかのように、仮想的な発音地点による音像が定位する。

再び説明を図６に戻す。各々の加工部１７０には、パラメータ生成部１７２、遅延部１７６およびアンプ１７８が含まれている。このうち、パラメータ生成部１７２には、さらに、ディレイパラメータ生成部１７３およびアンプパラメータ生成部１７４が含まれている。ディレイパラメータ生成部１７３は、Ｌチャネル信号およびＲチャネル信号の各々の遅延時間Δｔを規定するパラメータを生成する。より詳細には、ディレイパラメータ生成部１７３は、サウンドデータ配信サーバ３００から受信した発音位置情報と、方位検出部１５０によって検出された方位情報と、測位部１４０によって検出された端末位置情報と、左右両耳間の距離ｅとを入力して、左右の耳間における遅延時間Δｔを規定するパラメータＤＰを式（２）により生成し、パラメータＤＰを遅延部１７６に送信する。

一方、アンプパラメータ生成部１７４は、Ｌチャネル信号およびＲチャネル信号の各々が放音されたときの音圧を表すパラメータを生成する。より詳細には、アンプパラメータ生成部１７４は、サウンドデータ配信サーバ３００から受信した発音位置情報と、方位検出部１５０によって検出された方位情報と、測位部１４０によって検出された端末位置情報と、左右両耳間の距離ｅとを入力して、左耳において生じる音圧Ｐ_Lを規定するパラメータＡＬと、右耳において生じる音圧Ｐ_Rを規定するパラメータＡＲを式（３）および式（４）により生成し、パラメータＡＬ、ＡＲをアンプ１７８に送信する。
なお、パラメータ生成部１７２に入力されるユーザの左右の耳間の距離ｅは、制御部１１０に含まれるＲＯＭ（Read Only Memory）などに記憶され、ＲＯＭなどから読み出される構成としても良いし、指示入力部１２０を介してユーザが入力する構成としても良い。また、上述した、左右の耳の位置の特定方法、遅延時間Δｔ、音圧Ｐ_LおよびＰ_Rを表す式（２、３および４）は、あくまでも一例であり、さらに、頭部伝達関数や、周波数スペクトルの変化による音の質的変化、直接音と残響音との比による影響を取り入れるなどの各種の変更や改良を加えることが可能である。

遅延部１７６は、無線通信部１３０を介して入力したサウンドデータから、左耳用のＬチャネル信号ＳＬ１および右耳用のＲチャネル信号ＳＲ１を生成し、その各々をアンプ１７８に送信する。より具体的には、遅延部１７６は、ディレイパラメータ生成部１７３から受け取ったディレイパラメータＤＰに応じて、Ｌチャネル信号ＳＬ１とＲチャネル信号ＳＲ１とにおいて遅延が生じるように各々の信号を生成する。これにより、ひとつのサウンドデータについてのＬチャネル信号ＳＬ１およびＲチャネル信号ＳＲ１が、ユーザの左右の耳の位置に応じて、あたかも発音地点から到達時間の差が生じているかのように、すなわち、ユーザからみて、ある方向に位置する発音地点から出力された音であるかのように生成される。

アンプ１７８は、遅延部１７６から受け取ったＬチャネル信号ＳＬ１を、アンプパラメータ生成部１７４から受け取ったパラメータＡＬによって増幅する一方、遅延部１７６から受け取ったＲチャネル信号ＳＲ１を、アンプパラメータ生成部１７４から受け取ったパラメータＡＲによって増幅し、それぞれＬチャネル信号ＳＬ２およびＲチャネル信号ＳＲ２として混合部１８０に送信する。これにより、Ｌチャネル信号ＳＬ２およびＲチャネル信号ＳＲ２の各々が、ユーザの左右の耳の位置と各々の発音地点との距離に応じて、音圧レベルが異なるかのように生成される。なお、このようなアンプ１７８による音圧レベルの調整は、加工部１７０-１、１７０-２、１７０-３、１７０-４ごとに行われる。このため、各々の加工部１７０-１、１７０-２、１７０-３、１７０-４において生成されるオーディオ信号によって、ユーザに対して、あたかも各々の発音地点までの距離が異なるかのような感覚を与えることが可能となる。

混合部１８０は、４つの加工部１７０から送信された４つのＬチャネル信号ＳＬ２を混合し、Ｌチャネル信号ＳＬ３としてオーディオ信号出力部１９０に送信する一方で、４つのＲチャネル信号ＳＲ２を混合し、Ｒチャネル信号ＳＲ３としてオーディオ信号出力部１９０に送信する。この際、混合部１８０は、ユーザの耳に障害を与えないように、混合されたＬチャネル信号ＳＬ３およびＲチャネル信号ＳＲ３の信号レベルに制限をかけることが好ましい。混合部１８０から送信されたＬチャネル信号ＳＬ３およびＲチャネル信号ＳＲ３の各々は、オーディオ信号出力部１９０によって、Ｄ／Ａ（Digital / Analog）変換された後、ヘッドフォン２００に出力され、左耳用の放音部２２０および右耳用の放音部２３０を介して放音される。
なお、確認的ではあるが、オーディオ信号生成部１６０による処理は、無線通信部１３０によるサウンドデータの受信や、測位部１４０による端末位置情報の生成、方位検出部１５０による方位情報の生成などの各種処理と並列して実行され、オーディオ信号は、サウンドデータからストリーム形式で生成される。このため、ユーザが移動すると、それに応じて端末位置情報や方位情報などが更新され、ユーザがいずれの位置に移動しようとも、また、いずれの方向に顔を向けようとも、ユーザからみて、各々の発音地点から出力される音の音像が定位するようにオーディオ信号が生成される。

＜サウンドデータ配信システムの動作＞
次にサウンドデータ配信システムの動作について、図８を参照して説明する。この動作は、サウンドデータ配信サーバ３００から端末１００にサウンドデータを配信し、端末１００において、端末位置情報や方位情報を更新しつつ、配信されたサウンドデータからオーディオ信号を生成する処理である。なお、この動作は、端末１００の指示入力部１２０から入力される生成開始信号をトリガとして処理を開始し、その後、端末１００によって、タイマ割り込みされる処理である。また、サウンドデータ配信サーバ３００と端末１００との接続認証や端末認証などの、一般的な移動通信システムにおいて実行される各種処理は、本件発明と直接関係しないため、それらの説明については省略することとする。

まず、端末１００の制御部１１０は、ステップＳＡ１において、衛星群４００から送信される衛星信号を衛星電波受信部１４５により受信し、衛星信号を取得する。次に、端末１００の制御部１１０は、ステップＳＡ２において、取得した衛星信号に応じて端末１００の位置を示す端末位置情報ＳＰを測位部１４０により生成する。次いで、端末１００の制御部１１０は、ステップＳＡ３において、生成した端末位置情報ＳＰを基地局５１０に送信する。
基地局５１０は、端末１００から端末位置情報ＳＰを受信すると、ステップＳＡ４において、端末位置情報ＳＰをサウンドデータ配信サーバ３００に転送する。

サウンドデータ配信サーバ３００の制御部３１０は、基地局５１０から転送された端末位置情報ＳＰを受信すると、ステップＳＡ５において、発音地点選択処理を実行する。この発音地点選択処理は、受信した端末位置情報ＳＰによる端末１００の位置と、発音位置情報による発音地点の位置とに応じて、発音地点を所定数に達するまで選択する処理である。ここで、サウンドデータ配信サーバ３００の制御部３１０が実行する発音地点選択処理を、図９を参照して説明する。

まず、制御部３１０は、ステップＳＡ５１において、選択された発音地点の数を示す選択数ｎを「０」にし、選択数ｎを初期化する。次に、制御部３１０は、ステップＳＡ５２において、この時点で未選択の発音地点のうち、最も近い発音地点を選択する。この際、制御部３１０は、受信した端末１００の端末位置情報ＳＰと、記憶部３３０に記憶される各発音地点の発音位置情報とを用いて発音地点を選択する。例えば、いま、図１１に示されるように、端末１００の周りに、８つの発音地点Ｓ１、Ｓ２、…、Ｓ８が配置されている場合を想定する。これらの発音地点Ｓ１、Ｓ２、…、Ｓ８の各々は、この順で端末１００から遠ざかる様に配置されているものとする。このとき、制御部３１０は、いずれの発音地点Ｓ１、Ｓ２、…、Ｓ８も未選択（選択数ｎ＝０）であれば、ステップＳＡ５２において、発音地点Ｓ１を選択する。

次に、制御部３１０は、ステップＳＡ５３において、選択数ｎを「１」だけインクリメントする。次いで、制御部３１０は、ステップＳＡ５４において、選択数ｎが所定数（本実施形態では４つ）に達したか否かを判別する。この判別結果が否定的であれば、制御部３１０は、処理手順をステップＳＡ５２に戻し、選択数ｎが所定数に達するまで、ステップＳＡ５２からステップＳＡ５４までの処理を繰り返す。

一方、ステップＳＡ５４の判別結果が肯定的となれば、制御部３１０は、所定数の発音地点が選択されたため、発音地点選択処理を終了する。例えば、図１１においては、制御部３１０は、８つの発音地点Ｓ１、Ｓ２、…、Ｓ８のうち、端末１００に近い、黒丸で示される４つの発音地点Ｓ１、Ｓ２、Ｓ３およびＳ４を選択する。なお、本実施形態においては、制御部３１０によって４つの発音地点が選択されるが、選択される発音地点の数は任意に設定することが可能である。

さて、再び図８において、サウンドデータ配信サーバ３００の制御部３１０は、発音地点選択処理（ステップＳＡ５）が終了すると、次に、ステップＳＡ６において、データ量変換処理を実行する。このデータ量変換処理は、選択された発音地点に対応するサウンドデータのデータ量、すなわち、端末１００に配信されるサウンドデータのデータ量を変換する処理である。ここで、サウンドデータ配信サーバ３００の制御部３１０が実行するデータ量変換処理を、図１０を参照して説明する。この説明においては、サウンドデータ配信サーバ３００の記憶部３３０に予め記録されるサウンドデータのサンプリング周波数は、４４．１ｋＨｚ以上であるものとする。

まず、制御部３１０は、ステップＳＡ６１において、発音地点選択処理によって選択された各々の発音地点と端末１００との距離Ｄを、発音位置情報および端末位置情報ＳＰを用いて求める。次に、制御部３１０は、ステップＳＡ６２において、図４に示されるデータ量変換テーブルＴＢＬを参照し、各々の発音地点から端末１００までの距離Ｄに応じて、各発音地点のサウンドデータが変換されるべきサンプリング周波数を特定する。例えば、いま、図１１において、端末１００と発音地点Ｓ１との距離Ｄが「０」以上「Ｌ１」未満であり、端末１００と発音地点Ｓ２との距離Ｄが「Ｌ１」以上「Ｌ２」未満であり、端末１００と発音地点Ｓ３との距離Ｄが「Ｌ２」以上「Ｌ３」未満であり、端末１００と発音地点Ｓ４との距離Ｄが「Ｌ３」以上「Ｌ４」未満であるものとする。このとき、制御部３１０は、データ量変換テーブルＴＢＬを参照して、発音地点Ｓ１のサウンドデータについてのサンプリング周波数をｆ１（４４．１ｋＨｚ）に特定し、発音地点Ｓ２のサウンドデータについてのサンプリング周波数をｆ２（２２ｋＨｚ）に特定し、発音地点Ｓ３のサウンドデータについてのサンプリング周波数をｆ３（１０Ｈｚ）に特定し、発音地点Ｓ４のサウンドデータについてのサンプリング周波数をｆ４（５ｋＨｚ）に特定する。

次に、制御部３１０は、ステップＳＡ６３において、記憶部３３０に予め記録される各々の発音地点のサウンドデータから、ステップＳＡ６２において特定されたサンプリング周波数のサウンドデータを生成する。これにより、生成されたサウンドデータは、端末１００からの距離が遠い発音地点のサウンドデータほど、サンプリング周波数が低下するため、端末１００からの距離が遠い発音地点のサンプリングデータほど、そのデータ量が縮減される。これにより、サウンドデータ配信サーバ３００から配信されるサウンドデータの総データ量が縮減され、結果として、サウンドデータの配信にかかる移動通信網５００におけるネットワークトラフィック、および、サウンドデータの送信にかかるサウンドデータ配信サーバ３００の負荷が低減されることとなる。
なお、一般に、オーディオ信号のサンプリング周波数が低下すると、当該オーディオ信号が放音されたときの音質は劣化するが、本実施形態においては、端末１００に配信されたサウンドデータは、端末１００の加工部１７０によって、端末１００から遠くに位置する発音地点のサウンドデータほど小さな音量となるように加工される。このため、端末１００から遠くに位置する発音地点のサウンドデータのサンプリング周波数を低下させても、端末１００において生成されるオーディオ信号が放音されたときの音質に、ほとんど影響することがない。言い換えれば、データ量変換処理によれば、音質を不当に損なうことなく、サウンドデータのデータ量を縮減させ、サウンドデータの配信によるネットワークトラフィックおよびサウンドデータ配信サーバ３００の負荷を低減することができる。

さて、再び図８において、サウンドデータ配信サーバ３００の制御部３１０は、データ量変換処理（ステップＳＡ６）が終了すると、次に、ステップＳＡ７において、データ量が変換された４つのサウンドデータＳＤ１、ＳＤ２、ＳＤ３、ＳＤ４の各々を、並列に基地局５１０に送信する。この際、制御部３１０は、各サウンドデータＳＤ１、ＳＤ２、ＳＤ３、ＳＤ４に、記憶部３３０に記録される発音位置情報を付加した後、サウンドデータＳＤ１、ＳＤ２、ＳＤ３、ＳＤ４をストリーム形式で送信する。例えば、図３において、基地局５１０に送信すべきサウンドデータが、発音地点ＩＤ「ミニストアＡ」に対応する「買い物マーチ」であれば、制御部３１０は、「買い物マーチ」に発音位置情報（ｘ１，ｙ１，ｚ１）を付加した後、「買い物マーチ」を送信する。
基地局５１０は、サウンドデータ配信サーバ３００から送信されたサウンドデータＳＤ１、ＳＤ２、ＳＤ３、ＳＤ４を受信すると、ステップＳＡ８において、それらのサウンドデータＳＤ１、ＳＤ２、ＳＤ３、ＳＤ４を端末１００に転送する。

一方、端末１００の制御部１１０は、ステップＳＡ３において端末位置情報ＳＰを基地局５１０に送信すると、次に、ステップＳＡ９において、ユーザの顔方向を示す方位情報を方位検出部１５０によって生成する。次いで、端末１００の制御部１１０は、ステップＳＡ１０において、基地局５１０から受信したサウンドデータＳＤ１、ＳＤ２、ＳＤ３、ＳＤ４からオーディオ信号を生成する。この際、端末１００の制御部１１０は、端末位置情報ＳＰ、方位情報および発音位置情報に応じて、オーディオ信号生成部１６０によりオーディオ信号をストリーム形式で生成する。次に、端末１００の制御部１１０は、ステップＳＡ１１において、オーディオ信号出力部１９０からオーディオ信号を出力する。端末１００から出力されたオーディオ信号は、ヘッドフォン２００を介して音として出力される。

例えば、いま、図１２に示されるように、発音地点Ｓ１、Ｓ２、Ｓ３、Ｓ４の位置が設定されており、端末位置情報ＳＰによって端末１００（ユーザ）の位置、方位情報によってユーザの顔の向く方向Ａが与えられたものとする。また、このとき、ユーザから各発音地点Ｓ１、Ｓ２、Ｓ３、Ｓ４までの距離は、左右両耳とも、この順で遠くなるものとする。この際、ヘッドフォン２００から出力される各発音地点のサウンドデータの音圧（音量）は、発音地点Ｓ１に対応するサウンドデータの音圧が最も大きくなり、発音地点Ｓ４に対応するサウンドデータの音圧が最も小さくなる。これにより、ユーザは、発音地点Ｓ１が最も近くに位置し、発音地点Ｓ４が最も遠くに位置するように知覚する。また、発音地点Ｓ１からユーザの右耳までの距離は、左耳までの距離より短いため、発音地点Ｓ１のサウンドデータについてのＬチャネル信号は、Ｒチャネル信号より遅延したものとなる。これにより、ユーザは、発音地点Ｓ１が右側に位置することを知覚する。同様に、Ｌチャネル信号とＲチャネル信号との間の遅延量（遅延時間Δｔ）により、ユーザは発音地点Ｓ４が左側に位置することを知覚する。

次に、図１３に示されるように、ユーザが、発音地点Ｓ４の方向を向いたとする。このとき、方位検出部１５０によって、ユーザの顔の向く方向Ａが更新されるため、Ｌチャネル信号とＲチャネル信号との間における各サウンドデータの遅延量（遅延時間Δｔ）が更新される。これにより、ユーザは、発音地点Ｓ２が右側に位置し、発音地点Ｓ３が左側に位置することを知覚する。

次いで、図１４に示されるように、ユーザが、発音地点Ｓ４に近づき、ユーザから各発音地点Ｓ１、Ｓ２、Ｓ３、Ｓ４までの距離が、発音地点Ｓ４、発音地点Ｓ２、発音地点Ｓ３、発音地点Ｓ１の順で遠くなる位置に移動したものとする。このようにユーザが移動すると、発音地点Ｓ１から遠ざかるため、発音地点Ｓ１のサウンドデータの音圧（音量）は小さくなる一方、発音地点Ｓ４に近づくため、発音地点Ｓ４のサウンドデータの音圧は大きくなる。これにより、ユーザは、発音地点Ｓ１から離れ、発音地点Ｓ４に近づいたことを知覚する。

以上説明したように、本実施形態によれば、ユーザの位置およびユーザの向く方向と、発音地点の位置とに応じて、ユーザからみて、発音位置情報で示される位置から発音しているかのように定位させたオーディオ信号が生成される。これにより、ユーザは、あたかも発音地点の各々が、規定された位置に実在するかのような感覚を得ることができる。例えば、ある領域に発音地点としてオーケストラの各パートを配置した場合、ユーザが当該領域内を移動すれば、ユーザは、あたかも各パートが配置された空間内を移動するかのような感覚を得ることが可能となり、ユーザがオーディオデータの生成に参加でき、変化に富んだ楽しい音響アミューズメントを提供することができる。

また、本実施形態においては、発音地点の音像が定位されるため、音声でユーザの目標物の位置を指示する音声情報システムに適用した場合、目標物が右側に位置すれば、「右方向、ガソリンスタンドの手前を右折です。」などの音声が、あたかも右側から出力されたかのように聞こえる。これにより、従来における音像を考慮しない音声情報システムと比較して、より直感的に方向に関する情報をユーザに与えることが可能となり、音声指示の効率が向上する。
さらに、サウンドデータ配信システムを視覚障害者向けガイドとしても使用できる。例えば、駅における切符自販機、駅員室、改札口などに、それら各々を表す音声を出力するような発音地点を配置する構成としても良い。このような構成にすれば、音声によって、目で見るのと同様に位置を案内することができるため、ユーザは自主的に目標物に近づくことができる。

くわえて、発音地点を商店などの位置に配置し、当該商店の広告を示す音声を出力する構成としても良い。これにより、あたかも商店から音声が出力されたかのように聞こえるため、ユーザは、例えばビルの２階などの目に付きにくい場所に立地する商店を探しやすくなる。一方、商店においては、広告効果が期待でき、商売が活性化することとなる。また、聴覚に働きかける広告が、呼び込みなどの実際の音から、仮想的な発音地点の広告に転換されることにより、街中における騒音が低減される。

＜第１実施形態の変形例＞
なお、上述した第１実施形態においては、サウンドデータの配信によるネットワークトラッフィックおよびサウンドデータ配信サーバの負荷を緩和するために、データ量変換処理においてサウンドデータのデータ量を縮減する例を示した。しかし、これらが問題とならない場合には、データ量変換処理を省略することができる。

＜第２実施形態＞
＜サウンドデータ配信システムの構成＞
上述した第１実施形態においては、ひとつのサウンドデータ配信サーバ３００から端末１００にサウンドデータを配信するサウンドデータ配信システムについて説明した。これに対し、第２実施形態では、複数のサウンドデータ配信サーバの各々から端末１００にサウンドデータを配信するサウンドデータ配信システムについて説明する。
なお、第２実施形態におけるサウンドデータ配信システムの構成のうち、第１実施形態に係るシステムと共通するものについては同一の符号が付されている。

図１５は、第２実施形態におけるサウンドデータ配信システムの概略構成を示す図である。この図に示されるように、移動通信網５００には、大別して２種類のサーバ装置が接続されている。すなわち、コントロールサーバ６００と、サウンドデータ配信サーバ６１０Ａ、６１０Ｂ、６１０Ｃとである。このうち、サウンドデータ配信サーバ６１０Ａ、６１０Ｂ、６１０Ｃの各々は、端末１００に配信されるサウンドデータであり、互いに異なる発音地点に対応したサウンドデータを記憶している。また、コントロールサーバ６００は、サウンドデータ配信サーバ６１０Ａ、６１０Ｂ、６１０Ｃから端末１００へのサウンドデータの配信を管理するものである。詳述すると、コントロールサーバ６００は、端末１００の位置と、各々の発音地点の位置とに応じて、所定数（例えば２つ）の発音地点を選択する。サウンドデータ配信サーバ６１０Ａ、６１０Ｂ、６１０Ｃは、コントロールサーバ６００によって選択された発音地点に対応するサウンドデータを、端末１００に配信する。なお、これらのコントロールサーバ６００、サウンドデータ配信サーバ６１０Ａ、６１０Ｂ、６１０Ｃの各々には、移動通信網５００において各々を特定するためのサーバＩＤが割り当てられている。
なお、説明の便宜上、第２実施形態においては、サウンドデータ配信サーバ６１０Ａ、６１０Ｂ、６１０Ｃは、移動通信網５００に直接接続されているが、サウンドデータ配信サーバ６１０Ａ、６１０Ｂ、６１０Ｃは、インターネットなどを介して移動通信網５００に接続される構成としても良い。また、第２実施形態においては、サウンドデータ配信サーバ６１０Ａ、６１０Ｂ、６１０Ｃの数が３つである例を説明するが、サウンドデータ配信サーバ６１０Ａ、６１０Ｂ、６１０Ｃの数は、３つに限られるものではなく、それ以外の数であってもよい。

まず、サウンドデータ配信サーバ６１０Ａ、６１０Ｂ、６１０Ｃの構成について説明する。第２実施形態におけるサウンドデータ配信サーバ６１０Ａ、６１０Ｂ、６１０Ｃは、第１実施形態におけるサウンドデータ配信サーバ３００（図２参照）と同様の構成をしており、各部を制御する制御部と、移動通信網とデータを授受する通信部と、各種情報を記憶する記憶部とを備えている。

図１６は、サウンドデータ配信サーバ６１０Ａの記憶部に記憶される情報のうち主要なものを示す図であり、図１７は、サウンドデータ配信サーバ６１０Ｂの記憶部に記憶される情報のうち主要なものを示す図である。なお、図示しないが、サウンドデータ配信サーバ６１０Ｃにおける記憶部もサウンドデータ配信サーバ６１０Ａ、６１０Ｂと同様な情報が記憶されている。これらの図に示されるように、各サウンドデータ配信サーバ６１０Ａ、６１０Ｂの記憶部には、発音地点ＩＤと、各々の発音地点ＩＤに対応付けられたサウンドデータとが記憶される。この記憶部が、第１実施形態におけるサウンドデータ配信サーバ３００の記憶部３３０と比較して特徴的なのは、発音位置情報を記憶していない点にある。

次いで、コントロールサーバ６００の構成について説明する。コントロールサーバ６００は、サウンドデータ配信サーバ６１０の構成と同様の構成をしており、各部を制御する制御部と、移動通信網５００とデータを授受する通信部と、各種情報を記憶する記憶部とを備えている。

図１８は、コントロールサーバ６００の記憶部に記憶される情報のうち、主要なものを示す図である。この図に示されるように、記憶部には、発音地点ＩＤと、各々の発音地点ＩＤに対応付けられた発音位置情報およびサーバＩＤが記憶されている。コントロールサーバ６００の記憶部が、第１実施形態におけるサウンドデータ配信サーバ３００の記憶部３３０と比較して特徴的な点は、サウンドデータを記憶していない点と、サーバＩＤを記憶している点にある。発音地点ＩＤは、サウンドデータ配信サーバ６１０Ａ、６１０Ｂ、６１０Ｃに記憶される発音地点を特定するためのものである。また、サーバＩＤは、発音地点ＩＤによって特定される発音地点のサウンドデータが、いずれのサウンドデータ配信サーバ６１０Ａ、６１０Ｂ、６１０Ｃに記憶されているかを示す情報である。この図におけるサーバＩＤ「Ａ」は、サウンドデータ配信サーバ６１０Ａを示し、サーバＩＤ「Ｂ」は、サウンドデータ配信サーバ６１０Ｂを示し、サーバＩＤ「Ｃ」は、サウンドデータ配信サーバ６１０Ｃを示している。例えば、この図においては、発音地点ＩＤ「ミニストアＡ」の発音地点は、座標（ｘ１，ｙ１，ｚ１）に位置し、そのサウンドデータはサウンドデータ配信サーバ６１０Ａに記憶されることを示し、発音地点ＩＤ「ミニストアＢ」の発音地点は、座標（ｘ２，ｙ２，ｚ２）に位置し、そのサウンドデータはサウンドデータ配信サーバ６１０Ｂに記憶されることを示している。

＜サウンドデータ配信システムの動作＞
第２実施形態におけるサウンドデータ配信システムの動作について図１９を参照して説明する。この動作は、コントロールサーバ６００によって選択された発音地点に対応するサウンドデータを、サウンドデータ配信サーバ６１０から端末１００に配信し、端末１００において、配信されたサウンドデータからオーディオ信号を生成する処理である。なお、この動作は、ユーザが端末１００の指示入力部１２０を介して、オーディオ信号の生成の開始を指示する生成開始信号を入力すると処理を開始し、その後、端末１００によって、タイマ割り込みされる処理である。また、コントロールサーバ６００と端末１００との間における接続認証や端末認証などの、一般的な移動通信システムにおいて実行される各種処理は、本件発明と直接関係しないため、それらの説明については省略することとする。

まず、端末１００の制御部１１０は、ステップＳＢ１において、衛星群４００から送信される衛星信号を、衛星電波受信部１４５により受信し、衛星信号を取得する。次に、端末１００の制御部１１０は、ステップＳＢ２において、取得した衛星信号に応じて端末１００の３次元位置を示す端末位置情報ＳＰを測位部１４０により生成する。

次に、端末１００の制御部１１０は、ステップＳＢ３において、端末位置情報ＳＰを、その情報の送信先であるコントロールサーバ６００を示すサーバＩＤと共に基地局５１０に送信する。基地局５１０は、端末位置情報ＳＰを端末１００から受信すると、ステップＳＢ４において、その情報をコントロールサーバ６００に転送する。

コントロールサーバ６００の制御部は、端末位置情報ＳＰを受信すると、ステップＳＢ５において、受け取った端末位置情報ＳＰと、記憶部に記憶される発音位置情報とに応じて、発音地点選択処理を実行する。この発音地点選択処理は、上述した第１実施形態における発音地点選択処理（図９参照）と同様の処理であり、端末１００に近い発音地点から順に、所定数（２つ）に達するまで発音地点を選択する処理である。この動作説明においては、例として、コントロールサーバ６００の制御部は、図１８に示される発音地点ＩＤのうち「ミニストアＡ」と「ビルＢ」との２つの発音地点を選択したものとして、すなわち、サウンドデータ配信サーバ６１０Ａに記憶される「買い物マーチＡ（図１６参照）」と、サウンドデータ配信サーバ６１０Ｂに記憶される「太鼓音Ｂ（図１７参照）」とが端末１００に配信されるものとして説明する。なお、コントロールサーバ６００の制御部によって選択される発音地点の数は、２つに限られず、任意に設定することが可能である。

次に、コントロールサーバ６００の制御部は、ステップＳＢ６において、選択された発音地点のサウンドデータを有するサウンドデータ配信サーバ６１０のサーバＩＤ＿ＳＩＤを基地局５１０に送信する。この際、コントロールサーバ６００の制御部は、サーバＩＤ＿ＳＩＤに対して、その記憶部に記憶される発音地点ＩＤおよび発音位置情報を付加した後、サーバＩＤ＿ＳＩＤを送信する。すなわち、コントロールサーバ６００の制御部は、図１８におけるサーバＩＤ「Ａ」に発音地点ＩＤ「ミニストアＡ」と発音位置情報（ｘ１，ｙ１，ｚ１）とを付加すると共に、サーバＩＤ「Ｂ」に発音地点ＩＤ「ビルＢ」と発音位置情報（ｘ２，ｙ２，ｚ２）とを付加した後、サーバＩＤ「Ａ」およびサーバＩＤ「Ｂ」を基地局５１０に送信する。
基地局５１０は、各サーバＩＤ＿ＳＩＤをコントロールサーバ６００から受信すると、ステップＳＢ７において、それらを端末１００に転送する。

端末１００の制御部１１０は、基地局５１０によって転送されたサーバＩＤ＿ＳＩＤを受信すると、ステップＳＢ８において、当該サーバＩＤ＿ＳＩＤによって特定されるサウンドデータ配信サーバ６１０Ａ、６１０Ｂの各々にサウンドデータの配信を要求すべく、配信要求ＤＲＡ、ＤＲＢを基地局５１０に送信する。すなわち、端末１００の制御部１１０は、サウンドデータ配信サーバ６１０Ａに対する「買い物マーチＡ」の配信要求ＤＲＡと、サウンドデータ配信サーバ６１０Ｂに対する「太鼓音Ｂ」の配信要求ＤＲＢとを基地局５１０に送信する。

基地局５１０は、配信要求ＤＲＡ、ＤＲＢを端末１００から受け取ると、ステップＳＢ９およびステップＳＢ１０において、受け取った配信要求ＤＲＡ、ＤＲＢの各々を、対応するサウンドデータ配信サーバ６１０Ａ、６１０Ｂに転送する。すなわち、基地局５１０は、ステップＳＢ９において、配信要求ＤＲＡをサウンドデータ配信サーバ６１０Ａに転送する一方、ステップＳＢ１０において、配信要求ＤＲＢをサウンドデータ配信サーバ６１０Ｂに転送する。

サウンドデータ配信サーバ６１０Ａの制御部は、基地局５１０から配信要求ＤＲＡを受け取ると、ステップＳＢ１１において、当該配信要求ＤＲＡによって示されるサウンドデータＳＤＡ（ここでは「買い物マーチＡ」）を基地局５１０にストリーム形式で送信する。基地局５１０は、サウンドデータ配信サーバ６１０ＡからサウンドデータＳＤＡを受け取ると、ステップＳＢ１２において、サウンドデータＳＤＡを端末１００に転送する。

一方、サウンドデータ配信サーバ６１０Ｂの制御部は、基地局５１０から配信要求ＤＲＢを受け取ると、ステップＳＢ１３において、当該配信要求ＤＲＢによって示されるサウンドデータＳＤＢ（ここでは「太鼓音Ｂ」）を基地局５１０にストリーム形式で送信する。基地局５１０は、サウンドデータ配信サーバ６１０ＢからサウンドデータＳＤＢを受け取ると、ステップＳＢ１４において、サウンドデータＳＤＢを端末１００に転送する。これらのステップＳＢ１３およびステップＳＢ１４の処理は、上述したステップＳＢ１１およびステップＳＢ１２の処理と並列して実行される。

なお、第１実施形態と同様に、サウンドデータＳＤＡ、ＳＤＢを送信する前に、サウンドデータ配信サーバ６１０Ａ、６１０Ｂにおいて、データ量変換処理を実行しても良い。すなわち、サウンドデータ配信サーバ６１０Ａ、６１０Ｂの各々において、端末１００と発音地点との距離に応じて、各々のサウンドデータＳＤＡ、ＳＤＢのデータ量を縮減した後、サウンドデータを基地局５１０に送信する構成としても良い。

端末１００の制御部１１０は、サウンドデータ配信サーバ６１０Ａから送信されたサウンドデータＳＤＡ（ここでは「買い物マーチＡ」）と、サウンドデータ配信サーバ６１０Ｂから送信されたサウンドデータＳＤＢ（ここでは「太鼓音Ｂ」）とを、基地局５１０を介して並列に受信すると、ステップＳＢ１５において、それらのサウンドデータをオーディオ信号生成部１６０に入力して、左右２チャネルのオーディオ信号を生成する。この際、「買い物マーチＡ」と「太鼓音Ｂ」との各々のサウンドデータは、オーディオ信号生成部１６０に含まれる２つの加工部１７０のいずれか一方によって処理される。そして、端末１００の制御部１１０は、ステップＳＢ１６において、オーディオ信号出力部１９０からオーディオ信号を出力する。端末１００から出力されたオーディオ信号は、ヘッドフォン２００を介して音として出力される。

このように第２実施形態においては、コントロールサーバ６００の管理の下、各サウンドデータ配信サーバ６１０Ａ、６１０Ｂ、６１０Ｃから端末１００にサウンドデータが配信され、端末１００において、ユーザの位置および顔の向く方向Ａに応じて、仮想的な発音地点による音像を定位させたオーディオ信号が生成される。これにより、上述した第１実施形態と同様に、ユーザは、あたかも発音地点が実在するかのような空間を移動することができ、従来にない音響アミューズメントを提供することができる。

また、第２実施形態においては、複数のサウンドデータ配信サーバ６１０Ａ、６１０Ｂ、６１０Ｃからサウンドデータが配信される。このため、複数の端末１００が、ひとつのサウンドデータ配信サーバから集中的にサウンドデータの配信を受ける事態が回避され、サウンドデータ配信サーバにかかる負荷が分散されることとなる。さらに、コントロールサーバ６００によってサウンドデータの配信が一括管理されるため、サウンドデータの管理が容易となり、サウンドデータを容易に増加することができる。これにより、端末１００に配信されるサウンドデータの種類や内容が充実したものとなる。

＜第１および第２実施形態の変形例＞
なお、上述した第１および第２実施形態においては、端末位置情報ＳＰを、ＧＮＳＳによって端末１００において生成する例を示したが、これに限られない。例えば、サウンドデータ配信サーバ３００やコントロールサーバ６００において、端末１００が無線リンクを確立する基地局５１０の位置などに応じて、端末位置情報ＳＰを生成する構成としても良い。

また、上述した第１および第２実施形態においては、基地局５１０と無線通信する無線通信部１３０を備えた端末１００を説明したが、これに限られない。例えば、ＰＤＡ（Personal Digital Assistants）などの無線通信機能を有さない携帯端末と、当該携帯端末に着脱可能な通信モジュールを取り付けて、サウンドデータ配信サーバ３００などとデータを授受する構成としても良い。

上述した第１および第２実施形態においては、サウンドデータをストリーム形式で配信する例を示したが、端末１００にサウンドデータを記憶する記憶部を設けて、記憶部にキャッシュされたサウンドデータによりオーディオ信号を生成する構成としても良い。

くわえて、上述した第１および第２実施形態においては、端末１００と発音地点との距離に応じて、サウンドデータ配信サーバ３００、６１０Ａなどにおいて、端末１００に配信するサウンドデータのデータ量を変換する例を示したがこれに限られない。例えば、サウンドデータ配信サーバ３００の記憶部３３０に、同一の音を表すサウンドデータであって、データ量が互いに異なる複数のサウンドデータ（例えば、サンプリング周波数が互いに異なる複数のサウンドデータ）を予め記憶させておき、このうちのいずれかを、端末１００と発音地点との距離に応じて選択し、選択されたサウンドデータを端末１００に送信する構成としても良い。これにより、上述した各実施形態と同様に、ネットワークトラフィックが低減されることとなる。

＜第３実施形態＞
上述した第１、第２実施形態においては、移動通信網５００を介してサウンドデータ配信サーバ３００、６１０からサウンドデータを受信し、受信したサウンドデータからオーディオ信号を生成する端末１００について説明した。これに対し、第３実施形態では、端末内に設けられた記憶部に記憶されるサウンドデータからオーディオ信号を生成する端末を説明する。第３実施形態においては、上述した各実施形態におけるサウンドデータ配信サーバ３００、および、基地局５１０などの無線通信のための設備は不要となる。

図２０は、第３実施形態における端末の構成を示す図である。この図において、第１実施形態における端末１００と同一の構成については、同一の符号が付されている。
第３実施形態における端末７００の構成のうち、特徴的なのは、発音情報記憶部７２０である。この発音情報記憶部７２０は、発音地点に関する発音位置情報や、サウンドデータを記憶するものであり、それらの情報をバスＢ１に供給する。上述した第１および第２実施形態における端末１００の制御部１１０は、サウンドデータ配信サーバ３００から配信されるサウンドデータからオーディオ信号を生成したが、第３実施形態における端末７００の制御部７１０は、発音情報記憶部７２０に記憶されるサウンドデータを読み出して、読み出されたサウンドデータからオーディオ信号を生成する。

より具体的には、まず、制御部７１０は、測位部１４０によって生成された端末位置情報ＳＰが示す端末７００の位置と、発音情報記憶部７２０に記憶される発音位置情報が示す発音地点の位置とに応じて、発音地点選択処理を実行する。この発音地点選択処理は、上述した第１実施形態におけるサウンドデータ配信サーバ３００において実行される発音地点選択処理（図９参照）と同様の処理であり、発音地点を、端末７００に近いものから順番に、所定数に達するまで選択する処理である。次に、制御部７１０は、選択された複数の発音地点の各々に対応するサウンドデータを、発音情報記憶部７２０から並列して読み出す。そして、制御部７１０は、読み出された各々のサウンドデータから、端末位置情報ＳＰと発音位置情報とに応じて、２チャネルのオーディオ信号をオーディオデータ生成部１６０によって生成する。

このように第３実施形態においては、端末７００に含まれる発音情報記憶部７２０から読み出されたサウンドデータによってオーディオ信号が生成される。これにより、上述した第１および第２実施形態と同様に、ユーザが仮想的な発音位置が配置された空間を移動することができ、従来にない音響アミューズメントを提供することができる。また、サウンドデータを配信する構成が不要となるためその構成が簡略化される。

なお、発音情報記憶部７２０は、必ずしも端末７００に内蔵でなくとも良い。例えば光ディスクなどの記録媒体から発音地点に関する情報を読み出すリムーバブルストレージを端末７００に設けても良いし、さらには、リムーバブルストレージを外付けするためのインターフェースを端末７００に設ける構成としても良い。

また、上述した第１、第２および第３実施形態においては、発音地点の位置が固定である例を示したが、発音地点の位置は、時系列的に変化する構成としても良い。このような構成にすると、例えば、ジェット機などの移動体から出力されると想定される音を仮想的に生成することができる。これにより、ヘッドフォン２００から出力される音像が、さらに、変化に富んで楽しいものとなる。

くわえて、上述した各実施形態においては、発音位置情報および端末位置情報ＳＰの各々を、３次元位置によって規定する例を示したが、２次元位置によって規定する構成としても良い。

＜第４実施形態＞
上述した各実施形態においては、位置が固定の発音地点についての音像を定位させるサウンドデータ配信システムについて説明した。これに対し、第４実施形態においては、発音地点の位置をユーザにより携行される端末の位置と対応付け、ユーザに対して、移動する他のユーザの位置から音が出力されているかのように音像を定位させるサウンドデータ配信システムについて説明する。この実施形態におけるサウンドデータ配信システムの構成のうち、第１実施形態に係るシステムと共通するものについては同一の符号が付されている。

＜サウンドデータ配信サーバの構成＞
上述した第１実施形態のサウンドデータ配信サーバ３００は、記憶部３３０にあらかじめ記憶されるサウンドデータを端末１００に配信した。これに対し、本実施形態にかかるサウンドデータ配信サーバは、サウンドデータと端末位置情報ＳＰとを端末から受け取り、それらを含む情報を他の端末に対して配信する。端末からサウンドデータ配信サーバにアップロードされるサウンドデータは、当該端末の位置から仮想的に出力される音を示す情報である。一方、サウンドデータと共にアップロードされる端末位置情報ＳＰは、サウンドデータに応じた音が出力されるべき仮想的な音源の位置を示す情報であり、その役割は、上記各実施形態における発音位置情報と共通する。

図２１は、サウンドデータ配信サーバ８００の構成を示す図である。この図に示されるように、サウンドデータ配信サーバ８００は、上述したサウンドデータ配信サーバ３００と比較して、移動ベクトル量演算部８１０を有している点、および記憶部３３０に記憶される情報の点で異なる。このうち移動ベクトル量演算部８１０は、１つの端末に関する２時点間の相対的な位置関係から、その端末の単位時間あたりの変位を示すベクトル量、すなわち速度（以下「移動ベクトル量ＭＶ」と称する）を演算する。例えば、図２２に示すように、地点Ｐ_T-1（ｘ_T-1，ｙ_T-1）に位置する端末９００が、単位時間「ｕｔ」だけ経過した後、地点Ｐ_T（ｘ_T，ｙ_T）に移動したとする。このとき、移動ベクトル量演算部８１０は、移動ベクトル量ＭＶとして、

を演算する。なお、この移動ベクトル量ＭＶは、後述するように、端末９００において他の端末９００の移動経路の予測に用いられる。
一方、図２３は、サウンドデータ配信サーバ８００の記憶部３３０に記憶される情報を示す図である。この図に示すように、記憶部３３０には、「端末ＩＤ」と「端末位置情報ＳＰ」と「移動ベクトル量ＭＶ」と「サウンドデータ」とが対応付けられて記憶されている。このうち、端末ＩＤは、サウンドデータ配信システムに含まれる端末９００を識別するための情報である。記憶部３３０には、全ての端末９００に対応する端末ＩＤのうち、サウンドデータ配信サーバ８００と接続中の端末９００に対応する端末ＩＤが記憶される。

端末位置情報ＳＰは、端末ＩＤに対応する端末９００の位置を示す情報であり、１つの端末ＩＤにつき「Ｔ−１期」における情報と「Ｔ期」における情報との２つの時点における位置情報が含まれる。ここで、「Ｔ−１期」は、上述した単位時間「ｕｔ」だけ「Ｔ期」から過去の時点に相当する。

端末位置情報ＳＰは、端末９００が基地局５１０のサービスエリアに在圏する間にわたり単位時間「ｕｔ」が経過する度に更新される。なお、この実施形態においては、端末位置情報ＳＰは、（ｘ１_T-1，ｙ１_T-1）や（ｘ１_T，ｙ１_T）などにより示すように、２次元にて規定された位置情報とするが、上記発音位置情報と同様に３次元により規定された位置情報であっても良い。

移動ベクトル量ＭＶは、上述した移動ベクトル量演算部８１０により生成された情報であり、端末ＩＤに対応する端末９００の「Ｔ−１期」から「Ｔ期」までの期間における速度を示す。移動ベクトル量演算部８１０は、「Ｔ−１期」および「Ｔ期」の端末位置情報ＳＰを用いて移動ベクトル量ＭＶを演算する。

サウンドデータは、端末ＩＤに対応する端末９００からアップロードされたデータであり、サウンドデータ配信サーバ８００から他の端末９００に配信される。この実施形態においては、端末９００の位置から仮想的に出力される音は楽曲を構成する音であるものとして説明するが、端末９００の位置から仮想的に発せられる音は楽曲を構成する音に限られず、楽音や音声などの音であればいかなるものであっても良い。
以上説明した端末ＩＤと、端末位置情報ＳＰと、移動ベクトル量ＭＶと、サウンドデータとの組は、端末ＩＤに対応する端末９００がサウンドデータ配信サーバ８００と接続している間のみ記憶部３３０に記憶され、それらの接続関係が切断されると、制御部３１０により記憶部３３０から消去される。

＜端末の構成＞
端末９００は、自装置の位置から仮想的に出力される音を示すサウンドデータと、自装置の位置を示す端末位置情報ＳＰとをサウンドデータ配信サーバ８００にアップロードする一方で、他の端末９００に関するサウンドデータと端末位置情報ＳＰと移動ベクトル量ＭＶとをサウンドデータ配信サーバ８００からダウンロードする。端末９００は、ダウンロードした他の端末９００に関するサウンドデータと、端末位置情報ＳＰと、移動ベクトルＭＶとを用いて、あたかも他の端末９００（ユーザ）の位置からサウンドデータで示される楽曲が出力されているかのように音像を定位させる。

図２４は、端末９００の構成を示すブロック図である。この図に示されるように、端末９００は、第１実施形態における端末１００（図５参照）の構成各部に加え、記憶部９１０と位置予測部９２０とを備えている。
このうち記憶部９１０は、「サウンドデータ」および自装置（端末９００）の「端末ＩＤ」を記憶する。このサウンドデータは、自装置の位置から仮想的に出力されると想定された音を示すデータである。ユーザは、例えばネットワークを介してダウンロードするなどして、サウンドデータを端末９００の記憶部９１０に記憶させることができる。

位置予測部９２０は、サウンドデータ配信サーバ８００から配信された他の端末９００に関する「Ｔ期」の端末位置情報ＳＰと、移動ベクトル量ＭＶとを用いて、「Ｔ期」以降に他の端末９００が移動する経路を予測する。例えば、前掲図２２に示すように、「Ｔ期」における端末９００の位置Ｐ_T（ｘ_T，ｙ_T）と、「Ｔ−１期」から「Ｔ期」までの端末９００の移動ベクトル量ＭＶとが与えられた場合、位置予測部９２０は、端末９００の位置Ｐ_C（ｘ_C，ｙ_C）を例えば次式により時系列的に予測する。

ここで、ｅｔは、「Ｔ期」からの経過時間を示す。
説明を再び図２４に戻す。オーディオ信号生成部１６０は、第１実施形態と同様に自装置で生成した端末位置情報ＳＰと方位情報Ａとを用いて、音像を定位させたオーディオ信号ＳＬ３およびＳＲ３をサウンドデータから生成するが、発音地点の位置を示す発音位置情報の代わりとして、位置予測部９２０により予測された他の端末９００の位置Ｐ_Cを用いて音像を定位させる。なお、音像を定位させる際に、他の端末９００の位置について実測値ではなく位置予測部９２０により予測された予測値（位置Ｐ_C）を用いる理由は、ネットワークトラフィックなどの影響により定位された音像が不自然なものとなるのを防止するためであるが、この点については後述する。

＜サウンドデータ配信システムの動作＞
次にサウンドデータ配信システムの動作について図２５を参照して説明する。この動作は、端末９００において、あたかも他の端末９００の位置から楽曲が出力されているかのように音像を定位させる動作である。サウンドデータ配信システムにおいては、複数の端末９００の各々が、サウンドデータをアップロードする動作と、サウンドデータ配信サーバ８００からサウンドデータをダウンロードしたうえで自装置と他の端末９００との相対的な位置関係に応じて音像を定位させる動作とを並行して実行する。ただし、以下では、説明の便宜のために、サウンドデータ配信システムに含まれる複数の端末９００のうち２つの端末９００のみに着目し、このうち一方の端末（以下「９００Ｕ」という）についてはサウンドデータをアップロードする動作に特に注目し、他方の端末（以下「９００Ｄ」という）についてはサウンドデータのダウンロードおよび音像の定位のための処理に特に注目して説明を進める。

まず、いずれかの基地局５１０が管轄するサービスエリアに端末９００Ｕが入ると、端末９００Ｕの制御部１１０は、ステップＳＣ１およびＳＣ２において、記憶部９１０に記憶されるサウンドデータＳＤと自装置の端末ＩＤ＿ＭＩとを、基地局５１０を介してサウンドデータ配信サーバ８００に送信する。サウンドデータ配信サーバ８００の制御部３１０は、端末９００ＵからサウンドデータＳＤと端末ＩＤ＿ＭＩとを受信すると、前掲図２３に示すように端末ＩＤ＿ＭＩとサウンドデータＳＤとを対応づけて記憶部３３０に記憶させる。

一方、端末９００Ｕの制御部１１０は、サウンドデータＳＤおよび端末ＩＤを基地局５１０に送信した後（ステップＳＣ１）、ステップＳＣ４において、衛星群４００から送信される衛星信号を衛星電波受信部１４５により受信する。続いて、端末９００Ｕの制御部１１０は、ステップＳＣ５において、受信した衛星信号を用いて、自装置の位置を示す端末位置情報ＳＰ１を測位部１４０により生成する。次いで、端末９００Ｕの制御部１１０は、ステップＳＣ６およびＳＣ７において、生成した端末位置情報ＳＰ１と自装置の端末ＩＤ＿ＭＩとを、基地局５１０を介してサウンドデータ配信サーバ８００に送信する。

サウンドデータ配信サーバ８００の制御部３１０は、基地局５１０を介して端末９００Ｕから端末位置情報ＳＰ１と端末ＩＤ＿ＭＩとを受信すると、ステップＳＣ８において、記憶部３３０に記憶された端末ＩＤのうち受信した端末ＩＤ＿ＭＩと等しい端末ＩＤに、受信した端末位置情報ＳＰ１を対応づけて記憶部３３０に記憶する。例えば、いま、図２６の上段に示されるように、あらかじめ記憶部３３０に端末ＩＤ「ＭＳ１」と、「Ｔ−１期」の端末位置情報ＳＰ（ｘ１_T-2，ｙ１_T-2）と、「Ｔ期」の端末位置情報ＳＰ（ｘ１_T-1，ｙ１_T-1）と、移動ベクトル量ＭＶ（ｘ１_V-1，ｙ１_V-1）と、サウンドデータＳＤ「楽曲１」とが対応づけられて記憶されている状況を想定する。この状況のもと、サウンドデータ配信サーバ８００がステップＳＣ７において、基地局５１０から端末ＩＤとして「ＭＳ１」と、端末位置情報ＳＰ１として（ｘ１_T，ｙ１_T）とを受信したとする。この際、制御部３１０は、同図の下段に示されるように、まず、現時点における「Ｔ期」の端末位置情報ＳＰ（ｘ１_T-1,ｙ１_T-1）を、「Ｔ−１期」の端末位置情報ＳＰとして書き換えた後、受信した端末位置情報ＳＰ１（ｘ１_T，ｙ１_T）を「Ｔ期」の端末位置情報ＳＰとして記憶部３３０に記憶させる。

次に、サウンドデータ配信サーバ８００の制御部３１０は、ステップＳＣ９において、記憶部３３０に記憶された「Ｔ−１期」の端末位置情報ＳＰと「Ｔ期」の端末位置情報ＳＰとを用いて、移動ベクトル量演算部８１０により端末９００Ｕの移動ベクトル量ＭＶを演算する。次いで、制御部３１０は、演算した移動ベクトル量ＭＶを端末ＩＤと対応づけて記憶部３３０に記憶させる。なお、「Ｔ−１期」の端末位置情報ＳＰが存在しない場合、すなわちサウンドデータ配信サーバ８００によるステップＳＣ９の処理が第１回目の場合には、記憶部３３０には移動ベクトル量ＭＶとして零ベクトルが記録される。

ここで、サウンドデータ配信サーバ８００からサウンドデータＳＤをダウンロードする端末９００Ｄの動作へと説明を移す。
端末９００Ｄの制御部１１０は、オーディオ信号の生成開始を指示する生成開始信号を指示入力部１２０から入力すると、ステップＳＣ１０において、衛星群４００から送信される衛星信号を衛星電波受信部１４５により受信する。次に、端末９００Ｄの制御部１１０は、ステップＳＣ１１において、受信した衛星信号を用いて自装置の位置を示す端末位置情報ＳＰ２を測位部１４０により生成する。次いで、端末９００Ｄの制御部１１０は、ステップＳＣ１２およびＳＣ１３において、端末ＩＤ＿ＭＩと生成した端末位置情報ＳＰ２とを、基地局５１０を介してサウンドデータ配信サーバ８００に送信する。

サウンドデータ配信サーバ８００の制御部３１０は、基地局５１０から転送された端末位置情報ＳＰ２と端末ＩＤ＿ＭＩとを受信すると、ステップＳＣ１５において、端末選択処理を実行する。この端末選択処理は、第１実施形態における発音地点選択処理（図９参照）と略同様の処理であり、端末９００Ｄと他の端末９００との相対的な距離に応じて、他の端末９００のうち、端末９００Ｄの近傍に位置する他の端末９００を選択する処理である。この例では、端末選択処理によって端末９００Ｕが選択されたものとし、以降、端末９００Ｕに関するサウンドデータＳＤの音像を定位させる動作について説明する。

サウンドデータ配信サーバ８００の制御部３１０は、端末選択処理により端末９００Ｕを選択すると、ステップＳＣ１６において、選択した端末９００Ｕの端末ＩＤ＿ＭＩと、記憶部３３０において当該端末ＩＤと対応づけられた「Ｔ期」の端末位置情報ＳＰ１と、移動ベクトル量ＭＶと、サウンドデータＳＤとを組にして基地局５１０に送信する。この際、制御部３１０は、サウンドデータＳＤのヘッダとして、端末ＩＤ＿ＭＩ、端末位置情報ＳＰ１および移動ベクトル量ＭＶを付加する形式でこれらの情報を送信する。なお、仮に端末選択処理において複数の端末９００が選択された場合、制御部３１０は、端末ＩＤ＿ＭＩと、「Ｔ期」の端末位置情報ＳＰと、移動ベクトル量ＭＶと、サウンドデータＳＤとを端末９００ごとに組にして基地局５１０に送信する。
基地局５１０は、端末ＩＤ＿ＭＩと、「Ｔ期」の端末位置情報ＳＰ１と、移動ベクトル量ＭＶと、サウンドデータＳＤとを受信すると、ステップＳＣ１７において、それらを端末９００Ｄに向けて転送する。

一方、端末９００Ｄの制御部１１０は、端末位置情報ＳＰ２と端末ＩＤ＿ＭＩとを基地局５１０に送信すると（ステップＳＣ１２）、次に、ステップＳＣ１４において、ユーザの顔の向く方向Ａを示す方位情報ＯＤを方位検出部１５０により生成する。続いて、端末９００Ｄの制御部１１０は、基地局５１０から端末ＩＤ＿ＭＩと、「Ｔ期」の端末位置情報ＳＰ１と、移動ベクトル量ＭＶと、サウンドデータＳＤとを受信すると（ステップＳＣ１７）、ステップＳＣ１８において、受信したサウンドデータＳＤの音像を定位させたオーディオ信号を生成し、生成したオーディオ信号をヘッドフォン２００を介して放音する。この際、端末９００Ｄは、自装置に関する端末位置情報ＳＰ２および方位情報ＯＤを一定の時間間隔で更新しつつ、オーディオ信号を生成する。
サウンドデータ配信システムにおいては、以上説明したステップＳＣ４からステップＳＣ１８までの処理が繰り返されることにより、サウンドデータ配信サーバ８００から端末９００Ｄに配信されるサウンドデータＳＤが、ストリーム形式で端末９００Ｄにおいて再生される。

以下、端末９００ＤがステップＳＣ１８において音像を定位させる処理について詳細に説明する。まず、端末９００Ｄの制御部１１０は、「Ｔ期」の端末位置情報ＳＰ１と、移動ベクトル量ＭＶとを用いて、位置予測部９２０により端末９００Ｕの位置を予測する。次に、端末９００Ｄの制御部１１０は、予測した端末９００Ｕの位置、ならびに自装置において生成した端末位置情報ＳＰ２および方位情報ＯＤに応じて、サウンドデータＳＤから音像を定位させたオーディオ信号をオーディオ信号生成部１６０により生成する。

例えば、図２７中の実線で示すように、端末９００Ｄのユーザ９０２Ｄが、端末９００Ｕのユーザ９０２Ｕから離れた位置にて、ユーザ９０２Ｕの方向Ａに顔を向けている場合を想定する。この場合、端末９００Ｄの制御部１１０は、楽曲があたかもユーザ９０２Ｕの位置から放音されているかのようなオーディオ信号を生成し、ヘッドフォン２００を介して放音する。

次に、図中波線で示すように、各ユーザ９０２Ｄおよび９０２Ｕが互いに近づくように移動すると、端末９００Ｄの制御部１１０は、端末９００Ｕおよび９００Ｄ間の距離が短くなるにつれ、ヘッドフォン２００から放音する楽曲の音圧（音量）を増大させる。これにより、ユーザ９０２Ｄは、自身の位置と楽曲が放音される地点との相対的な位置関係が、ユーザ９０２Ｄと他のユーザ９０２Ｕとの相対的な位置関係と連動するかのような感覚を得ることができる。

次いで、図２８中の破線で示すように、ユーザ９０２Ｕが、端末９００Ｄのユーザ９０２Ｄからみて右手方向に遠のくように移動したとする。このようにユーザ９０２Ｕ（端末９００Ｕ）が移動すると、ユーザ９０２Ｕが遠のくにつれ、ヘッドフォン２００から放音される楽曲の音圧は左右両耳とも小さくなる。ただし、ユーザ９０２Ｄの右耳とユーザ９０２Ｕとの距離は、ユーザ９０２Ｄの左耳とユーザ９０２Ｕとの距離より短いため、右耳に至る音の音圧は、左耳に至る音の音圧よりも高くなる。同様の理由により、Ｒチャネル信号はＬチャネル信号より遅延したものとなる。これにより、ユーザ９０２Ｄは、楽曲が放音される地点が右手方向に遠のくことを知覚するとともに、他のユーザ９０２Ｕが右手方向に移動するという情報を得ることができる。すなわち、ユーザ９０２Ｄは、あらかじめ他のユーザ９０２Ｕの位置に対応付けられた音の種類を知っていれば、ヘッドフォン２００から放音される音を聞くのみで、他のユーザ９０２Ｕのおおよその位置を得ることができる。

ここで、音像を定位させる際に、端末９００Ｕの位置の実測値ではなく位置予測部９２０による予測値を用いる理由について説明する。
例えばサウンドデータ配信サーバ８００と端末９００Ｄとのデータ伝送速度が遅い場合や、サウンドデータ配信サーバ８００の処理能力が低い場合などにおいては、端末９００Ｄが取得できる他の端末９００Ｕの端末位置情報ＳＰ１の単位時間あたりのサンプル数が少なくなる。このように、端末位置情報ＳＰ１のサンプル数が少なくなると、時間的に連続する端末位置情報ＳＰ１により示される位置が互いに極端に離間してしまうといった事態が生じ得る。このような事態が生じると、定位された音像により、ユーザ９０２Ｄに対して、発音地点が瞬間的に離れた地点に移動するかのような違和感を与えるおそれがある。これに対処すべく、本実施形態では、端末９００Ｄにおいて、端末位置情報ＳＰ１を取得した後、次の端末位置情報ＳＰ１を取得するまでの期間中に、端末９００Ｕの位置を予測に基づいて更新して、更新した位置に応じて音像を定位させている。つまり、予測値により実測値を時系列的に補間して、音像定位に用いられる時間的に連続した端末９００Ｕの位置が極端に離間するという事態を回避しつつ音像を定位させている。これにより、ユーザ９０２Ｄに与える違和感を排除することが可能となる。

なお、端末９００Ｕの位置を予測する方法は、移動ベクトル量ＭＶを用いた線形の予測方法に限られない。例えば、過去における３以上の時点と、それらの各時点における端末９００Ｕの位置との組をパラメータとする非線形関数により、非線形状の端末９００Ｕの経路を予測しても良い。さらに、道路情報などの地理情報を用いて、ユーザ９０２Ｕが移動する周辺の地理状況の影響を取り入れて経路を予測しても良い。これにより、人間が行動可能な範囲を考慮して経路を予測できるため、予測精度を向上させることができる。
もっとも、端末９００Ｄが十分なサンプル数の端末位置情報ＳＰ１を取得できる場合であれば、予測値を用いることなく実測値（端末位置情報ＳＰ１）のみを用いて音像を定位させても良いのはもちろんである。また、原則的には実測値を用いて音像を定位させる一方で、端末位置情報ＳＰ１のサンプル数が少ない場合にのみ選択的に予測値を用いて音像を定位させても良い。

本実施形態においては、仮想的に音を出力する地点の位置は、全て端末９００の位置に対応づけられていたが、端末９００の位置に対応づけられた発音地点と、第１実施形態で説明した位置が固定された発音地点とを混在させる構成としても良い。このような構成とする場合、サウンドデータ配信サーバ８００において、位置が移動する発音地点と、移動しない発音地点とに分けて処理を実行することにより、すなわち位置が移動する発音地点に対してのみ移動ベクトル量ＭＶの演算を行うことにより、全体としての処理量を低減させることが可能である。

本実施形態においては、端末９００Ｄに配信されるサウンドデータＳＤは、端末９００Ｕからアップロードされたデータであったがこれに限られない。例えば、サウンドデータ配信サーバ８００の記憶部３３０にあらかじめ複数のサウンドデータＳＤを記憶させ、そのいずれかを端末９００Ｄに配信しても良い。いずれのサウンドデータＳＤをいずれの他の端末９００Ｕに対応づけるかは、ユーザ９０２Ｕが端末９００Ｕを介して指示しても良いし、ユーザ９０２Ｄが端末９００Ｄを介して指示しても良い。これにより、端末９００Ｕからアップロードされる情報からサウンドデータＳＤを省略することができるので、そのデータ量が大幅に削減される。

本実施形態においては、ユーザ９０２Ｄおよび９０２Ｕ間の位置関係と、ユーザ９０２Ｄの顔の向く方向Ａとに応じて音像を定位させたが、さらに以下のような種々の変更を加えることが可能である。例えば、端末９００Ｕと端末９００Ｄとの速度差に応じて音の振動数を変化させることによって、音像にドップラー効果の影響を取り入れても良い。これにより、ユーザ９０２Ｄおよび９０２Ｕがすれ違う際に、その雰囲気をリアルに表現することができる。

また、端末９００Ｄあるいは９００Ｕの位置に応じて、ヘッドフォン２００から出力される音にエフェクトをかけても良い。例えば、基地局５１０が提供するサービスエリアのうち、特定の領域に端末９００Ｄあるいは９００Ｕが位置する場合に、楽曲のテンポや音のコード感などを変化させても良い。かかるサウンドデータ配信システムを実現するには、サウンドデータ配信サーバ８００の記憶部３３０に、サービスエリアを区画した領域ごとに、サウンドデータＳＤにエフェクトを付与するためのパラメータを記憶させる。そして、サウンドデータＳＤの配信時において、端末９００Ｄあるいは９００Ｕの位置に応じてパラメータを選択し、パラメータに応じたエフェクトを付与したサウンドデータＳＤを端末９００Ｄに配信すれば良い。これにより、ユーザ９０２Ｄあるいは９０２Ｕが、例えば商店街などの特定の領域を通過する場合に、発音地点からの音にエフェクトが付与されるため、アミューズメント性が向上する。

さらに、ユーザ９０２Ｕの顔を向く方向Ａの影響を音像定位に取り入れることも可能である。例えば、ユーザ９０２Ｕの位置から仮想的に出力する音について、ユーザ９０２Ｕの顔の向く方向Ａの指向性を持たせても良い。これにより、ユーザ９０２Ｄは、あたかもユーザ９０２Ｕの口から音が出力されているかのような感覚を得ることができる。

また上述の端末９００Ｄは、音のみにより他の端末９００Ｕとの位置関係をユーザ９０２Ｄに示したが、これと並列して、他の手法を用いて端末９００Ｕとの位置関係を示しても良い。例えば、上述した構成に加え、端末９００ＤにＬＥＤ（Light Emitting Diode）などの表示手段を設け、他の端末９００Ｕとの距離が近い場合ほど、ＬＥＤの発光強度を強くして、ユーザ９０２Ｄに位置関係を示す構成としても良いし、また、端末９００Ｄに機械的な振動を発生させるバイブレータを内蔵しておき、振動により他の端末９００Ｕとの位置関係を示しても良い。これにより、ユーザ９０２Ｄは、聴覚に加え、視覚あるいは触覚によって、他のユーザ９０２Ｄの位置を把握することができる。

＜第１、第２、第３および第４実施形態の変形例＞
なお、上述した各実施形態におけるオーディオデータ生成部１６０は、ユーザの位置および顔の方向と、発音地点の位置とに応じて、オーディオ信号を生成したが、さらに、ユーザが位置する空間の音場（例えば、ビルの壁による音の反射、回折などの効果）を取り入れる構成としても良い。

また、上述した各実施形態においては、ヘッドフォン２００によってオーディオ信号を音として出力する例を示したが、これに限られない。例えば、自動車の車内に設置された複数のスピーカなどから放音する構成としても良い。このような構成にする場合、オーディオ信号生成部１６０においては、例えば、自動車の進行方向などにより、ユーザの顔の向きを特定し、特定された顔の向きと、自動車の位置と、各々のスピーカおよび左右の耳の相対的な位置関係とに応じて、各スピーカから出力されるオーディオ信号を生成しても良い。

さらに、上述した各実施形態においては、発音地点の音像を定位させるために、２チャネルのオーディオ信号を生成する例を示したが、本発明はこれに限定されない。例えば、５．１チャネルなどの２チャネル以上のオーディオ信号を生成し、スピーカなどの放音装置から放音する構成としても良い。

上述した各実施形態においては、発音地点選択処理として、端末１００、７００および９００との距離が近い発音地点から順番に、所定数に達するまで選択する方法（図９参照）を示したが、発音地点を選択する方法はこれに限られない。例えば、端末１００との距離が閾値以下である発音地点を、選択数にかかわらず選択する方法など、端末１００の位置と発音地点の位置とに応じて、発音地点を選択する方法であれば任意に本発明を適用できる。
なお、テーマパークなどの比較的狭い領域に、サウンドデータ配信システムを適用した場合などにおいて、全ての発音地点についての音像を定位させるときには、発音地点選択処理を省略することが可能である。

上述した第１、第２および第４実施形態では、端末１００および９００の各々において、仮想的な発音地点の音像を定位させたが、サウンドデータ配信サーバ３００、６１０Ａ、６１０Ｂ、６１０Ｃおよび８００、あるいはコントロールサーバ６００において音像を定位させ、その音像を示す信号を端末に配信しても良い。要は、ユーザの位置、および、顔の向いている方向Ａを示す情報を取得し、その位置および顔の向いている方向Ａと、仮想的な発音地点の位置とに応じて、ユーザからみて、発音地点に予め関連付けられた音が、当該発音地点の位置から出力しているように音像を定位させるならば任意に本発明を適用可能である。

また、本発明は、コンピュータを、以上説明した音像を定位させる端末１００、７００あるいは９００として機能させるためのプログラムとしても実行可能である。すなわち、このプログラムは、コンピュータを、ユーザの位置、および、顔の向いている方向を示すユーザ情報を取得する機能と、仮想的な発音地点の位置を示す発音位置情報を取得する機能と、取得したユーザ情報で示される位置であって、取得したユーザ情報で示される方向に顔を向けたユーザからみて、発音地点に予め関連付けられた種類の音が、発音位置情報で示される位置から出力しているように音像を定位させる機能とを実現させるためのプログラムとして特定される。
さらに、本発明は、このプログラムを記録したコンピュータ読みとり可能な記録媒体としても実現可能である。

本発明の第１実施形態におけるサウンドデータ配信システムの構成を示す図である。同サウンドデータ配信システムに含まれるサウンドデータ配信サーバの構成を示す図である。同サウンドデータ配信サーバの記憶部に記憶される情報を示す図である。同サウンドデータ配信サーバの記憶部に記憶されるデータ量変換テーブルを示す図である。同サウンドデータ配信システムに含まれる端末の構成を示す図である。同端末に含まれるオーディオ信号生成部などの構成を示す図である。同オーディオ信号生成部による処理を説明するための図である。同サウンドデータ配信システムの動作を示すフローチャートである。同サウンドデータ配信サーバが実行する発音地点選択処理を示すフローチャートである。同サウンドデータ配信サーバが実行するデータ量変換処理を示すフローチャートである。同サウンドデータ配信サーバによって選択された発音地点の様子を示す図である。同端末が生成するオーディオ信号による音像定位を説明するための図である。同音像定位を説明するための図である。同音像定位を説明するための図である。本発明の第２実施形態におけるサウンドデータ配信システムの構成を示す図である。同サウンドデータ配信システムに含まれるサウンドデータ配信サーバに記憶される情報を示す図である。同サウンドデータ配信サーバに記憶される情報を示す図である。同サウンドデータ配信システムに含まれるコントロールサーバに記憶される情報を示す図である。同サウンドデータ配信システムの動作を示すフローチャートである。本発明の第３実施形態における端末の構成を示す図である。本発明の第４実施形態におけるサウンドデータ配信サーバの構成を示す図である。端末の移動経路の予測方法を説明するための図である。同実施形態におけるサウンドデータ配信サーバに記憶される情報を示す図である。同実施形態における端末の構成を示す図である。同実施形態におけるサウンドデータ配信システムの動作を示すフローチャートである。同動作を説明するための図である。同動作における音像定位を説明するための図である。同動作における音像定位を説明するための図である。

符号の説明

１００，７００，９００…端末、１１０，７１０…制御部、１２０…指示入力部、１３０…無線通信部、１４０…測位部、１４５…衛星電波受信部、１５０…方位検出部、１６０…オーディオ信号生成部、１７０…加工部、１７２…パラメータ生成部、１７３…ディレイパラメータ生成部、１７４…アンプパラメータ生成部、１７６…遅延部、１７８…アンプ、１８０…混合部、１９０…オーディオ信号出力部、２００…ヘッドフォン、２１０…方位センサ、２２０，２３０…放音部、３００，６１０Ａ，６１０Ｂ，６１０Ｃ，８００…サウンドデータ配信サーバ、３１０…制御部、３２０…通信部、３３０…記憶部、４００…衛星群、５００…移動通信網、５１０…基地局、６００…コントロールサーバ、７２０…発音情報記憶部

Claims

複数の端末およびサーバを有するサウンドデータ配信システムであって、
前記端末は、
自端末を一意に識別可能な識別子と自端末に対応付けられたサウンドデータとを記憶する記憶手段と、
自端末の位置を表す位置データおよび方向を示す方向データを含む端末情報を取得する端末情報取得手段と、
前記記憶手段に記憶された識別子とサウンドデータと前記端末情報取得手段により取得された端末情報に含まれる位置データとを前記サーバに送信する送信手段と、
前記サーバから送信された他の端末のサウンドデータ、位置データおよび当該位置データと過去の位置データとの変位に応じた変位データを受信する受信手段と、
前記受信手段が受信した位置データおよび変位データに基づいて予測される予測位置と、前記端末情報取得手段が取得した端末情報に含まれる位置データで示される位置と、前記端末情報に含まれる方向データで示される方向とから前記受信手段が受信したサウンドデータの仮想的な発音地点の相対的な位置関係を求め、該相対的な位置関係に前記受信手段が受信したサウンドデータの音像を定位させる定位手段と
を有し、
前記サーバは、
前記複数の端末の各々から送信された識別子とサウンドデータと位置データとを受取る受取手段と、
前記受け取り手段によって受取られる位置データと過去に受けたられた位置データとの変位に応じた変位データを各端末に対応して取得する変位データ取得手段と、
前記受取手段が前記端末の各々から受取ったサウンドデータ、位置データおよび前記変位データ取得手段によって取得された変位データを、各端末の識別子に対応づけて記憶する第２の記憶手段と、
前記第２の記憶手段に記憶された複数の端末の位置データに基づき、サウンドデータを配信する端末を選択する選択手段と、
前記選択された端末に対し、前記第２の記憶手段に記憶された前記選択された端末に配信すべきサウンドデータ、該サウンドデータに対応付けられた端末の位置データおよび変位データを送信する第２の送信手段と、
を具備することを特徴とするサウンドデータ配信システム。
前記予測位置は、前記受信手段が受信した位置データおよび変位データと、前記受信手段が当該位置データを受信してから前記相対的な位置関係を求めるまでに経過した時間とから予測される位置である
ことを特徴とする請求項１に記載のサウンドデータ配信システム。
前記定位手段は、前記受信手段によって位置データが受信される時間間隔より短い時間間隔で、前記相対的な位置関係を求め、前記音像を定位させる位置関係を変更する
ことを特徴とする請求項２に記載のサウンドデータ配信システム。