JP5825176B2 - 携帯端末、音源位置制御方法および音源位置制御プログラム - Google Patents

Description

本発明は、携帯端末などに関する。

複数の音源を３次元空間に定位させ、臨場感ある音を再生するシステムとして、サラウンドシステムがある。

例えば、仮想音空間における音源位置と利用者位置とに基づいて音像を定位し、音情報が音源位置から利用者位置に向かって聞こえるかのように加工し、音像定位加工後の音情報をそれぞれ出力するサラウンドシステムの従来技術が開示されている。

特開平９−９０９６３号公報

しかしながら、従来のサラウンドシステムでは、定位された音源の位置を利用者が操作することができないという問題がある。すなわち、従来のサラウンドシステムでは、音源位置と利用者位置に基づいて音像を定位すると、定位した音像の位置を利用者が操作することができない。

開示の技術は、定位された音源の位置を利用者が操作することができることを目的とする。

１つの側面では、携帯端末は、自端末の主体の動作および動作の方向を判定する判定部と、前記判定部によって判定された動作および動作の方向に基づいて、主体の周囲の空間に仮想的に定位された音源の位置を制御する位置制御部と、前記位置制御部によって制御された音源の位置に基づいて、音源の音を再生し、再生した音をヘッドフォンに対して出力する再生部とを有する。

本願の開示する携帯端末の１つの態様によれば、定位された音源の位置を利用者が操作することができる。

図１は、実施例に係る音源位置制御システムの構成を示す機能ブロック図である。 図２は、実施例に係る音源位置制御方式の概念を示す図である。 図３は、実施例に係る音源管理テーブルのデータ構造の一例を示す図である。 図４Ａは、音源管理テーブルの遷移を説明する図（１）である。 図４Ｂは、音源管理テーブルの遷移を説明する図（２）である。 図４Ｃは、音源管理テーブルの遷移を説明する図（３）である。 図５は、実施例に係る音源位置制御処理の手順を示すフローチャートである。 図６は、ハンドアクションおよび頭部姿勢の検出を説明する図である。 図７は、実施例に係る音源位置制御方式を展示ナビゲーションシステムに用いた場合を説明する図である。 図８は、音源位置制御プログラムを実行するコンピュータの一例を示す図である。

以下に、本願の開示する携帯端末、音源位置制御方法および音源位置制御プログラムの実施例を図面に基づいて詳細に説明する。なお、実施例では、携帯端末とヘッドフォンとを有する音源位置制御システムに適用した場合について説明するが、この実施例によりこの発明が限定されるものではない。

［音源位置制御システムの構成］
図１は、実施例に係る音源位置制御システムの構成を示す機能ブロック図である。図１に示すように、音源位置制御システム９では、携帯端末１とヘッドフォン２とが接続する。携帯端末１とヘッドフォン２との接続は、無線であっても有線であっても良い。

音源位置制御システム９では、携帯端末１が、自端末の主体の動作および動作の方向を判定し、判定した動作および動作の方向に基づいて、主体を中心とした周囲の空間に仮想的に定位された音源の位置を制御する。そして、携帯端末１は、制御した音源の位置に基づいて、音源の音を再生し、再生した音をヘッドフォン２に対して出力する。

このような音源位置制御システム９が実行する音源位置制御方式の概念を、図２を参照して説明する。図２は、実施例に係る音源位置制御方式の概念を示す図である。図２に示すように、主体Ｐを中心とした周囲の空間に複数の音源Ｓ_１〜Ｓ_８が定位されている。かかる空間は、主体からの距離の長短に応じて複数の領域に分割されている。ここでは、空間は、主体Ｐを中心とした同心円上に分割され、主体Ｐから距離が短い方からフォーカスエリア、ショーケースエリア、デフォーカスエリアに分割されている。「フォーカスエリア」とは、このエリア内の音源のみが再生されるというエリアを意味する。「ショーケースエリア」とは、フォーカスエリア内に音源が存在しない場合、ショーケースエリア内の音源が例えば平均的な音量で再生されるというエリアを意味する。「デフォーカスエリア」とは、フォーカスエリア内に音源が存在しない場合に、デフォーカスエリア内の音源が例えば平均的な音量より小さい音量で再生されるというエリアを意味する。

携帯端末１が、主体Ｐが注目する音源を１個の動作、例えば手先の動作（以降、ハンドアクションという）で選択したり、選択した音源を領域間で移動させたりする。ハンドアクションには、例えば、掴む動作、押す動作、引く動作、押し飛ばす動作がある。一例として、主体Ｐが注目する音源がＳ_１であるとすると、主体Ｐがその音源が聞こえる方向に対して掴む動作をする。すると、携帯端末１は、主体Ｐの掴む動作および掴む動作の方向を判定し、判定した方向の音源Ｓ_１をフォーカスエリアに移動する。そして、携帯端末１は、フォーカスエリアの音源Ｓ_１の音のみを再生し、再生した音をヘッドフォン２に出力する。別の例として、主体Ｐが音源Ｓ_１の聞こえる方向に対して押す動作をする。すると、携帯端末１は、主体Ｐの押す動作および押す動作の方向を判定し、判定した方向の音源Ｓ_１を現在のフォーカスエリアから１つ外側のショーケースエリアに移動する。そして、携帯端末１は、フォーカスエリアに音源が存在しない場合、ショーケースエリア内の音源の音を全て再生する。さらに、主体Ｐが音源Ｓ_１の聞こえる方向に対して押す動作をすると、携帯端末１は、主体Ｐの押す動作および押す動作の方向を判定し、判定した方向の音源Ｓ_１をショーケースエリアから１つ外側のデフォーカスエリアに移動し、音源Ｓ_１の音を平均的な音量より小さい音量で再生する。なお、音源Ｓ_１〜Ｓ_８は空間に仮想的に定位されており、主体Ｐが首を回転させると、音源Ｓ_１〜Ｓ_８の位置は、定位処理によって移動する。

［携帯端末の構成］
図１に戻って、携帯端末１は、例えば携帯電話機に対応するが、これに限定されず、ＰＤＡ（Personal Digital Assistants）、携帯可能なパーソナルコンピュータであっても良い。また、携帯端末１は、記憶部１０とジャイロセンサ１１と加速度センサ１２と地磁気センサ１３と入力部１４と出力部１５とを有する。さらに、携帯端末１は、ハンドアクション計測部１６と音源管理部１７と定位処理部１８と音源選択部１９と増幅回路２０とミキサ２１とＳＷ２２と再生部２３とを有する。

記憶部１０は、例えばフラッシュメモリ（Frash Memory）やＦＲＡＭ（登録商標）（Ferroelectric Random Access Memory）などの不揮発性の半導体メモリ素子などの記憶装置に対応する。さらに、記憶部１０は、音源データ１０１と音源管理テーブル１０２とを有する。音源データ１０１は、定位されていない音源、すなわちモノラル音源のデータである。後述する定位処理部１８によって定位される方向として分割される数分の音源のデータが記憶されることが可能である。音源管理テーブル１０２は、各音源を、定位される方向と領域とに対応付けて管理するテーブルである。なお、音源データ１０１および音源管理テーブル１０２のそれぞれの情報は、例えば、音源位置制御処理が実行される際に、これらの情報を管理するサーバからダウンロードされるようにすれば良い。

ここで、音源管理テーブル１０２のデータ構造について、図３を参照して説明する。図３は、実施例に係る音源管理テーブルのデータ構造の一例を示す図である。図３左図に示すように、音源管理テーブル１０２は、各音源Ｓ_１〜Ｓ_８を、各行で表される方向と各列で表される領域とに対応付けて記憶する。方向には、主体を中心として分割された方向が設定される。例えば、主体を中心にして主体正面の右４５度の方向をＡ、右４５度から９０度の方向をＢ、右９０度から１３５度の方向をＣ、右１３５度から１８０度の方向をＤと設定される。主体を中心にして主体正面の左４５度の方向をＨ、左４５度から９０度の方向をＧ、左９０度から１３５度の方向をＦ、左１３５度から１８０度の方向をＥと設定される。領域には、フォーカスエリア、ショーケースエリア、デフォーカスエリアおよびデリートエリアが設定される。「デリートエリア」とは、再生されない音源を管理するエリアを意味する。

一例として、図３左図の音源管理テーブル１０２には、図３右図に示す音源が管理されている。音源Ｓ_１は、方向Ｈとフォーカスエリアとに対応付けられる。音源Ｓ_２は、方向Ａとデフォーカスエリアとに対応付けられる。音源Ｓ_３は、方向Ｂとデフォーカスエリアとに対応付けられる。音源Ｓ_４は、方向Ｃとショーケースエリアとに対応付けられる。音源Ｓ_５は、方向Ｄとデリートエリアとに対応付けられる。音源Ｓ_６は、方向Ｅとショーケースエリアとに対応付けられる。音源Ｓ_７は、方向Ｆとショーケースエリアとに対応付けられる。音源Ｓ_８は、方向Ｇとデフォーカスエリアとに対応付けられる。

図１に戻って、ジャイロセンサ１１は、角速度を検出する。加速度センサ１２は、直交する３軸方向の加速度を検出する。地磁気センサ１３は、方位を検出する。入力部１４は、例えば後述する出力部１５に出力されたボタンを押下し、タッチパネル（もしくはキーボード、マウス、マイク）に対応する。出力部１５は、例えば各種ボタンを出力し、ディスプレイ（もしくはモニタ）に対応する。

ハンドアクション計測部１６は、ジャイロセンサ１１、加速度センサ１２、地磁気センサ１３、入力部１４および出力部１５を用いて、主体のハンドアクションおよびハンドアクションの方向を計測する。計測するハンドアクションは、例えば、掴む動作、押す動作、引く動作、押し飛ばす動作である。掴む動作は、例えば出力部１５に出力される「掴む」ボタンが押下されることで実現される。「掴む」ボタンは、例えば携帯端末１のアプリケーションによって作成されることが可能である。なお、ハンドアクション計測部１６は、判定部の一例として挙げられる。

音源管理部１７は、ハンドアクション計測部１６によって計測されたハンドアクションの方向に基づいて、空間に仮想的に定位された音源を選択し、ハンドアクション計測部１６によって計測されたハンドアクションに基づいて、選択した音源の位置を移動させる。なお、音源管理部１７は、位置制御部の一例として挙げられる。

例えば、音源管理部１７は、音源管理テーブル１０２に記憶された音源の中から、ハンドアクション計測部１６によって計測されたハンドアクションの方向に対応する音源を選択する。そして、音源管理部１７は、ハンドアクション計測部１６によって計測されたハンドアクションに基づいて、選択した音源を、音源管理テーブル１０２に管理された領域から異なる領域へ移動させる。一例として、音源管理部１７は、ハンドアクションが「掴む」の場合、選択した音源をショーケースエリアからフォーカスエリアに移動させる。また、音源管理部１７は、ハンドアクションが「押す」の場合、選択した音源を１つ外側の領域に移動させる。また、音源管理部１７は、ハンドアクションが「引く」の場合、選択した音源を１つ内側の領域に移動させる。また、音源管理部１７は、ハンドアクションが「押し飛ばす」の場合、選択した音源を削除すべく、デリートエリアに移動させる。そして、音源管理部１７は、選択した音源を、移動させた領域と当該音源の方向とに対応付けるように、音源管理テーブル１０２を更新する。

また、音源管理部１７は、音源管理テーブル１０２に記憶された、各音源の方向を後述する定位処理部１８に通知する。また、音源管理部１７は、音源管理テーブル１０２に記憶された、各音源の領域を後述する音源選択部１９に通知する。また、音源管理部１７は、音源管理テーブル１０２を用いて、フォーカスエリアにいずれかの音源があるか否かを判定する。そして、音源管理部１７は、フォーカスエリアにいずれかの音源があると判定した場合、フォーカスエリアの音源を再生する方にスイッチを切り替えるように、後述するＳＷ２２に指示する。一方、音源管理部１７は、フォーカスエリアにいずれの音源がないと判定した場合、ショーケースエリアおよびデフォーカスエリアの音源を再生する方にスイッチを切り替えるように、後述するＳＷ２２に指示する。

定位処理部１８は、モノラルの各音源を各音源の方向にしたがって定位させ、各音源についてステレオ出力を取得する。例えば、定位処理部１８は、後述する頭部姿勢検出装置３１から主体の頭部の姿勢データを受信する。姿勢データには、例えば頭部の正面方向を示す絶対角度を含む。そして、定位処理部１８は、受信した姿勢データに含まれる頭部の正面方向と、音源管理部１７から通知された各音源の方向ごとの伝達特性（頭部伝達関数）とに基づいて、各音源を定位させる。そして、定位処理部１８は、定位させた各音源についてステレオ出力を取得し、取得した各音源のステレオ出力を音源選択部１９に出力する。なお、定位処理部１８は、伝達特性（頭部伝達関数）を用いて各音源を定位させるものとして説明したが、これに限定されるものではなく、各音源を定位させることが可能ないかなる技術を用いても良い。

音源選択部１９は、各音源のステレオ出力を、音源管理部１７から通知された各音源の領域にしたがってミキシングする。例えば、音源選択部１９は、フォーカスエリアの音源のステレオ出力を後述する増幅回路２０_１に出力する。また、音源選択部１９は、ショーケースエリアの音源のステレオ出力を増幅回路２０_２に、デフォーカスエリアの音源のステレオ出力を増幅回路２０_３に出力する。

増幅回路２０には、フォーカスエリアの音源を増幅する増幅回路２０_１とショーケースエリアの音源を増幅する増幅回路２０_２とデフォーカスエリアの音源を増幅する増幅回路２０_３とがある。増幅回路２０_１と増幅回路２０_２のゲインａは、増幅回路２０_３のゲインｂよりも大きい。したがって、増幅回路２０_１および増幅回路２０_２で増幅された音源のステレオ出力は、増幅回路２０_３で増幅された音源のステレオ出力よりも大きい音量となる。そして、増幅回路２０_１は、増幅された音源のステレオ出力をＳＷ２２に出力する。増幅回路２０_２および増幅回路２０_３は、それぞれ増幅された音源のステレオ出力をミキサ２１に出力する。

ミキサ２１は、増幅回路２０_２および増幅回路２０_３から出力された各音源のステレオ出力をまとめて（ミキシングして）ＳＷ２２に出力する。すなわち、ミキサ２１は、ショーケースエリアの音源およびデフォーカスエリアの音源をミキシングする。この結果、主体は、ヘッドフォン２を介してショーケースエリアおよびデフォーカスエリアの各音源の方向から同時に各音源の音を聞くことになる。

ＳＷ２２は、音源管理部１７からの切り替え指示に基づいて、スイッチを切り替える。例えば、ＳＷ２２は、音源管理部１７によって、フォーカスエリア側の音源を再生する方にスイッチを切り替えるように指示されると、スイッチを増幅回路２０_１につながる方に切り替える。また、ＳＷ２２は、音源管理部１７によって、ショーケースエリア側およびデフォーカスエリア側の音源を再生する方にスイッチを切り替えるように指示されると、スイッチをミキサ２１につながる方に切り替える。

再生部２３は、音源管理部１７によって制御された各音源の位置、すなわち各音源の領域に基づいて、各音源をヘッドフォン出力に再生する。例えば、再生部２３は、ＳＷ２２によってフォーカスエリア側から出力されると、出力される音源のステレオ出力をヘッドフォン出力に再生する。また、再生部２３は、ＳＷ２２によってショーケースエリア側およびデフォーカスエリア側、すなわちミキサ２１から出力されると、出力される各音源のステレオ出力をヘッドフォン出力に再生する。すなわち、再生部２３は、ショーケースエリアおよびデフォーカスエリアの各音源がミキシングされた出力をヘッドフォン出力に再生する。

［ヘッドフォンの構成］
ヘッドフォン２は、耳に装着して音を聴くための装置である。さらに、ヘッドフォン２は、頭部姿勢検出装置３１と出力装置３２とを有する。頭部姿勢検出装置３１は、ヘッドフォン２を装着している主体の頭部の姿勢データを検出し、検出した姿勢データを携帯端末１に送信する。例えば、頭部姿勢検出装置３１は、ジャイロセンサを用いて、主体の頭部の姿勢データを検出するようにすれば良い。なお、頭部姿勢検出装置３１は、ヘッドフォン２の内部に有すると説明したが、これに限定されず、ヘッドフォン２の外部に有するとしても良い。

出力装置３２は、再生部２３によって再生されたヘッドフォン出力をヘッドフォン２の外部に出力する。

［音源管理テーブルの遷移］
次に、主体がハンドアクションで選択した音源がエリアを移動することによって音源管理テーブル１０２が変化する様子を示す。図４Ａ〜図４Ｃは、音源管理テーブルの遷移を説明する図である。図４Ａでは、主体（ここでは人）が音源Ｓ_７を掴んで引く動作をした場合の遷移について説明し、図４Ｂでは、主体が音源Ｓ_７を押し飛ばす動作をした場合の遷移について説明し、図４Ｃでは、初期状態から主体が音源Ｓ_８を引く動作をした場合の遷移について説明する。

図４Ａの上図に示すように、音源管理テーブル１０２には、音源Ｓ_１がＨ方向とフォーカスエリアとに対応付けて管理されている。このような場合、携帯端末１はフォーカスエリアの音源Ｓ_１のみ再生し、主体Ｐは音源Ｓ_１の音のみ聞こえる。そして、主体ＰがハンドアクションでＦ方向の音源Ｓ_７を掴んで引く動作をしたとする。すると、図４Ａの下図に示すように、音源管理テーブル１０２では、ショーケースエリアにあった音源Ｓ_７がフォーカスエリアに移動すると同時に、フォーカスエリアにあった音源Ｓ_１がショーケースエリアに移動する。すなわち、音源管理部１７は、掴んで引く動作の方向Ｆに対応する音源Ｓ_７を選択する。そして、音源管理部１７は、掴んで引く動作に基づいて、選択した音源Ｓ_７を、ショーケースエリアの内側のフォーカスエリアに移動させる。これと同時に、音源管理部１７は、フォーカスエリアにあった音源Ｓ_１をショーケースエリアに移動させる。これによって、携帯端末１はフォーカスエリアの音源Ｓ_７のみ再生し、主体Ｐは音源Ｓ_７の音のみ聞こえるようになる。

また、図４Ｂの上図に示すように、音源管理テーブル１０２には、音源Ｓ_７がＦ方向とフォーカスエリアとに対応付けて管理されている。このような場合、携帯端末１はフォーカスエリアの音源Ｓ_７のみ再生し、主体Ｐは音源Ｓ_７の音のみ聞こえる。そして、主体ＰがハンドアクションでＦ方向の音源Ｓ_７を押し飛ばす動作をしたとする。すると、図４Ｂの下図に示すように、音源管理テーブル１０２では、フォーカスエリアにあった音源Ｓ_７がデリートエリアに移動する。すなわち、音源管理部１７は、押し飛ばす動作の方向Ｆに対応する音源Ｓ_７を選択する。そして、音源管理部１７は、押し飛ばす動作に基づいて、選択した音源Ｓ_７を、デリートエリアに移動させる。これによって、携帯端末１は、フォーカスエリアにある音源が存在しなくなるので、ショーケースエリアにある音源Ｓ_１、Ｓ_４、Ｓ_６をミキシングして再生し、主体Ｐは音源Ｓ_１、Ｓ_４、Ｓ_６の各音について聞こえるようになる。

また、図４Ｃの上図に示すように、音源管理テーブル１０２には、初期状態として、各音源Ｓ_１〜Ｓ_８がショーケースエリアに対応付けて管理されている。このような場合、携帯端末１はショーケースエリア内の全ての音源Ｓ_１〜Ｓ_８をミキシングして再生し、主体Ｐは音源Ｓ_１〜Ｓ_８の各音について聞こえる。そして、主体ＰがハンドアクションでＧ方向の音源Ｓ_８を引く動作をしたとする。すると、図４Ｃの下図に示すように、音源管理テーブル１０２では、ショーケースエリアにあった音源Ｓ_８がフォーカスエリアに移動する。すなわち、音源管理部１７は、引く動作の方向Ｇに対応する音源Ｓ_８を選択する。そして、音源管理部１７は、引く動作に基づいて、選択した音源Ｓ_８を、フォーカスエリアに移動させる。これによって、携帯端末１はフォーカスエリアの音源Ｓ_８のみ再生し、主体Ｐは音源Ｓ_８の音のみ聞こえるようになる。

［音源位置制御処理の手順］
次に、音源位置制御処理の手順について、図５を参照して説明する。図５は、音源位置制御処理の手順を示すフローチャートである。なお、各音源の定位は、定位処理部１８によって行われたものとする。

まず、音源位置制御処理が開始されると、音源管理部１７は、音源管理テーブル１０２を確認する（ステップＳ１１）。そして、音源管理部１７は、確認の結果、フォーカスエリアに音源はあるか否かを判定する（ステップＳ１２）。フォーカスエリアに音源はあると判定した場合（ステップＳ１２；Ｙｅｓ）、音源管理部１７は、スイッチをフォーカスエリア側に切り替えるようにＳＷ２２に指示する（ステップＳ１３）。すなわち、音源管理部１７は、フォーカスエリアの音源を再生する方にスイッチを切り替えるように、ＳＷ２２に指示する。そして、処理は、ステップＳ１５に移行する。

一方、フォーカスエリアに音源はないと判定した場合（ステップＳ１２；Ｎｏ）、音源管理部１７は、スイッチをミキサ２１側に切り替えるようにＳＷ２２に指示する（ステップＳ１４）。すなわち、音源管理部１７は、ショーケースエリアおよびデフォーカスエリアの音源を再生する方にスイッチを切り替えるように、ＳＷ２２に指示する。そして、処理は、ステップＳ１５に移行する。

ステップＳ１５では、再生部２３が、再生処理を行う（ステップＳ１５）。すなわち、再生部２３は、スイッチがフォーカスエリア側である場合、フォーカスエリアの音源のステレオ出力をヘッドフォン出力に再生する。一方、再生部２３は、スイッチがミキサ２１側である場合、ショーケースエリアおよびデフォーカスエリアの各音源のステレオ出力がミキシングされた出力をヘッドフォン出力に再生する。その後、再生部２３は、再生したヘッドフォン出力をヘッドフォン２に出力する。

続いて、音源管理部１７は、ハンドアクションのイベントを待つ（ステップＳ１６）。音源管理部１７は、ハンドアクションのイベントがあったか否かを判定する（ステップＳ１７）。ハンドアクションのイベントがないと判定した場合（ステップＳ１７；Ｎｏ）、音源管理部１７は、ハンドアクションのイベントを待つべく、ステップＳ１６に移行する。

一方、ハンドアクションのイベントがあると判定した場合（ステップＳ１７；Ｙｅｓ）、音源管理部１７は、イベントが示すハンドアクションに基づいて、音源管理テーブル１０２を更新する（ステップＳ１８）。例えば、音源管理部１７は、ハンドアクションがされた方向に対応する音源を選択する。そして、音源管理部１７は、選択した音源を、音源管理テーブル１０２に管理された領域からハンドアクションに基づいた領域に移動させる。そして、音源管理部１７は、選択した音源を、移動させた領域と当該音源の方向とに対応付けるように、音源管理テーブル１０２を更新する。

そして、音源管理部１７は、音源管理テーブル１０２に基づいた音源位置制御をすべく、ステップＳ１１に移行する。

［ハンドアクションおよび頭部姿勢の検出］
次に、ハンドアクションおよび頭部姿勢の検出について、図６を参照して説明する。図６は、ハンドアクションおよび頭部姿勢の検出を説明する図である。図６に示すように、主体Ｐが持っている携帯端末１の画面に、選択ボタンｂ１、掴むボタンｂ２、ナビ開始ボタンｂ３が表示されている。また、主体Ｐは、頭部姿勢検出装置３１を備えるヘッドフォン２を頭部に装着している。

かかる状況下で、携帯端末１のハンドアクション計測部１６は、ハンドアクションを、携帯端末１の画面と、携帯端末１に内蔵する加速度センサ１２（図示なし）とを用いて計測する。例えば、ハンドアクション計測部１６は、「掴む」動作を、携帯端末１の画面上の掴むボタンｂ２を主体Ｐが押下したことを検出することで認識する。また、ハンドアクション計測部１６は、「引く」、「押す」、「押し飛ばす」のそれぞれの動作を、加速度センサ１２の方向と加速度の大きさとから計測する。そして、ハンドアクション計測部１６は、計測した結果によりそれぞれの動作を認識する。

ハンドアクション計測部１６は、音源の方向を、携帯端末１の図示しない地磁気センサ１３やジャイロセンサ１１を用いて計測する。また、頭部姿勢検出装置３１は、自装置に内蔵するジャイロセンサ（図示せず）を用いて、頭部の姿勢を計測し、計測した頭部の姿勢データを携帯端末１に送信する。そして、携帯端末１の定位処理部１８は、頭部の姿勢に連動して、音源データ１０１の各音源を定位させる。

［音源位置制御方式の用途］
次に、実施例に係る音源位置制御方式を展示ナビゲーションシステムに用いた場合を、図７を参照して説明する。図７は、実施例に係る音源位置制御方式を展示ナビゲーションシステムに用いた場合を説明する図である。なお、展示会場となる部屋に合わせた音源管理テーブル１０２および音源データ１０１が予め展示ナビゲーションシステムのサーバ（図示せず）に登録されているとする。そして、音源管理テーブル１０２には、初期状態として、各展示１〜８に関わる音源がショーケースエリアに対応付けて管理されている。

まず、サーバは、人Ｐ_０が所有する携帯端末１が展示会場の音源ダウンロード区間Ｑに入ったのを検知して、展示会場となる部屋に対応する音源管理テーブル１０２および音源データ１０１を人Ｐ_０の携帯端末１にダウンロードする。そして、携帯端末１は、音源位置制御方式における音源の再生を開始する。すなわち、携帯端末１は、音源管理テーブル１０２および音源データ１０１に基づいて、ショーケースエリアの各音源を再生する。

そして、人Ｐ_０は部屋の中央に立ち、ハンドアクションを使って音源を選択する。例えば、人Ｐ_０は、興味を持った音源について、図６の携帯端末１の画面上の掴むボタンｂ２を押下し、さらに選択ボタンｂ１を押下することで、この音源の選択を確定する。選択した音源は、ショーケースエリアからフォーカスエリアに移動する音源となる。人Ｐ_０は、この操作を繰り返し、興味を持った複数の音源を選択する。そして、人Ｐ_０が、図６の携帯端末１の画面上のナビ開始ボタンｂ３を押下することで、ナビゲーションが開始される。すなわち、携帯端末１は、選択した音源を、順次、ショーケースエリアからフォーカスエリアに移動し、フォーカスエリアの音源を再生する。

なお、携帯端末１は、予め定められた案内ルートをサーバから取り込み、取り込んだ案内ルートに基づいて、選択した音源を順番に再生するようにしても良い。また、ナビゲーションの開始の際には、携帯端末１は、人Ｐ_０のプロフィールデータを展示説明員側に転送するようにし、人Ｐ_０は、個人にカスタマイズされた説明を受けることも可能である。

［実施例の効果］
上記実施例によれば、携帯端末１は、自端末の主体の動作および動作の方向を判定し、判定された動作および動作の方向に基づいて、主体の周囲の空間に仮想的に定位された音源の位置を制御する。そして、携帯端末１は、音源の位置に基づいて、音源の音を再生し、再生した音をヘッドフォン２に出力する。かかる構成によれば、携帯端末１は、空間に仮想的に定位された音源の位置を主体の動作によって制御するので、定位された音源の位置を主体が操作することができる。この結果、携帯端末１は、操作後の音源の位置に基づいた音源の音の再生をすることが可能となる。

また、上記実施例によれば、携帯端末１は、判定された動作の方向に基づいて、空間に仮想的に定位された音源を選択し、判定された動作に基づいて、選択した音源の位置を移動させる。かかる構成によれば、携帯端末１は、主体の直感的な動作により注目する音源を選択したり、さらに移動させたりすることができ、移動後の音源の位置に基づいた再生をすることが可能となる。

また、上記実施例によれば、携帯端末１では、音源管理テーブル１０２が、主体からの距離の長短に応じて空間が分割された複数の領域ごとに、主体を中心として複数の方向にそれぞれ定位された音源を管理する。そして、携帯端末１は、音源管理テーブル１０２に管理された音源の中から、判定された動作の方向に対応する音源を選択し、判定された動作に基づいて、選択した音源を、音源管理テーブル１０２によって管理された領域から異なる領域へ移動させる。かかる構成によれば、携帯端末１は、主体の動作によって領域から領域へ移動させた音源を、移動後の領域に基づいて再生することが可能となる。

［プログラムなど］
なお、実施例では、ハンドアクション計測部１６が、計測するハンドアクションとして、掴む動作、押す動作、引く動作、押し飛ばす動作を計測するとして説明した。しかしながら、ハンドアクション計測部１６は、これらに限定されず、音源を移動させられる動作であってジャイロセンサ１１、加速度センサ１２、地磁気センサ１３などを用いて計測可能な動作であればいかなる動作であっても良い。これにより、携帯端末１では、定位された音源の位置を、主体がきめ細かく操作することができる。

また、実施例では、ハンドアクション計測部１６は、ハンドアクション、すなわち手先の動作を計測するとして説明した。しかしながら、ハンドアクション計測部１６は、これに限定されず、手先の代わりに、足先、足全体、胴体、頭部の動作を計測するようにしても良い。かかる場合、利用者は、ハンドアクション計測部１６を有する携帯端末１を、動作を計測することとなる部位に装着するようにすれば良い。これにより、音源位置制御方式は、用途を汎用化できる。

また、実施例では、音源位置制御システム９は、携帯端末１とヘッドフォン２とを備えるものと説明した。しかしながら、音源位置制御システム９は、これに限定されず、サーバを含む構成としても良い。例えば、サーバが、主体（携帯端末）毎の音源管理テーブル１０２を管理するようにする。この場合、音源管理部１７が、ハンドアクション計測部１６によって計測されたハンドアクションの方向に基づいて、空間に仮想的に定位された音源を選択する。そして、音源管理部１７が、ハンドアクション計測部１６によって計測されたハンドアクションに基づいて、選択した音源の位置を移動させるべく、サーバの音源管理テーブル１０２を更新する。そして、音源管理部１７は、自端末に関する音源管理テーブル１０２の情報をサーバに問い合わせ、エリア毎の音源の情報を取得する。この結果、音源管理部１７は、取得したエリア毎の音源の情報に基づいて、ＳＷ２２および音源選択部１９を制御することができる。また、サーバが、ハンドアクション計測部１６を有するものとしても良く、音源管理部１７を有するものとしても良く、携帯端末１と連携して音源位置制御処理を実現できれば良い。

なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的態様は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、入力部１４と出力部１５とを１個の部として統合しても良い。一方、音源管理部１７を、音源を選択する音源選択部と選択した音源を移動させる音源移動部とに分散しても良い。また、音源データ１０１および音源管理テーブル１０２などの記憶部を携帯端末１の外部装置としてネットワーク経由で接続するようにしても良い。

また、上記実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１に示した携帯端末１と同様の機能を実現する音源位置制御プログラムを実行するコンピュータの一例を説明する。図８は、音源位置制御プログラムを実行するコンピュータの一例を示す図である。

図８に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３を有する。また、コンピュータ２００は、記憶媒体からプログラム等を読取る読み取り装置２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７を有する。そして、各装置２０１〜２０７は、バス２０８に接続される。

ハードディスク装置２０７は、音源位置制御プログラム２０７ａ、音源位置制御関連情報２０７ｂを記憶する。ＣＰＵ２０１は、音源位置制御プログラム２０７ａを読み出して、ＲＡＭ２０６に展開する。音源位置制御プログラム２０７ａは、音源位置制御プロセス２０６ａとして機能する。

例えば、音源位置制御プロセス２０６ａは、ハンドアクション計測部１６、音源管理部１７、定位処理部１８および音源選択部１９に対応する。

なお、音源位置制御プログラム２０７ａについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００がこれらから音源位置制御プログラム２０７ａを読み出して実行するようにしても良い。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）自端末の主体の動作および動作の方向を判定する判定部と、
前記判定部によって判定された動作および動作の方向に基づいて、主体の周囲の空間に仮想的に定位された音源の位置を制御する位置制御部と、
前記位置制御部によって制御された音源の位置に基づいて、音源の音を再生し、再生した音をヘッドフォンに対して出力する再生部と
を有することを特徴とする携帯端末。

（付記２）前記位置制御部は、前記判定部によって判定された動作の方向に基づいて、空間に仮想的に定位された音源を選択し、前記判定部によって判定された動作に基づいて、選択した音源の位置を移動させることを特徴とする付記１に記載の携帯端末。

（付記３）前記位置制御部は、
主体からの距離の長短に応じて空間が分割された複数の領域ごとに、主体を中心として複数の方向にそれぞれ定位される音源を管理する管理テーブルと、
前記管理テーブルに管理された音源の中から、前記判定部によって判定された動作の方向に対応する音源を選択し、前記判定部によって判定された動作に基づいて、選択した音源を、管理テーブルによって管理された領域から異なる領域へ移動させる移動部と
を有することを特徴とする付記２に記載の携帯端末。

（付記４）コンピュータが、
自端末の主体の動作および動作の方向を判定し、
前記判定する処理によって判定された動作および動作の方向に基づいて、主体の周囲の空間に仮想的に定位された音源の位置を制御し、
前記位置を制御する処理によって制御された音源の位置に基づいて、音源の音を再生し、再生した音をヘッドフォンに対して出力する
処理を実行することを特徴とする音源位置制御方法。

（付記５）コンピュータに、
自端末の主体の動作および動作の方向を判定し、
前記判定する処理によって判定された動作および動作の方向に基づいて、主体の周囲の空間に仮想的に定位された音源の位置を制御し、
前記位置を制御する処理によって制御された音源の位置に基づいて、音源の音を再生し、再生した音をヘッドフォンに対して出力する
処理を実行させることを特徴とする音源位置制御プログラム。

（付記６）携帯端末と、該携帯端末と接続するヘッドフォンとを有し、
前記携帯端末は、
自端末の主体の動作および動作の方向を判定する判定部と、
前記判定部によって判定された動作および動作の方向に基づいて、主体の周囲の空間に仮想的に定位された音源の位置を制御する位置制御部と、
前記位置制御部によって制御された音源の位置に基づいて、音源の音を再生する再生部とを有し、
前記ヘッドフォンは、
前再生部によって再生された音を出力する出力部
を有することを特徴とする音源位置制御システム。

１ 携帯端末
２ ヘッドフォン
１０ 記憶部
１０１ 音源データ
１０２ 音源管理テーブル
１１ ジャイロセンサ
１２ 加速度センサ
１３ 地磁気センサ
１４ 入力部
１５ 出力部
１６ ハンドアクション計測部
１７ 音源管理部
１８ 定位処理部
１９ 音源選択部
２０ 増幅回路
２１ ミキサ
２２ ＳＷ
２３ 再生部
３１ 頭部姿勢検出装置
３２ 出力装置

Claims (5)

1. 主体からの距離の長短に応じて空間が分割された複数の領域ごとに、主体を中心として複数の方位にそれぞれ定位される音源を管理する管理部と、
   自端末の主体の動作および動作の方位を判定する判定部と、
   前記判定部によって判定された動作および動作の方位に基づいて、主体の周囲の空間に仮想的に定位された音源の位置を制御する位置制御部と、
   前記位置制御部によって制御された音源が主体から最短距離の領域に定位される場合には、当該音源の音のみを再生し、該制御された音源が主体から最短距離の領域と最長距離の領域との間の中間領域に定位される場合には、最短距離の領域にいずれの音源も定位されていなければ、中間領域に定位された全ての音源の音を再生し、再生した音をヘッドフォンに対して出力する再生部と
   を有することを特徴とする携帯端末。
2. 前記位置制御部は、前記判定部によって判定された動作の方位に基づいて、空間に仮想的に定位された音源を選択し、前記判定部によって判定された動作に基づいて、選択した音源の位置を移動させることを特徴とする請求項１に記載の携帯端末。
3. 前記位置制御部は、
   主体からの距離の長短に応じて空間が分割された複数の領域ごとに、主体を中心として複数の方位にそれぞれ定位される音源を管理する管理テーブルと、
   前記管理テーブルに管理された音源の中から、前記判定部によって判定された動作の方位に対応する音源を選択し、前記判定部によって判定された動作に基づいて、選択した音源を、前記管理テーブルによって管理された領域から異なる領域へ移動させる移動部と
   を有することを特徴とする請求項２に記載の携帯端末。
4. コンピュータが、
   主体からの距離の長短に応じて空間が分割された複数の領域ごとに、主体を中心として複数の方位にそれぞれ定位される音源を管理し、
   自端末の主体の動作および動作の方位を判定し、
   前記判定する処理によって判定された動作および動作の方位に基づいて、主体の周囲の空間に仮想的に定位された音源の位置を制御し、
   前記位置を制御する処理によって制御された音源主体から最短距離の領域に定位される場合には、当該音源の音のみを再生し、該制御された音源が主体から最短距離の領域と最長距離の領域との間の中間領域に定位される場合には、最短距離の領域にいずれの音源も定位されていなければ、中間領域に定位された全ての音源の音を再生し、再生した音をヘッドフォンに対して出力する
   処理を実行することを特徴とする音源位置制御方法。
5. コンピュータに、
   主体からの距離の長短に応じて空間が分割された複数の領域ごとに、主体を中心として複数の方位にそれぞれ定位される音源を管理し、
   自端末の主体の動作および動作の方位を判定し、
   前記判定する処理によって判定された動作および動作の方位に基づいて、主体の周囲の空間に仮想的に定位された音源の位置を制御し、
   前記位置を制御する処理によって制御された音源が主体から最短距離の領域に定位される場合には、当該音源の音のみを再生し、該制御された音源が主体から最短距離の領域と最長距離の領域との間の中間領域に定位される場合には、最短距離の領域にいずれの音源も定位されていなければ、中間領域に定位された全ての音源の音を再生し、再生した音をヘッドフォンに対して出力する
   処理を実行させることを特徴とする音源位置制御プログラム。

Images