JP7463796B2 - デバイスシステム、音質制御方法および音質制御プログラム - Google Patents

Description

この発明の一実施形態は、遮蔽物および遮蔽物によって隠されている仮想音源の移動に応じて、仮想音源の音質を変化させる音響デバイスおよび音質制御方法に関する。

ユーザに、ヘッドホンまたはイヤホンなどの音響デバイスを装用させて、拡張現実（ＡＲ：Augmented Reality）を体験させるＡＲシステムが提案されている。ＡＲシステムは、ユーザが滞在している場所に応じた音声を音響デバイスから放音する。ＡＲシステムは、仮想音源を所定の定位位置に定位させるために、ユーザの現在位置およびユーザの頭部の向きを検出する。ＡＲシステムは、検出された位置や頭部の向きに応じた頭部伝達関数を用いて音声に特定の信号処理を加えることで仮想音源を所定位置に定位させている。

頭部伝達関数とは、音源位置からユーザの両耳の外耳道までの音声の伝達関数である。音源位置で発生した音声がユーザの耳に到達するまでの間に、頭部形状、耳介形状などによりその音源方向に応じた特性で周波数特性が変化する。頭部伝達関数は、音声がユーザの耳に到達するまでの間に変化を受けた周波数特性を表した関数であり、音源方向毎に用意されている。ユーザは、各音源方向特有の周波数特性を聞き分けて、音声の到来方向を判断している。したがって、ＡＲシステムが、音声を所定方向の頭部伝達関数を用いて加工して再生することにより、ユーザにさも所定方向から音声が聞こえてきたかのような感覚をもたせることができる。

ユーザの位置と仮想音源との間に、現実のまたは仮想的な遮蔽物がある場合、遮蔽物の影響が音質に反映されることが好ましい。例えば、特許文献１には、ユーザが滞在している場所に応じた道順を提示することにより、ユーザをナビゲーションする音声ナビゲーションシステムが開示されている。この文献では、目的物（目的地）についてのガイド音声が再生される際、目的物とユーザの位置との間に遮蔽物がある場合、音質を変化（減衰）させることが提案されている。なお、特許文献１のシステムは、目的物とユーザの位置との間に遮蔽物がある場合にナビゲーション音声を減衰させるものであり、目的物の位置にナビゲーション音声を定位するものではない。

国際公開第２０１７／０１８２９８

従来のＡＲシステムは、仮想音源の定位位置が現実のまたは仮想的な扉や窓などの遮蔽物によって遮蔽された場所であるか否かを考慮して仮想音源の音質を制御していなかった。このため、拡張現実のリアリティが低下してしまう問題があった。

そこで、本発明の一実施形態に係る目的の一つは、現実世界の扉や窓などの遮蔽物による仮想音源の遮蔽状態を考慮して、仮想音源の聞こえ方をよりリアルに加工できるようにすることにある。

本発明の一実施形態に係るデバイスシステムは、デバイス、センサおよび音声生成手段を備える。デバイスは、ユーザが装用する。センサは、移動可能な遮蔽物の移動を検出する。音声処理部は、遮蔽物の反対側に定位された仮想音源から遮蔽物で遮蔽された場合の第１の音質の音声を生成してデバイスから放音し、遮蔽物が仮想音源を遮蔽する位置から移動したことをセンサが検出したとき、音声の音質を、遮蔽物で遮蔽された音質から遮蔽されない場合の第２の音質に変化させる。

本発明の一実施形態に係る音質制御方法は、ユーザが装用する音響デバイスおよび移動可能な遮蔽物の移動を検出するセンサを含むデバイスシステムが、遮蔽物の反対側に定位された仮想音源から遮蔽物で遮蔽された場合の第１の音質の音声を生成して音響デバイスから放音し、遮蔽物が移動したことをセンサが検出したとき、音声の音質を第１の音質から遮蔽物に遮蔽されない場合の第２の音質に変化させることを特徴とする。

本発明の一実施形態に係る音質制御プログラムは、ユーザが装用する音響デバイスおよび移動可能な遮蔽物の移動を検出するセンサと通信する携帯端末装置の制御部を、遮蔽物の反対側に定位された仮想音源から遮蔽物で遮蔽された場合の第１の音質の音声を生成して音響デバイスから放音し、遮蔽物が移動したことをセンサが検出したとき、音声の音質を第１の音質から遮蔽物に遮蔽されない場合の第２の音質に変化させる音声制御手段として機能させることを特徴とする。

この発明の一実施形態によれば、遮蔽物による仮想音源の遮蔽状態を考慮して、仮想音源の聞こえ方をよりリアルに加工することが可能となる。

図１は、この発明の実施形態である音声再生システムの構成を示す図である。 図２は、音声再生システムの携帯端末装置のブロック図である。 図３は、音声再生システムのヘッドホンのブロック図である。 図４は、音声再生システムのドアセンサのブロック図である。 図５は、音声再生システムが使用される建物の平面図である。 図６は、音声再生システムにおける間接音を説明する図である。 図７は、音声再生システムにおける直接音を説明する図である。 図８は、音声再生システムにおける透過音を説明する図である。 図９は、携帯端末装置の信号処理部の構成を示す図である。 図１０は、携帯端末装置の処理動作を示すフローチャートである。 図１１は、携帯端末装置の処理動作を示すフローチャートである。 図１２は、携帯端末装置の処理動作を示すフローチャートである。 図１３は、音声再生システムにおいて音源が移動する場合の建物の平面図である。

図１は、本発明が適用される音声再生システム１の構成を示す図である。図２は、音声再生システム１の携帯端末装置１０のブロック図である。音声再生システム１は、携帯端末装置１０、音響デバイスであるヘッドホン２０、および、ドアセンサ３０を含む。図１は、ユーザＬが、携帯端末装置１０を手に持ち、ヘッドホン２０を装用した例を示している。ユーザＬは、この装備で図５に示す部屋２０１に入る。ユーザＬが部屋２０１に入ると、携帯端末装置１０は、シナリオファイル７２（単に、シナリオ７２とも言う）に基づいて、部屋２０２に定位する音声を再生する。ヘッドホン２０が本発明の音響デバイスに対応する。

携帯端末装置１０は、例えば、スマートホン（多機能携帯電話）が用いられる。携帯端末装置１０とヘッドホン２０とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）で接続されており、相互に通信可能である。携帯端末装置１０とヘッドホン２０との接続は、Ｂｌｕｅｔｏｏｔｈに限定されず、他の無線通信規格または有線でもよい。ヘッドホン２０は、２個のスピーカ２１Ｒ，２１Ｌとヘッドバンド２２とを組み合わせた、いわゆる耳掛け型である。ヘッドホン２０は、ヘッドバンド２２に姿勢センサ２３を有し、ユーザＬの頭部の向きをトラッキング可能である。姿勢センサ２３は、３軸ジャイロ（角速度）センサ、６軸センサ（３軸ジャイロセンサ＋３軸モーション（加速度）センサ）、および、９軸センサ（３軸ジャイロセンサ＋３軸モーションセンサ＋３軸コンパス（方位）センサ）のいずれが用いられてもよい。音響デバイスとして、ヘッドホン２０に代えてイヤホンが用いられてもよい。

ドアセンサ３０は、固定壁５０１（図５参照）に設けられたドア５０２の開閉状態を検出する。ドアセンサ３０は、携帯端末装置１０にドア５０２の開閉状態の情報を送信する。ドアセンサ３０と携帯端末装置１０とは、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）で接続されている。ＢＬＥおよび通常のＢｌｕｅｔｏｏｔｈは、一つのデバイスで併用可能である。この実施形態でＢｌｕｅｔｏｏｔｈは、上述のように、携帯端末装置１０とヘッドホン２０との接続に用いられている。ドアセンサ３０と携帯端末装置１０との接続形態は、ＢＬＥに限定されない。例えばドアセンサ３０と携帯端末装置１０は、Ｗｉ－Ｆｉ（登録商標）または携帯通信ネットワーク等、インターネットを介して接続してもよい。

図２は、携帯端末装置１０のブロック図である。携帯端末装置１０は、ハードウェア的には、制御部１００、記憶部１０３、音声生成部１０５、信号処理部１０６および通信処理部１０７などを備えたスマートホンである。制御部１００は、ＣＰＵを備えている。記憶部１０３は、ＲＯＭ、ＲＡＭおよびフラッシュメモリを備えている。

携帯端末装置１０、ヘッドホン２０およびドアセンサ３０は、携帯端末装置１０が、記憶部１０３に記憶されているプログラム７０を起動することにより音声再生システム１として機能する。

記憶部１０３は、上述のプログラム７０を記憶しているとともに、シナリオファイル７２、および、音声データ７３を記憶する。プログラム７０は、携帯端末装置１０、ヘッドホン２０およびドアセンサ３０を音声再生システムとして機能させるためのアプリケーションプログラムである。シナリオファイル７２は、ユーザＬに対して所定の音声を順次再生するための手順が記載されたファイルである。シナリオファイル７２は、音声を再生する場所、例えば、図５に示す建物２００の形状や壁５００の配置などが記載されたレイアウトテーブル７２Ａを含んでいる。音声データ７３は、シナリオファイル７２にしたがって再生される音声のデータである。音声データ７３は、たとえばＰＣＭやＭＰ４のような音声信号であってもよく、音声生成部１０５をシンセサイザとして利用する音声合成データであってもよい。なお、音声データ７３が音声信号の場合、制御部１００が、音声生成部１０５として、音声データ７３を読み出してもよい。

フィルタ係数７１は、頭部伝達関数および部屋２０１の所定位置におけるインパルス応答を含んでいる。これらのフィルタ係数は、図５等に示す仮想音源ＳＰ１をユーザＬに対して所定の位置に定位させるために使用される。フィルタ係数７１は、信号処理部１０６において使用される。なお、以下の記載において、ＳＰ１を仮想音源位置とも言う。

制御部１００は、携帯端末装置１０の動作を制御する。制御部１００は、プログラム７０が起動されることにより、位置決定部１０１、頭部方向決定部１０２としても機能する。位置決定部１０１は、携帯端末装置１０の現在位置を決定する。音声再生システム１では、携帯端末装置１０の位置がユーザＬの位置として使用される。位置決定部１０１は、屋外であれば、ＧＰＳ、みちびき等の衛星測位システムが用いられればよい。位置決定部１０１は、屋内であれば、屋内に設置されたビーコン等の位置測定システムが用いられればよい。屋内の場合でも、位置決定部１０１は、まず屋外で衛星測位システムを用いて正確な位置を決定しておき（キャリブレーション）、その後は姿勢センサ２３を用いてユーザＬの移動をトレースして屋内での位置を決定してもよい。ユーザＬの移動をトレースする場合、姿勢センサ２３は、ユーザＬのモーションを検出できる６軸センサまたは９軸センサが好適である。

頭部方向決定部１０２は、ヘッドホン２０から取得した姿勢センサ２３の検出値に基づいてユーザＬの頭部の向きを決定する。姿勢センサ２３が３軸のジャイロセンサの場合、制御部１００は、最初にユーザＬに所定の方向を向かせて頭部方向を決定する（キャリブレーション）。その後、制御部１００は、姿勢センサ２３から角速度情報を取得し、この角速度情報を頭部方向に積算することで現在のユーザＬの頭部の向きを決定する。姿勢センサ２３がジャイロセンサおよびコンパスセンサを含む場合、応答の速いジャイロセンサでユーザＬの頭部方向の変化に追従しつつ、応答の遅いコンパスセンサでジャイロセンサの積分誤差をキャンセルするようにすればよい。

音声生成部１０５は、音声データ７３を再生する。音声データ７３は、たとえばＰＣＭやＭＰ４のような音声信号であってもよく、音声生成部１０５をシンセサイザとして利用する音声合成データであってもよい。信号処理部１０６は、仮想音源ＳＰ１（図５参照）およびユーザＬの位置に応じて、音声の音質を制御する。また、信号処理部１０６は、位置決定部１０１、頭部方向決定部１０２から取得したユーザＬの位置および向きに応じて音声の定位を決定し、定位方向の頭部伝達関数を読み出して、音声をフィルタリングする。音声生成部１０５および信号処理部１０６が、本発明の音声処理部に対応する。

音声再生システム１は、シナリオファイル７２に基づき、部屋２０１にいるユーザＬに対して、壁５００で隔てられた隣の部屋２０２に音声を定位させる（図５－８等参照）。壁５００にはドア５０２が設けられている。ドア５０２が閉じているとき、音声再生システムは、壁５００で遮られた向こうの部屋から聞こえてくるような音質で音声を再生する。ドア５０２が開いているとき、音声再生システムは、部屋２０２で響いている音声がドア枠５０３を通って聞こえてくるような音質で音声を再生する。携帯端末装置１０（通信処理部１０７）は、処理された音声をヘッドホン２０に送信する。ヘッドホン２０は、受信した音声をスピーカ２１Ｒ，２１Ｌから出力する。これにより、ユーザＬは、シナリオファイル７２にしたがって、予め決められた定位位置から聞こえてくる聴感で音声を聞くことができる。

通信処理部１０７は、Ｂｌｕｅｔｏｏｔｈ対応機器であるヘッドホン２０、および、ドアセンサ３０と通信する。通信処理部１０７は、ヘッドホン２０の通信処理部２４とＢｌｕｅｔｏｏｔｈで通信する。通信処理部１０７は、ドアセンサ３０の通信処理部３２とＢｌｕｅｔｏｏｔｈ ＢＬＥで通信する。通信処理部１０７は、ヘッドホン２０に対してオーディオ信号の送信を行うとともに、ヘッドホン２０から姿勢センサ２３の検出値を受信する。通信処理部１０７は、ドアセンサ３０からドア５０２の開閉状態の情報を受信する。

図３は、ヘッドホン２０の構成を示すブロック図である。ヘッドホン２０は、スピーカ２１Ｌ，２１Ｒ、姿勢センサ２３、通信処理部２４、ＡＩＦ２５、ＤＡＣ２６Ｌ，２６Ｒ、アンプ２７Ｌ，２７Ｒを備えている。

通信処理部２４は、ＢｌｕｅｔｏｏｔｈまたはＢＬＥで携帯端末装置１０（通信処理部１０７）と通信する。ＡＩＦ（Ａｕｄｉｏ Ｉｎｔｅｒｆａｃｅ）２５は、携帯端末装置１０から受信した音声信号を左右チャンネルの信号に分離してＤＡＣ２６Ｌ，２６Ｒに送信する。ＤＡＣ（Ｄｉｇｔａｌ ｔｏ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）２６Ｌ，２６Ｒは、ＡＩＦ２５から入力されたデジタル信号をアナログ信号に変換する。アンプ２７Ｌ，２７Ｒは、ＤＡＣ２６Ｌ，２６Ｒから入力されたアナログ信号を増幅してスピーカ２１Ｌ，２１Ｌに供給する。これにより、携帯端末装置１０から受信した音声信号は、音響としてスピーカ２１Ｌ，２１Ｒから放音される。ヘッドホン２０は、ユーザＬの頭部に装用されているため、スピーカ２１，２１Ｒから放音された音声はユーザＬの左右の耳で聴取される。

図４は、ドアセンサ３０ブロック図である。ドアセンサ３０は、図５に示されるように、ドア５０２のヒンジ近傍に取り付けられ、ドア５０２の固定壁５０１に対する開閉状態の情報を検出および出力する。開閉状態の情報は、固定壁５０１に対する角度で表される。ドアセンサ３０は、センサモジュール３１および通信処理部３２を備えている。センサモジュール３１は、ドア５０２の開閉状態を検出する。センサモジュール３１は、例えば、ロータリエンコーダ、半導体センサ、または、光電センサなどで構成される。ロータリエンコーダは、ドア５０２のヒンジと同軸で回転してドア５０２の回転角度または絶対角度を検出する。半導体センサは、ドア５０２の開閉による角速度を検出し、この角速度を積分してドア５０２の角度を算出する。光学センサは、ドア５０２および固定壁５０１にそれぞれ発光部および受光部を有し、発光部から受光部に至る光の位置の変化によってドア５０２の角度を検出する。センサモジュール３１は、上に述べたものに限定されない。たとえば、センサモジュール３１が、ポテンショメータであってもよい。また、センサモジュール３１が、ドア５０２が完全に閉じているか、少しでも開いているかのみを検出すればよい場合、センサモジュール３１はリミットスイッチでもよい。通信処理部３２は、センサモジュール３１が検出したドア５０２の開閉状態の情報を携帯端末装置１０に送信する。

図５は、本発明の音声再生システムでユーザＬを導き入れてシナリオが実行される建物２００の平面図である。建物２００には、部屋２０１および部屋２０２が設けられている。部屋２０１および部屋２０２は、壁５００で仕切られている。壁５００は、固定壁５０１と固定壁５０１の一部に設けられたドア５０２とを有している。ドア５０２は、固定壁５０１に形成されたドア枠５０３に取り付けられている。ドア５０２は、部屋２０１側に揺動自在である。壁５００が本発明の遮蔽物に対応する。

建物２００およびその内部の位置はＸＹ座標で特定される。ＸＹ座標は、図５左下に示されるように、図中左右方向に設定されたＸ軸、上下方向に設定されたＹ軸に基づいて決定される。部屋２０１、２０２の形状、壁５００の位置、ドア５０２の位置は全てＸＹ座標で表され、レイアウトテーブル７２Ａに記憶されている。本実施形態の音声再生システム１は、音声の定位処理を二次元、すなわち、音源の位置、ユーザＬの耳の位置などは全て同じ高さにあるとみなして音像定位処理を行っている。音像定位を高さを含む三次元で行う場合は、図面の表裏方向に高さ方向のＺ軸を設定すればよい。

ドア５０２には、ドア５０２の開閉状態を検出するためのドアセンサ３０が設けられている。図５では、ドア５０２は部屋２０１側に開かれている。ドア５０２はユーザＬによって手動で開かれてもよく、図示しないアクチュエータなどによって自動的に開かれてもよい。

ユーザＬは、部屋２０１を移動しつつ、音声再生システム１によって再生される音声を聴く。音声再生システム１は、ユーザＬの位置、時刻等でシナリオファイル７２を参照し、シナリオファイル７２によって指示された音声を再生する。図５に示した場面では、音声再生システム１は、部屋２０２の仮想音源位置ＳＰ１に定位するピアノ演奏音を再生する。図５では、仮想音源位置ＳＰ１の場所に、実際のピアノ３００が設置されているが、実際のピアノ３００は必須ではない。

図５において、ユーザＬは、ヘッドホン２０からピアノ演奏音が聞こえてくると、ドア５０２の近くの位置ＬＰ１へ移動してドア５０２を開ける（図５はドア５０２が開いた状態を示している）。これにより、ユーザＬは、部屋２０２でピアノ３００が鳴っていることを認識するが、ユーザＬは、固定壁５０１で遮られて、位置ＬＰ１からピアノ３００（仮想音源位置ＳＰ１）を直接見ることができない。ユーザＬは、ドア５０２を開けたのち、音声が鳴っている場所を探すため、位置ＬＰ２へ移動する。位置ＬＰ２へ移動したユーザＬは、ドア枠５０３を介して部屋２０２の中を見ることによって、ピアノ３００（仮想音源位置ＳＰ１）を発見する。

ユーザＬが上のような行動をした場合の、音声再生システム１による音声（ピアノ演奏音）の音質の制御態様は、以下のとおりである。ドア５０２が閉じているとき、音声再生システム１は、ユーザＬに対して、壁５００の向こう側でピアノ３００が演奏され、壁５００（ドア５０２）から漏れてくるような音質でピアノ演奏音を再生する。ドア５０２が開かれたとき、音声再生システム１は、部屋２０２で響いているピアノ演奏音がドア枠５０３を介して聞こえてくるような音質で、ピアノ演奏音を再生する。ただし、位置ＬＰ１では、ユーザＬは、仮想音源位置ＳＰ１に定位されているピアノ演奏音の直接音を聴くことができない。その後、ユーザＬは、ピアノ３００が見える位置である位置ＬＰ２に移動する。ユーザＬが位置ＬＰ２に移動したとき、音声再生システム１は、ピアノ演奏音の直接音をユーザＬに対して再生する。

図６－８を参照して、ドア５０２が閉じているとき、ドア５０２が開かれユーザＬが位置ＬＰ１にいるとき、および、ユーザＬが位置ＬＰ２に移動したときの仮想音源位置ＳＰ１で発生した音声の伝達形態を説明する。以下の説明では、仮想音源位置ＳＰ１で発生した音声を音声Ｓ（ＳＰ１）と呼ぶ。なお、図５-９、および、図１３の記載において、音声Ｓ（ＳＰ１）等の括弧“（）”は、“－”で代用される。

図６は、ドア５０２が開かれた状態のドア枠５０３を介してユーザＬに聞こえてくる音声（間接音）を説明する図である。音声Ｓ（ＳＰ１）は、部屋２０２全体に伝わり、壁で反射するなどして部屋２０２内に響きを形成する。ドア枠５０３の位置ＳＰ２においても、位置ＳＰ２における響きの音声が鳴動する。以下、位置ＳＰ２で聴取される音声を音声Ｓ（ＳＰ２）と呼ぶ。仮想音源位置ＳＰ１から位置ＳＰ２への音声の伝搬は、仮想音源位置ＳＰ１に発音源を設置し、位置ＳＰ２にマイクを設置して測定されたインパルス応答で表される。このインパルス応答を、以下、インパルス応答ＩＲ（１－２）と呼ぶ。インパルス応答ＩＲ（１－２）は、上述したように、部屋２０２に響いているピアノ演奏音Ｓ（ＳＰ１）を位置ＳＰ２で聴取した場合の応答波形を表している。音声Ｓ（ＳＰ２）は、音声Ｓ（ＳＰ１）にインパルス応答ＩＲ（１－２）を畳み込むＦＩＲフィルタでフィルタリングすることによって得られる。

ドア５０２が開かれている場合、ドア枠５０３に到達した音声Ｓ（ＳＰ２）が、部屋２０１に伝わり、ユーザＬまで到達する。ドア枠５０３の位置ＳＰ２から、ユーザＬの両耳までの音声の伝搬は、ユーザＬの位置およびユーザＬの頭部の向きに応じた頭部伝達関数によって表される。このときの頭部伝達関数を、以下、頭部伝達関数ＨＲＴＦ（２－Ｌ）と呼ぶ。開いたドア５０２（ドア枠５０３）からユーザＬに聞こえてくる音声である間接音Ｓ（Ｌ open）は、音声Ｓ（ＳＰ２）を頭部伝達関数ＨＲＴＦ（２－Ｌ）で処理することによって得られる。具体的には、頭部伝達関数ＨＲＴＦ（２－Ｌ）を時間領域の係数列に変換した頭部インパルス応答を音声Ｓ（ＳＰ２）に畳み込むＦＩＲフィルタでフィルタリングすることによって、間接音Ｓ（Ｌ open）が得られる。なお、処理を容易にするため、部屋２０１における残響（インパルス応答）は、考慮しないものとする。

図７は、音源から直接ユーザＬに聞こえてくる音声（直接音）を説明する図である。ユーザＬが位置ＬＰ２にいる場合、仮想音源位置ＳＰ１を直接目視可能であるため、音声Ｓ（ＳＰ１）の直接音が聞こえる。直接音の伝搬は、仮想音源位置ＳＰ１からユーザＬの位置およびユーザＬの頭部の向きに応じた頭部伝達関数によって表される。このときの頭部伝達関数を、以下、頭部伝達関数ＨＲＴＦ（１－Ｌ）と呼ぶ。直接音Ｓ（Ｌ direct）は、音声Ｓ（ＳＰ１）を頭部伝達関数ＨＲＴＦ（１－Ｌ）で処理することによって得られる。具体的には、頭部伝達関数ＨＲＴＦ（１－Ｌ）を時間領域の係数列に変換した頭部インパルス応答を音声Ｓ（ＳＰ１）に畳み込むＦＩＲフィルタでフィルタリングすることによって、直接音Ｓ（Ｌ direct）が得られる。

図８は、閉じられたドア５０２を透過してユーザＬに聞こえてくる音声（透過音）を説明する図である。この実施形態では、固定壁５０１は、全く音声を透過しないとする。ドア５０２が閉じている場合、部屋２０１に居るユーザＬは、部屋２０２からドア５０２を抜けて伝わってくる音声を聴く。ドア５０２に到達する音声は、上記のように音声Ｓ（ＳＰ２）である。透過音Ｓ（Ｌ door）は、音声Ｓ（ＳＰ２）がドア５０２に到達し、閉じているドア５０２を通過してドア表面（部屋２０１側）ＳＰ２０に伝わり、ドア表面ＳＰ２０からユーザＬに伝わったものである。したがって、音声Ｓ（Ｌ door）の伝搬は、以下の３つのインパルス応答で表される。仮想音源位置ＳＰ１からドア５０２（ＳＰ２）までのインパルス応答、ドア５０２（ＳＰ２）からドア表面ＳＰ２０までのインパルス応答、および、ドア表面ＳＰ２０からユーザＬまでの頭部伝達関数ＨＲＴＦ（２０－Ｌ）。なお、処理を容易にするため、部屋２０１における残響（インパルス応答）は、考慮しないものとする。

頭部伝達関数ＨＲＴＦ（２０－Ｌ）は、図６の頭部伝達関数ＨＲＴＦ（２－Ｌ）とほぼ同じと考えられる。したがって、頭部伝達関数ＨＲＴＦ（２－Ｌ）が頭部伝達関数ＨＲＴＦ（２０－Ｌ）として用いられてもよい。

なお、ドア５０２（ＳＰ２）からドア表面ＳＰ２０までのインパルス応答は、ドア５０２の遮音特性である。ドア５０２の遮音特性のインパルス応答を、以下、インパルス応答ＩＲ（door）と呼ぶ。

閉じたドア５０２を透過してユーザＬに聞こえてくる音声である間接音Ｓ（Ｌ door）は、音声Ｓ（ＳＰ２０）を頭部伝達関数ＨＲＴＦ（２０－Ｌ）で処理することによって得られる。具体的には、頭部伝達関数ＨＲＴＦ（２０－Ｌ）を時間領域の係数列に変換した頭部インパルス応答を音声Ｓ（ＳＰ２０）に畳み込むＦＩＲフィルタでフィルタリングすることによって、透過音Ｓ（Ｌ door）が得られる。

図８に示したように、ドア５０２が、閉じているとき、音声再生システム１は、ユーザＬに対して、透過音Ｓ（Ｌ door）のみを再生する。

図６に示したように、ドア５０２が開いているが、ユーザＬが、ピアノ３００が見えない場所（たとえば場所ＬＰ１）にいるとき、音声再生システム１は、ユーザＬに対して、ドア枠５０３から聞こえてくる間接音Ｓ（Ｌ open）を再生する。

図７に示したように、ドア５０２が開いていて、ユーザＬが、ピアノ３００の見える位置（たとえば位置ＬＰ２）にいるとき、音声再生システム１は、ユーザＬに対して、仮想音源位置ＳＰ１（ピアノ３００）からの直接音Ｓ（Ｌ direct）、および、間接音Ｓ（Ｌ open）を再生する。これは、ユーザＬがピアノ３００を目視できる位置にいる場合であっても、間接音Ｓ（Ｌ open）は、ユーザＬに聞こえてくるためである。

ユーザＬが、ピアノ３００（仮想音源位置ＳＰ１）が完全に見える位置にいるか、一部のみ見える位置にいるかで直接音Ｓ（Ｌ direct）のゲインを変えてもよい。また、この場合に、音質が、周波数領域で高音域の少し減衰させるなどの調整がされてもよい。

図９は、信号処理部１０６の機能ブロック図である。信号処理部１０６は、たとえばＤＳＰ（degitalsignal processor）で構成されており、プログラムにより、音声生成部１０５で生成された音声の信号処理を行うための種々の機能部が構成される。音声生成部１０５は、上述したように、ピアノ演奏音などの音声を生成する。信号処理部１０６は、音声を処理して、透過音Ｓ（Ｌ door）、間接音Ｓ（Ｌ open）、および、直接音Ｓ（Ｌ direct）を生成する。図示のフィルタ６４－６９は、全てＦＩＲフィルタである。図９では信号の流れを一重線で表しているが、処理される音声信号は左右２チャンネルの信号である。

直列に接続されたフィルタ６４－６６は、ドア５０２が閉じられている場合の透過音Ｓ（Ｌ door）を生成する。フィルタ６４には、仮想音源位置ＳＰ１からドア５０２の位置ＳＰ２までのインパルス応答ＩＲ（１－２）がセットされる。フィルタ６４は、音声Ｓ（ＳＰ１）をフィルタリングして音声Ｓ（ＳＰ２）を生成する。フィルタ６５には、ドア５０２の遮音特性であるインパルス応答ＩＲ（door）がセットされる。フィルタ６５は、音声Ｓ（ＳＰ２）をフィルタリングして音声Ｓ（ＳＰ２０）を生成する。フィルタ６６には、ドア５０２の部屋２０１側の位置ＳＰ２０からユーザＬの位置および頭部の向きに応じた頭部伝達関数（頭部インパルス応答）ＨＲＴＦ（２０－Ｌ）がセットされる。フィルタ６６は、音声Ｓ（ＳＰ２０）をフィルタリングして透過音Ｓ（Ｌ door）を生成する。この実施形態では、インパルス応答ＩＲ（１－２）、インパルス応答（遮音特性）ＩＲ（door）、および、頭部伝達関数ＨＲＴＦ（２０－Ｌ）の演算ために、３つのフィルタ６４－６６が設けられている。しかし、これらのフィルタ係数を合成した１つのフィルタで透過音Ｓ（Ｌ door）が生成されてもよい。

直列に接続されたフィルタ６７，６８は、ドア５０２が開かれている場合の間接音Ｓ（Ｌ open）を生成する。フィルタ６７には、仮想音源位置ＳＰ１からドア５０２の位置ＳＰ２までのインパルス応答ＩＲ（１－２）がセットされる。フィルタ６７は、音声Ｓ（ＳＰ１）をフィルタリングして音声Ｓ（ＳＰ２）を生成する。フィルタ６８には、ドア５０２の位置ＳＰ２からユーザＬの位置および頭部の向きに応じた頭部伝達関数（頭部インパルス応答）ＨＲＴＦ（２－Ｌ）がセットされる。フィルタ６８は、音声Ｓ（ＳＰ２）をフィルタリングして間接音Ｓ（Ｌ open）を生成する。この実施形態では、インパルス応答ＩＲ（１－２）、および、頭部伝達関数ＨＲＴＦ（２－Ｌ）のために、２つのフィルタ６６、６７が設けられている。しかし、これらのフィルタ係数を合成した１つのフィルタで間接音Ｓ（Ｌ open）が生成されてもよい。

フィルタ６９は、直接音Ｓ（Ｌ direct）を生成する。フィルタ６８には、仮想音源位置ＳＰ１からユーザＬの位置およびユーザＬの頭部の向きに応じた頭部伝達関数（頭部インパルス応答）ＨＲＴＦ（１－Ｌ）がセットされる。フィルタ６９は、音声Ｓ（ＳＰ１）をフィルタリングして直接音Ｓ（Ｌ direct）を生成する。

ゲイン調整部６１－６３は、生成された透過音Ｓ（Ｌ door）、間接音Ｓ（Ｌ open）、および、直接音Ｓ（Ｌ direct）のゲインをそれぞれオン／オフおよびゲイン調整する。インパルス応答や頭部伝達関数には、音量制御の要素が含まれているため、信号処理部１０６は、通常は透過音Ｓ（Ｌ door）などの生成後にゲインを調整しなくてもよい。ゲイン調整部６１－６３は、ドア５０２の開角に応じて間接音Ｓ（Ｌ open）のゲインを調整する場合、透過音Ｓ（Ｌ door）および間接音Ｓ（Ｌ open）をクロスフェードする場合などに使用される。

加算部８０は、ゲイン調整部６１－６３でゲインを調整された透過音Ｓ（Ｌ door）、間接音Ｓ（Ｌ open）、直接音Ｓ（Ｌ direct）を加算して、ヘッドホン２０に出力される音声Ｓ（Ｌ）を生成する。信号処理部１０６は、音声Ｓ（Ｌ）を通信処理部１０７に入力する。通信処理部１０７は、音声Ｓ（Ｌ）をヘッドホン２０に送信する。信号処理部１０６は、全てのフィルタ６４－６９および全てのゲイン調整部６１－６３のフィルタ係数およびゲイン値を合成して一つのフィルタ係数を算出することも可能である。信号処理部１０６は、このフィルタ係数を用いて一つのＦＩＲフィルタで音声Ｓ（Ｌ）を生成することも可能である。

図１０は、携帯端末装置１０の音声信号処理動作を示すフローチャートである。この処理はシナリオファイル７２に基づいて音声が生成されているときに実行される。この処理は、定期的に、例えば２０ミリ秒ごとに、携帯端末装置１０の制御部１００および信号処理部１０６などによって実行される。

制御部１００は、ユーザＬの現在位置および頭部方向を取得する（ステップＳ１１，Ｓ１２）。以下、このフローチャートにおいて、ステップＳｎ（ｎは任意の数値）を単にＳｎと言う。制御部１００は、ドアセンサ３０から受信した信号を判断しドア５０２が開いているか否かを判断する（Ｓ１３）。ドア５０２が閉じている場合は（Ｓ１３でＮＯ）、ユーザＬには透過音のみが聞こえるため、図９に示す信号処理部１０６に透過音Ｓ（Ｌ door）の生成を指示する（Ｓ１４）。信号処理部１０６から出力された透過音Ｓ（Ｌ door）は、通信処理部１０７に出力される（Ｓ１５）。

ドア５０２が開いている場合は（Ｓ１３でＹＥＳ）、制御部１００は、ユーザＬが仮想音源位置ＳＰ１（ピアノ３００）を直視できる位置にいるかを判断する（Ｓ２１）。直視できる位置にいる場合（Ｓ２１でＹＥＳ）、制御部１００は、処理をＳ２５に進める。直視できない位置にいる場合（Ｓ２１でＮＯ）、制御部１００は、処理をＳ２２に進める。

ユーザＬが仮想音源位置ＳＰ１を直視できない位置にいる場合（Ｓ２１でＮＯ）、制御部１００は、信号処理部１０６に間接音Ｓ（Ｌ open）の生成を指示する（Ｓ２２）。このとき、制御部１００は、ユーザＬの位置および頭部の向きに基づいて１つの頭部伝達関数を選択し、フィルタ６８にセットする。信号処理部１０６から出力された間接音Ｓ（Ｌ open）は、通信処理部１０７に出力される（Ｓ１５）。

ドア５０２が開いており、ユーザＬが仮想音源位置ＳＰ１を直視できる位置にいる場合（Ｓ２１でＹＥＳ）、制御部１００は、信号処理部１０６に直接音Ｓ（Ｌ direct）および間接音Ｓ（Ｌ open）の生成を指示する（Ｓ２５、Ｓ２６）。このとき、制御部１００は、ユーザＬの位置および頭部の向きに基づき、フィルタ６８，６９にそれぞれ１つの頭部伝達関数をセットする。信号処理部１０６は、生成された直接音Ｓ（Ｌ direct）および間接音Ｓ（Ｌ open）を加算して音声Ｓ（Ｌ）を生成して（Ｓ２７）、通信処理部１０７に出力する（Ｓ２７）。

制御部１００は、図１０のステップＳ１３で、ドア５０２が開いているか閉じているかを判断している。制御部１００は、ドア５０２が開いている場合、どの程度の角度で開いているかを判断し、その角度に応じて間接音Ｓ（Ｌ open）のゲインを調節してもよい。さらに、制御部１００は、ドア５０２の開角に応じて間接音Ｓ（Ｌ open）の音質を調節してもよい。

図１１は、ドア５０２の開角で間接音Ｓ（Ｌ open）のゲインを調節する処理を示すフローチャートである。制御部１００は、ドアセンサ３０からドア５０２の開角を取得する（Ｓ３１）。制御部１００は、取得された開角に基づき、ゲイン調整部６２にこの開角に応じたゲインを設定する（Ｓ３２）。このとき、制御部１００は、ドア５０２の開角が大きくなるに従って、間接音Ｓ（Ｌ open）のゲインを大きくするとともに、透過音Ｓ（Ｌ door）のゲインを小さくする処理（クロスフェード）をしてもよい。

制御部１００は、図１０のステップＳ２１で、ユーザＬが仮想音源ＳＰ１を直視できる位置にいるか否かを判断している。制御部１００は、仮想音源ＳＰ１にピアノ３００のような所定の大きさを持たせ、ユーザＬが仮想音源ＳＰ１をどの程度直視できているかに応じて直接音Ｓ（Ｌ direct）のゲインを調節してもよい。さらに、制御部１００は、ユーザＬが仮想音源ＳＰ１をどの程度直視できているかに応じて直接音Ｓ（Ｌ direct）の音質を調節してもよい。

図１２は、ユーザＬが仮想音源ＳＰ１をどの程度直視できているかに応じて直接音Ｓ（Ｌ direct）のゲインを調節する処理を示すフローチャートである。制御部１００は、ユーザＬの位置から仮想音源ＳＰ１をどの程度直視できるかを算出する（Ｓ３３）。直視範囲の算出は、ユーザＬ、仮想音源ＳＰ１、および、ドア枠５０３の座標に基づいて行われる。制御部１００は、算出した直視範囲に応じてゲイン調整部６２にゲインを設定する（Ｓ３４）。すなわち、制御部１００は、ユーザＬが仮想音源ＳＰ１全体を直視できる場合は、１００％のゲインを設定し、ユーザＬが直視できる仮想音源ＳＰ１の範囲が狭くなるに従って設定されるゲインが小さくなるようにすればよい。

上の実施形態は、仮想音源ＳＰ１（ピアノ３００）が移動しない場合について説明した。以下の実施形態は、仮想音源ＳＰ１が移動する場合について説明する。この実施形態において上の実施形態と同様の構成の部分は同一番号を付して説明を省略する。

図１３は建物２００内の仮想音源ＳＰ１０およびユーザＬの配置を示す図である。部屋のレイアウトは、図５に示したものと同じである。図１３において、鳥の外観で記載されている仮想音源ＳＰ１０は、位置ＳＰ１０（１）から位置ＳＰ１０（２）へ移動する。ドア５０２は開いている。図６、７の実施形態では、ユーザＬ自身が移動することにより、仮想音源ＳＰ１を直視できるようになる。この実施形態では、仮想音源ＳＰ１０が移動することにより、ユーザＬが仮想音源ＳＰ１０を直視できるようになる。

ユーザＬは、位置ＬＰ１０に留まっている。仮想音源ＳＰ１０が、位置ＳＰ１０（１）にあるとき、ユーザＬは、仮想音源ＳＰ１０を直視することができず、ユーザＬには間接音Ｓ（Ｌ open）が聴こえる。間接音Ｓ（Ｌ open）は、図６で説明したものと同じであり、ＳＰ２における仮想音源ＳＰ１０（１）のインパルス応答、および、ＳＰ２からユーザＬまでの頭部伝達関数で算出される。仮想音源ＳＰ１０が、位置ＳＰ１０（２）へ移動したとき、ユーザＬは、ドア枠５０３を介して仮想音源ＳＰ１０を直視することができる。ユーザＬは、直接音Ｓ（Ｌ direct）が聴こえる。直接音Ｓ（Ｌ direct）は、図７で説明したものと同じであり、ＳＰ１０（２）からユーザＬまでの頭部伝達関数で算出される。また、直接音が聴こえているときも、間接音が併行して聴こえている。この間接音は、ＳＰ２における仮想音源ＳＰ１０（２）のインパルス応答、および、ＳＰ２からユーザＬまでの頭部伝達関数で算出される。

仮想音源ＳＰ１０が移動する場合、制御部１００は、図１０のフローチャートにおいて、Ｓ１０、１１と併行して仮想音源ＳＰ１０の位置を取得して、ユーザＬが仮想音源ＳＰ１０を直視できるか否かを計算すればよい。

図１３の例は、ユーザＬが停止している例を示した。さらに、ユーザＬが図５－８と同様に移動し、さらに仮想音源ＳＰ１０が移動する実施形態も実現可能である。

実施形態のドア５０２は、蝶番を用いた揺動式である。ドア５０２は、揺動式だけでなく、引き戸など他の機構で開閉するものも含む。ドア５０２が常に開放された実施形態、および、ドア５０２が無い実施形態、すなわちドア枠５０３（開口部）のみの実施形態も実現可能である。

図５の例は、ユーザＬがドア５０２を開く場合についてのものであった。ユーザＬが開いているドア５０２を閉じる実施形態も実現可能である。

図８の例は、ドア５０２を閉じたとき、ドア５０２のみから透過音が聴こえてくる実施形態である。ドア５０２を閉じたとき、壁５００全体から透過音が聴こえてくる実施形態も実現可能である。

以上の実施形態では、音声生成部１０５および信号処理部１０６が、携帯端末装置１０に設けられている。これら音声生成部１０５および信号処理部１０６が、ヘッドホン２０に設けられてもよい。

以上の実施形態では、建物２００、部屋２０１、２０２、壁５００、ドア５０２等が実際に存在する例が説明された。本発明をＶＲ（ヴァーチャル・リアリティ）に適用する場合、建物２００、部屋２０１、２０２、壁５００、ドア５０２等は、バーチャルであってもよい。

以上の実施形態では、遮蔽物に遮蔽されない場合の第２の音質に変化させる音声処理部として、頭部伝達関数を示した。しかし、例えば音量を変える処理も、当該音声処理の一例である。

以上詳述した実施形態から、以下のような態様が把握される。

《態様１》
本開示の態様１に係るデバイスシステムは、デバイス、センサおよび音声生成手段を備える。デバイスは、ユーザが装用する。センサは、移動可能な遮蔽物の移動を検出する。音声処理部は、遮蔽物の反対側に定位された仮想音源から遮蔽物で遮蔽された場合の第１の音質の音声を生成してデバイスから放音し、遮蔽物が仮想音源を遮蔽する位置から移動したことをセンサが検出したとき、音声の音質を、遮蔽物で遮蔽された音質から遮蔽されない場合の第２の音質に変化させる。

《態様２》
本開示の態様２に係るデバイスシステムは、遮蔽物、ユーザおよび仮想音源のうち少なくとも一つが移動したことにより、ユーザが仮想音源の定位位置を直視できるようになった場合、第２の音質に代えて仮想音源の定位位置を直視できる場合の第３の音質の音声を生成する。これにより直接音をユーザに聴かせることができる。

《態様３》
本開示の態様３に係るデバイスシステムは、遮蔽物として、ユーザがいる第１の空間、および、仮想音源が定位される第２の空間を仕切る壁、および、壁に設けられたドアを用いる。センサとして、ドアの開閉を検出するセンサを用いる。これにより、部屋を隔てて音声を聴く場合の音質が実現される。

《態様４》
本開示の態様４に係るデバイスシステムは、センサとして、ドアの開閉の程度を検出するものを用いる。音声処理部は、センサが検出したドアの開閉の程度に応じて、第１の音質および第２の音質をクロスフェードした音質の音声を生成する。これにより、ドア５０２が少し開かれた場合や徐々に開かれた場合の音質の変化が実現される。

《態様５》
本開示の態様５に係るデバイスシステムは、開かれたドアの位置ＳＰ２における仮想音源の第２の空間内のインパルス応答と、位置ＳＰ２からユーザまでの頭部伝達関数とでフィルタリングして第２の音質を実現する。

１ 音声再生システム
１０ 携帯端末装置（スマートホン）
２０ ヘッドホン
２１ スピーカ
２３ 姿勢センサ
２４ 通信処理部
３０ ドアセンサ
３１ センサモジュール
３０ 通信処理部
７０ アプリケーションプログラム
１００ 制御部
１０６ 信号処理部
５００ 壁
５０１ 固定壁
５０２ ドア
５０３ ドア枠
ＳＰ１，ＳＰ１０ 仮想音源

Claims (11)

1. ユーザが装用する音響デバイスと、
   開閉可能な遮蔽物の移動を検出するセンサと、
   前記遮蔽物の反対側に定位された仮想音源から前記遮蔽物で遮蔽された場合の第１の音質の音声を生成して前記音響デバイスから放音し、前記遮蔽物が前記仮想音源を遮蔽する位置から移動したことを前記センサが検出したとき、前記音声の音質を、前記第１の音質から前記遮蔽物に遮蔽されない場合の第２の音質に変化させる音声処理部と、
   を備えたデバイスシステムであって、
   前記遮蔽物、前記ユーザおよび前記仮想音源のうち少なくとも一つが移動したことにより、前記ユーザが前記仮想音源の定位位置を直視できるようになった場合、前記第２の音質に代えて、前記仮想音源の定位位置を直視できる場合の第３の音質の音声を生成する、
   デバイスシステム。
2. 前記遮蔽物は、前記ユーザがいる第１の空間、および、前記仮想音源が定位される第２の空間を仕切る壁、および、該壁に設けられたドアであり、
   前記センサは、前記ドアの開閉を検出するセンサである
   請求項１に記載のデバイスシステム。
3. 前記センサは、前記ドアの開閉の程度を検出するものであり、
   前記音声処理部は、前記センサが検出した前記ドアの開閉の程度に応じて、前記第１の音質および前記第２の音質をクロスフェードした音質の音声を生成する
   請求項２に記載のデバイスシステム。
4. 前記第２の音質は、
   前記開かれたドアの位置における前記仮想音源の第２の空間内のインパルス応答と、
   前記開かれたドアの位置から前記ユーザまでの頭部伝達関数と、
   でフィルタリングされた音質である請求項２または請求項３に記載のデバイスシステム。
5. 前記第１の音質は、前記開かれたドアの位置における前記仮想音源の第２の空間内のインパルス応答と、前記遮蔽物の遮音特性のインパルス応答と、前記開かれたドアの位置から前記ユーザまでの頭部伝達関数と、でフィルタリングされた音質であり、
   前記第３の音質は、前記仮想音源の定位位置から前記ユーザまでの頭部伝達関数でフィルタリングされた音質である、
   請求項４に記載のデバイスシステム。
6. ユーザが装用する音響デバイスおよび移動可能な遮蔽物の移動を検出するセンサを含むデバイスシステムが、
   前記遮蔽物の反対側に定位された仮想音源から前記遮蔽物で遮蔽された場合の第１の音質の音声を生成して前記音響デバイスから放音し、前記遮蔽物が前記仮想音源を遮蔽する位置から移動したことを前記センサが検出したとき、前記音声の音質を、前記第１の音質から遮蔽物に遮蔽されない場合の第２の音質に変化させる
   音質制御方法であって、
   前記ユーザが前記仮想音源の定位位置を直視できる位置にいる場合、前記第２の音質に代えて、前記仮想音源の定位位置を直視できる場合の第３の音質の音声を生成する、
   音質制御方法。
7. 前記遮蔽物として、前記ユーザがいる第１の空間、および、前記仮想音源が定位される第２の空間を仕切る壁、および、該壁に設けられたドアが用いられ、
   前記センサとして、前記ドアの開閉を検出するセンサが用いられる
   請求項６に記載の音質制御方法。
8. 前記センサとして、前記ドアの開閉の程度を検出するものが用いられ、
   前記センサが検出した前記ドアの開閉の程度に応じて、前記第１の音質および前記第２の音質をクロスフェードした音質の音声を生成する
   請求項７に記載の音質制御方法。
9. 前記第２の音質は、前記開かれたドアの位置における前記仮想音源の第２の空間内のインパルス応答、および、前記開かれたドアの位置から前記ユーザまでの頭部伝達関数でフィルタリングされた音質である請求項７または請求項８に記載の音質制御方法。
10. 前記第１の音質は、前記開かれたドアの位置における前記仮想音源の第２の空間内のインパルス応答と、前記遮蔽物の遮音特性のインパルス応答と、前記開かれたドアの位置から前記ユーザまでの頭部伝達関数と、でフィルタリングされた音質であり、
    前記第３の音質は、前記仮想音源の定位位置から前記ユーザまでの頭部伝達関数でフィルタリングされた音質である、
    請求項９に記載の音質制御方法。
11. ユーザが装用する音響デバイスおよび移動可能な遮蔽物の移動を検出するセンサと通信する携帯端末装置の制御部を、
    前記遮蔽物の反対側に定位された仮想音源から前記遮蔽物で遮蔽された場合の第１の音質の音声を生成して前記音響デバイスから放音し、
    前記遮蔽物が前記仮想音源を遮蔽する位置から移動したことを前記センサが検出したとき、前記音声の音質を、前記第１の音質から遮蔽物に遮蔽されない場合の第２の音質に変化させる
    として機能させる音質制御プログラムであって、
    該音質制御プログラムは、前記制御部に、前記ユーザが前記仮想音源の定位位置を直視できる位置にいる場合、前記第２の音質に代えて、前記仮想音源の定位位置を直視できる場合の第３の音質の音声を生成させる、
    音質制御プログラム。

Images