JP6637992B2 - 音響再生装置 - Google Patents

Description

本発明は、音像を定位させる音響再生装置に関する。

近年、個人を対象とする没入型のヘッドマウントディスプレイ装置や、空間と一体化した情報提示を目指す透過型のグラスディスプレイ装置が市場投入されている。これらは、両目に視差効果のある映像を別々に表示することで映像に立体感を出す。これにより、装着者があたかもそこに存在しているかのような仮想現実空間を知覚し、また任意形状の物体があたかもそこに存在しているかのような拡張現実空間を知覚する。

ところで、聴取者は、左右の耳に到来する音波の時間差、音圧差、響きなどを感知し、音像の方向及び距離を知覚する。そこで、ステレオスピーカが出力する左右の音響信号に、仮想音源位置から両耳までの頭部伝達関数（Ｈｅａｄ−Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を人工的に与え両耳で再現することができれば、任意の音像を聴取者に知覚させ得る。この原理を利用し、映像に比肩し得る音による仮想現実空間及び拡張現実空間の再現技術の開発が進展している。

例えば、聴取者の両耳をヘッドホンにより被覆し、両耳から音響信号を聴取させる音響再生方法がある。この音響再生方法において、ヘッドホンの発音部を耳介から隔離して配置することで、頭内定位を解消して頭外に音像を定位させる方法が提案されている（例えば、特許文献１参照）。更に、ヘッドホンと耳介との間で音響信号が複雑に反射してしまい、音像定位の品質を低下させてしまうため、放射インピーダンスの低減を目的に、耳道入口に音響信号を焦点収束させ、耳道入口に仮想音源を作出している（例えば、特許文献２参照）。

特許文献１及び２の手法は、音像位置に合わせた頭部伝達関数の付与を基本とし、音像定位の品質低下要因を除去している。原理的には、音像定位の品質が向上し、任意の全方向に音像が明確に知覚され得るはずである。しかしながら、頭外定位の実現及び放射インピーダンスの低減によっても、後方や側方への音像定位に比べて、前方定位の品質向上が満足に足るものとならない。前方と後方とでは幾何学的に相違は少ないはずであるが、音像は後方に定位し易く、前方への定位は容易ではない。

そこで、前方定位の表現力を向上させるべく、音像定位の品質向上というよりも、別の観点から音像定位を知覚させる方法が提案されている。例えば、スピーカを耳元前方に配置する方法が提示されている（例えば、非特許文献１参照）。音源を実際に前方に位置させることで、前方への音像定位を強調するものである。また、音像位置を前方から側方又は後方へ、或いは側方又は後方から前方へ変化させる方法が提案されている（例えば、特許文献３参照）。聴取者の頭部の向き変化に合わせて音像が前方から側方、または側方から前方を移る経過を知覚させることで、聴取者にその経過情報によって前方に音像が定位していることを知覚させることができる。

非特許文献１の手法は、スピーカを顔面よりも前方に位置させなくては頭内定位してしまう。特許文献３の手法に基づき前方定位感を作出すると、聴取者が頭部の向きを変化させない静的な状況では前方定位させることができないし、頭部の向き変化を検出するセンサが必要となってシステムが大型化してしまう。

特許第３６３７５９６号公報 特開２０１２−１７８７４８号公報 特許第５４９９６３３号公報 和田精二 「感性の時代のモノづくり・３Ｄ音響システムを事例として』 湘南工科大学紀要 第３７巻 第１号、２００３年

本発明は、上記のような従来技術の問題点を解決するために成されたものであり、その目的は、音像の前方定位を良好に表現できる音響再生装置を提供することにある。

上記の目的を達成するために、本発明の音響再生装置は、耳元から離間して頭部に配置されるステレオスピーカと、前記ステレオスピーカが放音する左右チャンネルの音響信号に、仮想音源を前方定位させる伝達特性を畳み込む第１のフィルタと、仮想音源の設置環境如何を問わず、前方定位させる仮想音源が直接音に影響を与える特定設置環境に存在すると見なして、前記ステレオスピーカが放音する全ての左右チャンネルの音響信号に、該特定設置環境の放音特性を畳み込む第２のフィルタと、を備えること、を特徴とする。

前記特定設置環境は、仮想音源が第１の物体に接触する環境、仮想音源の近傍に第２の物体が位置する環境、または其の両方を具備する環境であり、前記特定設置環境の放音特性は、前記第１の物体、前記第２の物体又は其の両方と前記仮想音源とを合わせて一つの音源と見なしたとき、その一つの音源が放音する音響信号とオリジナルの音響信号の相違であるようにしてもよい。

前記特定設置環境の放音特性は、音源を第１の物体に接触する環境、音源の近傍に第２の物体が位置する環境、または其の両方を具備する環境を有する無響室内で耳甲介腔に設置したマイクロフォンが採取した音響信号と、前記オリジナルの音響信号との相違であるようにしてもよい。

前記特定設置環境の放音特性は、前記第１の物体の振動により仮想音源の放音する音響信号を変化させる特性、又は前記第１の物体や前記第２の物体からの反射音が仮想音源の放音する音響信号の直接音成分に合成される特性の少なくとも一方を含む特性であるようにしてもよい。

前記第２のフィルタは、前記ステレオスピーカが放音する左右チャンネルの音響信号に含まれ、初期反射音前の信号成分であって、ピークを含む３〜５ｍｓｅｃの範囲の信号成分に、前記特定設置環境の放音特性を畳み込むようにしてもよい。

前記第２のフィルタは、前記仮想音源の設置環境と前記特定設置環境が相違している状況であっても、前記特定設置環境の放音特性を畳み込むようにしてもよい。

前記第２のフィルタは、前記仮想音源の定位位置が前方と相違している状況であっても、前記特定設置環境の放音特性を畳み込むようにしてもよい。

前記第２のフィルタは、前記仮想音源を前方から側方、又は側方から前方へ移動させる状況であっても、前記特定設置環境の放音特性を畳み込むようにしてもよい。

前記第２のフィルタは、前記仮想音源が前記特定設置環境にある場合、又は前記仮想音源を前方定位させる場合と比べて、前記仮想音源が前記状況にあるときには、前記特定設置環境の放音特性を弱めに畳み込むようにしてもよい。

前記ステレオスピーカは、耳道入口に音響信号を照射し、前記ステレオスピーカと耳甲介腔との間の伝達特性に対する逆特性を前記音響信号に畳み込む第３のフィルタを更に備えるようにしてもよい。

前記ステレオスピーカは、各々音孔を有し、前記音孔は、２平方センチメートル以下の開口面積を有するようにしてもよい。

前記ステレオスピーカは、前記耳甲介腔から５ミリメートル以上４５ミリメートル以下の距離に備えられるようにしてもよい。

前記第２のフィルタは、前記放音特性に加え、有響空間の初期反射特性と後部残響特性の信号の少なくとも一方を、前記音響信号に更に畳み込むようにしてもよい。

頭部又は耳に装着され、前記ステレオスピーカを耳元に支持するジグと、前記ジグに支持されるヘッドマウントディスプレイと、を備えるようにしてもよい。

本発明によれば、音像の前方定位を聴取者が明確に感受できる程度にまで豊かに表現することができる。

本発明の実施形態に係る音響再生装置の全体構成を示す模式図である。 本発明の実施形態に係るステレオスピーカの配置及び構成を示す模式図である。 本発明の実施形態に係る音響再生装置が備える音響処理装置の第１の構成例を示すブロック図である。 本発明の実施形態に係る音響再生装置が備える音響処理装置の第２の構成例を示すブロック図である。 本発明の実施形態に係る音響処理装置が備える音像定位制御部の構成を示すブロック図である。 仮想音源から聴取者の耳甲介腔に届くまでの空間伝達関数を示す模式図である。 仮想音源の特定設置環境を示す模式図である。 本発明の実施形態に係る音響処理装置が備える特定設置環境エフェクタの演算内容を示すブロック図である。 本発明の実施形態に係る音響処理装置が備える特定設置環境エフェクタの動作例を示すフローチャートである。 本発明の実施形態に係る音響処理装置が備える特定設置環境エフェクタの他の動作例を示すフローチャートである。 仮想音源が特定設置環境にあると見なして、特定設置環境に応じた放音特性を畳み込んだ音響信号を示すスペクトルである。 特定設置環境に応じた放音特性が畳み込まれた音響信号の各種環境での変化を示すグラフである。

（構成）
以下、本実施形態に係る音響再生装置について図面を参照して詳細に説明する。図１に示す音響再生装置１は、仮想音源の方向及び距離を定位させる音像定位処理を音響信号に施した後、該音響信号をステレオスピーカ３から放音させることで、聴取者に仮想音源の方向及び距離を知覚させる。この音響再生装置１は、音像定位処理を施す音響処理装置２と、音響信号を放音するステレオスピーカ３と、ステレオスピーカ３を聴取者の頭部に支持するヘッドマウンタ４とを備える。

ヘッドマウンタ４は、ステレオスピーカ３を聴取者の頭部に固定する装着用のジグである。ヘッドマウンタ４は、例えばメガネやゴーグルの耳に掛けるツル、後頭部から側頭部に亘って頭部周囲を締めるバンド、頭頂部から側頭部に亘って頭部周囲に掛けられるバンドである。ヘッドマウンタ４は、ヘッドマウントディスプレイのツルやバンドであってもよい。

ステレオスピーカ３は、振動板を有し、電気信号を音波信号に変換する装置である。このステレオスピーカ３は、聴取者の左耳近傍に位置する左側スピーカ３Ｌと、聴取者の右耳近傍に位置する右側スピーカ３Ｒに分かれている。図２に示すように、このステレオスピーカ３は、音響信号を放音する開口として音孔３１を備える。ヘッドマウンタ４は、この音孔３１が耳甲介腔から５ｍｍ〜４５ｍｍ程度の距離に位置するように、ステレオスピーカ３を固定している。

音孔３１は、２平方センチメートル以下の開口面積を有する。２平方センチメートル以下とは、聴取者の耳甲介腔の開口面積以下に該当する。この音孔３１は、例えば一個のスリットにより成るが、複数の開口により構成されていてもよい。音孔３１を複数の開口により構成する場合、複数の開口を包含する包絡線内部の面積が２平方センチメートル以下となるように集合させる。

音響処理装置２は、プロセッサ、ＲＯＭ及びＲＡＭを有するコンピュータ又はマイコン、或いはフィルタ回路である。この音響処理装置２は、ヘッドマウンタ４に固定され、ステレオスピーカ３に内蔵され、又はヘッドマウンタ４やステレオスピーカ３と別体で構成されてステレオスピーカ３と無線接続される。この音響処理装置２は、図３に示すように、メモリ２１と再生部２２と音像定位制御部２３とＤＡＣ２４とアンプ２５とを備える。ステレオスピーカ３と音響処理装置２とを無線接続する場合、図４に示すように、音響処理装置２にＲＦ送信部２６を設け、ステレオスピーカ３にＲＦ受信部２７を設け、ＤＡＣ２４とアンプ２５をステレオスピーカ３側に搭載する。

メモリ２１は、音源データＳｏを記憶する。図４に示すように、メモリ２１の代わりにマイクロフォン２１ａを設け、リアルタイムで音源データを収集してもよい。再生部２２は、音源データＳｏをデコードして左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲを復元する。音源データが５．１チャンネル等のサラウンドデータの場合、再生部２２は、左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲにダウンミックスする。音像定位制御部２３は、左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲを加工し、音像の定位位置を設定する。この音像定位処理は、音像を定位させる処理、放音特性重畳処理、及び伝達特性キャンセル処理を含む。

ＤＡＣ２４は、音像定位処理を受けた左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲをアナログ信号に変換するデジタルアナログコンバータである。アンプ２５は、アナログ信号となった左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲを増幅して、ステレオスピーカ３に出力する。左側スピーカ３Ｌは、左チャンネル音響信号ＳＬを音波信号に変換して放音し、右側スピーカ３Ｒは、右チャンネル音響信号ＳＲを音波信号に変換して放音する。ＲＦ送信部２６は、左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲを変調し、電波送信する。ＲＦ受信部２７は、電波信号を受信し、左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲを復調する。

音響処理装置２に関し、音像定位制御部２３の構成を図５に示す。音像定位制御部２３は、音像定位フィルタ２３１と特定設置環境エフェクタ２３２と伝達特性キャンセルフィルタ２３３とクロストークキャンセラ２３４とを備える。音像定位フィルタ２３１と特定設置環境エフェクタ２３２と伝達特性キャンセルフィルタ２３３とクロストークキャンセラ２３４は、例えばＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタやＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタである。

音像定位フィルタ２３１は、仮想音源の方向及び距離を全方向の何れかに定位させる。定位方向には聴取者の前方を含む。この音像定位フィルタ２３１は、伝達関数ＨＬと伝達関数ＨＲを有し、左チャンネル音響信号ＳＬに伝達関数ＨＬを畳み込み、右チャンネル音響信号ＳＲに伝達関数ＨＲを畳み込む。

図６に示すように、伝達関数ＨＬは、仮想音源Ｐから音響信号が放音されてから聴取者の左耳の耳甲介腔に届くまでの頭部伝達関数である。伝達関数ＨＬは、仮想音源Ｐから放音された音響信号と、放音後に空間を伝播して左耳の耳甲介腔に到達した音響信号との相違を数学的関係で表している。伝達関数ＨＲは、仮想音源Ｐから音響信号が放音されてから聴取者の右耳の耳甲介腔までの頭部伝達関数である。伝達関数ＨＲは、仮想音源Ｐから放音された音響信号と、放音後に空間を伝播して右耳の耳甲介腔に到達した音響信号の相違を数学的関係で表している。伝達関数ＨＬと伝達関数ＨＲは、例えば、音源から耳甲介腔に設置したマイクロフォンまでのインパルス応答を測定することで特定できる。

音像定位フィルタ２３１は、この伝達関数ＨＬにより、仮想音源Ｐから聴取者の左耳の耳甲介腔までの音響伝達特性により変化した左チャンネル音響信号ＳＬを生成し、伝達関数ＨＲにより、仮想音源Ｐから聴取者の右耳の耳甲介腔までの音響伝達特性により変化した右チャンネル音響信号ＳＲを生成する。すなわち、音像定位フィルタ２３１は、仮想音源Ｐから各耳甲介腔までの距離差に応じた音圧差、時間差、周波数変化等を左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲに与える。

特定設置環境エフェクタ２３２は、図７に示すように、仮想音源Ｐの特定設置環境Ｅｎに応じた放音特性を示す伝達関数Ｃを左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲに畳み込む。特定設置環境Ｅｎは、振動し易い物体Ｏｂ１と仮想音源Ｐが接触する環境、または仮想音源Ｐの近傍に物体Ｏｂ２が位置する環境、または其の両方を具備する環境である。仮想音源Ｐの近傍に存在する物体Ｏｂ２とは、初期反射音Ｓ３前に直接音と混和する反射音を作出する物体であり、換言すると、聴取者に到達する直接音と３〜５ｍｓｅｃの範囲で同着する反射音を作出する物体である。

すなわち、特定設置環境Ｅｎに応じた放音特性とは、仮想音源Ｐと接触した物体Ｏｂ１の振動により仮想音源Ｐの放音する音響信号を変化させる特性、又は仮想音源Ｐの近傍に存在する物体Ｏｂ２や仮想音源Ｐと接触した物体Ｏｂ１からの反射音が仮想音源Ｐの放音する音響信号の直接音成分に合成される特性の少なくとも一方を含む特性である。換言すると、特定設置環境Ｅｎに応じた放音特性とは、仮想音源Ｐ、仮想音源Ｐと接触する物体Ｏｂ１、仮想音源Ｐの近傍の物体Ｏｂ２を一体の音源Ｐｕと見なしたとき、メモリ２１に記憶されている音響信号と、一体の音源Ｐｕが放音する音響信号との間の相違である。

例えば、図７に示すように、特定設置環境Ｅｎは、仮想音源Ｐをスピーカとし、スピーカが物体Ｏｂ１である木製の台に設置され、そのスピーカの近傍に物体Ｏｂ２であるテレビモニタが存在する環境である。仮想音源Ｐを出射する音響信号Ｓ１は、メモリ２１に記憶されている音源データのオリジナルの音質Ｓｏと比べ、木製の台の振動による音波の変質によって放音時点で既に変化している。また木製の台やテレビモニタに反射した反射音Ｓ２、Ｓ３が初期反射音Ｓ３前の直接音成分に混和している。スピーカ、木製の台及びテレビモニタを一体の音源Ｐｕと見なすと、この一体の音源Ｐｕから音響信号Ｓ１が放音された時点で、耳甲介腔まで空間を伝達するまでもなく、床や壁や天井に反射するまでもなく、音響信号Ｓ１は既にオリジナルの音響データＳｏとは異なる変化を受けている。この一体の音源Ｓ１がオリジナルの音響信号Ｓｏに与える変化の特性が、特定設置環境Ｅｎにおける放音特性である。

特定設置環境エフェクタ２３２は、仮想音源Ｐが特定設置環境Ｅｎにあると見なし、更に特定設置環境Ｅｎ中の仮想音源Ｐと其の周囲の物体Ｏｂ１、Ｏｂ２を合わせて一体の音源Ｐｕと見なし、その一体の音源Ｐｕの放音特性を、左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲに畳み込む。この特定設置環境エフェクタ２３２は、特定設置環境Ｅｎに応じた放音特性を数学的に再現した伝達関数Ｃを有する。伝達関数Ｃは、特定設置環境Ｅｎを模擬した無響空間において、ダミー人形の耳甲介腔に設置したマイクロフォンでインパルス応答を測定することで、伝達関数ＨＬの積及び伝達関数ＨＲの積として得られる。特定設置環境エフェクタ２３２と音像定位フィルタ２３１とを分離して備える場合、それぞれの積から伝達関数ＨＬ及び伝達関数ＨＲを各々除去することで、伝達関数Ｃのみが抽出できる。

この特定設置環境エフェクタ２３２は、仮想音源Ｐの設置環境を特定設置環境Ｅｎに固定する。すなわち、特定設置環境エフェクタ２３２は、仮想音源Ｐの設置環境が特定設置環境Ｅｎと不一致であっても、一律に当該特定設置環境Ｅｎの放音特性を畳み込む。例えば仮想音源Ｐが浮遊していたり、仮想音源Ｐが手で持たれたりして、振動し易い物体Ｏｂ１と接触しておらず、または仮想音源Ｐの近傍に物体Ｏｂ２がなくとも、仮想音源Ｐが特定設置環境Ｅｎにあると見なして、伝達関数Ｃを畳み込む。

但し、特定設置環境エフェクタ２３２は、仮想音源Ｐを前方定位させるときに限って、右チャンネル音響信号ＳＲと左チャンネル音響信号ＳＬに伝達関数Ｃを畳み込むようにし、前方以外に定位させる場合には、右チャンネル音響信号ＳＲと左チャンネル音響信号ＳＬをスルーさせるようにしてもよい。すなわち、特定設置環境エフェクタ２３２は、図８に示すように、前後で音響信号が変わらない伝達関数Ｆを更に有し、前方以外に定位させる場合には、この伝達関数Ｆを畳み込む。前方以外へは、前方定位と比べて定位し易いからである。

また、仮想音源Ｐを前方以外に定位させる場合には、前方定位させる場合と比べて弱めに伝達関数Ｃを畳み込むようにしてもよい。前方以外であっても、特定設置環境Ｅｎに応じた放音特性を畳み込むことで、定位感は向上するからである。この特定設置環境エフェクタ２３２は、図８に示すように、所定の比率を示す係数値Ｋ（１＞Ｋ）を記憶している。特定設置環境Ｅｎの放音特性を示す伝達関数Ｃに係数値Ｋを乗じ、前後で音響信号が変わらない伝達関数Ｆに（１−Ｋ）を乗じ、両乗算結果を加算することで、伝達関数Ｃを更新する。

更に、前方定位させる場合であっても、仮想音源Ｐの設置環境が特定設置環境Ｅｎと異なる場合、又は仮想音源Ｐを移動させる等の前方定位感を増加させる他の音響処理が可能な場合、伝達関数Ｃを弱めに畳み込むようにしてもよい。前方定位感と仮想現実空間や拡張現実空間の再現性とのバランスを図るためである。図８に示すように、特定設置環境Ｅｎの放音特性を示す伝達関数Ｃに係数値Ｋを乗じ、前後で音響信号が変わらない伝達関数Ｆに（１−Ｋ）を乗じ、両乗算結果を加算することで、伝達関数Ｃを更新すればよい。

尚、特定設置環境エフェクタ２３２は、初期反射特性及び後部残響特性を更に畳み込むようにしてもよい。直接音と初期反射音との数学的関係を特定し、初期反射特性を生成して其の伝達関数を伝達関数Ｃに含め、統計モデルにより得られる後部残響特性の伝達関数も伝達関数Ｃに含めればよい。

図９は、この特定設置環境エフェクタ２３２の動作例を示すフローチャートである。音像定位フィルタ２３１が左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲに前方以外に定位させる音響処理を施した場合（ステップＳ０１，Ｎｏ）、特定設置環境エフェクタ２３２は、特定設置環境Ｅｎの放音特性を与えない（ステップＳ０２）。すなわち、特定設置環境エフェクタ２３２は、係数Ｋをゼロの値として、伝達関数Ｃに係数Ｋを乗算し、前後で音響信号を変化させない伝達関数Ｆに１を乗算し、両者を足し合わせることで、新たな伝達関数を生成し、その伝達関数を左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲに畳み込む。

音像定位フィルタ２３１が左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲに前方定位の音響処理を施した場合（ステップＳ０１，Ｙｅｓ）、仮想現実空間又は拡張現実空間における仮想音源Ｐの設置環境が特定設置環境Ｅｎと一致していれば（ステップＳ０３，Ｙｅｓ）、特定設置環境エフェクタ２３２は、特定設置環境Ｅｎに応じた放音特性を強めに左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲに反映させる（ステップＳ０４）。すなわち、係数Ｋを１にする。

一方、仮想現実空間又は拡張現実空間における仮想音源Ｐの設置環境が特定設置環境Ｅｎと不一致であれば（ステップＳ０３，Ｎｏ）、特定設置環境エフェクタ２３２は、特定設置環境Ｅｎに応じた放音特性を弱めに左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲに反映させる（ステップＳ０５）。すなわち、係数Ｋを０超１未満の値とする。

また、図１０は、この特定設置環境エフェクタ２３２の他の動作例を示すフローチャートである。音像定位フィルタ２３１が左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲに前方以外に定位させる音響処理を施した場合（ステップＳ１１，Ｎｏ）、特定設置環境Ｅｎに応じた放音特性を弱めに左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲに反映させる（ステップＳ１２）。

音像定位フィルタ２３１が左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲに前方定位の音響処理を施した場合であって（ステップＳ１１，Ｙｅｓ）、仮想音源Ｐを移動させる等のような前方定位感を増加させる他の音響処理が可能である場合（ステップＳ１３，Ｙｅｓ）、特定設置環境エフェクタ２３２は、特定設置環境Ｅｎに応じた放音特性を弱めに左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲに反映させる（ステップＳ１４）。一方、仮想音源Ｐを移動させる等のような前方定位感を増加させる他の音響処理ができない場合（ステップＳ１３，Ｙｅｓ）、特定設置環境エフェクタ２３２は、特定設置環境Ｅｎに応じた放音特性を強めに左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲに反映させる（ステップＳ１５）。

図５に戻り、伝達特性キャンセルフィルタ２３３は、ステレオスピーカ３から耳甲介腔までの音響伝達特性を打ち消す。この伝達特性キャンセルフィルタ２３３は、伝達関数ＤＬ、ＤＲを有する。伝達関数ＤＬ、ＤＲは、ステレオスピーカ３から耳甲介腔までの音響伝達関数の逆特性を再現する。この伝達関数ＤＬ、ＤＲは、ステレオスピーカ３から発生させたインパルスの耳甲介腔でのインパルス応答を測定し、このインパルス応答をインパルスに戻す逆伝達関数である。伝達特性キャンセルフィルタ２３３は、左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲに伝達関数ＤＬ、ＤＲを各々畳み込む。

クロストークキャンセラ２３４は、ステレオスピーカ３から逆の耳に到達したクロストーク成分を打ち消す。このクロストークキャンセラ２３４は伝達関数ＥＬ、ＥＲを有する。伝達関数ＥＬは、左側スピーカ３Ｌから右耳までの音響伝達特性の逆特性である。また、伝達関数ＥＲは、右側スピーカ３Ｒから左耳までの音響伝達特性を示す伝達関数の逆特性である。クロストークキャンセラ２３４は、伝達関数ＥＬを左チャンネル音響信号ＳＬに畳み込むことで、左側スピーカ３Ｌから右耳までの音響伝達特性を有する左チャンネル音響信号ＳＬの逆位相を生成し、右チャンネル音響信号ＳＲに加算する。また、クロストークキャンセラ２３４は、伝達関数ＥＲを右チャンネル音響信号ＳＲに畳み込むことで、右側スピーカ３Ｒから左耳までの音響伝達特性を有する右チャンネル音響信号ＳＲの逆位相を生成し、左チャンネル音響信号ＳＬに加算する。

（作用）
この音響再生装置１によると、特定設置環境エフェクタ２３２は、特定設置環境Ｅｎに合わせた放音特性で左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲを変化させ、放音している。図１１は、特定設置環境エフェクタ２３２の作用を示すグラフである。図１１の（ａ）は、オリジナルの音響信号Ｓｏの直接音成分を示す。図１１の（ｂ）は、特定設置環境Ｅｎに合わせた放音特性を畳み込んだ音響信号の直接音成分を示すグラフである。図１１の（ｃ）は、特定設置環境Ｅｎに合わせた放音特性を模擬した伝達関数Ｃを示す。また、図１１の（ａ）乃至（ｃ）において左図は時間空間のグラフ、右図は周波数空間のグラフである。

特定設置環境エフェクタ２３２は、図１１の（ａ）に示すオリジナルの音響信号Ｓｏの直接音成分に対して、図１１の（ｃ）に示す伝達関数Ｃを畳み込むことで、図１１の（ｂ）に示すように、仮想音源Ｐに接触した物体Ｏｂ１の振動を加味した音響信号のスペクトルに変化させ、また仮想音源Ｐに接触した物体Ｏｂ１や仮想音源Ｐの近傍に位置する物体ＯＰ２からの反射音のスペクトルを追加する。すなわち、特定設置環境エフェクタ２３２は、この両スペクトルの合成により成る左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲに耳甲介腔までの空間を伝達した差異の伝達関数ＨＬと伝達関数ＨＲを畳み込んで音源定位させている。

例えば、図１１の（ａ）のオリジナルの音響信号Ｓｏは、空中に宙吊りとなっている音源から放音される音響信号をシミュレートしている。特定設置環境エフェクタ２３２は、図１１の（ｂ）に示すように、このオリジナルの音響信号Ｓｏに対し、音源が机に設置され、音源近くにテレビモニタが存在する場合に、音源、机及びテレビモニタを一体の音源Ｐｕとして放音される音響信号に変換する。

発明者らは、仮想音源Ｐが特定設置環境Ｅｎにあろうがなかろうが、仮想音源Ｐが特定設置環境Ｅｎに存在するものと聴取者に知覚させると、仮想音源Ｐの前方定位感が豊かに表現されることを見出した。驚くべきは、例えば、映像により仮想現実空間又は拡張現実空間を知覚させ、これら空間内で浮遊する音源を前方に表示した場合であっても、浮遊する音源が発生する放音特性をシミュレートするよりも、その音源が木製の台に置かれ、近傍にテレビモニタが存在するものとして、その放音特性をシミュレートしたほうが、前方定位を豊かに表現できることである。

更に、この音響再生装置１では、開口面積が２平方センチメートル以下の音孔３１により、左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲの平面波が聴取者の耳道入口に当たらないように、左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲの平面波を耳甲介腔の開口以下の２平方センチメートルに絞っている。更に、音像定位制御部２３の伝達特性キャンセルフィルタ２３３により、ステレオスピーカ３から耳甲介腔までの音響伝達特性を打ち消している。

そのため、左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲが、聴取者固有の耳構造によって特異的に変化してしまうことが抑制され、聴取者に依らずにステレオスピーカ３から耳甲介腔までの音響伝達特性を打ち消すことができる。従って、聴取者に依らずに、特定設置意環境Ｅｎに応じた放音特性を与えた左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲを精度良く聴取させることができ、仮想音源の前方定位感を聴取者の個性に依らずに知覚させることができる。

図１２は、このステレオスピーカ３の構造及び特性キャンセルフィルタ２３３による耳甲介腔付近でのインパルス応答を示すグラフである。ＳｕｂｊｅｃｔＡとＳｕｂｊｅｃｔＢは、それぞれ固有の耳構造を有する被験者の耳甲介腔付近でのインパルス応答である。図１２の（ａ）〜（ｄ）において、左図は時間空間におけるインパルス応答、右図は周波数空間におけるインパルス応答である。

図１２（ａ）は、ステレオスピーカ３の音孔３１を耳甲介腔超とし、特性キャンセルフィルタ２３３を通さない結果である。図１２（ａ）に示されるように、ＳｕｂｊｅｃｔＡとＳｕｂｊｅｃｔＢは、共にインパルスとは非類似のインパルス応答となっている。そして、ＳｕｂｊｅｃｔＡとＳｕｂｊｅｃｔＢは非類似である。一方、図１２（ｂ）は、ステレオスピーカ３の音孔３１を耳甲介腔超とし、特性キャンセルフィルタ２３３を通した結果である。図１２（ｂ）に示されるように、ＳｕｂｊｅｃｔＡは、インパルスとは非類似のインパルス応答であるが、ＳｕｂｊｅｃｔＢは、インパルスとは似通ったインパルス応答が得られている。

図１２（ａ）及び（ｂ）に示すように、特定設置意環境Ｅｎに応じた放音特性を与えた左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲに対する伝達特性の影響は、特性キャンセルフィルタ２３３によって抑制できることがわかる。しかしながら、聴取者の個性によらず、特定設定環境Ｅｎに応じた放音特性を有する左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲを精度良く届けることはできない。

一方、図１２（ｃ）は、ステレオスピーカ３の音孔３１を耳甲介腔以下とし、特性キャンセルフィルタ２３３を通さない結果である。図１２（ｃ）に示されるように、ＳｕｂｊｅｃｔＡとＳｕｂｊｅｃｔＢは、インパルスとは非類似のインパルス応答であるが、両方が似通っていることがわかる。すなわち、ステレオスピーカ３の音孔３１を耳甲介腔以下とすれば、個人差に依らずに同じような左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲが聴取者に届くことがわかる。

そして、図１２（ｄ）は、ステレオスピーカ３の音孔３１を耳甲介腔以下とし、特性キャンセルフィルタ２３３を通した結果である。図１２（ｄ）に示されるように、ＳｕｂｊｅｃｔＡとＳｕｂｊｅｃｔＢは、共にインパルスと似通ったインパルス応答であり、両方も似通っていることがわかる。

すなわち、ステレオスピーカ３の音孔３１を耳甲介腔以下とすることで、聴取者の個性的な耳構造に依らずに回折及び反射等の伝達特性を均質化でき、聴取者の個性に依らずに特性キャンセルフィルタ２３３を効果的に働かせ、聴取者の個性によらず、特定設定環境Ｅｎに応じた放音特性を有する左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲを精度良く届けることができる。

但し、２平方センチメートル以下の開口面積を有する音孔３１によると、ステレオスピーカ３を耳甲介腔から５ミリメートル以上離せば、放射インピーダンスがヘッドホン未装着と同様となる。一方、ステレオスピーカ３を耳甲介腔から４５ミリメートル以上離すと十分な音量が得られない虞がある。従って、ステレオスピーカ３は、耳甲介腔から５ミリメートル以上４５ミリメートル以内とすることが望ましい。

（効果）
以上のように、この音響再生装置１は、仮想音源Ｐの設置環境如何を問わず、前方定位させる仮想音源Ｐが直接音に影響を与える特定設置環境Ｅｎに存在すると見なして、ステレオスピーカ３が放音する全ての左右チャンネルの音響信号に、該特定設置環境Ｅｎの放音特性を畳み込む特定設置環境エフェクタ２３２を備えるようにした。そして、この特定設置環境エフェクタ２３２とともに、ステレオスピーカ３が放音する左右チャンネルの音響信号に、仮想音源Ｐを前方定位させる伝達特性を畳み込む音像定位フィルタ２３１と、耳元から離間して頭部に配置されるステレオスピーカ３とを備えるようにした。これにより、仮想設置環境Ｅｎの放音特性が左チャンネル音響信号ＳＬ及び右チャンネル音響信号ＳＲに畳み込まれ、聴取者は仮想音源Ｐの前方定位を明確に感受できる。

特定設置環境Ｅｎとしては、仮想音源Ｐが第１の物体Ｏｂ１に接触する環境、仮想音源Ｐの近傍に第２の物体Ｏｂ２が位置する環境、または其の両方を具備する環境であることが望ましい。すなわち、特定設置環境Ｅｎの放音特性は、第１の物体Ｏｂ１、第２の物体Ｏｂ２又は其の両方と仮想音源Ｐとを合わせて一つの音源Ｐｕと見なしたとき、その一つの音源Ｐｕが放音する音響信号とオリジナルの音響信号の相違である。この特定設置環境Ｅｎに仮想音源Ｐが存在するとみなすことで、聴取者は仮想音源Ｐの前方定位をより明確に感受できる。また、前方以外に定位させる場合であっても、定位感は向上する。

この特定設置環境Ｅｎを無響室に再現し、耳甲介腔に設置したマイクロフォンが採取した音響信号と、オリジナルの音響信号との相違を特定することで、特定設置環境Ｅｎの放音特性は容易に再現可能である。

尚、前方定位感は、左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲのうち、初期反射音ＳＰ３前の信号成分であって、ピークを含む３〜５ｍｓｅｃの範囲の信号成分に、特定設置環境Ｅｎの放音特性を畳み込むこむことで、聴取者に十分に感受される。その他、伝達関数Ｃを畳み込んだ左チャンネル音響信号ＳＬと右チャンネル音響信号ＳＲから初期反射音及び後部残響音を生成し、その初期反射音及び後部残響音を加えるようにしてもよい。

また、この音響再生装置１では、仮想音源Ｐの設置環境と特定設置環境Ｅｎが相違している状況であっても、仮想音源Ｐの定位位置が前方と相違している状況であっても、前記仮想音源を前方から側方、又は側方から前方へ移動させる状況であっても、特定設置環境Ｅｎの放音特性を畳み込む。但し、仮想音源Ｐが特定設置環境Ｅｎにあり、仮想音源Ｐが特定設置環境Ｅｎと一致している場合と比べて、特定設置環境Ｅｎの放音特性を弱めに畳み込むようにした。これにより、仮想音源Ｐの設置環境と特定設置環境Ｅｎの違いによる違和感を抑制しつつ、定位感、特に前方定位感を向上させることができる。

また、ステレオスピーカ３は、耳道入口に左チャンネル音響信号ＳＬ及び右チャンネル音響信号ＳＲを照射するようにした。更に、ステレオスピーカ３と耳甲介腔との間の伝達特性に対する逆特性を左チャンネル音響信号ＳＬ及び右チャンネル音響信号ＳＲに畳み込む第３のフィルタとして、伝達特性キャンセルフィルタ２３３を更に備えるようにした。これにより、ステレオスピーカ３と耳甲介腔との間の音響伝達特性により放音特性を変質させずに聴取者に知覚させることができ、仮想音源Ｐの前方定位感がより一層豊かに表現される。

また、ステレオスピーカ３は音孔３１を有し、音孔３１は２平方センチメートル以下の開口面積を有するようにした。これにより、伝達特性キャンセルフィルタ２３３が有する伝達関数ＤＬ、ＤＲは、聴取者の耳構造の個性を無視して作成でき、聴取者の個性に依らず、ステレオスピーカ３から耳甲介腔までの音響伝達特性を非常に高い精度で打ち消すことができ、聴取者の個性に依らず、特定設置環境Ｅｎに応じた放音特性を感受させ、聴取者の個性に依らず、仮想音源Ｐの前方定位感を豊かに感受させることができる。

また、ステレオスピーカ３は、耳甲介腔から５ミリメートル以上４５ミリメートル以下の距離に備えられるようにした。これにより、放射インピーダンスがヘッドホン未装着の状態に近づき、また十分な音量を得ることもできる。

このような音響再生装置１は、仮想現実空間及び拡張現実空間を映像により表現するヘッドマウントディスプレイと併用することが好適であり、頭部又は耳に装着されるヘッドマウンタ４を装着用のジグとして、ヘッドマウントディスプレイとともにステレオスピーカ３を耳元に支持するようにしてもよい。映像による仮想現実空間及び拡張現実空間の表現とともに、前方定位を豊かに表現する音による仮想現実空間及び拡張現実空間の表現により、装着者に対して非常に高品質の仮想現実空間及び拡張現実空間を提供することができる。

尚、本実施形態において、各種フィルタ及びエフェクタは、説明の都合上、分離させたが、これに限られない。伝達関数ＨＬと伝達関数Ｃを乗算することで、左チャンネル音響信号ＳＬに対する一つのフィルタを作出し、伝達関数ＨＲと伝達関数Ｃを乗算することで、右チャンネル音響信号ＳＲに対する一つのフィルタを作出し、音像定位フィルタ２３１と特定設置環境エフェクタ２３２を統合してもよい。更に、伝達特性キャンセルフィルタ２３３やクロストークキャンセラ２３４を統合してもよい。

１ 音響再生装置
２ 音響処理装置
２１ メモリ
２１ａ マイクロフォン
２２ 再生部
２３ 音像定位制御部
２３１ 音像定位フィルタ
ＨＬ 伝達関数
ＨＲ 伝達関数
２３２ 放音特性フィルタ
Ｃ 伝達関数
２３３ 伝達特性キャンセルフィルタ
ＤＬ 伝達関数
ＤＲ 伝達関数
２３４ クロストークキャンセラ
ＥＬ 伝達関数
ＥＲ 伝達関数
２４ ＤＡＣ
２５ アンプ
２６ ＲＦ送信部
２７ ＲＦ受信部
３ ステレオスピーカ
３Ｌ 左側スピーカ
３Ｒ 右側スピーカ
３１ 音孔
４ ヘッドマウンタ
Ｓｏ 音源データ
ＳＬ 左チャンネル音響信号
ＳＲ 右チャンネル音響信号
Ｐ 仮想音源
Ｐｕ 一体の音源

Claims (13)

1. 耳元から離間して頭部に配置されるステレオスピーカと、
   前記ステレオスピーカが放音する左右チャンネルの音響信号に、仮想音源を前方定位させる伝達特性を畳み込む第１のフィルタと、
   仮想音源の設置環境如何を問わず、前方定位させる仮想音源が直接音に影響を与える特定設置環境に存在すると見なして、前記ステレオスピーカが放音する全ての左右チャンネルの音響信号に、該特定設置環境の放音特性を畳み込む第２のフィルタと、
   を備え、
   前記特定設置環境は、仮想音源が第１の物体に接触する環境、仮想音源の近傍に第２の物体が位置する環境、又は其の両方を具備する環境であり、
   前記特定設置環境の放音特性は、前記第１の物体、前記第２の物体又は其の両方と前記仮想音源とを合わせて一つの音源と見なしたとき、その一つの音源が放音する音響信号とオリジナルの音響信号の相違であること、
   を特徴とする音響再生装置。
2. 耳元から離間して頭部に配置されるステレオスピーカと、
   前記ステレオスピーカが放音する左右チャンネルの音響信号に、仮想音源を前方定位させる伝達特性を畳み込む第１のフィルタと、
   仮想音源の設置環境如何を問わず、前方定位させる仮想音源が直接音に影響を与える特定設置環境に存在すると見なして、前記ステレオスピーカが放音する全ての左右チャンネルの音響信号に、該特定設置環境の放音特性を畳み込む第２のフィルタと、
   を備え、
   前記特定設置環境の放音特性は、音源を第１の物体に接触する環境、音源の近傍に第２の物体が位置する環境、又は其の両方を具備する環境を有する無響室内で耳甲介腔に設置したマイクロフォンが採取した音響信号と、オリジナルの音響信号との相違であること、
   を特徴とする音響再生装置。
3. 前記特定設置環境の放音特性は、前記第１の物体の振動により仮想音源の放音する音響信号を変化させる特性、又は前記第１の物体や前記第２の物体からの反射音が仮想音源の放音する音響信号の直接音成分に合成される特性の少なくとも一方を含む特性であること、
   を特徴とする請求項１又は２記載の音響再生装置。
4. 前記第２のフィルタは、
   前記ステレオスピーカが放音する左右チャンネルの音響信号に含まれ、初期反射音前の信号成分であって、ピークを含む３〜５ｍｓｅｃの範囲の信号成分に、前記特定設置環境の放音特性を畳み込むこと、
   を特徴とする請求項１乃至３の何れかに記載の音響再生装置。
5. 前記第２のフィルタは、
   前記仮想音源の設置環境と前記特定設置環境が相違している状況であっても、前記特定設置環境の放音特性を畳み込むこと、
   を特徴とする請求項１乃至４の何れかに記載の音響再生装置。
6. 前記第２のフィルタは、
   前記仮想音源の定位位置が前方と相違している状況であっても、前記特定設置環境の放音特性を畳み込むこと、
   を特徴とする請求項１乃至４の何れかに記載の音響再生装置。
7. 前記第２のフィルタは、
   前記仮想音源を前方から側方、又は側方から前方へ移動させる状況であっても、前記特定設置環境の放音特性を畳み込むこと、
   を特徴とする請求項１乃至４の何れかに記載の音響再生装置。
8. 前記第２のフィルタは、
   前記仮想音源が前記特定設置環境にある場合、又は前記仮想音源を前方定位させる場合と比べて、前記仮想音源が前記状況にあるときには、前記特定設置環境の放音特性を弱めに畳み込むこと、
   を特徴とする請求項５乃至７の何れかに記載の音響再生装置。
9. 前記ステレオスピーカは、耳道入口に音響信号を照射し、
   前記ステレオスピーカと耳甲介腔との間の伝達特性に対する逆特性を前記音響信号に畳み込む第３のフィルタを更に備えること、
   を特徴とする請求項１乃至８の何れかに記載の音響再生装置。
10. 前記ステレオスピーカは、各々音孔を有し、
    前記音孔は、２平方センチメートル以下の開口面積を有すること、
    を特徴とする請求項９記載の音響再生装置。
11. 前記ステレオスピーカは、前記耳甲介腔から５ミリメートル以上４５ミリメートル以下の距離に備えられること、
    を特徴とする請求項１０記載の音響再生装置。
12. 前記第２のフィルタは、
    前記放音特性に加え、有響空間の初期反射特性と後部残響特性の信号の少なくとも一方を、前記音響信号に更に畳み込むこと、
    を特徴とする請求項１乃至４の何れかに記載の音響再生装置。
13. 頭部又は耳に装着され、前記ステレオスピーカを耳元に支持するジグと、
    前記ジグに支持されるヘッドマウントディスプレイと、
    を備えること、
    を特徴とする請求項１乃至１２の何れかに記載の音響再生装置。

Images