JP6303519B2 - 音響再生装置および音場補正プログラム - Google Patents

Description

本開示の技術はたとえば、ステレオ収録音のヘッドフォン再生などに用いられる音響再生技術に関する。

ステレオ収録音の音響再生にはスピーカやヘッドフォンが用いられる。ヘッドフォンによる音響再生において、聴取者の左右耳間に音像を定位させた場合、聴感上、音像が頭部内で認識され、臨場感が喪失する。この臨場感は音像定位感であり、聴取者が感じる音との広がり感である。この臨場感の喪失を改善するため、ステレオ信号に３Ｄ（Positional）音響処理を行い、聴取者の頭部前方に仮想的に音像を定位させることが行われている。しかし、音像が頭部前方に定位しても、聴取者の向きに追従して音像が移動してしまうと、ヘッドフォンによる音響再生が実スピーカによる音響再生と相違することとなり、臨場感が喪失する。

斯かる臨場感の喪失に関し、聴取者の向きに応じて仮想音源を絶対座標系の指定位置に制御すれば、実空間の音響再生に近い臨場感が得られることが知られている（特許文献１）。

特開平８−１０７６００号公報

ところが、人の聴覚は、頭部側面側の前後方向の認識感度が頭部前面側の左右方向より低いことが知られている。このため、仮想的に配置された仮想音源に対し、聴取者が直角方向に向いた場合には、聴取者に主観的な定位感の低下を来す。このため、仮想音源の配置間隔が頭部前面側の左右方向に定位した仮想音源間より狭い間隔で認識されてしまう。つまり、仮想音源に対する聴取者の向きによって音像位置が変化するため、臨場感が損なわれるという課題がある。

本開示技術は、斯かる課題に鑑み、聴取者の向きに応じた仮想音源の位置を制御しても、聴取者が向きを変えることによる定位感の低下を抑制することを目的とする。

上記目的を達成するため、本開示の技術の一側面によれば、複数の仮想音源を仮想的に配置し、聴取者の向きに応じて仮想音源の位置を制御する音響再生装置であって、聴取者の向きに応じて音響出力部から見た仮想音源間の相対角度を補正し、聴取者の向きと前記仮想音源の相対角度と、前記仮想音源間の相対角度とを用いて、補正された前記相対角度の位置に前記仮想音源を配置する処理部が提供される。

本開示の技術によれば、仮想音源群に対する聴取者が向きを変えても、音像定位の低下がなく、臨場感が高められる。

第１の実施の形態に係る音響再生装置の一例を示す図である。 音場補正の処理手順の一例を示すフローチャートである。 音場補正を説明するための図である。 第２の実施の形態に係る端末装置の一例を示す図である。 端末装置のハードウェアの一例を示す図である。 音響再生処理機能の一例を示す図である。 仮想スピーカの配置制御を説明するための図である。 聴取者の向きと仮想スピーカの相対角度を説明するための図である。 聴取者の仮想スピーカの認識および仮想スピーカ間相対角度の補正を説明するための図である。 聴取者の向きに対する仮想音場の仮想スピーカ間相対角度の関係を示す図である。 聴取者と仮想スピーカの相対角度、仮想スピーカ間相対角度を示す図である。 音響再生出力制御機能の一例を示している。 ３Ｄ音響処理の原理を説明するための図である。 音場補正処理の処理手順の一例を示すフローチャートである。 聴取者の向きに対する仮想音場の仮想スピーカ間相対角度の補正を説明するための図である。 聴取者の向きに対する仮想スピーカ間相対角度を示す図である。 第３の実施の形態に係る端末装置における仮想スピーカ間相対角度の補正を説明するための図である。 聴取者の向きに対する仮想音場の仮想スピーカ間相対角度の関係を示す図である。 聴取者と仮想スピーカの相対角度、仮想スピーカ間相対角度を示す図である。 他の仮想スピーカ間相対角度の補正を説明するための図である。 他の実施の形態に係るパーソナルコンピュータを示す図である。

〔第１の実施の形態〕

図１は、第１の実施の形態に係る音響再生装置の一例を示している。

この音響再生装置２では一例として、ステレオヘッドフォン４、方向センサ６および音響再生処理部８が備えられる。

ステレオヘッドフォン４は音響出力部の一例である。このステレオヘッドフォン４は聴取者の頭部１０に装着され、左耳聴取用のスピーカ４Ｌ、右耳聴取用のスピーカ４Ｒを備える。

方向センサ６は聴取者の向きたとえば、聴取者の頭部１０の向き角度を検出する。この角度情報が音響再生処理部８に提供され、仮想音源の位置制御および相対角度の補正に用いられる。

音響再生処理部８はステレオ収録音などの音響出力をスピーカ４Ｌ、４Ｒに供給し、スピーカ４Ｌ、４Ｒにより聴取者の頭部１０の前方に仮想的な音場を生成させる。つまり、音響再生処理部８は、複数の仮想音源として仮想スピーカ１２Ｌ、１２Ｒ（図３のＡ）を仮想的に配置し、聴取者の向きに応じて仮想スピーカ１２Ｌ、１２Ｒの配置位置を制御するとともに、仮想スピーカ１２Ｌ、１２Ｒ間の相対角度の補正を行う。

図２は、音場補正の処理手順の一例を示している。この処理手順は本開示の音場補正プログラムの一例であり、音響再生装置２に搭載されたコンピュータにより実行される。

この処理手順では、方向センサ６のセンサ信号を取得し、このセンサ信号により聴取者の向きを検出する（Ｓ１１）。

音響出力により仮想スピーカ１２Ｌ、１２Ｒを聴取者の前方位置に仮想的に配置し、聴取者の向きに応じて仮想スピーカ１２Ｌ、１２Ｒの位置を制御する（Ｓ１２）。

聴取者の向きに応じて仮想スピーカ１２Ｌ、１２Ｒ間の相対角度を補正する（Ｓ１３）。

＜第１の実施の形態の効果＞

このような音場補正の処理により、聴取者の向きに応じて仮想スピーカ１２Ｌ、１２Ｒ間の相対角度を補正し、聴覚の前後方向の感度が低いことによる定位感の低下が抑制される。

この定位感の低下抑制について、図３を参照して説明する。図３のＡは、聴取者の頭部１０の前方に音像が定位している場合を示している。図３のＢは、聴取者の向きが音像と直交関係となる場合を示している。図３のＣは、聴取者の向きに応じて仮想スピーカ１２Ｌ、１２Ｒ間の相対角度の補正を示している。

図３のＡに示すように、音響再生処理部８およびステレオヘッドフォン４によれば、音響出力により聴取者の頭部１０の前方に仮想的に仮想スピーカ１２Ｌ、１２Ｒおよび音像１４が定位する。仮想スピーカ１２Ｌ、１２Ｒおよび音像１４は仮想音源群または複数の音源の一例である。

図３のＢに示すように、仮想スピーカ１２Ｌ、１２Ｒおよび音像１４と直交方向に聴取者の頭部１０の向きを変えても、仮想スピーカ１２Ｌ、１２Ｒおよび音像１４は図３のＡと同様に定位する。しかしこの場合、人の聴覚の認識感度が左右方向に比較して前後方向で低いため、図３のＡに示す仮想スピーカ１２Ｌ、１２Ｒより仮想スピーカ１２Ｌ’、１２Ｒ’のように狭い間隔で認識され、小さい音像１４’に前後方向に縮小される。つまり、仮想スピーカ１２Ｌ、１２Ｒおよび音像１４の定位感が低下し、臨場感が損なわれることになる。

このような定位感の低下を抑制するため、図３のＣに示すように、聴取者の向きに応じて仮想スピーカ１２Ｌ’’、１２Ｒ’’のように仮想スピーカ間相対角度ΔSPdegを補正する。この仮想間相対角度ΔSPdegは音響出力部であるスピーカ４Ｌ、４Ｒから見た仮想スピーカ１２Ｌ、１２Ｒ間の相対角度である（以下、各実施の形態において同様である）。そこで、この仮想スピーカ間相対角度ΔSPdegを聴取者の頭部１０の向きに応じて拡大する。

これにより、補正された仮想スピーカ１２Ｌ’’、１２Ｒ’’間の相対角度が聴取者の向きが変わっても図３のＡに示す正対位置と同様の定位となり、定位感の低下が補完される。この結果、仮想スピーカ１２Ｌ’’、１２Ｒ’’間の相対角度ΔSPdegを補正しない場合に比較し、臨場感が高められる。

〔第２の実施の形態〕

図４は、第２の実施の形態に係る端末装置の一例を示している。図４において、図１と同一部分には同一符号を付してある。

この端末装置１６は本開示の音響再生装置の一例であり、たとえば、スマートフォンである。この端末装置１６には一例として長方形状で偏平な装置筐体１８が備えられる。この装置筐体１８には表示部２０が備えられている。この表示部２０はたとえば、ＬＣＤ（Liquid Crystal Display）の画面部である。この表示部２０の画面にはタッチパネル２２が設置されている。このタッチパネル２２は入力部の一例である。このタッチパネル２２を指やスタイラスペンでタッチや擦るなどの操作により、端末装置１６に対する情報入力が行える。

装置筐体１８の一側面部としてたとえば、図中下縁部には音響信号の出力コネクタ部２４が備えられている。この出力コネクタ部２４にはステレオヘッドフォン４がヘッドフォンプラグ２６の装着により接続される。このステレオヘッドフォン４の接続形態は、ケーブル２８を用いた有線による接続に限定されない。端末装置１６とステレオヘッドフォン４の接続にはたとえば、Bluetooth（登録商標）規格による無線接続を用いてもよい。

このステレオヘッドフォン４には既述の方向センサ６が設置されている。この実施の形態では、方向センサ６がステレオヘッドフォン４のヘッドアーム部３０に設置されているが、ヘッドアーム部３０以外の箇所に設置されてもよい。ステレオヘッドフォン４の接続に無線接続を用いる場合にはたとえば、方向センサ６のセンサ信号もBluetooth規格による無線信号を用いて端末装置１６で受信してもよい。

図５は、端末装置１６のハードウェアの一例を示している。この端末装置１６では一例として、表示部２０、メモリ３２、プロセッサ３４、センサ信号受信部３６、オーディオ出力部３８、入力部４０が備えられる。

メモリ３２にはハードディスク装置や半導体メモリなどの記録媒体が用いられる。このメモリ３２にはプログラム記憶部４２、データ記憶部４４およびＲＡＭ（Random-Access Memory）４６が備えられる。プログラム記憶部４２にはＯＳ（Operating System）、ファームウェアプログラム、アプリケーションプログラムなど、各種のソフトウェアが格納される。本開示の音場補正プログラムは、ファームウェアプログラムまたはアプリケーションプログラムに含まれる。データ記憶部４４には定数、演算式などのデータが格納される。この格納データには音場補正の情報処理に用いられる各種の情報や演算式が含まれる。ＲＡＭ４６はプロセッサ３４で実行される情報処理のワークエリアに用いられる。音場補正処理の実行の際、音場補正プログラムおよびその処理情報がＲＡＭ４６に展開される。

プロセッサ３４は、メモリ３２にあるＯＳや各種のプログラムの実行により、仮想音場１１の生成や、仮想スピーカ１２Ｌ、１２Ｒ間の相対角度の補正などの情報処理を行う。

表示部２０はＬＥＤ（Light Emitting Diode）などにより情報表示を行う。この情報表示にはたとえば、音場補正処理の際、音源情報としてたとえば、スピーカ表示を含んでもよい。このスピーカ表示としてたとえば、仮想スピーカ１２Ｌ、１２Ｒや音像１４を視覚的に表示してもよい。

センサ信号受信部３６にはプロセッサ３４の制御により、方向センサ６のセンサ信号を受信する。方向センサ６にはたとえば、電子コンパスが用いられる。この電子コンパスではたとえば、聴取者の顔の前方向を０°とした場合、頭部１０の回転方向を表すセンサ信号を出力する。

この方向センサ６はセンサ信号受信部３６に対し、ケーブル４８により有線接続されてもよいし、たとえば、Bluetooth規格による無線接続により接続されてもよい。

オーディオ出力部３８にはプロセッサ３４の制御により、音響信号出力が得られる。この音響信号はステレオヘッドフォン４に加えられる。

入力部４０には既述のタッチパネル２２の他、各種コネクタ部からの信号入力部などの情報入力系統を含んでもよい。

＜端末装置１６の音響再生処理機能＞

図６は、端末装置１６の音響再生処理機能の一例を示している。この処理機能では、ステレオ信号から仮想スピーカ１２Ｌ、１２Ｒの音源信号を生成し、方向センサ６のセンサ信号により聴取者の頭部１０の向きを検出し、その向きに応じて仮想スピーカ１２Ｌ、１２Ｒを仮想的に配置し、その位置を制御する。そして、この音響再生処理機能では、聴取者の頭部１０の向きに応じて仮想スピーカ１２Ｌ、１２Ｒ間の相対角度を補正し、補正された相対角度に仮想スピーカ１２Ｌ、１２Ｒの配置位置を決定する。この音響再生処理機能には向き検出機能５０、仮想スピーカ配置制御機能５２および音響再生出力制御機能５４が含まれ、各機能はプロセッサ３４で実行するプログラムによって実現される。以下、各機能について説明する。

向き検出機能５０： この向き検出機能５０は、センサ信号受信部３６で受信したセンサ信号を取得し、このセンサ信号を用いて聴取者の頭部１０の向きが検出される。つまり、頭部１０の向きは既述の仮想スピーカ１２Ｌ、１２Ｒに対する顔の向きである。方向センサ６の検出角度をSensordegとし、聴取者の頭部１０の向き（初期方向）の角度をInitdegとすると、顔の方向角度Userdegは、
Userdeg＝Sensordeg−Initdeg ・・・(1)
となる。この方向角度Userdegは、仮想スピーカ配置制御機能５２に提供される。

仮想スピーカ配置制御機能５２： この仮想スピーカ配置制御機能５２には、仮想スピーカ方向制御機能５６、仮想スピーカ相対角度補正機能５８および仮想スピーカ位置決定機能６０が含まれる。

仮想スピーカ方向制御機能５６： この仮想スピーカ方向制御機能５６は、聴取者の頭部１０の方向角度に応じて、聴取者と仮想スピーカ１２Ｌ、１２Ｒの相対角度SPdegを算出する。図７のＡは、聴取者の頭部１０の正面に仮想スピーカ１２Ｌ、１２Ｒおよび音像１４が定位した状態を示している。これに対し、図７のＢに示すように、聴取者の頭部１０の向きが図中右方向に回転した場合には、この方向変化を打ち消すように仮想スピーカ１２Ｌ、１２Ｒの配置を左方向に回転させる。また、図７のＣに示すように、聴取者の頭部１０の向きが図中左方向に回転した場合には、この方向変化を打ち消すように仮想スピーカ１２Ｌ、１２Ｒの配置を右方向に回転させる。

図８のＡは、聴取者の頭部１０が正面つまり、０°の位置を示している。この頭部１０の向きではつまり、相対角度SPdeg＝０°、方向角度Userdeg＝０°である。

これに対し、図８のＢは、頭部１０の方向が９０°に回転した場合を示している。この場合、相対角度SPdegは、聴取者の方向角度Userdegに対し、
SPdeg＝−Userdeg ・・・(2)
とし、聴取者の頭部１０の回転角度を打ち消す値として求められる。これら相対角度SPdeg および方向角度−Userdegは、仮想スピーカ方向制御機能５６から仮想スピーカ相対角度補正機能５８および仮想スピーカ位置決定機能６０に提供される。

仮想スピーカ相対角度補正機能５８： この仮想スピーカ相対角度補正機能５８では、聴取者と仮想スピーカ１２Ｌ、１２Ｒの相対角度SPdegの値に応じて仮想スピーカ間相対角度ΔSPdegを補正する。

図９のＡは、仮想スピーカ間相対角度ΔSPdegの補正前の状態を示している。この場合、頭部１０から見て顔の前面に仮想スピーカ１２Ｌ、１２Ｒが定位しており、Userdeg＝０°である。

これに対し、図９のＢは、聴取者の顔の方向角度Userdeg＝９０°の場合を示している。仮想スピーカ１２Ｌ、１２Ｒ間の相対角度ΔSPdegでは、人の聴覚の方向認識感度が頭部１０の前面側の左右方向に比較し、前後方向が低いことを考慮し、図９のＢに示す仮想スピーカ１２Ｌ’’、１２Ｒ’’の位置に相対角度ΔSPdegを補正している。これにより、人の聴覚の方向認識感度が頭部１０の前面側の左右方向に比較し、前後方向が低いことが補完される。この結果、聴取者には仮想スピーカ１２Ｌ’’、１２Ｒ’’が図９のＡに示す位置で仮想スピーカ１２Ｌ、１２Ｒとして認識できる。図９のＢにおいて、Ｘ１、Ｘ２は、相対角度が補正された仮想スピーカ１２Ｌ’’、１２Ｒ’’が聴取者に認識される仮想スピーカ１２Ｌ、１２Ｒの位置を示している。

図１０は、仮想スピーカ間相対角度ΔSPdegの補正関数の一例を示している。この補正関数は、聴取者と仮想スピーカ１２Ｌ、１２Ｒとの相対角度SPdeg＝±９０°で最大値（ΔSPdeg high）、SPdeg＝０°or±１８０°で最小値（ΔSPdeg low ）を取る一次関数である。

これを数式で示すと、
ΔSPdeg＝Ｆ（SPdeg） ・・・(3)
となる。図１０に示す補正関数を数式で示せば、
Ｆ（SPdeg）＝
（ΔSPdeg high−ΔSPdeg low）／９０＊（SPdeg＋１８０）
＋ΔSPdeg low 〔SPdeg：−１８０°〜−９０°〕
−（ΔSPdeg high−ΔSPdeg low）／９０＊（SPdeg＋９０）
＋ΔSPdeg high 〔SPdeg：−９０°〜０°〕
（ΔSPdeg high−ΔSPdeg low）／９０＊SPdeg
＋ΔSPdeg low 〔SPdeg：０°〜９０°〕
−（ΔSPdeg high−ΔSPdeg low）／９０＊（SPdeg−９０）
＋ΔSPdeg high 〔SPdeg：９０°〜１８０°〕
・・・(4)
となる。

この補正関数Ｆ（SPdeg）は一例であり、他の関数たとえば、２次関数や、Ｓｉｎ関数、Ｃｏｓ関数を用いてもよい。

仮想スピーカ位置決定機能６０： この仮想スピーカ位置決定機能６０では、聴取者と仮想スピーカ１２Ｌ、１２Ｒの相対角度SPdegと、仮想スピーカ１２Ｌ、１２Ｒ間の相対角度ΔSPdeg とから仮想スピーカ１２Ｌの配置角度Ldeg、仮想スピーカ１２Ｒの配置角度Rdegを決定する。

仮想スピーカ１２Ｌの配置角度Ldegは、
Ldeg＝SPdeg＋ΔSPdeg／２ ・・・(5)
仮想スピーカ１２Ｒの配置角度Rdeg は、
Rdeg＝SPdeg−ΔSPdeg／２ ・・・(6)
となる。

図１１は、聴取者と仮想スピーカ１２Ｌ、１２Ｒとの相対角度SPdeg＝９０°の場合の仮想スピーカ１２Ｌ、１２Ｒの配置および各角度を示している。このように決定された配置角度Ldeg、Rdegは、音響再生出力制御機能５４に提供される。この場合、聴取者と仮想スピーカ１２Ｌ、１２Ｒとの相対角度SPdeg＝９０°を基準に、仮想スピーカ１２Ｌの配置角度Ldeg、仮想スピーカ１２Ｒの配置角度Rdegが決定される。

音響再生出力制御機能５４： この音響再生出力制御機能５４には、Ｌｃｈ側仮想スピーカ音生成機能６２Ｌ、Ｒｃｈ側仮想スピーカ音生成機能６２Ｒ、ステレオ音ミキシング機能６４Ｌ、６４Ｒが含まれる。

図１２のＡに示すように、Ｌｃｈ側仮想スピーカ音生成機能６２Ｌは、ステレオ信号のＬｃｈ入力信号ＩｎＳｉｇＬと、配置角度Ldegとを受け、Ｌｃｈ入力信号ＩｎＳｉｇＬからＬｃｈ側の仮想スピーカ音信号ＳＬ−ＬおよびＲｃｈ側の仮想スピーカ音信号ＳＬ−Ｒを生成する。Ｒｃｈ側仮想スピーカ音生成機能６２Ｒは、ステレオ信号のＲｃｈ入力信号ＩｎＳｉｇＲと、配置角度Rdegとを受け、Ｒｃｈ入力信号ＩｎＳｉｇＲからＲｃｈ側の仮想スピーカ音信号ＳＲ−ＲおよびＬｃｈ側の仮想スピーカ音信号ＳＲ−Ｌを生成する。

仮想スピーカ音生成機能６２Ｌ、６２Ｒの信号処理では、ステレオ入力信号ＩｎＳｉｇＬ（ｎ）、ＩｎＳｉｇＲ（ｎ）（ｎ＝０，．．，Ｎ−１）Ｎ：１フレームのデータサンプル数から配置角度Ldeg、Rdegに応じて仮想スピーカ音信号を生成する。この仮想スピーカ音信号は、頭部１０の伝達関数をｈｒｔｆＬ、ｈｒｔｆＲ（インパルス応答）とすると、ステレオ入力信号の畳み込み演算を行って求めることができる。この演算には、コンピュータによって実現されるディジタルフィルタのひとつたとえば、ＦＩＲ（Infinite Impulse Response：無限インパルス応答）フィルタを用いればよい。

図１３に示すように、音源ＳＳから左耳の鼓膜までの伝達関数をｈｒｔｆＬ、音源ＳＳから右耳の鼓膜までの伝達関数をｈｒｔｆＲとし、聴取者の頭部１０の向きに対する音源角度θにおける頭部１０の伝達関数ｈｒｔｆＬ、ｈｒｔｆＲのインパルス応答を、
ｈｒｔｆＬ（θ）＝ｈｒｔｆＬ（ｍ） （ｍ＝０，Ｍ−１） ・・・(7)
ｈｒｔｆＲ（θ）＝ｈｒｔｆＲ（ｍ） （ｍ＝０，Ｍ−１） ・・・(8)
但し、 Ｍ： インパルス応答長
とすれば、左耳に加えられるＬｃｈ側の仮想スピーカ音信号ｓＬ Ｌ（ｎ）、ｓＬ Ｒ（ｎ）、右耳に加えられるＲｃｈ側の仮想スピーカ音信号ｓＲ Ｌ（ｎ）、ｓＲ Ｒ（ｎ）は、以下の式で求められる。

〔Ｌｃｈ側の仮想スピーカ音信号〕

〔Ｒｃｈ側の仮想スピーカ音信号〕

Ｌｃｈ側の仮想スピーカ音信号ｓＬ Ｌ（ｎ）、ｓＬ Ｒ（ｎ）、Ｒｃｈ側の仮想スピーカ音信号ｓＲ Ｌ（ｎ）、ｓＲ Ｒ（ｎ）は図１２のＢに示すように、Ｌｃｈ側ステレオ音ミキシング機能６４ＬおよびＲｃｈ側ステレオ音ミキシング機能６４Ｒに提供される。この場合、Ｌｃｈ側成分である仮想スピーカ音信号ｓＬ Ｌ（ｎ）、ｓＲ Ｌ（ｎ）は、Ｌｃｈ側ステレオ音ミキシング機能６４Ｌでミキシングされる。また、Ｒｃｈ側成分である仮想スピーカ音信号ｓＬ Ｒ（ｎ）、ｓＲ Ｒ（ｎ）は、Ｒｃｈ側ステレオ音ミキシング機能６４Ｒでミキシングされる。

これにより、Ｌｃｈ側ステレオ音ミキシング機能６４Ｌには、Ｌｃｈ側のステレオ出力信号ＯｕｔＳｉｇＬ（ｎ）が生成され、Ｒｃｈ側ステレオ音ミキシング機能６４Ｒには、Ｒｃｈ側のステレオ出力信号ＯｕｔＳｉｇＲ（ｎ）が生成される。

ステレオ出力信号ＯｕｔＳｉｇＬ（ｎ）、ＯｕｔＳｉｇＲ（ｎ）を数式で示すと、
ＯｕｔＳｉｇＬ（ｎ）＝Ｇａｉｎ｛ｓＬ Ｌ（ｎ）＋ｓＲ Ｌ（ｎ）｝
・・・(13)
ＯｕｔＳｉｇＲ（ｎ）＝Ｇａｉｎ｛ｓＬ Ｒ（ｎ）＋ｓＲ Ｒ（ｎ）｝
・・・(14)
となる。この場合、Ｇａｉｎは振幅補正係数であり、たとえば、０．５とすればよい。

＜処理手順＞

図１４は、音響再生処理の音場補正制御の処理手順を示している。この処理手順は本開示の音場補正プログラムの一例である。

この処理手順は、音響データの１フレーム毎の処理を示している。Ｓ２１では、向き検出機能５０による聴取者の向きを検出する。向き検出機能５０では、方向センサ６のセンサ信号により聴取者の向きを監視し、聴取者の方向角度Userdegを検出する。

Ｓ２２では、音響出力により仮想音場１１を生成し、仮想スピーカ１２Ｌ、１２Ｒを生成する。聴取者の方向角度Userdegを受け、仮想スピーカ１２Ｌ、１２Ｒの方向を制御する。これにより、仮想スピーカ１２Ｌ、１２Ｒが聴取者の頭部１０の前方に配置されるとともに、その配置位置が聴取者の方向角度Userdegを打ち消す角度の位置に制御される。

Ｓ２３では、仮想スピーカ１２Ｌ、１２Ｒ間の相対角度ΔSPdegの補正を行う。この補正が人の聴覚が頭部側面側の前後方向の認識感度が頭部前面側の左右方向より低いことを補完するための制御である。

Ｓ２４では、仮想スピーカ１２Ｌ、１２Ｒ間の相対角度ΔSPdegの補正（Ｓ２３）を受け、仮想スピーカ１２Ｌ、１２Ｒの位置を決定する。これにより、聴取者の方向角度Userdegに応じて補正された相対角度を持つ位置に仮想スピーカ１２Ｌ、１２Ｒが制御される。

Ｓ２５では、Ｌｃｈ側仮想スピーカ音生成機能６２Ｌが仮想スピーカ位置決定機能６０で決定された配置角度Ldegを受け、ステレオ入力信号ＩｎＳｉｇＬ（ｎ）に３Ｄ音響処理を実行し、Ｌｃｈ側仮想スピーカ音信号を生成する。

Ｓ２６では、Ｒｃｈ側仮想スピーカ音生成機能６２Ｒが仮想スピーカ位置決定機能６０で決定された配置角度Rdegを受け、ステレオ入力信号ＩｎＳｉｇＲ（ｎ）に３Ｄ音響処理を実行し、Ｒｃｈ側仮想スピーカ音信号を生成する。

Ｓ２７では、ステレオ音のミキシング処理を行う。Ｓ２５、Ｓ２６の３Ｄ音響処理で生成されるＬｃｈ側成分、Ｒｃｈ側成分のそれぞれをミキシングし、ステレオ出力信号ＯｕｔＳｉｇＬ（ｎ）、ＯｕｔＳｉｇＲ（ｎ）を生成する。

これらの処理は音響データの１フレーム毎に連続的に実行される。

＜第２の実施の形態の効果＞

(1) この実施の形態によっても、仮想スピーカ１２Ｌ、１２Ｒは聴取者の頭部１０の前方に仮想的に配置され、仮想スピーカ１２Ｌ、１２Ｒによる音像１４によって優れた臨場感が得られる。

(2) 仮想スピーカ１２Ｌ、１２Ｒの配置は、聴取者の頭部１０の向きの変化に応じ、その向き角度を相殺する角度の位置に制御されるから、仮想音場１１の生成、仮想スピーカ１２Ｌ、１２Ｒおよび音像１４の定位は実スピーカと同様である。これにより、優れた臨場感が得られる。

(3) 聴取者の頭部１０の向きに応じて仮想スピーカ間相対角度ΔSPdegが補正されるので、人の聴覚が、頭部１０の側面側の前後方向の認識感度や精度が頭部前面側の左右方向より低いことが補完される。これにより、聴取者が頭部１０の向きを変えても、仮想スピーカ１２Ｌ、１２Ｒや音像１４の定位感の低下なく、聴取者が頭部１０の向きに関係なく、優れた臨場感が得られる。

この仮想スピーカ間相対角度ΔSPdegの補正について、図１５は相対角度の補正量の変化を示している。

図１５のＡはSPdeg＝０°の場合である。仮想スピーカ間相対角度は、ΔSPdeg lowとなる。仮想スピーカ間相対角度は補正されない最も小さい値である。

図１５のＢはSPdeg＝ａ°（０°＜ａ°）の場合である。仮想スピーカ間相対角度は、ΔSPdeg a °である。この場合、仮想スピーカ間相対角度は（ΔSPdeg a °−ΔSPdeg low）の角度だけ補正されている。

図１５のＣはSPdeg＝ｂ°（ａ°＜ｂ°）の場合である。この場合、仮想スピーカ間相対角度は、ΔSPdeg b°である。この場合、仮想スピーカ間相対角度は（ΔSPdeg b °−ΔSPdeg low）の角度だけ補正されている。

図１５のＤはSPdeg＝９０°の場合である。この場合、仮想スピーカ間相対角度はΔSPdeg highとなる。仮想スピーカ間相対角度は最も大きな補正量となっている。

このように仮想スピーカ間相対角度ΔSPdegは、聴取者の頭部１０の向きの角度の多寡に応じて、ΔSPdeg low＜ΔSPdeg a°＜ΔSPdeg b °＜ΔSPdeg highに補正される。

この実施の形態では、図１６に示すように、聴取者と仮想スピーカの相対角度SPdegに対し、ΔSPdeg low＜ΔSPdeg a °＜ΔSPdeg b °＜ΔSPdeg high に一次関数で増減している。これは一例であり、人の聴覚に応じて二次関数、三角関数による補正であってもよい。

〔第３の実施の形態〕

第１および第２の実施の形態では、聴取者の向きに応じて仮想スピーカ１２Ｌ、１２Ｒの双方の位置を変更することにより、仮想スピーカ間相対角度ΔSPdegの補正が行われている。第３の実施の形態では、仮想スピーカ１２Ｌ、１２Ｒの何れか一方またはいずれか一つの位置を変更する場合としてたとえば、仮想スピーカ１２Ｒ側で仮想スピーカ間相対角度ΔSPdegの補正を行う。

仮想スピーカ相対角度補正機能５８では、聴取者と仮想スピーカ１２Ｌ、１２Ｒの相対角度SPdegの値に応じて仮想スピーカ１２Ｒ側で仮想スピーカ間相対角度ΔSPdegの補正を行う。

図１７のＡは、補正前の仮想スピーカ１２Ｌ、１２Ｒおよび聴取者の向きを示している。この場合、聴取者と仮想スピーカ１２Ｌ、１２Ｒの相対角度SPdeg＝０°を基準に、仮想スピーカ間相対角度ΔSPdegとして、位置修正側の仮想スピーカ１２Ｒの相対角度をΔSPdegとする。

図１７のＢは、仮想スピーカ間相対角度ΔSPdegの補正後の仮想スピーカ１２Ｌ、１２Ｒおよび聴取者の向きを示している。この場合、聴取者と仮想スピーカ１２Ｌ、１２Ｒの相対角度SPdeg＝９０°に応じた補正量により相対角度ΔSPdeg’’に拡大する。これにより、図１７のＡに示す仮想スピーカ１２Ｒの位置が図１７のＢに示すように、前方側に補正される。つまり、聴取者と仮想スピーカ１２Ｌ、１２Ｒの相対角度SPdegが±９０°に近くなるほど、前方方向の仮想スピーカ１２Ｒの相対角度ΔSPdegが大きな値になるように補正される。図１７のＢにおいて、補正後の仮想スピーカ１２Ｒ’’により、聴取者には図１２のＡと同様の位置で仮想スピーカ１２Ｒが認識される。

このように一方の仮想スピーカ１２Ｒの位置を補正すれば、人の聴覚の音の方向認識感度が左右方向にくらべ前後方向が低いことによる既述の仮想スピーカ間相対角度ΔSPdegが小さく認識されることを補完することができる。

図１８は、相対角度ΔSPdegの補正関数の一例を示している。この補正関数は、聴取者と仮想スピーカ１２Ｌ、１２Ｒとの相対角度SPdeg＝±９０°であり、最大値＝ΔSPdeg high、SPdeg＝０°or±１８０°で最小値＝ΔSPdeg lowを取る一次関数である。

これを数式で示すと、式(3) と同様に表すことができ、この補正関数は式(4) と同様に表すことができる。

これを数式で示すと、
ΔSPdeg＝Ｆ（SPdeg） ・・・(15)
となる。図１８に示す補正関数を数式で示せば、
Ｆ（SPdeg）＝
（ΔSPdeg high−ΔSPdeg low）／９０＊（SPdeg＋１８０）
＋ΔSPdeg low 〔SPdeg：−１８０°〜−９０°〕
−（ΔSPdeg high−ΔSPdeg low）／９０＊（SPdeg＋９０）
＋ΔSPdeg high 〔SPdeg：−９０°〜０°〕
（ΔSPdeg high−ΔSPdeg low）／９０＊SPdeg
＋ΔSPdeg low 〔SPdeg：０°〜９０°〕
−（ΔSPdeg high−ΔSPdeg low）／９０＊（SPdeg−９０）
＋ΔSPdeg high 〔SPdeg：９０°〜１８０°〕
・・・(16)
となる。

そして、仮想スピーカ位置決定機能６０では、補正された仮想スピーカ間相対角度ΔSPdegを用いて、聴取者と仮想スピーカの相対角度SPdegと仮想スピーカ間の相対角度ΔSPdegから仮想スピーカの配置角度（Ldeg，Rdeg）が決定される。

図１９は、補正された仮想スピーカ間相対角度ΔSPdegを用いた仮想スピーカ１２Ｌ、１２Ｒの位置決定を示している。この場合、聴取者と仮想スピーカ１２Ｌ、１２Ｒとの相対角度SPdeg＝９０°を基準に、仮想スピーカ１２Ｌの配置角度Ldeg、仮想スピーカ１２Ｒの配置角度Rdegが決定される。

仮想スピーカ１２Ｌの配置角度Ldegおよび仮想スピーカ１２Ｒの配置角度Rdegを数式で示すと、仮想スピーカ１２Ｌの配置角度Ldegは、
Ldeg＝SPdeg＋ΔSPdeg low ・・・(17)

となる。また、仮想スピーカ１２Ｒの配置角度Rdegは、
Rdeg＝SPdeg−ΔSPdeg ・・・(18)
となる。

このような仮想スピーカ間相対角度ΔSPdegの補正は、仮想スピーカ１２Ｒ側の補正に代え、仮想スピーカ１２Ｌ側で行ってもよい。

図２０のＡは、補正前の仮想スピーカ１２Ｌ、１２Ｒおよび聴取者の向きを示している。この場合、聴取者と仮想スピーカ１２Ｌ、１２Ｒの相対角度SPdeg＝０°を基準に、位置修正側の仮想スピーカ１２Ｒの相対角度を−ΔSPdegとする。

図２０のＢは、仮想スピーカ間相対角度ΔSPdegの補正後の仮想スピーカ１２Ｌ、１２Ｒおよび聴取者の向きを示している。この場合、聴取者と仮想スピーカ１２Ｌ、１２Ｒの相対角度SPdeg＝９０°に応じた補正量により相対角度−ΔSPdegを拡大する。これにより仮想スピーカ１２Ｒの位置が前方側に補正される。この場合も同様に、聴取者と仮想スピーカ１２Ｌ、１２Ｒの相対角度SPdegが±９０°に近くなるほど、前方方向の仮想スピーカ１２Ｒの相対角度−SPdegが大きな値になるように補正する。図２０のＢにおいて、補正後の仮想スピーカ１２Ｌ’’に対し、聴取者には図２０のＡと同様の位置で仮想スピーカ１２Ｌを認識させることができる。

＜第３の実施の形態の効果＞

(1) この実施の形態によっても、第２の実施の形態と同様に、聴取者の頭部１０の向きに応じて仮想スピーカ間相対角度ΔSPdegが補正されるので、人の聴覚が、頭部１０の側面側の前後方向の認識感度や精度が頭部前面側の左右方向より低いことが補完される。これにより、聴取者が頭部１０の向きを変えても、仮想スピーカ１２Ｌ、１２Ｒや音像１４の定位感の低下なく、聴取者が頭部１０の向きに関係なく、優れた臨場感を実現することができる。

(2) さらに、この実施の形態では、聴取者が頭部１０の向きに応じて仮想スピーカ１２Ｌ、１２Ｒのいずれか一方の位置を修正することにより、仮想スピーカ間相対角度ΔSPdegを補正するので、補正の処理量を削減することができる。

〔他の実施の形態〕

(a) 上記実施の形態では音響再生装置の一例として端末装置１６としてスマートフォンを例示したが、図２１に示すように、ＰＣ（パーソナルコンピュータ）に本開示の技術を適用してもよい。この場合、ＰＣ６６の表示部２０の表示画面６８に仮想スピーカ１２Ｌ、１２Ｒを表示してもよい。

(b) 上記実施の形態では方向センサ６を例示したが、方向センサ６に代え位置を検出する位置センサを用いてもよく、位置を表すセンサ信号から聴取者の方向を算出してもよい。

(c) 上記実施の形態では、仮想音源である仮想スピーカ１２Ｌ、１２Ｒ間の相対角度ΔSPdegを音響出力部であるスピーカ４Ｌ、４Ｒを基準に設定している。この基準について、聴取者の向きに応じて仮想スピーカ１２Ｌ、１２Ｒ間の相対角度を補正できれば、他の位置を基準としてもよい。

(d) 上記実施の形態では方向センサ６をステレオヘッドフォン４のヘッドアーム部３０に設置しているが、この設置位置はヘッドアーム部３０に限定されない。ステレオヘッドフォン４のいずれの位置でもよく、ステレオヘッドフォン４以外の場所に方向センサ６を設置してもよいし、端末装置１６側であってもよいし、端末装置１６外に設置してもよい。

(e) 上記実施の形態では聴取者の向きに応じて仮想スピーカ１２Ｌ、１２Ｒ間の相対角度ΔSPdegを補正しているが、聴取者の向きや移動位置に応じて相対角度ΔSPdegの補正とともに、仮想位置を補正してもよい。

(f) 上記実施の形態ではスマートフォンやＰＣを例示したが、本開示の技術はデジタルカメラ、デジタルレコーダ、シリコンオーディオ、ヘッドフォンなどのステレオヘッドフォン出力の再生機能を有する電子機器に適用できる。

以上説明したように、本開示の技術の最も好ましい実施の形態等について説明した。本発明は、上記記載に限定されるものではない。特許請求の範囲に記載され、または発明を実施するための形態に開示された技術に基づき、当業者において様々な変形や変更が可能である。斯かる変形や変更が本開示の技術の範囲に含まれることは言うまでもない。

２ 音響再生装置
４ ステレオヘッドフォン
６ 方向センサ
８ 音響再生処理部
１０ 頭部
１１ 仮想音場
１２Ｌ、１２Ｒ 仮想スピーカ
１４ 音像
１６ 端末装置
１８ 装置筐体
２０ 表示部
２２ タッチパネル
２４ 出力コネクタ部
２６ ヘッドフォンプラグ
２８ ケーブル
３０ ヘッドアーム部
３２ メモリ
３４ プロセッサ
３６ センサ信号受信部
３８ オーディオ出力部
４０ 入力部
４２ プログラム記憶部
４４ データ記憶部
４６ ＲＡＭ
４８ ケーブル
５０ 向き検出機能
５２ 仮想スピーカ配置制御機能
５４ 音響再生出力制御機能
５６ 仮想スピーカ方向制御機能
５８ 仮想スピーカ相対角度補正機能
６０ 仮想スピーカ位置決定機能
６２Ｌ Ｌｃｈ側仮想スピーカ音生成機能
６２Ｒ Ｒｃｈ側仮想スピーカ音生成機能
６４Ｌ、６４Ｒ ステレオ音ミキシング機能
６６ ＰＣ
６８ 表示画面

Claims (3)

1. 複数の仮想音源を仮想的に配置し、聴取者の向きに応じて前記仮想音源の位置を制御する音響再生装置であって、
   聴取者の向きに応じて音響出力部から見た仮想音源間の相対角度を補正し、聴取者の向きと前記仮想音源の相対角度と、前記仮想音源間の相対角度とを用いて、補正された前記相対角度の位置に前記仮想音源を配置する処理部を含むことを特徴とする音響再生装置。
2. 前記処理部は、聴取者の向きに応じて前記複数の仮想音源のうちの少なくともひとつの位置を補正することを特徴とする請求項１に記載の音響再生装置。
3. コンピュータにより複数の仮想音源を仮想的に配置し、聴取者の向きに応じて音響出力部から見た仮想音源の位置を制御する音場補正プログラムであって、
   聴取者の向きに応じて仮想音源間の相対角度を補正し、聴取者の向きと前記仮想音源の相対角度と、前記仮想音源間の相対角度とを用いて、補正された前記相対角度の位置に前記仮想音源を配置する
   処理を前記コンピュータに実行させる音場補正プログラム。

Images