JP5828450B2 - 移動音像生成装置及びその設計方法 - Google Patents

Description

本発明は、左右一対の２チャンネルのステレオスピーカにより音像を生成し、さらにこれを移動させる移動音像生成装置及びその設計方法に関する。

従来、特許文献１には、本願発明者が提案した左右各チャンネルの信号に応じて共通の透明パネルを加振する左右一対の加振器を備えるスピーカにより音を再生させるための音響再生システムが記載されている。この音響再生システムは、左右チャンネルの信号が入力される一対の入力端子と、複数の所定の周波数帯域の夫々について予め設定された帯域通過特性を有し、入力された左右チャンネルの信号を夫々通過させる一対の音像調整フィルタと、入力された左右各チャンネルの信号から、音像調整フィルタを通過した他チャンネルの信号を減算し、その結果をスピーカの対応するチャンネルの信号として出力する演算出力器と、演算出力器の前段に設けられた遅延回路とを備える。

また、移動音源提示装置として特許文献２に記載のものがある。この移動音源提示装置は、空間内の多数の点で測定した頭部伝達インパルス応答 （HRIR）を記憶するHRIR記憶手段と、聴取者に一番適合した個人化HRIRを選択する個人化 HRIR選択手段と、HRIRから遅延を取り除く遅延無HRTF演算手段と、遅延無しHRTF演算手段により計算されたHRIRを記憶する遅延無HRIR記憶手段と、両耳それぞれに生じるドップラー効果を演算する両耳到達波面算出手段と、畳み込み演算手段と、アプリケーション・聴取者との時間差を調整するパラメータ補間手段とから構成されている。

特開２００６−５８４１号公報 特開２００６−２２２８０１号公報

特許文献１に開示された音響再生システムにおいては、音像定位方向を予め設定した特定位置に固定するものであり、音像を連続的に移動させることができない。
特許文献２に開示された移動音源提示装置においては、多数のHRIRを内蔵し、音像定位方向の変化に対応して多数の両耳インパルス応答HRIR及び音源信号に対し畳み込み演算を行うため、複雑な演算を頻繁に行う必要があり、信号の処理能力の規模や負荷が膨大になり、処理能力が高い高価なハードウェアを必要とする。
そこで本発明は、信号処理の規模や負荷が小さくても、音像を異なる位置に移動させ、比較的処理能力の低いテレビ、ゲーム機、携帯端末などによっても音響・映像コンテンツをより臨場感のある仮想空間に実現することを課題としている。

上記の課題を解決するため、本発明においては、音源から左右一対のステレオスピーカ２，２へ左右チャンネルの信号を出力させるための移動音像生成装置１であって、音源から入力された左右チャンネルの信号を一対の遅延回路４Ｌ，４Ｒで所定の時間遅れをもって夫々通過させ、各遅延回路４Ｌ（４Ｒ）を通過した左右チャンネルの信号を一対の演算出力器５Ｌ，５Ｒで演算処理して各スピーカ２，２へ出力させ、左右チャンネルの信号を一対の音像調整フィルタ６Ｌ，６Ｒで他チャンネル側の演算出力器５Ｌ（５Ｒ）へ夫々通過させる。音像調整フィルタ６Ｌ，６Ｒは、協働して所望の周波数帯域をカバーし同一の遅延時間を持つ複数のバンドパスフィルタＢＰ_１・・・ＢＰ_Ｎと、これら各バンドパスフィルタＢＰ_１・・・ＢＰ_Ｎにそれぞれ所定の追加時間遅れτ_１・・・τ_Ｎを付加する時間遅れ設定手段と、所定の追加ゲインＫ_１・・・Ｋ_Ｎを付加するゲイン設定手段とを含み、遅延回路の遅延時間は、複数のバンドパスフィルタＢＰ_１・・・ＢＰ_Ｎの遅延時間に対応するように設定され、演算出力器５Ｌ，５Ｒは、遅延回路４Ｌ，４Ｒを経て入力された左右各チャンネルの信号から、音像調整フィルタを経て調整された他チャンネルの信号を減算し、スピーカ２，２に出力し、時間遅れ設定手段の追加時間遅れτ_１・・・τ_Ｎと、ゲイン設定手段の追加ゲインＫ_１・・・Ｋ_Ｎは、予め、前方のスピーカに向かう聴取者の左又は右の真横にもっとも近づく位置に音像を配置するように設定され、この位置を１とする０から１までの範囲の所定の係数を掛け合わせることにより、聴取者が知覚する音像位置に応じた調整ゲインとするように追加ゲインを適宜変更する。

本発明においては、左右チャンネルのレベル比を変更して、ゲイン設定手段による追加ゲインに反映させるのみで、音像位置を変更できるため、簡易な信号処理で、効率的に容易に移動音像を生成でき、処理能力がさほど高くない安価なハードウェアを用いることができ、テレビ、ゲーム機、携帯端末などに臨場感のある仮想空間を実現する音響コンテンツや映像コンテンツを提供できるという効果を有する。

本発明に係る移動音像生成装置のブロック図である。 移動音像生成装置の説明図である。 音像調整フィルタを設計する手順を示すフローチャートである。 音像調整フィルタの設計方法において各帯域のバンドパスフィルタのインパルス応答から第１試験信号を得る処理の説明図である。 第１試験信号から第２試験信号を得る処理の説明図である。 測定信号ＳＬ_ｉ，ＳＲ_ｉの測定処理の説明図である。 基準信号ＳＬ^＊ _ｉ、ＳＲ^＊ _ｉの測定処理の説明図である。 位相遅延時間の説明図である。 各バンドパスフィルタのインパルス応答δ_ｉからインパルス応答ｈｃ_ｉを求める処理の説明図である。 インパルス応答ｈｃ_ｉから各バンドパスフィルタの通過特性であるインパルス応答ｈｃを求める処理の説明図である。

図１に示すように、左右一対のステレオスピーカ２に音響信号を出力する移動音像生成装置１は、左右各チャンネルに対応する入力端子３Ｌ，３Ｒ、遅延回路４Ｌ，４Ｒ、演算出力器５Ｌ，５Ｒ及び音像調整フィルタ６を備えている。入力端子３Ｌ，３Ｒにはデジタル化された音響信号が入力される。ただし、音響信号処理装置１がＡＤ変換器を内蔵し、入力されたアナログ信号をデジタル信号に変換する構成としてもよい。各チャンネルの入力信号は、遅延回路４Ｌ，４Ｒを通して演算出力器５Ｌ，５Ｒに供給される。

左チャンネルの入力端子３Ｌに入力された信号は音像調整フィルタ６を通して右チャンネルの演算出力器５Ｒに供給され、演算出力器５Ｒは、遅延回路４Ｒを通過した右チャンネルの信号から、音像調整フィルタ６を通過した左チャンネルの信号を減算（あるいは、位相を反転して加算）した信号を出力する。同様に、右チャンネルの入力信号は音像調整フィルタ６を通して左チャンネルの演算出力器５Ｌに供給され、演算出力器５Ｌは、遅延回路４Ｌを通過した左チャンネルの信号から、音像調整フィルタ６を通過した右チャンネルの信号を減算（あるいは、位相を反転して加算）して出力する。各演算出力器５Ｌ，５Ｒからの出力信号はＤＡ変換されてスピーカ２にそれぞれ供給される。

音像調整フィルタ６は、協働して所望の周波数帯域をカバーする複数のバンドパスフィルタＢＰ_１・・・ＢＰ_Ｎと、各バンドパスフィルタＢＰ_１・・・ＢＰ_Ｎのインパルス応答δ_１・・・δ_Ｎに所定の追加時間遅れτ_１・・・τ_Ｎを付加する時間遅れ設定手段と、所定の追加ゲインＫ_１・・・Ｋ_Ｎを付加するゲイン設定手段とを有する。また、遅延回路４Ｌ，４Ｒは、各チャンネルの入力信号の位相を、音像調整フィルタ６のバンドパスフィルタに固有の時間遅れＴに合わせて遅らせる。これにより、演算出力器５Ｌ，５Ｒにより加減される２つの信号の位相を合致させることができる。

一般に、ステレオ音声は、左右の各スピーカから出て聴取者の左右反対側の耳に入る音が存在するために、左右のスピーカの外側には音像を知覚し難くなる。また、左右のスピーカから反対側の耳までの音の伝達特性は周波数帯域によって異なる。そこで、音像調整フィルタ６は、分割した周波数帯域毎にバンドパスフィルタＢＰ_１・・・ＢＰ_Ｎのインパルス応答を予め設定して、これを通過した左右各チャンネルの音響信号を他チャンネルの音響信号から減算（位相を反転して加算）することにより、左右のスピーカの外側やスピーカに向かう聴取者の真横方向への音像定位を実現し、さらにこの音像の移動を知覚させることを可能とする。

次に、音像調整フィルタ６の設計方法について説明する。
先ず、図３のステップＳ１において、図４に示すように、分割した周波数帯域の試験用バンドパスフィルタＢＰ_ｉ（音像調整フィルタ６のバンドパスフィルタと同一、ｉは帯域を表す番号であり、ｉ＝１〜Ｎ；Ｎはバンドパスフィルタの個数）にインパルスを入力したときの各インパルス応答を第１試験信号Ｓｍ_ｉとする。各バンドパスフィルタＢＰ_ｉの中心周波数ｆｃ_ｉ、帯域幅ｆΔ_ｉ、及び個数Ｎは、処理の対象となる音響信号の周波数領域全体（例えば１０００Ｈｚ〜３０００Ｈｚ）を分割（例えば１／４オクターブ程度に）してカバーできるように設定する。なお、本実施形態では、バンドパスフィルタＢＰ_ｉとして例えば直線位相形ＦＩＲバンドパスフィルタを用いるものとする。

次にステップＳ２において、図５に示すように、各第１試験信号Ｓｍ_ｉを逆位相に位相反転して、第２試験信号Ｓｃ_ｉとする。

次に、ステップＳ３において、図６に示すように、第１試験信号Ｓｍ_ｉを左のスピーカ２に入力すると共に、第２試験信号Ｓｃ_ｉを時間遅れ調整器１１及びレベル調整器１２を通して右のスピーカ２に入力し、スピーカ２から発生する音をその前方に設置したダミーヘッドマイクロフォン１３で収音して、その測定信号をＳＬ_ｉ，ＳＲ_ｉとする。なお、ダミーヘッドマイクロフォン１３は、人の左右両耳の位置の音圧を測定可能なマイクロフォンである。

次にステップＳ４において、ダミーヘッドマイクロフォン１３による左右両耳の測定信号ＳＬ_ｉ，ＳＲ_ｉの時間差及びレベル差が、左のスピーカ２と聴取者の左真横に最も近づく位置に単独のスピーカを配置した場合に測定される左右の信号（以下、基準信号という）ＳＬ^＊ _ｉ，ＳＲ^＊ _ｉの時間差及びレベル差に最も近似するように、図６の時間遅れ調整器１０及びレベル調整器１１で第２試験信号Ｓｃ_ｉの時間遅れ及びレベルを調整する。こうして調整した時間遅れを調整時間遅れτ_ｉmaxとし、また、調整した第２試験信号Ｓｃ_ｉの振幅の絶対値の最大Ｍｃ_ｉと、第１試験信号Ｓｍ_ｉの振幅の絶対値の最大Ｍｍ_ｉとの比率（Ｍｃ_ｉ／Ｍｍ_ｉ）を調整ゲインｋ_ｉmaxとする。例えば聴取者の左真横（図２の位置Ｌ１）における基準信号ＳＬ^＊ _i、ＳＲ^＊ _iは、図７に示すように、ダミーヘッドマイクロフォン１３の左真横に、左右チャンネルが独立した通常タイプのスピーカである基準スピーカ１４を配置し、この基準スピーカ１４に第１試験信号Ｓｍ_ｉを入力することにより測定する。スピーカと真横方向との間の所望位置（例えば図２のＬ２〜Ｌ６）に定位させるには、τ_ｉmaxの値はそのままで、真横位置Ｌ１を１とする係数αを０から１の間で変化させ、この係数αをｋ_ｉmaxに掛ければよい。係数αはステレオのバランスボリュームを操作するのと同様に変更することができるので、実際に耳で聞きながら音像位置を調整でき、これにより係数αと音像定位の方向角との関係を取得することができる。
なお、この実施形態で係数αは音像調整フィルタ６の全帯域について共通のものを適用しているが、周波数帯域ごとに分割したバンドパスフィルタＢＰ１・・・ＢＰＮに応じて異なる係数αを適用してもよい。
また、基準スピーカ１４には第１試験信号Ｓｍ_ｉに代えて、第２試験信号Ｓｃ_ｉを入力して基準信号ＳＬ^＊ _ｉ、ＳＲ^＊ _ｉを測定してもよい。

また、第１試験信号Ｓｍ_ｉと、該当する周波数帯域についての聴取者の左真横の位置から聴取者の頭部までの伝達関数ＨＲＴＦのフーリエ逆変換である両耳のインパルス応答とを畳み込むことにより、音源を左真横に置いたときと同様の信号を得ることができ、この信号を基準信号ＳＬ^＊ _ｉ，ＳＲ^＊ _ｉとしてもよい。

上記の説明では、スピーカ２からの測定信号ＳＬ_ｉ，ＳＲ_ｉを基準信号ＳＬ^＊ _ｉ、ＳＲ^＊ _ｉに厳密に近似させることとしたが、これに限らず、時間遅れ調整器１０及びレベル調整器１１で調整しながら実際に聴取して感覚的に知覚した音像位置を決定することとしてもよい。

次にステップＳ５において、各帯域ｉのバンドパスフィルタＢＰ_ｉ（試験用バンドパスフィルタＢＰ_ｉも同じ）ついてインパルス応答δ_ｉの位相遅延時間Ｔ（つまり、インパルス応答がピーク値に達するまでの時間）を求める。例えば、インパルス応答が図８に示すように得られたとすれば、位相遅延時間ＴはＴ_０となる。なお、バンドパスフィルタＢＰ_ｉとして直線位相ＦＩＲ形バンドパスフィルタを用いた場合は、フィルタのタップ数をＭとすると位相遅延時間ＴはＭ／２タップ相当となって各帯域の位相遅延時間Ｔは同じ値となる。一方、直線位相ＦＩＲ形以外のバンドパスフィルタを用いると、帯域によって位相遅延時間は異なる値となる。その場合には、位相遅延時間Ｔが各帯域で同じ値となるように、位相遅延時間が最も大きい帯域に合わせて他の帯域のインパルス応答を遅らせる処理を行う。

ステップＳ６において、バンドパスフィルタＢＰ_ｉによる遅延時間Ｔをキャンセルするために、遅延回路４Ｌ，４Ｒの遅延時間を、上記バンドパスフィルタＢＰ_ｉの位相遅延時間Ｔとなるよう設定する。
ステップＳ７において、図１０に示すように、音像調整フィルタにおける各帯域のバンドパスフィルタＢＰ_ｉ（ＢＰ_１・・・ＢＰ_Ｎ）の時間遅れ設定手段の追加時間遅れτ_１・・・τ_Ｎ及びゲイン設定手段の追加ゲインＫ_１・・・Ｋ_Ｎを、それぞれ先にステップＳ４で得た該当する帯域ｉの調整時間遅れτ_ｉ及び調整ゲインｋ_ｉに設定することにより、インパルス応答δ_ｉを調整時間遅れτ_ｉだけ遅らせると共に、インパルス応答δ_ｉに調整ゲインｋ_ｉを掛けて、インパルス応答ｈｃ_ｉ（ｈｃ_１・・・ｈｃ_Ｎ）とする。
そしてステップＳ８において、図１１に示すように、インパルス応答ｈｃ_ｉ（ｈｃ_１・・・ｈｃ_Ｎ）を全て足し合わせて一つのインパルス応答ｈｃとし、このインパルス応答ｈｃを音像調整フィルタの通過特性とする。
このように、インパルス応答ｈｃを各分割帯域についてそれぞれ設計して、すべて合成した一つのインパルス応答が音像調整フィルタ６の通過特性となる。

このように、図３に示すフィルタ設計手順では、スピーカ２から発生する音に基づいて、音像調整フィルタ６の特性を設定するので、当該スピーカ２の音響特性に応じた最適な音像調整フィルタ６を設計することができる。その際、周波数帯域毎のインパルス応答を用いてフィルタ特性を設計するので、周波数の相違に応じた音の伝達特性の変化を考慮してより適切なフィルタ設計を行うことができる。

上記インパルス応答ｈｃを通過特性とする音像調整フィルタ６において、第２試験信号Ｓｃ_ｉのレベルである追加ゲインＫ_１・・・Ｋ_Ｎをゲイン設定手段により変更すれば、音源を真横のみならず、聴取者Ｐを中心としスピーカ２までの距離を半径とする聴取者の左右の真横位置から前方の円弧上の任意位置に配置することができる。図２に示すように、いま試験用の左スピーカ２の出力電圧_ＶＬをＶ_Ｌｉ，右スピーカ２の出力電圧_ＶＲをＶ_Ｒｉ とすると、調整ゲインｋ_ｉは、
ｋ_ｉ＝Ｖ_Ｌｉ／Ｖ_Ｒｉ となる。
左真横に音像定位したときの調整ゲインｋ_ｉmaxは、
ｋ_ｉmax＝Ｖ_Ｌｉmax／Ｖ_Ｒｉmax であるから、左右スピーカの電圧比αを用いると、
ｋ_ｉ＝αｋ_ｉmax となる。従って、図２における所望位置Ｌ１〜Ｌ６，Ｒ１〜Ｒ６に音像定位させるには、対応する調整ゲインｋ_ｉを電圧比αにより０≦α≦１の範囲で変更すればよい。
このように、電圧比αの数値の選択のみによって、ゲイン設定手段で調整ゲインｋ_ｉに対応する追加ゲインＫ_１・・・Ｋ_Ｎを付加し、音像を所望位置に移動させることができる。この処理は、音響又は映像コンテンツのプログラムソフト上の指令により音像調整フィルタ６のゲイン設定手段の設定変更として実行することができる。

１ 移動音像生成装置
２ スピーカ
３Ｌ，３Ｒ 入力端子
４Ｌ，４Ｒ 遅延回路
５Ｌ，５Ｒ 演算出力器
６ 音像調整フィルタ
ＢＰ_１・・・ＢＰ_Ｎ バンドパスフィルタ
δ_１・・・δ_Ｎ インパルス応答
τ_１・・・τ_Ｎ 追加時間遅れ
Ｋ_１・・・Ｋ_Ｎ 追加ゲイン
α 係数

Claims (4)

1. 音源から左右一対のステレオスピーカへ左右チャンネルの信号を出力し、音像定位の方向を変更するための移動音像生成装置であって、
   音源から入力された左右チャンネルの信号を所定の時間遅れをもって夫々通過させる一対の遅延回路と、
   前記各遅延回路を通過した左右チャンネルの信号を演算処理して前記各スピーカへ出力する一対の演算出力器と、
   前記左右チャンネルの信号を他チャンネル側の前記演算出力器へ夫々通過させる一対の音像調整フィルタと、を備え、
   前記音像調整フィルタは、協働して所望の周波数帯域をカバーし同一の遅延時間を持つ複数のバンドパスフィルタと、これら各バンドパスフィルタにそれぞれ所定の追加時間遅れを付加する時間遅れ設定手段と、所定の追加ゲインを付加するゲイン設定手段とを含み、
   前記遅延回路の遅延時間は、前記複数のバンドパスフィルタの遅延時間に対応するように設定され、
   前記演算出力器は、前記遅延回路を経て入力された左右各チャンネルの信号から、前記音像調整フィルタを経て調整された他チャンネルの信号を減算し、前記スピーカに出力し、
   前記時間遅れ設定手段は、前方のスピーカに向かう聴取者の左又は右の真横にもっとも近づく位置に音像を配置する追加時間遅れに設定され、
   前記ゲイン設定手段は、前方のスピーカに向かう聴取者の左又は右の真横にもっとも近づく位置に音像を配置する追加ゲインに対して、この位置を１とする０から１までの範囲の所定の係数を掛け合わせた調整ゲインに変更することにより、聴取者に所望の音像位置を知覚させることを特徴とする移動音像生成装置。
2. 前記調整ゲインを決定する係数は、左右チャンネルの入力に対する音像調整フィルタの出力のレベル比であることを特徴とする請求項１に記載の移動音像生成装置。
3. 前記時間遅れ設定手段の追加時間遅れと、前記ゲイン設定手段の追加ゲインは、初期状態で予め以下のように設定されたものであることを特徴とする請求項１又は２に記載の移動音像生成装置。
   前記複数のバンドパスフィルタと同等の複数の試験用バンドパスフィルタＢＰ_ｉにインパルスを入力したときの各出力をそれぞれ第１試験信号Ｓｍ_ｉとし、
   前記第１試験信号Ｓｍ_ｉの位相を反転して第２試験信号Ｓｃ_ｉとし、
   前記第１試験信号Ｓｍ_ｉを前記スピーカの一方のチャンネルに入力すると共に、前記第２試験信号Ｓｃ_ｉを、時間遅れ調整器及びレベル調整器を通して前記スピーカの他方のチャンネルに入力し、前記スピーカが発生する音をステレオマイクロフォンで収音してその測定信号ＳＬ_ｉ，ＳＲ_ｉを取得し、
   前記第１試験信号Ｓｍ_ｉ又は前記第２試験信号Ｓｃ_ｉに応じた音を発生する音源を前方のスピーカに向かう聴取者の左又は右の真横にもっとも近づく位置に配置した時の音を表す信号を基準信号ＳＬ^＊ _ｉ，ＳＲ^＊ _ｉとして取得し、
   前記測定信号ＳＬ_ｉ，ＳＲ_ｉが前記基準信号ＳＬ^＊ _ｉ，ＳＲ^＊ _ｉに近似するように前記時間遅れ調整器及びレベル調整器により夫々時間遅れ及びレベルを調整し、
   前記調整した時間遅れを調整時間遅れτ_ｉとし、
   前記調整したレベルの前記第１試験信号Ｓｍ_ｉに対するゲインを調整ゲインｋ_ｉとし、
   前記音像調整フィルタの時間遅れ設定手段の追加時間遅れ及び前記ゲイン設定手段の追加ゲインは、それぞれ前記調整時間遅れτ_ｉ及び前記調整ゲインｋ_ｉとなるように設定される。
4. 以下のステップを含むことを特徴とする請求項１ないし３の何れかに記載の移動音像生成装置の設計方法。
   前記遅延回路の遅延時間を、前記複数のバンドパスフィルタの遅延時間に対応するように設定するステップと、
   前記複数のバンドパスフィルタと同等の複数の試験用バンドパスフィルタＢＰ_ｉにインパルスを入力したときの各出力をそれぞれ第１試験信号Ｓｍ_ｉとするステップと、
   前記第１試験信号Ｓｍ_ｉの位相を反転して第２試験信号Ｓｃ_ｉとするステップと、
   前記第１試験信号Ｓｍ_ｉを前記スピーカの一方のチャンネルに入力すると共に、前記第２試験信号Ｓｃ_ｉを、時間遅れ調整器及びレベル調整器を通して前記スピーカの他方のチャンネルに入力し、前記スピーカが発生する音をステレオマイクロフォンで収音してその測定信号ＳＬ_ｉ，ＳＲ_ｉを取得するステップと、
   前記第１試験信号Ｓｍ_ｉ又は前記第２試験信号Ｓｃ_ｉに応じた音を発生する音源を前方のスピーカに向かう聴取者の左又は右の真横にもっとも近づく位置に配置した時の音を表す信号を基準信号ＳＬ^＊ _ｉ，ＳＲ^＊ _ｉとして取得するステップと、
   前記測定信号ＳＬ_ｉ，ＳＲ_ｉが前記基準信号ＳＬ^＊ _ｉ，ＳＲ^＊ _ｉに近似するように前記時間遅れ調整器及びレベル調整器により夫々時間遅れ及びレベルを調整するステップと、
   前記調整した時間遅れを調整時間遅れτ_ｉとして取得するステップと、
   前記調整したレベルの前記第１試験信号Ｓｍ_ｉに対するゲインを調整ゲインｋ_ｉとして取得するステップと、
   前記時間遅れ設定手段の追加時間遅れと、前記ゲイン設定手段の追加ゲインを、それぞれ前記調整時間遅れτ_ｉ及び前記調整ゲインｋ_ｉとなるように設定するステップと、
   前記スピーカに向かう聴取者の左又は右の真横にもっとも近づく音像位置を１とする０から１までの範囲の所定の係数を掛け合わせることにより、聴取者に所望の音像位置を知覚させる調整ゲインに変更するステップ。

Images