JP6512767B2 - 音響処理装置および方法、並びにプログラム - Google Patents

Description

本発明は音響信号を編集・再生するための音響処理装置および方法に関する。

ダミーヘッドマイクロフォンで録音した２ｃｈ信号や、あるいは、モノラル音源信号に対して、音源方向の両耳の頭部伝達関数（Head-Related Transfer Function：ＨＲＴＦ）を各々畳み込んだ２ｃｈ信号をバイノーラル信号と呼ぶ。立体音響再生技術では、バイノーラル信号を再生することにより、人間が両耳で音を聴いている状態を再現し、臨場感のある立体的な音場を再現する。このような立体音響再生技術には、再生機器としてヘッドフォンを用いるバイノーラル再生技術と、スピーカーを用いるトランスオーラル再生技術がある。

このうち、バイノーラル再生では、前方の音像が頭内に定位してしまう問題がある。トランスオーラル再生では、この問題は解決されるが、聴取者の両耳に別々の信号を届けるために、再生に用いる複数のスピーカーと両耳間の伝達関数の影響を排除する処理が必要となる。特に、複数スピーカーの出力信号が耳への伝達経路において混じり、クロストークが生じることによる影響が強い。したがって、上記伝達関数の影響を排除する処理とは、このようなクロストークをキャンセルする処理となるため、この処理をクロストークキャンセルと呼んでいる。クロストークキャンセルを行うシステムは、キャンセルが正しく働く位置、いわゆる、スイートスポットが狭いという問題がある。そこで、従来技術では、クロストークキャンセルを行わない実音源（スピーカー）による信号と、立体音響信号とを混合して再生する試みがなされている。

例えば、特許文献１に開示されている技術では、５チャンネルサラウンド再生装置の左右のフロントスピーカーとサラウンドスピーカーの間に音像を定位させる場合に、６チャンネル以上の原音に基づいて、これらの間に定位すべき音像の角度を検出する。そして、検出された音像の角度に基づいて、フロントとサラウンドに振り分ける信号の音量レベルを決定するとともに、音像に対してＨＲＴＦを畳み込んで、音像の角度側のフロントとサラウンド信号に加算する。

また、特許文献２に開示される技術では、左右サラウンドチャンネル信号にスピーカー方向のＨＲＴＦを重畳し、さらにクロストークキャンセル処理を行いフロント左右チャンネルに加算する。センター信号はレベル調整した上でフロント左右チャンネルに均等に加算する。以上により５チャンネルサラウンド信号を２チャンネル信号に変換する。

また、モノラル音源信号の音像を任意の方向に定位させる音像位置の編集を行うパンニング編集システムが存在する。パンニング編集システムでは、ＧＵＩによって、ユーザーが音像を定位させる位置あるいは時間軌跡を指定し、それに基づいて音源信号に施す処理を決定、実行する。このようなパンニング編集システムにおいて、２チャンネルステレオ信号におけるパンニング編集を行う場合は、左右のチャンネルに割り当てる信号の振幅を変化させることにより、左右のスピーカー間に生じるファンタム音像の位置を制御する。また、立体音響再生方式では、音像方向に応じた両耳のＨＲＴＦを左右信号に各々重畳することにより、任意位置に立体音像を生成する。

特許第４９４９７０６号公報 特開平１１−１１３０９８号公報

トランスオーラル再生では、前方に再現されるべき音像を後方に感じてしまう、あるいは、後方に再現されるべき音像を前方に感じてしまうといった、音像の前後混同が生じやすいという課題がある。この要因として、水平面上の二つのスピーカーによる立体音響再生方式において、正面や後方の音像を再生するときは、ともに左右の差がない信号を再生することになるため、前後の区別が分からなくなるということが考えられる。

特許文献１に開示の技術では、５チャンネルサラウンド方式における実音源による音像定位を基本として、側方音源の定位を強調するためにＨＲＴＦを重畳した信号を用いている。よって、前方の音像の問題は生じないが、側方音源に対して厳密なクロストークキャンセルは行っていないため、明確な立体音像は再生できない。また、後方への音像定位が困難である。また、特許文献２に開示の技術は、サラウンドチャンネルを仮想的に再生するものであり、立体音響として決まった方向の音像しか提示できず、任意方向に音像提示ができない。

本発明は上述した課題に鑑みてなされたものであり、任意の音源方向における音像の定位の明確さを改善する音響編集装置およびその制御方法を提供することを目的とする。

上記の目的を達成するための本発明の一態様による音響処理装置は、以下の構成を有する。すなわち、
音響信号を取得する取得手段と、
前記取得手段により取得される音響信号に基づくステレオ信号を生成する第１生成手段と、
前記取得手段により取得される音響信号に基づくバイノーラル信号を生成する第２生成手段と、
音を再生する複数のスピーカーの配置に関連して設定される複数の方向に基づいて、３以上の方向範囲を設定する設定手段であって、前記複数のスピーカーのうちの２つのスピーカーに関連付けられる２方向の間に含まれる第１方向範囲と、前記２つのスピーカーの何れかに関連付けられる方向を含む第２方向範囲と、前記第１方向範囲及び前記第２方向範囲を含まない第３方向範囲とを有する前記３以上の方向範囲を設定する設定手段と、
前記第１生成手段により生成されるステレオ信号と前記第２生成手段により生成されるバイノーラル信号との少なくとも何れかを含む出力信号を出力する出力手段であって、前記取得手段により取得される音響信号に対応する音源方向が前記設定手段により設定される前記３以上の方向範囲の何れに含まれるかに基づいて前記バイノーラル信号と前記ステレオ信号それぞれの大きさが決定された前記出力信号を出力する出力手段とを有する。

本発明によれば、任意の音源方向における音像の定位の明確さを改善することができる。

第１実施形態の音響編集装置の一構成例を示すブロック図。 第１実施形態の音響編集装置による音源定位処理を示すフローチャート。 第１実施形態の想定されたスピーカー配置の模式図。 第１実施形態の音響編集装置において出力されるステレオ信号とバイノーラル信号の出力レベル比と音源方向の関係を示す図。 第１実施形態の音響再生装置の一構成例を示すブロック図。 第２実施形態の音響編集装置の構成例を示すブロック図。 第２実施形態の音響編集装置による音源定位処理を示すフローチャート。 第２実施形態の想定されたスピーカー配置の模式図。 第２実施形態による音響編集装置において出力されるステレオ信号とバイノーラル信号の後方信号の出力レベル比と音源方向の関係を示す図。 第２実施形態の音響再生装置の一構成例を示すブロック図である。 一般的なクロストークキャンセル装置の構成例を示すブロック図。 スピーカーの配置角度５度におけるクロストークキャンセルフィルタの周波数特性を示す図。

以下、添付の図面を参照して、本発明の好適な実施形態のいくつかを説明する。

＜第１実施形態＞
図１は本実施形態の音響処理装置の一例である音響編集装置の構成例を示すブロック図である。図１において、フレーム分割部１は、入力される音源信号を処理単位であるフレーム長で逐次分割して、フレーム信号として出力する。ステレオパンニング部２は、音像位置制御部３によって送信される制御信号に応じて、フレーム信号に対してステレオパンニング処理を行い、ステレオ信号を出力する。音像位置制御部３は、入力される音源位置（音源方向）に従って各種制御信号を生成し、ステレオパンニング部２、バイノーラル信号生成部５、レベル変換部６、７に送信する。ＨＲＴＦデータベース４は、種々の音源方向に対する両耳の頭部伝達関数ＨＲＴＦ（Head-Related Transfer Function：ＨＲＴＦ）に関する情報を格納する。ＨＲＴＦデータベース４は、音像位置制御部３の要求に応じて、適宜ＨＲＴＦに関する情報を音像位置制御部３に出力する。

バイノーラル信号生成部５は、音像位置制御部３により制御信号とともに送信されるＨＲＴＦを、音源信号に畳み込むことによって、入力される音源信号をバイノーラル信号に変換、出力する。レベル変換部６、７は、各々の入力信号を音像位置制御部３が送信するレベル制御信号に従ってレベル変換を行って出力する。音像位置制御部３は、これらのレベル変換部に送信するレベル制御信号を適宜制御することによって、ステレオ信号とバイノーラル信号の出力レベル比を制御し、クロスフェード処理を行う。

以下、上述のような構成を備えた本実施形態の音響編集装置による、入力される音源方向に応じてステレオ信号とバイノーラル信号を編集する一連の動作について説明する。図２は、本実施形態による音響編集装置による音源定位処理を示すフローチャートである。

Ｓ１において、フレーム分割部１は、入力されるモノラルの音源信号から処理単位フレーム長の信号（フレーム信号）を切り出す。本実施形態において、フレーム長は予め定められており、フレーム分割部１内部のＲＡＭに格納されている。フレーム長に切り出された音源信号（フレーム信号）は、ステレオパンニング部２と、バイノーラル信号生成部５に送信される。Ｓ２において、音像位置制御部３は音源方向χを取得する。なお、本実施形態においては、説明の便宜のため、音源方向は水平面における角度とし、聴取者正面方向を０°、左を負値、右を正値として±１８０°の範囲で表現する。

Ｓ３において、音像位置制御部３は、Ｓ２で取得した音源方向χが、予め定められたスピーカー配置角度近傍かどうかを判定する。図３は、本実施形態における想定されたスピーカー配置の模式図である。本実施形態の音響編集装置が想定している再生用のスピーカーは２個であり、聴取者の前方に左右対称の角度で設置されているものとする。図３に示すように、本実施形態では、このスピーカーの設置角（スピーカー配置角度）を±θ（θ＞０）とし、その近傍の範囲の角度を±α（θ＞α＞０）とする。すなわち、音源方向χが、−θ−αから−θ＋αまでの範囲にある場合、もしくは、θ−αからθ＋αの範囲にある場合、音像位置制御部３は音源方向がスピーカー配置角度近傍であると判定する。なお、スピーカー配置角度θと近傍角αは予め音像位置制御部３に内蔵されるＲＡＭに格納されている。この判定の結果、音源方向がスピーカー配置角度近傍である場合には処理はＳ４へ、配置角度近傍ではない場合には処理はＳ９へ進む。

Ｓ４において、音像位置制御部３は、音源方向χとスピーカー配置角度θに基づき、ステレオパンニングの際の、左右のチャンネルに対する音響信号の振幅ゲインを算出する。例えば、音像位置制御部３は、サイン則に基づき、左右チャンネルの振幅ゲインｇ_Ｌ、ｇ_Ｒを次式に従って算出する。算出された振幅ゲインは、制御信号としてステレオパンニング部２へ送信される。

Ｓ５において、ステレオパンニング部２は、Ｓ１で切り出された音源信号とＳ４で決定された振幅ゲインを用いてステレオパンニングを行い、ステレオ信号を得る。たとえば、ステレオパンニング部２は、音源信号と振幅ゲインの積をとることで左右チャンネルの信号、すなわちステレオ信号を生成する。ステレオパンニングにより得られたステレオ信号はレベル変換部６へ送信される。

Ｓ６において、音像位置制御部３は、Ｓ２で取得した音源方向χをキーとしてＨＲＴＦデータベース４を検索し、音源方向χに対応する両耳のＨＲＴＦを取得する。取得されたＨＲＴＦは、制御信号として音源位置制御部３からバイノーラル信号生成部５へ送信される。Ｓ７において、バイノーラル信号生成部５は、Ｓ１で切り出された音源信号に対して、Ｓ６で受信した両耳のＨＲＴＦを左右別々に畳み込む事により、バイノーラル信号を生成する。生成されたバイノーラル信号はレベル変換部７へ送信される。

Ｓ８において、音像位置制御部３は、Ｓ２で取得した音源方向χに従って、ステレオ信号の出力レベル比とバイノーラル信号の出力レベル比を算出する。本実施形態において、スピーカー配置角度θ近傍では、音源方向χがより側方にあるほど、ステレオ信号のレベルを減少させるとともに、バイノーラル信号のレベルを増加させる。このようなクロスフェード処理を行うことによって、音源方向χの移動によって生じるステレオ信号からバイノーラル信号への切り替えを、聴感上で違和感を生じることなく実施できる。たとえば、スピーカー配置角度θの近傍（θ−α）から（θ＋α）の間に音像方向χが位置する場合、ステレオ信号のレベル比ｌ_ｓとバイノーラル信号のレベル比ｌ_ｂは次式によって計算することができる。

同様に、音像方向χがθの近傍−(θ＋α)から−(θ−α)の間に位置する場合、ｌ_ｓとｌ_ｂは次式によって計算することができる。

以上のようにして計算されたステレオ信号レベル比ｌ_ｓは、制御信号としてレベル変換部６へ送信される。同様に、以上のようにして計算されたバイノーラル信号レベル比ｌ_ｂは、制御信号としてレベル変換部７へ送信される。Ｓ８の処理を終えると、処理はＳ１６へ進む。

一方、Ｓ３の判定において音源方向χがスピーカー配置角度近傍ではない場合、Ｓ９に処理が進む。Ｓ９において、音像位置制御部３は、音源方向χがスピーカー配置間隔以内、すなわち、−θ＋αからθ−αまでの範囲にあるかどうかを判定する。この判定の結果、音源方向がスピーカー配置間隔以内の場合は、Ｓ１０へ処理が進み、そうでない場合は、Ｓ１３へ処理が進む。

まず、音源方向χがスピーカー配置間隔以内にある場合の処理において、Ｓ１０、Ｓ１１は、Ｓ４、Ｓ５と同じ処理であるので説明を省略する。Ｓ１２において、音像位置制御部３は、レベル変換部６に対して出力レベル比を１とする制御信号（ステレオ信号レベル比ｌ_ｓ）を送信し、かつ、レベル変換部７に対して出力レベル比（バイノーラル信号レベル比ｌ_ｂ）を０とする制御信号を送信する。これにより、本構成の音響編集装置からはステレオ信号のみが出力されることになる。Ｓ１２の処理を終えると、処理はＳ１６へ進む。

一方、音源方向χがスピーカー配置間隔外にある場合の処理において、Ｓ１３、Ｓ１４は、Ｓ６、Ｓ７と同じ処理であるので説明を省略する。Ｓ１５において、音像位置制御部３は、レベル変換部６に対して出力レベル比（ステレオ信号レベル比ｌ_ｓ）を０とする制御信号を送信し、かつ、レベル変換部７に対して出力レベル比（バイノーラル信号レベル比ｌ_ｂ）を１とする制御信号を送信する。これにより、本構成の音響編集装置からはバイノーラル信号のみが出力されることになる。Ｓ１５の処理を終えると、処理はＳ１６へ進む。

Ｓ１６において、レベル変換部６、７は、Ｓ８、もしくはＳ１２、もしくはＳ１５において、音像位置制御部３から送信された信号レベル比に応じて、ステレオ信号とバイノーラル信号の出力レベルを各々変換して出力する。この処理は、ステレオ信号とバイノーラル信号の各信号の振幅とステレオ信号レベル比ｌ_ｓ、バイノーラル信号レベル比ｌ_ｂとの積を各々算出するものである。Ｓ１７において、フレーム分割部１において入力信号の受信が終了したかどうかが判定される。この判定の結果、入力信号が終了していない場合、処理はＳ２へ戻り、上述した処理が繰り返される。他方、入力信号が終了したと判定された場合は、音響編集処理を終了する。

図４は、音源方向χと、ステレオ信号、バイノーラル信号の出力レベル比の関係を示している。上述したように、Ｓ８，Ｓ１２，Ｓ１５で音像位置制御部３により生成された制御信号（出力レベル比）に応じて、Ｓ１６でステレオ信号とバイノーラル信号の出力レベルが制御される。これにより、図４に示されるように、音源方向χに応じて、ステレオ信号とバイノーラル信号の出力レベル比が制御される。すなわち、聴取者の正面を０°とし、スピーカー配置角度を±θ°とした場合に、
・音源方向が０°を含む±θ°の間（スピーカー配置角度の内側）にある場合は、ステレオ信号の信号レベル比をバイノーラル信号の信号レベル比より高く設定し、
・音源方向が０°を含まない±θ°の間（スピーカー配置角度の外側）にある場合は、バイノーラル信号の信号レベル比をステレオ信号の信号レベル比よりも高く設定している。特に、本実施形態では、
・前記スピーカー配置角度の内側の音源方向では前記ステレオ信号の信号レベル比を１に、前記バイノーラル信号の信号レベル比を０に決定し、
・前記スピーカー配置角度の外側の音源方向では前記バイノーラル信号の信号レベル比を１に、前記ステレオ信号の信号レベル比を０に決定している。
これにより、スピーカー配置角度の内側ではステレオ信号が優勢になるため、前方の音像がより明瞭になる。

また、ステレオ信号とバイノーラル信号が切り替わるスピーカー配置角度近傍では、クロスフェード処理が行われる。すなわち、音源方向がスピーカー配置角度を含む所定範囲（θ±α、−θ±α）にある間は、ステレオ信号とバイノーラル信号の信号レベル比が音源方向に応じて徐々に変化するように決定される。そのため、視聴者に違和感を与えずに、ステレオ信号とバイノーラル信号の切り換えが行われる。

図５は、本実施形態による音響編集装置によって作成した音響信号を再生するための、音響処理装置の一例としての音響再生装置の一構成例を示すブロック図である。音響再生装置は、上述した音響編集装置により一つのモノラル音源信号から生成されたステレオ信号とバイノーラル信号を入力し、スピーカー３４を駆動する信号を生成する。

図５において、レベル調整部３１は、クロストークキャンセル部３２から送信される制御信号に応じて、入力されるステレオ信号のレベルを調整して出力する。クロストークキャンセル部３２は、入力されるスピーカー配置角度に応じて、２つのスピーカー３４から聴取者イの両耳までの伝達経路によって生じるクロストークを除去するフィルタを生成する。そして、生成されたフィルタを逐次入力されるバイノーラル信号に畳み込むことによりクロストークキャンセル処理を実行する。また、クロストークキャンセル処理によって生じるレベル減衰量を計算し、レベル調整部３１に送信する。なお、クロストークキャンセル処理の詳細については図１１を用いて後述する。

加算部３３は、入力される複数の音響信号を逐次単純に加算して出力する。スピーカー３４は、入力される音響信号を適宜増幅して音に変換して出力する。なお、聴取者イは本実施形態の構成要素ではなく、説明の便宜上、聴取者のイメージを模式的に示している。

以下、図１１を用いて一般的なクロストークキャンセル処理について説明する。図１１は、使用するスピーカーが２個の場合、つまり、２チャンネル再生環境における一般的なクロストークキャンセル処理を説明するための模式図である。２チャンネル再生環境では、左右二つのスピーカーと、聴取者の両耳の間に、合わせて４つの音響伝達経路ができるとして考えることができる。図１１に示すように、左スピーカーから左耳の伝達関数をＨ_ＬＬ、左スピーカーから右耳への伝達関数をＨ_ＬＲ、右スピーカーから左耳への伝達関数をＨ_ＲＬ、右スピーカーから右耳への伝達関数をＨ_ＲＲとする。クロストークキャンセル処理を行わずに、直接再生した場合、入力信号（Ｌ_ｉｎ，Ｒ_ｉｎ）と聴取者の両耳に届く聴取信号（Ｌ_ｅａｒ，Ｒ_ｅａｒ）との間には次の（４）式の関係が成立する。

ここで、（５）式のＡを、伝達関数行列とする。

クロストークキャンセル処理は、聴取信号を入力信号と同一にする処理であるので、クロストークキャンセル部３２のフィルタＸ_１〜Ｘ_４により再生環境による伝達関数行列Ａの逆行列Ｘを設計すればよい。

式（４）にこの逆行列Ｘを左から掛けると、入力信号と聴取信号が次式のように同一になる。

よって、図１１に示すクロストークキャンセル部３２における各フィルタＸ_１，Ｘ_２，Ｘ_３，Ｘ_４を（６）式の伝達関数を満たすように設計することで、クロストークキャンセル処理を正確に行うことができる。

このようにして設計したクロストークキャンセルフィルタの典型的な特性を、図１２に示す。図１２は、２つのスピーカーが聴取者正面に対して左右５度の方向にある場合にトランスオーラル再生を行う場合の、２チャンネルクロストークキャンセルフィルタの周波数特性である。クロストークキャンセルフィルタは複数のスピーカー間の干渉を補正するフィルタであるため、図示したように高域に強いピークが現れる。図１２の例では、１０ｋＨｚ近傍にピークが生じている。２チャンネルトランスオーラル再生の場合、このピークが生じる周波数は、２つのスピーカーから各耳までの経路差で決定される。よって、スピーカーの配置角度に応じて経路差が変化するため、クロストークキャンセルフィルタもスピーカーの配置角度に応じて設計する必要が生じる。

また、クロストークキャンセルフィルタの特性は、干渉を補正するピークを除く全体の特性が、低周波数域から高周波数域にかけて減衰する特性になる。よって、バイノーラル信号においては、フィルタを畳み込むことにより聴感上のレベル減衰が生じる。よって、バイノーラル信号とステレオ信号のレベルバランスを、実行されたクロストークキャンセル処理の特性に応じて、加算部３３において加算される前のステレオ信号の信号レベルを調整する必要がある。なお、上述のように、クロストークキャンセル信号の特性はスピーカー配置角度に応じて決定されるので、レベル調整部３１はスピーカー配置角度に応じてステレオ信号のレベルを適宜調整するようにしてもよい。

図５の構成による音響再生装置に、本実施形態の音響編集装置（図１）によって作成したステレオ信号とバイノーラル信号を入力すると、バイノーラル信号に対してはクロストークキャンセル部３２によりスピーカー配置角度に応じた適切なクロストークキャンセル処理が行われる。同時に、ステレオ信号には、レベル調整部３１により、クロストークキャンセル処理によって減衰するバイノーラル信号のレベルと同等のレベルとなるように調整が行われる。これらバイノーラル信号とステレオ信号を加算して出力することにより、音源位置が移動してステレオ信号とバイノーラル信号の切り替えが生じても聴感上で違和感を生じないように再生することができる。

以上説明したように、本実施形態によれば、トランスオーラル再生において前後混同しやすい前方の音源に対しては、前方の二つのスピーカーによって直接再生する通常のステレオ信号を生成する。そして、それ以外の方向については、バイノーラル信号を生成する。このようにすることにより、前後混同の発生を抑制しつつ、あらゆる任意の方向に明確な音像を定位させることができる音響信号を生成することができる。また、スピーカー配置方向の近傍に位置する音源に対しては、クロスフェード処理を行うことによって、音源を移動させる場合に、再生信号が切り替わっても聴感上の違和感を生じない音響信号を生成することができる。

さらに、本実施形態の音響編集装置によって編集した音響信号を専用の再生部によって再生することにより、再生信号の切り替えによって生じるレベルの変化を抑制しつつ、前後混同を生じさせずにあらゆる任意の方向に音像が定位する立体音響再生を行うことができる。

なお、本実施形態では、ステレオパンニング手法としてサイン則を用いる例を説明したが、これに限られるものではない。たとえば、線形則や平方根則、タンジェント則などのその他のステレオパンニング手法を用いても、本発明の主旨に影響することはなく、同様の効果を得ることができる。また、本実施形態では音響編集装置の出力と音響再生装置の入力間については特に明示していないが、音響編集装置と音響再生装置の入出力を直結すれば、もちろん同様の効果が得られる。さらに、音響編集装置の出力を一旦外部記憶装置等に記憶し、再生時に記憶装置から読み込んで音響再生装置に入力する場合においても、ステレオ信号とバイノーラル信号の同期をとることによって、同様の効果を得ることができる。

また、本実施形態ではスピーカー配置角度θが予め定められている場合について説明したが、任意のスピーカー配置角度をユーザー指定により音像位置制御部３に入力するようにしてもよい。この場合、図２のＳ２において、音像位置制御部３は、音源方向を取得して内部ＲＡＭに格納するとともに、スピーカー配置角度も取得して内部ＲＡＭに格納する。これにより、スピーカー配置角度θを任意に変えた場合にも、本発明を適用して同様の効果を得ることができる。なお、音像位置制御部３に入力するスピーカー配置角度と、音響再生装置（図５）に入力されるスピーカー配置角度は同じ値とする。

また、本実施形態では水平面の音源方向に対する動作を説明したが、本発明は三次元空間における方向に対しても有効であり、俯角を含めた三次元の方向に拡張して実施することもできる。例えば、聴取者の耳の高さに俯角０°の水平面を設定し、水平面におけるスピーカー配置角度±θの正面水平方向に対して、俯角±１５°を閾値として設定する。そして、その間の俯角方向では前方スピーカーによるステレオ再生を行い、その外側の俯角方向に対してはバイノーラル再生を行うとしてもよい。その他、主旨逸脱することのない範囲において本発明を他の構成で実施することが可能である。

＜第２実施形態＞
第１実施形態では、聴取者の前方に２つのスピーカーを配置する場合について説明した。第２実施形態においては、聴取者の後方にもスピーカーを配置する場合について説明する。図６は、第２実施形態における音響編集装置の構成例を示すブロック図である。図６に示される構成において、第１実施形態の構成（図１）と同様の構成については同一の参照番号を付してある。

図６において、音像位置制御部２１は、入力される音源方向とスピーカー配置角度に応じて、パンニング制御を含む各種制御信号を生成し、ステレオパンニング部２、バイノーラル信号生成部５、レベル変換部６、７、２２に送信する。レベル変換部２２は、音像位置制御部２１が送信するレベル制御信号に従って、入力される音響信号のレベルを適宜制御し、聴取者の後方に出力するための後方信号を出力する後方信号出力部として機能する。音像位置制御部２１は、レベル変換部６、７、２２に送信するレベル制御信号を適宜制御することにより、ステレオ信号とバイノーラル信号の出力レベル比や、後方信号とバイノーラル信号の出力レベル比を制御し、クロスフェード処理を行う。

以下、図示の構成において、入力される音源方向とスピーカー配置角度に応じてステレオ信号、バイノーラル信号、後方信号を編集する一連の動作をフローに従って説明する。

図７は、第２実施形態による音響編集装置による音源定位処理を示すフローチャートである。なお、図７において、Ｓ１からＳ１５までの処理とＳ１７の処理は、第１実施形態（図２）と同様の処理である。Ｓ１０１において、音像位置制御部２１は、スピーカー配置角度を取得する。なお、第１実施形態で説明したように、スピーカー配置角度が予め決められている場合は、この処理は省略可能である。

Ｓ２０１において、音像位置制御部２１は、音源方向χが聴取者の真後ろから左右θの角度範囲内にあるかどうかを判定する。図８は、第２実施形態における想定されたスピーカー配置の模式図である。第２実施形態の音響編集装置が想定している再生用のスピーカーは３個であり、聴取者の前方に左右対称の角度θに２個と、聴取者の真後ろに１個設置されているものとする。トランスオーラル再生において後方の音像に対する前後混同が生じる角度は、前方に設置したスピーカーの配置角度に依存する。よって、後方についても前方のスピーカー配置角度θと同じ範囲において、後方スピーカーから直接音源を再生することにより、後方音像をトランスオーラル再生によって生成する際に生じる前後混同を避けることができる。

Ｓ２０１における判定の結果、音源方向χが聴取者の真後ろを中心とする左右θの角度範囲内（音源方向が１８０°を挟んで±（１８０°−θ）の範囲内）にある場合は、処理はＳ２０２へ進む。そうでない場合は、Ｓ３へ進む。Ｓ２０２、Ｓ２０３は、各々図２のＳ６、Ｓ７と同様の処理である。Ｓ２０４において、音像位置制御部２１は、Ｓ２で取得した音源方向χに従って、後方信号の出力レベル比とバイノーラル信号の出力レベル比を算出する。第２実施形態において、音源方向が聴取者の真後ろ、つまり、１８０°にある場合は、後方信号のみを出力し、音源方向χが±（１８０°−θ）に近づくほど、後方信号のレベルを減少させるとともに、バイノーラル信号のレベルを増加させる。このようなクロスフェード処理を行うことによって、音源方向χの移動によって生じる後方信号からバイノーラル信号への切り替えを、聴感上で違和感を生じることなく実施できる。

例えば、１８０°−θから１８０°の間に音像方向χが位置する場合、後方信号のレベル比ｌ_ｒとバイノーラル信号のレベル比ｌ_ｂは次式によって計算することができる。

同様に、音像方向χが−１８０°から−（１８０°−θ）の間に位置する場合、ｌ_rとｌ_ｂは次式によって計算することができる。

次に、Ｓ２０５において、レベル変換部６、７、２１は、Ｓ８、Ｓ１２、Ｓ１５、もしくはＳ２０４でレベル変換部６、７、２１に送信された信号レベル比に応じて、ステレオ信号、バイノーラル信号、後方信号の出力レベルを各々変換して出力する。この処理は、ステレオ信号、バイノーラル信号、後方信号の各信号の振幅とｌ_ｓ、ｌ_ｂ、ｌ_ｒとの積を各々算出することによって実行される。

図９は、音源方向χと、ステレオ信号、バイノーラル信号、後方信号の出力レベル比の関係を示している。Ｓ８，Ｓ１２，Ｓ１５、Ｓ２０４の制御信号に応じてステレオ信号、バイノーラル信号、後方信号の出力レベルを制御することにより、図９に示すように、音源方向χに応じてこれらの信号の出力レベル比が制御される。ステレオ信号とバイノーラル信号が切り替わる前方スピーカー配置角度近傍では、クロスフェード処理が行われる。また、後方信号とバイノーラル信号が切り替わる１８０°近傍でも、クロスフェード処理が行われる。Ｓ２０６において、レベル変換部６、７、２２は、Ｓ８、Ｓ１２、Ｓ１５もしくはＳ２０４において音像位置制御部２１から送信された信号レベル比に応じて、ステレオ信号、バイノーラル信号、後方信号の出力レベルを各々変換して出力する。

図１０は、第２実施形態による音響編集装置によって作成した音響信号を再生するための音響再生装置の構成例を示すブロック図である。図１０に示される構成において、第１実施形態（図５）と同様の構成には、同一の参照番号を付してある。レベル調整部３５は、クロストークキャンセル部３２から送信される制御信号に従って、入力された後方信号のレベルを適宜制御して出力する。これにより、クロストークキャンセル処理が行われたバイノーラル信号と後方信号のレベルを一致させることができるので、バイノーラル信号と後方信号の切り替えを聴感上の違和感を生じることなく実施することができる。

以上説明したように、上記各実施形態によれば、トランスオーラル再生において前後混同しやすい前方の音源に対しては、前方スピーカーで直接再生するステレオ信号を生成する。さらに、同じく前後混同しやすい後方の音源に対しては、後方スピーカーで再生する信号を生成する。そして、それ以外の方向の音源についてはバイノーラル信号を生成することにより、前後混同の発生を抑制しつつ、あらゆる任意の方向に明確な音像を定位させることができる音響信号を生成することができる。また、後方の音源に対して、後方信号とバイノーラル信号のクロスフェード処理を行うことによって、音源の移動に伴い再生信号が切り替わっても聴感上の違和感を生じない音響信号を生成することができる。

さらに、第２実施形態によれば、音響編集装置によって編集した音響信号を後方スピーカーを含む音響再生装置によって再生することにより、後方信号とクロストークキャンセル信号の切り替えによって生じるレベルの変化を抑制できる。それにより、前後混同を生じさせずにあらゆる任意の方向に音像が定位する立体音響再生を行うことができる。

なお、本実施形態では後方のスピーカーを一個配置するものとしたが、後方に複数のスピーカーを設置する場合でも同様な処理が可能である。さらに、後方に配置された複数のスピーカーにおけるステレオ処理を加えることによって、直接音源による音像定位をさらに明確にすることができる。また、本実施形態では、クロスフェード手法として単純な線形則を用いて説明したが、対数側などのその他のクロスフェード手法を用いても、本発明の主旨に影響することはなく、同様の効果を得ることができる。

また、本発明の手法を一般的な５．１ｃｈサラウンド配置の再生システムにおいて摘要することで、５．１ｃｈサラウンド配置では難しい側方と後方の音像を強調することも可能である。例えば、側方や後方に音源定位させる場合に、センタースピーカーとしてダイポールステレオスピーカーを配置し、立体音響信号を生成して５．１ｃｈ信号とともに再生することで、スピーカーを配置しない側方や後方の音像をより明確に定位させることができる。

その他、主旨逸脱することのない範囲において本発明を他の構成で実施することが可能である。たとえば、図１、図５、図６、図１０、図１１に示した各部は、それぞれ専用のハードウエアで構成されてもよいし、その一部あるいは全てが、メモリに格納された所定のプログラムを実行するコンピュータにより実現されてもよい。すなわち、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１：フレーム分割部、２：ステレオパンニング部、３：音像位置制御部、４：ＨＲＴＦデータベース、５：バイノーラル信号生成部、６，７：レベル変換部、３１：レベル調整部、３２：クロストークキャンセル部、３３：加算部、３４：スピーカー

Claims (20)

1. 音響信号を取得する取得手段と、
   前記取得手段により取得される音響信号に基づくステレオ信号を生成する第１生成手段と、
   前記取得手段により取得される音響信号に基づくバイノーラル信号を生成する第２生成手段と、
   音を再生する複数のスピーカーの配置に関連して設定される複数の方向に基づいて、３以上の方向範囲を設定する設定手段であって、前記複数のスピーカーのうちの２つのスピーカーに関連付けられる２方向の間に含まれる第１方向範囲と、前記２つのスピーカーの何れかに関連付けられる方向を含む第２方向範囲と、前記第１方向範囲及び前記第２方向範囲を含まない第３方向範囲とを有する前記３以上の方向範囲を設定する設定手段と、
   前記第１生成手段により生成されるステレオ信号と前記第２生成手段により生成されるバイノーラル信号との少なくとも何れかを含む出力信号を出力する出力手段であって、前記取得手段により取得される音響信号に対応する音源方向が前記設定手段により設定される前記３以上の方向範囲の何れに含まれるかに基づいて前記バイノーラル信号と前記ステレオ信号それぞれの大きさが決定された前記出力信号を出力する出力手段とを有することを特徴とする音響処理装置。
2. 前記第１生成手段は、前記取得手段により取得される音響信号に対して前記音源方向に応じたパンニング処理を行うことで前記ステレオ信号を生成し、
   前記第２生成手段は、前記取得手段により取得される音響信号に対して前記音源方向に応じた頭部伝達関数を適用することで前記バイノーラル信号を生成することを特徴とする請求項１に記載の音響処理装置。
3. 前記出力手段は、前記音源方向が前記第２方向範囲に含まれる場合であり且つ前記複数のスピーカーの配置に関する基準方向と前記音源方向との差が閾値未満である場合には、前記音源方向が前記第２方向範囲に含まれる場合であり且つ当該差が前記閾値以上である場合よりも、前記バイノーラル信号に対する前記ステレオ信号の比率が大きい出力信号を出力することを特徴とする請求項１又は２に記載の音響処理装置。
4. 前記基準方向は、前記２つのスピーカーに関連付けられる２方向の中心方向であることを特徴とする請求項３に記載の音響処理装置。
5. 前記基準方向と前記音源方向との差が前記閾値未満である場合とは、前記音源方向が前記２つのスピーカーに関連付けられる２方向の間の方向となる場合であることを特徴とする請求項４に記載の音響処理装置。
6. 前記２つのスピーカーに関連付けられる２方向は、ユーザによる入力に応じて指定される方向であることを特徴とする請求項４に記載の音響処理装置。
7. 前記基準方向は、前記複数のスピーカーにより再生される音を聴く聴取者の正面方向として規定されることを特徴とする請求項３に記載の音響処理装置。
8. 前記出力手段は、
   前記音源方向が前記第１方向範囲に含まれる場合には、前記ステレオ信号を含み且つ前記バイノーラル信号を含まない出力信号を出力し、
   前記音源方向が前記第３方向範囲に含まれる場合には、前記ステレオ信号を含まず且つ前記バイノーラル信号を含む出力信号を出力することを特徴とする請求項３乃至７の何れか１項に記載の音響処理装置。
9. 前記出力手段は、前記音源方向が前記第２方向範囲に含まれる場合には、前記音源方向が前記基準方向に近いほど前記バイノーラル信号に対する前記ステレオ信号の比率が大きい出力信号を出力することを特徴とする請求項８に記載の音響処理装置。
10. 前記取得手段により取得される音響信号に基づくモノラル信号を生成する第３生成手段を有し、
    前記設定手段により設定される前記３以上の方向範囲は、前記２つのスピーカーとは別のスピーカーに関連付けられる方向を含む第４方向範囲を有し、
    前記出力手段は、前記音源方向が前記第４方向範囲に含まれる場合には、前記第３生成手段により生成されるモノラル信号を含む出力信号を出力することを特徴とする請求項３乃至７のいずれか１項に記載の音響処理装置。
11. 前記別のスピーカーに関連付けられる方向は、前記基準方向の略反対方向であることを特徴とする請求項１０に記載の音響処理装置。
12. 前記出力手段は、
    前記音源方向が前記第１乃至第３方向範囲の何れかに含まれる場合には、前記モノラル信号を含まない出力信号を出力し、
    前記音源方向が前記第４方向範囲に含まれる場合であり且つ前記別のスピーカーに関連付けられる方向と前記音源方向との差が第２閾値未満である場合には、前記モノラル信号を含み且つ前記バイノーラル信号を含まない出力信号を出力することを特徴とする請求項１０又は１１に記載の音響処理装置。
13. 前記出力手段は、前記音源方向が前記第４方向範囲に含まれる場合であり且つ前記別のスピーカーに関連付けられる方向と前記音源方向との差が前記第２閾値以上である場合には、前記音源方向が前記別のスピーカーに関連付けられる方向に近いほど前記バイノーラル信号に対する前記モノラル信号の比率が大きい出力信号を出力することを特徴とする請求項１２に記載の音響処理装置。
14. 前記出力手段は、前記出力信号としての前記バイノーラル信号と前記ステレオ信号とを別々に出力することを特徴とする請求項１乃至９の何れか１項に記載の音響処理装置。
15. 前記設定手段により設定される前記３以上の方向範囲は、前記２つのスピーカーのうち前記第２方向範囲に対応するスピーカーとは異なるスピーカーに関連付けられる方向を含む第５方向範囲を有することを特徴とする請求項１乃至１４の何れか１項に記載の音響処理装置。
16. 同一の音響信号に基づいて生成されるモノラル信号とバイノーラル信号とを含む入力信号を受け付ける受付手段と、
    前記受付手段により受け付けられる入力信号に含まれるバイノーラル信号に対するクロストークキャンセル処理を、スピーカーの配置に関する情報に基づいて行う処理手段と、
    前記受付手段により受け付けられる入力信号に含まれるモノラル信号の信号レベルを、前記処理手段によるクロストークキャンセル処理の特性に応じて調整する調整手段と、
    前記処理手段によりクロストークキャンセル処理されたバイノーラル信号に基づいて複数のチャンネルの信号を生成する生成手段と、
    前記生成手段により生成される信号を、前記複数のチャンネルに対応する複数のスピーカーを駆動するための信号として出力し、且つ、前記調整手段により調整されたモノラル信号を、前記複数のスピーカーとは異なるスピーカーを駆動するための信号として出力する出力手段とを有することを特徴とする音響処理装置。
17. 前記受付手段は、同一の音響信号に基づいて生成されるモノラル信号とステレオ信号とバイノーラル信号とを含む入力信号を受け付け、
    前記調整手段は、前記受付手段により受け付けられる入力信号に含まれるステレオ信号の信号レベルを、前記処理手段によるクロストークキャンセル処理の特性に応じて調整し、
    前記生成手段は、前記調整手段により調整されたステレオ信号と前記処理手段によりクロストークキャンセル処理されたバイノーラル信号とをチャンネルごとに合成することで、前記複数のチャンネルの信号を生成することを特徴とする請求項１６に記載の音響処理装置。
18. 音響信号を取得する取得工程と、
    音を再生する複数のスピーカーの配置に関連して設定される複数の方向に基づいて、３以上の方向範囲を設定する設定工程であって、前記複数のスピーカーのうちの２つのスピーカーに関連付けられる２方向の間に含まれる第１方向範囲と、前記２つのスピーカーの何れかに関連付けられる方向を含む第２方向範囲と、前記第１方向範囲及び前記第２方向範囲を含まない第３方向範囲とを有する前記３以上の方向範囲を設定する設定工程と、
    前記取得工程において取得される音響信号に対応する音源方向が前記第１方向範囲に含まれる場合には、前記複数のスピーカーを駆動するための信号として前記音響信号に基づいて生成されるステレオ信号を出力し、前記音源方向が前記第３方向範囲に含まれる場合には、前記複数のスピーカーを駆動するための信号として前記音響信号に基づいて生成されるバイノーラル信号を出力し、前記音源方向が前記第２方向範囲に含まれる場合には、前記音響信号に基づいて生成されるステレオ信号とバイノーラル信号との両方を含む信号を、前記複数のスピーカーを駆動するための信号として出力する出力工程とを有することを特徴とする音響処理方法。
19. 前記設定工程において設定される前記３以上の方向範囲は、前記２つのスピーカーのうち前記第２方向範囲に対応するスピーカーとは異なるスピーカーに関連付けられる方向を含む第４方向範囲を有し、
    前記出力工程においては、前記音源方向が前記第４方向範囲に含まれる場合には、前記音響信号に基づいて生成されるステレオ信号とバイノーラル信号との両方を含む信号を、前記複数のスピーカーを駆動するための信号として出力することを特徴とする請求項１８に記載の音響処理方法。
20. コンピュータを請求項１乃至１７のいずれか１項に記載の音響処理装置の各手段として機能させるためのプログラム。

Images