JP5651813B1 - 音声信号処理装置、および音声信号処理方法 - Google Patents

Abstract

音声信号処理装置（１０）は、Ｒ信号およびＬ信号から構成されるステレオ信号を取得する取得部（１０１）と、受聴者（１１５）の右側の互いに異なる２以上の位置にＲ信号の音像を定位させるために頭部伝達関数の右耳用および左耳用の組を少なくとも２組以上Ｒ信号に畳み込む第一処理と、受聴者（１１５）の左側の互いに異なる２以上の位置にＬ信号の音像を定位させるために頭部伝達関数の右耳用および左耳用の組を少なくとも２組以上Ｌ信号に畳み込む第二処理と、を行うことにより処理後のＲ信号および処理後のＬ信号を生成する制御部（１００）と、処理後のＲ信号および処理後のＬ信号を出力する出力部（１０７）とを備える。

Description

本開示は、Ｒ信号およびＬ信号から構成されるステレオ信号を信号処理する音声信号処理装置、並びに音声信号処理方法に関する。

仮想音像を再生するための音源を耳近傍に設置されたスピーカで再生するシステムがある。特許文献１には、フィルタ特性に残響成分を付加することにより仮想音像によるサラウンド感をより高める手法が開示されている。

特開平７−２２２２９７号公報

２つのスピーカを用いて仮想音像を定位させ、サラウンド感を高める方法については、検討の余地がある。

本開示は、仮想音像により高いサラウンド感を得ることができる音声信号処理装置および音声信号処理方法を提供する。

本開示における音声信号処理装置は、Ｒ信号およびＬ信号から構成されるステレオ信号を取得する取得部と、（１）受聴者の右側の互いに異なる２以上の位置に前記Ｒ信号の音像を定位させるために頭部伝達関数の右耳用および左耳用の組を少なくとも２組以上前記Ｒ信号に畳み込む第一処理と、（２）前記受聴者の左側の互いに異なる２以上の位置に前記Ｌ信号の音像を定位させるために頭部伝達関数の右耳用および左耳用の組を少なくとも２組以上前記Ｌ信号に畳み込む第二処理と、を行うことにより処理後のＲ信号および処理後のＬ信号を生成する制御部と、前記処理後のＲ信号および前記処理後のＬ信号を出力する出力部とを備える。

本開示における音声信号処理装置によれば、仮想音像により高いサラウンド感を得ることができる。

図１は、実施の形態１に係る音声信号処理装置の全体構成を示すブロック図である。 図２Ａは、２組以上の頭部伝達関数の畳み込みを説明するための第１の図である。 図２Ｂは、２組以上の頭部伝達関数の畳み込みを説明するための第２の図である。 図３は、実施の形態１に係る音声信号処理装置の動作のフローチャートである。 図４は、制御部の頭部伝達関数の調整動作のフローチャートである。 図５は、位相差の設定方法を説明するための頭部伝達関数の時間波形を示す図である。 図６は、ゲインの設定方法を説明するための頭部伝達関数の時間波形を示す図である。 図７Ａは、小空間における残響成分を説明するための図である。 図７Ｂは、大空間における残響成分を説明するための図である。 図８Ａは、図７Ａの空間における残響成分のインパルス応答を示す図である。 図８Ｂは、図７Ｂの空間における残響成分のインパルス応答を示す図である。 図９Ａは、小空間における残響成分のインパルス応答の実測データを示す図である。 図９Ｂは、大空間における残響成分のインパルス応答の実測データを示す図である。 図１０は、図９Ａおよび図９Ｂの２つのインパルス応答の残響曲線を示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
［全体構成］
以下、実施の形態１について図面を参照しながら説明する。

まず、実施の形態１に係る音声信号処理装置の全体構成について説明する。図１は、実施の形態１に係る音声信号処理装置の全体構成を示すブロック図である。

図１に示される音声信号処理装置１０は、取得部１０１と、制御部１００と、出力部１０７とを備える。制御部１００は、頭部伝達関数設定部１０２と、時間差制御部１０３と、ゲイン調整部１０４と、残響成分付加部１０５と、生成部１０６とを有する。

図１に示される構成においては、出力部１０７から出力される信号は、耳近傍Ｌスピーカ１１８および耳近傍Ｒスピーカ１１９から再生される。受聴者１１５は、耳近傍Ｌスピーカ１１８および耳近傍Ｒスピーカ１１９から再生される音を受聴する。

ここで、受聴者１１５は、耳近傍Ｌスピーカ１１８からの再生音については、仮想フロントＬスピーカ１０９、仮想サイドＬスピーカ１１１、および仮想バックＬスピーカ１１３から再生されているように知覚する。一方、受聴者１１５は、耳近傍Ｒスピーカ１１９からの再生音については、仮想フロントＲスピーカ１１０、仮想サイドＲスピーカ１１２、および仮想バックＲスピーカ１１４から再生されているように知覚する。

このような効果は、音声信号処理装置１０において、取得されたＬ信号およびＲ信号に対してそれぞれ２組以上（実施の形態１では３組）の頭部伝達関数が畳み込まれることで得られ、この点が音声信号処理装置１０の特徴となる。以下、音声信号処理装置１０の各構成要素について説明する。なお、頭部伝達関数の組とは、右耳用の頭部伝達関数および左耳用の頭部伝達関数の組を意味する。

取得部１０１は、Ｒ信号およびＬ信号から構成されるステレオ信号を取得する。取得部１０１は、例えば、ネットワーク上にあるサーバに蓄積されているステレオ信号を取得する。また、取得部１０１は、例えば、音声信号処理装置１０内の記憶部（図示せず。例えばＨＤＤ、およびＳＳＤ等）または音声信号処理装置１０に挿入される記録媒体（例えば、ＤＶＤなどの光ディスクおよびＵＳＢメモリ）などからステレオ信号を取得する。つまり、取得部１０１は、音声信号処理装置１０の内部または外部のいずれからステレオ信号を取得してもよく、取得部１０１のステレオ信号の取得経路は、どのような経路であっても構わない。

制御部１００の頭部伝達関数設定部１０２は、取得部１０１が取得したＲ信号およびＬ信号に対して畳み込む頭部伝達関数を設定する。

具体的には、頭部伝達関数設定部１０２は、受聴者１１５の右側の互いに異なる２以上の位置にＲ信号を定位させるために、Ｒ信号に対して少なくとも２組以上の頭部伝達関数の組を設定する。ここで、実施の形態１では、「受聴者１１５の右側の互いに異なる２以上の位置」とは、仮想フロントＲスピーカ１１０の位置、仮想サイドＲスピーカ１１２の位置、および仮想バックＲスピーカ１１４の位置、の３つの位置である。

そして、頭部伝達関数設定部１０２は、Ｒ信号に対して設定された少なくとも２組以上の頭部伝達関数の組を１つにまとめることにより１組の頭部伝達関数を生成する。

また、頭部伝達関数設定部１０２は、受聴者１１５の左側の互いに異なる２以上の位置にＬ信号を定位させるために、Ｌ信号に対して少なくとも２組以上の頭部伝達関数の組を設定する。ここで、実施の形態１では、「受聴者１１５の左側の互いに異なる２以上の位置」とは、仮想フロントＬスピーカ１０９の位置、仮想サイドＬスピーカ１１１の位置、および仮想バックＬスピーカ１１３の位置、の３つの位置である。

そして、頭部伝達関数設定部１０２は、Ｌ信号に対して設定された少なくとも２組以上の頭部伝達関数の組を１つにまとめることにより１組の頭部伝達関数を生成する。

次に、生成部１０６は、取得部１０１が取得したＲ信号およびＬ信号に対して、頭部伝達関数設定部１０２が１つにまとめた１組の頭部伝達関数を畳み込む。なお、生成部１０６は、１つにまとめる前の２組以上の頭部伝達関数の各組を個別にＲ信号およびＬ信号に対して畳み込んでもよい。

そして、出力部１０７は、頭部伝達関数を畳み込んで新たに生成された処理後のＬ信号を耳近傍Ｌスピーカ１１８に出力し、処理後のＲ信号を耳近傍Ｒスピーカ１１９に出力する。

ここで、２組以上の頭部伝達関数の畳み込みについて説明する。図２Ａおよび図２Ｂは、２組以上の頭部伝達関数の畳み込みを説明するための図である。なお、図２Ａおよび図２Ｂは、一例として、Ｌ信号に対して２組の頭部伝達関数を畳み込み、受聴者１１５の左側の互いに異なる２つの位置にＬ信号の音像を定位させる例について説明する。

図２Ａに示されるように、フロントＬスピーカ１０９ａからＬ信号の再生音を再生させた場合の頭部伝達関数の組は、左耳用の頭部伝達関数と右耳用の頭部伝達関数とを含む。具体的には、頭部伝達関数の組は、フロントＬスピーカ１０９ａから受聴者１１５の左耳までの頭部伝達関数ＦＬ＿Ｌ（左耳用の頭部伝達関数）と、フロントＬスピーカ１０９ａから受聴者１１５の右耳までの頭部伝達関数ＦＬ＿Ｒ（右耳用の頭部伝達関数）とを含む。

また、サイドＬスピーカ１１１ａからＬ信号の再生音を再生させた場合の頭部伝達関数の組は、左耳用の頭部伝達関数と右耳用の頭部伝達関数とを含む。具体的には、頭部伝達関数の組は、サイドＬスピーカ１１１ａから受聴者１１５の左耳までの頭部伝達関数ＦＬ＿Ｌ’と、サイドＬスピーカ１１１ａから受聴者１１５の右耳までの頭部伝達関数ＦＬ＿Ｒ’とを含む。

図２Ａに示されるような音場を、耳近傍Ｌスピーカ１１８および耳近傍Ｒスピーカ１１９の２つのスピーカを用いて再現する場合、Ｌ信号には、これら４つの頭部伝達関数が畳み込まれる。

そして、図２Ｂに示されるように、Ｌ信号に対して、左耳用の頭部伝達関数ＦＬ＿Ｌと、左耳用の頭部伝達関数ＦＬ＿Ｌ’とが畳み込まれた信号が処理後のＬ信号として生成され、耳近傍Ｌスピーカ１１８に出力される、また、Ｌ信号に対して、右耳用の頭部伝達関数ＦＬ＿Ｒと、左耳用の頭部伝達関数ＦＬ＿Ｒ’とが畳み込まれた信号が処理後のＲ信号として生成され、耳近傍Ｒスピーカ１１９に出力される。

このような処理後のＬ信号および処理後のＲ信号の再生音を耳近傍Ｌスピーカ１１８および耳近傍Ｒスピーカ１１９を通じて聞いた受聴者１１５は、Ｌ信号の音像が仮想フロントＬスピーカ１０９の位置および仮想サイドＬスピーカ１１１の位置に定位しているように知覚する。

なお、上述のように、処理後のＬ信号は、左耳用の頭部伝達関数ＦＬ＿Ｌと、左耳用の頭部伝達関数ＦＬ＿Ｌ’とが合成された（１つにまとめられた）頭部伝達関数がＬ信号に畳み込まれることによって生成されてもよい。同様に、処理後のＲ信号は、右耳用の頭部伝達関数ＦＬ＿Ｒと、右耳用の頭部伝達関数ＦＬ＿Ｒ’とが合成された頭部伝達関数（合成頭部伝達関数）がＬ信号に畳み込まれることによって生成されてもよい。つまり、「２組の頭部伝達関数が畳み込まれる」には、２組分の頭部伝達関数が合成された１組の合成頭部伝達関数が畳み込まれることが含まれる。

また、図２Ｂは、Ｌ信号に頭部伝達関数が畳み込まれる例を示すものであるが、Ｒ信号に対して２組の頭部伝達関数を畳み込み、受聴者１１５の右側の互いに異なる２つの位置にＲ信号の音像を定位させる場合も同様である。

また、図１に示されるように受聴者１１５の左右両側に音像を定位させる場合、３つの左耳用の頭部伝達関数（仮想フロントＬスピーカ１０９、仮想サイドＬスピーカ１１１、および仮想バックＬスピーカ１１３のそれぞれの位置から受聴者１１５の左耳までの３つの頭部伝達関数）をＬ信号に畳み込んだ信号と、３つの左耳用の頭部伝達関数（仮想フロントＲスピーカ１１０、仮想サイドＲスピーカ１１２、および仮想バックＲスピーカ１１４のそれぞれの位置から受聴者１１５の左耳までの３つの頭部伝達関数）をＲ信号に畳み込んだ信号とを合成した信号が処理後のＬ信号となる。処理後のＲ信号についても同様である。

［動作］
次に、音声信号処理装置１０の上述のような動作についてフローチャートを用いて説明する。図３は、音声信号処理装置１０の動作のフローチャートである。

まず、取得部１０１は、Ｌ信号およびＲ信号を取得する（Ｓ１１）。そして、制御部１００は、取得されたＲ信号に２組以上の頭部伝達関数を畳み込む（Ｓ１２）。具体的には、制御部１００は、受聴者１１５の右側の互いに異なる２以上の位置にＲ信号の音像を定位させるために頭部伝達関数の組を少なくとも２組以上Ｒ信号に畳み込む処理を行う。

同様に、制御部１００は、取得されたＬ信号に２組以上の頭部伝達関数を畳み込む（Ｓ１３）。具体的には、制御部１００は、受聴者１１５の左側の互いに異なる２以上の位置にＬ信号の音像を定位させるために頭部伝達関数の組を少なくとも２組以上Ｌ信号に畳み込む処理を行う。制御部１００は、このような処理によって、処理後のＬ信号および処理後のＲ信号を生成する（Ｓ１４）。

最後に、出力部１０７は、生成された処理後のＬ信号を耳近傍Ｌスピーカ１１８に出力し、生成された処理後のＲ信号を耳近傍Ｒスピーカ１１９に出力する（Ｓ１５）。

このように、音声信号処理装置１０（制御部１００）は、１つのチャネル信号（Ｌ信号またはＲ信号）に対して複数組の頭部伝達関数を畳み込む。これにより、受聴者１１５は、例えば、ヘッドフォンで音を受聴したとしても、音が頭の外で鳴っているように感じ、高いサラウンド感を得ることができる。

［頭部伝達関数の調整動作］
実施の形態１では、制御部１００は、より詳細には、Ｒ信号に畳み込まれる頭部伝達関数の各組に、互いに異なる残響成分を付加する処理、位相差を設定する処理、および、互いに異なるゲインを乗算する処理、の３つの処理を行う。そして、３つの処理を行った頭部伝達関数の各組をＲ信号に畳み込む。同様に、制御部１００は、Ｌ信号に畳み込まれる頭部伝達関数の各組に、互いに異なる残響成分を付加する処理、位相差を設定する処理、および、Ｌ信号に畳み込まれる頭部伝達関数の各組に、互いに異なるゲインを乗算する処理、の３つの処理を行ってＬ信号に畳み込む。以下、このような制御部１００の頭部伝達関数の調整動作について説明する。図４は、制御部１００の頭部伝達関数の調整動作のフローチャートである。

図１で説明したように、制御部１００は、頭部伝達関数設定部１０２、時間差制御部１０３、ゲイン調整部１０４、および残響成分付加部１０５を有する。

頭部伝達関数設定部１０２は、取得部１０１が取得したステレオ信号（２ｃｈ信号）を構成するＲ信号およびＬ信号に対して畳み込み処理する頭部伝達関数を設定する（Ｓ２１）。頭部伝達関数設定部１０２は、Ｒ信号およびＬ信号のそれぞれに対して少なくとも２組（２種類）以上の頭部伝達関数を設定する。頭部伝達関数設定部１０２は、設定した頭部伝達関数を時間差制御部１０３に出力する。

ここで、Ｒ信号およびＬ信号に対して設定される頭部伝達関数は、設計者によって任意に決定される。また、Ｒ信号に設定される頭部伝達関数の組と、これに対応するＬ信号に設定される頭部伝達関数の組とは、左右対称の特性である必要はない。Ｒ信号およびＬ信号のそれぞれに対して種類の異なる２組以上の頭部伝達関数が設定されればよい。

なお、頭部伝達関数は、事前に測定、もしくは設計されてデータとしてメモリ等の記憶部（図示せず）に記録されている。

次に、時間差制御部１０３は、Ｒ信号用の頭部伝達関数に対してそれぞれ異なる位相を設定し、かつ、Ｌ信号用の頭部伝達関数に対してそれぞれ異なる位相を設定する。言い換えれば、時間差制御部１０３は、Ｒ信号に畳み込まれる頭部伝達関数の各組に、位相差を設定し、かつ、Ｌ信号に畳み込まれる頭部伝達関数の各組に、位相差を設定する（Ｓ２２）。そして、時間差制御部１０３は、位相を調整した頭部伝達関数をゲイン調整部１０４に出力する。

これにより、Ｒ信号に畳み込まれる２組以上の頭部伝達関数は、互いに位相が異なり、かつ、Ｌ信号に畳み込まれる２組以上の頭部伝達関数は、互いに位相が異なるものとなる。

このように、時間差制御部１０３は、受聴者１１５に仮想音（仮想音像）が到達するまでの時間を制御する。例えば、処理後のＬ信号は、仮想サイドＬスピーカ１１１からの仮想音が仮想フロントＬスピーカ１０９からの仮想音よりも先に到達するように受聴者１１５に知覚させることができる。

なお、時間差制御部１０３が位相差をどのように設定するかは、設計者が処理後のＲ信号および処理後のＬ信号によって実現したい音場により異なる。例えば、時間差制御部１０３は、頭部伝達関数設定部１０２から出力されるＲ信号およびＬ信号それぞれに畳み込まれる頭部伝達関数（頭部伝達関数の組）に設定される位相を、両耳間時間差に基づいて設定する。

具体的には、時間差制御部１０３は、両耳間時間差が第１の時間差（例えば１ｍｓ）である頭部伝達関数を畳み込んで生成された新たなＲ信号が、両耳間時間差が第１の時間差よりも小さな第２の時間差（例えば０ｍｓ）である頭部伝達関数を畳み込んで生成された新たなＲ信号よりも先に受聴者１１５に聞こえるように位相差を設定する。言い換えれば、時間差制御部１０３は、Ｒ信号に畳み込まれる頭部伝達関数の各組に、両耳間時間差が小さいほど位相が遅れるように位相差を設定する。

一方、時間差制御部１０３は、両耳間時間差が第３の時間差（例えば１ｍｓ）である頭部伝達関数を畳み込んで生成された新たなＬ信号が、両耳間時間差が第３の時間差よりも小さな第４の時間差（０ｍｓ）である頭部伝達関数を畳み込んで生成された新たなＬ信号よりも先に受聴者１１５に聞こえるように位相を設定する。言い換えれば、時間差制御部１０３は、Ｌ信号に畳み込まれる頭部伝達関数の各組に、両耳間時間差が小さいほど位相が遅れるように位相差を設定する。

次に、ゲイン調整部１０４は、時間差制御部１０３から出力されるＲ信号に畳み込まれる２組以上の頭部伝達関数それぞれに対して乗算するゲインを設定する。また、ゲイン調整部１０４は、時間差制御部１０３から出力されるＬ信号に畳み込まれる２組以上の頭部伝達関数それぞれに対して乗算するゲインを設定する。そして、ゲイン調整部１０４は、設定したゲインを対応する頭部伝達関数の組に対して乗算し残響成分付加部１０５に出力する。つまり、ゲイン調整部１０４は、Ｒ信号に畳み込まれる頭部伝達関数の各組に互いに異なるゲインを乗算し、Ｌ信号に畳み込まれる頭部伝達関数の各組に互いに異なるゲインを乗算する（Ｓ２３）。

なお、ゲイン調整部１０４がゲインをどのように設定するかは、設計者が処理後のＲ信号および処理後のＬ信号によって実現したい音場により異なる。例えば、ゲイン調整部１０４は、Ｒ信号に畳み込まれる頭部伝達関数（頭部伝達関数の組）に乗算するゲインおよびＬ信号に畳み込まれる頭部伝達関数に乗算するゲインを、両耳間時間差に基づいて設定する。

具体的には、ゲイン調整部１０４は、両耳間時間差が第１の時間差（例えば１ｍｓ）である頭部伝達関数を畳み込んで生成された新たなＲ信号が、両耳間時間差が第１の時間差よりも小さな第２の時間差（例えば０ｍｓ）である頭部伝達関数を畳み込んで生成された新たなＲ信号よりも受聴者１１５に大きく聞こえるようにゲインを設定する。言い換えれば、ゲイン調整部１０４は、Ｒ信号に畳み込まれる頭部伝達関数の各組に、両耳間時間差が大きいほど大きなゲインを乗算する。

また、ゲイン調整部１０４は、両耳間時間差が第３の時間差（例えば１ｍｓ）である頭部伝達関数を畳み込んで生成された新たなＬ信号が、両耳間時間差が第３の時間差よりも小さな第４の時間差（例えば０ｍｓ）である頭部伝達関数を畳み込んで生成された新たなＬ信号よりも受聴者１１５に大きく聞こえるようにゲインを設定する。言い換えれば、ゲイン調整部１０４は、Ｌ信号に畳み込まれる頭部伝達関数の各組に、両耳間時間差が大きいほど大きなゲインを乗算する。

次に、残響成分付加部１０５は、ゲイン調整部１０４から出力されるＲ信号用の頭部伝達関数のそれぞれに対して残響成分を設定する。残響成分とは、小空間や大空間といった異なる空間の残響を表す音の成分を意味する。また、残響成分付加部１０５は、ゲイン調整部１０４から出力されるＬ信号用の頭部伝達関数のそれぞれに対して残響成分を設定する。そして、残響成分付加部１０５は、残響成分を設定（付加）した頭部伝達関数を生成部１０６に出力する。つまり、残響成分付加部１０５は、Ｒ信号に畳み込まれる頭部伝達関数の各組に、互いに異なる残響成分を付加し、Ｌ信号に畳み込まれる頭部伝達関数の各組に、互いに異なる残響成分を付加する（Ｓ２４）。

なお、残響成分付加部１０５が残響成分をどのように設定するかは、設計者が処理後のＲ信号および処理後のＬ信号によって実現したい音場により異なる。

例えば、残響成分付加部１０５は、Ｒ信号に畳み込まれる頭部伝達関数に付加する残響成分およびＬ信号に畳み込まれる頭部伝達関数に付加する残響成分を、両耳間時間差に基づいて設定する。

具体的には、残響成分付加部１０５は、Ｒ信号に畳み込まれる２組以上の頭部伝達関数のうち、両耳間時間差が第１の時間差（例えば１ｍｓ）である頭部伝達関数に対し、第１の空間をシミュレートした残響成分を付加する。そして、残響成分付加部１０５は、両耳間時間差が第１の時間差よりも小さな第２の時間差（例えば０ｍｓ）である頭部伝達関数に対して第１の空間よりも大きな第２の空間をシミュレートした残響成分を付加する。つまり、残響成分付加部１０５は、Ｒ信号に畳み込まれる頭部伝達関数の各組に、互いに異なる残響成分を付加する。

一方、残響成分付加部１０５は、Ｌ信号に畳み込まれる２組以上の頭部伝達関数のうち、両耳間時間差が第３の時間差（例えば１ｍｓ）である頭部伝達関数には第３の空間をシミュレートした残響成分を付加する。そして、残響成分付加部１０５は両耳間時間差が第３の時間差よりも小さな第４の時間差（例えば０ｍｓ）である頭部伝達関数には第３の空間よりも大きな第４の空間をシミュレートした残響成分を付加する。つまり、残響成分付加部１０５は、Ｌ信号に畳み込まれる頭部伝達関数の各組に、互いに異なる残響成分を付加する。

例えば、残響成分付加部１０５は、Ｒ信号に３組の頭部伝達関数が畳み込まれる場合は、３つの残響成分を設定する。同様に、残響成分付加部１０５は、例えば、Ｌ信号用に頭部伝達関数が３つ畳み込まれる場合は、３つの残響成分を設定する。なお、頭部伝達関数が３つ設定される場合に、３つの残響成分のうち２つは同じ残響成分であってもよい。

最後に、制御部１００は、Ｒ信号に畳み込まれる頭部伝達関数を時間軸上で加算することにより、合成頭部伝達関数を生成し、Ｌ信号に畳み込まれる頭部伝達関数を時間軸上で加算することにより、合成頭部伝達関数を生成する（Ｓ２５）。生成された合成頭部伝達関数は、生成部１０６に出力される。なお、上述のように、頭部伝達関数は、合成されずに畳み込まれてもよい。

［頭部伝達関数の調整の具体例］
以下、頭部伝達関数の調整の具体例について説明する。なお、以下の説明では、受聴者１１５の正面の位置を０°、受聴者１１５の耳軸上の位置を９０°と定義し、Ｒ信号およびＬ信号のそれぞれに対して、６０°、９０°、および１２０°の３つの頭部伝達関数の組が畳み込まれるものとして説明する。なお、上述の両耳間時間差は、０°の頭部伝達関数において最も小さくなり、９０度の頭部伝達関数において最も大きくなる。

ここで、Ｒ信号用の６０°の頭部伝達関数の組は、図１の仮想フロントＲスピーカ１１０の位置にＲ信号の音像を定位させるためのものであり、Ｒ信号用の９０°の頭部伝達関数の組は、図１の仮想サイドＲスピーカ１１２の位置にＲ信号の音像を定位させるためのものである。また、Ｒ信号用の１２０°の頭部伝達関数の組は、図１の仮想バックＲスピーカ１１４の位置にＲ信号の音像を定位させるためのものである。

また、Ｌ信号用の６０°の頭部伝達関数の組は、図１の仮想フロントＬスピーカ１０９の位置にＬ信号の音像を定位させるためのものであり、Ｌ信号用の９０°の頭部伝達関数の組は、図１の仮想サイドＬスピーカ１１１の位置にＬ信号の音像を定位させるためのものである。また、Ｌ信号用の１２０°の頭部伝達関数の組は、図１の仮想バックＬスピーカ１１３の位置にＬ信号の音像を定位させるためのものである。

なお、以下の説明では、Ｒ信号用の３組の頭部伝達関数は、互いに位相が揃っているものとし、Ｌ信号用の３組の頭部伝達関数は、互い位相が揃っているものとする。

まず、時間差制御部１０３の位相差（位相）の設定方法について説明する。図５は、位相差の設定方法を説明するための頭部伝達関数の時間波形を示す図である。なお、図５では、頭部伝達関数の組の一方（例えば、右耳用）を例示するものである。図５の（ａ）は、６０°の頭部伝達関数の時間波形を示し、図５の（ｂ）は、９０°の頭部伝達関数の時間波形を示し、図５の（ｃ）は、１２０°の頭部伝達関数の時間波形を示す。

図５の（ａ）に示されるように、時間差制御部１０３は、例えば、９０°の頭部伝達関数を基準にして、６０°の頭部伝達関数がＮ（Ｎ；Ｎ＞０）ｍｓｅｃの遅延を有するように位相（位相差）を設定する。

また、図５の（ｃ）に示されるように、時間差制御部１０３は、例えば、９０°の頭部伝達関数を基準にして、１２０°の頭部伝達関数がＮ＋Ｍ（Ｍ；Ｍ＞０）ｍｓｅｃの遅延を有するように位相（位相差）を設定する。

なお、図５において、６０°の頭部伝達関数と１２０°の頭部伝達関数との間に遅延がなく、９０°の頭部伝達関数と位相が揃っている場合（Ｎ＝０）は、受聴者１１５がそれぞれの頭部伝達関数による出力音を同時に聴くことを意味する。

遅延量Ｎは、９０°の頭部伝達関数および６０°の頭部伝達関数による仮想音像がそれぞれ互いに独立に定位する（定位すると受聴者１１５に知覚される）ように好適な値が設定される。同様に、遅延量Ｎ＋Ｍは、６０°の頭部伝達関数および１２０°の頭部伝達関数による仮想音像がそれぞれ互いに独立に定位する（定位すると受聴者１１５に知覚される）ように好適な値が設定される。

上記のような好適な遅延量は、例えば、あらかじめ主観評価実験を行うことにより決定される。まず、９０°の頭部伝達関数と６０°の頭部伝達関数との間の遅延量、および６０°の頭部伝達関数と１２０°の頭部伝達関数との間の遅延量のそれぞれを可変させる。そして、先行音効果により９０°の方位の仮想音像が先に知覚され、続いて６０°、１２０°の方位の仮想音像が順に知覚されるような遅延量を決定する。

ただし、遅延量が大きすぎると、６０°、９０°、および１２０°のそれぞれの方位で独立して仮想音像が定位するだけでなく、エコー感が増大してしまい、聴感上不自然な音場となってしまう。このため、遅延量は大きすぎないことが望ましい。

なお、図５の例では、先行音効果により９０°の頭部伝達関数が最も早く知覚されるように遅延量が設定されるが、他の方位の頭部伝達関数が先行音効果により最も早く知覚されるように遅延量が設定されてもよい。

次に、ゲイン調整部１０４のゲインの設定方法について説明する。図６は、ゲインの設定方法を説明するための頭部伝達関数の時間波形を示す図である。なお、図６では、時間差制御部１０３により位相が調整された６０°、９０°、および１２０°の頭部伝達関数の時間波形が図示されている。

ゲイン調整部１０４は、先行音効果により最も早く再生される９０°の頭部伝達関数にはゲイン１を乗算し、振幅を変化させない。

一方、ゲイン調整部１０４は、６０°の頭部伝達関数の振幅を１／ａ倍、１２０°の頭部伝達関数の振幅を１／ｂ倍にゲイン設定する。

ここで、振幅の倍率を表す１／ａは、９０°の頭部伝達関数による仮想音像と、６０°の頭部伝達関数による仮想音像とが互いに独立に定位し、かつ、受聴者１１５が効果的に仮想スピーカの音像を知覚できるように設定される。同様に、振幅の倍率を表す１／ｂは、６０°の頭部伝達関数による仮想音像と、１２０°の頭部伝達関数による仮想音像とが互いに独立に定位し、かつ受聴者１１５が効果的に仮想スピーカの音像を知覚できるように設定される。

好適なゲインを決定するには、例えば、あらかじめ主観評価実験を行う。まず、９０°の頭部伝達関数と６０°の頭部伝達関数との間、および、６０°の頭部伝達関数と１２０°の頭部伝達関数との間に上述の先行音効果を得られるように時間差（位相差）を設定する。つまり、受聴者１１５が９０°の方位の仮想音像を先に知覚し、続いて６０°、１２０°の方位の仮想音像を順に知覚するような先行音効果をまず確立させる。その上で、それぞれの頭部伝達関数のゲインを変更して、聴感上、受聴者１１５が効果的に仮想スピーカの音像を知覚できるようなゲインを決定する。

なお、受聴者１１５の周囲に先行音効果が明確に知覚できるような音場を生成するためには、最も早く知覚される９０°の頭部伝達関数に対して、それ以外の方位の頭部伝達関数の振幅を少なくとも−２ｄＢ以下とする（ａ≧１．２５、ｂ≧１．２５）ことが望ましい。しかしながら、生成する音場によってはこのように振幅を小さくせずにａ＝１．０、ｂ＝１．０、もしくはａ＜１．０、ｂ＜１．０としてもよい。

次に、残響成分付加部１０５の残響成分の付加方法について説明する。図７Ａおよび図７Ｂは、異なる空間における残響成分を説明するための図である。

図７Ａおよび図７Ｂは、それぞれ、空間（図７Ａは小空間、図７Ｂは大空間）において、当該空間に設置したスピーカ１２０から測定用信号を再生し、中央に設置したマイク１２１で残響成分のインパルス応答を測定する様子を示している。図８Ａは、図７Ａの空間における残響成分のインパルス応答を示す図であり、図８Ｂは、図７Ｂの空間における残響成分のインパルス応答を示す図である。

図７Ａに示される空間において、当該空間に設置したスピーカ１２０から測定用信号を再生すると、最初に直接波成分（図中の「ｄｉｒｅｃｔ」）がマイク１２１に到達し、続いて壁による反射波成分（１）から（４）がマイク１２１に到達する。なお、反射波成分はこれ以外にも無数に存在するが、簡単のため４つのみが図示されている。

同様に、図７Ｂに示される空間おいて、当該空間に設置したスピーカ１２０から測定用信号を再生すると、最初に直接波成分（図中の「ｄｉｒｅｃｔ」）がマイク１２１に到達し、続いて壁による反射波成分（１）’から（４）’がマイク１２１に到達する。小空間と大空間とでは空間の大きさが異なり、スピーカから壁までの距離、および、壁からマイクまでの距離が異なるため、図７Ａの（１）から（４）の反射波成分が、それぞれ対応する図７Ｂの（１）’から（４）’の反射音成分よりも先に到達する。このため、図８Ａおよび図８Ｂにそれぞれ示される残響成分のインパルス応答のように、小空間と大空間とでは残響成分に差がある。

続いて、このような残響成分の実測データについて説明する。図９Ａは、小空間における残響成分のインパルス応答の実測データを示す図である。図９Ｂは、大空間における残響成分のインパルス応答の実測データを示す図である。なお、図９Ａおよび図９Ｂのグラフの横軸は、サンプリング周波数４８ｋＨｚでサンプリングを行った場合のサンプル数である。

図９Ａに示される小空間における直接波成分と初期反射成分までの時間差は、Δｔ、図９Ｂに示される大空間における直接波成分と初期反射成分までの時間差は、Δｔ’と定義される。図１０は、図９Ａおよび図９Ｂの２つのインパルス応答の残響曲線を示す図である。なお、図１０のグラフの横軸は、サンプリング周波数４８ｋＨｚでサンプリングを行った場合のサンプル数である。

図１０のグラフより、小空間および大空間のそれぞれにおける残響時間を算出することができる。ここで、残響時間とは、エネルギーが６０ｄＢ減衰するのに要する時間を意味する。

小空間においては、５１００−８０００サンプル間で２０ｄＢの減衰が生じており、小空間における残響時間は約１８０ｍｓｅｃと算出される。同様に、大空間においては、６０００−８０００サンプル間で３ｄＢの減衰が生じており、大空間における残響時間は約８５０ｍｓｅｃと算出される。ここで、実施の形態１において「異なる空間における残響成分」とは、少なくとも次式を満たす場合と定義される。すなわち、小空間における残響時間をＲＴ＿ｓｍａｌｌ、大空間における残響時間をＲＴ＿ｌａｒｇｅとした場合、異なる空間における残響成分は、次の（式１）を満たす。

Δｔ’≧Δｔ、かつＲＴ＿ｌａｒｇｅ≧ＲＴ＿ｓｍａｌｌ・・（式１）

以上のように定義された異なる空間における残響成分を頭部伝達関数に付加する具体的な方法について説明する。まず、残響成分付加部１０５は、残響成分が少ない小空間における残響成分を、先行音効果により最も早く知覚される９０°の頭部伝達関数に付加する（畳み込む）。これにより、残響成分による音像のぼやけが比較的少なく、明確に定位する仮想音像を生成することができる。

なお、大空間における残響成分は、言い換えれば、小空間における残響成分よりも反射音成分のエネルギーが大きい残響成分である。また、大空間における残響成分は、小空間における残響成分よりも反射音成分の継続時間長が長い残響成分である。

次に、残響成分付加部１０５は、残響成分が多い大空間における残響成分を６０°の頭部伝達関数と１２０°の頭部伝達関数とにそれぞれ付加する（畳み込む）。これにより、残響成分による音像のぼやけが比較的大きく、受聴者１１５の周囲の広範囲に定位する仮想音像を生成することができる。

以上のように調整された頭部伝達関数（頭部伝達関数の組）が、取得部１０１が取得したＲ信号およびＬ信号に畳み込まれることで処理後のＲ信号および処理後のＬ信号が生成される。生成された処理後のＲ信号が耳近傍Ｒスピーカ１１９から再生され、生成された処理後のＬ信号が耳近傍Ｌスピーカ１１８再生されることによって、受聴者１１５は、９０°方向には音像のぼやけが少ない明確な仮想音像を他の音像よりも先行して知覚し、時間的に少し遅れて６０°方向および１２０°方向に音像のぼやけが大きく、拡がりのある仮想音像を知覚する。この結果、受聴者１１５の周囲に従来にはないワイドなサラウンド音場を生成される。つまり、音声信号処理装置１０によれば、仮想音像により高いサラウンド感を得ることができる。

なお、上記のような頭部伝達関数の調整は、発明者の「両耳間位相差の大きい９０°方向の仮想音像が、受聴者１１５の感じるサラウンド感に強い影響を与える」という知見に基づく一例であり、頭部伝達関数の調整方法は、特に限定されるものではない。

例えば、上記時間差制御部１０３、ゲイン調整部１０４、および残響成分付加部１０５の処理は、必須ではない。これらの処理なしで所望の音場が得られる場合は、これらの処理は行われる必要がない。

また、時間差制御部１０３、ゲイン調整部１０４、および残響成分付加部１０５の各処理が全て行われる必要はない。制御部１００は、Ｒ信号（またはＬ信号）に畳み込まれる頭部伝達関数の各組に、互いに異なる残響成分を付加する処理、位相差を設定する処理、および、互いに異なるゲインを乗算する処理、のうち少なくとも１つの処理を行えば、仮想音場の調整が実現される。

また、時間差制御部１０３、ゲイン調整部１０４、および残響成分付加部１０５の各処理の順序についても、特に限定されるものではない。例えば、時間差制御部１０３は、必ずしも頭部伝達関数設定部１０２の後段に存在する必要はなく、ゲイン調整部１０４の後段に設けられてもよい。なぜなら、複数の方位に仮想音像を定位する複数の頭部伝達関数は互いに独立であるため、それぞれ個別にゲインを調整した後に頭部伝達関数間の時間差を調整しても同様の効果を得ることができるからである。

［効果等］
以上のように、実施の形態１において、音声信号処理装置１０は、Ｒ信号およびＬ信号から構成されるステレオ信号を取得する取得部１０１と、第一処理および第二処理を行うことにより処理後のＲ信号および処理後のＬ信号を生成する制御部１００と、処理後のＲ信号および処理後のＬ信号を出力する出力部１０７とを備える。

ここで、第一処理は、受聴者１１５の右側の互いに異なる２以上の位置にＲ信号の音像を定位させるために頭部伝達関数の右耳用および左耳用の組を少なくとも２組以上Ｒ信号に畳み込む処理である。「受聴者１１５の右側の互いに異なる２以上の位置」は、例えば、仮想フロントＲスピーカ１１０の位置、仮想サイドＲスピーカ１１２の位置、および仮想バックＲスピーカ１１４位置の３つの位置である。

また、第二処理は、受聴者１１５の左側の互いに異なる２以上の位置にＬ信号の音像を定位させるために頭部伝達関数の右耳用および左耳用の組を少なくとも２組以上Ｌ信号に畳み込む処理である。「受聴者１１５の左側の互いに異なる２以上の位置」は、例えば、仮想フロントＬスピーカ１０９の位置、仮想サイドＬスピーカ１１１の位置、および仮想バックＬスピーカ１１３位置の３つの位置である。

このように、１つのチャネル信号に対して頭部伝達関数の組を複数組畳み込むことで、例えば、処理後のＲ信号および処理後のＬ信号をヘッドフォンで受聴した際にも音が頭の外で鳴っているように感じることができる。つまり、受聴者１１５は、仮想音像による高いサラウンド感が得られる。

また、制御部１００は、Ｒ信号に畳み込まれる頭部伝達関数の各組に、互いに異なる残響成分を付加してＲ信号に畳み込む第一処理を行い、Ｌ信号に畳み込まれる頭部伝達関数の各組に、互いに異なる残響成分を付加してＬ信号に畳み込む第二処理を行ってもよい。

具体的には、制御部１００は、Ｒ信号に畳み込まれる頭部伝達関数の各組に、両耳間時間差が小さいほど大きな空間をシミュレートした残響成分を付加し、Ｌ信号に畳み込まれる頭部伝達関数の各組に、両耳間時間差が小さいほど大きな空間をシミュレートした残響成分を付加してもよい。

これにより、受聴者１１５は、両耳間時間差が大きな音については明瞭に知覚でき、かつ、両耳間時間差が小さい音によりサラウンド感を知覚することができる。

また、制御部１００は、Ｒ信号に畳み込まれる頭部伝達関数の各組に、位相差を設定してＲ信号に畳み込む第一処理を行い、Ｌ信号に畳み込まれる頭部伝達関数の各組に、位相差を設定してＬ信号に畳み込む第二処理を行ってもよい。

これにより、受聴者１１５は、仮想音像の各定位位置からの音を時間差で受聴することができ、より頭外感を感じることができる。

また、制御部１００は、Ｒ信号に畳み込まれる頭部伝達関数の各組に、両耳間時間差が小さいほど位相が遅れるように位相差を設定し、Ｌ信号に畳み込まれる頭部伝達関数の各組に、両耳間時間差が小さいほど位相が遅れるように位相差を設定してもよい。

これにより、受聴者１１５は、両耳間時間差が大きい位置に定位する音ほど先に音を聞くことができる。受聴者１１５は、先に聞こえる音であって両耳間時間差が大きい定位位置からの音を強く意識するため、より頭外感を感じることができる。

また、制御部１００は、Ｒ信号に畳み込まれる頭部伝達関数の各組に、互いに異なるゲインを乗算してＲ信号に畳み込む第一処理を行い、Ｌ信号に畳み込まれる頭部伝達関数の各組に、互いに異なるゲインを乗算してＬ信号に畳み込む第二処理を行ってもよい。

これにより、受聴者１１５は、仮想音像の各定位位置から異なる大きさの音を受聴することができ、より頭外感を感じることができる。

また、制御部１００は、Ｒ信号に畳み込まれる頭部伝達関数の各組に、両耳間時間差が大きいほど大きなゲインを乗算し、Ｌ信号に畳み込まれる頭部伝達関数の各組に、両耳間時間差が大きいほど大きなゲインを乗算してもよい。

これにより、両耳間時間差が大きくなればなるほど受聴者１１５に対して大きな音を聞かせることができる。そのため、受聴者１１５は、両耳間時間差が大きい定位位置からの音を強く意識するため、より頭外感を感じることができる。

また、制御部１００は、Ｒ信号に畳み込まれる頭部伝達関数の各組に、（１）互いに異なる残響成分を付加する処理、（２）位相差を設定する処理、および、（３）互いに異なるゲインを乗算する処理、のうち少なくとも１つの処理を行ってＲ信号に畳み込む第一処理を行い、Ｌ信号に畳み込まれる頭部伝達関数の各組に、（１）互いに異なる残響成分を付加する処理、（２）位相差を設定する処理、および、（３）互いに異なるゲインを乗算する処理、のうち少なくとも１つの処理を行ってＬ信号に畳み込む第二処理を行ってもよい。

なお、制御部１００は、詳細には、第一処理によって第一Ｒ信号および第一Ｌ信号を生成し、第二処理によって第二Ｒ信号および第二Ｌ信号を生成し、第一Ｒ信号と第二Ｒ信号とを合成することによって処理後のＲ信号を生成し、第一Ｌ信号と第二Ｌ信号とを合成することによって処理後のＬ信号を生成する。

より詳細には、Ｒ信号に畳み込まれる頭部伝達関数の２以上の組には、（１）受聴者１１５の右側の第一位置にＲ信号の音像を定位させるための、右耳用の第一頭部伝達関数および左耳用の第一頭部伝達関数の組と、（２）受聴者１１５の右側の第二位置にＲ信号の音像を定位させるための、右耳用の第二頭部伝達関数および左耳用の第二頭部伝達関数の組とが含まれる。同様に、Ｌ信号に畳み込まれる頭部伝達関数の２以上の組には、（１）受聴者１１５の左側の第三位置にＬ信号の音像を定位させるための、右耳用の第三頭部伝達関数（例えば図２ＢのＦＬ＿Ｒ）および左耳用の第三頭部伝達関数（例えば図２ＢのＦＬ＿Ｌ）の組と、（２）受聴者１１５の左側の第四位置にＬ信号の音像を定位させるための、右耳用の第四頭部伝達関数（例えば図２ＢのＦＬ＿Ｒ’）および左耳用の第四頭部伝達関数（例えば図２ＢのＦＬ＿Ｌ’）の組とが含まれる。

そして、制御部１００は、第一処理によって、右耳用の第一頭部伝達関数および右耳用の第二頭部伝達関数をＲ信号に畳み込んだ第一Ｒ信号と、左耳用の第一頭部伝達関数および左耳用の第二頭部伝達関数をＲ信号に畳み込んだ第一Ｌ信号とを生成する。同様に、制御部１００は、第二処理によって、右耳用の第三頭部伝達関数および右耳用の第四頭部伝達関数をＬ信号に畳み込んだ第二Ｒ信号と、左耳用の第三頭部伝達関数および左耳用の第四頭部伝達関数をＬ信号に畳み込んだ第二Ｌ信号とを生成する。第二Ｒ信号は、例えば、図２Ｂで耳近傍Ｒスピーカ１１９に出力される、Ｌ信号にＦＬ＿ＲおよびＦＬ＿Ｒ’が畳み込まれた信号であり、第二Ｌ信号は、例えば、図２Ｂで耳近傍Ｌスピーカ１１８に出力される、Ｌ信号にＦＬ＿ＬおよびＦＬ＿Ｌ’が畳み込まれた信号である。

また、制御部１００は、第一処理においては、Ｒ信号に畳み込まれる頭部伝達関数である第一頭部伝達関数を２組以上合成した第一合成頭部伝達関数をＲ信号に畳み込むことによって、第一頭部伝達関数を２組以上Ｒ信号に畳み込み、第二処理においては、Ｌ信号に畳み込まれる頭部伝達関数である第二頭部伝達関数を２組以上合成した第二合成頭部伝達関数をＬ信号に畳み込むことによって、第二頭部伝達関数を２組以上Ｌ信号に畳み込んでもよい。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態をまとめて説明する。

上記実施の形態１では取得部１０１が取得する信号は、ステレオ信号であったが、ステレオ信号以外の２チャンネルの信号であってもよい。また、取得部１０１が取得する信号は、２チャンネルよりチャンネル数が多いマルチチャンネル信号でもよい。この場合、チャンネル信号ごとに対応する合成頭部伝達関数が生成されればよい。また、２チャンネル以上のマルチチャンネル信号のうちの一部のチャンネル信号だけが処理対象とされてもよい。

上記実施の形態１では、一例としてヘッドフォンなどの耳近傍Ｌスピーカ１１８および耳近傍Ｒスピーカ１１９が用いられたが、通常のＬスピーカおよびＲスピーカが用いられてもよい。

なお、上記実施の形態１において、各構成要素（例えば、制御部１００に含まれる構成要素）は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

なお、図１のブロック図に示される各機能ブロックは典型的には集積回路であるＬＳＩ（例えば、ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）として実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。

例えばメモリ以外の機能ブロックが１チップ化されていても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としてもよい。

また、上記実施の形態１において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

なお、本開示の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、本開示の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。例えば、本開示は、音声信号処理方法として実現されてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、１組以上の対となるスピーカから音声信号を再生する装置を備えた機器に適用することができ、特に、サラウンドシステム、ＴＶ、ＡＶアンプ、コンポ、携帯電話機、ポータブルオーディオ機器等に適用できる。

１０ 音声信号処理装置
１００ 制御部
１０１ 取得部
１０２ 頭部伝達関数設定部
１０３ 時間差制御部
１０４ ゲイン調整部
１０５ 残響成分付加部
１０６ 生成部
１０７ 出力部
１０９ 仮想フロントＬスピーカ
１０９ａ フロントＬスピーカ
１１０ 仮想フロントＲスピーカ
１１１ 仮想サイドＬスピーカ
１１１ａ サイドＬスピーカ
１１２ 仮想サイドＲスピーカ
１１３ 仮想バックＬスピーカ
１１４ 仮想バックＲスピーカ
１１５ 受聴者
１１８ 耳近傍Ｌスピーカ
１１９ 耳近傍Ｒスピーカ
１２０ スピーカ
１２１ マイク

Claims (11)

1. Ｒ信号およびＬ信号から構成されるステレオ信号を取得する取得部と、
   （１）受聴者の右側の互いに異なる２以上の位置に前記Ｒ信号の音像を定位させるために頭部伝達関数の右耳用および左耳用の組を少なくとも２組以上前記Ｒ信号に畳み込む第一処理であって、前記Ｒ信号に畳み込まれる前記頭部伝達関数の各組に、互いに異なる残響成分を付加して前記Ｒ信号に畳み込む前記第一処理と、（２）前記受聴者の左側の互いに異なる２以上の位置に前記Ｌ信号の音像を定位させるために頭部伝達関数の右耳用および左耳用の組を少なくとも２組以上前記Ｌ信号に畳み込む第二処理であって、前記Ｌ信号に畳み込まれる前記頭部伝達関数の各組に、互いに異なる残響成分を付加して前記Ｌ信号に畳み込む前記第二処理と、を行うことにより処理後のＲ信号および処理後のＬ信号を生成する制御部と、
   前記処理後のＲ信号および前記処理後のＬ信号を出力する出力部とを備える
   音声信号処理装置。
2. 前記制御部は、
   前記Ｒ信号に畳み込まれる前記頭部伝達関数の各組に、両耳間時間差が小さいほど大きな空間をシミュレートした残響成分を付加し、
   前記Ｌ信号に畳み込まれる前記頭部伝達関数の各組に、両耳間時間差が小さいほど大きな空間をシミュレートした残響成分を付加する
   請求項１に記載の音声信号処理装置。
3. 前記制御部は、
   前記第一処理において、さらに、前記Ｒ信号に畳み込まれる前記頭部伝達関数の各組に、位相差を設定して前記Ｒ信号に畳み込み、
   前記第二処理において、さらに、前記Ｌ信号に畳み込まれる前記頭部伝達関数の各組に、位相差を設定して前記Ｌ信号に畳み込む
   請求項１または２に記載の音声信号処理装置。
4. 前記制御部は、
   前記Ｒ信号に畳み込まれる前記頭部伝達関数の各組に、両耳間時間差が小さいほど位相が遅れるように位相差を設定し、
   前記Ｌ信号に畳み込まれる前記頭部伝達関数の各組に、両耳間時間差が小さいほど位相が遅れるように位相差を設定する
   請求項３に記載の音声信号処理装置。
5. 前記制御部は、
   前記第一処理において、さらに、前記Ｒ信号に畳み込まれる前記頭部伝達関数の各組に、互いに異なるゲインを乗算して前記Ｒ信号に畳み込み、
   前記第二処理において、さらに、前記Ｌ信号に畳み込まれる前記頭部伝達関数の各組に、互いに異なるゲインを乗算して前記Ｌ信号に畳み込む
   請求項１〜４のいずれか１項に記載の音声信号処理装置。
6. 前記制御部は、
   前記Ｒ信号に畳み込まれる前記頭部伝達関数の各組に、両耳間時間差が大きいほど大きなゲインを乗算し、
   前記Ｌ信号に畳み込まれる前記頭部伝達関数の各組に、両耳間時間差が大きいほど大きなゲインを乗算する
   請求項５に記載の音声信号処理装置。
7. 前記制御部は、
   前記第一処理において、さらに、前記Ｒ信号に畳み込まれる前記頭部伝達関数の各組に、（１）位相差を設定する処理、および、（２）互いに異なるゲインを乗算する処理、のうち少なくとも１つの処理を行い、
   前記第二処理において、さらに、前記Ｌ信号に畳み込まれる前記頭部伝達関数の各組に、（１）位相差を設定する処理、および、（２）互いに異なるゲインを乗算する処理、のうち少なくとも１つの処理を行う
   請求項１に記載の音声信号処理装置。
8. 前記制御部は、
   前記第一処理によって第一Ｒ信号および第一Ｌ信号を生成し、
   前記第二処理によって第二Ｒ信号および第二Ｌ信号を生成し、
   前記第一Ｒ信号と前記第二Ｒ信号とを合成することによって前記処理後のＲ信号を生成し、
   前記第一Ｌ信号と前記第二Ｌ信号とを合成することによって前記処理後のＬ信号を生成する
   請求項１〜７のいずれか１項に記載の音声信号処理装置。
9. 前記Ｒ信号に畳み込まれる前記頭部伝達関数の２以上の組には、（１）前記受聴者の右側の第一位置に前記Ｒ信号の音像を定位させるための、右耳用の第一頭部伝達関数および左耳用の第一頭部伝達関数の組と、（２）前記受聴者の右側の第二位置に前記Ｒ信号の音像を定位させるための、右耳用の第二頭部伝達関数および左耳用の第二頭部伝達関数の組とが含まれ、
   前記Ｌ信号に畳み込まれる前記頭部伝達関数の２以上の組には、（１）前記受聴者の左側の第三位置に前記Ｌ信号の音像を定位させるための、右耳用の第三頭部伝達関数および左耳用の第三頭部伝達関数の組と、（２）前記受聴者の左側の第四位置に前記Ｌ信号の音像を定位させるための、右耳用の第四頭部伝達関数および左耳用の第四頭部伝達関数の組とが含まれ、
   前記制御部は、
   前記第一処理によって、前記右耳用の第一頭部伝達関数および前記右耳用の第二頭部伝達関数を前記Ｒ信号に畳み込んだ前記第一Ｒ信号と、前記左耳用の第一頭部伝達関数および前記左耳用の第二頭部伝達関数を前記Ｒ信号に畳み込んだ前記第一Ｌ信号とを生成し、
   前記第二処理によって、前記右耳用の第三頭部伝達関数および前記右耳用の第四頭部伝達関数を前記Ｌ信号に畳み込んだ前記第二Ｒ信号と、前記左耳用の第三頭部伝達関数および前記左耳用の第四頭部伝達関数を前記Ｌ信号に畳み込んだ前記第二Ｌ信号とを生成する
   請求項８に記載の音声信号処理装置。
10. 前記制御部は、
    前記第一処理においては、前記Ｒ信号に畳み込まれる前記頭部伝達関数である第一頭部伝達関数を２組以上合成した第一合成頭部伝達関数を前記Ｒ信号に畳み込むことによって、前記第一頭部伝達関数を２組以上前記Ｒ信号に畳み込み、
    前記第二処理においては、前記Ｌ信号に畳み込まれる前記頭部伝達関数である第二頭部伝達関数を２組以上合成した第二合成頭部伝達関数を前記Ｌ信号に畳み込むことによって、前記第二頭部伝達関数を２組以上前記Ｌ信号に畳み込む
    請求項１〜９のいずれか１項に記載の音声信号処理装置。
11. Ｒ信号およびＬ信号から構成されるステレオ信号を取得する取得ステップと、
    （１）受聴者の右側の互いに異なる２以上の位置に前記Ｒ信号の音像を定位させるために頭部伝達関数の右耳用および左耳用の組を少なくとも２組以上前記Ｒ信号に畳み込む第一処理であって、前記Ｒ信号に畳み込まれる前記頭部伝達関数の各組に、互いに異なる残響成分を付加して前記Ｒ信号に畳み込む前記第一処理と、（２）前記受聴者の左側の互いに異なる２以上の位置に前記Ｌ信号の音像を定位させるために頭部伝達関数の右耳用および左耳用の組を少なくとも２組以上前記Ｌ信号に畳み込む第二処理であって、前記Ｌ信号に畳み込まれる前記頭部伝達関数の各組に、互いに異なる残響成分を付加して前記Ｌ信号に畳み込む前記第二処理と、を行うことにより処理後のＲ信号および処理後のＬ信号を生成する制御ステップと、
    前記処理後のＲ信号および前記処理後のＬ信号を出力する出力ステップとを含む
    音声信号処理方法。

Images