JPWO2014034555A1 - 音声信号再生装置、方法、プログラム、及び記録媒体 - Google Patents

Abstract

低コストの制約下のスピーカ群により波面合成再生方式で音声信号を再生する場合でも、どの聴取位置からでも忠実に音像を再現し且つ低周波数域の音が音圧不足となることを防ぐことを可能にする。音声信号再生装置は、マルチチャネルの入力音声信号から得た２つのチャネルの音声信号のそれぞれについて離散フーリエ変換を施す変換部と、離散フーリエ変換後の２つのチャネルの音声信号（１６１），（１６２）について、直流成分を無視して相関信号（１６４）を抽出し、さらにその相関信号（１６４）から所定周波数ｆlowより低い周波数の相関信号を抜き取り、抜き取った相関信号を、出力先の隣り合うスピーカ同士の音の出力の時間差が２Δｘ／ｃ（ここで、Δｘは隣り合うスピーカ同士の間隔、ｃは音速とする）の範囲に入るように例えば仮想音源（１６７）に割り当てて、スピーカ群の一部または全部から出力する。

Description

本発明は、マルチチャネルの音声信号をスピーカ群によって再生する音声信号再生装置、方法、プログラム、及び記録媒体に関する。

従来から提案されている音響再生方式には、ステレオ（２ｃｈ）方式、５.１ｃｈサラウンド方式（ＩＴＵ−Ｒ ＢＳ.７７５−１）などがあり広く民生用として普及している。２ｃｈ方式とは、図１で模式的に図示したように、左スピーカ１１Ｌと右スピーカ１１Ｒから異なる音声データを発生させる方式である。５.１ｃｈサラウンド方式とは、図２で模式的に図示したように、左フロントスピーカ２１Ｌ、右フロントスピーカ２１Ｒ、それらの間に配置するセンタースピーカ２２Ｃ、左リアスピーカ２３Ｌ、右リアスピーカ２３Ｒ、及び図示しない低音域（一般的に２０Ｈｚ〜１００Ｈｚ）専用のサブウーファーに対し、それぞれ異なる音声データを入力して出力する方式である。

また、２ｃｈ方式や５.１ｃｈサラウンド方式の他にも、７.１ｃｈ、９.１ｃｈ、２２.２ｃｈなどさまざまな音響再生方式が提案されている。上述した方式はいずれも、聴取者（受聴者）を中心とする円周上または球面上に各スピーカを配置し、理想的には各スピーカから等距離にある聴取位置（受聴位置）、いわゆるスイートスポットで聴くことが好ましいとされている。例えば２ｃｈ方式ではスイートスポット１２で、５.１ｃｈサラウンド方式ではスイートスポット２４で聴くことが好ましい。スイートスポットで聴くと、音圧のバランスによる合成音像が製作者の意図するところに定位する。逆に、スイートスポット以外の位置で聴くと、一般的に、音像・音質が劣化する。以下、これらの方式を総称してマルチチャネル再生方式と呼ぶ。

一方、マルチチャネル再生方式とは別に、音源オブジェクト指向再生方式もある。この方式は、全ての音が、いずれかの音源オブジェクトが発する音であるとする方式であり、各音源オブジェクト（以下、「仮想音源」と呼ぶ。）が自身の位置情報と音声信号とを含んでいる。音楽コンテンツを例にとると、各仮想音源は、それぞれの楽器の音と楽器が配置されている位置情報とを含む。

そして、音源オブジェクト指向再生方式は、通常、直線状あるいは面状に並べたスピーカ群によって音の波面を合成する再生方式（すなわち波面合成再生方式）により再生される。このような波面合成再生方式のうち、非特許文献１に記載のＷａｖｅ Ｆｉｅｌｄ Ｓｙｎｔｈｅｓｉｓ（ＷＦＳ）方式は、直線状に並べたスピーカ群（以下、スピーカアレイという）を用いる現実的な実装方法の１つとして近年盛んに研究されている。

このような波面合成再生方式は、上述のマルチチャネル再生方式とは異なり、図３で模式的に図示したように、並べられたスピーカ群３１の前のどの位置で聴いている受聴者に対しても、良好な音像と音質を両方同時に提示することができるという特長を持つ。つまり、波面合成再生方式でのスイートスポット３２は図示するように幅広くなっている。

また、ＷＦＳ方式によって提供される音響空間内においてスピーカアレイと対面して音を聴いている受聴者は、実際にはスピーカアレイから放射される音が、スピーカアレイの後方に仮想的に存在する音源（仮想音源）から放射されているかのような感覚を受ける。

この波面合成再生方式では、仮想音源を表す入力信号を必要とする。そして、一般的に、１つの仮想音源には１チャネル分の音声信号とその仮想音源の位置情報が含まれることを必要とする。上述の音楽コンテンツを例にとると、例えば楽器毎に録音された音声信号とその楽器の位置情報ということになる。ただし、仮想音源それぞれの音声信号は必ずしも楽器毎である必要はないが、コンテンツ製作者が意図するそれぞれの音の到来方向と大きさが、仮想音源という概念を用いて表現されている必要がある。

ここで、前述のマルチチャネル方式の中でも最も広く普及している方式はステレオ（２ｃｈ）方式であるため、ステレオ方式の音楽コンテンツについて考察する。図４に示すように２つのスピーカ４１Ｌ，４１Ｒを用いて、ステレオ方式の音楽コンテンツにおけるＬ（左）チャネルとＲ（右）チャネルの音声信号を、それぞれ左に設置したスピーカ４１Ｌ、右に設置したスピーカ４１Ｒで再生する。このような再生を行うと、図４に示すように、各スピーカ４１Ｌ，４１Ｒから等距離の地点、すなわちスイートスポット４３で聴く場合にのみ、ボーカルの声とベースの音が真ん中の位置４２ｂから聞こえ、ピアノの音が左側の位置４２ａ、ドラムの音が右側の位置４２ｃなど、製作者が意図したように音像が定位して聞こえる。

このようなコンテンツを波面合成再生方式で再生し、波面合成再生方式の特長である、どの位置の受聴者に対してもコンテンツ製作者の意図通りの音像定位を提供することを考える。そのためには、図５で示すスイートスポット５３のように、どの視聴位置からでも図４のスイートスポット４３内で聴いたときの音像が知覚できなければならない。つまり、直線状あるいは面状に並べられたスピーカ群５１によって、広いスイートスポット５３で、ボーカルの声とベースの音が真ん中の位置５２ｂから聞こえ、ピアノの音が左側の位置５２ａ、ドラムの音が右側の位置５２ｃなど、製作者が意図したように音像が定位して聞こえなければならない。

その課題に対し、例えば、図６のようにＬチャネルの音、Ｒチャネルの音をそれぞれ仮想音源６２ａ，６２ｂとして配置した場合を考える。この場合、Ｌ／Ｒチャネルそれぞれが単体で１つの音源を表すのではなく２つのチャネルによって合成音像を生成するものであるから、それを波面合成再生方式で再生したとしても、やはりスイートスポット６３が生成されてしまい、スイートスポット６３の位置でしか、図４のような音像定位はしない。つまり、そのような音像定位を実現するには、２ｃｈのステレオデータから、何らかの手段によって音像毎の音声に分離し、各音声から仮想音源データを生成することが必要となる。

この課題に対し、特許文献１に記載の方法では、２ｃｈステレオデータを周波数帯域毎に信号のパワーの相関係数を基に相関信号と無相関信号とに分離し、相関信号については合成音像方向を推定し、それらの結果から仮想音源を生成し、波面合成再生方式などで再生している。

特許第４８１０６２１号公報

A. J. Berkhout，D. de Vries，and P. Vogel，"Acoustic control by wave field synthesis"，J. Acoust. Soc. Am. Volume 93(5)，アメリカ合衆国、Acoustical Society of America，May 1993，pp. 2764-2778

しかしながら、上述の波面合成再生方式をテレビ装置やサウンドバーなどの実際の製品に搭載する場合、低コストやデザイン性が求められる。スピーカの個数を減らすことはコストを下げる面で重要であり、また、スピーカの小口径化によってスピーカアレイの高さを小さくすることがデザイン面で重要である。このような状況下で、特許文献１に記載の方法を適用すると、スピーカの個数が少ない場合あるいはスピーカが小口径の場合には、スピーカの総面積が小さくなるため、特に低周波数域の音圧が不足してしまい、迫力のある臨場感が得られない。

本発明は、上述のような実状に鑑みてなされたものであり、その目的は、少ない個数のスピーカや小口径のスピーカ、それに各チャネルが小容量のアンプしか搭載できないなど、低コストの制約下のスピーカ群によって波面合成再生方式で音声信号を再生する場合でも、どの聴取位置からでも忠実に音像を再現し、さらに低周波数域の音が音圧不足となることを防ぐことが可能な音声信号再生装置、方法、プログラム、及び記録媒体を提供することにある。

上記課題を解決するために、本発明の第１の技術手段は、マルチチャネルの入力音声信号を、スピーカ群によって波面合成再生方式で再生する音声信号再生装置であって、前記マルチチャネルの入力音声信号から得た２つのチャネルの音声信号のそれぞれについて、離散フーリエ変換を施す変換部と、該変換部で離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出し、さらに該相関信号から所定周波数ｆ_lowより低い周波数の相関信号を抜き取る相関信号抽出部と、前記相関信号抽出部で抜き取られた相関信号を、出力先の隣り合うスピーカ同士の音の出力の時間差が２Δｘ／ｃ（ここで、Δｘは前記隣り合うスピーカ同士の間隔、ｃは音速とする）の範囲に入るように、前記スピーカ群の一部または全部から出力する出力部と、を備えたことを特徴としたものである。

本発明の第２の技術手段は、第１の技術手段において、前記出力部は、前記相関信号抽出部で抜き取られた相関信号を、１つの仮想音源に割り当てて波面合成再生方式で前記スピーカ群の一部または全部から出力することを特徴としたものである。

本発明の第３の技術手段は、第１の技術手段において、前記出力部は、前記相関信号抽出部で抜き取られた相関信号を、前記スピーカ群の一部または全部から平面波として波面合成再生方式で出力することを特徴としたものである。

本発明の第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記マルチチャネルの入力音声信号は、３以上のチャネルをもつマルチチャネル再生方式の入力音声信号であり、前記変換部は、前記マルチチャネルの入力音声信号を２つのチャネルの音声信号にダウンミックスした後の２つのチャネルの音声信号について、離散フーリエ変換を施すことを特徴としたものである。

本発明の第５の技術手段は、マルチチャネルの入力音声信号を、スピーカ群によって波面合成再生方式で再生する音声信号再生方法であって、変換部が、前記マルチチャネルの入力音声信号から得た２つのチャネルの音声信号のそれぞれについて、離散フーリエ変換を施す変換ステップと、相関信号抽出部が、前記変換ステップで離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出し、さらに該相関信号から所定周波数ｆ_lowより低い周波数の相関信号を抜き取る抽出ステップと、出力部が、前記抽出ステップで抜き取られた相関信号を、出力先の隣り合うスピーカ同士の音の出力の時間差が２Δｘ／ｃ（ここで、Δｘは前記隣り合うスピーカ同士の間隔、ｃは音速とする）の範囲に入るように、前記スピーカ群の一部または全部から出力する出力ステップと、を有することを特徴としたものである。

本発明の第６の技術手段は、コンピュータに、マルチチャネルの入力音声信号を、スピーカ群によって波面合成再生方式で再生する音声信号再生処理を実行させるためのプログラムであって、前記マルチチャネルの入力音声信号から得た２つのチャネルの音声信号のそれぞれについて、離散フーリエ変換を施す変換ステップと、該変換ステップで離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出し、さらに該相関信号から所定周波数ｆ_lowより低い周波数の相関信号を抜き取る抽出ステップと、該抽出ステップで抜き取られた相関信号を、出力先の隣り合うスピーカ同士の音の出力の時間差が２Δｘ／ｃ（ここで、Δｘは前記隣り合うスピーカ同士の間隔、ｃは音速とする）の範囲に入るように、前記スピーカ群の一部または全部から出力する出力ステップと、を実行させるためのプログラムである。

本発明の第７の技術手段は、第６の技術手段におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、少ない個数のスピーカや小口径のスピーカ、それに各チャネルが小容量のアンプしか搭載できないなど、低コストの制約下のスピーカ群によって波面合成再生方式で音声信号を再生する場合でも、どの聴取位置からでも忠実に音像を再現し、さらに低周波数域の音が音圧不足となることを防ぐことが可能になる。

２ｃｈ方式を説明するための模式図である。 ５.１ｃｈサラウンド方式を説明するための模式図である。 波面合成再生方式を説明するための模式図である。 ボーカル、ベース、ピアノ、及びドラムの音がステレオ方式で記録された音楽コンテンツを、左右２つのスピーカを用いて再生する様子を示す模式図である。 図４の音楽コンテンツを波面合成再生方式で再生した際の、理想的なスイートスポットの様子を示す模式図である。 図４の音楽コンテンツにおける左／右チャネルの音声信号をそれぞれ左／右スピーカの位置に仮想音源を設定して波面合成再生方式で再生した際の、実際のスイートスポットの様子を示す模式図である。 本発明に係る音声信号再生装置の一構成例を示すブロック図である。 図７の音声信号再生装置における音声信号処理部の一構成例を示すブロック図である。 図８の音声信号処理部における音声信号処理の一例を説明するためのフロー図である。 図８の音声信号処理部において音声データをバッファに蓄える様子を示す図である。 Ｈａｎｎ窓関数を示す図である。 図９の音声信号処理における最初の窓関数乗算処理において、１／４セグメントにつき１回乗算される窓関数を示す図である。 受聴者と左右のスピーカと合成音像との位置関係の例を説明するための模式図である。 波面合成再生方式で使用するスピーカ群と仮想音源との位置関係の例を説明するための模式図である。 図１４の仮想音源と受聴者及び合成音像との位置関係の例を説明するための模式図である。 図８の音声信号処理部における音声信号処理の一例を説明するための模式図である。 図１６の音声信号処理における低周波数域を抜き取るためのローパスフィルタの一例を説明するための図である。 図１６の音声信号処理において割り当てる低周波数域用の仮想音源の他の位置の例を説明するための図である。 図８の音声信号処理部における音声信号処理の他の例を説明するための模式図である。 図８の音声信号処理部における音声信号処理の他の例を説明するための模式図である。 図７の音声信号再生装置を備えたテレビ装置の一構成例を示す図である。 図７の音声信号再生装置を備えたテレビ装置の他の構成例を示す図である。 図７の音声信号再生装置を備えたテレビ装置の他の構成例を示す図である。

本発明に係る音声信号再生装置は、マルチチャネル再生方式用の音声信号などのマルチチャネルの入力音声信号を波面合成再生方式で再生することが可能な装置であり、音声データ再生装置あるいは波面合成再生装置とも呼べる。なお、音声信号とは、当然、いわゆる音声を記録した信号に限ったものではなく、音響信号とも呼べる。また、波面合成再生方式とは、上述したように直線状または面状に並べたスピーカ群によって音の波面を合成する再生方式である。

以下、図面を参照しながら、本発明に係る音声信号再生装置の構成例及び処理例について説明する。以下の説明では、まず、本発明に係る音声信号再生装置が、マルチチャネル再生方式用の音声信号を変換することにより波面合成再生方式用の音声信号を生成して再生する例を挙げる。

図７は、本発明に係る音声信号再生装置の一構成例を示すブロック図で、図８は、図７の音声信号再生装置における音声信号処理部の一構成例を示すブロック図である。

図７で例示する音声信号再生装置７０は、デコーダ７１ａ、Ａ／Ｄコンバータ７１ｂ、音声信号抽出部７２、音声信号処理部７３、Ｄ／Ａコンバータ７４、増幅器群７５、そしてスピーカ群７６から構成される。

デコーダ７１ａは、音声のみあるいは音声付き映像のコンテンツを復号化し、信号処理可能な形式に変換し音声信号抽出部７２に出力する。そのコンテンツは、放送局から送信されたデジタル放送のコンテンツや、ネットワークを介してディジタルコンテンツを配信するサーバからインターネットからダウンロードしたり、あるいは外部記憶装置等の記録媒体から読み込んだりすることによって取得する。Ａ／Ｄコンバータ７１ｂは、アナログの入力音声信号をサンプリングしてデジタル信号に変換し、音声信号抽出部７２に出力する。その入力音声信号は、アナログ放送の信号であったり、音楽再生装置から出力されたものであったりする。

このように、図７では図示しないが、音声信号再生装置７０は、マルチチャネルの入力音声信号を含むコンテンツを入力するコンテンツ入力部を備える。デコーダ７１ａは、ここで入力されたディジタルコンテンツを復号化し、Ａ／Ｄコンバータ７１ｂは、ここで入力されたアナログコンテンツをデジタルコンテンツに変換することになる。音声信号抽出部７２では、得られた信号から音声信号を分離、抽出する。ここではそれは２ｃｈステレオ信号とする。その２チャネル分の信号を音声信号処理部７３に出力する。

入力音声信号が５.１ｃｈなど、２ｃｈを越えるチャネル数である場合には、音声信号抽出部７２は、例えばＡＲＩＢ ＳＴＤ−Ｂ２１「デジタル放送用受信装置 標準規格」によって定められているような、次式の通常のダウンミックス方法によって２ｃｈにダウンミックスし、音声信号処理部７３に出力する。

ここで、Ｌ_t、Ｒ_tはダウンミックス後の左右チャネル信号、Ｌ、Ｒ、Ｃ、Ｌ_S、Ｒ_Sはそれぞれ５.１ｃｈの各信号（左フロントチャネル信号、右フロントチャネル信号、センターチャネル信号、左リアチャネル信号、右リアチャネル信号）、ａはオーバーロード低減係数で例えば１／√２、ｋ_ｄはダウンミックス係数で例えば１／√２、または１／２、または１／２√２、または０となる。

このように、マルチチャネルの入力音声信号は、３以上のチャネルをもつマルチチャネル再生方式の入力音声信号であり、音声信号処理部７３では、マルチチャネルの入力音声信号を２つのチャネルの音声信号にダウンミックスした後の２つのチャネルの音声信号について、後述する離散フーリエ変換を施すなどの処理を行ってもよい。

音声信号処理部７３では、得られた２チャネル信号から、３チャネル以上で且つ入力音声信号とは異なるマルチチャネルの音声信号（以下の例では、仮想音源数分の信号として説明する）を生成する。つまり入力音声信号を別のマルチチャネルの音声信号に変換する。音声信号処理部７３は、その音声信号をＤ／Ａコンバータ７４に出力する。仮想音源の数は、ある一定以上の数があれば予め決めておいても性能上差し支えはないが、仮想音源数が多くなるほど演算量も多くなる。そのため実装する装置の性能を考慮してその数を決定することが望ましい。ここの例では、その数を５として説明する。

Ｄ／Ａコンバータ７４では得られた信号をアナログ信号に変換し、それぞれの信号を増幅器７５に出力する。各増幅器７５では入力されたアナログ信号を拡声し各スピーカ７６に伝送し、各スピーカ７６から空間中に音として出力される。

この図における音声信号処理部７３の詳細な構成を図８に示す。音声信号処理部７３は、音声信号分離抽出部８１及び音声出力信号生成部８２から構成される。

音声信号分離抽出部８１は、２チャネルの音声信号を読み出してＨａｎｎ窓関数を乗算し、その２チャネルの信号から各仮想音源に対応する音声信号を生成する。音声信号分離抽出部８１は、さらに生成した各仮想音源に対応する音声信号について２回目のＨａｎｎ窓関数乗算を施すことで、得られた音声信号波形から知覚上ノイズとなる部分を除去し、ノイズ除去後の音声信号を音声出力信号生成部８２に出力する。このように、音声信号分離抽出部８１は雑音除去部を有する。音声出力信号生成部８２では、得られた音声信号から各スピーカに対応するそれぞれの出力音声信号波形を生成する。

音声出力信号生成部８２では、波面合成再生処理などの処理が施され、例えば、得られた各仮想音源用の音声信号を各スピーカに割り当て、スピーカ毎の音声信号を生成する。波面合成再生処理の一部は音声信号分離抽出部８１で担ってもよい。

次に、図９に従って、音声信号処理部７３での音声信号処理例を説明する。図９は、図８の音声信号処理部における音声信号処理の一例を説明するためのフロー図で、図１０は、図８の音声信号処理部において音声データをバッファに蓄える様子を示す図である。図１１は、Ｈａｎｎ窓関数を示す図で、図１２は、図９の音声信号処理における最初の窓関数乗算処理において、１／４セグメントにつき１回乗算される窓関数を示す図である。

まず、音声信号処理部７３の音声信号分離抽出部８１は、１セグメントの１／４の長さの音声データを、図７における音声信号抽出部７２での抽出結果から読み出す（ステップＳ１）。ここで、音声データとは、例えば４８ｋＨｚなどの標本化周波数で標本化された離散音声信号波形を指すものとする。そして、セグメントとは、ある一定の長さの標本点群からなる音声データ区間であり、ここでは後ほど離散フーリエ変換の対象となる区間長を指すものとし、処理セグメントとも呼ぶ。その値は例えば１０２４とする。この例では、１セグメントの１／４の長さである２５６点の音声データが読み出し対象となる。なお、読み出し対象となるセグメント長はこれに限らず、例えば１セグメントの１／２の長さである５１２点の音声データに対して読み出しを行ってもよい。

読み出した２５６点の音声データは図１０で例示するようなバッファ１００に蓄えられる。このバッファは、直前の１セグメント分の音声信号波形を保持しておけるようになっており、それより過去のセグメントは捨てていく。直前の３／４セグメント分のデータ（７６８点）と最新の１／４セグメント分のデータ（２５６点）を繋げて１セグメント分の音声データを作成し、窓関数演算（ステップＳ２）に進む。すなわち、全ての標本データは窓関数演算に４回読み込まれることになる。

次に、音声信号分離抽出部８１は、従来提案されている次のＨａｎｎ窓を１セグメント分の音声データに乗算する窓関数演算処理を実行する（ステップＳ２）。このＨａｎｎ窓は図１１に窓関数１１０として図示したものである。

ここで、ｍは自然数、Ｍは１セグメント長で偶数とする。ステレオの入力信号をそれぞれｘ_L（ｍ）、ｘ_R（ｍ）とすると、窓関数乗算後の音声信号ｘ′_L（ｍ）、ｘ′_R（ｍ）は、
ｘ′_L（ｍ）＝ｗ（ｍ）ｘ_L（ｍ） 、
ｘ′_R（ｍ）＝ｗ（ｍ）ｘ_R（ｍ） (2)
と計算される。このＨａｎｎ窓を用いると、例えば標本点ｍ₀（ただし、０≦ｍ₀＜Ｍ／４）の入力信号ｘ_L（ｍ₀）にはｓｉｎ²（（ｍ₀／Ｍ）π）が乗算される。そして、その次の回の読み込みではその同じ標本点がｍ₀＋Ｍ／４として、その次にはｍ₀＋Ｍ／２として、その次にはｍ₀＋（３Ｍ）／４として読み込まれる。さらに、後述するが、この窓関数を、最後に再度演算する。したがって、上述の入力信号ｘ_L（ｍ₀）にはｓｉｎ⁴（（ｍ₀／Ｍ）π）が乗算されることになる。これを窓関数として図示すると図１２に示す窓関数１２０のようになる。この窓関数１２０が、１／４セグメント毎にシフトされながら合計４回加算されるので、

が乗算されることになる。この式を変形すると、値が３／２（一定値）となるので、もし、何も修正を加えずに、読み込んだ信号にＨａｎｎ窓を２回乗算し、上の３／２の逆数の２／３をかけ、それを１／４セグメントずつずらして加算すれば（あるいは、１／４セグメントずつずらして加算後に２／３をかければ）、元の信号が完全に復元されることになる。

そうして得られた音声データを、次の数式(3)のように離散フーリエ変換し、周波数領域の音声データを得る（ステップＳ３）。なお、ステップＳ３〜Ｓ１０の処理は、音声信号分離抽出部８１が行えばよい。ここで、ＤＦＴは離散フーリエ変換を表し、ｋは自然数で、０≦ｋ＜Ｍである。Ｘ_L（ｋ）、Ｘ_R（ｋ）は複素数となる。

Ｘ_L（ｋ）＝ＤＦＴ（ｘ′_L（ｎ）） 、
Ｘ_R（ｋ）＝ＤＦＴ（ｘ′_R（ｎ）） (3)
次に、得られた周波数領域の音声データを、各線スペクトルについてステップＳ５〜Ｓ８の処理を実行する（ステップＳ４ａ，Ｓ４ｂ）。具体的に個々の処理について説明する。なお、ここでは線スペクトル毎に相関係数を取得するなどの処理を行う例を挙げて説明するが、特許文献１に記載のように、Equivalent Rectangular Band（ＥＲＢ）を用いて分割した帯域（小帯域）毎に相関係数を取得するなどの処理を実行してもよい。

ここで、離散フーリエ変換した後の線スペクトルは、直流成分すなわち例えばＸ_L（０）を除いて、Ｍ／２（ただし、Ｍは偶数）を境に対称となっている。すなわち、Ｘ_L（ｋ）とＸ_L（Ｍ−ｋ）は０＜ｋ＜Ｍ／２の範囲で複素共役の関係になる。したがって、以下ではｋ≦Ｍ／２の範囲を分析の対象として考え、ｋ＞Ｍ／２の範囲については複素共役の関係にある対称の線スペクトルと同じ扱いとする。

次に、各線スペクトルに対し、左チャネルと右チャネルの正規化相関係数を次式で求めることで、相関係数を取得する（ステップＳ５）。

この正規化相関係数ｄ⁽ⁱ⁾は左右のチャネルの音声信号にどれだけ相関があるかを表すものであり、０から１の間の実数の値をとる。全く同じ信号同士であれば１、そして全く無相関の信号同士であれば０となる。ここで、左右のチャネルの音声信号の電力Ｐ_L ⁽ⁱ⁾とＰ_R ⁽ⁱ⁾の両方が０である場合、その線スペクトルに関して相関信号と無相関信号の抽出は不可能とし、処理を行わず次の線スペクトルの処理に移ることとする。また、Ｐ_L ⁽ⁱ⁾とＰ_R ⁽ⁱ⁾のいずれか片方が０である場合、数式(4)では演算不可能であるが、正規化相関係数ｄ⁽ⁱ⁾＝０とし、その線スペクトルの処理を続行する。

次に、この正規化相関係数ｄ⁽ⁱ⁾を用いて、左右チャネルの音声信号から相関信号と無相関信号をそれぞれ分離抽出するための変換係数を求め（ステップＳ６）、ステップＳ６で取得したそれぞれの変換係数を用いて、左右チャネルの音声信号から相関信号と無相関信号を分離抽出する（ステップＳ７）。相関信号及び無相関信号は、いずれも推定した音声信号として抽出すればよい。

ステップＳ６，Ｓ７の処理例を説明する。ここで、特許文献１と同様、左右チャネルそれぞれの信号は、無相関信号と相関信号から構成され、相関信号については、左右からゲインのみ異なる信号波形（つまり同じ周波数成分からなる信号波形）が出力されるものとするモデルを採用する。ここで、ゲインは、信号波形の振幅に相当し、音圧に関連する値である。そして、このモデルでは、左右から出力される相関信号によって合成される音像は、その相関信号の左右それぞれの音圧のバランスによって方向が決定されるものとする。そのモデルに従うと、入力信号ｘ_L（ｎ）、ｘ_R（ｎ）は、
ｘ_L（ｍ）＝ ｓ（ｍ）＋ｎ_L（ｍ）、
ｘ_R（ｍ）＝αｓ（ｍ）＋ｎ_R（ｍ） (8)
と表される。ここで、ｓ（ｍ）は左右の相関信号、ｎ_L（ｍ）は左チャネルの音声信号から相関信号ｓ（ｍ）を減算したものであって（左チャネルの）無相関信号として定義できるもの、ｎ_R（ｍ）は右チャネルの音声信号から相関信号ｓ（ｍ）にαを乗算したものを減算したものであって（右チャネルの）無相関信号として定義できるものである。また、αは相関信号の左右音圧バランスの程度を表す正の実数である。

数式(8)により、数式(2)で前述した窓関数乗算後の音声信号ｘ′_L（ｍ）、ｘ′_R（ｍ）は、次の数式(9)で表される。ただし、ｓ′（ｍ）、ｎ′_L（ｍ）、ｎ′_R（ｍ）はそれぞれｓ（ｍ）、ｎ_L（ｍ）、ｎ_R（ｍ）に窓関数を乗算したものである。

ｘ′_L（ｍ）＝ｗ（ｍ）｛ｓ（ｍ）＋ｎ_L（ｍ）｝＝ｓ′（ｍ）＋ｎ′_L（ｍ）、
ｘ′_R（ｍ）＝ｗ（ｍ）｛αｓ（ｍ）＋ｎ_R（ｍ）｝＝αｓ′（ｍ）＋ｎ′_R（ｍ）
(9)
数式(9)を離散フーリエ変換することによって、次の数式(10)を得る。ただし、Ｓ（ｋ）、Ｎ_L（ｋ）、Ｎ_R（ｋ）はそれぞれｓ′（ｍ）、ｎ′_L（ｍ）、ｎ′_R（ｍ）を離散フーリエ変換したものである。

Ｘ_L（ｋ）＝ Ｓ（ｋ）＋Ｎ_L（ｋ）、
Ｘ_R（ｋ）＝αＳ（ｋ）＋Ｎ_R（ｋ） (10)
したがって、ｉ番目の線スペクトルにおける音声信号Ｘ_L ⁽ⁱ⁾（ｋ）、Ｘ_R ⁽ⁱ⁾（ｋ）は、
Ｘ_L ⁽ⁱ⁾（ｋ）＝Ｓ⁽ⁱ⁾（ｋ）＋Ｎ_L ⁽ⁱ⁾（ｋ）、
Ｘ_R ^（ｉ）（ｋ）＝α^（ｉ）Ｓ^（ｉ）（ｋ）＋Ｎ_R ^（ｉ）（ｋ） (11)と表現される。ここで、α⁽ⁱ⁾はｉ番目の線スペクトルにおけるαを表す。以後、ｉ番目の線スペクトルにおける相関信号Ｓ⁽ⁱ⁾（ｋ）、無相関信号Ｎ_L ⁽ⁱ⁾（ｋ）、Ｎ_R ⁽ⁱ⁾（ｋ）をそれぞれ、
Ｓ⁽ⁱ⁾（ｋ）＝Ｓ（ｋ）、
Ｎ_L ⁽ⁱ⁾（ｋ）＝Ｎ_L（ｋ）、
Ｎ_R ⁽ⁱ⁾（ｋ）＝Ｎ_R（ｋ） (12)
とおくこととする。

数式(11)から、数式(7)の音圧Ｐ_L ^（ｉ）とＰ_R ^（ｉ）は、
Ｐ_L ⁽ⁱ⁾＝Ｐ_S ⁽ⁱ⁾＋Ｐ_N ⁽ⁱ⁾、
Ｐ_R ⁽ⁱ⁾＝［α⁽ⁱ⁾］²Ｐ_S ⁽ⁱ⁾＋Ｐ_N ⁽ⁱ⁾ (13)
と表される。ここで、Ｐ_S ⁽ⁱ⁾、Ｐ_N ⁽ⁱ⁾はｉ番目の線スペクトルにおけるそれぞれ相関信号、無相関信号の電力であり、

と表される。ここで、左右の無相関信号の音圧は等しいと仮定している。

また、数式(5)〜(7)より、数式(4)は、

と表すことができる。ただし、この算出においてはＳ（ｋ）、Ｎ_L（ｋ）、Ｎ_R（ｋ）が互いに直交し、かけ合わされたときの電力は０と仮定している。

数式(13)と数式(15)を解くことにより、次の式が得られる。

これらの値を用いて、各線スペクトルにおける相関信号と無相関信号を推定する。ｉ番目の線スペクトルにおける相関信号Ｓ⁽ⁱ⁾（ｋ）の推定値ｅｓｔ（Ｓ⁽ⁱ⁾（ｋ））を、媒介変数μ₁、μ₂を用いて、
ｅｓｔ（Ｓ⁽ⁱ⁾（ｋ））＝μ₁Ｘ_L ⁽ⁱ⁾（ｋ）＋μ₂Ｘ_R ⁽ⁱ⁾（ｋ） (18)
とおくと、推定誤差εは、
ε＝ｅｓｔ（Ｓ⁽ⁱ⁾（ｋ））−Ｓ⁽ⁱ⁾（ｋ） (19)
と表される。ここで、ｅｓｔ（Ａ）はＡの推定値を表すものとする。そして二乗誤差ε²が最少になるとき、εとＸ_L ⁽ⁱ⁾（ｋ）、Ｘ_R ⁽ⁱ⁾（ｋ）はそれぞれ直交するという性質を利用すると、
Ｅ［ε・Ｘ_L ⁽ⁱ⁾（ｋ）］＝０、Ｅ［ε・Ｘ_R ⁽ⁱ⁾（ｋ）］＝０ (20)
という関係が成り立つ。数式(11)、(14)、(16)〜(19)を利用すると、数式(20)から次の連立方程式が導出できる。

（１−μ₁−μ₂α⁽ⁱ⁾）Ｐ_S ⁽ⁱ⁾−μ₁Ｐ_N ⁽ⁱ⁾＝０
α⁽ⁱ⁾（１−μ₁−μ₂α⁽ⁱ⁾）Ｐ_S ⁽ⁱ⁾−μ₂Ｐ_N ⁽ⁱ⁾＝０
(21)
この数式(21)を解くことによって、各媒介変数が次のように求まる。

ここで、このようにして求まる推定値ｅｓｔ（Ｓ⁽ⁱ⁾（ｋ））の電力Ｐ_est(S) ⁽ⁱ⁾が、数式(18)の両辺を二乗して求まる次の式
Ｐ_est(S) ⁽ⁱ⁾＝（μ₁＋α⁽ⁱ⁾μ₂）²Ｐ_S ⁽ⁱ⁾＋（μ₁ ²＋μ₂ ²）Ｐ_N ⁽ⁱ⁾ (23)
を満たす必要があるため、この式から推定値を次式のようにスケーリングする。なお、ｅｓｔ′（Ａ）はＡの推定値をスケーリングしたものを表す。

そして、ｉ番目の線スペクトルにおける左右チャネルの無相関信号Ｎ_L ⁽ⁱ⁾（ｋ）、Ｎ_R ⁽ⁱ⁾（ｋ）に対する推定値ｅｓｔ（Ｎ_L ⁽ⁱ⁾（ｋ））、ｅｓｔ（Ｎ_R ⁽ⁱ⁾（ｋ））はそれぞれ、
ｅｓｔ（Ｎ_L ⁽ⁱ⁾（ｋ））＝μ₃Ｘ_L ⁽ⁱ⁾（ｋ）＋μ₄Ｘ_R ⁽ⁱ⁾（ｋ） (25)
ｅｓｔ（Ｎ_R ⁽ⁱ⁾（ｋ））＝μ₅Ｘ_L ⁽ⁱ⁾（ｋ）＋μ₆Ｘ_R ⁽ⁱ⁾（ｋ） (26)
とおくことにより、上述の求め方と同様にして、媒介変数μ₃〜μ₆は、

と求めることができる。このようにして求めた推定値ｅｓｔ（Ｎ_L ⁽ⁱ⁾（ｋ））、ｅｓｔ（Ｎ_R ⁽ⁱ⁾（ｋ））も上述と同様に、次の式によってそれぞれスケーリングする。

数式(22)、(27)、(28)で示した各媒介変数μ₁〜μ₆及び数式(24)、(29)、(30)で示したスケーリングの係数が、ステップＳ６で求める変換係数に該当する。そして、ステップＳ７では、これらの変換係数を用いた演算（数式(18)、(25)、(26)）により推定することで、相関信号と無相関信号（右チャネルの無相関信号、左チャネルの無相関信号）とを分離抽出する。

次に、仮想音源への割り当て処理を行う（ステップＳ８）。本発明では、後述するように低周波数域を抜き取り（抽出して）、その低周波数域については別途処理するが、ここではまず、周波数域に拘わらない仮想音源への割り当て処理について説明する。

まず、この割り当て処理では前処理として、線スペクトル毎に推定した相関信号によって生成される合成音像の方向を推定する。この推定処理について、図１３〜図１５に基づき説明する。図１３は、受聴者と左右のスピーカと合成音像との位置関係の例を説明するための模式図、図１４は、波面合成再生方式で使用するスピーカ群と仮想音源との位置関係の例を説明するための模式図、図１５は、図１４の仮想音源と受聴者及び合成音像との位置関係の例を説明するための模式図である。

いま、図１３に示す位置関係１３０のように、受聴者から左右のスピーカ１３１Ｌ，１３１Ｒの中点に引いた線と、同じく受聴者１３３からいずれかのスピーカ１３１Ｌ／１３１Ｒの中心まで引いた線がなす見開き角をθ₀、受聴者１３３から推定合成音像１３２の位置まで引いた線がなす見開き角をθとする。ここで、左右のスピーカ１３１Ｌ，１３１Ｒから同じ音声信号を、音圧バランスを変えて出力した場合、その出力音声によって生じる合成音像１３２の方向は、音圧バランスを表す前述のパラメータαを用いて次の式で近似できることが一般的に知られている（以下、立体音響におけるサインの法則と呼ぶ）。

ここで、２ｃｈステレオの音声信号を波面合成再生方式で再生できるようにするために、図８に示す音声信号分離抽出部８１が２ｃｈの信号を複数チャネルの信号に変換する。例えば変換後のチャネル数を５つとした場合、それを図１４で示す位置関係１４０のように、波面合成再生方式における仮想音源１４２ａ〜１４２ｅと見做し、スピーカ群（スピーカアレイ）１４１の後方に配置する。なお、仮想音源１４２ａ〜１４２ｅにおける隣り合う仮想音源との間隔は均等とする。したがって、ここでの変換は、２ｃｈの音声信号を仮想音源数の音声信号に変換することになる。既に説明したように、音声信号分離抽出部８１は、まず２ｃｈの音声信号を、線スペクトル毎に１つの相関信号と２つの無相関信号に分離する。音声信号分離抽出部８１では、さらにそれらの信号をどのように仮想音源数の仮想音源（ここでは５つの仮想音源）に割り当てるかを事前に決めておかなければならない。なお、割り当ての方法については複数の方法の中からユーザ設定可能にしておいてもよいし、仮想音源数に応じて選択可能な方法を変えてユーザに提示するようにしてもよい。

割り当て方法の１つの例として、次のような方法を採る。それは、まず、左右の無相関信号については、５つの仮想音源の両端（仮想音源１４２ａ，１４２ｅ）にそれぞれ割り当てる。次に、相関信号によって生じる合成音像については、５つのうちの隣接する２つの仮想音源に割り当てる。隣接するどの２つの仮想音源に割り当てるかについては、まず、前提として、相関信号によって生じる合成音像が５つの仮想音源の両端（仮想音源１４２ａ，１４２ｅ）より内側になるものとし、すなわち、２ｃｈステレオ再生時の２つのスピーカによってなす見開き角内におさまるように５つの仮想音源１４２ａ〜１４２ｅを配置するものとする。そして、合成音像の推定方向から、その合成音像を挟むような隣接する２つの仮想音源を決定し、その２つの仮想音源への音圧バランスの割り当てを調整して、その２つの仮想音源によって合成音像を生じさせるように再生する、という割り当て方法を採る。

そこで、図１５で示す位置関係１５０のように、受聴者１５３から両端の仮想音源１４２ａ，１４２ｅの中点に引いた線と、端の仮想音源１４２ｅに引いた線とがなす見開き角をθ₀、受聴者１５３から合成音像１５１に引いた線とがなす見開き角をθとする。さらに、受聴者１５３から合成音像１５１を挟む２つの仮想音源１４２ｃ，１４２ｄの中点に引いた線と、受聴者１５３から両端の仮想音源１４２ａ，１４２ｅの中点に引いた線（受聴者１５３から仮想音源１４２ｃに引いた線）とがなす見開き角をφ₀、受聴者１５３から合成音像１５１に引いた線とがなす見開き角をφとする。ここで、φ₀は正の実数である。数式(31)で説明したようにして方向を推定した図１３の合成音像１３２（図１５における合成音像１５１に対応）を、これらの変数を用いて仮想音源に割り当てる方法について説明する。

まず、ｉ番目の合成音像の方向θ⁽ⁱ⁾が数式(31)によって推定され、例えばθ⁽ⁱ⁾＝π／１５［ｒａｄ］であったとする。そして、仮想音源が５つの場合、図１５に示すように合成音像１５１は左から数えて３番目の仮想音源１４２ｃと４番目の仮想音源１４２ｄの間に位置することになる。また、仮想音源が５つである場合、３番目の仮想音源１４２ｃと４番目の仮想音源１４２ｄの間について、三角関数を用いた単純な幾何的計算により、φ₀≒０.１２１［ｒａｄ］となり、ｉ番目の線スペクトルにおけるφをφ⁽ⁱ⁾とすると、φ⁽ⁱ⁾＝θ⁽ⁱ⁾−φ₀≒０.０８８［ｒａｄ］となる。このようにして、各線スペクトルにおける相関信号によって生じる合成音像の方向を、それを挟む２つの仮想音源の方向からの相対的な角度で表す。そして上述したように、その２つの仮想音源１４２ｃ，１４２ｄでその合成音像を生じさせることを考える。そのためには、２つの仮想音源１４２ｃ，１４２ｄからの出力音声信号の音圧バランスを調整すればよく、その調整方法については、再び数式(31)として利用した立体音響におけるサインの法則を用いる。

ここで、ｉ番目の線スペクトルにおける相関信号によって生じる合成音像を挟む２つの仮想音源１４２ｃ，１４２ｄのうち、３番目の仮想音源１４２ｃに対するスケーリング係数をｇ₁、４番目の仮想音源１４２ｄに対するスケーリング係数をｇ₂とすると、３番目の仮想音源１４２ｃからはｇ₁・ｅｓｔ′（Ｓ⁽ⁱ⁾（ｋ））、４番目の仮想音源１４２ｄからはｇ₂・ｅｓｔ′（Ｓ⁽ⁱ⁾（ｋ））の音声信号を出力することになる。そして、ｇ₁、ｇ₂は立体音響におけるサインの法則により、

を満たせばよい。

一方、３番目の仮想音源１４２ｃと４番目の仮想音源１４２ｄからの電力の合計が、元の２ｃｈステレオの相関信号の電力と等しくなるようにｇ₁、ｇ₂を正規化すると、
ｇ₁ ²＋ｇ₂ ²＝１＋［α⁽ⁱ⁾］² (33)
となる。

これらを連立させることで、

と求められる。この数式(34)に上述のφ⁽ⁱ⁾、φ₀を代入することによって、ｇ₁、ｇ₂を算出する。このようにして算出したスケーリング係数に基づき、上述したように３番目の仮想音源１４２ｃにはｇ₁・ｅｓｔ′（Ｓ⁽ⁱ⁾（ｋ））の音声信号を、４番目の仮想音源１４２ｄからはｇ₂・ｅｓｔ′（Ｓ⁽ⁱ⁾（ｋ））の音声信号を割り当てる。そして、これも上述したように、無相関信号は両端の仮想音源１４２ａ，１４２ｅに割り当てられる。すなわち、１番目の仮想音源１４２ａにはｅｓｔ′（Ｎ_L ⁽ⁱ⁾（ｋ））を、５番目の仮想音源１４２ｅにはｅｓｔ′（Ｎ_R ⁽ⁱ⁾（ｋ））を割り当てる。

この例とは異なり、もし合成音像の推定方向が１番目と２番目の仮想音源の間であった場合には、１番目の仮想音源にはｇ₁・ｅｓｔ′（Ｓ⁽ⁱ⁾（ｋ））とｅｓｔ′（Ｎ_L ⁽ⁱ⁾（ｋ））の両方が割り当てられることになる。また、もし合成音像の推定方向が４番目と５番目の仮想音源の間であった場合には、５番目の仮想音源にはｇ₂・ｅｓｔ′（Ｓ⁽ⁱ⁾（ｋ））とｅｓｔ′（Ｎ_R ⁽ⁱ⁾（ｋ））の両方が割り当てられることになる。

以上のようにして、ステップＳ８における、ｉ番目の線スペクトルについての左右チャネルの相関信号と無相関信号の割り当てが行われる。これをステップＳ４ａ，Ｓ４ｂのループにより全ての線スペクトルについて行う。例えば、２５６点の離散フーリエ変換を行った場合は１〜１２７番目の線スペクトルまで、５１２点の離散フーリエ変換を行った場合は１〜２５５番目の線スペクトルまで、セグメントの全点（１０２４点）について離散フーリエ変換を行った場合は１〜５１１番目の線スペクトルまで、となる。その結果、仮想音源の数をＪとすると、各仮想音源（出力チャネル）に対する周波数領域の出力音声信号Ｙ₁（ｋ），・・・，Ｙ_J（ｋ）が求まる。

以上のように、本発明に係る音声信号再生装置は、マルチチャネルの入力音声信号から得た２つのチャネルの音声信号のそれぞれについて、離散フーリエ変換を施す変換部と、変換部で離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出する相関信号抽出部とを備える。この変換部と相関信号抽出部は、図８における音声信号分離抽出部８１に含まれる。

そして、本発明では、その主たる特徴として、ここでさらに、少ない数のスピーカや小口径のスピーカを使用した際の、低周波数域の音圧の減少を補うための処理を行う。そのために、まず上記の相関信号抽出部が、抽出した相関信号Ｓ（ｋ）からさらに所定周波数ｆ_lowより低い周波数の相関信号を抜き取る（抽出する）。抜き取った相関信号は、低周波数域の音声信号であり、以下、Ｙ_LＦＥ（ｋ）で表す。その方法について図１６及び図１７を参照しながら説明する。

図１６は、図８の音声信号処理部における音声信号処理の一例を説明するための模式図で、図１７は、図１６の音声信号処理における低周波数域を抜き取るためのローパスフィルタの一例を説明するための図である。

２つの波形１６１，１６２は、２チャネルのうちそれぞれ左チャネル、右チャネルの入力音声波形を示している。上述した処理により、これらの信号から相関信号Ｓ（ｋ）１６４、左無相関信号Ｎ_L（ｋ）１６３、及び右無相関信号Ｎ_R（ｋ）１６５を抽出し、スピーカ群の後方に配置された５つの仮想音源１６６ａ〜１６６ｅに、前述したような方法で割り当てる。なお、符号１６３，１６４，１６５は、線スペクトルの周波数ｆに対する振幅スペクトル（強度｜ｆ｜）を指している。

本発明では、５つの仮想音源１６６ａ〜１６６ｅへの割り当てに先立ち、相関信号Ｓ（ｋ）の低周波数域に含まれる線スペクトルだけを抜き取ることによって、低周波数域の音声信号Ｙ_LＦＥ（ｋ）だけを抽出しておく。この際、低周波数の範囲は、例えば図１７で示すようなローパスフィルタ１７０によって定義する。ここで、ｆ_LTは係数の遷移開始の周波数、ｆ_UTは遷移終了の周波数であり上記所定周波数ｆ_lowに該当する。上記所定周波数としては、例えばｆ_low＝１５０Ｈｚなどに規定しておくなどすればよい。

また、ローパスフィルタ１７０では、ｆ_LTからｆ_UTの間の周波数については抜き取る際に乗算する係数を１から徐々に少なくしている。ここでは線形的に少なくしているが、これに限らずどのように係数を遷移させてもよい。あるいは遷移範囲を無くし、ｆ_LT以下の線スペクトルのみを抜き取ってもよい（この場合にはｆ_LTが上記の所定周波数ｆ_lowに該当することになる）。

そして、相関信号Ｓ（ｋ）１６４から低周波数域の音声信号Ｙ_LＦＥ（ｋ）を抜き取った後の相関信号と、左無相関信号Ｎ_L（ｋ）１６３及び右無相関信号Ｎ_R（ｋ）１６５を５つの仮想音源１６６ａ〜１６６ｅに割り当てる。割り当ての際には、左無相関信号Ｎ_L（ｋ）１６３を最も左側の仮想音源１６６ａに割り当て、右無相関信号Ｎ_R（ｋ）１６５を最も右側（後述の仮想音源１６７を除く最も右側）の仮想音源１６６ｅに割り当てる。

また、相関信号Ｓ（ｋ）１６４からの抜き取りにより作成した低周波数域の音声信号Ｙ_LＦＥ（ｋ）を、例えば、５つの仮想音源１６６ａ〜１６６ｅとは別の１つの仮想音源１６７に割り当てる。仮想音源１６６ａ〜１６６ｅはスピーカ群に対してその後方に均等に配置されるようにし、仮想音源１６７はその同列の外側に配置されるようにすればよい。この仮想音源１６７に割り当てられた低周波数域の音声信号Ｙ_LＦＥ（ｋ）や、仮想音源１６６ａ〜１６６ｅに割り当てられた残りの音声信号は、スピーカ群（スピーカアレイ）から出力されることになる。

ここで、低周波数域の音声信号Ｙ_LＦＥ（ｋ）を割り当てた仮想音源１６７と、他の周波数域の相関信号及び左右の無相関信号を割り当てた他の仮想音源１６６ａ〜１６６ｅとで、仮想音源の再生方法（波面の合成方法）を異ならせる。より具体的には、他の仮想音源１６６ａ〜１６６ｅについては、その仮想音源のｘ座標（水平方向位置）と距離が近いｘ座標を持つ出力スピーカほどゲインを大きくし、音のタイミングを早く出力するが、抜き取りによって作成された仮想音源１６７については、ゲインを全て等しくし、出力タイミングのみ、前述と同様に出力させる。これにより、他の仮想音源１６６ａ〜１６６ｅについては、仮想音源からｘ座標の距離が遠いスピーカでは出力が小さくなるため、その出力性能を生かしきることができないものの、抜き取り用の仮想音源１６７では、全てのスピーカから大きい音が出力されるため、トータルの音圧が大きくなる。そして、その場合でも、タイミングを制御して波面を合成するので、音像は少しぼやけるものの、音像定位をさせたまま、音圧を大きくすることができる。このような処理により、低周波数域の音が音圧不足となることを防ぐことができる。

このように、低周波数域の音声信号Ｙ_LＦＥ（ｋ）はスピーカ群から出力されることになるが、合成波面を形成するように出力される。合成波面は仮想音源の割り当てにより形成することが好ましい。つまり、本発明に係る音声信号再生装置は次のような出力部を備えることが好ましい。この出力部は、上記の相関信号抽出部で抜き取られた相関信号を、１つの仮想音源に割り当てて波面合成再生方式でスピーカ群の一部または全部から出力する。なお、スピーカ群の一部または全部としたのは、上記の相関信号抽出部で抜き取られた相関信号が示す音像によっては、スピーカ群の全てを使用する場合と一部のみを使用する場合があるためである。

ここで、上記の出力部は、図７，図８における音声出力信号生成部８２、図７におけるＤ／Ａコンバータ７４、及び増幅器７５（及びスピーカ群７６）が該当する。但し、上述したように波面合成再生処理の一部は音声信号分離抽出部８１で担ってもよい。

上記の出力部は、抜き取った低周波数域の信号を１つの仮想音源としてスピーカ群から再生するものであるが、そのような合成波として実際にスピーカ群から出力するためには、出力先となる隣り合うスピーカ同士が合成波面を生成し得る条件を満たす必要がある。その条件は、空間サンプリング周波数の定理から、出力対象の隣り合うスピーカ同士の音の出力の時間差が２Δｘ／ｃの範囲に入っているといった条件である。

ここで、Δｘは出力対象の隣り合うスピーカ同士の間隔（出力対象のスピーカ間の中心の間隔）、ｃは音速とする。例えば、ｃ＝３４０ｍ／ｓとし、Δｘが０．１７ｍのとき、この時間差の値は１ｍｓとなる。そして、この値の逆数が、このスピーカ間隔で波面合成が行える上限の周波数（ｆ_thとする）となり、この例ではｆ_th＝１０００Ｈｚとなる。すなわち、隣り合うスピーカから２Δｘ／ｃ以内の時間差で波面を合成しようとした場合、上限周波数ｆ_thより高い音については、波面を合成することができない。逆に言えば、上限周波数ｆ_thはスピーカの間隔によって定まり、その逆数が、制限時間の上限値となる。これらの点を考慮すると、上記所定周波数ｆ_lowは１５０Ｈｚとして例示したようにこの上限周波数ｆ_th（例えば１０００Ｈｚ）より低い周波数で規定し、相関信号の抽出を行い、且つ上記時間差が２Δｘ／ｃの範囲に入るようにしておけば、上記所定周波数ｆ_lowより低い周波数についてはいずれの周波数であっても波面を合成することができる。

換言すれば、本発明における上記の出力部は、抜き取られた相関信号を、出力先の隣り合うスピーカ同士の音の出力の時間差が２Δｘ／ｃの範囲に入るように、スピーカ群の一部または全部から出力していると言える。実際には、抜き出した相関信号に対し、出力先の隣り合うスピーカ同士の音の出力の時間差が２Δｘ／ｃの範囲に入るように変換を施し、スピーカ群の一部または全部から出力することで、合成波面を形成している。なお、出力先の隣り合うスピーカ同士とは、設けられたスピーカ群において隣り合うスピーカ同士を指す場合に限らず、スピーカ群において隣り合わないスピーカ同士のみが出力先となる場合もあり、その場合には出力先だけを考慮して隣り合うか否かを決めればよい。

また、低周波数域の音声信号は、指向性が弱く、信号が回折し易いので、上述のようにして仮想音源１６７から出力されるようにスピーカ群から出力したとしても、それが四方八方に拡がる。よって、図１６を参照して説明した例のように仮想音源１６７を仮想音源１６６ａ〜１６６ｅと同列に配置する必要はなく、どの位置に配置してもよい。

また、上述のようにして割り当てる仮想音源の位置は、５つの仮想音源１６６ａ〜１６６ｅと別にする必要は必ずしもない。図１８を参照して、図１６の音声信号処理において割り当てる低周波数域用の仮想音源の他の位置の例を説明する。割り当てる仮想音源の位置は、例えば、図１８に示す位置関係１８０のように、低周波数域用の仮想音源１８３を、５つの仮想音源１８２ａ〜１８２ｅ（それぞれ上述の５つの仮想音源１６６ａ〜１６６ｅに対応）のうち真ん中に配置された仮想音源１８２ｃの位置と同じ位置に設定してもよい。この仮想音源１８３に割り当てられた低周波数域の音声信号Ｙ_LＦＥ（ｋ）や、仮想音源１８２ａ〜１８２ｅに割り当てられた残りの音声信号は、スピーカ群（スピーカアレイ）１８１から出力されることになる。

以上、本発明では、波面合成再生方式での再生によりどの聴取位置からでも忠実に音像を再現することができるだけでなく、上述のように相関信号について周波数域に応じて異なる処理を施すことにより、スピーカアレイ（スピーカユニット）の特性に応じて、非常に高い精度で目的の低周波数域だけを抽出することができ、低周波数域の音が音圧不足となることを防ぐことができる。また、ここで、スピーカユニットの特性とは、各スピーカの特性を指し、例えば同じスピーカを並べたアレイスピーカのみであれば各スピーカに共通の出力周波数特性であり、このようなスピーカアレイに加えてウーファーがあれば、そのウーファーの出力周波数特性も合わせた特性を指す。このような効果は、少ない個数のスピーカや小口径のスピーカ、それに各チャネルが小容量のアンプしか搭載できないなど、低コストの制約下のスピーカ群によって波面合成再生方式で音声信号を再生する場合に特に有益となる。

また、このように、それぞれの仮想音源（図１６における仮想音源１６６ａ〜１６６ｅ、図１８における仮想音源１８２ａ〜１８２ｅ）の低周波数成分を増圧するのではなく、１つの仮想音源（図１６における仮想音源１６７、図１８における仮想音源１８３）に割り当てることにより、低周波数成分が複数の仮想音源から出力されることによる干渉を防ぐことができる。

次に、図９のステップＳ１〜Ｓ８により得られた各出力チャネルに対する処理について説明する。各出力チャネルについては、次のようなステップＳ１０〜Ｓ１２の処理を実行する（ステップＳ９ａ，Ｓ９ｂ）。以下、ステップＳ１０〜Ｓ１２の処理について説明する。

まず、各出力チャネルを離散フーリエ逆変換することによって、時間領域の出力音声信号ｙ′_J（ｍ）を求める（ステップＳ１０）。ここで、ＤＦＴ^-1は離散フーリエ逆変換を表す。

ｙ′_J（ｍ）＝ＤＦＴ^-1（Ｙ_J（ｋ）） （１≦ｊ≦Ｊ） (35)
ここで、数式(3)で説明したように、離散フーリエ変換した信号は、窓関数乗算後の信号であったため、逆変換して得られた信号ｙ′_J（ｍ）も窓関数が乗算された状態となっている。窓関数は数式(1)に示すような関数であり、読み込みは１／４セグメント長ずつずらしながら行ったため、前述した通り、１つ前に処理したセグメントの先頭から１／４セグメント長ずつずらしながら出力バッファに加算していくことにより変換後のデータを得る。

ここで、前述したように離散フーリエ変換を行う前にＨａｎｎ窓を演算している。Ｈａｎｎ窓の両端点の値は０であるため、もし離散フーリエ変換後、どのスペクトル成分も値を変更せず、再び離散フーリエ逆変換を行えば、そのセグメントの両端点は０となり、セグメント間の不連続点は発生しない。しかし実際は、離散フーリエ変換後の周波数領域において、上述したように各スペクトル成分を変更するため、離散フーリエ逆変換後のセグメントの両端点は０とならず、セグメント間の不連続点が発生する。

したがって、その両端点を０にするため、前述したように、再度Ｈａｎｎ窓を演算する。これにより、両端点が０となること、つまり不連続点が生じないことが保証される。より具体的には、離散フーリエ逆変換後の音声信号（つまり、相関信号またはそれから生成された音声信号）のうち、処理セグメントの音声信号に対し、再びＨａｎｎ窓関数を乗算し、処理セグメントの長さの１／４だけずらして、前の処理セグメントの音声信号に加算することにより、離散フーリエ逆変換後の音声信号から波形の不連続点を除去する。ここで、前の処理セグメントとは、以前の処理セグメントであって、実際には１／４ずつずらすため、１つ前、２つ前、及び３つ前の処理セグメントを指す。その後は、前述したように、２回目のＨａｎｎ窓関数乗算処理後の処理セグメントに対し、３／２の逆数である２／３を乗じれば、元の波形が完全に復元できる。無論、この２／３の乗算を加算対象の処理セグメントに対して施してから、ずらし及び加算を実行してもよい。また、この２／３を乗算する処理については実行しなくても、振幅が大きくなるだけであるので構わない。

なお、例えば、読み込みを半セグメント長ずつずらしながら行った場合には、１つ前に処理したセグメントの先頭から半セグメント長ずつずらしながら出力バッファに加算していくことにより変換後のデータを得ればよく、この場合には上記両端点が０となること（不連続点が生じないこと）が保証されないが、何らかの不連続点除去処理を施せばよい。この場合の不連続点除去処理の詳細については、例えば、２回目の窓関数演算を施さずに特許文献１に記載の不連続点除去処理を採用するなどすればよいが、本発明とは直接関係ないため、その説明を省略する。

次に、図１９の模式図を参照しながら、図８の音声信号処理部における音声信号処理の他の例を説明する。

上述の説明では、低周波数域の音声信号Ｙ_LＦＥ（ｋ）を１つの仮想音源に割り当てて波面合成再生方式によって再生したが、図１９に示す位置関係１９０のように、低周波数域の音声信号Ｙ_LFE（ｋ）を、スピーカ群１９１からの合成波が平面波となるように波面合成再生方式で再生させてもよい。このように、上記の出力部は、上記の相関信号抽出部で抜き取られた相関信号を、スピーカ群の一部または全部から平面波として波面合成再生方式で出力してもよい。ここで、図１９では、スピーカ群１９１の並び方向（アレイ方向）に垂直な方向に進む平面波を出力する例を挙げているが、スピーカ群１９１の並び方向に所定の角度を付けて斜めに進むような平面波を出力することもできる。

ここで、平面波として出力するためには、（ａ）平面波は、隣り合うスピーカ同士の遅延を一定間隔で均一に付けた出力タイミングで各スピーカから出力すればよい。なお、図１９の例のようにアレイ方向に垂直に進む平面波の場合には、この一定間隔を「０」とすし、隣り合うスピーカ同士の遅延を「０」にした出力タイミングで各スピーカから出力すればよい。また、他の方法として、図１９の例のようにアレイ方向に垂直に進む平面波として出力するためには、（ｂ）非低周波数域の音声信号で割り当てのない仮想音源（図１６の１６７）を少なくとも１つを含むような全ての仮想音源（図１６の１６６ａ〜１６６ｅ，１６７）から均等に出力するような処理を行ってもよい。上記（ｂ）の応用として、仮想音源の並び方向をスピーカ群の並び方向と平行ではなく角度を付けた方向に設定しておくことで、スピーカ群の並び方向に所定の角度を付けて斜めに進むような平面波を出力することができる。

このように平面波として出力する場合にも、合成波を出力していることから、上記の出力部は、抜き取られた相関信号を、出力先の隣り合うスピーカ同士の音の出力の時間差が２Δｘ／ｃの範囲に入るように、スピーカ群の一部または全部から出力していると言える。例えば、上記（ａ），（ｂ）のいずれの場合でも、時間差が２Δｘ／ｃ以内になるか否かで波面が合成できるか否かは決まる。また、平面波と曲面波との違いというのは、３つ以上並べられたスピーカがどのように遅延を順番につけていくかによって決定される。具体的には、等間隔でつければ図１９で例示したような平面波となり、例えば中央から両端に向かって徐々に間隔を拡げていけば図１８で例示した曲面と同様の曲面（凸面）となる。このように、２つのスピーカだけでは出力が平面波となるか曲面波となるかは決まらないものの、少なくとも時間差が２Δｘ／ｃ以内になるか否かで波面が合成できるか否かは決まる。

低周波数域の音声信号は、指向性が弱く、信号が回折し易いので、このようにして平面波で出力（平面波として再生）したとしても、それが四方八方に拡がるが、中周波数域や高周波数域の音声信号では指向性が強いため、平面波で出力しまうとビームのようにその進行方向にエネルギーが集中し、進行方向以外では音圧が弱くなる。よって、低周波数域の音声信号Ｙ_LFE（ｋ）を平面波として再生する構成においても、低周波数域の音声信号Ｙ_LＦＥ（ｋ）を取り除いた後の相関信号と、左右の無相関信号については、平面波として再生せずに、図１６を参照して説明した例と同様に仮想音源１９２ａ〜１９２ｅに割り当てて波面合成再生方式によりスピーカ群１９１から出力する。

このように、図１９の例では、低周波数域の音声信号Ｙ_LＦＥ（ｋ）については仮想音源を割り当てず平面波で出力し、他の周波数域の相関信号及び左右の無相関信号については仮想音源を割り当てて出力するようにし、両者で再生方法（波面の合成方法）を異ならせる。これにより、割り当てた仮想音源については図１６を参照した説明と同様に仮想音源からｘ座標の距離が遠いスピーカでは出力が小さくなるものの、抜き取った低周波数域の音声信号Ｙ_LＦＥ（ｋ）については、平面波を形成するために全てのスピーカから大きい音が出力されるため、トータルの音圧が大きくなり、低周波数域の音が音圧不足となることを防ぐことができる。

したがって、図１９で説明した例においても、波面合成再生方式での再生によりどの聴取位置からでも忠実に音像を再現することができるだけでなく、上述のように相関信号について周波数域に応じて異なる処理を施すことにより、スピーカアレイ（スピーカユニット）の特性に応じて、非常に高い精度で目的の低周波数域だけを抽出することができ、低周波数域の音が音圧不足となることを防ぐことができる。

次に、図２０の模式図を参照しながら、図８の音声信号処理部における音声信号処理の他の例を説明する。

平面波としては、例えば図２０で例示したように、スピーカ群２０の並び方向のあるところから、両端に向かって、均一に遅延を付け、二方向に平面波を作るようにしてもよい。

また、抜き出した相関信号については、１つの仮想音源として出力する例や平面波として出力する例に限らず、次のような出力方法を採用することができる。例えば、非常に低い周波数帯域だけを抜き取るのであれば、極端な例を挙げると、上述の時間差内でランダムに遅延を付けたとしても、聴感上は違和感なく低音を強調することは可能である。よって、抜き取る周波数帯域に依存するが、割合高い周波数までを含むように抜き取りを行うのであれば、図１８のような通常の波面合成（曲面波）か、図１９のような平面波か、図２０のような平面波を生成することが好ましいが、非常に低い周波数帯域だけしか含まないように抜き取るのであれば、上述の時間差内であればどのような遅延の付け方でもよい。その境界は、音の定位が難しくなってくる１２０Ｈｚ辺りが目安となる。つまり、上記所定周波数ｆ_lowを１２０Ｈｚ辺りより低く設定して抜き出すのであれば、抜き出した相関信号について、時間差２Δｘ／ｃ以内でランダムに遅延を付けてスピーカ群の一部又は全部から出力することもできる。

次に、本発明の実装について簡単に説明する。本発明は、例えばテレビ装置など映像の伴う装置に利用できる。本発明を適用可能な装置の様々な例について、図２１〜図２３を参照しながら説明する。図２１〜図２３は、それぞれ図７の音声信号再生装置を備えたテレビ装置の構成例を示す図である。なお、図２１〜図２３のいずれにおいても、スピーカアレイとして一列につき５個のスピーカを配列した例を挙げているが、スピーカの数は複数であればよい。

本発明に係る音声信号再生装置はテレビ装置に利用できる。テレビ装置におけるこれらの装置の配置は自由に決めればよい。図２１で示すテレビ装置２１０のように、テレビ画面２１１の上方と下方に、音声信号再生装置におけるスピーカ２１２ａ〜２１２ｅを直線状に並べたスピーカ群２１２とスピーカ２１３ａ〜２１３ｅを直線状に並べたスピーカ群２１３とを設けてもよい。図２２で示すテレビ装置２２０のように、テレビ画面２２１の下方に、音声信号再生装置におけるスピーカ２２２ａ〜２２２ｅを直線状に並べたスピーカ群２２２を設けてもよい。図２３で示すテレビ装置２３０のように、テレビ画面２３１の上方に、音声信号再生装置におけるスピーカ２３２ａ〜２３２ｅを直線状に並べたスピーカ群２３２を設けてもよい。また、図示しないが、多少のコストを犠牲にすれば、音声信号再生装置における透明のフィルム型スピーカを直線状に並べたスピーカ群を、テレビ画面に埋め込むこともできる。

このようにして、アレイスピーカを画面の上下、あるいは上側、あるいは下側に取り付けるなどにより、少ないスピーカ数や小口径のアレイスピーカでも、低周波数域でも音圧の大きい波面合成再生方式の音声信号再生が可能なテレビ装置を実現することができる。

そのほか、本発明に係る音声信号再生装置は、テレビ台（テレビボード）に埋め込むこともでき、またサウンドバーと呼ばれるテレビ装置の下に置く一体型のスピーカーシステムに埋め込むこともできる。いずれの場合でも音声信号を変換する部分のみをテレビ装置側に設けておくこともできる。その他、本発明に係る音声信号再生装置は、スピーカ群を曲線状に並べたカーオーディオに適用することもできる。

また、図２１〜図２３を参照して説明したようなテレビ装置などの装置に本発明に係る音声信号再生処理を適用した際、受聴者はこの処理（図７や図８の音声信号処理部７３における処理）を行うか行わないかについて、装置本体に備えられたボタン操作やあるいはリモートコントローラ操作などでなされたユーザ操作により切り替える切替部を設けることもできる。この変換処理を行わない場合、低周波数域か否かに拘わらず同様の処理を適用し、仮想音源を配置して波面合成再生方式で再生するなどすればよい。

また、本発明で適用可能な波面合成再生方式としては、上述したようにスピーカアレイ（複数のスピーカ）を備えて仮想音源に対する音像としてそれらのスピーカから出力するようにする方式であればよく、非特許文献１に記載のＷＦＳ方式の他、人間の音像知覚に関する現象としての先行音効果（ハース効果）を利用した方式など様々な方式が挙げられる。ここで、先行音効果とは、同一の音声を複数の音源から再生し、音源それぞれから聴取者に到達する各音声に小さな時間差がある場合、先行して到達した音声の音源方向に音像が定位する効果を指し示したものである。この効果を利用すれば、仮想音源位置に音像を知覚させることが可能となる。ただし、その効果だけで音像を明確に知覚させることは難しい。ここで、人間は音圧を最も高く感じる方向に音像を知覚するという性質も持ち合わせている。したがって、音声信号再生装置において、上述の先行音効果と、この最大音圧方向知覚の効果とを組み合わせ、これにより、少ない数のスピーカでも仮想音源の方向に音像を知覚させることが可能になる。

以上、本発明に係る音声信号再生装置が、マルチチャネル再生方式用の音声信号を変換することにより波面合成再生方式用の音声信号を生成して再生する例を挙げた。しかし、本発明に係る音声信号再生装置は、マルチチャネル再生方式用の音声信号に限らず、例えば波面合成再生方式用の音声信号を入力音声信号として、それを、上述したように低周波数域を抜き取って別処理するような波面合成再生方式用の音声信号に変換して再生するように構成することもできる。

また、例えば図７で例示した音声信号処理部７３など、本発明に係る音声信号再生装置の各構成要素は、例えばマイクロプロセッサ（またはＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。上記ハードウェアの一部または全部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部または全部を集積回路／ＩＣチップセットとして搭載することも可能である。

また、上述した様々な構成例における機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体を、音声信号再生装置となる汎用コンピュータ等の装置に供給し、その装置内のマイクロプロセッサまたはＤＳＰによりプログラムコードが実行されることによっても、本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が上述した様々な構成例の機能を実現することになり、このプログラムコード自体や、プログラムコードを記録した記録媒体（外部記録媒体や内部記憶装置）であっても、そのコードを制御側が読み出して実行することで、本発明を構成することができる。外部記録媒体としては、例えばＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭなどの光ディスクやメモリカード等の不揮発性の半導体メモリなど、様々なものが挙げられる。内部記憶装置としては、ハードディスクや半導体メモリなど様々なものが挙げられる。また、プログラムコードはインターネットからダウンロードして実行することや、放送波から受信して実行することもできる。

以上、本発明に係る音声信号再生装置について説明したが、処理の流れをフロー図で例示したように、本発明は、マルチチャネルの入力音声信号をスピーカ群によって波面合成再生方式で再生する音声信号再生方法としての形態も採り得る。

この音声信号再生方法は、次の変換ステップ、抽出ステップ、及び出力ステップを有する。変換ステップは、変換部が、マルチチャネルの入力音声信号から得た２つのチャネルの音声信号のそれぞれについて、離散フーリエ変換を施すステップである。抽出ステップは、相関信号抽出部が、変換ステップで離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出し、さらにその相関信号から所定周波数ｆ_lowより低い周波数の相関信号を抜き取るステップである。出力ステップは、出力部が、抽出ステップで抜き取られた相関信号を、出力先の隣り合うスピーカ同士の音の出力の時間差が２Δｘ／ｃ（ここで、Δｘは隣り合うスピーカ同士の間隔、ｃは音速とする）の範囲に入るように、スピーカ群の一部または全部から出力するステップである。その他の応用例については、音声信号再生装置について説明した通りであり、その説明を省略する。

なお、上記プログラムコード自体は、換言すると、この音声信号再生方法、つまりマルチチャネルの入力音声信号をスピーカ群によって波面合成再生方式で再生する音声信号再生処理を、コンピュータに実行させるためのプログラムである。すなわち、このプログラムは、コンピュータに、マルチチャネルの入力音声信号から得た２つのチャネルの音声信号のそれぞれについて、離散フーリエ変換を施す変換ステップと、変換ステップで離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出し、さらにその相関信号から所定周波数ｆ_lowより低い周波数の相関信号を抜き取る抽出ステップと、抽出ステップで抜き取られた相関信号を、出力先の隣り合うスピーカ同士の音の出力の時間差が２Δｘ／ｃの範囲に入るように、スピーカ群の一部または全部から出力する出力ステップと、を実行させるためのプログラムである。その他の応用例については、音声信号再生装置について説明した通りであり、その説明を省略する。

７０…音声信号再生装置、７１ａ…デコーダ、７１ｂ…Ａ／Ｄコンバータ、７２…音声信号抽出部、７３…音声信号処理部、７４…Ｄ／Ａコンバータ、７５…増幅器、７６…スピーカ、８１…音声信号分離抽出部、８２…音声出力信号生成部。

以上、本発明では、波面合成再生方式での再生によりどの聴取位置からでも忠実に音像を再現することができるだけでなく、上述のように相関信号について周波数域に応じて異なる処理を施すことにより、スピーカアレイ（スピーカユニット）の特性に応じて、非常に高い精度で目的の低周波数域だけを抽出することができ、低周波数域の音が音圧不足となることを防ぐことができる。また、ここで、スピーカユニットの特性とは、各スピーカの特性を指し、例えば同じスピーカを並べたスピーカアレイのみであれば各スピーカに共通の出力周波数特性であり、このようなスピーカアレイに加えてウーファーがあれば、そのウーファーの出力周波数特性も合わせた特性を指す。このような効果は、少ない個数のスピーカや小口径のスピーカ、それに各チャネルが小容量のアンプしか搭載できないなど、低コストの制約下のスピーカ群によって波面合成再生方式で音声信号を再生する場合に特に有益となる。

このようにして、スピーカアレイを画面の上下、あるいは上側、あるいは下側に取り付けるなどにより、少ないスピーカ数や小口径のスピーカアレイでも、低周波数域でも音圧の大きい波面合成再生方式の音声信号再生が可能なテレビ装置を実現することができる。

Claims (7)

1. マルチチャネルの入力音声信号を、スピーカ群によって波面合成再生方式で再生する音声信号再生装置であって、
   前記マルチチャネルの入力音声信号から得た２つのチャネルの音声信号のそれぞれについて、離散フーリエ変換を施す変換部と、
   該変換部で離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出し、さらに該相関信号から所定周波数ｆ_lowより低い周波数の相関信号を抜き取る相関信号抽出部と、
   前記相関信号抽出部で抜き取られた相関信号を、出力先の隣り合うスピーカ同士の音の出力の時間差が２Δｘ／ｃ（ここで、Δｘは前記隣り合うスピーカ同士の間隔、ｃは音速とする）の範囲に入るように、前記スピーカ群の一部または全部から出力する出力部と、を備えたことを特徴とする音声信号再生装置。
2. 前記出力部は、前記相関信号抽出部で抜き取られた相関信号を、１つの仮想音源に割り当てて波面合成再生方式で前記スピーカ群の一部または全部から出力することを特徴とする請求項１に記載の音声信号再生装置。
3. 前記出力部は、前記相関信号抽出部で抜き取られた相関信号を、前記スピーカ群の一部または全部から平面波として波面合成再生方式で出力することを特徴とする請求項１に記載の音声信号再生装置。
4. 前記マルチチャネルの入力音声信号は、３以上のチャネルをもつマルチチャネル再生方式の入力音声信号であり、
   前記変換部は、前記マルチチャネルの入力音声信号を２つのチャネルの音声信号にダウンミックスした後の２つのチャネルの音声信号について、離散フーリエ変換を施すことを特徴とする請求項１〜３のいずれか１項に記載の音声信号再生装置。
5. マルチチャネルの入力音声信号を、スピーカ群によって波面合成再生方式で再生する音声信号再生方法であって、
   変換部が、前記マルチチャネルの入力音声信号から得た２つのチャネルの音声信号のそれぞれについて、離散フーリエ変換を施す変換ステップと、
   相関信号抽出部が、前記変換ステップで離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出し、さらに該相関信号から所定周波数ｆ_lowより低い周波数の相関信号を抜き取る抽出ステップと、
   出力部が、前記抽出ステップで抜き取られた相関信号を、出力先の隣り合うスピーカ同士の音の出力の時間差が２Δｘ／ｃ（ここで、Δｘは前記隣り合うスピーカ同士の間隔、ｃは音速とする）の範囲に入るように、前記スピーカ群の一部または全部から出力する出力ステップと、
   を有することを特徴とする音声信号再生方法。
6. コンピュータに、マルチチャネルの入力音声信号を、スピーカ群によって波面合成再生方式で再生する音声信号再生処理を実行させるためのプログラムであって、
   前記マルチチャネルの入力音声信号から得た２つのチャネルの音声信号のそれぞれについて、離散フーリエ変換を施す変換ステップと、
   該変換ステップで離散フーリエ変換後の２つのチャネルの音声信号について、直流成分を無視して相関信号を抽出し、さらに該相関信号から所定周波数ｆ_lowより低い周波数の相関信号を抜き取る抽出ステップと、
   該抽出ステップで抜き取られた相関信号を、出力先の隣り合うスピーカ同士の音の出力の時間差が２Δｘ／ｃ（ここで、Δｘは前記隣り合うスピーカ同士の間隔、ｃは音速とする）の範囲に入るように、前記スピーカ群の一部または全部から出力する出力ステップと、
   を実行させるためのプログラム。
7. 請求項６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images