JP5552764B2 - 信号処理装置、およびプログラム - Google Patents

Description

本発明は、左右各１チャネルのオーディオ信号からマルチチャネルオーディオ信号を生成する技術に関する。

臨場感に富んだ音響を聴者に提供する技術の一例としてマルチチャネルサラウンド技術が挙げられる。これは、聴者を取り囲むように複数のスピーカを配置し、各スピーカから聴者を包み込むように音を出力することで臨場感を高める技術である。マルチチャネルサラウンド技術における各スピーカの配置位置については、ＩＴＵ（International Telecommunication Union）による勧告が為されている。例えば、センタチャネルスピーカＣ、左フロントスピーカＬ、右フロントスピーカＲ、左サラウンドスピーカＬＳおよび右サラウンドスピーカＲＳの５台のスピーカからなるシステムにおいては、図５に示すように各スピーカを配置すべきことが勧告されている。図５の左フロントスピーカＬおよび右フロントスピーカＲは、聴者から観て正面左側および正面右側に各々配置され、聴者の正面左側、真正面或いは正面右側の音像の定位に用いられる。左サラウンドスピーカＬＳおよび右サラウンドスピーカＲＳは、各々聴者の左側方（或いは左後方）および右側方（或いは右後方）に配置され、聴者の側方や後方の音像の定位や無定位の音（例えばどこからともなく聞こえてくる人の話し声のような音）の再生に用いられる。そして、聴者の真正面に配置されるセンタチャネルスピーカＣは、例えば映画やドラマなどの台詞のように聴者の正面に定位する音の再生に用いられる。この種のマルチチャネルサラウンド技術は、例えば映画館などにおける音響再生に利用されることが多かったのであるが、近年では、所謂ホームシアターやテレビゲームなどにおける音響再生にも利用されている。また、上記５種類のスピーカにサブウーファを追加した５．１チャネルマルチサラウンドシステムも一般に普及している。サブウーファとは、主に重低音の再生を担当するスピーカのことである。

ホームシアターやテレビゲームにて臨場感に富んだ音響再生を行うには、再生対象のオーディオ信号がマルチチャネルサラウンド対応のものであることが必須となる。このため、従来のステレオ方式で録音が行われた映画ＤＶＤ（Digital Versatile Disk）等の所有者の中には、「好きな映画だけどマルチチャネルサラウンド対応じゃないから、最近の機器では再生できないし、また、再生できたとしても臨場感に欠ける」といった不満を抱いているものもいる。そこで、このような不満を解消するために左右各１チャネルのステレオオーディオ信号に信号処理を施し、マルチチャネルサラウンドシステムに含まれる各スピーカに与えるオーディオ信号を生成する技術（以下、アップミキシング技術）が種々提案されている。その一例としては、Ｄｏｌｂｙ Ｐｒｏ Ｌｏｇｉｃ(登録商標)や、主成分分析を利用した技術、特許文献１に開示された技術等が挙げられる。

Ｄｏｌｂｙ Ｐｒｏ Ｌｏｇｉｃ(登録商標)では、左右各１チャネルの入力オーディオ信号（左チャネルオーディオ信号ＳＬ０および右チャネルオーディオ信号ＳＲ０）の各々をゲインを調整しつつ加算（或いは減算）してマルチチャネルサラウンドシステムに含まれる各スピーカに与えるオーディオ信号が生成される。例えばサラウンドスピーカに与えるオーディオ信号は、左チャネルオーディオ信号ＳＬ０から右チャネルオーディ信号ＳＲ０を減算した信号（ＳＬ０−ＳＲ０）として生成される。一方、主成分分析を利用した技術では、上記左右各１チャネルの入力オーディオ信号に含まれるセンタチャネルに割り当てるべき音を表す信号成分とサラウンドチャネルに割り当てるべき音を表す信号成分の位相差（図６に示すように、各信号成分が描くリサージュ図形の軸が為す角度）を手がかりに各信号成分の分離（すなわち、音源分離）が行われ、その分離結果に基づいてセンタチャネルオーディオ信号とサラウンドチャネルオーディオ信号が生成される。

米国特許第７００３４６７号明細書

村田昇、「入門 独立成分分析」、東京電機大学出版局

しかし、Ｄｏｌｂｙ Ｐｒｏ Ｌｏｇｉｃ(登録商標)のように左チャネルオーディオ信号と右チャネルオーディオ信号の加算（或いは減算）比率を調整することでセンタチャネルオーディオ信号とサラウンド信号とを生成する技術では、センタチャネルの音の分離が主な目的となっているため、適切なサラウンド信号が得られるとは限らない、という問題があった。具体的には、Ｄｏｌｂｙ Ｐｒｏ Ｌｏｇｉｃ(登録商標)では、サラウンド信号として常にＳＬ０−ＳＲ０が算出されるのであるが、この演算により抽出される信号成分が聴者の側方（あるいは後方）から聴こえてくる音を表すとは限らない。一方、主成分分析を利用したアップミキシング技術の場合は、センタチャネルの信号成分とサラウンドチャネルの信号成分とが互いに直交していない場合には、それら信号成分の分離を適切に行えないという問題があった。
本発明は上記課題に鑑みて為されたものであり、左右各１チャネルの入力オーディオ信号からマルチチャネルオーディオ信号を生成する際に、入力オーディオ信号に含まれている各信号成分が直交していない場合であっても各信号成分の分離が可能で、かつ、各信号成分を適切なチャネルに割り当てることを可能にする技術を提供することを目的とする。

上記課題を解決するために本発明は、少なくとも２つの音源の各々から放射された音の混合音を各々表す左右各１チャネルの入力オーディオ信号を取得し、前記各入力オーディオ信号に周波数領域独立成分分析を施して前記各音源の音に応じた信号成分を抽出する抽出手段と、前記各入力オーディオ信号から前記抽出手段により抽出される信号成分のうちの一方を除去して左右各１チャネルの第１の出力オーディオ信号を生成して出力するとともに、前記各入力オーディオ信号から前記抽出手段により抽出される信号成分のうちの他方を除去して左右各１チャネルの第２の出力オーディオ信号を生成して出力する信号生成手段とを有することを特徴とする信号処理装置、を提供する。また、本発明の別の態様においては、コンピュータを上記各手段として機能させるためのプログラムを提供する。

このような信号処理装置によるステレオオーディオ信号（左右各１チャネルのオーディオ信号）から５チャネルオーディオ信号へのアップミキシングは、以下の要領で行われる。すなわち、上記信号処理装置は、聴者を取り囲むように配置される５つのスピーカを含むマルチチャネルサラウンドスピーカシステムにて前記聴者の正面に配置されるセンタチャネルスピーカに与えるセンタチャネルオーディオ信号を、前記左右各１チャネルにて前記聴者の正面の音像定位に寄与する信号成分に応じて生成する。なお、センタチャネルオーディオ信号の具体的な算出態様としては種々の態様が考えられる。例えば、左右各チャネルの入力オーディオ信号を１対１の比率で加算して得られる信号をセンタチャネルオーディオ信号とすれば良い。一方、前記抽出手段は、前記左右各１チャネルの入力オーディオ信号の各々から前記センタチャネルオーディオ信号を減算して得られる左右１チャネルのオーディオ信号に周波数領域独立成分分析を施し、前記各音源の音に応じた信号成分を抽出する。そして、前記信号生成手段は、前記各入力オーディオ信号から前記センタチャネルオーディオ信号と前記抽出手段により抽出される信号成分のうちの一方を除去して左右各１チャネルの第１の出力オーディオ信号を生成するとともに、前記各入力オーディオ信号から前記センタチャネルオーディオ信号と前記抽出手段により抽出される信号成分のうちの他方を除去して左右各１チャネルの第２の出力オーディオ信号を生成し、前記聴者の正面左側および正面右側に配置される１組のスピーカに前記第１の出力オーディオ信号と前記第２の出力オーディオ信号の一方を与え、前記聴者の左後方および右後方に配置される１組のスピーカに他方を与える。

例えば、上記入力オーディオ信号に聴者の真正面に定位する音（聴者の正面に位置する音源から放射された音）を表す第１の信号成分、同聴者の正面左側（或いは正面右側）に定位する音を表す第２の信号成分、および同聴者の左後方（或いは右後方）に定位する音を表す第３の信号成分が含まれている場合、前記左右各１チャネルのオーディオ信号を１対１の比率で加算することで上記第１の信号成分で大半が占められるセンタチャネルオーディオ信号が生成される。このようなセンタチャネルオーディオ信号を上記各入力オーディオ信号から減算することで、減算後の各オーディオ信号においては上記第２の信号成分および第３の信号成分で大半が占められることとなる。このため、上記減算後のオーディオ信号に周波数領域独立成分分析を施すことにより、上記第２の信号成分と第３の信号成分とが分離されることとなる。そして、上記減算後のオーディオ信号からさらに上記第３の信号成分を除去して前記聴者の正面左側および正面右側に配置される１組のスピーカに各々与えることで、これらスピーカから放射される音によって聴者の正面左側（或いは同右側）の音像定位が実現される。同様に、上記減算後のオーディオ信号から上記第２の信号成分を除去して前記聴者の側方（或いは後方）に配置される１組のスピーカに各々与えることで、これらスピーカから放射される音によって聴者の側方（或いは後方）の音像定位が実現される。

さらに好ましい態様においては、前記センタチャネル信号生成手段は、前記入力オーディオ信号において前記聴者の正面の音像定位に寄与する信号成分が占める比率が所定の閾値を超えているか否かを判定し、越えていると判定される場合には、前記左右各１チャネルのオーディオ信号を１対１の比率で加算して前記センタチャネルオーディオ信号を生成すれば良い。

この発明の一実施形態に係る信号処理装置１の構成例を示す図である。 同信号処理装置１のセンタチャネル信号生成手段２０が実行する信号処理の流れを示すフローチャートである。 同信号処理装置１の周波数分析手段３０が実行する処理を説明するための図である。 同信号処理装置１の動作を説明するための図である。 ５チャネルマルチサラウンドシステムにおける各スピーカの配置位置の一例を示す図である。 主成分分析を利用した音源分離技術を説明するための図である。

以下、本発明の実施形態について図面を参照しつつ説明する。
（Ａ：構成）
図１は、本発明の一実施形態である信号処理装置１の構成例を示すブロック図である。
この信号処理装置１は、外部から与えられるデジタル形式のステレオオーディオ信号（左右各１チャネルのオーディオ信号）にアップミキシング処理を施し、前掲図５の各スピーカを駆動するための５種類のオーディオ信号（ＳＣ，ＳＬ、ＳＲ、ＳＬＳおよびＳＲＳ）を生成して出力する装置である。図１のセンタチャネルオーディオ信号ＳＣは図５のセンタチャネルスピーカＣを、図１の左チャネルオーディオ信号ＳＬは図５の左フロントスピーカＬを、図１の右チャネルオーディオ信号ＳＲは図５の右フロントスピーカＲを、図１の左サラウンド信号ＳＬＳは図５の左サラウンドスピーカＬＳを、図１の右サラウンド信号ＳＲＳは図５の右サラウンドスピーカＲＳを、各々駆動するためのオーディオ信号である。

この信号処理装置１は、例えばパーソナルコンピュータなどのコンピュータ装置である。信号処理装置１のＣＰＵ（Central Processor Unit：図示略）は記憶手段１０に格納されている信号処理プログラムを実行することにより、アップミキシング処理を実行する。記憶手段１０には、信号処理プログラムの他に各種データが格納されている。また、記憶手段１０には、アップミキシング処理の実行過程で生成されるデータも格納される。記憶手段１０としては、半導体記録媒体や磁気記録媒体などの公知の記録媒体が採用される。また、図１では、詳細な図示は省略したが、信号処理装置１はアップミキシング処理の対象となるステレオオーディオ信号を外部から取得するための信号取得手段を有している。例えば、ＤＶＤやＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などの外部記録媒体に記憶されているステレオオーディオ信号をアップミキシング処理の対象とする場合には、これら外部記録媒体からステレオオーディオ信号を読み出すドライバ等で信号取得手段を構成すれば良い。また、インターネットなどの電気通信回線経由の通信または有線（或いは無線）放送により配信されるステレオオーディオ信号をアップミキシングの対象とする場合には、通信インタフェース等で信号取得手段を構成すれば良い。なお、アップミキシング処理の対象となるオーディオ信号がアナログ形式のものである場合には、Ａ／Ｄ変換を施した後に信号処理装置１へ入力するようにすれば良い。

信号処理装置１のＣＰＵは信号処理プログラムを実行し、図１に示すセンタチャネル信号生成手段２０、周波数分析手段３０、分離行列生成手段４０、独立成分抽出手段５０およびサラウンド信号生成手段６０として機能する。なお、本実施形態では、上記各手段をソフトウェアで実現したが、ＤＳＰなどの信号処理専用の電子回路でこれら各手段を実現しても良く、これら各手段を複数の集積回路に分散的に搭載した構成でも良い。

センタチャネル信号生成手段２０は、信号取得手段（図１では図示略）により取得した左右各１チャネルの入力オーディオ信号（図１では左チャネルオーディオ信号ＳＬ０および右チャネルオーディオ信号ＳＲ０）から、センタチャネルオーディオ信号ＳＣ、左チャネルオーディオ信号ＳＬ１および右チャネルオーディオ信号ＳＲ１を生成して出力する。

図２は、センタチャネル信号生成手段２０が実行する信号処理の流れを示すフローチャートである。図２に示すように、センタチャネル信号生成手段２０は、まず、入力オーディオ信号についてＭ／Ｓ比率Ｒを算出し（ステップＳＡ１００）、このＭ／Ｓ比率Ｒが所定の閾値（本実施形態では、３）を上回っているか否かを判定する（ステップＳＡ１１０）。ここで、Ｍ／Ｓ比率Ｒは、入力オーディオ信号に含まれる信号成分のうち、聴者の正面に定位する音を表す信号成分（Ｍｉｄ成分）と同聴者の左側（或いは右側）に定位する音を表す信号成分（Ｓｉｄｅ成分）の何れが優位であるかを示す値であり、以下の数１に示す演算で算出される。数１を参照すれば明らかように、Ｍ／Ｓ比率Ｒが１よりも大きければ大きいほどＭｉｄ成分が優位である。なお、数１においてｒｍｓ（Ｍｉｄ）は、Ｍｉｄ成分の２乗平均の平方根を意味し、ｒｍｓ（Ｓｉｄｅ）はＳｉｄｅ成分の２乗平均の平方根を意味する。

そして、ステップＳＡ１１０の判定結果が“Ｙｅｓ”である場合には、センタチャネル信号生成手段２０は、以下の数２にしたがってセンタチャネルオーディオ信号ＳＣ、左チャネルオーディオ信号ＳＬ１および右チャネルオーディオ信号ＳＲ１を生成して出力する（ステップＳＡ１２０）。逆に、ステップＳＡ１１０の判定結果が“Ｎｏ”である場合には、センタチャネル信号抽出手段２０は、以下の数３にしたがって上記３種類のオーディオ信号を生成して出力する（ステップＳＡ１３０）。なお、数２においてαは０．２５〜０．５の範囲の任意のパラメータであり、アップミキシング処理の対象となる入力オーディオ信号の表す楽曲（或いは音声）の種類、またはセンタチャネルオーディオ信号ＳＣとして抽出される信号成分の種類（楽曲のパート等）との兼ね合いで実験等により上記範囲内で適宜好適な値を定めれば良い。本実施形態ではパラメータαの値として０．３１を採用している。

このように、Ｍ／Ｓ比率Ｒが所定の閾値を上回っているか否かに応じて上記３種類のオーディオ信号の算出態様を切り換えるようにしたのは、以下の理由による。数１および数２を参照すれば明らかなように、数２にしたがって算出されるセンタチャネルオーディオ信号ＳＣは数１のＭｉｄ成分のゲインを調整したものである。Ｍ／Ｓ比率Ｒが所定の閾値を上回っているということは、入力オーディオ信号においてＭｉｄ成分が優位であること、すなわち、聴者の正面に定位する音を表す信号成分が優位であることを示しているのであるから、その信号成分をセンタチャネルオーディオ信号ＳＣとして抽出し、その信号成分に応じた音をセンタチャネルスピーカＣから出力させるようにしたのである。逆に、Ｍ／Ｓ比率Ｒが所定の閾値以下である場合は、入力オーディオ信号においてはＭｉｄ成分が優位ではないことを示しているのであるから、センタチャネル信号ＳＣを０とし、センタチャネルスピーカＣを駆動しないようにしたのである。これが、Ｍ／Ｓ比率Ｒが所定の閾値を上回っているか否かに応じて異なる態様で上記３種類のオーディオ信号を算出するようにした理由である。なお、本実施形態にて上記閾値を３としたのは、Ｍ／Ｓ比率Ｒが３よりも大きい場合には聴者の正面の音像の定位感が強く、逆にＭ／Ｓ比率Ｒが３以下（特に、１．５未満）の場合には聴者の正面の音像の定位感が弱いことが経験的に知られているからである。

また、本実施形態では、Ｍ／Ｓ比率Ｒが所定の閾値を上回っているか否かに応じて上記３種類のオーディオ信号の算出式を切り換えたが、常に、数２にしたがって上記３種類のオーディオ信号を算出することとし、Ｍ／Ｓ比率Ｒが所定の閾値を上回っているか否かに応じてパラメータαの値を切り換えるようにしても良い。具体的には、Ｍ／Ｓ比率Ｒが所定の閾値を上回っている場合には、αを０．２５〜０．５の範囲の値（例えば、０．３１など）とし、Ｍ／Ｓ比率Ｒが所定の閾値以下である場合にはα＝０とするのである。このような態様によっても本実施形態と同一の処理結果が得られる。
以上がセンタチャネル信号生成手段２０の構成である。

周波数分析手段３０は、左チャネルオーディオ信号ＳＬ１および右チャネルオーディオ信号ＳＲ１の各々を時間軸上で区分した複数のフレームの各々について周波数スペクトルＱ（左チャネルオーディオ信号ＳＬ１の周波数スペクトルＱ１および右チャネルオーディオ信号ＳＲ１の周波数スペクトルＱ２）を算定する。周波数スペクトルＱの算定には、例えば短時間フーリエ変換が利用される。図３に示すように、番号（時刻）ｔで識別される１個のフレームの周波数スペクトルＱ１は、周波数軸上に設定されたＫ種類の周波数ｆ１〜ｆＫの各々における強度ｘ１（ｔ，ｆ１）〜ｘ１（ｔ，ｆＫ）として算定される。同様に、周波数スペクトルＱ２は、Ｋ種類の周波数ｆ１〜ｆＫの各々における強度ｘ２（ｔ，ｆ１）〜ｘ２（ｔ，ｆＫ）として算定される。

周波数分析手段３０は、Ｋ種類の周波数ｆ１〜ｆＫについてフレーム毎に強度ベクトルＸ（ｔ，ｆ１）〜Ｘ（ｔ，ｆＫ）を生成する。第ｔ番目のフレームにおける第ｋ番目（ｋ＝１〜Ｋ）の周波数ｆｋの強度ベクトルＸ（ｔ，ｆｋ）は、図３に示すように、周波数スペクトルＱ１のうち周波数ｆｋでの強度ｘ１（ｔ，ｆｋ）と、共通のフレームの周波数スペクトルＱ２のうち周波数ｆｋでの強度ｘ２（ｔ，ｆｋ）とを要素とするベクトルであり、Ｘ（ｔ，ｆｋ）＝［ｘ１（ｔ，ｆｋ）^＊ ｘ２（ｔ，ｆｋ）^＊］^Ｈと表される。なお、記号＊は複素共役を意味し、記号Ｈはエルミート転置を意味する。周波数分析手段３０が生成した強度ベクトルＸ（ｔ，ｆ１）〜Ｘ（ｔ，ｆＫ）は記憶手段１０に格納される。記憶手段１０に格納された強度ベクトルＸ（ｔ，ｆ１）〜Ｘ（ｔ，ｆＫ）は、図３に示すように、所定個（例えば５０個）のフレームで構成される単位区間ＴＵ毎に強度データＤ（ｆ１）〜Ｄ（ｆＫ）に区分される。周波数ｆｋの強度データＤ（ｆｋ）は、単位区間ＴＵ内の各フレームについて算定された強度ベクトルＸ（ｔ，ｆｋ）の時系列である。

分離行列生成手段４０は、記憶手段１０に記憶されている強度データＤ（ｆｋ）を読み出し、周波数領域独立成分分析（Frequency Domain Independent Component Analysis：以下、ＦＤＩＣＡ）を行って分離行列Ｗ（ｆｋ）を生成し記憶手段１０に書き込む。ここで、分離行列とは、互いに統計的に独立な２つの音の混合音を各々表す２つの音信号から上記各音の信号成分を抽出するための信号処理演算に用いられる２行２列（一般には、ｎ行ｎ列）の複素数値行列である。分離行列生成手段４０は、周波数ｆｋ（ｋ＝１〜Ｋ）の各々について、数４に示す初期分離行列Ｗ^０（ｆｋ）を初期値として数５に示す逐次演算による機械学習により分離行列Ｗ（ｆｋ）を生成する。数５において、ηはステップサイズパラメータ、Ｉは２行２列の単位行列、φ（ｔ，ｆｋ）は所定の非線形関数である。また、数５のＹ^＊（ｔ，ｆｋ）は数６の演算により得られる強度ベクトルＹ（ｔ，ｆｋ）の複素共役であり、Ｅ[φ（ｔ，ｆｋ）Ｙ^＊（ｔ，ｆｋ）]はフレーム毎に算出されるφ（ｔ，ｆｋ）Ｙ^＊（ｔ，ｆｋ）の期待値（例えば、単位区間ＴＵにおけるφ（ｔ，ｆｋ）Ｙ^＊（ｔ，ｆｋ）の相加平均）である。

より詳細に説明すると、分離行列生成手段４０は、まず、単位区間ＴＵを構成する各フレーム毎に強度ベクトルＸ（ｔ，ｆｋ）と初期分離行列Ｗ^０（ｆｋ）とを用いて数６に示す演算を行い、強度ベクトルＹ（ｔ，ｆｋ）を算出する。次いで、分離行列生成手段４０は、フレーム毎に算出された強度ベクトルＹ（ｔ，ｆｋ）の各々の第１成分により表わされる信号と同第２成分により表される信号とが統計的に独立であるか否かを所定の評価関数にしたがって評価する。両信号の独立性が充分であれば、分離行列生成手段４０は、その時点の分離行列Ｗ^ｌ（ｆｋ）（すなわち、Ｗ^０（ｆｋ））を分離行列Ｗ（ｆｋ）として記憶手段１０に書き込む。逆に両信号の独立性が不十分であれば、強度ベクトルＹ（ｔ，ｆｋ）と分離行列Ｗ^０（ｆｋ）を用いて数５にしたがって分離行列Ｗ^１（ｆｋ）を算出し、このＷ^１（ｆｋ）を用いて新たな強度ベクトルＹ（ｔ，ｆｋ）をフレーム毎に算出して独立性を再度評価する、以下、充分な独立性が得られるまで数６および数５の演算を繰り返し実行するのである。なお、２つの信号の独立性をどのように定義するか、また、独立性を評価するための評価関数としてどのようなものを用いるのかについては従来より種々提案されている（例えば、非特許文献１参照）ので、それら周知技術の中から好適なものを適宜選択すれば良い。

上述したように、分離行列Ｗ（ｆｋ）の算定は単位区間ＴＵ毎に行われるのであるが、具体的な算定態様としては以下の２つの態様が考えられる。第１に、所謂バッチ形式の算定態様（アップミキシングおよびそのアップミキシング結果に応じた音の再生に先立って分離行列を予め算定しておく態様）である。具体的には、各単位区間ＴＵについての分離行列Ｗ（ｆｋ）を予め算定して記憶手段１０に記憶させておき、オーディオ信号に応じた楽曲（或いは音声）の再生を実際に行う際には、上記単位区間ＴＵ毎に記憶手段１０から該当する分離行列Ｗ（ｆｋ）を読み出してアップミキシング処理を行う態様である。これに対して第２の態様は所謂オンライン形式の算定態様（すなわち、分離行列の算定と音の再生とを並列に行う態様）である。具体的には、Ｎ（Ｎは１以上の整数）番目の単位区間の音の再生と並列に、その単位区間のオーディオ信号を用いて（Ｎ＋１）番目の単位区間における分離行列Ｗ（ｆｋ）を算定し、（Ｎ＋１）番目の単位区間の音の再生の際にはこの分離行列Ｗ（ｆｋ）を用いてアップミキシング処理を行うのである。なお、このオンライン形式の算定態様では、先頭の単位区間（すなわち、Ｎ＝１の単位区間）についての分離行列を生成することができないため、この単位区間については従来技術（例えば、主成分分析を用いた技術など）によりアップミキシング処理を行っても良く、また、上述したバッチ形式で予め分離行列を算定しておいても良い。また、ｆ１〜ｆＫの全ての周波数ｆｋについて分離行列Ｗ（ｆｋ）を算出しても良く、これらＫ種類のうちから選択される１つ或いは複数の周波数ｆｋについてのみ分離行列Ｗ（ｆｋ）を算定し、他の周波数については当該分離行列を流用するようにしても良い。

独立成分抽出手段５０は、記憶手段１０に記憶されている分離行列Ｗ（ｆｋ）と強度ベクトルＸ（ｔ，ｆｋ）を読み出し、分離行列Ｗ（ｆｋ）と強度ベクトルＸ（ｔ，ｆｋ）から統計的に独立な２つの信号ＩＣ１およびＩＣ２を生成してサラウンド信号生成手段６０に出力する。より詳細に説明すると、独立成分抽出手段５０は、記憶手段１０から読み出した分離行列Ｗ（ｆｋ）と強度ベクトルＸ（ｔ，ｆｋ）とを用いて数６に示す演算を行い、強度ベクトルＹ（ｔ，ｆｋ）を算出する。なお、分離行列生成手段４０により生成された強度ベクトルＹ（ｔ，ｆｋ）が記憶手段１０に格納されている場合には、この強度ベクトルＴ（ｔ，ｆｋ）を読み出して以降の処理に用いても良い。次いで、独立成分抽出手段５０は、強度ベクトルＹ（ｔ，ｆｋ）の第１成分に対して逆ＦＦＴを施して時間領域の信号ＩＣ１を生成するとともに、同第２成分に対して逆ＦＦＴを施して時間領域の信号ＩＣ２を生成する。例えば、分離行列Ｗ（ｆｋ）のｉ行ｊ列成分をｗ_ｉｊ（ｆｋ）とすると、強度ベクトルＹ（ｔ，ｆｋ）の第１成分をｙ１（ｔ，ｆｋ）、および同第２成分をｙ２（ｔ，ｆｋ）は、以下の数７のように算出される。このようにして算出されるｙ１（ｔ，ｆ１）・・・ｙ１（ｔ，ｆＫ）に逆ＦＦＴを施すことでｔ番目のフレームにおける信号ＩＣ１が得られ、ｙ２（ｔ，ｆ１）・・・ｙ２（ｔ，ｆＫ）に逆ＦＦＴを施すことで同フレームにおける信号ＩＣ２が得られるのである。

サラウンド信号生成手段６０は、図１に示すように左チャネルオーディオ信号ＳＬ１と右チャネルオーディオ信号ＳＲ１、信号ＩＣ１とＩＣ２、を受け取り、以下の数８に示す要領で、左チャネルオーディオ信号ＳＬ、右チャネルオーディオ信号ＳＲ、左サラウンド信号ＳＬＳ、および右サラウンド信号ＳＲＳを生成して出力する。なお、数８のβ１、β２、γ１およびγ２についても、数２のαと同様に任意のパラメータであり、アップミキシング処理の対象となる入力オーディオ信号の表す楽曲（或いは音声）の種類等との兼ね合いで実験により適宜好適な値を定めれば良い。本実施形態ではβ１＝β２＝０．４３９、γ１＝γ２＝０．３５である。

以上が信号処理装置１の構成である。

（Ｂ：動作）
次いで、図４を参照しつつ信号処理装置１の動作例を説明する。
本動作例では、ボーカル、ギターおよびドラムの各々の音の混合音を表す左右各１チャネルの入力オーディオ信号に対してアップミキシング処理を施し、５チャネルオーディオ信号を生成する場合を例にとって信号処理装置１の動作を説明する。本動作例において、入力オーディオ信号は所謂ダミーヘッド録音により得られたものであり、図４に示すように、ダミーヘッドの正面にはボーカルが、同正面やや右側にはギターが、同左後方にはドラムが各々位置している。

図４のダミーヘッドから出力されるオーディオ信号が信号処理装置１に入力されると、まず、センタチャネル信号生成手段２０によってセンタチャネルオーディオ信号ＳＣが生成される。前述したように、入力オーディオ信号についてのＭ／Ｓ比率が所定の閾値を上回っていれば、センタチャネルオーディオ信号ＳＣとして前掲数２に示すように左チャネルオーディオ信号ＳＬ０と右チャネルオーディオ信号ＳＲ０を１対１の比率で加算した信号（すなわち、Ｍｉｄ成分に相当する信号）が生成される。図４における各音源の配置位置と収音位置（すなわち、ダミーヘッドの位置）の位置関係の対称性から明らかように、上記のようにして算出されるセンタチャネルオーディオ信号ＳＣは、収音位置から見て真正面に位置するボーカルの歌唱音を表す信号成分でその大半が占められることとなる。

一方、数２にしたがって算出される左チャネルオーディオ信号ＳＬ１は、左チャネルオーディオ信号ＳＬ０からセンタチャネルオーディオ信号ＳＣを減算して得られるものである。左チャネルオーディオ信号ＳＬ０には、ボーカルの歌唱音、ギターの演奏音およびドラムの演奏音の各々を表す信号成分が含まれており、センタチャネルオーディオ信号ＳＣの大半はボーカルの歌唱音の信号成分であるから、上記のようにして算出される左チャネルオーディオ信号ＳＬ１はギターの演奏音とドラムの演奏音の各々を表す信号成分でその大半が占められることとなる。同様に、右チャネルオーディオ信号ＳＲ１も、その大半はギターの演奏音とドラムの演奏音の各々を表す信号成分で占められることとなる。

次いで、本実施形態では、左チャネルオーディオ信号ＳＬ１および右チャネルオーディオ信号ＳＲ１に対して周波数分析手段３０、分離行列生成手段４０および独立成分抽出手段５０による処理を施すことで、ギターの演奏音を表す信号成分とドラムの演奏音を表す信号成分とが各々信号ＩＣ１およびＩＣ２として抽出されることとなる。これは、ギターの演奏とドラムの演奏とは各々別個の演奏者によって各々独立に行われているため、互いに統計的に独立な信号成分であると考えられるからである。ここで注目すべき点は、本動作例では、ギターの演奏音を表わす信号成分が信号ＩＣ１として抽出される一方、ドラムの演奏音を表わす信号成分が信号ＩＣ２として抽出される、という点である。その理由は、以下の通りである。

ＦＤＩＣＡの枠組みでは、ギターの演奏音を表す信号成分とドラムの演奏音を表す信号成分の何れが信号ＩＣ１として抽出されるのかについては一意には定まらない。これは、分離行列の１行目と２行目を入れ替えて得られる行列も分離行列の役割を果たすからである。これに対して、本実施形態では、初期分離行列Ｗ^０（ｆｋ）として数４に示すものを用いることでこの不具合を回避しているのである。より詳細に説明すると、数４に示す初期分離行列Ｗ^０（ｆｋ）の１行目により算出される信号成分は、前述したＭｉｄ成分に相当する信号成分、すなわち、センタよりの音源の音を表わすものとなり、同初期分離行列Ｗ^０（ｆｋ）の２行目により算出される信号成分は、前述したＳｉｄｅ成分に相当する信号成分、すなわち、センタから外れた音源の音を表わすものである。このような初期分離行列Ｗ^０（ｆｋ）を出発点として数５に示す逐次演算を行うことにより求まる分離行列Ｗ（ｆｋ）についても同様に、その一行目によって抽出される信号成分（すなわち、信号ＩＣ１）はセンタよりの音源の音を表わすものとなり、同２行目によって抽出される信号成分（すなわち、信号ＩＣ２）はセンタから外れた音源の音を表わすものとなる。図４に示すように、本動作例では、ギターはダミーヘッドから見て正面やや右よりに位置しており、ドラムはダミーヘッドの左後方に位置している。つまり、本動作例では、ギターはドラムに比較してセンタよりに位置している。このため、本動作例では、ギターの演奏音を表わす信号成分が信号ＩＣ１として抽出され、ドラムの演奏音を表わす信号成分が信号ＩＣ２として抽出されるのである。このように本実施形態では、初期分離行列Ｗ^０（ｆｋ）を工夫することで、ギターの演奏音が信号ＩＣ１として抽出され、ドラムの演奏音が信号ＩＣ２として抽出されるようにしたのであるが、ギターの演奏音とドラムの演奏音の各々についてリサージュ図形（図６参照）を描画してどちらの信号成分の位相が進んでいるのかを予め求めておき、その位相差を再現するように信号ＩＣ１と信号ＩＣ２の割り当てを行うようにしても良く、また、音の到来方向の推定により信号ＩＣ１と信号ＩＣ２の割り当てを行っても良い。

このように本実施形態では、信号ＩＣ１としてギターの演奏音を表す信号成分が抽出され、信号ＩＣ２としてドラムの演奏音を示す信号成分が抽出されるので、サラウンド信号生成手段６０により生成される左チャネルオーディオ信号ＳＬおよび右チャネルオーディオ信号ＳＲでは、ギターの演奏音を表す信号成分でその大半が占められることとなる。その理由は以下の通りである。左チャネルオーディオ信号ＳＬ１と右チャネルオーディオ信号ＳＲ１は、共に、ギターの演奏音を表わす信号成分とドラムの演奏音を表す信号成分でその大半が占められている。左チャネルオーディオ信号ＳＬは、左チャネルオーディオ信号ＳＬ１から信号ＩＣ２（すなわち、ドラムの演奏音を示す信号成分）を減算して得られものであるから、その大半はギターの演奏音を表わす信号成分で占められることとなる。右チャネルオーディオ信号ＳＲも同様である。加えて、上記のようにして得られる左チャネルオーディオ信号ＳＬおよび右チャネルオーディオ信号ＳＲにおいてはセンタから外れた音源の音を表す信号ＩＣ２に相当する信号成分が除外されているため、これらオーディオ信号に応じて左フロントスピーカＬおよび右フロントスピーカＲを駆動することによってフロント側にまとまり感のある音が得られることとなる。一方、左サラウンド信号ＳＬＳおよび右サラウンド信号ＳＲＳについても同様の理由により、その大半がドラムの演奏音を示す信号成分で占められることとなる。これら左サラウンド信号ＳＬＳおよび右サラウンド信号ＳＲＳにおいてはセンタよりの音源の音を表す信号ＩＣ１に相当する信号成分が除外されているため、これらオーディオ信号に応じて左サラウンドスピーカＬＳおよび右サラウンドスピーカＲＳを駆動することによってリア側に広がり感のある音が得られることとなる。

以上のようにして生成されたセンタチャネルオーディオ信号ＳＣ、左チャネルオーディオ信号ＳＬ、右チャネルオーディオ信号ＳＲ、左サラウンド信号ＳＬＳおよび右サラウンド信号ＳＲＳの各々は、Ｄ／Ａ変換（図示略）を経て前掲図５のセンタチャネルスピーカＣ、左フロントスピーカＬ、右フロントスピーカＲ、左サラウンドスピーカＬＳおよび右サラウンドスピーカＲＳに与えられる。したがって、図５のセンタチャネルスピーカＣからは図４のボーカルの歌唱音が、図５の左フロントスピーカＬおよび右フロントスピーカＲからは図４のギターの演奏音が、図５の左サラウンドスピーカＬＳおよび右サラウンドスピーカＲＳからは図４のドラムの演奏音が各々放射されることとなる。その結果、図５に示す聴者に対しては、真正面方向からボーカルの歌唱音が、正面やや右側方向からギターの演奏音が、左後方からドラムの演奏音が各々到来することとなり、あたかも、図４のダミーヘッドの位置にて音を聴いているかのような聴感が与えられる。

以上説明したように、本実施形態によれば、左右各１チャネルの入力オーディオ信号から５チャネルオーディオ信号を生成し、それら各オーディオ信号によって前掲図５の各スピーカを駆動することによって臨場感に富んだ音響再生を行うことが可能になる。また、本実施形態では、信号成分の直交性とは異なる信号成分の統計的な独立性という尺度で信号成分の分離が行われる。一般に複数のパートからなる楽曲の各パートの演奏音など互いに異なる音源から放射される音を表す信号成分は互いに統計的に独立であると考えられる。このため、本実施形態によれば、分離対象の信号成分の直交性が高いか否かに関わらずそれら信号成分を分離することができるのである。また、本実施形態によれば、聴者の正面左側（或いは正面右側）から聴こえてくるべき音は左右各フロントスピーカに、聴者の側方（或いは後方）から聴こえてくるべき音は左右各サラウンドスピーカに割り当てるといった具合に、各信号成分を適切なチャネルに割り当てることができるのである。

（Ｃ：変形）
以上、本発明の一実施形態について説明したが、かかる実施形態に以下に述べる変形を加えても勿論良い。
（１）上述した実施形態では、左右各１チャネルのオーディ信号から５チャネルオーディオ信号を生成した。しかし、５チャネルオーディオ信号の左サラウンド信号ＬＳおよび右サラウンド信号ＲＳの各々に、各々異なる２つの音源の音が含まれている場合には、これら２つのサラウンド信号に対してＦＤＩＣＡによる音源分離を施し、７チャネルサラウンドシステムにおける各サラウンドスピーカに与えるオーディオ信号を生成しても良い。同様に、７チャネルオーディオ信号を９チャネルオーディオ信号にアップミキシングすることも可能である。また、左右各１チャネルのオーディオ信号に各々異なるＮ（２以上の整数）種類の音源の音を表す信号成分（第１信号成分、第２信号成分・・・第Ｎ信号成分）が含まれている場合には、各信号成分を表すＮ組のオーディオ信号を以下の要領で生成することができる。すなわち、左右各１チャネルのオーディオ信号についてのＭ／Ｓ比率（数１参照）が所定の閾値を上回っている場合には、まず、数２にしたがってセンタチャネルオーディオ信号ＳＣを生成する。このセンタチャネルオーディオ信号ＳＣにより表される信号成分が第Ｎ信号成分であるとすると、上記左右各１チャネルのオーディオ信号の各々からセンタチャネルオーディオ信号ＳＣを減算して得られる左チャネルオーディオ信号および右チャネルオーディオ信号にＦＤＩＣＡ（１回目）を施すことにより、第１信号成分のみを含むオーディオ信号と、その他の（Ｎ−２）種類（すなわち、第２信号成分〜第Ｎ−１信号成分のＮ−２種類）の信号成分を含むオーディオ信号とが生成される。次いで、その他の（Ｎ−２）種類の信号成分を含むオーディオ信号にＦＤＩＣＡ（２回目）を施すことにより、第２信号成分のみを含むオーディオ信号と、その他の（Ｎ−３）種類の信号成分を含むオーディオ信号とが生成される。以降、この操作を順次繰り返して合計Ｎ−２回のＦＤＩＣＡを行うことで、各々第ｋ（ｋ＝１〜Ｎ−１）信号成分のみを含むｋ組のオーディオ信号が得られるのである。つまり、前述したセンタチャネルオーディオ信号ＳＣを含めれば合計Ｎ組のオーディオ信号が得られるのである。これに対して、Ｍ／Ｓ比率が所定の閾値以下である場合には、Ｎ−１回のＦＤＩＣＡを行うことで合計Ｎ組のオーディオ信号が得られる。具体的には、各々異なるＮ（２以上の整数）種類の音源の音を表す信号成分を含む左右各１チャネルのオーディオ信号にＦＤＩＣＡ（１回目）を施すことで、第１信号成分のみを含むオーディオ信号と、その他の（Ｎ−１）種類（すなわち、第２信号成分〜第Ｎ信号成分のＮ−１種類）の信号成分を含むオーディオ信号とが生成される。次いで、その他の（Ｎ−１）種類の信号成分を含むオーディオ信号にＦＤＩＣＡ（２回目）を施すことで、第２信号成分のみを含むオーディオ信号と、その他の（Ｎ−２）種類の信号成分を含むオーディオ信号とが生成される。以降、この操作を順次繰り返して合計Ｎ−１回のＦＤＩＣＡを行うことで、各々第ｋ（ｋ＝１〜Ｎ）信号成分のみを含むｋ組のオーディオ信号が得られるのである。

（２）上述した実施形態では、本発明の特徴を顕著に示すアップミキシング処理を実現する信号処理プログラムが信号処理装置１に予めインストールされていた。しかし、この信号処理プログラムを、例えばＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に書き込んで配布しても良く、また、インターネットなどの電気通信回線経由のダウンロードにより配布しても良い。これらの態様で配布される信号処理プログラムをパーソナルコンピュータなどの一般的なコンピュータにインストールしその信号処理プログラムを実行させることで、そのコンピュータに本実施形態の信号処理装置１と同一の機能を実現させることが可能となるからである。

１…信号処理装置、１０…記憶手段、２０…センタチャネル信号生成手段、３０…周波数分析手段、４０…分離行列生成手段、５０…独立成分抽出手段、６０…サラウンド信号生成手段。ＳＬ０、ＳＬ１、ＳＬ…左チャネルオーディオ信号、ＳＲ０，ＳＲ１，ＳＲ…右チャネルオーディオ信号、ＳＣ…センタチャネルオーディオ信号、ＳＬＳ…左サラウンド信号、ＳＲＳ…右サラウンド信号、Ｃ…センタチャネルスピーカ、Ｌ…左フロントスピーカ、Ｒ…右フロントスピーカ、ＬＳ…左サラウンドスピーカ、ＲＳ…右サラウンドスピーカ。

Claims (4)

1. マルチチャネルサラウンドスピーカシステムにて聴者の正面に配置されるセンタチャネルスピーカに与えるセンタチャネルオーディオ信号を、少なくとも２つの音源の各々から放射された音の混合音を各々表す左右各１チャネルの入力オーディオ信号にて前記聴者の正面の音像定位に寄与する信号成分に応じて生成するセンタチャネル信号生成手段と、
   前記左右各１チャネルの入力オーディオ信号を取得し、周波数領域独立成分分析を施し、前記各音源のうち１の音源の音を示す第１の信号成分と、その他の音源の音を示す第２の信号成分とを抽出する抽出手段と、
   前記各入力オーディオ信号から前記抽出手段により抽出される前記第２の信号成分を除去して左右各１チャネルの第１の出力オーディオ信号を生成して出力するとともに、前記各入力オーディオ信号から前記抽出手段により抽出される前記第１の信号成分を除去して左右各１チャネルの第２の出力オーディオ信号を生成して出力する信号生成手段と、を有し、
   前記センタチャネル信号生成手段は、前記入力オーディオ信号にて前記聴者の正面の音像定位に寄与する信号成分が占める比率が所定の閾値を超えているか否かを判定し、超えていると判定される場合に、その信号成分に応じてセンタチャネルオーディオ信号を生成することを特徴とする信号処理装置。
2. 前記抽出手段は、
   前記左右各１チャネルの入力オーディオ信号の各々から前記センタチャネルオーディオ信号を減算して得られる左右各１チャネルのオーディオ信号に、周波数領域独立成分分析を施し、前記各音源のうちの１の音源の音を示す第３の信号成分と、その他の音源の音を示す第４の信号成分とを抽出し、
   前記信号生成手段は、
   前記各入力オーディオ信号から前記センタチャネルオーディオ信号と前記抽出手段により抽出される前記第４の信号成分とを除去して左右各１チャネルの第３の出力オーディオ信号を生成して出力するとともに、前記各入力オーディオ信号から前記センタチャネルオーディオ信号と前記抽出手段により抽出される前記第３の信号成分とを除去して左右各１チャネルの第４の出力オーディオ信号を生成する
   ことを特徴とする請求項１に記載の信号処理装置。
3. 前記信号生成手段は、
   前記聴者を取り囲むように配置される５つのスピーカを含むマルチチャネルサラウンドスピーカシステムにおいて、前記聴者の正面左側および正面右側に配置される１組のスピーカに前記第３の出力オーディオ信号と前記第４の出力オーディオ信号の一方を与え、前記聴者の左後方および右後方に配置される１組のスピーカに他方の出力オーディオ信号を与える
   ことを特徴とする請求項２に記載の信号処理装置。
4. コンピュータを、
   マルチチャネルサラウンドスピーカシステムにて聴者の正面に配置されるセンタチャネルスピーカに与えるセンタチャネルオーディオ信号を、少なくとも２つの音源の各々から放射された音の混合音を各々表す左右各１チャネルの入力オーディオ信号にて前記聴者の正面の音像定位に寄与する信号成分に応じて生成するセンタチャネル信号生成手段であって、前記入力オーディオ信号にて前記聴者の正面の音像定位に寄与する信号成分が占める比率が所定の閾値を超えているか否かを判定し、超えていると判定される場合に、その信号成分に応じてセンタチャネルオーディオ信号を生成するセンタチャネル信号生成手段と、
   前記左右各１チャネルの入力オーディオ信号を取得し、周波数領域独立成分分析を施し、前記各音源のうち１の音源の音を示す第１の信号成分と、その他の音源の音を示す第２の信号成分とを抽出する抽出手段と、
   前記各入力オーディオ信号から前記抽出手段により抽出される前記第２の信号成分を除去して左右各１チャネルの第１の出力オーディオ信号を生成して出力するとともに、前記各入力オーディオ信号から前記抽出手段により抽出される前記第１の信号成分を除去して左右各１チャネルの第２の出力オーディオ信号を生成して出力する信号生成手段
   として機能させるためのプログラム。
   

Images