JP4976304B2 - 音響信号処理装置、音響信号処理方法およびプログラム - Google Patents

Description

本発明は、音響信号処理装置および音響信号処理方法に関し、特にＮＩチャンネルにダウンミックスされた音響信号を、ＮＯ（ＮＯ＞ＮＩ）チャンネルの音響信号に変換する技術に関する。

近年、Ｓｐａｔｉａｌ Ｃｏｄｅｃ（空間的符号化）と言われる技術開発が行われている。これは、非常に少ない情報量でマルチチャンネルの臨場感を圧縮・符号化することを目的としており、例えば、既にデジタルテレビの音声方式として広く用いられているマルチチャンネルコーデックであるＡＡＣ方式が、５．１ｃｈ当り５１２ｋｂｐｓや、３８４ｋｂｐｓというビットレートを要するのに対し、Ｓｐａｔｉａｌ Ｃｏｄｅｃでは、１２８ｋｂｐｓや、６４ｋｂｐｓ、さらに４８ｋｂｐｓといった非常に少ないビットレートでマルチチャンネル信号を圧縮・符号化することを目指している。そのための国際標準規格化活動が、現在ＭＰＥＧオーディオ規格化会議において行われており、所謂Ｒｅｆｅｒｅｎｃｅ Ｍｏｄｅｌ Ｚｅｒｏ（以下、「ＲＭ０」とも記す。）と呼ばれるスペーシャルオーディオコーデックの基本となる処理方式が開示されている（非特許文献１）。

なおここで、Ｓｐａｔｉａｌ Ｃｏｄｅｃの基本原理について説明する。

図１は、Ｓｐａｔｉａｌ Ｃｏｄｅｃの基本原理について、Ｌ，Ｒの２ｃｈを例として説明するための図である。

エンコードプロセスにおいては、図１（ａ）に示されるように、スペーシャルオーディオエンコーダは、複素演算により、Ｌ，Ｒの２ｃｈの音楽信号から、ダウンミックス信号Ｓ（Ｓ＝（Ｌ＋Ｒ）／２）、レベル比ｃおよび位相差θを求める。ダウンミックス信号Ｓは、レベル比ｃおよび位相差θとともに、ＭＰＥＧ方式ＡＡＣ規格等による符号化装置でさらに符号化される。

デコードプロセスにおいては、図１（ｂ）に示されるように、ダウンミックス信号Ｓに対して直交し、かつ残響感を伴う信号であるデコリレート信号Ｄを生成する。

そして、図１（ｃ）に示されるように、ダウンミックス信号Ｓとデコリレート信号Ｄとを混ぜ合わせ、復号化されたレベル比ｃおよび位相差θに基づいて、図１（ａ）に示される平行四辺形の関係を満たすＬ，Ｒの２ｃｈの音声信号を生成する。

ここでは、２ｃｈから１ｃｈにダウンミックスし、１ｃｈを２ｃｈにマルチチャンネル化する場合について説明したが、この原理を複数回繰り返すことで、５．１ｃｈを２ｃｈにダウンミックスし、２ｃｈを５．１ｃｈにマルチチャンネル化すること等もできる。

次いで、ＲＭ０における信号の流れについて、説明する。

図２は、ＲＭ０における基本的な信号の流れの一例として、２チャンネルの信号を５チャンネルの信号に変換する音響信号処理装置９００の機能構成を示すブロック図である。

ここで、入力の２チャンネルは元々は５チャンネルの信号であったものを２チャンネルにダウンミックスしたものであり、出力の５チャンネルは元々の５チャンネル信号に復元されるものである。またここでは、２チャンネル信号は通常、前方の左右スピーカから出力される信号であり、５チャンネル信号は通常、前方の左右スピーカ、後方左右スピーカ、前方中央スピーカから出力される信号を意味する。

さて、図２に示されるように、音響信号処理装置９００は、ｐｒｅ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ１（９０１）と、デコリレータ（Ｄｅ ｃｏｒｒｅｌａｔｏｒ又は、Ｄｅｃｏｒｒｅｌａｔｏｒとも記す。）９０２，９０３と、ｐｏｓｔ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ２（９０４）とを備える。

ｐｒｅ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ１（９０１）は、入力のｉｎｐｕｔ１と、ｉｎｐｕｔ２とに対してゲイン制御に関する行列演算を行う処理によって、５系統の信号に変換する。その中の２系統の信号はデコリレータ（Ｄｅ ｃｏｒｒｅｌａｔｏｒ）９０２，９０３による処理によって、無相関な信号にそれぞれ変換される。ｐｏｓｔ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ２（９０４）は、デコリレータ（Ｄｅ ｃｏｒｒｅｌａｔｏｒ）９０２，９０３によって変換された２系統の信号と、変換されなかった残りの３系統の信号との合計５系統の信号に対して位相制御に関する行列演算を行う処理によって、出力の５チャンネル信号を生成する。

図３は、音響信号処理装置９００のさらに詳しい機能構成を示すブロック図である。なお、図２では、信号は左から右へ流れるように示したが、図３において信号は右から左へ流れるように示されている。これは、ｐｒｅ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ１（９０１）と、ｐｏｓｔ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ２（９０４）の内部が、行列演算によって定義されるので、行列演算式の数学的表現と信号の流れとを一致させるために、信号が右から左へ流れるように示したのみであり、本質的には図２に示したものと変りはない。

音響信号処理装置９００は、上述したｐｒｅ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ１（９０１）、デコリレータ（Ｄｅ ｃｏｒｒｅｌａｔｏｒ）９０２，９０３、ｐｏｓｔ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ２（９０４）の他、さらに２つの行列式生成部９０５，９０７と、２つの内挿部９０６，９０８とを備える。

さて、図３に示されるように、ｐｒｅ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ１（９０１）の信号処理は、５行＊２列の行列式によって実現される。一般的には、下記式（１）に示すような行列式が、ｐｒｅ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ１（９０１）の一例として定義される。

…（１）
式（１）において、α、βは、ＣＰＣ（Ｃｈａｎｎｅｌ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔｓ）と言われる音響空間的な係数によって求められる値であり、γは、ＩＣＣ（Ｉｎｔｅｒ Ｃｈａｎｎｅｌ Ｃｏｒｒｅｌａｔｉｏｎ）と言われる音響空間的な係数によって求められる値である。

また、添え字ｌは、ｌ番目のパラメータセット（圧縮符号化パラメータの集合体）からきたデータであることを示す添え字である。また、添え字ｍは、ｍ番目の周波数帯域からきたデータであることを示す添え字である。これらの意味の詳細については本願の趣旨に関係ないのでここでは省略する。

式（１）は、５行＊３列の行列式であるが、その中の３列目は、非特許文献１で述べられている所謂ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われている場合のみ意味を持つものであるが、通常、ビットレートの制約と、デコード演算負荷の軽減の観点で、ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われない場合が多いので、その場合、式（１）は、下記式（２）とみなすことができる。

…（２）
つまり式（２）が、図３における右側の行列式に対応している。勿論、ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われている場合は、図３における右側の行列式は、式（１）に準じた５行＊３列の行列式になり、入力信号として、ＲｅｓｉｄｕａｌＳｉｇｎａｌが追加され３チャンネルとなる。

そのようにして生成された５系統の信号の中の２系統の信号は、デコリレータ（Ｄｅ ｃｏｒｒｅｌａｔｏｒ）９０２，９０３の処理によって無相関な信号にそれぞれ変換される。これによって変換された２系統の信号と、変換されなかった残りの３系統の信号との合計５系統の信号とが、ｐｏｓｔ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ２（９０４）における処理によって変換され、出力の５チャンネル信号が生成される。この信号処理は、５行＊５列の行列演算式によって実現される。

ここでは、簡単のために、５行＊５列の行列演算式を一例に挙げたが、これは、前方２チャンネル、後方２チャンネル、センターチャンネルの５チャンネルを対象にしている場合であって、さらに、ＬＦＥチャンネルを加味すれば、この行列式は、６行５列の行列式となる。また、さらに、非特許文献１で述べられている所謂ＴｔｔＥｌｅｍｅｎｔにおいてＤｅｃｏｒｒｅｌａｔｏｒが用いられる場合は、当該行列演算の入力側が、１チャンネル増えるので、この行列式は、６行６列の行列式となる。

さてここで、各行列演算における行列式の要素（係数）は、元々の５チャンネルの信号間のレベル比と相互相関（位相差）とチャンネル間予測係数とを符号化したパラメータから生成される。

まず、符号化されているレベル比、相互相関（位相差）、チャンネル間予測係数の情報を復号化し、行列式生成部９０５，９０７によって、２チャンネルの信号を５チャンネルの信号に分離するために必要となる信号間のレベル比や位相差や予測係数を求める。

これらの符号化信号は、所定時間間隔のフレーム毎に更新されるものであるので、レベル比や位相差の値は、その変動をスムーズにするために、前フレームの状態と現フレームの状態とから、内挿部９０６，９０８によってスムージングされる。このようにして、ｐｒｅ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ１（９０１）と、ｐｏｓｔ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ２（９０４）とにおける行列演算式の各要素が決定されるが、この行列演算式の各要素を決定する過程は、本願の趣旨とは特に関係ないのでここでは詳細な説明を省略する。

また、非特許文献１において、デコリレータ（Ｄｅ ｃｏｒｒｅｌａｔｏｒ）９０２，９０３の処理は、入力信号の周波数特性は維持したまま時間特性のおいて入力信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成することであることが述べられており、その方法として、ｌａｔｔｉｃｅ ａｌｌ ｐａｓｓ ｆｉｌｔｅｒを用いることが述べられている。
Ｊ．Ｈｅｒｒｅ，ｅｔ ａｌ，"Ｔｈｅ Ｒｅｆｅｒｅｎｃｅ Ｍｏｄｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ＭＰＥＧ Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ"，１１８ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ， Ｂａｒｃｅｌｏｎａ、 Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ Ｃｏｎｖｅｎｔｉｏｎ Ｐａｐｅｒ ６４４７、２００５年５月２８−３１日

しかしながら、上記した音響信号処理装置９００には、以下のような問題がある。

すなわち、ｐｒｅ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ１（９０１）と、ｐｏｓｔ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ２（９０４）とは、共にサイズの大きな行列式を用いた行列演算によって実現されるので、多大の積和演算を要するという第１の問題がある。

また、内挿部９０６，９０８も、各フレーム毎に過去のフレームとの間でスムージングの処理を行うので、多大の演算量を要するという第２の問題がある。

また、Ｄｅ ｃｏｒｒｅｌａｔｏｒ９０２，９０３の処理で用いられているｌａｔｔｉｃｅ ａｌｌ ｐａｓｓ ｆｉｌｔｅｒの処理も複数タップのＩＩＲフィルタで構成されるので、多大の演算量を要するという第３の問題がある。

本発明は、このような従来の問題点に鑑みてなされたものであって、行列演算の演算量を削減することができる音響信号処理装置および音響信号処理方法を提供することを第１の目的とする。

また、内挿処理に必要な演算量を削減することができる音響信号処理装置および音響信号処理方法を提供することを第２の目的とする。

さらに、デコリレート処理に必要な演算量を削減できる音響信号処理装置および音響信号処理方法を提供することを第３の目的とする。

そこで、上記第１の問題を解決するために、本発明に係る音響信号処理装置、ＮＩチャンネルにダウンミックスされた音響信号を、所定の時間間隔毎に区切られたフレーム毎に更新される空間情報パラメータを用いてＮＯ（ＮＯ＞ＮＩ）チャンネルの音響信号に変換する音響信号処理装置であって、前記ＮＩチャンネルにダウンミックスされた音響信号に対して行列演算する第１の行列演算手段と、前記第１の行列演算手段の出力信号に対し、行列演算された信号の周波数特性を維持したまま、時間特性について行列演算された信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成するＫ個のデコリレート（Ｄｅ ｃｏｒｒｅｌａｔｅ）手段と、前記デコリレート（Ｄｅ ｃｏｒｒｅｌａｔｅ）手段の出力信号と、前記第１の行列演算手段による行列演算、および前記デコリレート手段によるデコリレートのいずれもされなかった前記ＮＩチャネルの前記音響信号とに対して行列演算を行い、前記ＮＯチャンネルの音響信号を出力する第２の行列演算手段と、前記空間情報パラメータから前記第１の行列演算手段のマトリックス係数と前記第２の行列演算手段のマトリックス係数とを生成する行列式生成手段とを備え、前記行列式生成手段は、フレ−ム毎に、前記第１の行列演算手段の行列式がＫ行、ＮＩ列であり、かつ、前記第２の行列演算手段の行列式がＮＯ行、（ＮＩ＋Ｋ）列となるように、行列式を生成することを特徴とする。
また、上記第１の問題を解決するために、本発明に係る音響信号処理装置においては、ＮＩチャンネルにダウンミックスされた音響信号を、ＮＯ（ＮＯ＞ＮＩ）チャンネルの音響信号に変換する音響信号処理装置であって、前記ＮＩチャンネルにダウンミックスされた音響信号に対して、Ｋ（ＮＯ＞Ｋ≧ＮＩ）行、ＮＩ列の行列演算を行い、行列演算されたＫ個の信号を出力する第１の行列演算手段と、行列演算された信号の周波数特性を維持したまま、時間特性について行列演算された信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成するＫ個のデコリレート（Ｄｅ ｃｏｒｒｅｌａｔｅ）手段と、前記ＮＩチャンネルにダウンミックスされた音響信号と、前記Ｋ個の無相関な信号とに対して、ＮＯ行、（ＮＩ＋Ｋ）列の行列演算を行い、前記ＮＯチャンネルの音響信号を出力する第２の行列演算手段とを備えることを特徴とする。

これにより、従来のＲＭ０におけるｐｒｅ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ１の行列式の行数がＮＯで、必ずデコリレート手段の個数Ｋよりも必ず大きいが、本発明では第１の行列演算手段における行列式の行数が、デコリレート手段の個数Ｋと同じにまで小さくなるので、演算量を大幅に削減することができる。

また、本発明に係る音響信号処理装置においては、前記Ｋは、前記ＮＩと等しいことを特徴とすることができる。

これにより、ＲＭ０におけるｐｒｅ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ１が、例えば５行＊２列のサイズの行列式の演算で、ｐｏｓｔ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ２が、例えば５行＊５列のサイズの行列式の演算であるならば、本発明では、第１の行列演算手段における行列演算が、２行＊２列のサイズの小さな行列式の演算となり、第２の行列演算手段における行列演算が、５行＊４列のサイズの小さな行列式の演算となるので、演算量をさらに削減することができる。

また、上記第２の問題を解決するために、本発明に係る音響信号処理装置においては、前記音響信号処理装置は、さらに所定の時間間隔毎に区切られたフレーム毎に更新されるパラメータから、前記第１の行列演算手段における第１行列式の各係数を生成する第１の行列式生成手段と、前記パラメータから、前記第２の行列演算手段における第２行列式の各係数を生成する第２の行列式生成手段と、直前のフレームにおけるパラメータまたは直前のフレームにおける第２行列式の各係数を用いて、逐次内挿（Ｉｎｔｅｒｐｏｌａｔｅ）して前記第２の行列演算手段における第２行列式の各係数を算出する内挿手段とを備えることを特徴とすることができる。

これにより、行列式の各要素の内挿処理を第２の行列演算手段における第２行列式に対してのみ行えばよい、つまり聴感上不要な第１の行列演算手段における第１行列式に対する行列式の各要素の内挿処理をスキップするので、演算量をさらに削減することができる。

また、上記第３の問題を解決するために、本発明に係る音響信号処理装置においては、前記Ｋ個のデコリレート手段は、入力信号の位相を９０度回転させる処理を含むこと特徴とすることができる。

これにより、Ｋ個のデコリレート手段を非常に簡素に構成でき、演算量をさらに削減することができる。

また、本発明に係る音響信号処理装置においては、前記第１の行列演算手段の行列演算に用いられるＫ行、ＮＩ列の第１行列式は、ゲイン制御に関する係数から前記デコリレート手段で不要なゲイン制御に関する係数を分離することにより得られ、前記デコリレート手段で必要なゲイン制御に関する最小単位の係数だけで構成され、前記第２の行列演算手段の行列演算に用いられるＮＯ行、（ＮＩ＋Ｋ）列の第２行列式は、前記デコリレート手段で不要なゲイン制御に関する係数と、位相制御に関する係数とを結合することによって得られた係数により構成されることを特徴とすることができる。

これにより、演算量を削減しつつ、他チャンネルへの信号の染み出し（クロストーク）のない高音質のＮＯチャンネルの音響信号を出力することができる。

なお、本発明は、このような音響信号処理装置として実現することができるだけでなく、このような音響信号処理装置が備える特徴的な手段をステップとする音響信号処理方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の説明から明らかなように、本発明に係る音響信号処理装置および音響信号処理方法によれば、演算量が削減され、演算能力が低いプロセッサでも高音質のサラウンド再生が可能になるという効果が奏される。

よって、本発明により、固定された場所に限られず、自動車等の移動体での視聴が可能となり、音楽等のコンテンツ配信が普及してきた今日における本願発明の実用的価値は極めて高い。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（実施の形態１）
図４は、本発明の実施の形態１に係る音響信号処理装置を利用したオーディオコンテンツ配信システム１の全体構成を示す図である。

図４に示されるように、オーディオコンテンツ配信システム１は、オーディオエンコーダ１０と、オーディオデコーダ２０と、オーディオデコーダ２０およびオーディオエンコーダ１０を相互に通信可能に接続する通信路４０とから構成され、オーディオエンコーダ１０から１セグメントの通信路４０を介してオーディオコンテンツを送信し、オーディオデコーダ２０においてオーディオコンテンツを、受信しながら、所定のビットレートでストリーミング再生するものである。なお、この実施の形態１では、オーディオエンコーダ１０は放送局等の中に、オーディオデコーダ２０は車の中に、それぞれ設置されているものとして説明する。

通信路４０は、インターネット４２を中心として、インターネット４２に接続されるインターネットサービスプロバイダ（Ｉｎｔｅｒｎｅｔ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ、以下「ＩＳＰ」とも記す。）４３と、携帯電話網を形成するゲートウェイ４５および基地局４４と、無線ＬＡＮを形成する複数のアクセスポイント４６ａ〜４６ｎとから構成される。このアクセスポイント４６ａ〜４６ｎは、車が走行中でも通信可能となるよう、道路に沿って連続して設置されている。

オーディオエンコーダ１０は、ＩＳＰ４３を経由してインターネット４２に接続される。オーディオデコーダ２０は、携帯電話網と無線ＬＡＮを経由してインターネット４２に接続される。

図５は、図４に示されるオーディオエンコーダ１０およびオーディオデコーダ２０の詳細構成を示すブロック図である。なお、この図５においては通信路４０の図示が省略されている。

オーディオエンコーダ１０は、１０２４サンプルや２０４８サンプルなどによって示されるフレーム単位で複数チャンネルのオーディオ信号（例えば、５チャンネルのオーディオ信号）を処理するものであって、ダウンミックス部１１と、バイノーラルキュー検出部１２と、エンコーダ１３と、多重化部１４と、通信路４０に接続するための通信部１５とを備えている。

ダウンミックス部１１は、５チャンネルのスペクトル表現されたオーディオ信号の平均をとることによって、２チャンネルにダウンミックスされたダウンミックス信号Ｍを生成する。

バイノーラルキュー検出部１２は、スペクトルバンド毎に、５チャンネルのオーディオ信号およびダウンミックス信号Ｍを比較することによって、ダウンミックス信号Ｍを５チャンネルのオーディオ信号に戻すためのＢＣ情報（バイノーラルキュー）を生成する。

ＢＣ情報は、音響空間的な係数によって求められる値ＣＰＣと、チャンネル間コヒーレンス／相関を示す相関情報ＩＣＣと、音響空間的な係数によって求められる値、チャンネルレベル強度差ＣＬＤとを含む。

ここで、相関情報ＩＣＣが５つのオーディオ信号の類似性を示すのに対し、チャンネルレベル強度差ＣＬＤは５チャンネルのオーディオ信号の相対的な強度を示す。一般に、チャンネルレベル強度差ＣＬＤは、音のバランスや定位を制御するための情報であって、相関情報ＩＣＣは、音像の幅や拡散性を制御するための情報である。これらは、共に聴き手が聴覚的情景を頭の中で構成するのを助ける空間パラメータである。

スペクトル表現された５チャンネルのオーディオ信号およびダウンミックス信号Ｍは、「パラメータバンド」からなる通常複数のグループに区分されている。したがって、ＢＣ情報は、それぞれのパラメータバンド毎に算出される。なお、「ＢＣ情報」と「空間パラメータ」という用語はしばしば同義的に用いられる。

エンコーダ１３は、例えば、ＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ−３）や、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）などによって、ダウンミックス信号Ｍを圧縮符号化する。

多重化部１４は、ダウンミックス信号Ｍと、量子化されたＢＣ情報とを多重化することによりビットストリームを生成し、そのビットストリームを上述の符号化信号として出力する。

オーディオデコーダ２０は、通信路２１と接続するための通信部２１と、逆多重化部２２と、デコーダ２３と、音響信号処理装置２４とを備えている。

逆多重化部２２は、上述のビットストリームを取得し、そのビットストリームから量子化されたＢＣ情報と、符号化されたダウンミックス信号Ｍとを分離して出力する。なお、逆多重化部２２は、量子化されたＢＣ情報を逆量子化して出力する。

デコーダ２３は、符号化されたダウンミックス信号Ｍを復号化して音響信号処理装置２４に出力する。

音響信号処理装置２４は、デコーダ２３から出力されたダウンミックス信号Ｍと、逆多重化部２２から出力されたＢＣ情報とを取得する。そして、音響信号処理装置２４は、そのＢＣ情報を用いて、ダウンミックス信号Ｍから、５つのオーディオ信号を復元する。

なお、上述では、５チャンネルのオーディオ信号を符号化して復号化する例を挙げてオーディオコンテンツ配信システムを説明したが、オーディオコンテンツ配信システムは、２チャンネルよりも多いチャンネルのオーディオ信号（例えば、５．１チャンネル音源を構成する、６つのチャンネルのオーディオ信号）を、符号化および復号化することもできる。

なお、本実施の形態１では、上述の背景技術で説明したＲＭ０における２チャンネルの入力信号を５チャンネルの出力信号に変換する技術と対比しており、どのように、ＲＭ０で開示されている技術を改良するかを示す。ここでは、入力は２チャンネル、出力は５チャンネルという設定で実施の形態を述べるが、勿論これは一例に過ぎず、出力が５．１チャンネルなどであってもよいことは言うまでもない。

図６は、図５に示される音響信号処理装置２４の機能構成を示すブロック図である。

図６に示されるように、音響信号処理装置２４は、２行＊２列の行列演算を行う第１の行列演算部２４１と、２個のデコリレート（Ｄｅ ｃｏｒｒｅｌａｔｅ）部２４２，２４３と、５行＊４列の行列演算を行う第２の行列演算部２４４と、所定の時間間隔で区切られたフレーム毎に、伝送されるＢＣ情報から、第１の行列演算部２４１における第１行列式の各要素を算出する第１の行列式生成部２４５と、所定の時間間隔で区切られたフレーム毎に、伝送されるＢＣ情報から、第２の行列演算部２４４における第２行列式の各要素を算出する第２の行列式生成部２４６と、第２の行列式生成部２４６で生成された値を、フレーム間で内挿することによってスムージングする内挿部２４７とを備える。

このような第１の行列演算部２４１、第１および第２のデコリレート部２４２，２４３、第２の行列演算部２４４、第１の行列式生成部２４５、第２の行列式生成部２４６および内挿部２４７は、ＲＯＭに予め記憶されたプログラムと、当該プログラムを実行するデジタルシグナルプロセッサ（ＤＳＰ）と、当該プログラムの実行時にワークエリアを提供するメモリ等により実現される。

以上のように構成された音響信号処理装置２４の動作について以下説明するが、その前に、図３に示した従来の技術における行列式が、図６に示される構成における行列式に変形できる理由について、図７から図１１を用いて説明する。

図７は、図３における主要な信号の流れを示した部分を取り出した図である。したがって、信号の流れは、上記背景技術で説明したとおりであり、右側から２チャンネルの信号が入力され、最終的に５チャンネルの信号が出力される。

図８は、図７におけるｐｒｅ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ１における行列演算式に「０」を挿入することによって拡張した図である。

このような行列式の拡張に伴って、元々２チャンネルである入力信号をそれぞれ複写し４チャンネルに拡張する。ただし、右側の行列式から明らかなように、信号処理の意味合いは、数学的に図７のものと全く同じである。

図９は、図８における拡張された行列式に「１」を挿入することによって、２つの行列式に分離したところを示す図である。

ここでは行列式は単に２つに分割されただけであり、右側の行列式から明らかなように、数学的に図７のものと全く同じである。

図１０は、図９に示したものに対して、信号処理の順番を入れ替えごたことを示している。

すなわち、図９で示した分離された行列式の内、左側の行列式の処理と、デコリレータの処理とを入れ替えている。

図１１は、図１０に示したものを合理化した図である。

すなわち、図１０に示した左側の２つの行列式を予め行列演算しておくことによって１つに統合したことと、図１０に示した右側の行列式から、係数が「１」である要素を削除することによって、行列のサイズを小さくしたことを示している。例えば、図１１の左側に示した行列式の１行１列目の要素ｗ０は、通常の行列演算のマナーに従って、
ｗ０＝ｃ０＊ａ０＋ｄ０＊ａ１＋ｅ０＊ａ２＋ｆ０＊０＋ｇ０＊０
として求められる。

他の要素も同様に、通常の行列演算のマナーに従って、求められる。

このように、図７から図１１に示したように、行列式を分解し、処理の順番を入れ替え、行列式を結合することによって、ＲＭ０で示された信号処理の流れは、図６で示した本願における信号処理の流れに加工することができる。

これにより、演算量を削減しつつ、他チャンネルへの信号の染み出し（クロストーク）のない高音質のＮＯチャンネルの音響信号を出力することができる。

さて、図６のように構成された音響信号処理装置２４の各部の動作について以下説明する。

ＤＳＰは、２ｃｈのダウンミックスされた信号を５ｃｈの信号に変換するに当たり、まず前処理を実行する（Ｓ１１）。

この前処理には、第１の行列演算部２４１における第１行列式が、ゲイン制御に関する係数から第１および第２のデコリレート部２４２，２４３で不要なゲイン制御に関する係数を分離することにより得られ、第１および第２のデコリレート部２４２，２４３で必要なゲイン制御に関する最小単位の係数だけで構成されるように決定することが含まれる。また、前処理には、第２の行列演算部２４４における第２行列式が、第１および第２のデコリレート部２４２，２４３で不要なゲイン制御に関する係数と、位相制御に関する係数とを結合することによって得られた係数により構成されるように決定することが含まれる。また、前処理には、第１および第２のデコリレート部２４２，２４３における処理を簡略化（例えば、位相の９０゜回転）することの決定が含まれる。さらに、前処理には、第１の行列式生成部２４５により生成された係数に対する内挿処理をスキップすることの決定も含まれる。

前処理が終わると、ＤＳＰは、フレーム毎の処理を繰り返し実行する（Ｓ１２〜Ｓ１９）。

このフレーム毎の処理においては、ＤＳＰは、まず、第１の行列式生成部２４５において、所定の時間間隔で区切られたフレーム毎に伝送される位相差情報（Ｉｎｔｅｒ ｃｈａｎｎｅｌ ｃｏｈｅｒｅｎｃｅ）とレベル比（ｃｈａｎｎｅｌ ｌｅｖｅｌ ｄｉｆｆｅｒｅｎｃｅ）とチャンネル間予測係数（Ｃｈａｎｎｅｌ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）とから、第１の行列演算部２４１における第１行列式の各要素を算出する（Ｓ１３）。

すなわち、第１の行列演算部２４１における行列式の要素、ａ３，ｂ３，ａ４，ｂ４を算出する。ここで、ａ３，ｂ３，ａ４，ｂ４の値は、図３におけるａ３，ｂ３，ａ４，ｂ４の値と同じ意味合いのものであるので、その算出方法は、ＲＭ０で規定された方法と同様でよい。すなわち、図６における右側の行列式は、ＲＭ０で用いられている文字で表現すると、下記式（３）に示す２行＊２列の行列式と同じものである。

…（３）
勿論、式（３）は所謂ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われていない場合の例であるので、ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われている場合は、下記式（４）に示すような２行＊３列の行列式になる。

…（４）

ただし、図３におけるａ３，ｂ３，ａ４，ｂ４の値は、内挿部２４７によって加工された後のものであるのに対し、図６内の第１の行列演算部２４１における行列式の要素、ａ３，ｂ３，ａ４，ｂ４は、内挿部２４７によって加工される前のものであるところが異なるが、何れにしてもその算出方法は、ＲＭ０で規定された方法と同様でよい。

さて、次に、図６におけるメインの信号の流れについて説明する。

入力のｉｎｐｕｔ１とｉｎｐｕｔ２とは、第１の行列演算部２４１において、各要素の行列演算がなされる。すなわち、ＤＳＰは、第１の行列演算部２４１の第１行列式の演算処理を実行する（Ｓ１４）。そのようにして生成された信号は第１および第２のデコリレート部２４２，２４３で処理される。すなわち、ＤＳＰは、第１および第２のデコリレート部２４２，２４３においてデコリレート処理を実行する（Ｓ１５）。

この第１および第２のデコリレート部２４２，２４３は、入力信号の周波数特性は維持したまま時間特性は入力信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成する処理である。その方法として、ＲＭ０では、ｌａｔｔｉｃｅ ａｌｌ ｐａｓｓ ｆｉｌｔｅｒを用いることが示されているが、入力信号の位相を９０度回転させるという簡略化された方法でもよい。入力信号の位相を９０度回転させるということは、信号の持つ周波数特性は完全に維持され、しかも、数学的に完全に無相関な信号が生成できるからである。しかも、その処理は、入力信号が複素数である場合、実数項と虚数項とを入れ替えて、一方の符号を反転させるだけの処理で実現できるので、第１および第２のデコリレート部２４２，２４３の構成を簡素化することができ、極めて演算量が軽量で済むことになる。

デコリレート処理が終わると、ＤＳＰは、第２の行列式生成部２４６において、所定の時間間隔で区切られたフレーム毎に伝送される位相差情報（Ｉｎｔｅｒ ｃｈａｎｎｅｌ ｃｏｈｅｒｅｎｃｅ）とレベル比（ｃｈａｎｎｅｌ ｌｅｖｅｌ ｄｉｆｆｅｒｅｎｃｅ）とから前記第２の行列演算部２４４における行列式の各要素の基となる値を算出する（Ｓ１６）。

すなわち、前記第２の行列式生成部２４６は、図１０で示した左側の２つの行列式を求め、さらにこれら２つの行列式を結合する過程を実行する手段である。ここで、図１０で示したａ０，ｂ０，ａ１，ｂ１，ａ２，ｂ２の値は、図３におけるａ０，ｂ０，ａ１，ｂ１，ａ２，ｂ２の値と同じ意味合いのものであるので、その算出方法は、ＲＭ０で規定された方法と同様でよい。

すなわち、図１０における左側の２つの行列式の内の右側の行列式は、ＲＭ０で用いられている文字で表現すると、下記式（５）に示す５行＊４列の行列式と同じものである。

…（５）
勿論、式（５）は所謂ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われていない場合で、しかも所謂ＴｔｔＤｅｃｏｒｒｅｌａｔｏｒの処理が行われていない場合で、しかもＬＦＥチャンネルが省略されている場合の例であるので、それらがすべで実施されている場合は、下記式（６）に示すような構成になる。

…（６）

ただし、図３におけるａ０，ｂ０，ａ１，ｂ１，ａ２，ｂ２の値は、内挿部２４７によって加工された後のものであるが、ここで用いるａ０，ｂ０，ａ１，ｂ１，ａ２，ｂ２の値は、内挿部２４７によって加工される前のものである。

また、図１０で示したｃ０〜ｃ４，ｄ０〜ｄ４，ｅ０〜ｅ４，ｆ０〜ｆ４，ｇ０〜ｇ４，の値は、図３におけるｃ０〜ｃ４，ｄ０〜ｄ４，ｅ０〜ｅ４，ｆ０〜ｆ４，ｇ０〜ｇ４，の値と同じ意味合いのものであるので、その算出方法は、ＲＭ０で規定された方法と同様でよい。ただし、図３におけるｃ０〜ｃ４，ｄ０〜ｄ４，ｅ０〜ｅ４，ｆ０〜ｆ４，ｇ０〜ｇ４の値は、内挿部２４７によって加工された後のものであるが、ここで用いるｃ０〜ｃ４，ｄ０〜ｄ４，ｅ０〜ｅ４，ｆ０〜ｆ４，ｇ０〜ｇ４の値は、内挿部２４７によって加工される前のものである。このようにして算出されたａ０，ｂ０，ａ１，ｂ１，ａ２，ｂ２、およびｃ０〜ｃ４，ｄ０〜ｄ４，ｅ０〜ｅ４，ｆ０〜ｆ４，ｇ０〜ｇ４の値を、行列演算の通常のマナーに従って、図１１に示したｗ０〜ｗ４，ｘ０〜ｘ４，ｙ０〜ｙ４，ｚ０〜ｚ４として、１つの行列式に結合する。

次に、ＤＳＰは、内挿部２４７において、前記第２の行列式生成部２４６で生成した、前記ｗ０〜ｗ４，ｘ０〜ｘ４，ｙ０〜ｙ４，ｚ０〜ｚ４と、直前の処理フレームにおいて生成されていた当該値とを内挿することによって、フレームの境目で急峻に行列式の要素が変化することを防ぐようにｗ０〜ｗ４，ｘ０〜ｘ４，ｙ０〜ｙ４，ｚ０〜ｚ４の値をスムージングする（Ｓ１７）。そのようにして得られた値が、図６の第２の行列演算部２４４内に示したｗ０＾〜ｗ４＾，ｘ０＾〜ｘ４＾，ｙ０＾〜ｙ４＾，ｚ０＾〜ｚ４＾である。

ここで、各要素に記号＾を付した理由は、この値が内挿処理された後の値であることを示すためである。図７から図１１において、信号処理の変形の過程を示したときは、図１１の左側の行列式の最終的な各要素に＾をつけなかったが、このときは、単に信号処理の変形の過程を数学的に示すのみであったが、図６における左側の行列式の各要素は、内挿処理されたものであるので、これを明確に区別するために記号＾を付した。

ただし、内挿部２４７は、演算量削減のために、削除してもよい。また、第１の行列式生成部２４５が生成した行列式の係数については、図６では内挿部２４７で加工していないが、内挿処理によってスムージングしてもよい。

ただし、音質に与える影響から考えれば、図６に示すように、前記第１の行列式生成部２４５が生成した行列式の係数については、スムージングを行わなくても音質に与える悪い影響は少ない。

なぜならば、第１の行列演算部２４１の出力は全て、直後の第１および第２のデコリレート部２４２，２４３に入力され、第１および第２のデコリレート部２４２，２４３では、ＲＭ０の規定によれば、音に残響成分を与えるような処理が施されるので、スムージングを行わないことによって急峻に行列式が変化しても、第１および第２のデコリレート部２４２，２４３による音をぼやかしたような効果により、行列式の変化点における不連続感を弱める働きがあるからである。

このように、第１および第２のデコリレート部２４２，２４３によって変換された２系統の信号と、前記ｉｎｐｕｔ１とｉｎｐｕｔ２との合計４系統の信号が、前記第２の行列演算部２４４によって処理され、出力の５チャンネル信号が生成される。つまり、ＤＳＰは、第２の行列演算部２４４における第２行列式を用いた演算処理を実行する（Ｓ１８）。ここで注意しなくてはならないことは、前記第２の行列演算部２４４における行列式の各要素は、逐次内挿されたものであるということである。

例えば、１フレーム時間が、３２単位時間持続する時間長をもっている場合、前記第１の行列演算部２４１においては、その行列式の各要素は、３２単位時間の間、常に同じ値であるが、前記第２の行列演算部２４４における行列式の各要素は、１単位時間毎に逐次変化する。例えば、前記第２の行列演算部２４４における行列式の中の１行１列目の値ｗ０を例にとれば、前記第２の行列式生成部２４６で生成された現フレームのｗ０の値がｗ０（ｔ）であり、前記第２の行列式生成部２４６で生成された前のフレームのｗ０の値がｗ０（ｔ−１）であった場合、前記内挿部２４７では、１単位時間毎にｗ０（ｔ−１）とｗ０（ｔ）との内挿をとり、値が滑らかにｗ０（ｔ−１）からｗ０（ｔ）へと移行するようにする。

以上のように本実施の形態１によれば、ＮＩ行の行列演算を行う第１の行列演算部２４１と、ＮＩ個の第１および第２のデコリレート部２４２，２４３と、ＮＯ行の行列演算を行う第２の行列演算部２４４とを有し、ＮＩチャンネル信号を前記第１の行列演算部２４１の入力とし、第１の行列演算部２４１の出力信号を第１および第２のデコリレート部２４２，２４３の入力とし、第１の行列演算部２４１の入力信号と第１および第２のデコリレート部２４２，２４３の出力信号とを第２の行列演算部２４４の入力することによって、演算量を削減することができる。

例えばＲＭ０におけるｐｒｅ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ１が、５行＊２列のサイズの行列式の演算で、ｐｏｓｔ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ２が、５行＊５列のサイズの行列式の演算であるならば、本願の技術によれば、第１の行列演算が、２行＊２列のサイズの行列式の演算となり、第２の行列演算が、５行＊４列のサイズの行列式の演算となり演算量が削減できる。

また、所定の時間間隔毎に区切られたフレーム毎に更新されるパラメータから、第１の行列演算部２４１と第２の行列演算部２４４とにおける行列式の各係数を生成する行列式生成部２４５をさらに備え、第１の行列演算部２４１における行列式の各係数は各フレーム内では一定であり、第２の行列演算部２４４における行列式の各係数は直前のフレームにおけるパラメータ、あるいは、直前のフレームにおける行列式の各係数を用いて逐次内挿（Ｉｎｔｅｒｐｏｌａｔｅ）して算出するようにすることによって、行列式の各要素の内挿処理を第２の行列演算式に対してのみ行えばよいので、演算量が削減できることとなる。

また、前記第１および第２のデコリレート部２４２，２４３を、入力信号の位相を９０度回転させる処理とすることによって、第１および第２のデコリレート部２４２，２４３を非常に簡素に構成できることとなる。

なお、本実施の形態１では、第２行列式の係数を算出する処理（Ｓ１６）と、第２行列式の係数に対する内挿処理を実行する処理（Ｓ１７）を、デコリレート処理の後に実行したが、ステップＳ１３とステップＳ１４との間に実行するようにしてもよい。これにより、係数を求める処理と、５ｃｈの音響信号に変換するメインの処理とに分離することができる。

また、本実施の形態１では、２チャンネルの入力に対しマルチチャンネルの出力を生成する際の処理の流れを示したが、本発明は、１チャンネルの入力に対しマルチチャンネルの出力を生成する際にも適用できる。

（実施の形態２）
例えば、１チャンネルの入力に対し出力チャンネル数を５とした場合の適用の考え方を図１３を用いて説明する。

本願の趣旨は、前記第１の行列演算部２４１における行列式の行の数を、Ｄｅｃｏｒｒｅｌａｔｏｒの数と同じにすることによって、ＲＭ０で述べられているｐｒｅ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ１に要する演算量より、前記第１の行列演算部２４１に要する演算量を少なくすることである。

図１３の一番上の図、つまり図１３（ａ）は、ＲＭ０において１チャンネルの入力に対しマルチチャンネルの出力を生成する際の信号の流れを示している。上から２番目、３番目の図、つまり図１３（ｂ），図１３（ｃ）は、それを数学的に、拡大、分離している図である。考え方は、図８、図９の説明で述べたとおりである。

上から４番目の図、つまり図１３（ｄ）は、Ｄｅｃｏｒｒｅｌａｔｏｒの処理と行列演算の処理とを入れ替えている図である。考え方は、図１０の説明で述べたとおりである。

一番下の図、つまり図１３（ｅ）は、上から４番目の図に対して、左側の２つの行列式を予め結合することで演算量を減らし、右側の行列式を、最小化（最適化）することによって演算量を減らしている図である。

このようにすることによって、第１の行列演算部２４１における行列式は、４行１列となり、その行数はＤｅｃｏｒｒｅｌａｔｏｒの数と同じにすることができ、演算量を削減することができる。

また、このようにすると、第１の行列演算部２４１の出力は、全てＤｅｃｏｒｒｅｌａｔｏｒに入力されるので、Ｄｅｃｏｒｒｅｌａｔｏｒによる残響成分付加の効果で、第１の行列演算部２４１の行列式の各要素がフレーム間で急峻に変動する場合でも、その急峻な変動が聴覚上問題にならなくなるので、内挿部による第１行列式の各要素に対するスムージング処理が不要となる、という利点も得られる。

この例においても、出力のチャンネル数は５としたが、ＬＦＥチャンネルを加味し６チャンネルとしてもよいことは言うまでもない。その場合、左側の行列式の行数は６行となる。

本発明に係る音響信号処理装置によれば、ダウンミックスされた信号をもとの複数チャンネルの信号に復号する処理を少ない演算量で実施できるので、低ビットレートでの音楽放送サービスや音楽配信サービス、およびその受信機器等に適用できる。

図１は、Ｓｐａｔｉａｌ Ｃｏｄｅｃの基本原理について、Ｌ，Ｒの２ｃｈを例として説明するための図である。 図２は、ＲＭ０における従来の音響信号処理装置９００の機能構成を示すブロック図である。 図３は、音響信号処理装置９００のさらに詳細な機能構成を示すブロック図である。 図４は、本発明の実施の形態１に係る音響信号処理装置を利用したオーディオコンテンツ配信システム１の全体構成を示す図である。 図５は、図４に示されるオーディオエンコーダ１０およびオーディオデコーダ２０の詳細構成を示すブロック図である。 図６は、図５に示される音響信号処理装置２４の機能構成を示すブロック図である。 図７は、従来の技術における主要な信号処理の流れ示す図である。 図８は、図７におけるｐｒｅ−ｍｉｘｉｎｇ ｍａｔｒｉｘ Ｍ１における行列演算式に「０」を挿入することによって拡張した図である。 図９は、図８における拡大された行列式に「１」を挿入することによって２つの行列式に分離した図である。 図１０は、図９に示したものに対して、信号処理の順番を入れ替えた図である。 図１１は、図１０に示したものを合理化した図である。 図１２は、音響信号処理装置２４の各部において実行される処理の動作を示すフローチャートである。 図１３は、本発明の実施の形態２に係る音響信号処理装置において、１チャンネルの信号から５チャンネルの信号に変換する場合の本願技術の適用の考え方を示す図である。

符号の説明

２４ 音響信号処理装置
２４１ 第１の行列演算部
２４２，２４３ デコリレート部
２４４ 第２の行列演算部
２４５ 第１の行列式生成部
２４６ 第２の行列式生成部
２４７ 内挿部

Claims (7)

1. ＮＩチャンネルにダウンミックスされた音響信号を、所定の時間間隔毎に区切られたフレーム毎に更新される空間情報パラメータを用いてＮＯ（ＮＯ＞ＮＩ）チャンネルの音響信号に変換する音響信号処理装置であって、
   前記ＮＩチャンネルにダウンミックスされた音響信号に対して行列演算する第１の行列演算手段と、
   前記第１の行列演算手段の出力信号に対し、行列演算された信号の周波数特性を維持したまま、時間特性について行列演算された信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成するＫ個のデコリレート（Ｄｅ ｃｏｒｒｅｌａｔｅ）手段と、
   前記デコリレート（Ｄｅ ｃｏｒｒｅｌａｔｅ）手段の出力信号と、前記第１の行列演算手段による行列演算、および前記デコリレート手段によるデコリレートのいずれもされなかった前記ＮＩチャネルの前記音響信号とに対して行列演算を行い、前記ＮＯチャンネルの音響信号を出力する第２の行列演算手段と、
   前記空間情報パラメータから前記第１の行列演算手段のマトリックス係数と前記第２の行列演算手段のマトリックス係数とを生成する行列式生成手段とを備え、
   前記行列式生成手段は、フレ−ム毎に、前記第１の行列演算手段の行列式がＫ行、ＮＩ列であり、かつ、前記第２の行列演算手段の行列式がＮＯ行、（ＮＩ＋Ｋ）列となるように、行列式を生成する
   ことを特徴とする音響信号処理装置。
2. 前記Ｋは、前記ＮＩと等しい
   ことを特徴とする請求項１記載の音響信号処理装置。
3. 前記行列式生成手段は、
   所定の時間間隔毎に区切られたフレーム毎に更新されるパラメータから、前記第１の行列演算手段における第１行列式の各係数を生成する第１の行列式生成手段と、
   前記パラメータから、前記第２の行列演算手段における第２行列式の各係数を生成する第２の行列式生成手段と、
   直前のフレームにおけるパラメータまたは直前のフレームにおける第２行列式の各係数を用いて、逐次内挿（Ｉｎｔｅｒｐｏｌａｔｅ）して前記第２の行列演算手段における第２行列式の各係数を算出する内挿手段と
   を備えることを特徴とする請求項１記載の音響信号処理装置。
4. 前記Ｋ個のデコリレート手段は、入力信号の位相を９０度回転させる処理を含む
   ことを特徴とする請求項１記載の音響信号処理装置。
5. 前記第１の行列演算手段の行列演算に用いられるＫ行、ＮＩ列の第１行列式は、ゲイン制御に関する係数から前記デコリレート手段で不要なゲイン制御に関する係数を分離することにより得られ、前記デコリレート手段で必要なゲイン制御に関する最小単位の係数だけで構成され、
   前記第２の行列演算手段の行列演算に用いられるＮＯ行、（ＮＩ＋Ｋ）列の第２行列式は、前記デコリレート手段で不要なゲイン制御に関する係数と、位相制御に関する係数とを結合することによって得られた係数により構成される
   ことを特徴とする請求項１記載の音響信号処理装置。
6. 音響信号処理装置が、ＮＩチャンネルにダウンミックスされた音響信号を、所定の時間間隔毎に区切られたフレーム毎に更新される空間情報パラメータを用いてＮＯ（ＮＯ＞ＮＩ）チャンネルの音響信号に変換する音響信号処理方法であって、
   音響信号処理装置は、第１の行列演算手段、Ｋ個のデコリレート（Ｄｅ ｃｏｒｒｅｌａｔｅ）手段、第２の行列演算手段、および行列式生成手段を備え、
   前記音響信号処理方法は、
   前記第１の行列演算手段が、前記ＮＩチャンネルにダウンミックスされた音響信号に対して行列演算する第１の行列演算ステップと、
   前記Ｋ個のデコリレート手段が、前記第１の行列演算ステップにより得られた出力信号に対し、行列演算された信号の周波数特性を維持したまま、時間特性について行列演算された信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成するＫ個のデコリレート（Ｄｅ ｃｏｒｒｅｌａｔｅ）ステップと、
   前記第２の行列演算手段が、前記デコリレート（Ｄｅ ｃｏｒｒｅｌａｔｅ）ステップにより得られた出力信号と、前記第１の行列演算ステップによる行列演算、および前記デコリレートステップによるデコリレートのいずれもされなかった前記ＮＩチャネルの前記音響信号とに対して行列演算を行い、前記ＮＯチャンネルの音響信号を出力する第２の行列演算ステップと、
   前記行列式生成手段が、前記空間情報パラメータから前記第１の行列演算ステップのマトリックス係数と前記第２の行列演算ステップのマトリックス係数とを生成する行列式生成ステップとを含み、
   前記行列式生成ステップでは、フレ−ム毎に、前記第１の行列演算ステップの行列式がＫ行、ＮＩ列であり、かつ、前記第２の行列演算ステップの行列式がＮＯ行、（ＮＩ＋Ｋ）列となるように、行列式を生成する
   ことを特徴とする音響信号処理方法。
7. 請求項６記載の音響信号処理方法をコンピュータに実行させるためのプログラム。

Images