JP6139419B2 - 符号化装置、復号装置、符号化方法、復号方法、およびプログラム - Google Patents

Description

本発明は、ある環境で得られたマルチチャネル信号の符号化および復号に関する。

マルチチャネルオーディオ信号の符号化とは、多数のマイクロホンで取得した音響信号を、時間方向と空間方向の冗長性を取り除くモデルを用いて、効率的に表現する技術である（例えば、非特許文献１参照）。音響信号による音場の再現を想定する場合、音響伝達特性の変動を考慮した符号化方式が必要となる。従来技術では、時間領域もしくは周波数領域の信号に対してＫＬ（Karhunen-Loeve）展開を適用してチャネル間相関を低減し、マルチチャネルオーディオ信号を効率良く符号化する。

Yang, Dai, et al. "High-fidelity multichannel audio coding with Karhunen-Loeve transform." Speech and Audio Processing, IEEE Transactions on 11.4 (2003): 365-380.

しかしながら、従来技術では、音源信号と音響伝達特性に内在するパラメータとの時間変化量の相違を考慮していないという問題点があった。このような問題は、マルチチャネルオーディオ信号を符号化する場合のみならず、多数のセンサで得られたマルチチャネル信号を符号化する際に共通するものである。

本発明は、源信号と伝達特性に内在するパラメータとの時間変化量の相違を考慮し、マルチチャネル信号を効率良く符号化することを課題とする。

入力された複数チャネルの時系列信号に対応する周波数領域のマルチチャネル信号の系列に周波数毎の主成分分析を含む第一処理を行い、次元縮約された信号の系列である固有信号の系列と、基底の系列であるテンソルの系列とを得、当該固有信号の系列を符号化して固有信号符号を得、当該テンソルの系列を符号化してテンソル符号を得る。

本発明では、固有信号の系列とテンソルの系列とをそれぞれ符号化するため、マルチチャネル信号を効率良く符号化できる。

図１は、実施形態の符号化装置の構成を例示するためのブロック図である。 図２は、実施形態の復号装置の構成を例示するためのブロック図である。 図３は、音源信号と音響伝達特性との時間変化量の違いを例示するための概念図である。 図４Ａは、１段目の固有空間算出部での処理を例示するための概念図であり、図４Ｂは、固有空間算出部で得られたテンソルの系列を例示するための概念図であり、図４Ｃは、ブロックあたりのテンソルの系列を例示するための概念図である。 図５は、２段目の固有空間算出部での処理を例示するための概念図である。 図６Ａおよび６Ｂは、２段目の固有空間算出部での処理の変形例を例示する ための概念図である。 図７は、実施形態の符号化装置の構成を例示するためのブロック図である。 図８は、実施形態の復号装置の構成を例示するためのブロック図である。

以下、図面を参照して本発明の実施形態を説明する。
［概要］
観測信号とは、信号源から発せられた時系列信号である源信号が何らかの伝達特性を有する空間を得て複数個のセンサで観測して得られる信号である。観測信号（マルチチャネル信号）の系列は、時間領域の信号であっても周波数領域の信号であっても、源信号の系列や伝達特性の系列等の互いに時間変化量が異なる要素の合成として表すことができる。例えば、伝達特性が定常である範囲内において、周波数領域では、マルチチャネル信号の系列を表す行列を、伝達特性等を表す行列と、源信号等の系列を表す行列との積で表すことができる。

源信号の例は、音声や楽曲等の音響信号や超音波信号や体内の生体信号などの時系列信号であり、センサの例はマイクロホンや超音波センサや医療センサなどであり、伝達特性の例は空間伝達特性や体内の伝達特性などであるが、いずれの場合も、源信号は伝達特性や信号源数に比べて時間変化量が大きい場合が多い。また、伝達特性等には複数のパラメータが内在するが、それらのパラメータの種別に応じて時間変化量が異なる場合も多い。図３は、源信号が音響信号（音源信号）である場合における、音源信号、音源数、および伝達特性（音響伝達特性）の時間変化量の違いを例示する。この例のように、音源信号の時間変化量は、音響伝達特性に内在する音源位置、指向特性、音源の移動、音速（温度に依存）、周囲の壁等の反射係数、および部屋の形状・寸法等のパラメータの時間変化量や音源数の時間変化量よりも大きいことが多い。また、音源位置、指向特性、音源の移動、音速（温度に依存）、周囲の壁等の反射係数、および部屋の形状・寸法等のパラメータや音源数にも、種別に応じた時間変化量の相違がみられる。

各実施形態では、このような時間変化量の相違に着目し、周波数ごとの主成分分析（ＫＬ展開）を含む第一処理によって、周波数領域のマルチチャネル信号の系列を、源信号成分や信号源数成分を表す系列と伝達特性や信号源数成分を表す系列とに緩く分離し、それらを別々に符号化する。すなわち、本実施形態では、入力された複数チャネルの時系列信号に対応する周波数領域のマルチチャネル信号の系列に周波数毎の主成分分析を含む第一処理を行い、次元縮約された信号の系列である固有信号の系列と、基底の系列であるテンソルの系列とを得、当該固有信号の系列を符号化して固有信号符号を得、当該テンソルの系列を符号化してテンソル符号を得る。なお、当該テンソルの系列と当該固有信号の系列とは別々に符号化される。ここで、固有信号の系列は源信号成分や信号源数成分に緩く対応し、テンソルの系列は伝達特性や信号源数成分の系列に緩く対応する。このように分離された系列を別々に符号化することで、それぞれの系列に応じて効率的な符号化を採用することができ、全体としてマルチチャネル信号を効率良く符号化できる。

さらに好ましくは、主成分分析を含む第二処理によって、伝達関数成分の系列に緩く対応するテンソルの系列を、さらに、時間変化量が大きな成分の系列と時間変化量が小さな成分の系列とに緩く分離し、それらを別々に符号化する。すなわち、好ましくは、このテンソルに対応する系列に主成分分析を含む第二処理を適用し、次元縮約されたテンソルの系列であるコアテンソルの系列と、少なくとも一つの基底から構成される基底群とを得、当該コアテンソルの系列を符号化してコアテンソル符号を得、当該基底群を符号化して基底群符号を得る。なお、当該コアテンソルの系列と当該基底群とは別々に符号化される。なお、「テンソルに対応する系列」は、例えば、テンソルの系列からテンソルの系列の標本平均を減じた中心化後のテンソルの系列である。また、基底群は、例えば複数個の基底から構成される。ここで、コアテンソルの系列は時間変化量が大きな成分の系列（例えば、音源位置，指向特性、音源や物の移動等に対応）に緩く対応し、基底群は時間変化量が小さな成分の系列（例えば、音速、反射係数、部屋の形状・寸法等に対応）に緩く対応する。このようにテンソルに対応する系列をさらに分離し、分離された系列を別々に符号化することで、それぞれの系列の特徴に応じてより効率的な符号化を採用することができ、全体としてマルチチャネル信号をより効率良く符号化できる。

また、好ましくは、マルチチャネル信号および固有信号は、所定の時間区間であるフレーム毎に得られ、テンソルおよびコアテンソルは、複数個のフレームから構成されるサブブロック毎に得られ、基底群は、複数個のサブブロックから構成されるブロック毎に得られる。これにより、時間変化量の大きさに応じ、段階的に異なる粒度の情報が符号化される。すなわち、時間変化量が大きな固有信号はフレームごとの粒度で復号が可能なように符号化され、時間変化量が小さなテンソルはサブブロックごとの粒度で復号が可能なように符号化される。さらに、テンソルから分離された時間変化量が比較的大きなコアテンソルはサブブロックごとの粒度で復号が可能なように符号化され、それよりも時間変化量が小さな基底群はブロックごろの粒度で復号が可能なように符号化される。これにより、源信号や源信号数や伝達特性に内在するパラメータの時間的、空間的な冗長性を削減することができ、マルチチャネル信号を効率的に符号化することができる。

また、波形信号である音響信号等の源信号成分は伝達特性に比べて時間方向や周波数方向の相関が強い場合が多く、線形予測等の予測を含む符号化方式を用いることが好ましい。そのため、固有信号の系列の符号化は、時間方向と周波数方向との少なくとも一方への予測を含む符号化方式に則って行われることが望ましい。一方、テンソルの系列の符号化は、時間方向への予測も周波数方向への予測も含まない符号化方式に則って行われることが望ましい。

固有信号の系列を符号化して得られる固有信号符号、およびテンソルの系列を符号化して得られるテンソル符号（例えば、コアテンソルを符号化して得られるコアテンソル符号と、基底群を符号化して得られる基底群符号とを含む）は、上記の符号化に対応する復号処理によって復号される。

以下に各実施形態を詳細に説明する。以降では、源信号が音響信号（オーディオ信号）であり、信号源が音源であり、センサがマイクロホンである場合について説明する。

［第１実施形態］
＜符号化装置＞
図１に例示するように、第１実施形態の符号化装置１１は、周波数変換部１１１、固有空間算出部１１２、固有信号符号化部１１３、およびテンソル符号化部１１４を有する。固有信号符号化部１１３は、周波数逆変換部１１３１、線形予測部１１３２、および符号化部１１３３を含む。テンソル符号化部１１４は、中心化部１１４１、固有空間算出部１１４２（第２固有空間算出部）、および符号化部１１４３，１１４４（コアテンソル符号化部，基底群符号化部）を含む。符号化装置１１は、例えば、ＣＰＵ（central processing unit）、ＲＡＭ（random-access memory）等から構成される汎用または専用のコンピュータに所定のプログラムが読み込まれることによって構成される装置である。

＜復号装置＞
図２に例示するように、第１実施形態の復号装置１２は、周波数逆変換部１２１、信号再構成部１２２、固有信号復号部１２３、およびテンソル復号部１２４を有する。固有信号復号部１２３は、周波数変換部１２３１、フィルタ処理部１２３２、および復号部１２３３を含む。テンソル復号部１２４は、加算部１２４１、テンソル再構成部１２４２、および復号部１２４３，１２４４（コアテンソル復号部，基底群復号部）を含む。復号装置１２は、例えば、ＣＰＵ、ＲＡＭ等から構成される汎用または専用のコンピュータに所定のプログラムが読み込まれることによって構成される装置である。

＜符号化処理＞
或る空間内に、既知または未知の単数個または複数個の音源と、Ｄ個のマイクロホン（例えば、マイクロホンアレー）とが存在し、当該音源から発せられた時系列信号である音源信号が、室内音響伝達特性を有する空間を経て当該Ｄ個のマイクロホンで観測されるとする。各マイクロホンでそれぞれ観測された観測信号から得られるデジタル観測信号を要素とするＤ次元の時間領域信号を「時間領域のマルチチャネル信号ｘ_ｍｕｔ∈Ｒ^Ｄ」と表現する。ここで、Ｄは２以上の整数（例えば、Ｄ＝６４）の定数であり、ｔは離散時間を表すインデックスであり、ｕは所定の時間区間であるフレームを表すインデックスであり、ｍは複数個のフレームから構成されるサブブロックを表すインデックスである。インデックスｔに対応する離散時間を「離散時間ｔ」と表記し、インデックスｕに対応するフレームを「フレームｕ」と表記し、インデックスｍに対応するサブブロックを「サブブロックｍ」と表記する。また、Ｒは実数集合を表し、Ｒ^ＤはＤ次元の実数集合を表し、α∈βはαがβに属することを表す。なお、各マイクロホンに対応する処理系統を「チャネル」と呼ぶことにする。

≪周波数変換部１１１≫
符号化装置１１（図１）の周波数変換部１１１は、時間領域のマルチチャネル信号ｘ_ｍｕｔ∈Ｒ^Ｄを入力とし、所定の時間区間であるフレームｎごとの時間領域のマルチチャネル信号ｘ_ｍｕｔに対応するＤ次元の周波数領域の信号である「周波数領域のマルチチャネル信号Ｘ_ｋｍｎ∈Ｃ^Ｄ」を得て出力する。なお、ｎはフレームに対応するインデックスであり、インデックスｎに対応するフレームを「フレームｎ」と表記する。フレームｎの長さは、例えば、後述する初期反射音が含まれる時間（例えば、数百ミリ秒）とする。フレームｎはサブブロックｍに属するものとする。ｋは離散周波数（周波数ビン）に対応するインデックスであり、インデックスｋに対応する離散周波数を「離散周波数ｋ」と表記する。Ｃは複素数集合を表し、Ｃ^ＤはＤ次元の複素数集合を表す。なお、時間領域の信号の周波数領域の信号への変換方式に特に限定はなく、例えば、短時間フーリエ変換（STFT: short-time Fourier transform）や修正離散コサイン変換(MDCT: modified discrete cosine transform)等の周知の変換方式を用いることができる。

≪固有空間算出部１１２≫
固有空間算出部１１２は、周波数領域のマルチチャネル信号Ｘ_ｋｍｎ∈Ｃ^Ｄを入力とし、当該周波数領域のマルチチャネル信号Ｘ_ｋｍｎに周波数毎の主成分分析（ＫＬ展開）を含む第一処理を行うことで、次元縮約された信号の系列である固有信号Ｓ_ｋｍｎ∈Ｃ^ｄの系列と、基底の系列であるテンソルＡ_ｍ∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列とを得て出力する。この処理はサブブロックｍ単位で行われる。以下に、図４Ａから図４Ｃを用いてこの処理の具体例を示す。

サブブロックｍにＮ個のフレームｎ＝１，…，Ｎ（ただしＮ≧１、例えばＮ≧２）が含まれるとする。固有空間算出部１１２は、サブブロックｍ単位で離散周波数ｋごとに、主成分分析を含む第一処理によって、「行列_ＤＮＸ_ｋｍ」から「行列_ＤｄＡ_ｋｍ」と「行列_ｄＮＳ_ｋｍ」を求める。第一処理は、_ＤＮＸ_ｋｍ＝_ＤｄＡ_{ｋｍ ｄＮ}Ｓ_ｋｍの関係を満たすことを目標として行われる処理である（図４Ａ）。なお、「行列_ＤＮＸ_ｋｍ」は、Ｎ個のマルチチャネル信号Ｘ_ｋｍ１，…，Ｘ_ｋｍＮ∈Ｃ^Ｄを列ベクトルとするＤ行Ｎ列の行列であり、「行列_ＤｄＡ_ｋｍ」は、ｄ個のＤ次元直交基底Ａ_ｋｍ１，…，Ａ_ｋｍｄ∈Ｃ^Ｄを列ベクトルとするＤ行ｄ列の行列であり、「行列_ｄＮＳ_ｋｍ」は、ｄ次元に次元縮約されたＮ個の固有信号Ｓ_ｋｍ１，…，Ｓ_ｋｍＮ∈Ｃ^ｄを列ベクトルとするｄ行Ｎ列の行列である。また、サブブロックの長さは、主成分分析を含む第一処理で十分な統計量が得られる長さを下限とし、符号へのビット割当ての都合上、全体的な符号化効率を鑑みて決定する（例えば、数秒）。

〔第一処理の例１〕
例えば、第一処理が主成分分析のみである場合、固有空間算出部１１２は、行列_ＤＮＸ_ｋｍに対応する共分散行列のＤ個の固有値から大きい順にｄ個の固有値を選択し、選択したｄ個の固有値に対応するｄ個の固有ベクトルを行ベクトルとするｄ行Ｄ列（ｄ×Ｄ）の行列_ｄＤＭを求め、その共役転置行列｛_ｄＤＭ｝^Ｈを行列_ＤｄＡ_ｋｍとする。ただし、ｄは仮想音源数（直接音の個数＋初期反射音の個数）に相当するＤ以下の正整数（例えば、ｄ＝２）である。ｄは、（１）所定の閾値を越えた上記の固有値の個数（仮想音源数の推定値）であってもよいし、（２）予め人為的に定められた値であってもよい。（１）の場合では、離散周波数ごとに仮想音源数の推定値が相違するため、例えば、全離散周波数帯域で最大の推定値をｄとする。ｄが予め定められた値でない場合には、ｄを表す符号が復号装置１２に送られる。また、行列_ｄＤＭと行列_ＤＮＸ_ｋｍとから_ｄＤＭ _ＤＮＸ_ｋｍを求めて行列_ｄＮＳ_ｋｍとする。

〔第一処理の例２〕
主成分分析と白色化処理とを第一処理としてもよい。この場合、固有空間算出部１１２は、〔第一処理の例１〕で説明した行列_ｄＤＭを白色化した行列_ｄＤＷ＝_ｄｄΛ_ｄＤＭに対する｛_ｄＤＷ｝^−１＝｛_ｄｄΛ_ｄＤＭ｝^−１＝｛_ｄＤＭ｝^Ｈ｛_ｄｄΛ｝^−１を行列_ＤｄＡ_ｋｍとする。ただし、_ｄｄΛは、上述のように選択されたｄ個の固有値λ_１，…，λ_ｄに対応する（λ_１）^−１／２，…，（λ_ｄ）^−１／２を対角成分とするｄ行ｄ列の対角行列である。また、行列_ｄＤＭ と行列_ＤＮＸ_ｋｍとから_ｄＤＭ _ＤＮＸ_ｋｍを求めて行列_ｄＮＳ_ｋｍとする。

〔第一処理の例３〕
主成分分析と白色化処理と独立成分分析（ICA: Independent Component Analysis）とを第一処理としてもよい。この場合、固有空間算出部１１２は、〔第一処理の例１〕で説明した行列_ｄＤＭを白色化した行列_ｄＤＭに分離フィルタＦを適用した_ｄＤＩ＝Ｆ_ｄｄΛ_ｄＤＭに対する｛_ｄＤＩ｝^−１＝｛Ｆ_ｄｄΛ_ｄＤＭ｝^−１を行列_ＤｄＡ_ｋｍとする。また、行列_ｄＤＭ と行列_ＤＮＸ_ｋｍとから_ｄＤＭ _ＤＮＸ_ｋｍを求めて行列_ｄＮＳ_ｋｍとする（第一処理の例の説明終わり）。

固有空間算出部１１２は、すべての離散周波数ｋ＝１，…，Ｋ（ただし、Ｋは離散周波数の総数、すなわち周波数ビン数を表す整数である。Ｋ≧１、例えばＫ≧２である。）に対応する行列_ＤｄＡ_ｋｍの集合（「マイクロホン数Ｄ」×「仮想音源数ｄ」のサイズを持つ行列_ＤｄＡ_ｋｍの集合、言い換えると、行列_ＤｄＡ_１ｍ，…，_ＤｄＡ_Ｋｍを統合して得られるもの。〔第一処理の例１〕の場合には、各サブブロックｍにおける全離散周波数ｋ＝１，…，Ｋでの固有ベクトルの集合となる。）を、サブブロックｍに対応するテンソルＡ_ｍ∈Ｃ^{ｉ１×ｉ２×ｉ３}とみなす（図４Ｂ）。なお、集合｛ｉ１，ｉ２，ｉ３｝＝集合｛Ｄ，ｄ，Ｋ｝であり、例えば、ｉ１＝Ｄ，ｉ２＝ｄ，ｉ３＝Ｋであることが望ましい。固有空間算出部１１２は、各ブロックを構成するすべてのサブブロックｍ＝１，…，Ｍに対応するテンソルＡ_ｍの系列Ａ_１，…，Ａ_Ｍをテンソル符号化部１１４（図１）に送る（図４Ｃ）。各ブロックの長さは、後述する固有空間算出部１１４２での主成分分析を含む第二処理で十分な統計量が得られる長さを下限とし、符号へのビット割当ての都合上、全体的な符号化効率を鑑みて決定する（例えば、数十秒）。また、固有空間算出部１１２は、各ブロックを構成するすべてのサブブロックｍ＝１，…，Ｍ、およびすべての離散周波数ｋ＝１，…，Ｋに対応する固有信号Ｓ_ｋｍ１，…，Ｓ_ｋｍＮの系列を固有信号符号化部１１３に送る。

≪固有信号符号化部１１３≫
固有信号符号化部１１３は、入力された固有信号Ｓ_ｋｍ１，…，Ｓ_ｋｍＮの系列を符号化して固有信号符号Ｃ_ｓを得て出力する。ここでは一例として、固有信号を時間領域信号に変換した後、線形予測符号化を行う例を示す。

≪周波数逆変換部１１３１≫
まず周波数逆変換部１１３１は、入力された全離散周波数ｋ＝１，…，Ｋの固有信号Ｓ_ｋｍ１，…，Ｓ_ｋｍＮの系列を時間領域に変換し、各サブブロックｍで時間領域の固有信号ｓ_ｍｎｔ∈Ｒ^ｄの系列（ｎ＝１，…，Ｎ）を得て出力する。なお、時間領域への変換方式には限定はなく、周波数変換部１１１の処理の逆変換等、周波数領域の系列を時間領域の系列に変換できる方法であれば、どのような方法が用いられてもよい。時間領域への変換方式の例は、逆離散フーリエ変換（IDFT: inverse discrete Fourier transform）、短時間逆フーリエ変換（ISTFT: inverse short-time Fourier transform）、逆修正離散コサイン変換(IMDCT: inverse modified discrete cosine transform)等である。

≪線形予測部１１３２≫
線形予測部１１３２は、入力された時間領域の固有信号ｓ_ｍｎｔ∈Ｒ^ｄの系列を、サブブロック内で複数区間（区間長はビット割当ての都合上、全体的な符号化効率を鑑みて決定する）に分割し、それぞれの区間内の固有信号ｓ_ｍｎｔに対して線形予測分析を適用し、各区間での合成フィルタを特定するための線形予測情報infoを得て出力する。合成フィルタを特定するための線形予測情報infoに特に限定はないが、例えば、線形予測部１１３２は、各区間の固有信号ｓ_ｍｎｔに対応する線形予測係数を算出し、線形予測係数を線スペクトル対係数に変換し、当該線スペクトル対係数を量子化して得られる量子化済み線スペクトル対係数を線形予測情報infoとして出力する。また、それぞれの区間内の固有信号ｓ_ｍｎｔを線形予測情報infoに対応する線形予測係数である量子化済み線形予測係数で予測して残差信号ｒを得て出力する。

≪符号化部１１３３≫
符号化部１１３３は、入力された線形予測情報infoと残差信号ｒとを公知の符号化方式に則って符号化し、固有信号符号（ビット列）Ｃ_ｓを得て出力する。

なお、上述した固有信号符号化部１１３での符号化方式は本発明を限定するものではなく、ロッシー符号化方式であってもロスレス符号化方式（エントロピー符号化）であってもよいし、何れかの符号化方式のうちのどのような符号化方式を用いるかは用途に応じて決定すればよい。例えば、線形予測部１１３２を省略し、「時間領域の固有信号ｓ_ｍｎｔの系列」、もしくは、「時間領域の固有信号ｓ_ｍｎｔの系列」の修正離散コサイン変換（ＭＤＣＴ）で得られたＭＤＣＴ係数を、符号化部１１３３の入力としても良い。ただし、固有信号符号化部１１３での符号化方式は、時間方向と周波数方向の少なくとも一方への予測を含む符号化方式であることが望ましく、例えば、時間方向への予測を含む符号化方式の他の例としてG.729符号化方式（例えば「ITU-T G.729(03/96)：Coding of speech at 8 kbit/s using conjugate-structure algebraic-code-excited linear prediction (CS-ACELP)」等参照）を用いてもよいし、周波数方向への予測を含む符号化の例としてMPEG-4 TwinVQ符号化方式（例えば、「TwinVQ：International Standard: ISO/IEC 14496-3，Information technology-Coding of audio-visual objects-, Part 3: Audio」等参照）を用いてもよい。固有信号符号化部１１３での符号化方式が時間方向と周波数方向の少なくとも一方への予測を含む符号化方式であることが望ましい理由は、時間領域の固有信号が、時間領域の波形信号である源信号との相関が強いからである。なお、G.729符号化方式やMPEG-4 TwinVQ符号化方式はロッシー符号化方式の例である。エントロピー符号化方式としては、例えば、ライス符号化方式やハフマン符号化方式等を用いることができる。後述するその他のエントロピー符号化方式についても同様である。

≪テンソル符号化部１１４≫
テンソル符号化部１１４は、入力されたテンソルＡ_ｍ∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列を符号化してテンソル符号（Ｃ_Ｂ，Ｃ_Ｕ）を得て出力する。ここでは一例として、テンソルＡ_ｍに対応する系列に主成分分析を含む第二処理を適用し、次元縮約されたテンソルの系列であるコアテンソルの系列と、少なくとも一つの基底から構成される基底群とを得、当該コアテンソルの系列を符号化してコアテンソル符号を得、当該基底群を符号化して基底群符号を得る例を示す。コアテンソルの系列と基底群とは、別々に符号化される。また、本形態のテンソルの系列Ａ_ｍの符号化は、時間方向への予測も周波数方向への予測も含まない符号化方式に則って行われる。

≪中心化部１１４１≫
中心化部１１４１は、入力されたテンソルＡ_ｍの系列の標本平均Ｅ［Ａ_ｍ］∈Ｃ^{ｉ１×ｉ２×ｉ３}を計算し、入力されたテンソルＡ_ｍの系列から当該標本平均Ｅ［Ａ_ｍ］を減じた中心化後のテンソル_ｃＡ_ｍ＝Ａ_ｍ−Ｅ［Ａ_ｍ］の系列（「テンソルＡ_ｍに対応する系列」に相当）を計算し、中心化後のテンソル_ｃＡ_ｍと標本平均Ｅ［Ａ_ｍ］とを出力する。なお、標本平均Ｅ［Ａ_ｍ］は、複数個のサブブロックごと（例えば、ブロックごと）のテンソルＡ_ｍの平均である。例えば、ブロックごとのテンソルＡ_ｍの平均が標本平均Ｅ［Ａ_ｍ］である場合、Ｅ［Ａ_ｍ］＝（Ａ_１＋…＋Ａ_Ｍ）／Ｍである。

≪固有空間算出部１１４２≫
固有空間算出部１１４２は、入力された中心化後のテンソル_ｃＡ_ｍ∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列に主成分分析を含む第二処理を適用し、次元縮約されたテンソルの系列であるコアテンソルＢ_ｍの系列と、少なくとも一つの基底から構成される基底群Ｕとを得て出力する。「主成分分析を含む第二処理」の例は、主成分分析、一般化Ｘ次元主成分分析（Ｘは２以上の整数）、多重線形主成分分析などであるが、本形態では、「主成分分析を含む第二処理」として「一般化３次元主成分分析（Ｇ３Ｄ−ＰＣＡ）」を用い、「中心化後のテンソル_ｃＡ_ｍ∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列」から、「コアテンソルＢ_ｍ∈Ｃ^{ｊ１×ｊ２×ｊ３}の系列」と「モード１の基底行列Ｕ^（１）∈Ｃ^{ｉ１×ｊ１}」と「モード２の基底行列Ｕ^（２）∈Ｃ^{ｉ２×ｊ２}」と「モード３の基底行列Ｕ^（３）∈Ｃ^{ｉ３×ｊ３}」とを得て出力する。すなわち、本形態の基底群Ｕは基底行列Ｕ^（１），Ｕ^（２），Ｕ^（３）の３個の基底（すなわち、複数個の基底）からなる。基底行列は直交行列であり、ｊ１，ｊ２，ｊ３は、ｊ１≦ｉ１，ｊ２≦ｉ２，ｊ３≦ｉ３を満たす予め定められた正整数である（ｊ１＝ｉ１かつｊ２＝ｉ２かつｊ３＝ｉ３である場合を除く）。固有空間算出部１１４２は、この処理により、サブブロックｍごとにコアテンソルＢ_ｍを得、ブロックごとに基底行列Ｕ^（１），Ｕ^（２），Ｕ^（３）を得る。なお、一般化３次元主成分分析は、以下のコスト関数を最小化するように３個の基底行列Ｕ^（１），Ｕ^（２），Ｕ^（３）を求め、さらにこれらの基底行列Ｕ^（１），Ｕ^（２），Ｕ^（３）に対してこのコスト関数を最小化するコアテンソルＢ_ｍ∈Ｃ^{ｊ１×ｊ２×ｊ３}を求める手法である（図５参照）。ただし、||・||は・のノルムを表す。ただし、コスト関数における「×_ｑ」はコアテンソルとモードｑの基底行列のｑ-モード積を表す。なお、ｑ-モード積の定義およびその演算方法は周知であり、その詳細は、例えば、「L. De Lathauwer, B. De Moor, and J. Vandewalle, “A multilinear singular value decomposition,” SIAM J. Matrix Anal. Appl., 21(2):1253{1278, 2000.」等に開示されている。

≪符号化部１１４３≫
符号化部１１４３は、入力されたコアテンソルＢ_ｍの系列を公知の符号化方式に則って符号化し、コアテンソル符号（ビット列）Ｃ_Ｂを得て出力する。

≪符号化部１１４４≫
符号化部１１４４ｂは、入力された基底行列Ｕ^（１），Ｕ^（２），Ｕ^（３）および標本平均Ｅ［Ａ_ｍ］の系列を公知の符号化方式に則って符号化し、基底群符号（ビット列）Ｃ_Ｕを得て出力する。

なお、上述したテンソル符号化部１１４での符号化方式は本発明を限定するものではなく、ロッシー符号化方式であってもロスレス符号化方式（エントロピー符号化）であってもよいし、何れかの符号化方式のうちのどのような符号化方式が用いられてもよい。ただし、テンソル符号化部１１４での符号化方式は、時間方向への予測も周波数方向への予測も含まない符号化方式であることが望ましい。その理由は、テンソルの系列Ａ_ｍ、コアテンソルＢ_ｍの系列、基底行列Ｕ^（１），Ｕ^（２），Ｕ^（３）、標本平均Ｅ［Ａ_ｍ］の系列、は何れも時間領域の波形信号である源信号との相関が低いからである。なお、符号化部１１４３での符号化方式は用途に応じて決定すればよく、符号化部１１４４の符号化方式としてはロッシー符号化方式よりはロスレス符号化方式を採用したほうが良い。

＜復号処理＞
復号装置１２（図２）には、固有信号符号Ｃ_ｓ、ならびに、コアテンソル符号Ｃ_Ｂおよび基底群符号Ｃ_Ｕを含むテンソル符号（Ｃ_Ｂ，Ｃ_Ｕ）が入力される。復号装置１２は、テンソル符号（Ｃ_Ｂ，Ｃ_Ｕ）を復号して復号テンソルＡ_ｍ’∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列を得、固有信号符号Ｃ_ｓを復号して復号固有信号Ｓ_ｋｍｎ’∈Ｃ^ｄの系列を得、得られた復号テンソルの系列を基底の系列として、得られた復号固有信号の系列を適用して次元復元された復号マルチチャネル信号Ｘ_ｋｍｎ’∈Ｃ^Ｄの系列（複数チャネルの時系列信号に対応する周波数領域の復号マルチチャネル信号の系列）を得、その時間領域信号である復号マルチチャネル信号ｘ_ｍｎｔ’∈Ｒ^Ｄを出力する。例えば、復号装置１２は、符号化装置１１における固有空間算出部１１２でのテンソルＡ_ｍの推定、固有空間算出部１１４２での「モード１の基底行列Ｕ^（１）」と「モード２の基底行列Ｕ^（２）」と「モード３の基底行列Ｕ^（３）」の推定、「線形予測情報」の推定箇所を除く、すべての処理の逆演算を行うことで、復号マルチチャネル信号Ｘ_ｋｍｎ’の系列を得て出力する。

≪固有信号復号部１２３≫
固有信号復号部１２３は、固有信号符号化部１１３での符号化処理に対応する復号処理によって、入力された固有信号符号Ｃ_ｓを復号し、復号固有信号Ｓ_ｋｍｎ’∈Ｃ^ｄの系列を得て出力する。本形態の固有信号符号Ｃ_ｓの復号は、時間方向または周波数方向への予測を含む復号方式に則って行われる。ここでは一例として、固有信号符号化部１１３で固有信号を時間領域信号に変換した後、線形予測符号化が行われた場合に対応する復号処理を例示する。

≪復号部１２３３≫
まず、復号部１２３３は、符号化部１１３３での符号化方式に対応する方式に則って、入力された固有信号符号Ｃ_ｓを復号し、復号線形予測情報info’と復号残差信号ｒ’とを得て出力する。なお、復号線形予測情報info’と復号残差信号ｒ’は、符号化部１１３３に入力された線形予測情報infoと残差信号ｒのそれぞれと同じものである。

≪フィルタ処理部１２３２≫
フィルタ処理部１２３２は、入力された復号残差信号ｒ’に対して、復号線形予測情報info’によって定まる合成フィルタを適用することで、時間領域の復号固有信号ｓ_ｍｎｔ’∈Ｒ^ｄの系列を得て出力する。

≪周波数変換部１２３１≫
周波数変換部１２３１は、入力された時間領域の復号固有信号ｓ_ｍｎｔ’をフレームｎごとに周波数領域に変換し、周波数領域の復号固有信号Ｓ_ｋｍｎ’∈Ｃ^ｄの系列を得て出力する。なお、周波数領域への変換方式に特に限定はなく、例えば、前述した周波数変換部１１１と同じ変換方式を用いることができる。

≪テンソル復号部１２４≫
テンソル復号部１２４は、テンソル符号化部１１４での符号化処理に対応する復号処理によって、入力されたテンソル符号（Ｃ_Ｂ，Ｃ_Ｕ）を復号し、復号テンソルＡ_ｍ’∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列を得て出力する。本形態のテンソル符号（Ｃ_Ｂ，Ｃ_Ｕ）の復号は、時間方向への予測も周波数方向への予測も含まない復号方式に則って行われる。ここでは一例として、テンソル符号化部１１４でコアテンソルの系列と基底群とが別々に符号化された場合の復号処理を説明する。

≪復号部１２４３≫
復号部１２４３は、符号化部１１４３での符号化方式に対応する方式に則って、入力されたコアテンソル符号Ｃ_Ｂを復号し、
サブブロックｍ毎に復号コアテンソルＢ_ｍ’∈Ｃ^{ｊ１×ｊ２×ｊ３}の系列を得て出力する。

≪復号部１２４４≫
復号部１２４４は、符号化部１１４４での符号化方式に対応する方式に則って、入力された基底群符号Ｃ_Ｕを復号し、
少なくとも一つの基底から構成される復号基底群Ｕ’、および復号標本平均Ｅ［Ａ_ｍ］’∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列を得て出力する。復号基底群Ｕ’はブロック毎に得られ、復号標本平均Ｅ［Ａ_ｍ］’はサブブロックｍ毎に得られる。本形態では、復号基底群Ｕ’として「モード１の復号基底行列Ｕ^（１）’∈Ｃ^{ｉ１×ｊ１}」と「モード２の復号基底行列Ｕ^（２）’∈Ｃ^{ｊ２×ｉ２}」と「モード３の復号基底行列Ｕ^（３）’∈Ｃ^{ｊ３×ｉ３}」（複数個の基底から構成される復号基底群）が得られる。

≪テンソル再構成部１２４２≫
テンソル再構成部１２４２は、入力された「モード１の復号基底行列Ｕ^（１）’」と「モード２の復号基底行列Ｕ^（２）’」と「モード３の復号基底行列Ｕ^（３）’」（復号基底群Ｕ’）に、入力された復号コアテンソルＢ_ｍ’∈Ｃ^{ｊ１×ｊ２×ｊ３}の系列を適用することで得られる中心化後の復号テンソル_ｃＡ_ｍ’∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列を得て出力する。例えば、テンソル再構成部１２４２は、中心化後の復号テンソル_ｃＡ_ｍ’＝Ｂ_ｍ’ ×_１ Ｕ^（１）’ ×_２ Ｕ^（２）’ ×_３Ｕ^（３）’の系列を得て出力する。

≪加算部１２４１≫
加算部１２４１は、入力された中心化後の復号テンソル_ｃＡ_ｍ’の系列と復号標本平均Ｅ［Ａ_ｍ］’とを加算し、サブブロックｍ毎に復号テンソルＡ_ｍ’∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列（中心化後の復号テンソル_ｃＡ_ｍ’の系列に対応する系列）を得て出力する。すなわち、加算部１２４１は、Ａ_ｍ’＝_ｃＡ_ｍ’＋Ｅ［Ａ_ｍ］’の系列を出力する。

≪信号再構成部１２２≫
信号再構成部１２２は、入力された復号テンソルＡ_ｍ’∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列に、入力された復号固有信号Ｓ_ｋｍｎ’∈Ｃ^ｄの系列を適用し、次元復元された復号マルチチャネル信号Ｘ_ｋｍｎ’∈Ｃ^Ｄの系列を得て出力する。すなわち、まず信号再構成部１２２は、復号テンソルＡ_ｍ’を全離散周波数ｋ＝１，…，Ｋに対応するＤ×ｄのサイズ（＝マイクロホン数Ｄ×仮想音源数ｄのサイズ）を持つ行列_ＤｄＡ_ｋｍ’の集合｛_ＤｄＡ_１ｍ’，…，_ＤｄＡ_Ｋｍ’｝に分解する（図４Ｂ参照）。次に、信号再構成部１２２は、入力された行列_ＤｄＡ_ｋｍ（前述の〔第一処理の例１〕の場合には、各サブブロックｍにおける固有ベクトルからなる行列）の系列に、復号固有信号Ｓ_ｋｍｎ’をｎ列目（ｎ＝１，…，Ｎ）の列ベクトルとするｄ行Ｎ列の行列_ｄＮＳ_ｋｍ’の系列を掛け合わせ、Ｄ行Ｎ列の行列_ＤＮＸ_ｋｍ’＝_ＤｄＡ_ｋｍ’ _ｄＮＳ_ｋｍ’の系列を得る。信号再構成部１２２は、得られた行列_ＤＮＸ_ｋｍ’を構成する各ｎ列目（ｎ＝１，…，Ｎ）のＤ次元の列ベクトルＸ_ｋｍｎ’の系列を、各フレームｎの復号マルチチャネル信号Ｘ_ｋｍｎ’の系列として出力する（図４Ａ参照）。

≪周波数逆変換部１２１≫
周波数逆変換部１２１は、入力された復号マルチチャネル信号Ｘ_ｋｍ１’，…，Ｘ_ｋｍＮ’の系列を時間領域に変換し、各サブブロックｍのフレームｎ＝１，…，Ｎでの時間領域の復号マルチチャネル信号ｘ_ｍ１ｔ’，…，ｘ_ｍＮｔ’∈Ｒ^Ｄの系列を得て出力する。なお、時間領域への変換方式には限定はなく、例えば、周波数逆変換部１１３１と同じ変換方式を用いることができる。

なお、上述した固有信号復号部１２３での復号方式やテンソル復号部１２４での復号方式は本発明を限定するものではなく、符号化装置１１の固有信号符号化部１１３やテンソル符号化部１１４の符号化方式に対応する復号方式であれば、どのような復号方式が用いられてもよい。ただし、固有信号復号部１２３での復号方式の復号方式は、時間方向と周波数方向の少なくとも一方への予測を含む復号方式であることが望ましく、テンソル復号部１２４での復号方式は、時間方向への予測も周波数方向への予測も含まない復号方式であることが望ましい。

［第２実施形態］
本形態は第１実施形態の変形例であり、「主成分分析を含む第二処理」として「一般化３次元主成分分析（Ｇ３Ｄ−ＰＣＡ）」を用いることに代えて「１次元の主成分分析（ＰＣＡ）」を用いる形態である。以下では、これまで説明した事項との相違点を中心に説明し、既に説明した事項については既述した参照符号を用いて説明を省略する。

＜符号化装置＞
図１に例示するように、第２実施形態の符号化装置２１は、周波数変換部１１１、固有空間算出部１１２、固有信号符号化部１１３、およびテンソル符号化部２１４を有する。テンソル符号化部２１４は、中心化部１１４１、固有空間算出部２１４２（第２固有空間算出部）、および符号化部２１４３，２１４４（コアテンソル符号化部，基底群符号化部）を含む。

＜復号装置＞
図２に例示するように、第２実施形態の復号装置２２は、周波数逆変換部１２１、信号再構成部１２２、固有信号復号部１２３、およびテンソル復号部２２４を有する。テンソル復号部２２４は、加算部１２４１、テンソル再構成部２２４２、および復号部２２４３，２２４４（コアテンソル復号部，基底群復号部）を含む。

＜符号化処理＞
第１実施形態との相違点であるテンソル符号化部２１４の固有空間算出部２１４２、および符号化部２１４３，２１４４の処理のみを説明する。
≪固有空間算出部２１４２≫
固有空間算出部２１４２は、入力された中心化後のテンソル_ｃＡ_ｍ∈Ｃ^{ｉ１×ｉ２×ｉ３}を構成する「ｉ１次元ベクトルの系列」に１次元の主成分分析（ＰＣＡ）を適用し、それぞれに対応する「コアベクトル（コアテンソル）_１Ｂ_ｍ∈Ｃ^ｊ１の系列」と「モード１の基底行列（基底群）_１Ｕ^（１）∈Ｃ^{ｉ１×ｊ１}」とを得て出力する（図６Ａ）。ｉ１は、Ｄであってもよいし、ｄであってもよいし、Ｋであってもよい。例えば、ｉ１＝Ｄである場合、「中心化後のテンソル_ｃＡ_ｍ∈Ｃ^{ｉ１×ｉ２×ｉ３}を構成するｉ１次元ベクトルの系列」は、各（ｋ，ｑ）の組についての中心化後のベクトル（Ｄ次元直交基底）_ｃＡ_ｋｍｑ∈Ｃ^Ｄ（ただし、ｑ＝１，…，ｄ）の系列である。以下ではｉ１＝Ｄである場合を例にとって説明する。この場合、固有空間算出部２１４２は、以下のコスト関数を最小化するように基底行列_１Ｕ^（１）を求め、さらにこの基底行列_１Ｕ^（１）に対してこのコスト関数を最小化するコアベクトル_１Ｂ_ｍ∈Ｃ^ｊ１を求める（図６Ａ参照）。なお、基底行列_１Ｕ^（１）は、ブロックごとに各（ｋ，ｑ）の組についてそれぞれ得られ、コアベクトル_１Ｂ_ｍは、サブブロックｍごとに各（ｋ，ｑ）の組についてそれぞれ得られる。

≪符号化部２１４３≫
符号化部２１４３は、入力されたコアベクトル_１Ｂ_ｍの系列を公知の符号化方式に則って符号化し、コアテンソル符号（ビット列）Ｃ_Ｂを得て出力する。

≪符号化部２１４４≫
符号化部２１４４は、入力された基底行列_１Ｕ^（１）および標本平均Ｅ［Ａ_ｍ］の系列を公知の符号化方式に則って符号化し、基底群符号（ビット列）Ｃ_Ｕを得て出力する。

なお、上述したテンソル符号化部２１４での符号化方式は本発明を限定するものではなく、ロッシー符号化方式であってもロスレス符号化方式（エントロピー符号化）であってもよいし、何れかの符号化方式のうちのどのような符号化方式が用いられてもよい。ただし、テンソル符号化部２１４での符号化方式は、時間方向への予測も周波数方向への予測も含まない符号化方式であることが望ましい。その理由は、テンソルの系列Ａ_ｍ、コアベクトル_１Ｂ_ｍの系列、基底行列_１Ｕ^（１）、標本平均Ｅ［Ａ_ｍ］の系列、は何れも時間領域の波形信号である源信号との相関が低いからである。なお、符号化部２１４３での符号化方式は用途に応じて決定すればよく、符号化部２１４４の符号化方式としてはロッシー符号化方式よりはロスレス符号化方式を採用したほうが良い。

＜復号処理＞
第１実施形態との相違点であるテンソル復号部２２４のテンソル再構成部２２４２、および復号化部２２４３，２２４４の処理のみを説明する。

≪復号部２２４３≫
復号部２２４３は、符号化部２１４３での符号化方式に対応する方式に則って、入力されたコアテンソル符号Ｃ_Ｂを復号し、サブブロックｍ毎に各（ｋ，ｑ）の組について復号コアベクトル（復号コアテンソル）_１Ｂ_ｍ’∈Ｃ^ｊ１の系列を得て出力する。

≪復号部２２４４≫
復号部２２４４は、符号化部２１４４での符号化方式に対応する方式に則って、入力された基底群符号Ｃ_Ｕを復号し、各（ｋ，ｑ）の組についての復号基底行列（復号基底群）_１Ｕ^（１）’∈Ｃ^{ｉ１×ｊ１}、および復号標本平均Ｅ［Ａ_ｍ］’∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列を得て出力する。

≪テンソル再構成部２２４２≫
テンソル再構成部２２４２は、入力された「復号基底行列_１Ｕ^（１）’∈Ｃ^{ｉ１×ｊ１}」に、入力された復号コアベクトル_１Ｂ_ｍ’∈Ｃ^ｊ１の系列を適用することで得られる中心化後の復号テンソル_ｃＡ_ｍ’∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列を得て出力する。例えば、テンソル再構成部２２４２は、サブブロックｍごとに、すべての（ｋ，ｑ）についての中心化後の復号ベクトル_ｃＡ_ｋｍｑ＝_１Ｂ_ｍ’ ×_{１ １}Ｕ^（１）’を統合し、サブブロックｍごとの中心化後の復号テンソル_ｃＡ_ｍ’の系列を得て出力する。

なお、上述したテンソル復号部２２４での復号方式は本発明を限定するものではなく、符号化装置２１のテンソル符号化部２１４の符号化方式に対応する復号方式であれば、どのような復号方式が用いられてもよい。

［第３実施形態］
本形態は第１実施形態の変形例であり、「主成分分析を含む第二処理」として「一般化３次元主成分分析（Ｇ３Ｄ−ＰＣＡ）」を用いることに代えて「一般化２次元主成分分析（Ｇ２Ｄ−ＰＣＡ）」を用いる形態である。以下では、これまで説明した事項との相違点を中心に説明し、既に説明した事項については既述した参照符号を用いて説明を省略する。

＜符号化装置＞
図１に例示するように、第３実施形態の符号化装置３１は、周波数変換部１１１、固有空間算出部１１２、固有信号符号化部１１３、およびテンソル符号化部３１４を有する。テンソル符号化部３１４は、中心化部１１４１、固有空間算出部３１４２（第２固有空間算出部）、および符号化部３１４３，３１４４（コアテンソル符号化部，基底群符号化部）を含む。

＜復号装置＞
図２に例示するように、第３実施形態の復号装置３２は、周波数逆変換部１２１、信号再構成部１２２、固有信号復号部１２３、およびテンソル復号部３２４を有する。テンソル復号部３２４は、加算部１２４１、テンソル再構成部３２４２、および復号部３２４３，３２４４（コアテンソル復号部，基底群復号部）を含む。

＜符号化処理＞
第１実施形態との相違点であるテンソル符号化部３１４の固有空間算出部３１４２、および符号化部３１４３，３１４４の処理のみを説明する。
≪固有空間算出部３１４２≫
固有空間算出部３１４２は、入力された中心化後のテンソル_ｃＡ_ｍ∈Ｃ^{ｉ１×ｉ２×ｉ３}を構成する「ｉ１×ｉ２行列の系列」に一般化２次元主成分分析（Ｇ２Ｄ−ＰＣＡ）を適用し、それぞれに対応する「コア行列（コアテンソル）_２Ｂ_ｍ∈Ｃ^{ｊ１×ｊ２}の系列」、ならびに「モード１の基底行列_２Ｕ^（１）∈Ｃ^{ｉ１×ｊ１}」および「モード２の基底行列_２Ｕ^（２）∈Ｃ^{ｉ２×ｊ２}」（基底群）を得て出力する（図６Ｂ）。ｉ１は、Ｄであってもよいし、ｄであってもよいし、Ｋであってもよい。また、ｉ２は、ｉ１＝Ｄであれば、ｄであってもよいし、Ｋであってもよい。例えば、ｉ１＝Ｄかつｉ２＝Ｋである場合、「中心化後のテンソル_ｃＡ_ｍ∈Ｃ^{ｉ１×ｉ２×ｉ３}を構成するｉ１×ｉ２行列の系列」は、各ｑについての中心化後のＤ次元直交基底_ｃＡ_ｋｍｑ∈Ｃ^Ｄをｋ列目の列ベクトルとする、中心化後のＤ×Ｋ行列_ｃＡ_ｍｑ∈Ｃ^Ｄ×Ｋ（ただし、ｑ＝１，…，ｄ）の系列である。以下ではｉ１＝Ｄかつｉ２＝Ｋである場合を例にとって説明する。この場合、固有空間算出部３１４２は、以下のコスト関数を最小化するように基底行列_２Ｕ^（１），_２Ｕ^（２）を求め、さらにこれらの基底行列_２Ｕ^（１），_２Ｕ^（２）に対してこのコスト関数を最小化するコア行列_２Ｂ_ｍ∈Ｃ^{ｊ１×ｊ２}を求める（図６Ｂ参照）。なお、基底行列_２Ｕ^（１），_２Ｕ^（２）は、ブロックごとに各ｑについてそれぞれ得られ、コア行列_２Ｂ_ｍは、サブブロックｍごとに各ｑについてそれぞれ得られる。

≪符号化部３１４３≫
符号化部３１４３は、入力されたコア行列_２Ｂ_ｍの系列を公知の符号化方式に則って符号化し、コアテンソル符号（ビット列）Ｃ_Ｂを得て出力する。

≪符号化部３１４４≫
符号化部３１４４は、入力された基底行列_２Ｕ^（１），_２Ｕ^（２）および標本平均Ｅ［Ａ_ｍ］の系列を公知の符号化方式に則って符号化し、基底群符号（ビット列）Ｃ_Ｕを得て出力する。

なお、上述したテンソル符号化部３１４での符号化方式は本発明を限定するものではなく、ロッシー符号化方式であってもロスレス符号化方式（エントロピー符号化）であってもよいし、何れかの符号化方式のうちのどのような符号化方式が用いられてもよい。ただし、テンソル符号化部３１４での符号化方式は、時間方向への予測も周波数方向への予測も含まない符号化方式であることが望ましい。その理由は、テンソルの系列Ａ_ｍ、コアベクトル_２Ｂ_ｍの系列、基底行列_２Ｕ^（１），_２Ｕ^（２）、標本平均Ｅ［Ａ_ｍ］の系列、は何れも時間領域の波形信号である源信号との相関が低いからである。なお、符号化部３１４３での符号化方式は用途に応じて決定すればよく、符号化部３１４４の符号化方式としてはロッシー符号化方式よりはロスレス符号化方式を採用したほうが良い。

＜復号処理＞
第１実施形態との相違点であるテンソル復号部３２４のテンソル再構成部３２４２、および復号部３２４３，３２４４の処理のみを説明する。

≪復号部３２４３≫
復号部３２４３は、符号化部３１４３での符号化方式に対応する方式に則って、入力されたコアテンソル符号Ｃ_Ｂを復号し、サブブロックｍ毎に各ｑについて復号コア行列（復号コアテンソル）_２Ｂ_ｍ’∈Ｃ^{ｊ１×ｊ２}の系列を得て出力する。

≪復号部３２４４≫
復号部３２４４は、符号化部３１４４での符号化方式に対応する方式に則って、入力された基底群符号Ｃ_Ｕを復号し、各ｑについての復号基底行列_２Ｕ^（１）’∈Ｃ^{ｉ１×ｊ１}，_２Ｕ^（２）’∈Ｃ^{ｊ２×ｉ２}（復号基底群）、および復号標本平均Ｅ［Ａ_ｍ］’∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列を得て出力する。

≪テンソル再構成部３２４２≫
テンソル再構成部３２４２は、入力された「復号基底行列_２Ｕ^（１）’，_２Ｕ^（２）’」に、入力された復号コア行列_２Ｂ_ｍ’∈Ｃ^{ｊ１×ｊ２}の系列を適用することで得られる中心化後の復号テンソル_ｃＡ_ｍ’∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列を得て出力する。例えば、テンソル再構成部３２４２は、すべてのｑについての中心化後の復号行列_ｃＡ_ｋｍ＝_２Ｂ_ｍ’ ×_{１ ２}Ｕ^（１）’ ×_２２Ｕ^（２）’を統合し、サブブロックｍごとの中心化後の復号テンソル_ｃＡ_ｍ’の系列を得て出力する。

なお、上述したテンソル復号部３２４での復号方式は本発明を限定するものではなく、符号化装置３１のテンソル符号化部３１４の符号化方式に対応する復号方式であれば、どのような復号方式が用いられてもよい。

［第４実施形態］
本形態は第１実施形態の変形例であり、固有空間算出部の処理で生じる誤差も符号化し、符号化装置全体としてロスレス符号化を実現するものである。以下では、これまで説明した事項との相違点を中心に説明し、既に説明した事項については既述した参照符号を用いて説明を省略する。

＜符号化装置＞
図７に例示するように、第４実施形態の符号化装置４１は、周波数変換部１１１、固有空間算出部４１２、固有信号符号化部１１３、テンソル符号化部４１４、および誤差符号化部４１５を有する。固有信号符号化部１１３は、周波数逆変換部１１３１、線形予測部１１３２、および符号化部１１３３を含む。テンソル符号化部４１４は、中心化部１１４１、固有空間算出部４１４２、符号化部１１４３，１１４４および誤差符号化部４１４５を含む。

＜復号装置＞
図８に例示するように、第４実施形態の復号装置４２は、周波数逆変換部１２１、信号再構成部４２２、固有信号復号部１２３、テンソル復号部４２４、および誤差復号部４２５を有する。固有信号復号部１２３は、周波数変換部１２３１、フィルタ処理部１２３２、および復号部１２３３を含む。テンソル復号部４２４は、加算部１２４１、テンソル再構成部１２４２、復号部１２４３，１２４４、および誤差復号部４２４５を含む。

＜符号化処理＞
第１実施形態との実質的な相違点である固有空間算出部４１２、誤差符号化部４１５、固有空間算出部４１４２、誤差符号化部４１４５を中心に説明する。

≪固有空間算出部４１２≫
固有空間算出部４１２は、まず、固有空間算出部１１２と同様に、周波数領域のマルチチャネル信号Ｘ_ｋｍｎ∈Ｃ^Ｄを入力とし、当該周波数領域のマルチチャネル信号Ｘ_ｋｍｎに周波数毎の主成分分析（ＫＬ展開）を含む第一処理を行うことで、次元縮約された信号の系列である固有信号Ｓ_ｋｍｎ∈Ｃ^ｄの系列と、基底の系列であるテンソルＡ_ｍ∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列とを得て出力する。固有空間算出部４１２は、さらに、_ＤＮＸ_ｋｍと_ＤｄＡ_{ｋｍ ｄＮ}Ｓ_ｋｍとの差分である誤差_ＤＮｅ１_ｋｍの系列も得て出力する。

≪誤差符号化部４１５≫
誤差符号化部４１５は、入力された誤差_ＤＮｅ１_ｋｍの系列を公知のエントロピー符号化方式に則って符号化し、誤差信号符号Ｃ_ｅ１を得て出力する。

≪固有空間算出部４１４２≫
固有空間算出部４１４２は、まず、固有空間算出部１１４２と同様に、コアテンソルＢ_ｍの系列と、少なくとも一つの基底から構成される基底群Ｕとを得て出力する。固有空間算出部４１４２は、さらに、_ｃＡ_ｍとＢ_ｍ ×_１Ｕ^（１） ×_２ Ｕ^（２） ×_３ Ｕ^（３）との差分である誤差ｅ２の系列も得て出力する。

≪誤差符号化部４１４５≫
誤差符号化部４１４５は、入力された誤差ｅ２の系列を公知のエントロピー符号化方式に則って符号化し、誤差信号符号Ｃ_ｅ２を得て出力する。

なお、第４実施形態の符号化装置４１の符号化部１１３３、１１４３，１１４４で用いる符号化方式はロスレス符号化方式（エントロピー符号化方式）とする。

＜復号処理＞
第１実施形態との実質的な相違点である誤差復号部４２５，４２４５、テンソル再構成部４２４２、信号再構成部４２２を中心に説明する。
≪誤差復号部４２４５≫
誤差復号部４２４５は、誤差符号化部４１４５でのエントロピー符号化方式に対応する復号方式に則って、入力された誤差信号符号Ｃ_ｅ２を復号し、復号誤差ｅ２’の系列を得て出力する。

≪テンソル再構成部４２４２≫
テンソル再構成部４２４２は、テンソル再構成部１２４２と同様に、入力された「モード１の復号基底行列Ｕ^（１）’」と「モード２の復号基底行列Ｕ^（２）’」と「モード３の復号基底行列Ｕ^（３）’」（復号基底群Ｕ’）に、入力された復号コアテンソルＢ_ｍ’∈Ｃ^{ｊ１×ｊ２×ｊ３}の系列を適用する。本形態では、これによって得られる系列を「第２復号テンソル_ｃＡ_ｍ’’∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列」とする。テンソル再構成部４２４２は、さらに、当該第２復号テンソル_ｃＡ_ｍ’’の系列と入力された復号誤差ｅ２’の系列との和を、中心化後の復号テンソル_ｃＡ_ｍ’∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列として得て出力する。例えば、テンソル再構成部４２４２は、Ｂ_ｍ’ ×_１ Ｕ^（１）’ ×_２Ｕ^（２）’ ×_３ Ｕ^（３）’の系列と復号誤差ｅ２’の系列との和の系列を、中心化後の復号テンソル_ｃＡ_ｍ’の系列として得て出力する。

≪誤差復号部４２５≫
誤差復号部４２５は、誤差符号化部４１５でのエントロピー符号化方式に対応する復号方式に則って、入力された誤差信号符号Ｃ_ｅ１を復号し、復号誤差ｅ１’の系列を得て出力する。

≪信号再構成部４２２≫
信号再構成部４２２は、まず、信号再構成部１２２と同様に、入力された復号テンソルＡ_ｍ’∈Ｃ^{ｉ１×ｉ２×ｉ３}の系列に、入力された復号固有信号Ｓ_ｋｍｎ’∈Ｃ^ｄの系列を適用する。本形態では、これによって得られる系列を「次元復元された第２復号マルチチャネル信号Ｘ_ｋｍｎ’’∈Ｃ^Ｄの系列」とする。信号再構成部４２２は、さらに、当該第２復号マルチチャネル信号Ｘ_ｋｍｎ’’の系列と入力された復号誤差ｅ１’の系列との和の系列を、次元復元された復号マルチチャネル信号Ｘ_ｋｍｎ’∈Ｃ^Ｄの系列として得て出力する。

［その他の変形例等］
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述した一般化２次元主成分分析や一般化３次元主成分分析に代えて、多重線形主成分分析を用いてもよい。また、固有信号符号化部１１３およびテンソル符号化部１１４，２１４，３１４の符号化方式、ならびに固有信号復号部１２３およびテンソル復号部１２４，２２４，３２４の復号方式は、上述の実施形態の方式に限定されない。また、各実施形態では、テンソルの系列からテンソルの系列の標本平均を減じた中心化後のテンソルの系列を符号化する方法を例示した。しかしながら、テンソルの系列を中心化することなく符号化してもよいし、テンソルの系列に対し、中心化に加えてその他の処理を行って得られた系列を符号化してもよい。また、各実施形態では、各サブブロックにＮ個のフレームが含まれることとした。しかしながら、サブブロックに属するフレームの個数は固定であっても固定でなくてもよく、また、サブフレームごとに異なる個数のフレームが含まれてもよい。上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

上述の構成をコンピュータによって実現する場合、各部が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータ（ハードウェアプロセッサ）で実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

１１，２１，３１ 符号化装置
１２，２２，３２ 復号装置

Claims (15)

1. 入力された複数チャネルの時系列信号に対応する周波数領域のマルチチャネル信号の系列に周波数毎の主成分分析を含む第一処理を行い、次元縮約された信号の系列である固有信号の系列と、基底の系列であるテンソルの系列とを得る固有空間算出部と、
   前記固有信号の系列を符号化して固有信号符号を得る固有信号符号化部と、
   前記テンソルの系列を符号化してテンソル符号を得るテンソル符号化部と、を有し、
   前記テンソル符号化部は、
   前記テンソルに対応する系列に主成分分析を含む第二処理を適用し、次元縮約されたテンソルの系列であるコアテンソルの系列と、少なくとも一つの基底から構成される基底群とを得る第２固有空間算出部と、
   前記コアテンソルの系列を符号化してコアテンソル符号を得るコアテンソル符号化部と、
   前記基底群を符号化して基底群符号を得る基底群符号化部と、
   を含む、符号化装置。
2. 請求項１の符号化装置であって、
   前記テンソル符号化部は、前記テンソルの系列から前記テンソルの系列の標本平均を減じた中心化後のテンソルの系列を、前記テンソルに対応する系列として得る中心化部をさらに含む、符号化装置。
3. 請求項１または２の符号化装置であって、
   前記基底群が複数個の基底から構成される、符号化装置。
4. 請求項１から３の何れかの符号化装置であって、
   前記マルチチャネル信号および前記固有信号は、所定の時間区間であるフレーム毎に得られ、
   前記テンソルおよび前記コアテンソルは、複数個のフレームから構成されるサブブロック毎に得られ、
   前記基底群は、複数個のサブブロックから構成されるブロック毎に得られる、符号化装置。
5. 入力された複数チャネルの音響信号である時系列信号に対応する周波数領域のマルチチャネル信号の系列に周波数毎の主成分分析を含む第一処理を行い、次元縮約された信号の系列である固有信号の系列と、基底の系列であるテンソルの系列とを得る固有空間算出部と、
   前記固有信号の系列を符号化して固有信号符号を得る固有信号符号化部と、
   前記テンソルの系列を符号化してテンソル符号を得るテンソル符号化部と、を有し、
   前記固有信号符号化部は、時間方向と周波数方向との少なくとも一方への予測を含む符号化方式に則って、前記固有信号の系列を符号化し、
   前記テンソル符号化部は、時間方向への予測も周波数方向への予測も含まない符号化方式に則って、前記テンソルの系列を符号化する、符号化装置。
6. 入力されたテンソル符号を復号して復号テンソルの系列を得るテンソル復号部と、
   入力された固有信号符号を復号して復号固有信号の系列を得る固有信号復号部と、
   前記テンソル復号部で得られた前記復号テンソルの系列を基底の系列として、前記固有信号復号部で得られた前記復号固有信号の系列を適用して、次元復元された復号マルチチャネル信号の系列を得る信号再構成部と
   を有し、
   前記テンソル符号は、コアテンソル符号と基底群符号とを含み、
   前記テンソル復号部は、
   前記コアテンソル符号を復号して復号コアテンソルの系列を得るコアテンソル復号部と、
   前記基底群符号を復号して復号基底群を得る基底群復号部と、
   前記コアテンソル復号部で得られた前記復号基底群を基底として、前記コアテンソル復号部で得られた前記復号コアテンソルの系列を適用して、前記復号テンソルの系列に対応する系列を得るテンソル再構成部と、
   を含む、復号装置。
7. 請求項６の復号装置であって、
   前記コアテンソル復号部は、前記基底群符号を復号してさらに復号標本平均を得、
   前記テンソル復号部は、前記テンソル再構成部で得られた前記復号テンソルの系列に対応する系列と、前記コアテンソル復号部で得られた前記復号標本平均と、を加算して前記復号テンソルの系列を得る加算部を、さらに含む、復号装置。
8. 請求項６または７の復号装置であって、
   前記復号基底群が複数個の基底から構成される、復号装置。
9. 請求項６から８の何れかの復号装置であって、
   前記復号マルチチャネル信号および前記復号固有信号は、所定の時間区間であるフレーム毎に得られ、
   前記復号テンソルおよび前記復号コアテンソルは、複数個のフレームから構成されるサブブロック毎に得られ、
   前記復号基底群は、複数個のサブブロックから構成されるブロック毎に得られる、復号装置。
10. 音響信号を復元する復号装置であって、
    入力されたテンソル符号を復号して復号テンソルの系列を得るテンソル復号部と、
    入力された固有信号符号を復号して復号固有信号の系列を得る固有信号復号部と、
    前記テンソル復号部で得られた前記復号テンソルの系列を基底の系列として、前記固有信号復号部で得られた前記復号固有信号の系列を適用して、次元復元された復号マルチチャネル信号の系列を得る信号再構成部と、を有し、
    前記固有信号復号部は、時間方向と周波数方向との少なくとも一方への予測を含む復号方式に則って、前記固有信号符号を復号し、
    前記テンソル復号部は、時間方向への予測も周波数方向への予測も含まない復号方式に則って、前記テンソル符号を復号する、復号装置。
11. 入力された複数チャネルの時系列信号に対応する周波数領域のマルチチャネル信号の系列に周波数毎の主成分分析を含む第一処理を行い、次元縮約された信号の系列である固有信号の系列と、基底の系列であるテンソルの系列とを得る固有空間算出ステップと、
    前記固有信号の系列を符号化して固有信号符号を得る固有信号符号化ステップと、
    前記テンソルの系列を符号化してテンソル符号を得るテンソル符号化ステップと、
    を有し、
    前記テンソル符号化ステップは、
    前記テンソルに対応する系列に主成分分析を含む第二処理を適用し、次元縮約されたテンソルの系列であるコアテンソルの系列と、少なくとも一つの基底から構成される基底群とを得る第２固有空間算出ステップと、
    前記コアテンソルの系列を符号化してコアテンソル符号を得るコアテンソル符号化ステップと、
    前記基底群を符号化して基底群符号を得る基底群符号化ステップと、
    を含む、符号化方法。
12. 入力された複数チャネルの音響信号である時系列信号に対応する周波数領域のマルチチャネル信号の系列に周波数毎の主成分分析を含む第一処理を行い、次元縮約された信号の系列である固有信号の系列と、基底の系列であるテンソルの系列とを得る固有空間算出ステップと、
    前記固有信号の系列を符号化して固有信号符号を得る固有信号符号化ステップと、
    前記テンソルの系列を符号化してテンソル符号を得るテンソル符号化ステップと、を有し、
    前記固有信号符号化ステップは、時間方向と周波数方向との少なくとも一方への予測を含む符号化方式に則って、前記固有信号の系列を符号化し、
    前記テンソル符号化ステップは、時間方向への予測も周波数方向への予測も含まない符号化方式に則って、前記テンソルの系列を符号化する、符号化方法。
13. 入力されたテンソル符号を復号して復号テンソルの系列を得るテンソル復号ステップと、
    入力された固有信号符号を復号して復号固有信号の系列を得る固有信号復号ステップと、
    前記テンソル復号ステップで得られた前記復号テンソルの系列を基底の系列として、前記固有信号復号ステップで得られた前記復号固有信号の系列を適用して、次元復元された復号マルチチャネル信号の系列を得る信号再構成ステップと、を有し、
    前記テンソル符号は、コアテンソル符号と基底群符号とを含み、
    前記テンソル復号ステップは、
    前記コアテンソル符号を復号して復号コアテンソルの系列を得るコアテンソル復号ステップと、
    前記基底群符号を復号して復号基底群を得る基底群復号ステップと、
    前記コアテンソル復号ステップで得られた前記復号基底群を基底として、前記コアテンソル復号ステップで得られた前記復号コアテンソルの系列を適用して、前記復号テンソルの系列に対応する系列を得るテンソル再構成ステップと、
    を含む、復号方法。
14. 音響信号を復元する復号方法であって、
    入力されたテンソル符号を復号して復号テンソルの系列を得るテンソル復号ステップと、
    入力された固有信号符号を復号して復号固有信号の系列を得る固有信号復号ステップと、
    前記テンソル復号ステップで得られた前記復号テンソルの系列を基底の系列として、前記固有信号復号ステップで得られた前記復号固有信号の系列を適用して、次元復元された復号マルチチャネル信号の系列を得る信号再構成ステップと、を有し、
    前記固有信号復号ステップは、時間方向と周波数方向との少なくとも一方への予測を含む復号方式に則って、前記固有信号符号を復号し、
    前記テンソル復号ステップは、時間方向への予測も周波数方向への予測も含まない復号方式に則って、前記テンソル符号を復号する、復号方法。
15. 請求項１から５の何れかの符号化装置、または、請求項６から１０の何れかの復号装置としてコンピュータを機能させるためのプログラム。

Images