JP5680391B2

JP5680391B2 - 音響符号化装置及びプログラム

Info

Publication number: JP5680391B2
Application number: JP2010272392A
Authority: JP
Inventors: 安藤　彰男; 彰男安藤
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2010-12-07
Filing date: 2010-12-07
Publication date: 2015-03-04
Anticipated expiration: 2030-12-07
Also published as: JP2012123090A

Description

本発明は、２２．２チャネル音響などの３次元音響信号を符号化・伝送する音響符号化装置及びその復号装置、並びにこれらのプログラムに関する。

社団法人電波産業会（ＡＲＩＢ）では、２２．２チャネル音響を伝送・符号化するために、既存のＡＡＣ（Advanced Audio Coding）符号化を用いる方式が標準化された。ＡＡＣ方式は、ＣＤ（コンパクトディスク）の品質を保ったまま符号化、伝送する方式であるが、従来の２チャネルステレオの符号化に基づくものであるため、２２．２チャネル音響のような、３次元音響を符号化・伝送する方式としては、必ずしも効率的な方式とはいえない。

一方、低ビットレートのオーディオ符号化では、ＭＰ３に基づく方式が開発されている。これらは、元の信号を２チャネルにダウンミックスした信号と、ダウンミックス信号からもとの信号を復元するためのパラメータを備えたパラメトリックな符号化・伝送方式であるが、３次元音響を２チャネルにダウンミックスした時点で、音の３次元空間印象が劣化するだけでなく、パラメトリック方式の特徴として、伝送レートは圧縮できるが音質も劣化するという問題点を持っていた。

高度ＢＳ放送では、２２．２チャネル音響を符号化・伝送するために、既存のＡＡＣ符号化を用いる方式が標準化される予定である。さらに、ＡＡＣ方式を改良し、絶対可聴閾値の設定を可変とする技法が知られている（例えば、特許文献１参照）。

特開２００１−３４３９９７号公報

将来、スーパーハイビジョンを放送する場合には、スーパーハイビジョン音響である２２．２チャネル音響をどのような方式で伝送するかが課題となる。

３次元音響システムで音を再生した場合に対して、受音点で観測した音響物理量を等しくできるようにチャネル数を減らすことができれば、受音者である人間は、チャネル数を減らしたことによる音の３次元空間的印象の劣化を、あまり感じることができない。これに対し、チャネル数を減らす段階で設定した受音点とは異なる場所で、再生音を聞いた場合には、その音の３次元空間的な印象が著しく劣化する。

そこで、本発明の目的は、上述の問題を鑑みて、元の３次元音響信号の音質や３次元空間的印象を高品質に保ったまま符号化・伝送する音響符号化装置及びその復号装置、並びにこれらのプログラムを提供することにある。

本発明では、所定の受音点で、音響物理量を一定に保ちながら、少ないチャネル数に変換した信号を基本信号とし、３次元音響信号を高品質に伝送するために、この基本信号の他に、再生時に必要となる３次元空間的印象を再現するための補助信号を伝送する。この補助信号は、３次元音響の符号化・復号でのビットレート圧縮の観点からすると、少ないビットレートでも音質が劣化しない性質を持つことが望ましいため、補助信号を、元の３次元音響システムの信号と基本信号とを音響再生した場合の音の３次元空間的な差分から計算することによって、補助信号のビットレートを減らした場合でも、再生時の音質の劣化を軽減させるものである。

本発明の具体的な例については実施例で明らかとなるが、本発明では、例えば２２．２チャネルをダウンミックスして得た少ないチャネル数の基本信号と、基本信号の３次元空間情報を補完するための補助信号とに分離して伝送する際に、補助信号の算出に工夫を施すことにより、従来の技術を改善し、高品質な３次元音響の伝送・符号化を行う新たな３次元符号化方式として、元の音質だけでなく、音の３次元空間的印象も保ちながら、符号化ビットレートも抑制することができるようにした。

即ち、本発明の音響符号化装置は、複数のチャネルを有する３次元音響システムの音響信号を符号化する音響符号化装置であって、所定の受音点における予め定めた音響特徴量を一定に保ったまま、当該複数のチャネルの音響信号を前記複数のチャネルよりも少ないチャネル数の基本信号となるように、前記３次元音響システムのチャネルに対応するスピーカ配置と前記基本信号のチャネルに対応するスピーカ配置から一意に決定される基本信号変換係数を用いて、当該複数のチャネルの音響信号を前記基本信号に変換する基本信号算出部と、当該複数のチャネルの音響信号と前記基本信号とを音響再生した際の３次元空間的な差分に対応するチャネル数の補助信号となるように予め決定した補助信号変換係数を用いて、当該複数のチャネルの音響信号を前記補助信号に変換する補助信号算出部と、前記補助信号へのビット割り当てを前記基本信号のビット割り当てよりも少なく設定して、前記基本信号及び前記補助信号を符号化する符号化部と、前記基本信号変換係数及び前記補助信号変換係数からなる変換行列の条件数を少なくするように前記補助信号変換係数に関する所定の目的関数を用いて前記補助信号変換係数を算出する変換行列生成部と、を備えることを特徴とする。

また、本発明の音響符号化装置において、前記変換行列生成部は、前記基本信号の単位時間あたりの平均エネルギーに対して前記補助信号の単位時間あたりの平均エネルギーが小さくなるように前記補助信号変換係数を算出することを特徴とする。

また、本発明の音響符号化装置において、前記変換行列生成部は、前記変換行列の条件数の減少と、前記基本信号に対する前記補助信号の単位時間あたりの平均エネルギー比の減少の双方が成立するように、前記変換行列の条件数と前記平均エネルギー比を因数とする目的関数を用いて、前記目的関数の値が最小になる前記補助信号変換係数を算出することを特徴とする。

さらに、本発明のプログラムは、複数のチャネルを有する３次元音響システムの音響信号を符号化する音響符号化装置として構成するコンピュータに、所定の受音点における予め定めた音響特徴量を一定に保ったまま、当該複数のチャネルの音響信号を前記複数のチャネルよりも少ないチャネル数の基本信号となるように、前記３次元音響システムのチャネルに対応するスピーカ配置と前記基本信号のチャネルに対応するスピーカ配置から一意に決定される基本信号変換係数を用いて、当該複数のチャネルの音響信号を前記基本信号に変換するステップと、当該複数のチャネルの音響信号と前記基本信号とを音響再生した際の３次元空間的な差分に対応するチャネル数の補助信号となるように予め決定した補助信号変換係数を用いて、当該複数のチャネルの音響信号を前記補助信号に変換するステップと、前記補助信号へのビット割り当てを前記基本信号のビット割り当てよりも少なく設定して、前記基本信号及び前記補助信号を符号化するステップと、前記基本信号変換係数及び前記補助信号変換係数からなる変換行列の条件数を少なくするように前記補助信号変換係数に関する所定の目的関数を用いて前記補助信号変換係数を算出するステップと、を実行させるためのプログラムである。

本発明によれば、例えば、スーパーハイビジョン用の元の２２チャネル音響信号を、８チャネルの基本信号と１４チャネルの補助信号に分離して伝送する際に、基本信号のみでも受音点での音響物理量を再現できる利点を生かし、ビットレート劣化に対する耐性の強い補助信号を算出及び設定することにより、補助信号に対するビットレートを基本信号よりも削減することを可能としつつ高い再生音質を保つことができるため、伝送効率を従来の技術より改善することができるようになる。

本発明による一実施例の音響符号化装置のブロック図である。本発明による一実施例の音響符号化装置の動作フロー図である。３次元音響信号である２２．２チャネル音響信号のＬＦＥチャネルを除く２２チャネルのスピーカ配置例を示す図である。本発明による一実施例の３次元音響システムをダウンミックスした仮想音響システムのスピーカ配置例を示す図である。本発明による一実施例の音響符号化装置におけるsimulated annealing法による変換行列Ｇの最適化計算を示すフロー図である。本発明による一実施例の音響符号化装置における変換行列Ｇの算出例を示す図である。本発明による一実施例の復号装置のブロック図である。本発明による一実施例の復号装置の動作フロー図である。

以下、図面を参照して、本発明による一実施例の音響符号化装置及びその復号装置を説明する。

本実施例の音響符号化装置及びその復号装置は、元の３次元音響信号の音質や３次元空間的印象を高品質に保ったまま符号化・伝送する音響符号化装置及びその復号装置である。

〔音響符号化装置の構成〕
図１は、本発明による一実施例の音響符号化装置のブロック図である。本実施例の音響符号化装置１００は、音響信号入力部１と、基本信号算出部２と、補助信号算出部３と、変換行列記憶部４と、符号化部５と、送信部６と、基本信号変換係数設定部７と、補助信号変換係数設定部８と、スピーカ位置情報記憶部９と、変換行列生成部１０とを備える。

ここで、音響符号化装置１００として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、音響符号化装置１００の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部（図示せず）に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。

音響信号入力部１は、入力される元の３次元音響システム（制作者が定める音響空間システムであり、例えば２２．２チャネル音響システム）用の３次元音響信号ｓ（ｔ）をＡ／Ｄ変換し、デジタル形式の音響信号ｓ（ｔ）を、基本信号算出部２及び補助信号算出部３に出力する。

基本信号算出部２は、基本信号変換係数設定部７によって設定される基本信号変換係数Ｗ_ｍを用いて、元の３次元音響信号のチャネル数よりも少ないチャネル数にダウンミックスする所定の基本信号の演算式に基づいて、音響信号入力部１から入力される音響信号ｓ（ｔ）から基本信号ｙ_ｍ（ｔ）を算出し、符号化部５に出力する。基本信号変換係数Ｗ_ｍは、所定の受音点における音響特徴量（例えば、基本周波数、エネルギー、持続時間、フォルマント周波数及びスペクトルのうちの少なくとも１つ以上で定義される特徴量）を一定に保ったまま、元の信号をダウンミックスして少ないチャネル数に変換するための係数である。所定の基本信号の演算式については、後述する式（１）を満たすものであればよい。

補助信号算出部３は、補助信号変換係数設定部８によって設定される補助信号変換係数Ｗ_Ｓを用いて、元の３次元音響信号のチャネル数と基本信号のチャネル数の差分のチャネル数に相当するチャネル数の所定の補助信号の演算式に基づいて、音響信号入力部１から入力される音響信号ｓ（ｔ）から補助信号ｙ_Ｓ（ｔ）を算出し、符号化部５に出力する。補助信号変換係数Ｗ_Ｓは、元の３次元音響信号と基本信号とを音響再生した際の３次元空間的な差分に対応するチャネル数の補助信号となるように予め決定した係数である。所定の補助信号の演算式については、後述する式（２）を満たすものであればよい。

変換行列記憶部４は、基本信号変換係数設定部７及び補助信号変換係数設定部８によってそれぞれ読み出される基本信号変換係数Ｗ_ｍ及び補助信号変換係数Ｗ_Ｓを変換行列Ｇとして格納している。

符号化部５は、基本信号算出部２から得られる基本信号ｙ_ｍ（ｔ）と、補助信号算出部３から得られる補助信号ｙ_Ｓ（ｔ）とを符号化する。符号化部５は、符号化する際に、基本信号には単位時間あたりのビット数を多く、補助信号には単位時間あたりのビット数を少なく割り当て、それぞれ符号化した基本信号ｙ_ｍ’（ｔ）及び補助信号ｙ_Ｓ’（ｔ）を送信部６に送出する。

送信部６は、符号化部５で符号化した基本信号及び補助信号を多重化して受信側に送信する。尚、送信部６は、変換行列記憶部４に格納している基本信号変換係数Ｗ_ｍ及び補助信号変換係数Ｗ_Ｓからなる変換行列Ｇを読出し、送信する機能を有する。この変換行列Ｇの情報は、単位時間あたりに変化させる場合には、基本信号及び補助信号とともに多重化して送信するように構成することも可能であるが、単位時間あたりに変化させない場合には、基本信号及び補助信号より前に１回だけ送信しておくように構成することもできる。

基本信号変換係数設定部７は、音響信号ｓ（ｔ）を符号化して送信する前に、変換行列記憶部４に格納している変換行列Ｇのうちの基本信号変換係数Ｗ_ｍを読み出して基本信号算出部２に設定する。

補助信号変換係数設定部８は、音響信号ｓ（ｔ）を符号化して送信する前に、変換行列記憶部４に格納している変換行列Ｇのうちの補助信号変換係数Ｗ_Ｓを読み出して補助信号算出部３に設定する。

スピーカ位置情報記憶部９は、３次元音響システムの各スピーカの極座標における位置情報と、ダウンミックスする受信対象の３次元音響システム（以下、「仮想音響システム」と称する）の各スピーカの極座標における位置情報とを格納している。

変換行列生成部１０は、音響信号ｓ（ｔ）を符号化して送信する前に、スピーカ位置情報記憶部９から３次元音響システムの各スピーカの極座標における位置情報と、仮想音響システムの各スピーカの極座標における位置情報とを読み出し、予め用意した学習用の音響信号を用いて変換行列Ｇを生成し、変換行列記憶部４に格納する機能を有する。変換行列Ｇの生成は、詳細に後述する。

次に、本実施例の音響符号化装置１００の動作を説明する。

〔音響符号化装置の動作〕
図２は、本発明による一実施例の音響符号化装置の動作フロー図である。先ず、本実施例の音響符号化装置１００は、３次元音響システムの各スピーカの極座標における位置情報と、ダウンミックスする受信対象の仮想音響システムの各スピーカの極座標における位置情報とを格納している（Ｓ１）。

次に、本実施例の音響符号化装置１００は、事前に、音響信号ｓ（ｔ）を符号化して送信する前に、スピーカ位置情報記憶部９から３次元音響システムの各スピーカの極座標における位置情報と、仮想音響システムの各スピーカの極座標における位置情報とを読み出し、予め用意した学習用の音響信号を用いて変換行列Ｇを生成し（Ｓ２）、変換行列記憶部４に格納する（Ｓ３）。

次に、本実施例の音響符号化装置１００は、音響信号ｓ（ｔ）を符号化して送信する前に、変換行列記憶部４に格納している変換行列Ｇのうちの基本信号変換係数Ｗ_ｍを読み出して基本信号算出部２に設定するとともに、音響信号ｓ（ｔ）を符号化して送信する前に、変換行列記憶部４に格納している変換行列Ｇのうちの補助信号変換係数Ｗ_Ｓを読み出して補助信号算出部３に設定する（Ｓ４，Ｓ５）。

次に、本実施例の音響符号化装置１００は、設定された基本信号変換係数Ｗ_ｍを用いて、元の３次元音響信号のチャネル数よりも少ないチャネル数にダウンミックスする所定の基本信号の演算式に基づいて、入力される音響信号ｓ（ｔ）から基本信号ｙ_ｍ（ｔ）を算出するとともに、設定された補助信号変換係数Ｗ_Ｓを用いて、元の３次元音響信号のチャネル数と基本信号のチャネル数の残差分のチャネル数に相当するチャネル数の所定の補助信号の演算式に基づいて、入力される音響信号ｓ（ｔ）から補助信号ｙ_Ｓ（ｔ）を算出し、符号化部５に出力する（Ｓ６）。

次に、本実施例の音響符号化装置１００は、基本信号算出部２から得られる基本信号ｙ_ｍ（ｔ）と、補助信号算出部３から得られる補助信号ｙ_Ｓ（ｔ）とを符号化する際に、基本信号には単位時間あたりのビット数を多く、補助信号には単位時間あたりのビット数を少なく割り当て符号化する（Ｓ７）。

次に、本実施例の音響符号化装置１００は、符号化した基本信号及び補助信号を多重化して受信側に送信する（Ｓ８）。

以下、２２．２チャネル音響信号のうちＬＦＥチャネルを除いた２２チャネルの音響信号を、８チャネルにダウンミックスした基本信号と、１４チャネルの補助信号に変換して伝送する場合を例に、より具体的に説明する。

変換行列生成部１０は、基本信号変換係数Ｗ_ｍを算出するために、スピーカ位置情報記憶部９に格納された２２チャネルの３次元音響システムのチャネル数とスピーカ配置、及び８チャネルの仮想音響システムのチャネル数とスピーカ配置の情報を取得して、受音点Ｓにおいて、２２チャネルの３次元音響システムにて２２チャネル音源信号ベクトルｓ（ｔ）を再生した場合と同じ音響物理量が得られるように、８チャネルの仮想音響システムの信号を得るための基本信号変換係数Ｗ_ｍを算出する。

例えば、２２チャネルの３次元音響システムの各チャネルｃｈ_ｉ（ｉ＝１，・・・，２２）の信号を仮想音響システムの各チャネルｎｃｈ_ｊ（ｊ＝１，・・・，８）の信号に割り当てるときの例を、表１に示す。表１の左の列に、２２チャネルの３次元音響システムの各チャネルを示す。表１の中央の列は、左の列に示された３次元音響システムのチャネルに近傍する仮想音響システムのチャネルであり、表１の右の列は、３次元音響システムの各チャネルを仮想音響システムの各チャネルに割り当てる際に用いられる基本信号変換係数Ｗ_ｍの値を示し、表１では、ｗ_j,iはｃｈ_ｉをｎｃｈ_ｊに割り当てる際の基本信号変換係数Ｗ_ｍを表す。

即ち、基本信号算出部２は、予め定めた変換前後のスピーカ配置の情報から一意に求めることができる基本信号変換係数Ｗ_ｍの値を用いて、式（１）により、入力される音響信号ｓ（ｔ）から基本信号の信号ベクトルｙ_ｍ（ｔ）を算出する。ここで、式（１）にて、元の３次元音響システムのチャネル数をＮ、元の３次元音響システムの信号をｓ₁（ｔ）〜ｓ_N（ｔ）、仮想音響システムのチャネル数、すなわち基本信号のチャネル数をＭとし、元の３次元音響システムのｉ番目のチャネルを仮想音響システムのｊ番目のチャネルに変換する際の基本信号変換係数をｗ_j,i、ｊ＝１，・・・，Ｍ、ｉ＝１，・・・，Ｎとしている。

一方、補助信号算出部３は、詳細に後述するが、変換行列生成部１０によって算出した補助信号変換係数Ｗ_Ｓによって、式（２）にしたがって１４チャネルの補助信号ｙ_Ｓ（ｔ）の信号ベクトルを算出する。補助信号変換係数Ｗ_Ｓは、ａ_j,i、ｊ＝１，・・・，Ｎ−Ｍ、i＝１，・・・，Ｎ−１としている。

以下、変換行列生成部１０による補助信号変換係数Ｗ_Ｓにについて詳しく述べる。受音点Ｓから見た方向を、方位角θと仰角φの対（θ，φ）で表す（図３参照）。方向関数を式（３）のように定義する。尚、図３は、３次元音響信号である２２．２チャネル音響信号のＬＦＥチャネルを除く２２チャネルのスピーカ配置例を示す図である。また、図４は、本発明による一実施例の３次元音響システムをダウンミックスした仮想音響システムのスピーカ配置例を示す図である。

このとき、２２チャネルシステムによる（θ_ｉ，φ_ｉ）方向の音の成分は、式（４）で表される。

この（θ_ｉ，φ_ｉ）方向の音の成分は、式（５）で表される。

そこで、方向における２２チャネルシステムの再生音と８チャネルシステムの再生音の差は、式（６）に示すものとなる。

式（６）に示す差を、１４方向（θ_ｉ，φ_ｉ）、（ｉ＝１，・・・，１４）で求め、これをベクトル表現することにより、式（７）を得る。

ここに、Ｗｏは、式（８）で表される。

また、補助信号変換係数Ｗ_Ｓは、式（９）に示すように表される。

したがって、補助信号変換係数Ｗ_Ｓは、式（１０）を演算することで、１４チャネルの３次元空間的な差分信号を生成することができる。

ここで、変換行列Ｇを式（１１）のように与える。

ここに、基本信号変換係数Ｗ_ｍは８×２２行列、補助信号変換係数Ｗ_Ｓは１４×２２行列であり、Ｇは２２×２２正方行列となる。式（１）と（１０）より、ベクトルｙ（ｔ）を式（１２）で与えて、式（１３）を得る。

従って、元の信号ｓ（ｔ）は、式（１４）によって復元される。

ところで、式（９）によって得られた補助信号変換係数Ｗ_Ｓによって式（１１）で変換行列Ｇを構成した場合に、変換行列Ｇにおける補助信号変換係数Ｗ_Ｓの値によっては、その逆行列Ｇ^−１が数値的に安定した値で求まらない場合も考えられる。また、このような変換行列Ｇによって、式（１３）から基本信号ｙ_ｍ（ｔ）と補助信号ｙ_Ｓ（ｔ）を算出した場合に、補助信号の単位時間あたりの平均エネルギーが、基本信号のものに対して十分に小さくできず、結果として、補助信号へのビット割り当てを減らすと音質が劣化する場合も考えられる。そこで、これらの問題を解決するために、変換行列生成部１０は、以下のようにして変換行列Ｇにおける補助信号変換係数Ｗ_Ｓを決定する。

逆行列Ｇ^−１を数値的に求める際の安定性を示す量として、条件数が知られている。ここに行列の条件数とは、その行列の最大固有値と最小固有値の比で表される。条件数は、単位行列で１（最小）、特異行列で無限大となり、小さいほど、逆行列計算を安定に行うことができる。以下、行列Ｇの条件数をκ（Ｇ）で表す。一方、基本信号ｙ_ｍ（ｔ）と補助信号ｙ_Ｓ（ｔ）の単位時間あたりのエネルギー比ρ（Ｇ）を式（１５）のように定義する。

このとき、本発明の目的にとって好ましい変換行列Ｇは、κ（Ｇ）とρ（Ｇ）をともに小さくするものである。ところが、ρ（Ｇ）を小さくする変換行列Ｇが、必ずしもκ（Ｇ）を小さくするとは限らない。たとえば、補助信号変換係数Ｗ_Ｓの要素をすべて０とすると、ρ（Ｇ）は最小値０となるが、変換行列Ｇは特異行列となり、κ（Ｇ）は無限大となる。そこで、本発明の実施例では、目的関数Ｅ（Ｇ）＝ｆ（κ（Ｇ），ρ（Ｇ））を式（１６）と定義する。

ここで、図５を参照して、例えばsimulated annealing法によって、目的関数Ｅ（Ｇ）を最少化する変換行列Ｇを探索する例を説明する。図５は、simulated annealing法による変換行列Ｇの最適化計算を示すフロー図である。尚、γは相対的な重要度を示す値であるので０以上無限大までの任意の値を設定可能であるが、本実施例では、ρ（Ｇ）をより小さくすることを考慮して、γ＝１／２と設定して算出している。すなわち、初期の補助信号変換係数Ｗ_Ｓ（０）を式（９）で与え、これによって式（１１）に従って初期変換行列Ｇ_０を算出し、初期誤差関数Ｅ（Ｇ_０）を式（１７）から算出する。

まず、行列変数ＧにＧ_０を代入し、最大Ｎ回（例えば、１００００回）の繰返し回数ｎ＝０とする（Ｓ１０１）。次に、式（８）の行列Ｗ_０，Ｗ_ｒの要素に乱数を用いて摂動を与え、式（９）と式（１１）から変換行列Ｇ’を構成する（Ｓ１０２）。

Ｅ（Ｇ）とＥ（Ｇ’）を比較して、Ｅ（Ｇ’）＜Ｅ（Ｇ）ならば行列変数ＧにＧ’の値を代入する（Ｓ１０３，Ｓ１０６）。そうでない場合には、０又は１の一様乱数ζを生成し（Ｓ１０４）、この一様乱数ζが、次式を満たす場合に、変換行列ＧにＧ’の値を代入する（Ｓ１０５，Ｓ１０６）。

ここに、Ｔ_ｎは、次式で定義されるいわゆる温度パラメータである。

温度パラメータαは、一般に、０＜α≦１で設定されるため、本実施例では、パラメータα＝０．１と設定した。以上の処理を、繰り返し数ｎの値を１つずつ増やしながら、目的関数Ｅ（Ｇ）が十分収束するまで（本例では１００００回まで）繰り返し（Ｓ１０７，Ｓ１０８，Ｓ１０９）、最終的に、目的関数Ｅ（Ｇ）を最小化したＧｍｉｎを変換行列Ｇとして採用する（Ｓ１１０）。図６は、変換行列Ｇの算出例を示す図である。

この変換行列生成部１０の処理によって、逆行列が安定で、かつ基本信号に対する補助信号のエネルギーを抑えることができる変換行列Ｇを生成することができる。

尚、このような最適化を行う場合に、２２チャネル音響の３次元空間的特徴を良く表現する音声の学習用音響信号を用いるのが好適であり、事前に、この学習用音響信号を用いて補助信号変換係数Ｗ_Ｓを求めておいて、符号化・復号時には、この補助信号変換係数Ｗ_Ｓを用いることとなる。この学習により、変換行列Ｇは予め求められるので、符号化側から復号側へ１回伝送すれば、それ以上送る必要がない。

次に、本発明による一実施例の復号装置について説明する。

〔復号装置の構成〕
図７は、本発明による一実施例の復号装置のブロック図である。本実施例の復号装置２０は、受信部２１と、復号部２２と、信号復元部２３とを備える。

受信部２１は、入力される変換行列Ｇ、基本信号及び補助信号をそれぞれ受信して逆多重化して分離する。尚、変換行列Ｇについては、１回受信するのみでよいものであることから、符号化側の処理に応じて、基本信号及び補助信号の受信に先立って受信するような態様とすることもできる。

復号部２２は、受信部２２から入力される基本信号及び補助信号についてそれぞれ復号処理を施し、信号復元部２３に出力する。

信号復元部２３は、変換行列Ｇの逆行列を用いて、復号部２２から入力される基本信号及び補助信号を用いて前述の式（１）及び式（２）に対応する連立方程式を解くことにより、元の３次元音響システムの音響信号ｓ(t)を復元する。

〔復号装置の動作〕
図８は、本発明による一実施例の復号装置の動作フロー図である。本実施例の復号装置２０は、入力される変換行列Ｇ、基本信号及び補助信号をそれぞれ受信して逆多重化して分離し（Ｓ１１）、基本信号及び補助信号についてそれぞれ復号処理を施し（Ｓ１２）、基本信号及び補助信号を用いて元の３次元音響システムの音響信号ｓ(t)を復元する（Ｓ１３）。

ここで、復号装置２０として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、コンピュータとして構成することができ、復号装置２０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部（図示せず）に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。

以上、特定の実施例について説明したが、２２．２マルチチャネル音響信号のうち、ＬＦＥを除く２２チャネル信号から、８チャネルにダウンミックスした基本信号と１４チャネルの補助信号を算出する例を示したが、本発明は、ＬＦＥを含む場合に対しても有効であるだけでなく、２２．２マルチチャネル音響以外の信号や、８チャネル以外のチャネル数を持つ基本信号に適用可能であることは云うまでもない。また、目的関数の設計や摂動の与え方、simulated annealingを用いた最適化演算などを例示したが、この他の目的関数や摂動を与える方法を用いる最適化演算を利用可能なことは勿論である。

また、本実施例では、基本信号および補助信号を帯域分割しないで符号化／復号する例を示したが、基本信号および補助信号と、それぞれＱＭＦフィルタバンクなどの帯域通信フィルタ群を用いて帯域に分割し、各帯域ごとに符号化行列を求めることによって、補助信号の単位時間あたりの平均エネルギーのさらなる減少と、ビットレートを削減した符号化により、復号・復元時に生じる雑音を帯域内に押し込むことが可能であることは云うまでもない。

本発明によれば、例えば、スーパーハイビジョン用の元の２２チャネル音響信号の伝送において高ビットレートを可能としつつ高い再生音質を保つことができるため、３次元音響信号を伝送する用途に有用である。

１音響信号入力部
２基本信号算出部
３補助信号算出部
４変換行列記憶部
５符号化部
６送信部
７基本信号変換係数設定部
８補助信号変換係数設定部
９スピーカ位置情報記憶部
１０変換行列生成部
２０復号装置
２１受信部
２２復号部
２３信号復元部
１００音響符号化装置

Claims

複数のチャネルを有する３次元音響システムの音響信号を符号化する音響符号化装置であって、
所定の受音点における予め定めた音響特徴量を一定に保ったまま、当該複数のチャネルの音響信号を前記複数のチャネルよりも少ないチャネル数の基本信号となるように、前記３次元音響システムのチャネルに対応するスピーカ配置と前記基本信号のチャネルに対応するスピーカ配置から一意に決定される基本信号変換係数を用いて、当該複数のチャネルの音響信号を前記基本信号に変換する基本信号算出部と、
当該複数のチャネルの音響信号と前記基本信号とを音響再生した際の３次元空間的な差分に対応するチャネル数の補助信号となるように予め決定した補助信号変換係数を用いて、当該複数のチャネルの音響信号を前記補助信号に変換する補助信号算出部と、
前記補助信号へのビット割り当てを前記基本信号のビット割り当てよりも少なく設定して、前記基本信号及び前記補助信号を符号化する符号化部と、
前記基本信号変換係数及び前記補助信号変換係数からなる変換行列の条件数を少なくするように前記補助信号変換係数に関する所定の目的関数を用いて前記補助信号変換係数を算出する変換行列生成部と、
を備えることを特徴とする音響符号化装置。
前記変換行列生成部は、前記基本信号の単位時間あたりの平均エネルギーに対して前記補助信号の単位時間あたりの平均エネルギーが小さくなるように前記補助信号変換係数を算出することを特徴とする、請求項１に記載の音響符号化装置。
前記変換行列生成部は、前記変換行列の条件数の減少と、前記基本信号に対する前記補助信号の単位時間あたりの平均エネルギー比の減少の双方が成立するように、前記変換行列の条件数と前記平均エネルギー比を因数とする目的関数を用いて、前記目的関数の値が最小になる前記補助信号変換係数を算出することを特徴とする、請求項１又は２に記載の音響符号化装置。
複数のチャネルを有する３次元音響システムの音響信号を符号化する音響符号化装置として構成するコンピュータに、
所定の受音点における予め定めた音響特徴量を一定に保ったまま、当該複数のチャネルの音響信号を前記複数のチャネルよりも少ないチャネル数の基本信号となるように、前記３次元音響システムのチャネルに対応するスピーカ配置と前記基本信号のチャネルに対応するスピーカ配置から一意に決定される基本信号変換係数を用いて、当該複数のチャネルの音響信号を前記基本信号に変換するステップと、
当該複数のチャネルの音響信号と前記基本信号とを音響再生した際の３次元空間的な差分に対応するチャネル数の補助信号となるように予め決定した補助信号変換係数を用いて、当該複数のチャネルの音響信号を前記補助信号に変換するステップと、
前記補助信号へのビット割り当てを前記基本信号のビット割り当てよりも少なく設定して、前記基本信号及び前記補助信号を符号化するステップと、
前記基本信号変換係数及び前記補助信号変換係数からなる変換行列の条件数を少なくするように前記補助信号変換係数に関する所定の目的関数を用いて前記補助信号変換係数を算出するステップと、
を実行させるためのプログラム。