JP5998467B2 - 復号装置、復号方法、及び復号プログラム - Google Patents

Description

開示の技術は復号装置、復号方法、及び復号プログラムに関する。

従来、複数チャネルの原信号を、ダウンミクスした主信号、残差信号、及び空間情報に変換して各々を符号化した入力信号から、複数チャネルの原信号を復号する復号方式が知られている。

例えば、５．１ｃｈなどのサラウンドオーディオ信号を符号化する方式として、ＩＳＯ／ＩＥＣにより規格化されたＭＰＥＧサラウンド方式（ＩＳＯ／ＩＥＣ ２３００３−１）が知られている。ＭＰＥＧサラウンド方式は、サラウンドオーディオ信号を、１チャネルまたは２チャネルのダウンミクス信号（主信号）、残差信号、及び空間情報に変換し、それぞれを符号化する方式である。ＭＰＥＧサラウンドデコーダでは、ダウンミクス信号、残差信号、及び空間情報からサラウンドオーディオ信号を復号する。

このような主信号、残差信号、及び空間情報を用いた従来の復号方式では、入力信号を復号する際に、符号化時に予め定められた周波数帯域では残差信号を用い、それ以外の周波数帯域では、残差信号に代えて、復号した主信号から生成された非相関信号を用いている。

ＭＰＥＧサラウンド規格書：ＩＳＯ／ＩＥＣ ２３００３−１

しかしながら、残差信号の符号化時の量子化などにより、復号した残差信号に欠落が生じている場合がある。残差信号を使用して入力信号を復号すると定められた帯域において、このような残差信号の欠落が生じている場合には、入力信号を復号して生成される出力信号が劣化してしまう、という問題がある。

開示の技術は、主信号、残差信号、及び空間情報を含む入力信号を復号して出力信号を生成する際に、出力信号の劣化を抑制することが目的である。

開示の技術は、入力信号として、複数チャネルの原信号をダウンミクスした主信号、原信号と主信号との誤差成分を表す残差信号、及び原信号の複数チャネルの信号間の関係を表す空間情報各々が符号化された信号が多重化された信号が入力される。復号部は、入力信号を、符号化された主信号、符号化された残差信号、及び符号化された空間情報に分離すると共に、各々を復号する。非相関信号生成部は、復号部で復号された主信号を非相関化して非相関信号を生成する。残差信号判定部は、復号部で復号された残差信号のレベルが、符号化時の量子化による残差信号の欠落を判定するために予め定めた残差閾値以下か否かを判定する。副信号生成部は、残差信号判定部により残差信号のレベルが残差閾値より大きいと判定された場合には、復号された残差信号を副信号として生成する。また副信号生成部は、残差信号判定部により残差信号のレベルが残差閾値以下と判定された場合には、復号された残差信号を非相関信号生成部で生成された非相関信号に置換した信号を副信号として生成する。出力信号生成部は、復号部で復号された主信号、副信号生成部で生成された副信号、及び復号部で復号された空間情報に基づいて、入力信号を復号した出力信号を生成する。

開示の技術は、主信号、残差信号、及び空間情報を含む入力信号を復号して出力信号を生成する際に、出力信号の劣化を抑制することができる、という効果を有する。

第１の実施の形態に係る復号装置の機能ブロック図である。 第１の実施の形態における１ｃｈ→２ｃｈアップミクス部の機能ブロック図である。 復号装置として機能するコンピュータの概略ブロック図である。 入力ストリームのフォーマットの一例を示す概略図である。 ＣＬＤパラメータテーブルの一例を示す概略図である。 ＩＣＣパラメータテーブルの一例を示す概略図である。 時間周波数変換後の主信号の一例を示す概略図である。 １ｃｈ→２ｃｈアップミクス部の機能ブロック図である。 非相関信号の生成を説明するための概略図である。 残差信号の欠落を説明するためのスペクトル図である。 残差信号の有無を説明するための概略図である。 符号化前の残差信号とＩＣＣとの関係を概念化したベクトル図である。 残差信号判定部及び置換対象判定部各々の判定結果、並びに最終的な判定結果を説明するための概略図である。 出力信号生成部の動作を概念化したベクトル図である。 第１の実施の形態における復号処理の内容を示すフローチャートである。 第１の実施の形態の効果を概念化したベクトル図である。 第１の実施の形態の効果例を示すスペクトル図である。 第２の実施の形態における１ｃｈ→２ｃｈアップミクス部の機能ブロック図である。 第２の実施の形態における非相関信号重み付け部の機能ブロック図である。 第２の実施の形態における副信号生成部の機能ブロック図である。 第３の実施の形態における非相関信号重み付け部の機能ブロック図である。 第４の実施の形態における１ｃｈ→２ｃｈアップミクス部の機能ブロック図である。

以下、図面を参照して開示の技術の実施の形態の一例を詳細に説明する。本実施の形態では、ＭＰＥＧサラウンド方式で符号化された入力信号を復号する復号装置を例に説明する。

＜第１の実施の形態＞

図１に、第１の実施の形態に係る復号装置１０を示す。復号装置１０は入力された入力ストリームを復号して復号信号を出力する処理を行う。復号装置１０は、復号部２０、時間周波数変換部２２、第１アップミクス部２４、第２アップミクス部２６、及び周波数時間変換部２８を含んで表すことができる。以下では、第１アップミクス部２４として、チャネル数を２チャネルから３チャネルにアップミクスする２ｃｈ→３ｃｈアップミクス部２４を例に説明する。また、第２アップミクス部２６は第１アップミクス部でアップミクスされた信号をさらにアップミクスするものである。以下では、第２アップミクス部２６として、２ｃｈ→３ｃｈアップミクス部２４から出力された各チャネルの信号のチャネル数を１チャネルから２チャネルにアップミクスする３個の１ｃｈ→２ｃｈアップミクス部２６を例に説明する。

復号部２０は、さらに、ストリーム分離部１２、主信号復号部１４、残差信号復号部１６、及び空間情報復号部１８を含んで表すことができる。また、３個の１ｃｈ→２ｃｈアップミクス部２６各々は、さらに、図２に示すように、非相関信号生成部３０、残差信号判定部３２、置換対象判定部３４、副信号生成部３６、及び出力信号生成部３８を含んで表すことができる。

復号装置１０は、例えば図３に示すコンピュータ７０で実現することができる。コンピュータ７０はＣＰＵ７２、メモリ４４、不揮発性の記憶部４６、キーボード４８、マウス５０、ディスプレイ５２、スピーカ５４を備え、これらはバス５６を介して互いに接続されている。なお、記憶部４６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部４６には、コンピュータ７０を復号装置１０として機能させるための復号プログラム５８が記憶されている。ＣＰＵ７２は、復号プログラム５８を記憶部４６から読み出してメモリ４４に展開し、復号プログラム５８が有するプロセスを順次実行する。

復号プログラム５８は、復号プロセス６０、時間周波数変換プロセス６２、２ｃｈ→３ｃｈアップミクスプロセス６４、１ｃｈ→２ｃｈアップミクスプロセス６６、及び周波数時間変換プロセス６８を有する。１ｃｈ→２ｃｈアップミクスプロセス６６は、さらに、非相関信号生成プロセス６６ａ、残差信号判定プロセス６６ｂ、置換対象判定プロセス６６ｃ、副信号生成プロセス６６ｄ、及び出力信号生成プロセス６６ｅを有する。ＣＰＵ７２は、復号プロセス６０を実行することで、図１に示す復号部２０として動作する。またＣＰＵ７２は、時間周波数変換プロセス６２を実行することで、図１に示す時間周波数変換部２２として動作する。またＣＰＵ７２は、２ｃｈ→３ｃｈアップミクスプロセス６４を実行することで、図１に示す２ｃｈ→３ｃｈアップミクス部２４として動作する。またＣＰＵ７２は、１ｃｈ→２ｃｈアップミクスプロセス６６を実行することで、図１に示す１ｃｈ→２ｃｈアップミクス部２６として動作する。またＣＰＵ７２は、周波数時間変換プロセス６８を実行することで、図１に示す周波数時間変換部２８として動作する。さらにＣＰＵ７２は、非相関信号生成プロセス６６ａを実行することで、図２に示す非相関信号生成部３０として動作する。またＣＰＵ７２は、残差信号判定プロセス６６ｂを実行することで、図２に示す残差信号判定部３２として動作する。またＣＰＵ７２は、置換対象判定プロセス６６ｃを実行することで、図２に示す置換対象判定部３４として動作する。またＣＰＵ７２は、副信号生成プロセス６６ｄを実行することで、図２に示す副信号生成部３６として動作する。またＣＰＵ７２は、出力信号生成プロセス６６ｅを実行することで、図２に示す出力信号生成部３８として動作する。これにより、復号プログラム５８を実行したコンピュータ７０が、復号装置１０として機能することになる。

なお、復号装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

ストリーム分離部１２は、所定時間の時系列の入力信号である入力ストリームを解析し、多重化された入力ストリームを分離する。ここで、入力ストリームは、複数チャネルの原信号をダウンミクスした主信号、原信号をダウンミクスする際に生じる誤差成分を表す残差信号、及び原信号の複数チャネルの信号間の関係を表す空間情報を、各々符号化して多重化した信号である。図４に、ＭＰＥＧサラウンドにおける入力ストリームのフォーマットの一例を示す。図４に示すフォーマットは、ＡＤＴＳ（Audio Data Transport Stream）と呼ばれるヘッダ形式で、ＡＤＴＳヘッダ、ＡＡＣ（Advanced Audio Coding）データ、及びフィルエレメントの各フィールドを有する。ＡＡＣデータが主信号に相当し、残差信号及び空間情報はフィルエレメントに含まれる。なお、フィルエレメントには、後述する主信号復号部１４で用いられるＳＢＲ（Spectral Band Replication）データ等も含まれる。このように各信号が多重化された入力ストリームから、符号化された状態の主信号、残差信号、及び空間情報を分離する。なお、分離方法は、ＩＳＯ／ＩＥＣ１４４９６−３規格に記載の方法を用いることができる。

主信号復号部１４は、ストリーム分離部１２で分離された符号化された状態の主信号を、符号化時の方式に対応した復号方式で復号する。ＭＰＥＧサラウンド方式においては、ＳＢＲデータを用いて、ＨＥ−ＡＡＣ（High-Efficiency Advanced Audio Coding）方式により主信号を復号する。ＨＥ−ＡＡＣ方式による復号により、２チャネルの主信号ｘ１及びｘ２が得られる。なお、ＨＥ−ＡＡＣ方式による復号は、ＩＳＯ／ＩＥＣ１４４９６−３規格に記載の方法を用いることができる。なお、主信号の復号方式としてＨＥ−ＡＣＣ以外の方式を用いてもよい。この場合、ストリーム分離部及び主信号復号部の構成を、採用した復号方式に応じて変更するとよい。

残差信号復号部１６は、ストリーム分離部１２で分離された符号化された状態の残差信号を、符号化時の方式に対応した復号方式で復号する。例えば、残差信号がＡＡＣ方式により符号化されている場合には、ＡＡＣ方式により残差信号を復号する。なお、ＡＡＣ方式による復号は、ＩＳＯ／ＩＥＣ１３８１８−７規格に記載の方法を用いることができる。以下では、復号された残差信号を残差信号Ｒｅｓと表記する。

空間情報復号部１８は、ストリーム分離部１２で分離された符号化された状態の空間情報を、符号化時に用いた量子化テーブルを参照して復号する。空間情報が表す原信号の複数チャネルの信号間の関係には、信号間のパワー差を表すＣＬＤ（Channel Level Differences）、及び信号間の類似度を表すＩＣＣ（Inter channel Correlation / Coherences）が含まれる。符号化された状態のＣＬＤを、例えば、図５に示すＣＬＤパラメータテーブルを参照して復号する。同様に、符号化された状態のＩＣＣを、例えば、図６に示すＩＣＣパラメータテーブルを参照して復号する。

時間周波数変換部２２は、主信号復号部１４で復号された時間信号である主信号を、周波数信号に変換する。具体的には、下記（１）式に示す複素型のＱＭＦ（Quadrature Mirror Filter）フィルタバンクを用いて、時間信号Ｌ[ｎ]で表される主信号を、周波数信号Ｌ[ｋ][ｎ]に変換する。なお、ｎは時間、ｋは周波数帯域を表す。図７に、ＱＭＦによる時間周波数変換後の主信号の一例を示す。図中、Ｌ（ｋ，ｎ）が各信号サンプルを表す。

２ｃｈ→３ｃｈアップミクス部２４は、時間周波数変換部２２で周波数信号に変換された主信号をアップミクスする。ここでは、上記の主信号ｘ１及びｘ２を時間周波数信号に変換した２チャネルの主信号Ｘ１及びＸ２をアップミクスして、３チャネルのアップミクスされた主信号Ｙ１、Ｙ２、Ｙ３を出力する。図８に２ｃｈ→３ｃｈアップミクス部２４の構成を示す。２ｃｈ→３ｃｈアップミクス部２４において、例えば、下記（２）式により、アップミクスの計算を行う。

ここで、ｗは下記（３）式及び（４）式に示す値である。なお、（４）式内のＣＬＤ１及びＣＬＤ２は、空間情報復号部１８で復号された空間情報から得られる情報である。

以下では、２ｃｈ→３ｃｈアップミクス部２４でアップミクスされた主信号を主信号Ｉｎと表記する。

非相関信号生成部３０は、主信号Ｉｎを非相関化した非相関信号Ｄを生成する。図９に、主信号Ｉｎと非相関信号Ｄとの関係を示す。図９に示す通り、主信号Ｉｎと非相関信号Ｄとは、位相を９０度回転させた関係にある。

残差信号判定部３２は、残差信号Ｒｅｓに欠落が発生しているか否かを判定する。残差信号の符号化時の量子化などにより情報が削減され、復元された残差信号に必ずしも全ての情報が含まれているとは限らず、残差信号が欠落している場合がある。一例として、原信号、残差信号（符号化前）、残差信号（復号後）、及び復号信号のスペクトル図を図１０に示す。同図において、残差信号（復号後）の上側の帯域において、残差信号（符号化前）と比較して黒く表されている部分（楕円で囲った部分）は、残差信号が欠落していることを表している。従来技術のように、周波数帯域によって残差信号か非相関信号かを選択する場合において、残差信号を使用する周波数帯域で、上記のような残差信号の欠落が発生している場合には、出力信号は主信号のみから生成され、出力信号が劣化する場合があった。例えば図１０の例では、残差信号（復号後）が欠落している帯域に対応した復号信号の帯域において、原信号と比較して黒く表されている部分（楕円で囲った部分）が存在し、復号信号に劣化が生じていることが分かる。このような欠落した残差信号を非相関信号生成部３０で生成された非相関信号に置換するために、残差信号判定部３２は、残差信号Ｒｅｓに欠落が発生しているか否かを判定するものである。具体的には、図１１に示すように、残差信号Ｒｅｓのパワーが予め定めた閾値Ｔｈ１以下の場合に、残差信号Ｒｅｓが無い、すなわち欠落していると判定する。閾値Ｔｈ１は、５×１０^９程度の値が望ましい。

置換対象判定部３４は、残差信号判定部３２で、残差信号Ｒｅｓが閾値Ｔｈ１以下であると判定された信号部分に対して、符号化前の残差信号の大小を推定し、推定された符号化前の残差信号が大きい場合には、非相関信号への置換対象であると判定する。符号化前の残差信号の大小の推定は、空間情報復号部１８で復号されたＩＣＣを用いて行う。図１２に、符号化前の残差信号とＩＣＣとの関係を概念化したベクトル図で示す。同図（ａ）に示すように、原信号の一方のチャネルの信号（原信号Ａ）と他方のチャネルの信号（原信号Ｂ）との類似度ＩＣＣは、原信号Ａを表すベクトルと原信号Ｂを表すベクトルとの角度ａｒｃｃｏｓ（ＩＣＣ）で表される。また、原信号Ａと原信号Ｂとをダウンミクスした主信号を表すベクトルと、原信号Ａ（または原信号Ｂ）を表すベクトルとの角度はａｒｃｃｏｓ（ＩＣＣ）／２となる。ここで、残差信号は、原信号と主信号との誤差成分であるので、主信号×ｃｏｓ（ＩＣＣ）と足し合わせた場合に原信号Ａ（または原信号Ｂ）となる信号を、符号化前の残差信号として推定することができる。従って、同図（ｂ）に示すように、符号化前の残差信号が小さい場合には、角度ａｒｃｃｏｓ（ＩＣＣ）／２は小さく、すなわち類似度ＩＣＣは大きくなる。一方、同図（ｃ）に示すように、符号化前の残差信号が大きい場合には、角度ａｒｃｃｏｓ（ＩＣＣ）／２は大きく、すなわち類似度ＩＣＣは小さくなる。

符号化前の残差信号が大きい場合であって、その残差信号が復号後に欠落している場合には、出力信号を生成する際に劣化度合いが大きくなるため、非相関信号で置換することが望ましい。一方、符号化前の残差信号が小さい場合には、その残差信号が復号後に欠落しているとしても、出力信号を生成する際に与える影響が小さい。非相関信号は、復号された主信号から生成された信号であるため、欠落した残差信号を非相関信号に置換した場合よりも、置換しない場合の方が出力信号の劣化を抑制できる場合がある。そこで、置換対象判定部３４は、残差信号Ｒｅｓが置換していると判定された信号部分を、非相関信号へ置換する対象とするか否かを判定する。具体的には、類似度ＩＣＣが予め定めた閾値Ｔｈ２以下の場合に、非相関信号への置換対象であると判定する。閾値Ｔｈ２は、０．５程度の値が望ましい。図１３に、残差信号判定部３２及び置換対象判定部３４各々の判定結果、並びに非相関信号へ置換するか否かの最終的な判定結果の一例を示す。

副信号生成部３６は、残差信号Ｒｅｓにおいて、残差信号判定部３２及び置換対象判定部３４の判定により、最終的に非相関信号に置換すると判定された部分を非相関信号Ｄに置換した副信号Ｓｕｂを生成する。非相関信号に置換すると判定された部分については、残差信号使用帯域であっても非相関信号Ｄに置換する。

出力信号生成部３８は、主信号Ｉｎ、副信号生成部３６から出力された副信号Ｓｕｂ、及び空間情報から、２チャネルの出力信号Ｏｕｔ１、Ｏｕｔ２を生成する。図１４に、出力信号生成部３８の動作を概念化したベクトル図で示す。具体的には、下記（５）式により、出力信号Ｏｕｔ１、Ｏｕｔ２を計算する。

（５）式内のＨ１１、Ｈ１２、Ｈ２１、Ｈ２２は、副信号Ｓｕｂが残差信号Ｒｅｓか非相関信号Ｄかによって、下記（６）となる。

周波数時間変換部２８は、出力信号生成部３８で生成された周波数信号である出力信号を、時間信号に変換する。具体的には、下記（７）式に示す複素型のＱＭＦフィルタバンクを用いて、周波数信号Ｌ[ｋ][ｎ]で表される出力信号を、時間信号Ｌ[ｎ]に変換する。

次に、図１５を参照して、第１の実施の形態の復号装置１０における復号処理について説明する。

ステップ１００で、ストリーム分離部１２は、多重化された入力ストリームから、符号化された状態の主信号、残差信号、及び空間情報を分離する。次に、ステップ１０２で、主信号復号部１４は、ストリーム分離部１２で分離された符号化された状態の主信号を復号して、主信号ｘ１及びｘ２を出力する。次に、ステップ１０４で、残差信号復号部１６は、ストリーム分離部１２で分離された符号化された状態の残差信号を復号して、復号された残差信号Ｒｅｓを出力する。次に、ステップ１０６で、空間情報復号部１８は、ストリーム分離部１２で分離された符号化された状態の空間情報を復号して、復号された空間情報（ＣＬＤ及びＩＣＣ）を出力する。

次に、ステップ１０８で、時間周波数変換部２２は、主信号復号部１４で復号された時間信号である主信号ｘ１及びｘ２を、周波数信号である主信号Ｘ１及びＸ２に変換する。次に、ステップ１１０で、２ｃｈ→３ｃｈアップミクス部２４は、時間周波数変換部２２で周波数信号に変換された主信号Ｘ１及びＸ２を３チャネルにアップミクスして、アップミクスされた主信号Ｉｎ（Ｙ１、Ｙ２、Ｙ３）を出力する。

次に、ステップ１１２で、非相関信号生成部３０は、主信号Ｉｎを非相関化した非相関信号Ｄを生成する。次に、ステップ１１４で、残差信号判定部３２は、残差信号Ｒｅｓのパワーが閾値Ｔｈ１以下か否かを判定する。残差信号Ｒｅｓのパワー≦Ｔｈ１の場合には、ステップ１１６へ移行し、残差信号Ｒｅｓ＞Ｔｈ１の場合には、ステップ１２０へ移行する。

ステップ１１６では、置換対象判定部３４は、類似度ＩＣＣが閾値Ｔｈ２以下か否かを判定する。ＩＣＣ≦Ｔｈ２の場合には、ステップ１１８へ移行し、ＩＣＣ＞Ｔｈ２の場合には、ステップ１２０へ移行する。

ステップ１１８では、副信号生成部３６は、残差信号Ｒｅｓを非相関信号Ｄに置換した副信号Ｓｕｂ生成して出力する。一方、ステップ１２０では、副信号生成部３６は、副信号Ｓｕｂとして残差信号Ｒｅｓを出力する。

次に、ステップ１２２で、出力信号生成部３８は、主信号Ｉｎ、副信号生成部３６から出力された副信号Ｓｕｂ、及び空間情報から、２チャネルの出力信号Ｏｕｔ１、Ｏｕｔ２を生成する。

次に、ステップ１２４で、周波数時間変換部２８は、出力信号生成部３８で生成された周波数信号である出力信号を、時間信号に変換して、最終的な復号信号として出力する。

図１６に、第１の実施の形態の復号装置の効果を概念化したベクトル図を示す。残差信号Ｒｅｓが欠落している場合、原信号と復号信号との誤差が大きくなるが、本実施の形態のように、残差信号Ｒｅｓが欠落した部分を非相関信号Ｄに置換した場合には、原信号と復号信号との誤差を小さくすることができる。すなわち、復号信号の劣化を抑制することができる。また、図１７に、第１の実施の形態の復号装置の効果例をスペクトル図で示す。従来技術では、残差信号の欠落により発生していた復号信号の劣化が、本実施の形態では解消されていることが分かる。

＜第２の実施の形態＞

次に、第２の実施の形態について説明する。第２の実施の形態の復号装置の構成は、１ｃｈ→２ｃｈアップミクス部以外は第１の実施の形態の復号装置１０の構成と同様であるため、異なる点についてのみ説明する。

第２の実施の形態における１ｃｈ→２ｃｈアップミクス部２２６は、図１８に示すように、非相関信号生成部３０、非相関信号重み付け部４０、残差信号判定部３２、置換対象判定部３４、副信号生成部２３６、及び出力信号生成部３８を含んで表すことができる。

非相関信号重み付け部４０は、非相関信号Ｄに対する重み付け係数を計算し、非相関信号Ｄに掛け合わせて、重み付けされた非相関信号Ｄ’を出力する。非相関信号重み付け部４０の構成を図１９に示す。重み付け係数算出部４０ａは、例えば下記（８）式に示すような重み付け係数Ｗ（ｋ，ｎ）を算出することができる。

（８）式の例では、残差信号Ｒｅｓに含まれる非相関信号Ｄ成分の大きさを重み付けにより非相関信号Ｄから除くことを表している。（８）式中のα（ｋ，ｎ）は、空間情報から得られる値であり、（６）式中のαと同様である。また、ｓ（ｋ，ｎ）は、置換対象判定部３４の判定結果である。ｓ（ｋ，ｎ）＝１は、残差信号Ｒｅｓの信号サンプルＲｅｓ（ｋ，ｎ）が置換対象であることを示し、ｓ（ｋ，ｎ）＝０は、信号サンプルＲｅｓ（ｋ，ｎ）が置換対象ではないことを示す。

副信号生成部２３６は、非相関信号重み付け部４０で生成された重み付け非相関信号Ｄ’と残差信号Ｒｅｓとを用いて、副信号Ｓｕｂを生成する。副信号生成部２３６の構成を図２０に示す。副信号生成部２３６では、例えば下記（９）式に示すように、重み付け非相関信号Ｄ’と残差信号Ｒｅｓとを加算した副信号Ｓｕｂを生成する。

第２の実施の形態の復号装置によれば、復号された残差信号が欠落している部分について、単純に非相関信号に置換する場合に比べて、出力信号の劣化をより抑制することができる。

＜第３の実施の形態＞

次に、第３の実施の形態について説明する。第３の実施の形態の復号装置の構成は、非相関信号重み付け部以外は第２の実施の形態の復号装置の構成と同様であるため、異なる点についてのみ説明する。

非相関信号重み付け部３４０は、非相関信号Ｄに対する重み付け係数を計算し、周波数帯域間での重み付けの量を平準化した上で、非相関信号Ｄに掛け合わせて、重み付けされた非相関信号Ｄ’を出力する。非相関信号重み付け部３４０の構成を図２１に示す。帯域間補正部４０ｂは、例えば下記（１０）式に示すように重みが補正された補正重み付け係数Ｗ'（ｋ，ｎ）を算出することができる。

Ｗ'（ｋ，ｎ）＝ｘ×Ｗ（ｋ，ｎ）＋（１−ｘ）×（ｋ−１，ｎ） （１０）

ここで、ｘは係数であり、例えば０．８などの固定値とすることができる。また、（１０）式では、対象帯域ｋの下側帯域ｋ−１の補正量をフィードバックしているが、上側帯域ｋ＋１またはそれ以外の帯域を用いてもよい。

第３の実施の形態の復号装置によれば、重み付け非相関信号を生成する際に、帯域間で重み付けの量を平準化するように補正することで、周波数帯域間での重み付け係数の急峻な変更による出力信号の劣化を軽減することができる。

＜第４の実施の形態＞

次に、第４の実施の形態について説明する。第４の実施の形態の復号装置の構成は、１ｃｈ→２ｃｈアップミクス部以外は第１の実施の形態の復号装置の構成と同様であるため、異なる点についてのみ説明する。

図２２に示すように、１ｃｈ→２ｃｈアップミクス部４２６は、２ｃｈ→３ｃｈアップミクス部２４でアップミクスされた３チャネル各々に対応した３つの１ｃｈ→２ｃｈアップミクス部４２６ａ、４２６ｂ、４２６ｃを有する。各１ｃｈ→２ｃｈアップミクス部４２６ａ、４２６ｂ、４２６ｃの構成は図２に示した第１の実施の形態のアップミクス部２６の構成と同様である。

第４の実施の形態の１ｃｈ→２ｃｈアップミクス部４２６では、１ｃｈ→２ｃｈアップミクス部４２６ａの置換対象判定部４３４ａの判定結果を用いて、１ｃｈ→２ｃｈアップミクス部４２６ｂ及び４２６ｃの置換対象判定部４３４ｂ及び４３４ｃの判定結果を出力する。例えば、置換対象判定部４３４ａ、４３４ｂ、４３４ｃ各々の判定結果をｓ_１（ｋ，ｎ）、ｓ_２（ｋ，ｎ）、ｓ_３（ｋ，ｎ）とする。置換対象判定部４３４ｂ及び４３４ｃでは、下記（１１）式及び（１２）式により、置換対象判定部４３４ａの判定結果をコピーして出力することができる。

ｓ_２（ｋ，ｎ）＝ｓ_１（ｋ，ｎ） （１１）
ｓ_３（ｋ，ｎ）＝ｓ_１（ｋ，ｎ） （１２）

第４の実施の形態の復号装置によれば、各置換対象判定部で別個に判定結果を計算する場合に比べて、計算量を削減することができる。

なお、上記各実施の形態では、残差信号判定部の判定結果及び置換対象判定部の判定結果の両方を用いる場合について説明したが、残差信号判定部の判定結果のみを用いて、残差信号を非相関信号に置換するか否かを判定するようにしてもよい。

また、上記では復号プログラム５８が記憶部４６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。例えば、開示の技術における復号プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。

また、開示の技術の復号装置を、各部の処理を実現するためのハードウエアにより構成してもよい。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
前記復号ステップで復号された前記空間情報が表す関係により示される前記原信号の複数チャネルの信号間の類似度が、予め定めた類似度閾値以下の場合に、前記復号された空間情報に対応する前記復号された残差信号を置換対象であると判定する置換対象判定ステップを含み、
前記副信号生成ステップは、前記残差信号判定ステップで残差信号のレベルが前記残差閾値以下と判定され、かつ前記置換対象判定ステップで前記残差信号が置換対象であると判定された場合に、前記残差信号を前記非相関信号に置換した信号を副信号として生成する
請求項６記載の復号方法。

（付記２）
前記副信号生成ステップは、前記復号された残差信号の大きさに応じて重み付けされた非相関信号と、前記復号された残差信号とを加算して副信号を生成する請求項６または付記１記載の復号方法。

（付記３）
前記復号された主信号を複数の周波数帯域に分割して扱う場合に、前記副信号生成ステップは、前記重みを周波数帯域間で平準化する付記２記載の復号方法。

（付記４）
前記主信号が複数チャネルの場合に、互いに異なるチャネルに対応した複数の前記置換対象判定ステップを含み、いずれか１つの前記置換対象判定ステップの判定結果を、他の前記置換対象判定ステップの判定結果として用いる付記１〜付記３のいずれかに記載の復号方法。

（付記５）
前記コンピュータに、
前記復号ステップで復号された前記空間情報が表す関係により示される前記原信号の複数チャネルの信号間の類似度が、予め定めた類似度閾値以下の場合に、前記復号された空間情報に対応する前記復号された残差信号を置換対象であると判定する置換対象判定ステップを含む処理を実行させるための復号プログラムであって、
前記副信号生成ステップは、前記残差信号判定ステップで残差信号のレベルが前記残差閾値以下と判定され、かつ前記置換対象判定ステップで前記残差信号が置換対象であると判定された場合に、前記残差信号を前記非相関信号に置換した信号を副信号として生成する
請求項７記載の復号プログラム。

（付記６）
前記副信号生成ステップは、前記復号された残差信号の大きさに応じて重み付けされた非相関信号と、前記復号された残差信号とを加算して副信号を生成する請求項７または付記５記載の復号プログラム。

（付記７）
前記復号された主信号を複数の周波数帯域に分割して扱う場合に、前記副信号生成ステップは、前記重みを周波数帯域間で平準化する付記６記載の復号プログラム。

（付記８）
前記主信号が複数チャネルの場合に、互いに異なるチャネルに対応した複数の前記置換対象判定ステップを含み、いずれか１つの前記置換対象判定ステップの判定結果を、他の前記置換対象判定ステップの判定結果として用いる付記５〜付記７のいずれかに記載の復号プログラム。

１０ 復号装置
１２ ストリーム分離部
１４ 主信号復号部
１６ 残差信号復号部
１８ 空間情報復号部
２０ 復号部
２２ 時間周波数変換部
２４ ２ｃｈ→３ｃｈアップミクス部
２６、２２６、４２６ １ｃｈ→２ｃｈアップミクス部
２８ 周波数時間変換部
３０ 非相関信号生成部
３２ 残差信号判定部
３２ 時間周波数変換部
３４、４３４ 置換対象判定部
３６、２３６ 副信号生成部
３８ 出力信号生成部
４０、３４０ 非相関信号重み付け部
４０ａ 重み付け係数算出部
４０ｂ 帯域間補正部
４４ メモリ
４６ 記憶部
４８ キーボード
５０ マウス
５２ ディスプレイ
５４ スピーカ
５６ バス
７０ コンピュータ

Claims (7)

1. 複数チャネルの原信号をダウンミクスした主信号、前記原信号と前記主信号との誤差成分を表す残差信号、及び前記原信号の複数チャネルの信号間の関係を表す空間情報各々が符号化された信号が多重化された入力信号を、符号化された前記主信号、符号化された前記残差信号、及び符号化された前記空間情報に分離すると共に、各々を復号する復号部と、
   前記復号部で復号された前記主信号を非相関化して非相関信号を生成する非相関信号生成部と、
   前記復号部で復号された残差信号のレベルが、符号化時の量子化による残差信号の欠落を判定するために予め定めた残差閾値以下か否かを判定する残差信号判定部と、
   前記残差信号判定部により残差信号のレベルが前記残差閾値より大きいと判定された場合には、前記復号された前記残差信号を副信号として生成し、前記残差信号判定部により前記残差信号のレベルが前記残差閾値以下と判定された場合には、前記復号された前記残差信号を前記非相関信号生成部で生成された前記非相関信号に置換した信号を副信号として生成する副信号生成部と、
   前記復号部で復号された前記主信号、前記副信号生成部で生成された前記副信号、及び前記復号部で復号された前記空間情報に基づいて、前記入力信号を復号した出力信号を生成する出力信号生成部と、
   を含む復号装置。
2. 前記復号部で復号された前記空間情報が表す関係により示される前記原信号の複数チャネルの信号間の類似度が、予め定めた類似度閾値以下の場合に、前記復号された空間情報に対応する前記復号された残差信号を置換対象であると判定する置換対象判定部を含み、
   前記副信号生成部は、前記残差信号判定部により残差信号のレベルが前記残差閾値以下と判定され、かつ前記置換対象判定部で前記残差信号が置換対象であると判定された場合に、前記残差信号を前記非相関信号に置換した信号を副信号として生成する
   請求項１記載の復号装置。
3. 前記主信号が複数チャネルの場合に、互いに異なるチャネルに対応した複数の前記置換対象判定部を含み、いずれか１つの前記置換対象判定部の判定結果を、他の前記置換対象判定部の判定結果として用いる請求項２記載の復号装置。
4. 前記副信号生成部は、前記復号された残差信号の大きさに応じて重み付けされた非相関信号と、前記復号された残差信号とを加算して副信号を生成する請求項１〜請求項３のいずれか１項記載の復号装置。
5. 前記復号された主信号を複数の周波数帯域に分割して扱う場合に、前記副信号生成部は、前記重みを周波数帯域間で平準化する請求項４記載の復号装置。
6. 複数チャネルの原信号をダウンミクスした主信号、前記原信号と前記主信号との誤差成分を表す残差信号、及び前記原信号の複数チャネルの信号間の関係を表す空間情報各々が符号化された信号が多重化された入力信号を、符号化された前記主信号、符号化された前記残差信号、及び符号化された前記空間情報に分離すると共に、各々を復号する復号ステップと、
   前記復号ステップで復号された前記主信号を非相関化して非相関信号を生成する非相関信号生成ステップと、
   前記復号ステップで復号された残差信号のレベルが、符号化時の量子化による残差信号の欠落を判定するために予め定めた残差閾値以下か否かを判定する残差信号判定ステップと、
   前記残差信号判定ステップにより残差信号のレベルが前記残差閾値より大きいと判定された場合には、前記復号された前記残差信号を副信号として生成し、前記残差信号判定ステップにより前記残差信号のレベルが前記残差閾値以下と判定された場合には、前記復号された前記残差信号を前記非相関信号生成ステップで生成された前記非相関信号に置換した信号を副信号として生成する副信号生成ステップと、
   前記復号ステップで復号された前記主信号、前記副信号生成ステップで生成された前記副信号、及び前記復号ステップで復号された前記空間情報に基づいて、前記入力信号を復号した出力信号を生成する出力信号生成ステップと、
   を含む復号方法。
7. コンピュータに、
   複数チャネルの原信号をダウンミクスした主信号、前記原信号と前記主信号との誤差成分を表す残差信号、及び前記原信号の複数チャネルの信号間の関係を表す空間情報各々が符号化された信号が多重化された入力信号を、符号化された前記主信号、符号化された前記残差信号、及び符号化された前記空間情報に分離すると共に、各々を復号する復号ステップと、
   前記復号ステップで復号された前記主信号を非相関化して非相関信号を生成する非相関信号生成ステップと、
   前記復号ステップで復号された残差信号のレベルが、符号化時の量子化による残差信号の欠落を判定するために予め定めた残差閾値以下か否かを判定する残差信号判定ステップと、
   前記残差信号判定ステップにより残差信号のレベルが前記残差閾値より大きいと判定された場合には、前記復号された前記残差信号を副信号として生成し、前記残差信号判定ステップにより前記残差信号のレベルが前記残差閾値以下と判定された場合には、前記復号された前記残差信号を前記非相関信号生成ステップで生成された前記非相関信号に置換した信号を副信号として生成する副信号生成ステップと、
   前記復号ステップで復号された前記主信号、前記副信号生成ステップで生成された前記副信号、及び前記復号ステップで復号された前記空間情報に基づいて、前記入力信号を復号した出力信号を生成する出力信号生成ステップと、
   を含む処理を実行させるための復号プログラム。