JPWO2005112002A1 - オーディオ信号符号化装置及びオーディオ信号復号化装置 - Google Patents

オーディオ信号符号化装置及びオーディオ信号復号化装置 Download PDF

Info

Publication number
JPWO2005112002A1
JPWO2005112002A1 JP2006513610A JP2006513610A JPWO2005112002A1 JP WO2005112002 A1 JPWO2005112002 A1 JP WO2005112002A1 JP 2006513610 A JP2006513610 A JP 2006513610A JP 2006513610 A JP2006513610 A JP 2006513610A JP WO2005112002 A1 JPWO2005112002 A1 JP WO2005112002A1
Authority
JP
Japan
Prior art keywords
signal
mixed
audio
signals
auxiliary information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006513610A
Other languages
English (en)
Other versions
JP4939933B2 (ja
Inventor
津島　峰生
峰生 津島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2006513610A priority Critical patent/JP4939933B2/ja
Publication of JPWO2005112002A1 publication Critical patent/JPWO2005112002A1/ja
Application granted granted Critical
Publication of JP4939933B2 publication Critical patent/JP4939933B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

ポータブルプレーヤ（７１０）又はマルチチャネルホームプレーヤ（７３０）は、マルチチャネルオーディオ信号が混入された、ダウンミクス信号を表す符号列と、ダウンミクス信号をダウンミクスされる前のマルチチャネルオーディオ信号に戻すための補助情報とを、入力された符号列から抽出するとともに、ダウンミクス信号を表す符号列を復号化する混入信号復号化部（７１１）と、抽出された補助情報に基づいて、復号化により得られたダウンミクス信号を分離して、ダウンミクスされる前のマルチチャネルオーディオ信号と聴覚的に近似するオーディオ信号を生成する信号分離処理部（７３１）と、復号化されたダウンミクス信号を再生するヘッドホン又はスピーカ（７２０）又はダウンミクス信号から分離されたマルチチャネルオーディオ信号を再生するスピーカ（７４０）を備える。

Description

本発明は、オーディオ信号を符号化する符号化装置、及び符号化されたオーディオ信号を復号化する復号化装置に関するものである。
従来のオーディオ信号復号化方法、および、符号化方法としては、公知なものとしてＩＳＯ／ＩＥＣの国際標準方式、通称ＭＰＥＧ方式などが挙げられる。現在、幅広い応用を持ち、低ビットレート時でも高音質な符号化方式として、ＩＳＯ／ＩＥＣ １３８１８−７、通称ＭＰＥＧ２ ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）などがあげられる。本方式の拡張規格も複数規格化が現在なされている（非特許文献１参照。）。
ＩＳＯ／ＩＥＣ １３８１８−７（ＭＰＥＧ２ ＡＡＣ）
しかしながら、従来のオーディオ信号符号化方法、および、復号化方法では、例えば背景技術に記載のＡＡＣなどでは、マルチチャネルの信号を符号化する際に、チャネル間の相関を十分に生かしきれていないため、低ビットレート化することが困難であった。図１は、マルチチャネルの信号を符号化したものを復号化する際の従来の方法を示す図である。図１に示すように、例えば、従来のマルチチャネルＡＡＣ符号化装置６００では、５．１チャネルのオーディオ信号を符号化し、多重化して、放送などにより従来のプレーヤ６１０に送信している。このような符号化データを受信する従来のプレーヤ６１０では、出力が２チャネルのスピーカやヘッドホンの場合、マルチチャネルＡＡＣ復号化部６１１及びダウンミックス部６１２を備え、受信した符号化信号から生成したダウンミクス信号を２チャネルのスピーカ又はヘッドホン６１３に出力している。
しかしながら、従来のプレーヤ６１０では、原音のマルチチャネル信号を符号化したものを復号化する際に、２つのスピーカやヘッドホンなどだけで再生する場合、一度、すべてのチャネルを復号化する。その後、ダウンミクス部６１２が、復号化されたすべてのチャネルから前記２つのスピーカやヘッドホンで再生すべきダウンミクス信号（右）ＤＲ、（左）ＤＬを、ダウンミクスなどの方法を用いて生成する。例えば、５．１チャネルのマルチチャネル信号は、聴視者の前方正面Ｃｅｎｔｅｒ、前方右ＦＲ、前方左ＦＬ、後方右ＢＲ、及び後方左ＢＬに配置される音源からの５チャネルのオーディオ信号と、オーディオ信号の超低域を表す０．１チャネルの信号ＬＦＥとから構成される。ダウンミクス部６１２は、復号化されたそれぞれのチャネルの信号を、複数チャネル信号を重み付け加算し、ダウンミクス信号ＤＲ、ＤＬを生成している。このことは２つのスピーカやヘッドホンで再生する場合であっても、多くの計算量や計算用のバッファを要し、ひいては、それを実装するＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などの計算手段の消費電力やコストを高める原因となっている。
上記課題を解決するため、本発明のオーディオ信号復号化装置は、符号列を復号化してオーディオ信号を出力するオーディオ信号復号化装置であって、複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出する抽出手段と、前記混入信号を表す前記符号列を復号化する復号化手段と、抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成する信号分離手段と、復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する再生手段とを備える。
なお、本発明は、このようなオーディオ信号符号化装置及びオーディオ信号復号化装置として実現することができるだけでなく、オーディオ信号符号化方法及びオーディオ信号復号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。さらに、これらのステップを集積回路などに組み込んだオーディオ信号符号化装置およびオーディオ信号復号化装置として実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
以上説明したように、本発明のオーディオ信号符号化装置では、混入された複数の信号列から符号列を生成し、生成された符号列から複数の信号列に分離するにおいて、信号間の類似性に着目し、非常に小さな補助情報を符号列中に含ませることで、聴感上、違和感がない程度に信号の分離を達成することが可能となる。また、あらかじめ混入された信号が、マルチチャンネル信号のダウンミクス信号であるように構成しておけば、復号時においては、補助情報を読み取って信号処理することなく、ダウンミクス信号部だけを復号すれば、２チャンネル信号の再生系を有するスピーカやヘッドホンにおいても、低演算量で高音質な再生が可能となる。
図１は、従来のマルチチャネル信号の符号化方法及び復号化方法の一例を示す図である。 図２は、本発明のオーディオ信号符号化装置の主要部を概略的に示す図である。 図３は、本発明のオーディオ信号復号化装置の主要部を概略的に示す図である。 図４は、本実施の形態のオーディオ信号復号化装置において、２つの信号が混入された混入信号ｍＸから、原信号に聴覚上近似する信号Ｘ１と信号Ｘ２とが分離される様子を示す図である。 図５は、本実施の形態のオーディオ信号復号化装置のより具体的な構成の一例を示す図である。 図６（ａ）は、図５に示した混入信号復号化部からの出力であるサブバンド信号を示す図である。図６（ｂ）は、図７に示した時間周波数空間の分割方法を図６（ａ）に示したサブバンド信号に適用した例を示している。 図７は、混入信号復号化部からの出力信号が表される空間の分割方法の一例を示す図である。 図８は、符号化装置からの符号列を２チャネルのポータブルプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。 図９は、符号化装置からの符号列をマルチチャネルのオーディオ再生可能なホームプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。 図１０は、本実施の形態のオーディオ信号復号化装置において、さらに位相制御を行なう場合の構成の一例を示す図である。 図１１は、本実施の形態のオーディオ信号復号化装置において、入力信号同士の相関が小さい場合に、線形予測フィルタを用いる場合の構成の一例を示す図である。
符号の説明
１０１ 混入信号情報
１０２ 混入信号復号化部
１０３ 信号分離処理部
１０４ 補助情報
１０５ 出力信号（１）
１０６ 出力信号（２）
２０１ 入力信号（１）
２０２ 入力信号（２）
２０３ 混入信号符号化部
２０４ 補助情報生成部
２０５ 補助情報
２０６ 混入信号情報
２１１ ゲイン算出部
２１２ 位相算出部
２１３ 係数算出部
３０１ 混入信号情報
３０２ 混入信号復号化部
３０３ 信号分離部
３０４ ゲイン制御部
３０５ 出力信号（１）
３０６ 出力信号（２）
３０７ 補助情報
３０８ 時間周波数マトリクス生成部
４０１ 混入信号情報
４０２ 混入信号復号化部
４０３ 信号分離部
４０４ ゲイン制御部
４０５ 出力信号（１）
４０６ 出力信号（２）
４０７ 補助情報
４０８ 時間周波数マトリクス生成部
４０９ 位相制御部
５０１ 混入信号情報
５０２ 混入信号復号化部
５０３ 信号分離部
５０４ ゲイン制御部
５０５ 出力信号（１）
５０６ 出力信号（２）
５０７ 補助情報
５０８ 時間周波数マトリクス生成部
５０９ 位相制御部
５１０ 線形予測フィルタ適応部
６００ 従来のマルチチャネルＡＡＣ符号化装置
６１０ 従来のプレーヤ
６１１ マルチチャネルＡＡＣ復号化部
６１２ ダウンミクス部
６１３ スピーカ又はヘッドホン
７００ 符号化装置
７０１ ダウンミックス部
７０２ 補助情報生成部
７０３ 符号化部
７１０ ポータブルプレーヤ
７１１ 混入信号復号化部
７２０ ヘッドホンまたはスピーカ
７３０ マルチチャネルホームプレーヤ
７４０ スピーカ
以下、本発明の実施の形態を、図面を参照しながら説明する。
（実施の形態１）
図２は、本発明のオーディオ信号復号装置で復号可能な符号列を生成するオーディオ信号符号化装置２００の構成を示すブロック図である。このオーディオ信号符号化装置２００は、少なくとも２つの信号を入力し、入力された信号から、より少数の混入信号を生成して、混入信号を表す１つの符号化データとその符号化データよりも少ないビット数で表される補助情報とを含む符号列を生成するオーディオ信号符号化装置であって、混入信号符号化部２０３および補助情報生成部２０４を備える。補助情報生成部２０４は、内部に、ゲイン算出部２１１、位相算出部２１２及び係数算出部２１３を備える。以下では、説明を簡単にするために入力信号が２つの場合について説明する。混入信号符号化部２０３及び補助情報生成部２０４は、いずれも入力信号（１）２０１と、入力信号（２）２０２とを入力とし、混入信号符号化部２０３は混入信号及び混入信号情報２０６を生成する。ここで、混入信号は、入力信号（１）２０１及び入力信号（２）２０２を、所定の方法で重畳して得られる信号である。補助情報生成部２０４は、入力された入力信号（１）２０１、入力信号（２）２０２および混入信号符号化部２０３の出力である混入信号から、補助情報２０５を生成する。
より具体的には、混入信号符号化部２０３では、入力信号（１）２０１及び入力信号（２）２０２を、ある一定の予め定められた方法によって加算して混入信号を生成し、その混入信号を符号化し、混入信号情報２０６を出力する。ここで、混入信号符号化部２０３の符号化方法としては、ＡＡＣなどの方法を用いてもよいが、特に問わない。
補助情報生成部２０４では、入力信号（１）２０１、入力信号（２）２０２及び混入信号符号化部２０３で作られた混入信号と混入信号情報２０６を用いて補助情報２０５を生成する。ここで補助情報２０５は、混入信号から、混入前の信号である入力信号（１）２０１と、入力信号（２）２０２とに、聴感上できるだけ同じように聞こえる信号を分離するための情報となるようにする。よって、混入信号から混入前の入力信号（１）２０１と、入力信号（２）２０２とが完全に同じように分離できてもいいし、聞いたところ差がないような程度に分離できるのでもよい。聞いて差があったとしても、その補助情報は本発明の範疇であり、このように分離するための情報が含まれていることが重要である。補助情報生成部においては、入力される信号に対して、例えば、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ Ｍｉｒｒｏｒ Ｆｉｌｔｅｒ）フィルタバンクを用いる符号化方法で符号化してもよいし、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などを用いる符号化方法で符号化してもよい。
ゲイン算出部２１１は、入力信号（１）２０１及び入力信号（２）２０２と混入信号とを比較して、混入信号から入力信号（１）２０１及び入力信号（２）２０２とよく似た信号を生成するためのゲインを算出する。より具体的には、ゲイン算出部２１１は、まず、入力信号（１）２０１及び入力信号（２）２０２と混入信号とに対して、フレームごとにそれぞれＱＭＦフィルタ処理を施すことによって、入力信号（１）２０１、入力信号（２）２０２及び混入信号を時間周波数空間上のサブバンド信号に変換する。次いで、時間周波数空間を時間方向及び周波数方向に分割した上、分割された各領域内で、入力信号（１）２０１及び入力信号（２）２０２から変換されたそれぞれのサブバンド信号と、混入信号から変換されたサブバンド信号とを比較する。そして、分割された領域ごとに、混入信号から変換されたサブバンド信号を用いて、入力信号（１）２０１及び入力信号（２）２０２から変換されたそれぞれのサブバンド信号を表すためのゲインを算出する。さらに、分割された各領域に対して算出されたゲインの分布を示す時間周波数マトリクスを生成し、時間周波数空間の分割方法を示した情報とともに補助情報２０５として出力する。なお、ここで求めるゲインの分布は、入力信号（１）２０１及び入力信号（２）２０２から変換されたサブバンド信号の一方に対してだけ算出されるとしても良い。混入信号から入力信号（１）２０１及び入力信号（２）２０２の一方が生成されると、生成された入力信号（１）２０１又は入力信号（２）２０２を混入信号から減算することによって他方の入力信号（１）２０１又は入力信号（２）２０２が得られるからである。
また、例えば、近接するマイクロホンなどで集音される音声等は、スペクトルにおいても互いに相関性が高いと予想される。このような場合、位相算出部２１２は、ゲイン算出部２１１と同様、入力信号（１）２０１及び入力信号（２）２０２と混入信号とに対して、フレームごとにそれぞれＱＭＦフィルタ処理を施す。さらに位相算出部２１２は、サブバンドごとに、入力信号（１）２０１から得られたサブバンド信号と、入力信号（２）２０２から得られたサブバンド信号との位相差（遅延量）を算出し、算出された位相差と、この場合のゲインとを補助情報として出力する。なお、入力信号（１）２０１と入力信号（２）２０２との位相差は、低周波では聴覚的に感知されやすいが、高周波では感知されにくいという性質がある。このため、サブバンド信号が高周波である場合には、この位相差の算出を省略するとしても良い。また、位相算出部２１２は、入力信号（１）２０１と入力信号（２）２０２との相関性が低い場合には、位相差を算出しても、その算出値を補助情報に含めない。
さらに、入力信号（１）２０１と入力信号（２）２０２との相関性が低い場合、入力信号（１）２０１と入力信号（２）２０２との一方の信号は、他方の信号に無相関な信号（ノイズ信号）とみなすことができる。従って、係数算出部２１３は、入力信号（１）２０１と入力信号（２）２０２との相関性が低い場合、まず、入力信号（１）２０１と入力信号（２）２０２との相関性が低いことを示すフラグを生成する。混入信号を入力信号とする線形予測フィルタ（関数）を定義して、そのフィルタによる出力が混入前の一方の信号にできるだけなるように線形予測係数を導出する。混入信号が２つの信号からなるのであれば、２組の線形予測係数列を導出して、その両者を補助情報に出力してもよいし、一方だけ出力してもよい。混入信号が複数の入力信号からなる場合においても、少なくとも何れかの入力信号にできるだけなるような線形予測係数を導出する。このような構成で、係数算出部２１３は、この関数の線形予測係数を算出した上、算出された線形予測係数と、入力信号（１）２０１と入力信号（２）２０２との相関性が低いことを示すフラグとを補助情報として出力する。なお、ここでは入力信号（１）２０１と入力信号（２）２０２との相関性が低いことをフラグで示すとしているが、信号全体で比較する場合に限らず、ＱＭＦフィルタ処理などを用いて得られたサブバンド信号ごとにこのフラグを生成しても良い。
次に図３を用いて復号化方法を説明する。図３は、本発明のオーディオ信号復号化装置１００の主要部の構成を模式的に示した図である。オーディオ信号復号化装置１００は、入力される符号列から、あらかじめ混入信号情報と補助情報とを抽出し、復号化された混入信号情報から出力信号（１）１０５と、出力信号（２）１０６とを分離する復号化装置であって、混入信号復号化部１０２及び信号分離処理部１０３を備える。
オーディオ信号復号化装置１００の前段で、符号列から抽出された混入信号情報１０１は、混入信号復号化部１０２で符号化データの形式からオーディオ信号の形式へと復号化される。前記のオーディオ信号の形式としては、時間軸上の信号形式に限定されず、周波数軸上の信号形式でもよいし、時間と周波数の両軸で表現される形式などでもよい。混入信号復号化部１０２からの出力信号、および、補助情報１０４は、信号分離処理部１０３へと入力され、信号の分離合成がなされ、出力信号（１）１０５と、出力信号（２）１０６とが出力される。図４は、本実施の形態のオーディオ信号復号化装置において、２つの信号が混入された混入信号ｍＸから、原信号に聴覚上近似する２つの信号Ｘ１と信号Ｘ２とが分離される様子を示す図である。本発明のオーディオ信号復号化装置１００では、符号列から抽出された補助情報に基づいて、混入信号ｍＸから、原信号である信号ｘ１と信号ｘ２とに聴覚上近似する信号Ｘ１と信号Ｘ２とが分離される。
以下、本発明の具体的な復号化方法について図５を用いて説明する。図５は、本実施の形態のオーディオ信号復号化装置１００においてゲイン制御を行なう場合の構成の一例を示す図である。本実施の形態のオーディオ信号復号化装置１００は、混入信号復号化部３０２、信号分離部３０３、ゲイン制御部３０４及び時間周波数マトリクス生成部３０８を備える。
図５に示すオーディオ信号復号化装置１００の前段で、あらかじめ符号列から抽出された混入信号情報３０１は、混入信号復号化部３０２へと入力される。混入信号情報３０１は、混入信号復号化部３０２で符号化データの形式からオーディオ信号の形式へと復号化される。前記のオーディオ信号の形式としては、時間軸上の信号形式に限定せず、周波数軸上の信号形式でもよいし、時間と周波数の両軸で表現される形式などでもよい。前記の混入信号復号化部３０２の出力信号、および、補助情報３０７は、信号分離部３０３へと入力される。信号分離部３０３では、補助情報３０７をもとに、復号化された混入オーディオ信号を、複数の信号に分離する。具体的には、補助情報３０７に含まれている時間周波数空間（または周波数空間）の分割方法を示した情報に従って、混入オーディオ信号の属する空間を分割する。ここでは簡単のために２つに分離する場合について記載するが、必ずしも２つに限定しない。一方、補助情報３０７に基づいて、時間周波数マトリクス生成部３０８では、混入信号復号化部３０２からの出力、または、信号分離部３０３からの複数の出力信号と同様のオーディオ信号の形式に対するゲインを生成する。例えば、オーディオ形式が単純に時間領域の信号である場合は、時間領域の１つ以上の時間に関するゲイン情報を時間周波数マトリクス生成部３０８の出力とするし、オーディオ形式がＱＭＦフィルタのような複数サブバンドからなる時間軸と周波数軸で表現されるような形式である場合は、時間と周波数の２次元のゲイン情報を時間周波数マトリクス生成部３０８の出力とする。そのようなゲイン情報と、信号分離部３０３からの複数のオーディオ信号に対して、ゲイン制御部３０４では、データ形式にあわせたゲイン制御を適用し、出力信号（１）３０５、および、出力信号（２）３０６を出力する。
このように構成されたオーディオ信号復号化装置では、混入されたオーディオ信号から、適切にゲインコントロールされた複数のオーディオ信号を得ることが可能である。
このゲインコントロールについては、以下の図６および図７を用いて詳細に説明する。図６（ａ）及び（ｂ）は、図５に示した混入信号復号化部３０２からの出力がＱＭＦフィルタである場合の各サブバンド信号に対するゲイン制御の一例を示す図である。図７は、混入信号復号化部３０２からの出力信号が表される空間の分割方法の一例を示す図である。図６（ａ）は、図５に示した混入信号復号化部３０２からの出力であるサブバンド信号を示す図である。このように、ＱＭＦフィルタから出力されるサブバンド信号は、時間軸と周波数軸とからなる二次元空間上の信号として表される。
従って、オーディオ形式がＱＭＦフィルタで構成される場合は、フレーム単位でオーディオ信号を扱う場合において、時間周波数マトリクスを用いたゲイン制御が容易である。
例えば、３２サブバンドからなるＱＭＦフィルタで構成するとして、１フレーム１０２４サンプルのオーディオ信号を扱えば、結果的に時間方向に３２サンプル、周波数方向（サブバンド）に３２バンドの時間周波数マトリクスをオーディオ形式として得ることができる。それら１０２４サンプルの信号にゲイン制御をおこなう場合、図７のように、周波数方向と時間方向とに領域を分割し、分割されたそれぞれの領域についてゲイン制御の係数（Ｒ１１、Ｒ１２、Ｒ２１、Ｒ２２）を定義すれば、ゲイン制御が容易である。ここではＲ１１からＲ２２まで４つの要素からなるマトリクスを便宜上用いるが、時間方向、周波数方向の係数の個数はこれらに限定されない。図６にゲイン制御の適用例を示した。すなわち、図６（ｂ）は、図７に示した時間周波数空間の分割方法を図６（ａ）に示したサブバンド信号に適用した例を示している。図６（ｂ）に示すように、ＱＭＦフィルタが６サブバンドである場合に、低域から４バンドと高域から２バンドの２つに分け、時間方向には均一に２つに分けた場合、それら４領域に存在するＱＭＦフィルタから得られる信号列に、ゲインＲ１１、Ｒ１２、Ｒ２１、Ｒ２２を乗じた信号を出力するなどである。
混入される信号列について特に制限はないが、マルチチャネルのオーディオ信号列を扱う場合において、フロントチャネル信号に対して、バックチャネル信号が混入される場合や、さらにセンターチャネルが混入される場合などが考えられる。よって、混入後の信号は一般的にダウンミクス信号などと呼ばれる場合についても有効である。
図８は、符号化装置７００からの符号列を２チャネルのポータブルプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。同図に示すように、このオーディオ信号システムは、符号化装置７００、ポータブルプレーヤ７１０及びヘッドホン又はスピーカ７２０を備える。符号化装置７００は、例えば、５．１チャネルのマルチチャネルオーディオ信号列を入力とし、５．１チャネルからダウンミクスされた２チャネルのオーディオ符号列と補助信号とを出力する符号化装置であって、ダウンミックス部７０１、補助情報生成部７０２及び符号化部７０３を備える。ダウンミックス部７０１は、５．１チャネルのマルチチャネルオーディオ信号列から２チャネルのダウンミクス信号を生成し、生成したダウンミクス信号ＤＬ及びＤＲを符号化部７０３に出力する。補助情報生成部７０２は、生成されたダウンミクス信号ＤＬ及びＤＲから５．１チャネルのマルチチャネル信号を復元するための情報を生成し、補助情報として符号化部７０３に出力する。符号化部７０３は、生成されたダウンミクス信号ＤＬ及びＤＲと、補助情報とを符号化及び多重化して、符号列として出力する。このオーディオ信号システムにおけるポータブルプレーヤ７１０は、２チャネルのヘッドホン又はスピーカ７２０に接続されており、２チャネルのステレオ再生のみが再生可能である。ポータブルプレーヤ７１０は混入信号復号化部７１１を備え、符号化装置７００から取得した符号列を混入信号復号化部７１１で復号化するだけで、２チャネルのヘッドホン又はスピーカ７２０で再生することができる。
図９は、符号化装置７００からの符号列をマルチチャネルのオーディオ再生可能なホームプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。同図に示すように、このオーディオ信号システムは、符号化装置７００、マルチチャネルホームプレーヤ７３０及びスピーカ７４０を備える。符号化装置７００の内部構成は、図８に示した符号化装置７００と同じであるので、説明を省略する。マルチチャネルホームプレーヤ７３０は、混入信号復号化部７１１及び信号分離処理部７３１を備え、５．１チャネルのマルチチャネル信号を再生可能なスピーカ７４０に接続されている。このマルチチャネルホームプレーヤ７３０において、混入信号復号化部７１１は、符号化装置７００から取得した符号列を復号化し、補助情報とダウンミクス信号ＤＬ及びＤＲとを抽出する。信号分離処理部７３１では、抽出されたダウンミクス信号ＤＬとＤＲとから、抽出された補助情報に基づいて、５．１チャネルのマルチチャネル信号を生成する。
図８及び図９に示した例のように、同じ符号列を入力しても、２チャネルの信号しか再生しないポータブルプレーヤなどでは、単に符号列中の混入信号を復号化するだけで所望のダウンミクスオーディオ信号を再生することができ、電力の消費を抑えてバッテリーを長持ちさせることができるという効果がある。また、家庭に備え付けられるマルチチャネルのオーディオ信号を再生可能なホームプレーヤなどでは、バッテリー駆動ではないので、消費電力を気にせず、より高音質なオーディオ信号の再生を追求することができるという効果がある。
（実施の形態２）
以下では、本実施の形態の具体的な復号化装置について図１０を用いて説明する。
図１０は、本実施の形態のオーディオ信号復号化装置において、さらに位相制御を行なう場合の構成の一例を示す図である。実施の形態２のオーディオ信号復号化装置は、符号列である混入信号情報４０１及び補助情報４０７を入力し、入力された混入信号情報４０１及び補助情報４０７に基づいて、出力信号（１）４０５及び出力信号（２）４０６を出力するオーディオ信号復号化装置であって、混入信号復号化部４０２、信号分離部４０３、ゲイン制御部４０４、時間周波数マトリクス生成部４０８及び位相制御部４０９を備える。
実施の形態２の構成と前述の実施の形態１との構成上の違いは、位相制御部４０９が加わった点のみで、その他の構成は実施の形態１と同様である。よって本実施の形態２では、位相制御部４０９の構成のみ詳細に説明する。
符号化時に混入された信号が、相互に関連性がある場合、特に、ある一方の信号に対して、もう一方の信号が、遅延があり、ゲインが異なるものとして取り扱う場合、混入信号は、（数１）のように表記される。
Figure 2005112002
ここでは、ｍｘは混入された後の信号、ｘ１、ｘ２が入力信号（混入前の信号）、Ａはゲイン補正、ｐｈａｓｅＦａｃｔｏｒは位相差に応じて乗じる係数とする。従って、混入信号ｍｘは信号ｘ１の関数として表されるため、位相制御部４０９では、混入信号ｍｘから信号ｘ１を容易に算出して分離することができる。信号ｘ２は、混入信号ｍｘから信号ｘ１を分離することによって得られる。さらに、このように分離された信号ｘ１及びｘ２に対して、ゲイン制御部４０４が補助情報４０７から得られる時間周波数マトリクスに従ってゲイン制御を行なうので、より原音に近い出力信号（１）４０５及び出力信号（２）４０６を出力することができる。
ＡおよびｐｈａｓｅＦａｃｔｏｒは、混入された後の信号から導出するのではなく、符号化時（つまり混入する前の複数の信号）から導出できるので、これらを予め符号化装置で補助情報４０７に符号化しておけば、位相制御部４０９では、分離した各々の信号の位相を制御可能である。
位相差は、整数に限定されないサンプル数として符号化されてもよいし、共分散行列で与えられてもよい。共分散行列は当該事業者には公知な技術であるので、説明を省略する。
位相情報が、聴感上、重要な周波数帯域もあれば、位相情報が音質に大きな影響を与えない信号や周波数帯域があるので、位相情報はすべての周波数帯域、および、すべての時間に送る必要はない。すなわち、位相情報が聴感上、重要でない周波数帯域や、音質に大きな影響を与えない信号や周波数帯域では、サブバンド信号の位相制御を省略することができる。従って、位相情報は、サブバンド信号ごとに生成しておけば、余計な情報を送らずに済み、補助情報のデータ量を削減することができる。
（実施の形態３）
本発明の具体的な復号化装置について図１１を用いて説明する。図１１は、本実施の形態のオーディオ信号復号化装置において、入力信号同士の相関が小さい場合に、線形予測フィルタを用いる場合の構成の一例を示す図である。
実施の形態３のオーディオ信号復号化装置は、混入信号情報５０１と、補助情報５０７とを入力とし、元の入力信号同士に大きな相関がない場合、一方の信号を混入信号の関数で表される無相関信号（ノイズ信号）とみなして生成し出力信号（１）５０５と出力信号（２）５０６とを出力するオーディオ信号復号化装置であって、混入信号復号化部５０２、信号分離部５０３、ゲイン制御部５０４、時間周波数マトリクス生成部５０８、位相制御部５０９及び線形予測フィルタ適応部５１０を備える。
まず、この実施の形態３の復号化装置は、実施の形態１における復号化装置を詳細に説明するものである。
実施の形態３の構成と前述の実施の形態２との構成上の違いは、線形予測フィルタ適応部５１０が加わった点のみで、その他の構成は実施の形態２と同様である。よって本実施の形態３では、線形予測フィルタ適応部５１０の構成のみ詳細に説明する。
符号化時に混入された信号が、相互に相関が小さい場合、ある一方の信号に対して、もう一方の信号を、遅延などを用いて単純に表現できない。線形予測フィルタ適応部５１０は、この場合は、一方の信号に対して、もう一方の信号を無相関信号（ノイズ信号）と見なして、符号化することが考えられる。このような場合は、相関が小さいことを示すフラグなどを予め符号化列中に符号化しておけば、復号化時に相関の小さい場合の分離処理を実行することができる。この情報は周波数帯域ごとや時間間隔ごとに符号化してもよい。また、このフラグは、サブバンド信号ごとに符号列中に符号化しておいてもよい。
Figure 2005112002
ここでは、ｍｘは混入された後の信号、ｘ１ｍ、ｘ２が入力信号（混入前の信号）、Ｆｕｎｃ（）は線形予測係数などからなる多項式である。
信号ｍｘ、ｘ１、ｘ２は、混入された後の信号から導出するのではなく、符号化時（つまり混入する前の複数の信号）に利用できるので、信号ｍｘ、ｘ１、ｘ２からＦｕｎｃ（）なる多項式の係数を導出し、これら係数を予め補助情報５０７に符号化しておけば、線形予測フィルタ適応部５１０では、ｘ１、ｘ２を導出可能である。
Figure 2005112002
よって、（数３）とするようなＦｕｎｃ（）の係数を導出して符号化すればよい。
以上のように、入力信号同士の相関の有無を符号列中にフラグとして含めておくことにより、入力信号同士にあまり相関がない場合や、入力信号が２以上ある場合でそのうちのいずれか１つを基準信号として他の入力信号が基準信号とあまり相関がない場合には、他方の信号を混入信号の関数で表される無相関信号（ノイズ信号）として表すことができる。また、入力信号同士の相関性が高い場合には、他の信号を基準となる信号の遅延信号として表すことができる。そして、このようにして混入信号から分離された各信号に、時間周波数マトリクスで示されるゲインを乗算することによって、入力された原音に、より忠実な出力信号を得ることができるという効果がある。
本発明のオーディオ信号復号化装置、および、符号化装置は、従来からオーディオ符号化および復号化方法が適用されていたあらゆるアプリケーションにおいて、適用可能である。
オーディオ符号化されたビットストリームなる符号化列は、現在、放送コンテンツの伝送、ＤＶＤやＳＤカードなどの蓄積媒体に記録され再生される応用、携帯電話に代表される通信機器にＡＶコンテンツを伝送する場合などに用いられている。また、インターネット上でやりとりされる電子データとして、オーディオ信号を伝送する場合においても有用である。
本発明のオーディオ信号復号化装置は、電池などにより駆動される携帯電話機などのポータブルタイプのオーディオ信号再生装置として有用である。また、本発明のオーディオ信号復号化装置は、マルチチャネル再生と２チャネル再生とを切り替えて再生可能なマルチチャネルホームプレーヤとして有用である。また、本発明のオーディオ信号符号化装置は、帯域の狭い伝送路を介して、携帯電話機などのポータブルタイプのオーディオ信号再生装置にオーディオコンテンツを配信する放送局やコンテンツ配信サーバに備えられるオーディオ信号符号化装置として有用である。
本発明は、オーディオ信号を符号化する符号化装置、及び符号化されたオーディオ信号を復号化する復号化装置に関するものである。
従来のオーディオ信号復号化方法、および、符号化方法としては、公知なものとしてＩＳＯ／ＩＥＣの国際標準方式、通称ＭＰＥＧ方式などが挙げられる。現在、幅広い応用を持ち、低ビットレート時でも高音質な符号化方式として、ＩＳＯ／ＩＥＣ １３８１８−７、通称ＭＰＥＧ２ ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）などがあげられる。本方式の拡張規格も複数規格化が現在なされている（非特許文献１参照。）。
ＩＳＯ／ＩＥＣ １３８１８−７（ＭＰＥＧ２ ＡＡＣ）
しかしながら、従来のオーディオ信号符号化方法、および、復号化方法では、例えば背景技術に記載のＡＡＣなどでは、マルチチャネルの信号を符号化する際に、チャネル間の相関を十分に生かしきれていないため、低ビットレート化することが困難であった。図１は、マルチチャネルの信号を符号化したものを復号化する際の従来の方法を示す図である。図１に示すように、例えば、従来のマルチチャネルＡＡＣ符号化装置６００では、５．１チャネルのオーディオ信号を符号化し、多重化して、放送などにより従来のプレーヤ６１０に送信している。このような符号化データを受信する従来のプレーヤ６１０では、出力が２チャネルのスピーカやヘッドホンの場合、マルチチャネルＡＡＣ復号化部６１１及びダウンミックス部６１２を備え、受信した符号化信号から生成したダウンミクス信号を２チャネルのスピーカ又はヘッドホン６１３に出力している。
しかしながら、従来のプレーヤ６１０では、原音のマルチチャネル信号を符号化したものを復号化する際に、２つのスピーカやヘッドホンなどだけで再生する場合、一度、すべてのチャネルを復号化する。その後、ダウンミクス部６１２が、復号化されたすべてのチャネルから前記２つのスピーカやヘッドホンで再生すべきダウンミクス信号（右）ＤＲ、（左）ＤＬを、ダウンミクスなどの方法を用いて生成する。例えば、５．１チャネルのマルチチャネル信号は、聴視者の前方正面Center、前方右FR、前方左FL、後方右BR、及び後方左BLに配置される音源からの５チャネルのオーディオ信号と、オーディオ信号の超低域を表す０．１チャネルの信号LFEとから構成される。ダウンミクス部６１２は、復号化されたそれぞれのチャネルの信号を、複数チャネル信号を重み付け加算し、ダウンミクス信号ＤＲ、ＤＬを生成している。このことは２つのスピーカやヘッドホンで再生する場合であっても、多くの計算量や計算用のバッファを要し、ひいては、それを実装するＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などの計算手段の消費電力やコストを高める原因となっている。
上記課題を解決するため、本発明のオーディオ信号復号化装置は、符号列を復号化してオーディオ信号を出力するオーディオ信号復号化装置であって、複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出する抽出手段と、前記混入信号を表す前記符号列を復号化する復号化手段と、抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成する信号分離手段と、復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する再生手段とを備える。
なお、本発明は、このようなオーディオ信号符号化装置及びオーディオ信号復号化装置として実現することができるだけでなく、オーディオ信号符号化方法及びオーディオ信号復号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。さらに、これらのステップを集積回路などに組み込んだオーディオ信号符号化装置およびオーディオ信号復号化装置として実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
以上説明したように、本発明のオーディオ信号符号化装置では、混入された複数の信号列から符号列を生成し、生成された符号列から複数の信号列に分離するにおいて、信号間の類似性に着目し、非常に小さな補助情報を符号列中に含ませることで、聴感上、違和感がない程度に信号の分離を達成することが可能となる。また、あらかじめ混入された信号が、マルチチャンネル信号のダウンミクス信号であるように構成しておけば、復号時においては、補助情報を読み取って信号処理することなく、ダウンミクス信号部だけを復号すれば、２チャンネル信号の再生系を有するスピーカやヘッドホンにおいても、低演算量で高音質な再生が可能となる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
（実施の形態１）
図２は、本発明のオーディオ信号復号装置で復号可能な符号列を生成するオーディオ信号符号化装置２００の構成を示すブロック図である。このオーディオ信号符号化装置２００は、少なくとも２つの信号を入力し、入力された信号から、より少数の混入信号を生成して、混入信号を表す１つの符号化データとその符号化データよりも少ないビット数で表される補助情報とを含む符号列を生成するオーディオ信号符号化装置であって、混入信号符号化部２０３および補助情報生成部２０４を備える。補助情報生成部２０４は、内部に、ゲイン算出部２１１、位相算出部２１２及び係数算出部２１３を備える。以下では、説明を簡単にするために入力信号が２つの場合について説明する。混入信号符号化部２０３及び補助情報生成部２０４は、いずれも入力信号（１）２０１と、入力信号（２）２０２とを入力とし、混入信号符号化部２０３は混入信号及び混入信号情報２０６を生成する。ここで、混入信号は、入力信号（１）２０１及び入力信号（２）２０２を、所定の方法で重畳して得られる信号である。補助情報生成部２０４は、入力された入力信号（１）２０１、入力信号（２）２０２および混入信号符号化部２０３の出力である混入信号から、補助情報２０５を生成する。
より具体的には、混入信号符号化部２０３では、入力信号（１）２０１及び入力信号（２）２０２を、ある一定の予め定められた方法によって加算して混入信号を生成し、その混入信号を符号化し、混入信号情報２０６を出力する。ここで、混入信号符号化部２０３の符号化方法としては、ＡＡＣなどの方法を用いてもよいが、特に問わない。
補助情報生成部２０４では、入力信号（１）２０１、入力信号（２）２０２及び混入信号符号化部２０３で作られた混入信号と混入信号情報２０６を用いて補助情報２０５を生成する。ここで補助情報２０５は、混入信号から、混入前の信号である入力信号（１）２０１と、入力信号（２）２０２とに、聴感上できるだけ同じように聞こえる信号を分離するための情報となるようにする。よって、混入信号から混入前の入力信号（１）２０１と、入力信号（２）２０２とが完全に同じように分離できてもいいし、聞いたところ差がないような程度に分離できるのでもよい。聞いて差があったとしても、その補助情報は本発明の範疇であり、このように分離するための情報が含まれていることが重要である。補助情報生成部においては、入力される信号に対して、例えば、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ Ｍｉｒｒｏｒ Ｆｉｌｔｅｒ）フィルタバンクを用いる符号化方法で符号化してもよいし、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などを用いる符号化方法で符号化してもよい。
ゲイン算出部２１１は、入力信号（１）２０１及び入力信号（２）２０２と混入信号とを比較して、混入信号から入力信号（１）２０１及び入力信号（２）２０２とよく似た信号を生成するためのゲインを算出する。より具体的には、ゲイン算出部２１１は、まず、入力信号（１）２０１及び入力信号（２）２０２と混入信号とに対して、フレームごとにそれぞれＱＭＦフィルタ処理を施すことによって、入力信号（１）２０１、入力信号（２）２０２及び混入信号を時間周波数空間上のサブバンド信号に変換する。次いで、時間周波数空間を時間方向及び周波数方向に分割した上、分割された各領域内で、入力信号（１）２０１及び入力信号（２）２０２から変換されたそれぞれのサブバンド信号と、混入信号から変換されたサブバンド信号とを比較する。そして、分割された領域ごとに、混入信号から変換されたサブバンド信号を用いて、入力信号（１）２０１及び入力信号（２）２０２から変換されたそれぞれのサブバンド信号を表すためのゲインを算出する。さらに、分割された各領域に対して算出されたゲインの分布を示す時間周波数マトリクスを生成し、時間周波数空間の分割方法を示した情報とともに補助情報２０５として出力する。なお、ここで求めるゲインの分布は、入力信号（１）２０１及び入力信号（２）２０２から変換されたサブバンド信号の一方に対してだけ算出されるとしても良い。混入信号から入力信号（１）２０１及び入力信号（２）２０２の一方が生成されると、生成された入力信号（１）２０１又は入力信号（２）２０２を混入信号から減算することによって他方の入力信号（１）２０１又は入力信号（２）２０２が得られるからである。
また、例えば、近接するマイクロホンなどで集音される音声等は、スペクトルにおいても互いに相関性が高いと予想される。このような場合、位相算出部２１２は、ゲイン算出部２１１と同様、入力信号（１）２０１及び入力信号（２）２０２と混入信号とに対して、フレームごとにそれぞれＱＭＦフィルタ処理を施す。さらに位相算出部２１２は、サブバンドごとに、入力信号（１）２０１から得られたサブバンド信号と、入力信号（２）２０２から得られたサブバンド信号との位相差（遅延量）を算出し、算出された位相差と、この場合のゲインとを補助情報として出力する。なお、入力信号（１）２０１と入力信号（２）２０２との位相差は、低周波では聴覚的に感知されやすいが、高周波では感知されにくいという性質がある。このため、サブバンド信号が高周波である場合には、この位相差の算出を省略するとしても良い。また、位相算出部２１２は、入力信号（１）２０１と入力信号（２）２０２との相関性が低い場合には、位相差を算出しても、その算出値を補助情報に含めない。
さらに、入力信号（１）２０１と入力信号（２）２０２との相関性が低い場合、入力信号（１）２０１と入力信号（２）２０２との一方の信号は、他方の信号に無相関な信号（ノイズ信号）とみなすことができる。従って、係数算出部２１３は、入力信号（１）２０１と入力信号（２）２０２との相関性が低い場合、まず、入力信号（１）２０１と入力信号（２）２０２との相関性が低いことを示すフラグを生成する。混入信号を入力信号とする線形予測フィルタ（関数）を定義して、そのフィルタによる出力が混入前の一方の信号にできるだけなるように線形予測係数を導出する。混入信号が２つの信号からなるのであれば、２組の線形予測係数列を導出して、その両者を補助情報に出力してもよいし、一方だけ出力してもよい。混入信号が複数の入力信号からなる場合においても、少なくとも何れかの入力信号にできるだけなるような線形予測係数を導出する。このような構成で、係数算出部２１３は、この関数の線形予測係数を算出した上、算出された線形予測係数と、入力信号（１）２０１と入力信号（２）２０２との相関性が低いことを示すフラグとを補助情報として出力する。なお、ここでは入力信号（１）２０１と入力信号（２）２０２との相関性が低いことをフラグで示すとしているが、信号全体で比較する場合に限らず、ＱＭＦフィルタ処理などを用いて得られたサブバンド信号ごとにこのフラグを生成しても良い。
次に図３を用いて復号化方法を説明する。図３は、本発明のオーディオ信号復号化装置１００の主要部の構成を模式的に示した図である。オーディオ信号復号化装置１００は、入力される符号列から、あらかじめ混入信号情報と補助情報とを抽出し、復号化された混入信号情報から出力信号（１）１０５と、出力信号（２）１０６とを分離する復号化装置であって、混入信号復号化部１０２及び信号分離処理部１０３を備える。
オーディオ信号復号化装置１００の前段で、符号列から抽出された混入信号情報１０１は、混入信号復号化部１０２で符号化データの形式からオーディオ信号の形式へと復号化される。前記のオーディオ信号の形式としては、時間軸上の信号形式に限定されず、周波数軸上の信号形式でもよいし、時間と周波数の両軸で表現される形式などでもよい。混入信号復号化部１０２からの出力信号、および、補助情報１０４は、信号分離処理部１０３へと入力され、信号の分離合成がなされ、出力信号（１）１０５と、出力信号（２）１０６とが出力される。図４は、本実施の形態のオーディオ信号復号化装置において、２つの信号が混入された混入信号mXから、原信号に聴覚上近似する２つの信号X1と信号X2とが分離される様子を示す図である。本発明のオーディオ信号復号化装置１００では、符号列から抽出された補助情報に基づいて、混入信号mXから、原信号である信号x1と信号x2とに聴覚上近似する信号X1と信号X2とが分離される。
以下、本発明の具体的な復号化方法について図５を用いて説明する。図５は、本実施の形態のオーディオ信号復号化装置１００においてゲイン制御を行なう場合の構成の一例を示す図である。本実施の形態のオーディオ信号復号化装置１００は、混入信号復号化部３０２、信号分離部３０３、ゲイン制御部３０４及び時間周波数マトリクス生成部３０８を備える。
図５に示すオーディオ信号復号化装置１００の前段で、あらかじめ符号列から抽出された混入信号情報３０１は、混入信号復号化部３０２へと入力される。混入信号情報３０１は、混入信号復号化部３０２で符号化データの形式からオーディオ信号の形式へと復号化される。前記のオーディオ信号の形式としては、時間軸上の信号形式に限定せず、周波数軸上の信号形式でもよいし、時間と周波数の両軸で表現される形式などでもよい。前記の混入信号復号化部３０２の出力信号、および、補助情報３０７は、信号分離部３０３へと入力される。信号分離部３０３では、補助情報３０７をもとに、復号化された混入オーディオ信号を、複数の信号に分離する。具体的には、補助情報３０７に含まれている時間周波数空間（または周波数空間）の分割方法を示した情報に従って、混入オーディオ信号の属する空間を分割する。ここでは簡単のために２つに分離する場合について記載するが、必ずしも２つに限定しない。一方、補助情報３０７に基づいて、時間周波数マトリクス生成部３０８では、混入信号復号化部３０２からの出力、または、信号分離部３０３からの複数の出力信号と同様のオーディオ信号の形式に対するゲインを生成する。例えば、オーディオ形式が単純に時間領域の信号である場合は、時間領域の１つ以上の時間に関するゲイン情報を時間周波数マトリクス生成部３０８の出力とするし、オーディオ形式がＱＭＦフィルタのような複数サブバンドからなる時間軸と周波数軸で表現されるような形式である場合は、時間と周波数の２次元のゲイン情報を時間周波数マトリクス生成部３０８の出力とする。そのようなゲイン情報と、信号分離部３０３からの複数のオーディオ信号に対して、ゲイン制御部３０４では、データ形式にあわせたゲイン制御を適用し、出力信号（１）３０５、および、出力信号（２）３０６を出力する。
このように構成されたオーディオ信号復号化装置では、混入されたオーディオ信号から、適切にゲインコントロールされた複数のオーディオ信号を得ることが可能である。
このゲインコントロールについては、以下の図６および図７を用いて詳細に説明する。図６（ａ）及び（ｂ）は、図５に示した混入信号復号化部３０２からの出力がＱＭＦフィルタである場合の各サブバンド信号に対するゲイン制御の一例を示す図である。図７は、混入信号復号化部３０２からの出力信号が表される空間の分割方法の一例を示す図である。図６（ａ）は、図５に示した混入信号復号化部３０２からの出力であるサブバンド信号を示す図である。このように、ＱＭＦフィルタから出力されるサブバンド信号は、時間軸と周波数軸とからなる二次元空間上の信号として表される。
従って、オーディオ形式がＱＭＦフィルタで構成される場合は、フレーム単位でオーディオ信号を扱う場合において、時間周波数マトリクスを用いたゲイン制御が容易である。
例えば、３２サブバンドからなるＱＭＦフィルタで構成するとして、１フレーム１０２４サンプルのオーディオ信号を扱えば、結果的に時間方向に３２サンプル、周波数方向（サブバンド）に３２バンドの時間周波数マトリクスをオーディオ形式として得ることができる。それら１０２４サンプルの信号にゲイン制御をおこなう場合、図７のように、周波数方向と時間方向とに領域を分割し、分割されたそれぞれの領域についてゲイン制御の係数（Ｒ１１、Ｒ１２、Ｒ２１、Ｒ２２）を定義すれば、ゲイン制御が容易である。ここではＲ１１からＲ２２まで４つの要素からなるマトリクスを便宜上用いるが、時間方向、周波数方向の係数の個数はこれらに限定されない。図６にゲイン制御の適用例を示した。すなわち、図６（ｂ）は、図７に示した時間周波数空間の分割方法を図６（ａ）に示したサブバンド信号に適用した例を示している。図６（ｂ）に示すように、ＱＭＦフィルタが６サブバンドである場合に、低域から４バンドと高域から２バンドの２つに分け、時間方向には均一に２つに分けた場合、それら４領域に存在するＱＭＦフィルタから得られる信号列に、ゲインＲ１１、Ｒ１２、Ｒ２１、Ｒ２２を乗じた信号を出力するなどである。
混入される信号列について特に制限はないが、マルチチャネルのオーディオ信号列を扱う場合において、フロントチャネル信号に対して、バックチャネル信号が混入される場合や、さらにセンターチャネルが混入される場合などが考えられる。よって、混入後の信号は一般的にダウンミクス信号などと呼ばれる場合についても有効である。
図８は、符号化装置７００からの符号列を２チャネルのポータブルプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。同図に示すように、このオーディオ信号システムは、符号化装置７００、ポータブルプレーヤ７１０及びヘッドホン又はスピーカ７２０を備える。符号化装置７００は、例えば、５．１チャネルのマルチチャネルオーディオ信号列を入力とし、５．１チャネルからダウンミクスされた２チャネルのオーディオ符号列と補助信号とを出力する符号化装置であって、ダウンミックス部７０１、補助情報生成部７０２及び符号化部７０３を備える。ダウンミックス部７０１は、５．１チャネルのマルチチャネルオーディオ信号列から２チャネルのダウンミクス信号を生成し、生成したダウンミクス信号DL及びDRを符号化部７０３に出力する。補助情報生成部７０２は、生成されたダウンミクス信号DL及びDRから５．１チャネルのマルチチャネル信号を復元するための情報を生成し、補助情報として符号化部７０３に出力する。符号化部７０３は、生成されたダウンミクス信号DL及びDRと、補助情報とを符号化及び多重化して、符号列として出力する。このオーディオ信号システムにおけるポータブルプレーヤ７１０は、２チャネルのヘッドホン又はスピーカ７２０に接続されており、２チャネルのステレオ再生のみが再生可能である。ポータブルプレーヤ７１０は混入信号復号化部７１１を備え、符号化装置７００から取得した符号列を混入信号復号化部７１１で復号化するだけで、２チャネルのヘッドホン又はスピーカ７２０で再生することができる。
図９は、符号化装置７００からの符号列をマルチチャネルのオーディオ再生可能なホームプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。同図に示すように、このオーディオ信号システムは、符号化装置７００、マルチチャネルホームプレーヤ７３０及びスピーカ７４０を備える。符号化装置７００の内部構成は、図８に示した符号化装置７００と同じであるので、説明を省略する。マルチチャネルホームプレーヤ７３０は、混入信号復号化部７１１及び信号分離処理部７３１を備え、５．１チャネルのマルチチャネル信号を再生可能なスピーカ７４０に接続されている。このマルチチャネルホームプレーヤ７３０において、混入信号復号化部７１１は、符号化装置７００から取得した符号列を復号化し、補助情報とダウンミクス信号DL及びDRとを抽出する。信号分離処理部７３１では、抽出されたダウンミクス信号DLとDRとから、抽出された補助情報に基づいて、５．１チャネルのマルチチャネル信号を生成する。
図８及び図９に示した例のように、同じ符号列を入力しても、２チャネルの信号しか再生しないポータブルプレーヤなどでは、単に符号列中の混入信号を復号化するだけで所望のダウンミクスオーディオ信号を再生することができ、電力の消費を抑えてバッテリーを長持ちさせることができるという効果がある。また、家庭に備え付けられるマルチチャネルのオーディオ信号を再生可能なホームプレーヤなどでは、バッテリー駆動ではないので、消費電力を気にせず、より高音質なオーディオ信号の再生を追求することができるという効果がある。
（実施の形態２）
以下では、本実施の形態の具体的な復号化装置について図１０を用いて説明する。
図１０は、本実施の形態のオーディオ信号復号化装置において、さらに位相制御を行なう場合の構成の一例を示す図である。実施の形態２のオーディオ信号復号化装置は、符号列である混入信号情報４０１及び補助情報４０７を入力し、入力された混入信号情報４０１及び補助情報４０７に基づいて、出力信号（１）４０５及び出力信号（２）４０６を出力するオーディオ信号復号化装置であって、混入信号復号化部４０２、信号分離部４０３、ゲイン制御部４０４、時間周波数マトリクス生成部４０８及び位相制御部４０９を備える。
実施の形態２の構成と前述の実施の形態１との構成上の違いは、位相制御部４０９が加わった点のみで、その他の構成は実施の形態１と同様である。よって本実施の形態２では、位相制御部４０９の構成のみ詳細に説明する。
符号化時に混入された信号が、相互に関連性がある場合、特に、ある一方の信号に対して、もう一方の信号が、遅延があり、ゲインが異なるものとして取り扱う場合、混入信号は、（数１）のように表記される。
Figure 2005112002
ここでは、ｍｘは混入された後の信号、ｘ１、ｘ２が入力信号（混入前の信号）、Ａはゲイン補正、ｐｈａｓｅＦａｃｔｏｒは位相差に応じて乗じる係数とする。従って、混入信号ｍｘは信号ｘ１の関数として表されるため、位相制御部４０９では、混入信号ｍｘから信号ｘ１を容易に算出して分離することができる。信号ｘ２は、混入信号ｍxから信号ｘ１を分離することによって得られる。さらに、このように分離された信号ｘ１及びｘ２に対して、ゲイン制御部４０４が補助情報４０７から得られる時間周波数マトリクスに従ってゲイン制御を行なうので、より原音に近い出力信号（１）４０５及び出力信号（２）４０６を出力することができる。
ＡおよびｐｈａｓｅＦａｃｔｏｒは、混入された後の信号から導出するのではなく、符号化時（つまり混入する前の複数の信号）から導出できるので、これらを予め符号化装置で補助情報４０７に符号化しておけば、位相制御部４０９では、分離した各々の信号の位相を制御可能である。
位相差は、整数に限定されないサンプル数として符号化されてもよいし、共分散行列で与えられてもよい。共分散行列は当該事業者には公知な技術であるので、説明を省略する。
位相情報が、聴感上、重要な周波数帯域もあれば、位相情報が音質に大きな影響を与えない信号や周波数帯域があるので、位相情報はすべての周波数帯域、および、すべての時間に送る必要はない。すなわち、位相情報が聴感上、重要でない周波数帯域や、音質に大きな影響を与えない信号や周波数帯域では、サブバンド信号の位相制御を省略することができる。従って、位相情報は、サブバンド信号ごとに生成しておけば、余計な情報を送らずに済み、補助情報のデータ量を削減することができる。
（実施の形態３）
本発明の具体的な復号化装置について図１１を用いて説明する。図１１は、本実施の形態のオーディオ信号復号化装置において、入力信号同士の相関が小さい場合に、線形予測フィルタを用いる場合の構成の一例を示す図である。
実施の形態３のオーディオ信号復号化装置は、混入信号情報５０１と、補助情報５０７とを入力とし、元の入力信号同士に大きな相関がない場合、一方の信号を混入信号の関数で表される無相関信号（ノイズ信号）とみなして生成し出力信号（１）５０５と出力信号（２）５０６とを出力するオーディオ信号復号化装置であって、混入信号復号化部５０２、信号分離部５０３、ゲイン制御部５０４、時間周波数マトリクス生成部５０８、位相制御部５０９及び線形予測フィルタ適応部５１０を備える。
まず、この実施の形態３の復号化装置は、実施の形態１における復号化装置を詳細に説明するものである。
実施の形態３の構成と前述の実施の形態２との構成上の違いは、線形予測フィルタ適応部５１０が加わった点のみで、その他の構成は実施の形態２と同様である。よって本実施の形態３では、線形予測フィルタ適応部５１０の構成のみ詳細に説明する。
符号化時に混入された信号が、相互に相関が小さい場合、ある一方の信号に対して、もう一方の信号を、遅延などを用いて単純に表現できない。線形予測フィルタ適応部５１０は、この場合は、一方の信号に対して、もう一方の信号を無相関信号（ノイズ信号）と見なして、符号化することが考えられる。このような場合は、相関が小さいことを示すフラグなどを予め符号化列中に符号化しておけば、復号化時に相関の小さい場合の分離処理を実行することができる。この情報は周波数帯域ごとや時間間隔ごとに符号化してもよい。また、このフラグは、サブバンド信号ごとに符号列中に符号化しておいてもよい。
Figure 2005112002
ここでは、ｍｘは混入された後の信号、ｘ１ｍ、ｘ２が入力信号（混入前の信号）、Ｆｕｎｃ（）は線形予測係数などからなる多項式である。
信号ｍｘ、ｘ１、ｘ２は、混入された後の信号から導出するのではなく、符号化時（つまり混入する前の複数の信号）に利用できるので、信号ｍｘ、ｘ１、ｘ２からＦｕｎｃ（）なる多項式の係数を導出し、これら係数を予め補助情報５０７に符号化しておけば、線形予測フィルタ適応部５１０では、ｘ１、ｘ２を導出可能である。
Figure 2005112002
よって、（数３）とするようなＦｕｎｃ（）の係数を導出して符号化すればよい。
以上のように、入力信号同士の相関の有無を符号列中にフラグとして含めておくことにより、入力信号同士にあまり相関がない場合や、入力信号が２以上ある場合でそのうちのいずれか１つを基準信号として他の入力信号が基準信号とあまり相関がない場合には、他方の信号を混入信号の関数で表される無相関信号（ノイズ信号）として表すことができる。また、入力信号同士の相関性が高い場合には、他の信号を基準となる信号の遅延信号として表すことができる。そして、このようにして混入信号から分離された各信号に、時間周波数マトリクスで示されるゲインを乗算することによって、入力された原音に、より忠実な出力信号を得ることができるという効果がある。
本発明のオーディオ信号復号化装置、および、符号化装置は、従来からオーディオ符号化および復号化方法が適用されていたあらゆるアプリケーションにおいて、適用可能である。
オーディオ符号化されたビットストリームなる符号化列は、現在、放送コンテンツの伝送、ＤＶＤやＳＤカードなどの蓄積媒体に記録され再生される応用、携帯電話に代表される通信機器にＡＶコンテンツを伝送する場合などに用いられている。また、インターネット上でやりとりされる電子データとして、オーディオ信号を伝送する場合においても有用である。
本発明のオーディオ信号復号化装置は、電池などにより駆動される携帯電話機などのポータブルタイプのオーディオ信号再生装置として有用である。また、本発明のオーディオ信号復号化装置は、マルチチャネル再生と２チャネル再生とを切り替えて再生可能なマルチチャネルホームプレーヤとして有用である。また、本発明のオーディオ信号符号化装置は、帯域の狭い伝送路を介して、携帯電話機などのポータブルタイプのオーディオ信号再生装置にオーディオコンテンツを配信する放送局やコンテンツ配信サーバに備えられるオーディオ信号符号化装置として有用である。
図１は、従来のマルチチャネル信号の符号化方法及び復号化方法の一例を示す図である。 図２は、本発明のオーディオ信号符号化装置の主要部を概略的に示す図である。 図３は、本発明のオーディオ信号復号化装置の主要部を概略的に示す図である。 図４は、本実施の形態のオーディオ信号復号化装置において、２つの信号が混入された混入信号mXから、原信号に聴覚上近似する信号X1と信号X2とが分離される様子を示す図である。 図５は、本実施の形態のオーディオ信号復号化装置のより具体的な構成の一例を示す図である。 図６（ａ）は、図５に示した混入信号復号化部からの出力であるサブバンド信号を示す図である。図６（ｂ）は、図７に示した時間周波数空間の分割方法を図６（ａ）に示したサブバンド信号に適用した例を示している。 図７は、混入信号復号化部からの出力信号が表される空間の分割方法の一例を示す図である。 図８は、符号化装置からの符号列を２チャネルのポータブルプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。 図９は、符号化装置からの符号列をマルチチャネルのオーディオ再生可能なホームプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。 図１０は、本実施の形態のオーディオ信号復号化装置において、さらに位相制御を行なう場合の構成の一例を示す図である。 図１１は、本実施の形態のオーディオ信号復号化装置において、入力信号同士の相関が小さい場合に、線形予測フィルタを用いる場合の構成の一例を示す図である。
符号の説明
１０１ 混入信号情報
１０２ 混入信号復号化部
１０３ 信号分離処理部
１０４ 補助情報
１０５ 出力信号（１）
１０６ 出力信号（２）
２０１ 入力信号（１）
２０２ 入力信号（２）
２０３ 混入信号符号化部
２０４ 補助情報生成部
２０５ 補助情報
２０６ 混入信号情報
２１１ ゲイン算出部
２１２ 位相算出部
２１３ 係数算出部
３０１ 混入信号情報
３０２ 混入信号復号化部
３０３ 信号分離部
３０４ ゲイン制御部
３０５ 出力信号（１）
３０６ 出力信号（２）
３０７ 補助情報
３０８ 時間周波数マトリクス生成部
４０１ 混入信号情報
４０２ 混入信号復号化部
４０３ 信号分離部
４０４ ゲイン制御部
４０５ 出力信号（１）
４０６ 出力信号（２）
４０７ 補助情報
４０８ 時間周波数マトリクス生成部
４０９ 位相制御部
５０１ 混入信号情報
５０２ 混入信号復号化部
５０３ 信号分離部
５０４ ゲイン制御部
５０５ 出力信号（１）
５０６ 出力信号（２）
５０７ 補助情報
５０８ 時間周波数マトリクス生成部
５０９ 位相制御部
５１０ 線形予測フィルタ適応部
６００ 従来のマルチチャネルＡＡＣ符号化装置
６１０ 従来のプレーヤ
６１１ マルチチャネルＡＡＣ復号化部
６１２ ダウンミクス部
６１３ スピーカ又はヘッドホン
７００ 符号化装置
７０１ ダウンミックス部
７０２ 補助情報生成部
７０３ 符号化部
７１０ ポータブルプレーヤ
７１１ 混入信号復号化部
７２０ ヘッドホンまたはスピーカ
７３０ マルチチャネルホームプレーヤ
７４０ スピーカ

Claims (19)

  1. 符号列を復号化してオーディオ信号を出力するオーディオ信号復号化装置であって、
    複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出する抽出手段と、
    前記混入信号を表す前記符号列を復号化する復号化手段と、
    抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成する信号分離手段と、
    復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する再生手段と
    を備えるオーディオ信号復号化装置。
  2. 前記補助情報は、前記混入信号が表される空間を複数の領域に分割する方法を示す分割情報と、分割された各領域内の混入信号に対応するゲインとを含み、
    前記信号分離手段は、
    前記復号化により得られた前記混入信号を前記分割情報に従って複数の領域に分割する領域分割部と、
    分割された前記各領域内の混入信号に、対応する前記ゲインを乗算して、聴覚的に近似する前記オーディオ信号を生成する近似信号生成部とを備え、
    前記信号分離手段は、前記近似信号生成部による処理を繰り返し、混入される前の数に相当するオーディオ信号を生成する
    請求項１記載のオーディオ信号復号化装置。
  3. 前記補助情報は、ＱＭＦフィルタ処理が施された時間周波数空間上のサブバンド信号に対して、時間周波数空間の前記分割情報と、前記各領域内のゲインの分布を示す時間周波数マトリクスを含み、
    前記領域分割部は、前記ＱＭＦフィルタ処理により時間周波数空間上のサブバンド信号で表されている混入信号に対し、前記分割情報に従って前記時間周波数空間を複数の領域に分割し、
    前記近似信号生成部は、分割された領域ごとに、前記サブバンド信号で表された混入信号に対応するゲインを乗算する
    請求項２記載のオーディオ信号復号化装置。
  4. 前記補助情報は、離散コサイン変換が施された周波数軸上のスペクトル信号に対して、周波数領域の前記分割情報と、前記各領域内のゲインの分布を示す周波数マトリクスを含み、
    前記領域分割部は、前記離散コサイン変換により周波数軸上のスペクトル信号で表されている混入信号に対し、前記分割情報に従って前記周波数領域を複数の領域に分割し、
    前記近似信号生成部は、分割された領域ごとに、前記スペクトル信号で表された混入信号に対応するゲインを乗算する
    請求項２記載のオーディオ信号復号化装置。
  5. 前記補助情報は、混入される前の複数のオーディオ信号のそれぞれにつき、その中の１つを基準信号とした場合の位相差を示す位相情報を含み、
    前記信号分離手段は、
    混入される前の複数の前記オーディオ信号を、前記補助情報内の前記位相情報を用いて前記基準信号で表し、前記混入信号から演算により求められる前記基準信号から、前記各オーディオ信号を算出するオーディオ信号算出部を備え、
    前記信号分離手段は、前記オーディオ信号算出部により算出された前記各オーディオ信号を、混入される前の前記オーディオ信号として生成する
    請求項１記載のオーディオ信号復号化装置。
  6. 前記補助情報は、ＱＭＦフィルタ処理が施された時間周波数空間上のサブバンド信号に対して、混入される前の複数のオーディオ信号の各サブバンド信号を単位として前記位相差を示す位相情報を含み、
    前記オーディオ信号算出部は、混入される前の複数の前記ＱＭＦフィルタ処理が施された前記オーディオ信号を、サブバンド信号ごとに、前記補助情報内の前記位相情報を用いて前記基準信号のサブバンド信号で表す
    請求項５記載のオーディオ信号復号化装置。
  7. 混入される前の複数のオーディオ信号を構成するサブバンド信号で、前記補助情報に前記位相情報が含まれないサブバンド信号は、前記基準信号に対して相関の低い信号であるか、ノイズ性の信号であるか又は聴覚的に位相差が感知されにくい高域の信号である
    請求項６記載のオーディオ信号復号化装置。
  8. 前記補助情報は、混入される前の複数のオーディオ信号同士の相関の度合いを示すフラグを含み、
    前記信号分離手段は、前記補助情報に含まれるフラグが前記オーディオ信号同士の相関が高いことを示している場合、前記オーディオ信号算出部により算出された前記各オーディオ信号を、混入される前の前記オーディオ信号として生成する
    請求項５記載のオーディオ信号復号化装置。
  9. 前記補助情報は、混入される前の１以上のオーディオ信号を前記混入信号の関数として表すための線形予測係数を含み、
    前記信号分離手段は、
    前記補助情報内の前記線形予測係数を用いて、前記混入信号の関数として表される無相関信号を算出する無相関信号算出部を備え、
    前記信号分離手段は、算出された前記無相関信号を、前記混入信号から除去することによって、混入される前の前記オーディオ信号を生成する
    請求項１記載のオーディオ信号復号化装置。
  10. 前記補助情報は、混入される前の複数のオーディオ信号同士の相関の度合いを示すフラグを含み、
    前記信号分離手段は、前記補助情報に含まれるフラグが前記オーディオ信号同士の相関が低いことを示している場合、前記無相関信号を、前記混入信号から除去することによって、混入される前の前記オーディオ信号を生成する
    請求項９記載のオーディオ信号復号化装置。
  11. 前記線形予測係数は、混入信号を入力信号とする線形予測フィルタを、関数を用いて定義し、前記線形予測フィルタの出力が、前記混入信号に混入される前の少なくとも何れかの前記オーディオ信号を表すように導出された係数である
    請求項９記載のオーディオ信号復号化装置。
  12. 混入される前の複数の前記オーディオ信号は、マルチチャネル信号を構成する各チャネルのオーディオ信号であり、前記混入信号は前記マルチチャネル信号をダウンミクスして得られるダウンミックス信号であって、
    前記復号化手段は、前記混入信号を表す前記符号列を復号化してダウンミックス信号を生成し、
    前記信号分離手段は、抽出された前記補助情報に基づいて、ダウンミクスされる前のマルチチャネル信号と聴覚的に近似する複数のオーディオ信号を生成する
    請求項１記載のオーディオ信号復号化装置。
  13. 複数のオーディオ信号が混入された混入信号を符号化する符号化装置であって、
    入力される複数のオーディオ信号を混入して、元のオーディオ信号よりも少数のオーディオ信号を表す混入信号を生成する混入信号生成手段と、
    前記混入信号から、混入される前の前記オーディオ信号と聴覚上同等のオーディオ信号を分離するための補助情報を生成する補助情報生成手段と、
    前記混入信号を符号化する符号化手段と、
    符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成する符号列生成手段と
    を備えるオーディオ信号符号化装置。
  14. 符号列を復号化してオーディオ信号を出力するオーディオ信号復号化方法であって、
    複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出し、
    前記混入信号を表す前記符号列を復号化し、
    抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成し、
    復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する
    ステップを含むオーディオ信号復号化方法。
  15. 複数のオーディオ信号が混入された混入信号を符号化する符号化方法であって、
    入力される複数のオーディオ信号を混入して、混入される前の前記オーディオ信号よりも少数のオーディオ信号を表す混入信号を生成し、
    前記混入信号から、混入される前の前記オーディオ信号と聴覚上同等のオーディオ信号を分離するための補助情報を生成し、
    前記混入信号を符号化し、
    符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成する
    ステップを含むオーディオ信号符号化方法。
  16. 符号列を復号化してオーディオ信号を出力するオーディオ信号復号化装置のためのプログラムであって、コンピュータに
    複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出するステップと、前記混入信号を表す前記符号列を復号化するステップと、抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成するステップと、復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生するステップとを実行させるプログラム。
  17. 複数のオーディオ信号が混入された混入信号を符号化する符号化装置のためのプログラムであって、コンピュータに
    入力される複数のオーディオ信号を混入して、混入される前の前記オーディオ信号よりも少数のオーディオ信号を表す混入信号を生成するステップと、前記混入信号から、混入される前の前記オーディオ信号と聴覚上同等のオーディオ信号を分離するための補助情報を生成するステップと、前記混入信号を符号化するステップと、符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成するステップを実行させるプログラム。
  18. コンピュータに、複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出するステップと、前記混入信号を表す前記符号列を復号化するステップと、抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成するステップと、復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生するステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  19. コンピュータに、入力される複数のオーディオ信号を混入して、混入される前の前記オーディオ信号よりも少数のオーディオ信号を表す混入信号を生成するステップと、前記混入信号から、混入される前の前記オーディオ信号と聴覚上同等のオーディオ信号を分離するための補助情報を生成するステップと、前記混入信号を符号化するステップと、符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成するステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2006513610A 2004-05-19 2005-05-17 オーディオ信号符号化装置及びオーディオ信号復号化装置 Expired - Fee Related JP4939933B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006513610A JP4939933B2 (ja) 2004-05-19 2005-05-17 オーディオ信号符号化装置及びオーディオ信号復号化装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004148661 2004-05-19
JP2004148661 2004-05-19
PCT/JP2005/008997 WO2005112002A1 (ja) 2004-05-19 2005-05-17 オーディオ信号符号化装置及びオーディオ信号復号化装置
JP2006513610A JP4939933B2 (ja) 2004-05-19 2005-05-17 オーディオ信号符号化装置及びオーディオ信号復号化装置

Publications (2)

Publication Number Publication Date
JPWO2005112002A1 true JPWO2005112002A1 (ja) 2008-03-27
JP4939933B2 JP4939933B2 (ja) 2012-05-30

Family

ID=35394382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006513610A Expired - Fee Related JP4939933B2 (ja) 2004-05-19 2005-05-17 オーディオ信号符号化装置及びオーディオ信号復号化装置

Country Status (8)

Country Link
US (1) US8078475B2 (ja)
EP (2) EP1758100B1 (ja)
JP (1) JP4939933B2 (ja)
KR (1) KR101117336B1 (ja)
CN (1) CN1954362B (ja)
CA (1) CA2566366C (ja)
DE (2) DE602005022235D1 (ja)
WO (1) WO2005112002A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US8433581B2 (en) * 2005-04-28 2013-04-30 Panasonic Corporation Audio encoding device and audio encoding method
EP1876586B1 (en) * 2005-04-28 2010-01-06 Panasonic Corporation Audio encoding device and audio encoding method
JP2009532712A (ja) * 2006-03-30 2009-09-10 エルジー エレクトロニクス インコーポレイティド メディア信号処理方法及び装置
JP2007310087A (ja) * 2006-05-17 2007-11-29 Mitsubishi Electric Corp 音声符号化装置及び音声復号装置
CN101578655B (zh) 2007-10-16 2013-06-05 松下电器产业株式会社 流合成装置、解码装置、方法
WO2009075510A1 (en) * 2007-12-09 2009-06-18 Lg Electronics Inc. A method and an apparatus for processing a signal
EP2144229A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient use of phase information in audio encoding and decoding
WO2010005050A1 (ja) * 2008-07-11 2010-01-14 日本電気株式会社 信号分析装置、信号制御装置及びその方法と、プログラム
KR101428487B1 (ko) * 2008-07-11 2014-08-08 삼성전자주식회사 멀티 채널 부호화 및 복호화 방법 및 장치
RU2495503C2 (ru) * 2008-07-29 2013-10-10 Панасоник Корпорэйшн Устройство кодирования звука, устройство декодирования звука, устройство кодирования и декодирования звука и система проведения телеконференций
WO2010036062A2 (en) * 2008-09-25 2010-04-01 Lg Electronics Inc. A method and an apparatus for processing a signal
US8346379B2 (en) * 2008-09-25 2013-01-01 Lg Electronics Inc. Method and an apparatus for processing a signal
EP2169664A3 (en) 2008-09-25 2010-04-07 LG Electronics Inc. A method and an apparatus for processing a signal
KR101108060B1 (ko) * 2008-09-25 2012-01-25 엘지전자 주식회사 신호 처리 방법 및 이의 장치
EP2704143B1 (en) 2009-10-21 2015-01-07 Panasonic Intellectual Property Corporation of America Apparatus, method and computer program for audio signal processing
WO2011127832A1 (en) * 2010-04-14 2011-10-20 Huawei Technologies Co., Ltd. Time/frequency two dimension post-processing
JP5895050B2 (ja) 2011-06-24 2016-03-30 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 符号化された多チャンネルオーディオ信号を処理するオーディオ信号プロセッサ及びその方法
JP5057535B1 (ja) * 2011-08-31 2012-10-24 国立大学法人電気通信大学 ミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法
BR122021009022B1 (pt) 2013-04-05 2022-08-16 Dolby International Ab Método de decodificação para decodificar dois sinais de áudio, mídia legível por computador, e decodificador para decodificar dois sinais de áudio
KR102150955B1 (ko) 2013-04-19 2020-09-02 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
WO2014171791A1 (ko) 2013-04-19 2014-10-23 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
US9319819B2 (en) 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
US9658818B2 (en) * 2014-08-11 2017-05-23 Princeton Audio, LLC Adaptable audio systems
CN105812986A (zh) * 2016-05-09 2016-07-27 中山奥凯华泰电子有限公司 将多声道缩混成无线两声道的音箱和处理方法
CN115188394A (zh) * 2022-06-20 2022-10-14 安徽听见科技有限公司 混音方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0865169A (ja) * 1994-06-13 1996-03-08 Sony Corp 符号化方法及び装置、復号化装置、並びに記録媒体
JP2002526798A (ja) * 1998-09-30 2002-08-20 テレフォンアクチーボラゲット エル エム エリクソン（パブル） 複数チャネル信号の符号化及び復号化
WO2003044776A1 (en) * 2001-11-23 2003-05-30 Koninklijke Philips Electronics N.V. Audio coding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995018523A1 (en) * 1993-12-23 1995-07-06 Philips Electronics N.V. Method and apparatus for encoding multibit coded digital sound through subtracting adaptive dither, inserting buried channel bits and filtering, and encoding and decoding apparatus for use with this method
TW295747B (ja) 1994-06-13 1997-01-11 Sony Co Ltd
EP0688113A2 (en) * 1994-06-13 1995-12-20 Sony Corporation Method and apparatus for encoding and decoding digital audio signals and apparatus for recording digital audio
JPH09102742A (ja) 1995-10-05 1997-04-15 Sony Corp 符号化方法および装置、復号化方法および装置、並びに記録媒体
JPH1132399A (ja) 1997-05-13 1999-02-02 Sony Corp 符号化方法及び装置、並びに記録媒体
US6356211B1 (en) * 1997-05-13 2002-03-12 Sony Corporation Encoding method and apparatus and recording medium
EP0971350A1 (en) 1997-10-31 2000-01-12 Sony Corporation Information encoding device and method, information decoding device and method, recording medium, and provided medium
JP2000123481A (ja) 1997-10-31 2000-04-28 Sony Corp 情報符号化装置および方法、情報復号装置および方法、記録媒体、並びに提供媒体
JP3341992B2 (ja) 1998-11-16 2002-11-05 日本ビクター株式会社 光記録媒体、音声復号装置
US6539357B1 (en) * 1999-04-29 2003-03-25 Agere Systems Inc. Technique for parametric coding of a signal containing information
JP2003195894A (ja) 2001-12-27 2003-07-09 Mitsubishi Electric Corp 符号化装置、復号化装置、符号化方法、及び復号化方法
JP4296753B2 (ja) 2002-05-20 2009-07-15 ソニー株式会社 音響信号符号化方法及び装置、音響信号復号方法及び装置、並びにプログラム及び記録媒体
ATE377339T1 (de) 2002-07-12 2007-11-15 Koninkl Philips Electronics Nv Audio-kodierung
AU2003281128A1 (en) * 2002-07-16 2004-02-02 Koninklijke Philips Electronics N.V. Audio coding
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
JP5046652B2 (ja) * 2004-12-27 2012-10-10 パナソニック株式会社 音声符号化装置および音声符号化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0865169A (ja) * 1994-06-13 1996-03-08 Sony Corp 符号化方法及び装置、復号化装置、並びに記録媒体
JP2002526798A (ja) * 1998-09-30 2002-08-20 テレフォンアクチーボラゲット エル エム エリクソン（パブル） 複数チャネル信号の符号化及び復号化
WO2003044776A1 (en) * 2001-11-23 2003-05-30 Koninklijke Philips Electronics N.V. Audio coding
WO2003044775A1 (en) * 2001-11-23 2003-05-30 Koninklijke Philips Electronics N.V. Perceptual noise substitution

Also Published As

Publication number Publication date
CA2566366C (en) 2013-08-06
EP1914723A3 (en) 2008-05-14
KR20070019718A (ko) 2007-02-15
CA2566366A1 (en) 2005-11-24
EP1758100A4 (en) 2007-07-04
DE602005024548D1 (de) 2010-12-16
EP1758100B1 (en) 2010-11-03
EP1914723A2 (en) 2008-04-23
DE602005022235D1 (de) 2010-08-19
US20070244706A1 (en) 2007-10-18
US8078475B2 (en) 2011-12-13
WO2005112002A1 (ja) 2005-11-24
CN1954362B (zh) 2011-02-02
EP1914723B1 (en) 2010-07-07
CN1954362A (zh) 2007-04-25
KR101117336B1 (ko) 2012-03-08
JP4939933B2 (ja) 2012-05-30
EP1758100A1 (en) 2007-02-28

Similar Documents

Publication Publication Date Title
JP4939933B2 (ja) オーディオ信号符号化装置及びオーディオ信号復号化装置
US11343631B2 (en) Compatible multi-channel coding/decoding
JP4418493B2 (ja) パラメトリックマルチチャネル符号化システムにおけるチャネルの周波数ベースの符号化
KR101158698B1 (ko) 복수-채널 인코더, 입력 신호를 인코딩하는 방법, 저장 매체, 및 인코딩된 출력 데이터를 디코딩하도록 작동하는 디코더
US8352280B2 (en) Scalable multi-channel audio coding
CN101410889B (zh) 对作为听觉事件的函数的空间音频编码参数进行控制
AU2009270526B2 (en) Apparatus and method for generating audio output signals using object based metadata
US8553895B2 (en) Device and method for generating an encoded stereo signal of an audio piece or audio datastream
US8284946B2 (en) Binaural decoder to output spatial stereo sound and a decoding method thereof
US20090234657A1 (en) Energy shaping apparatus and energy shaping method
KR20080015886A (ko) 디코딩 명령으로 오디오 신호를 인코딩하기 위한 장치 및방법
KR20070001139A (ko) 오디오 분배 시스템, 오디오 인코더, 오디오 디코더 및이들의 동작 방법들
KR100917845B1 (ko) 상호상관을 이용한 다채널 오디오 신호 복호화 장치 및 그방법
EP2360684B1 (en) Audio reproducing device and audio reproducing method
CN112823534B (zh) 信号处理设备和方法以及程序
WO2006011367A1 (ja) オーディオ信号符号化装置および復号化装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080327

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4939933

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees