JP5507844B2 - マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置 - Google Patents

マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置 Download PDF

Info

Publication number
JP5507844B2
JP5507844B2 JP2008536504A JP2008536504A JP5507844B2 JP 5507844 B2 JP5507844 B2 JP 5507844B2 JP 2008536504 A JP2008536504 A JP 2008536504A JP 2008536504 A JP2008536504 A JP 2008536504A JP 5507844 B2 JP5507844 B2 JP 5507844B2
Authority
JP
Japan
Prior art keywords
signal
spatial information
downmix signal
channel
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008536504A
Other languages
English (en)
Other versions
JP2009512893A (ja
Inventor
ウォン ジュン,ヤン
スク パン,ヒー
オ オー,ヒェン
スー キム,ドン
ヒュン リム,ジェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2009512893A publication Critical patent/JP2009512893A/ja
Application granted granted Critical
Publication of JP5507844B2 publication Critical patent/JP5507844B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Description

本発明は、符号化及び復号化方法とその装置に関し、より詳しくは、ダウンミックス信号を補償できる付加情報を使用してマルチチャンネルオーディオ信号を符号化及び復号化できる符号化及び復号化方法とその装置に関する。
一般的なマルチチャンネルオーディオ信号符号化方法では、各々のチャンネル別信号を全て符号化する代わりに、マルチチャンネルオーディオ信号をモノあるいはステレオ信号にダウンミックスした信号を空間情報と共に符号化する方式を使用する。この際、空間情報はダウンミックス信号から本来のマルチチャンネルオーディオ信号を生成することに使われる。
図1は、一般的なマルチチャンネルオーディオ信号符号化/復号化装置の一例に対するブロック図である。図1を参照すると、オーディオ信号エンコーダは、マルチチャンネルオーディオ信号をステレオあるいはモノ信号にダウンミックスしたダウンミックス信号を生成するダウンミックスモジュール、及び空間情報を生成する空間パラメータ予測モジュールを具備する。使用環境によってはダウンミックス信号を外部で加工したアーティスティックダウンミックス信号(Artistic Downmix)にて入力を受けることもある。オーディオ信号デコーダは転送された空間情報を解析した後、これに基づいてダウンミックス信号で本来のマルチチャンネルオーディオ信号を生成する。
ところが、オーディオ信号エンコーダでダウンミックス信号を生成する場合、あるいはアーティスティックダウンミックス信号を生成する場合、互いに異なるチャンネルの信号を合算する過程で信号レベルの減衰が発生する可能性がある。例えば、信号レベルが各々L1及びL2である2つのチャンネルを合算する場合、2つのチャンネルの信号が完壁に重畳されず、一部相殺されて、2つのチャンネルを合算したチャンネルのレベルDL12がL1+L2より小さくなる場合である。
このような場合、減衰されたダウンミックス信号のレベルは、復号化過程で信号歪みをもたらす可能性がある。例えば、空間情報の中で、相互チャンネル間のレベル差を表すCLD(チャンネルレベル差)の場合、CLD値に相互チャンネル間のレベル関係は分かるが、これらのチャンネルを合算して生成したダウンミックス信号のレベルが減衰されている場合は、復号化された信号は本来の信号より大きさが減ることになる。
このような現象により、復号化されたマルチチャンネルオーディオ信号が特定周波数で信号が上昇されるか、抑制される可能性があり、これによって、全体的に音質の低下が発生することになる。また、信号の一部の相殺により生じるレベル減衰の程度は周波数領域によって異なるので、オーディオ信号エンコーダとデコーダを経ると、周波数によって歪みの程度が変化することになる。したがって、このような現象を防止するために、ダウンミックス信号の特定周波数領域のエネルギーを変化させる方法では解決が容易でない。
また、使用環境によっては必要とされる全ての空間情報が転送できない場合があるので、このような場合、復号化されたマルチチャンネルオーディオ信号の音質が低下することがある。
本発明の目的は、ダウンミックス信号を補償できる付加情報を使用して符号化する符号化方法及びその装置を提供することにある。
本発明の他の目的は、ダウンミックス信号を補償できる付加情報を使用して符号化されたマルチチャンネルオーディオ信号を復号化する復号化方法とその装置を提供することにある。
上記の目的を達成するための本発明に係る復号化方法は、受信した信号からダウンミックス信号と付加情報とを抽出するステップと、上記付加情報と上記ダウンミックス信号から空間情報を生成するステップと、上記ダウンミックス信号と上記空間情報とを用いてマルチチャンネルオーディオ信号を生成するステップと、を含む。
また、上記の目的を達成するための本発明に係る復号化方法は、受信した信号からダウンミックス信号を生成するステップと、上記ダウンミックス信号から空間情報を推定して生成するステップと、上記ダウンミックス信号と上記空間情報とを用いて、マルチチャンネルオーディオ信号を生成するステップと、を含む。
一方、本発明に係る復号化装置は、受信した信号から符号化されたダウンミックス信号と付加情報とを抽出するデマルチプレクサと、上記ダウンミックス信号を復号化してダウンミックス信号を生成するコアエンコーダと、上記ダウンミックス信号と同期させるためにダウンミックス信号に関するデータを整列させるフレーム化部と、上記付加情報と上記フレーム化部で整列されたダウンミックス信号から空間情報を推定して生成する空間情報推定部と、上記ダウンミックス信号と上記空間情報とを用いてマルチャンネルオーディオ信号を生成するマルチャンネル合成部と、を含む。
本発明によると、符号化されたダウンミックス信号を復号化してダウンミックス信号を生成するコアエンコーダと、上記ダウンミックス信号と同期させるためにダウンミックス信号に関するデータを整列させるフレーム化部と、上記フレーム化部で整列されたダウンミックス信号から空間情報を推定して生成する空間情報推定部と、上記ダウンミックス信号と上記空間情報とを用いてマルチチャンネルオーディオ信号を生成するマルチャンネル合成部と、を含む複合化装置が提供される。
また、本発明によると、マルチチャンネルオーディオ信号とダウンミックス信号とを用いて空間情報を算出するステップと、上記算出した空間情報で選択された情報と、上記ダウンミックス信号を符号化して結合したビットストリームを生成するステップと、を含む符号化方法が提供される。
上記の目的を達成するために、本発明では、上記の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読取可能な記録媒体を提供する。
本発明によると、入力を受けたマルチチャンネルオーディオ信号とダウンミックスされた信号のレベルなどを比較した結果により算出された補償パラメータを付加情報に使用して、復号化されたマルチチャンネルオーディオ信号を補償することができる。また、空間情報の一部を付加情報に使用して転送された付加情報とダウンミックス信号を用いて追加的な空間情報を生成して使用することもできる。したがって、復号化されたマルチチャンネルオーディオ信号が特定周波数で信号が歪曲されることを防止することができ、復号化されたマルチチャンネルオーディオ信号の全体的な音質を向上させることができる。
以下、図面を参照しつつ本発明をより詳細に説明する。
本発明に係る符号化及び復号化方法とその装置は、基本的にマルチチャンネルオーディオ信号の処理過程に適用されるが、必ずしもこれに限定されず、本発明に係る条件を満たす他の信号の処理過程に適用可能である。
図2は、本発明の一実施形態に係る符号化装置のブロック図である。図2を参照すると、本実施形態に係る符号化装置は、ダウンミックス部110、補償パラメータ算出部120、空間情報算出部130、及びビットストリーム生成部170を含む。ビットストリーム生成部170は、コアエンコーダ140、パラメータエンコーダ150、及びマルチプレクサ160を含む。
ダウンミックス部110は、マルチチャンネルオーディオ信号をモノ信号あるいはステレオ信号にダウンミックスしたダウンミックス信号を生成する。補償パラメータ算出部120は、ダウンミックス部110で生成されるか、あるいはアーティスティックダウンミックスにより入力を受けたダウンミックス信号と、ダウンミックス信号の生成に使われたマルチチャンネルオーディオ信号との間のレベルサイズを比較した結果、あるいはエンベロープを比較した結果などにより、ダウンミックス信号の補償のために使われる補償パラメータを算出する。空間情報算出部130は、マルチチャンネルオーディオ信号の空間情報を算出する。
ビットストリーム生成部170において、コアエンコーダ140はダウンミックス信号を符号化して符号化されたダウンミックス信号を生成し、パラメータエンコーダ150は、補償パラメータと空間情報とを符号化して付加情報を生成する。そして、マルチプレクサ160は、符号化されたダウンミックス信号と付加情報とを結合したビットストリームを生成する。
このような構成において、ダウンミックス部110は、入力されるマルチチャンネルオーディオ信号をダウンミックスしてダウンミックス信号を生成する。例えば、5個のチャンネルを有するマルチチャンネルオーディオ信号をステレオ信号にダウンミックスする場合、ダウンミックスチャンネル1は、マルチチャンネルオーディオ信号で1、3、4チャンネルの成分を組合せて算出することができ、ダウンミックスチャンネル2は、チャンネル2、3、5の成分を組合せて算出することができる。
ダウンミックス信号が生成されると、補償パラメータ算出部120は、ダウンミックス信号の補償に使われる補償パラメータを算出する。この際、補償パラメータは多様な方法により算出可能であり、その一例として次のような方法により算出することもできる。
5個のチャンネルを有するマルチチャンネルオーディオ信号において、特定周波数バンドで5個のチャンネルの信号レベルが各々L1、L2、L3、L4、L5とし、ダウンミックスチャンネル1は1、3、4チャンネルの成分を有し、ダウンミックスチャンネル2は2、3、5チャンネルの成分を有する場合、ダウンミックスチャンネル1の信号レベルDL134と、ダウンミックスチャンネル2の信号レベルDL235は、次の数式のような関係を有することになる。
〔式1〕
DL134≦L1+g3*L3+g4*L4
DL235≦L2+g3*L3+g5*L5
ここで、g3、g4、g5はダウンミックス時に発生する利得を表す。
復号化過程において、このようなダウンミックス信号からまたマルチチャンネルオーディオ信号に生成する場合、生成された5個のチャンネル信号のレベルL1’、L2’、L3’、L4’、L5’は、各々本来の信号レベルであるL1、L2、L3、L4、L5と等しくなることが理想的である。したがって、このために、ダウンミックスチャンネル1の補償パラメータCF123、及びダウンミックスチャンネル2の補償パラメータCF235を次の通り算出することができる。
〔式2〕
CF134=(L1+g3*L3+g4*L4)/DL134
CF235=(L2+g3*L3+g5*L5)/DL235
上記の例では、転送されるデータ量の減少のために、ダウンミックスチャンネル別に補償パラメータを算出したが、補償パラメータはマルチチャンネルオーディオ信号の各チャンネル別に算出することもできる。即ち、ダウンミックス信号と各チャンネルのエネルギーあるいはエンベロープの比で算出することも可能である。
補償パラメータの生成と共に、空間情報算出部130は空間情報を算出する。空間情報には、CLD(チャンネルレベル差:Channel Level Difference)、ICC(チャンネル間相互相関:Inter-channel Cross Correlation)、CPC(チャンネル予測係数:Channel Prediction Coefficient)のような情報が含まれる。
コアエンコーダ140はダウンミックス信号を符号化し、パラメータエンコーダ150は空間情報と補償パラメータとを符号化して付加情報を生成する。この際、補償パラメータは既存のCLD符号化に使われるのと同様な方式により符号化することができ、あるいは異なる方式により符号化することができる。例えば、補償パラメータは、時間あるいは周波数ディファレンシャル符号化、グループPCM符号化、パイロット基盤符号化、及びハフマンコードブックなどを用いて符号化することができる。マルチプレクサ160は、このようにして生成され、符号化されたダウンミックス信号と付加情報とを結合してビットストリームを生成する。このような過程により、ダウンミックス信号のレベル減衰を補償する補償パラメータが付加情報として含まれたビットストリームを生成することができる。
一方、レベル補償を必要としない場合は、補償パラメータと関連したフラグを‘0’とすることにより、転送される付加情報のビットレートを低減させることができる。また、補償パラメータCF134、CF235の値にあまり差がない場合、2つの補償パラメータを転送する代わりに、一つの代表値を有する補償パラメータを使用することもできる。また、補償パラメータが時間によって変化せず、一定の値に維持された場合、特定フラグを通じて以前の値を使用するという情報を与えることもできる。
そして、補償パラメータは、入力を受けたマルチチャンネルオーディオ信号とダウンミックス信号との間のレベルを比較した結果を用いて設定されるが、これと異なる方法により補償パラメータを設定するか、推定して使用することができる。即ち、補償パラメータは本来の信号とダウンミックス信号との間のレベル減衰が生じることをモデリングした値であるので、上記した実施形態のように、レベル比だけでなく、如何なるウェーブ形態や、線形/非線形な特性を有する利得補償値で表現することができる。このように、数学的にモデリングされる値に補償パラメータを使用する場合、はるかに少ないビットでも効率的に転送及び補償が可能になる。
図3は、本発明の一実施形態に係る復号化装置に対するブロック図である。図3を参照すると、本実施形態に係る復号化装置は、デマルチプレクサ310、コアデコーダ320、パラメータデコーダ330、及びマルチチャンネル合成部340を含む。
デマルチプレクサ310は、伝送を受けたビットストリームで付加情報と符号化されたダウンミックス信号とを各々分離する。コアデコーダ320は、デマルチプレクサ310から分離された符号化されたダウンミックス信号を復号化してダウンミックス信号を生成する。
パラメータデコーダ330は、デマルチプレクサ310から分離された付加情報から空間情報と補償パラメータとを生成する。そして、マルチチャンネル合成部340は、ダウンミックス信号、空間情報、及び補償パラメータを用いてマルチチャンネルオーディオ信号を生成する。
図4は、本発明の一実施形態に係る復号化装置の動作方法の説明に提供されるフローチャートである。図3及び図4を参照して、本発明の一実施形態に係る復号化装置の動作方法を説明すると、次の通りである。
まず、マルチチャンネルオーディオ信号のビットストリームを受信すると(S400)、デマルチプレクサ310は、受信したビットストリームで符号化されたダウンミックス信号と付加情報とを各々分離する(S405)。コアデコーダ320は、符号化されたダウンミックス信号を復号化してダウンミックス信号を生成する(S410)。そして、パラメータデコーダ330は、付加情報データを復号化して補償パラメータ及び空間情報を生成する(S420)。
マルチチャンネル合成部340では、空間情報とダウンミックス信号とを用いてマルチチャンネルオーディオ信号を生成し(S430)、生成したマルチチャンネルオーディオ信号を補償パラメータを使用して補償する(S440)。この際、マルチチャンネル合成部340は、ダウンミックス信号と空間情報とを使用して復号化されたチャンネルの各エネルギーがL1’、L2’、L4’、及びL5’のように表される場合、次の通り補償パラメータを使用して各チャンネル出力を補償する。
〔式3〕
L1″=L1′*CF134
L2″=L2′*CF235
L3″=L3′*(CF124+CF235)/2
L4″=L4′*CF134
L5″=L5′*CF235
このような過程により、空間情報と共に転送された補償パラメータを用いてマルチチャンネルオーディオ信号の復号化過程に使用して復号化されたマルチチャンネルオーディオ信号を補償することで、特定周波数帯域で信号歪みを防止することができる。
また、前述したような補償パラメータを使用して各チャンネル出力を補償することは一例であり、本発明は前述したような補償パラメータに限定されるものではない。例えば、各補償パラメータとして各チャンネルのエンベロープを転送する場合、空間情報を転送せず、各チャンネルのエンベロープ情報を使用して空間情報に代えて構成することもできる。空間情報が転送されない場合であっても、ダウンミックスされた2つのチャンネル以上の信号のみを用いて復号化装置で疑似空間情報を抽出して、これを用いて復号化過程を実行することもできる。
図5は、本発明の他の実施形態に係る復号化装置に関するブロック図である。図5では、空間情報を付加情報として使用せず、ダウンミックス信号のみを用いてマルチチャンネルオーディオ信号を生成する場合について説明する。
図5を参照すると、本実施形態に係る復号化装置は、コアデコーダ510、フレーム化部520、空間情報推定部530、及びマルチチャンネル合成部540を含む。
コアデコーダ510は、伝送を受けたビットストリームを復号化してダウンミックス信号を生成してフレーム化部520に伝達する。そのダウンミックス信号はPrologicやLogic7等を用いて得られるマトリクスタイプのダウンミックス信号としてもよいが、必ずしもこれに限定されるものではない。
フレーム化部520は、コアデコーダ510から出力されたダウンミックスされた信号に対し、空間オーディオ符号化(SAC,spatial audio cording)フレーム単位で同期させることができるようにデータを整列する。このようなフレーム化過程において、解析フィルタバンクを用いてコアデコーダ510によって得られるダウンミックス信号に基づいて直交ミラーフィルタ(QMF)及びハイブリッドバンドドメイン信号が生成される場合、ハイブリッドバンドドメイン信号は直ちに復号化過程に使用することができるので、フレーム化部520は、ハイブリッドバンドドメイン信号をマルチチャンネル合成部540に送信することも可能である。
空間情報推定部530は、フレーム化部520で整列されたダウンミックス信号のみを用いて、CLD、ICC、CPCなどの空間情報を生成する。空間情報推定部530は、SACフレームに合せて空間情報を生成するが、この場合、フレーム長さだけのダウンミックス信号を集めて処理することもでき、サンプル単位でPCMサンプルに対応する空間情報を生成することもできる。空間情報推定部530で生成される空間情報は転送するデータでないため、量子化などの圧縮のための処理過程は不要であるので、可能な限り多くの情報を使用することが有利である。
そして、マルチチャンネル合成部540は、フレーム化部520を通じて転送されるダウンミックス信号と空間情報推定部530を通じて転送される空間情報とを用いてマルチチャンネルオーディオ信号を生成する。
このような構成と動作により、空間情報を付加情報として転送する一般的な方式にビット率を低めることができ、既存のマトリクスタイプのダウンミックスされたコンテンツに対しても同様な方法によりマルチチャンネル信号を生成することができる。
図6は、本発明の更に他の実施形態に係る復号化装置に関するブロック図である。図6では、転送されたビットストリームにダウンミックスオーディオ信号だけでなく、空間情報を含んでいる場合、転送された空間情報を参照して復号化装置で追加的な空間情報を生成し、これを復号化に使用する場合を説明する。
図6を参照すると、本実施形態に係る復号化装置は、デマルチプレクサ610、コアデコーダ620、フレーム化部630、空間情報推定部640、マルチチャンネル合成部650、及び結合部660を含む。
デマルチプレクサ610は、伝送されたビットストリームで空間情報と符号化されたダウンミックス信号とを各々分離する。コアデコーダ620は、デマルチプレクサ610から分離された符号化されたダウンミックス信号を復号化してダウンミックス信号を生成する。
フレーム化部630はコアデコーダ620から出力されたダウンミックスされた信号に対し、SACフレーム単位の同期を合せることができるようにデータを整列する。空間情報推定部640は、転送された空間情報を用いて追加的な空間情報を推定して生成する。結合部660は、転送された空間情報と空間情報推定部640で生成した空間情報とを結合してマルチチャンネル合成部650に伝達する。そして、マルチチャンネル合成部650は、ダウンミックス信号と空間情報とを用いてマルチチャンネルオーディオ信号を生成する。
このような構成により、転送された空間情報とダウンミックスされた信号などから推定された空間情報を全て利用することができる。この際、転送された空間情報によって、次のような多様な形態の応用が可能である。
まず、足りない時間/周波数解像度を有する空間情報が転送された場合であって、空間情報に対する転送ビット率が低くて、空間情報の周波数解像度(データバンド数)が低い場合や、空間情報の転送頻度が低い場合、この情報とダウンミックスPCM信号とを全て用いて省略された情報を見付けて、これを用いてマルチチャンネル信号の品質を向上させることができる。例えば、転送された空間情報の周波数解像度が5データバンドの場合、空間情報推定部640でダウンミックス信号を参照して28データバンドの信号に作り出すか、あるいは転送されたスロット数が2つだけである場合、やはりダウンミックス信号を参照して8個のスロットに補間することができる。
また、CLD、ICC、CPCのうち、一部データのみ転送された場合、例えばビット率を低めるために、空間情報のうちのICCのみを転送し、CLDやCPCは転送しない場合、空間情報推定部640でCLDとCPCを推定して生成することによって、マルチチャンネル信号の品質を向上させることができる。同様に、CLDのみ転送された場合、ICCを推定して使用する等の方法が可能である。
そして、OTT(One-To-Two)/TTT(Two-To-Three)ボックスのうちの一方を用いて、符号化装置が入力マルチチャンネル信号をダウンミックス信号にダウンミックスする。一部のOTTあるいはTTTボックスに対応する空間情報のみ受信した場合、空間情報推定部640は、推定により、他のOTTあるいはTTTボックスに対応する空間情報を生成し、受信した空間情報及び生成された空間情報に基づいて、マルチチャンネル信号を生成することができる。この場合、空間情報の推定は転送された空間情報に対応するステップまでSAC復号化を遂行した後、実行することが好ましい。例えば、2つのチャンネル(即ち、左(L)及び右(R)チャンネル)のダウンミックス信号とTTTボックスに対応する空間情報のみ受信した場合、受信したダウンミックス信号のL及びRチャンネルに基づいて空間情報推定部640は、左(L)、中央(C)、右(R)チャンネルの信号を生成することが可能である。
L、C、R情報まで生成された信号に対し、空間情報推定部640で残りのOTTボックスに対応できる空間情報を生成し、これを利用したマルチチャンネル合成部650でマルチチャンネルオーディオ信号を生成して、出力チャンネル数が多い場合に出力チャンネル数に対応する信号を生成することが可能である。例えば、525フォーマットのビットストリームが7チャンネル再生可能な復号器の入力に入った場合、SAC復号化された5チャンネル信号(ハイブリッドドメイン)を先に生成した後、生成された信号に対する空間情報を推定過程を通じて7チャンネルに拡張するために必要とされる空間情報を生成し、追加復号化を実行して一つのビットストリームが提供可能なチャンネル数以上の信号を生成することができる。
一方、本発明は、コンピュータで読取可能な記録媒体にコンピュータが読取できるコードとして実現することが可能である。コンピュータが読取できる記録媒体は、コンピュータシステムにより読取り可能なデータが格納される全ての種類の記録装置を含む。コンピュータが読取できる記録媒体の例には、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ格納装置などがあり、またインターネットを通じた転送のようなキャリアウェーブの形態で実現される場合も含む。また、コンピュータが読取できる記録媒体はネットワークにより連結されたコンピュータシステムに分散されて、分散方式によりコンピュータが読取できるコードが格納され、実行することができる。
また、以上では、本発明の好ましい実施形態に対して図示及び説明をしたが、本発明は前述した特定の実施形態に限定されず、請求範囲で請求する本発明の要旨を逸脱することなく、当該発明が属する技術分野で通常の知識を有する者により多様な変形実施が可能であることは勿論であり、このような変形実施は本発明の技術的思想や展望から個別的に理解されてはならない。
本発明は、マルチチャンネルオーディオ信号の符号化及び復号化過程などに使われて、付加情報を用いてダウンミックス信号を補償するか、追加的空間情報を生成して使用することで、復号化されたマルチチャンネルオーディオ信号の音質の低下などを防止することができる。
一般的なマルチチャンネルオーディオ信号符号化/復号化装置の一例を示すブロック図である。 本発明の一実施形態に係る符号化装置のブロック図である。 本発明の一実施形態に係る復号化装置のブロック図である。 本発明の一実施形態に係る復号化装置の動作方法の説明に用いるフローチャートである。 本発明の他の実施形態に係る復号化装置のブロック図である。 本発明の更に他の実施形態に係る復号化装置のブロック図である。

Claims (6)

  1. 受信した信号からダウンミックス信号と付加情報とを抽出するステップと、
    前記付加情報から空間情報と補償パラメータとを抽出するステップと、
    前記ダウンミックス信号と前記空間情報とに基づいてマルチチャンネルオーディオ信号を生成するステップと、
    前記補償パラメータに基づいて前記マルチチャンネルオーディオ信号を補償するステップと、を有し、
    前記補償パラメータは、前記ダウンミックス信号のエンベロープと、前記マルチチャンネルオーディオ信号の前記ダウンミックス信号を生成するために用いられる複数チャンネルのエンベロープとの比を使用することによって算出されることを特徴とするマルチチャンネルオーディオ信号の復号化方法。
  2. 前記空間情報は、チャンネルレベル差、チャンネル間相互相関、チャンネル予測係数のうち、少なくともいずれか一つである、請求項1に記載の復号化方法。
  3. 受信した信号から符号化されたダウンミックス信号と付加情報とを抽出するデマルチプレクサと、
    前記符号化されたダウンミックス信号を復号化することによってダウンミックス信号を生成するコアデコーダと、
    前記付加情報から空間情報と補償パラメータとを抽出するパラメータデコーダと、
    前記ダウンミックス信号と前記空間情報とに基づいてマルチチャンネルオーディオ信号を生成し、前記補償パラメータを用いて前記マルチチャンネルオーディオ信号を補償するマルチチャンネル合成部と、を有し、
    前記補償パラメータは、前記ダウンミックス信号のエンベロープと、前記マルチチャンネルオーディオ信号の前記ダウンミックス信号を生成するために用いられる複数チャンネルのエンベロープとの比を使用して計算されることを特徴とするオーディオ信号の復号化装置。
  4. マルチチャンネルオーディオ信号の複数チャンネルの信号とダウンミックス信号とに基づいて空間情報を算出するステップと、
    前記ダウンミックス信号のエンベロープと前記マルチチャンネルオーディオ信号の前記ダウンミックス信号を生成するために用いられる前記の複数チャンネルのエンベロープとの比を使用することによって、補償パラメータを算出するステップであって、前記補償パラメータは、デコーディング端末で前記ダウンミックス信号と前記空間情報とに基づいて生成される前記マルチチャンネルオーディオ信号のチャンネルを補償する、補償パラメータを算出するステップと、
    を有することを特徴とする符号化方法。
  5. マルチチャンネルオーディオ信号の複数チャンネルの信号とダウンミックス信号とに基づいて空間情報を算出する空間情報算出部と、
    前記マルチチャンネルオーディオ信号の前記ダウンミックス信号を生成するために用いられる前記の複数チャンネルのエンベロープと前記ダウンミックス信号のエンベロープとの比を使用することによって、補償パラメータを算出し、前記補償パラメータは、デコーディング端末で前記ダウンミックス信号と前記空間情報とに基づいて生成される前記マルチチャンネルオーディオ信号のチャンネルを補償する補償パラメータ算出部と、
    前記空間情報、前記補償パラメータ及び前記ダウンミックス信号を符号化し、前記符号化の結果を結合することによって、ビットストリームを生成するビットストリーム生成部と、
    を有することを特徴とする符号化装置。
  6. 請求項1に記載のステップをコンピュータが実行するためのプログラムが記録されているコンピュータ読取可能記録媒体。
JP2008536504A 2005-10-20 2006-10-20 マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置 Active JP5507844B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US72830905P 2005-10-20 2005-10-20
US60/728,309 2005-10-20
US73429205P 2005-11-08 2005-11-08
US60/734,292 2005-11-08
US76573006P 2006-02-07 2006-02-07
US60/765,730 2006-02-07
KR1020060102146A KR20070043651A (ko) 2005-10-20 2006-10-20 멀티채널 오디오 신호의 부호화 및 복호화 방법과 그 장치
KR10-2006-0102146 2006-10-20
PCT/KR2006/004285 WO2007046660A1 (en) 2005-10-20 2006-10-20 Method for encoding and decoding multi-channel audio signal and apparatus thereof

Publications (2)

Publication Number Publication Date
JP2009512893A JP2009512893A (ja) 2009-03-26
JP5507844B2 true JP5507844B2 (ja) 2014-05-28

Family

ID=38178049

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008536503A Active JP5536335B2 (ja) 2005-10-20 2006-10-20 マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置
JP2008536504A Active JP5507844B2 (ja) 2005-10-20 2006-10-20 マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2008536503A Active JP5536335B2 (ja) 2005-10-20 2006-10-20 マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置

Country Status (6)

Country Link
US (4) US20080255859A1 (ja)
EP (2) EP1952392B1 (ja)
JP (2) JP5536335B2 (ja)
KR (3) KR100866885B1 (ja)
ES (1) ES2587999T3 (ja)
WO (2) WO2007046660A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101014998B (zh) * 2004-07-14 2011-02-23 皇家飞利浦电子股份有限公司 音频通道转换
WO2006126843A2 (en) * 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding audio signal
JP4988717B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
ES2513265T3 (es) * 2006-01-19 2014-10-24 Lg Electronics Inc. Procedimiento y aparato para procesar una señal de medios
EP1984915B1 (en) 2006-02-07 2016-09-07 LG Electronics Inc. Audio signal decoding
KR100923156B1 (ko) * 2006-05-02 2009-10-23 한국전자통신연구원 멀티채널 오디오 인코딩 및 디코딩 시스템 및 방법
US8571875B2 (en) * 2006-10-18 2013-10-29 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding multichannel audio signals
KR100881312B1 (ko) * 2007-06-28 2009-02-03 엘지전자 주식회사 멀티 채널 오디오 신호의 부호화/복호화 방법 및 장치,그를 이용한 인터넷 프로토콜 디스플레이 장치
KR20100095586A (ko) 2008-01-01 2010-08-31 엘지전자 주식회사 신호 처리 방법 및 장치
KR101614160B1 (ko) 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
MX2011011399A (es) * 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
WO2010087627A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
KR20110022251A (ko) * 2009-08-27 2011-03-07 삼성전자주식회사 스테레오 오디오의 부호화, 복호화 방법 및 장치
EP2323130A1 (en) * 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
AU2010332925B2 (en) 2009-12-16 2013-07-11 Dolby International Ab SBR bitstream parameter downmix
AU2011240239B2 (en) 2010-04-13 2014-06-26 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio or video encoder, audio or video decoder and related methods for processing multi-channel audio or video signals using a variable prediction direction
DE102010015630B3 (de) * 2010-04-20 2011-06-01 Institut für Rundfunktechnik GmbH Verfahren zum Erzeugen eines abwärtskompatiblen Tonformates
KR101697550B1 (ko) * 2010-09-16 2017-02-02 삼성전자주식회사 멀티채널 오디오 대역폭 확장 장치 및 방법
ES2560402T3 (es) * 2012-04-05 2016-02-18 Huawei Technologies Co., Ltd Método para la codificación y la decodificación de audio espacial paramétrica, codificador de audio espacial paramétrico y decodificador de audio espacial paramétrico
TWI546799B (zh) * 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
CN105229733B (zh) * 2013-05-24 2019-03-08 杜比国际公司 包括音频对象的音频场景的高效编码
EP2830065A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal using a cross-over filter around a transition frequency
EP2830055A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Context-based entropy coding of sample values of a spectral envelope
US10373711B2 (en) 2014-06-04 2019-08-06 Nuance Communications, Inc. Medical coding system with CDI clarification request notification
MY186661A (en) 2015-09-25 2021-08-04 Voiceage Corp Method and system for time domain down mixing a stereo sound signal into primary and secondary channels using detecting an out-of-phase condition of the left and right channels
US10366687B2 (en) * 2015-12-10 2019-07-30 Nuance Communications, Inc. System and methods for adapting neural network acoustic models
WO2018057639A1 (en) 2016-09-20 2018-03-29 Nuance Communications, Inc. Method and system for sequencing medical billing codes
CN107968984B (zh) * 2016-10-20 2019-08-20 中国科学院声学研究所 一种5-2通道音频转换优化方法
CZ2017323A3 (cs) 2017-06-06 2018-12-19 Karel Hršel Cyklistický pedál se zarážkou
US11133091B2 (en) 2017-07-21 2021-09-28 Nuance Communications, Inc. Automated analysis system and method
US11024424B2 (en) 2017-10-27 2021-06-01 Nuance Communications, Inc. Computer assisted coding systems and methods
WO2023210978A1 (ko) * 2022-04-28 2023-11-02 삼성전자 주식회사 다채널 오디오 신호 처리 장치 및 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4209544A1 (de) * 1992-03-24 1993-09-30 Inst Rundfunktechnik Gmbh Verfahren zum Übertragen oder Speichern digitalisierter, mehrkanaliger Tonsignale
CA2859333A1 (en) * 1999-04-07 2000-10-12 Dolby Laboratories Licensing Corporation Matrix improvements to lossless encoding and decoding
JP3529665B2 (ja) 1999-04-16 2004-05-24 パイオニア株式会社 情報変換方法及び情報変換装置並びに情報再生装置
JP2001177889A (ja) 1999-12-21 2001-06-29 Casio Comput Co Ltd 身体装着型音楽再生装置、及び音楽再生システム
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
ES2323294T3 (es) 2002-04-22 2009-07-10 Koninklijke Philips Electronics N.V. Dispositivo de decodificacion con una unidad de decorrelacion.
CN1669358A (zh) * 2002-07-16 2005-09-14 皇家飞利浦电子股份有限公司 音频编码
US7787632B2 (en) * 2003-03-04 2010-08-31 Nokia Corporation Support of a multichannel audio extension
DE10350340B4 (de) 2003-10-29 2006-04-20 Infineon Technologies Ag Vorrichtung und Verfahren zur Übertragung eines analogen Datenstroms mit Kompensation von spektralen Nebenanteilen
KR20050060789A (ko) * 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
US7394903B2 (en) 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
DE602005022641D1 (de) * 2004-03-01 2010-09-09 Dolby Lab Licensing Corp Mehrkanal-Audiodekodierung
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
TWI497485B (zh) * 2004-08-25 2015-08-21 Dolby Lab Licensing Corp 用以重塑經合成輸出音訊信號之時域包絡以更接近輸入音訊信號之時域包絡的方法
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
EP1938663A4 (en) * 2005-08-30 2010-11-17 Lg Electronics Inc DEVICE FOR ENCODING AND DECODING AUDIO SIGNAL AND CORRESPONDING METHOD
TWI390993B (zh) 2005-10-20 2013-03-21 Lg Electronics Inc 用於將多頻道音訊信號編碼與解碼之方法及其裝置
US7991494B2 (en) * 2006-02-23 2011-08-02 Lg Electronics Inc. Method and apparatus for processing an audio signal

Also Published As

Publication number Publication date
JP2009512893A (ja) 2009-03-26
EP1952392A1 (en) 2008-08-06
WO2007046660A1 (en) 2007-04-26
US8804967B2 (en) 2014-08-12
US20100310079A1 (en) 2010-12-09
EP1952392A4 (en) 2009-07-22
JP2009512892A (ja) 2009-03-26
KR20080086550A (ko) 2008-09-25
ES2587999T3 (es) 2016-10-28
US8498421B2 (en) 2013-07-30
WO2007046659A1 (en) 2007-04-26
EP1952391A4 (en) 2009-07-22
US20080262853A1 (en) 2008-10-23
KR20070043651A (ko) 2007-04-25
EP1952391A1 (en) 2008-08-06
JP5536335B2 (ja) 2014-07-02
KR101165640B1 (ko) 2012-07-17
KR20080066808A (ko) 2008-07-16
KR100866885B1 (ko) 2008-11-04
US20080255859A1 (en) 2008-10-16
US20110085669A1 (en) 2011-04-14
EP1952391B1 (en) 2017-10-11
EP1952392B1 (en) 2016-07-20

Similar Documents

Publication Publication Date Title
JP5507844B2 (ja) マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置
JP4601669B2 (ja) マルチチャネル信号またはパラメータデータセットを生成する装置および方法
JP5054034B2 (ja) 符号化/復号化装置及び方法
JP5455647B2 (ja) オーディオデコーダ
EP1914723B1 (en) Audio signal encoder and audio signal decoder
CN101385075B (zh) 用于编码/解码信号的装置和方法
US20070168183A1 (en) Audio distribution system, an audio encoder, an audio decoder and methods of operation therefore
JP2011209745A (ja) マルチチャンネル・エンコーダ
JP2009536360A (ja) オーディオ復号
JP2012516596A (ja) ダウンミックスオーディオ信号をアップミックスするためのアップミキサー、方法、および、コンピュータ・プログラム
KR20160003572A (ko) 다채널 오디오 신호 처리 방법 및 장치
CN101292285B (zh) 编码和解码多声道音频信号的方法及其装置
TWI390993B (zh) 用於將多頻道音訊信號編碼與解碼之方法及其裝置
KR20160101692A (ko) 다채널 신호 처리 방법 및 상기 방법을 수행하는 다채널 신호 처리 장치
MX2008009565A (en) Apparatus and method for encoding/decoding signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120524

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140320

R150 Certificate of patent or registration of utility model

Ref document number: 5507844

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250