JP5249038B2

JP5249038B2 - 信号処理で時間遅延を補償する方法

Info

Publication number: JP5249038B2
Application number: JP2008537581A
Authority: JP
Inventors: スクパン，ヒー; スーキム，ドン; ヒュンリム，ジェ; オオー，ヒェン; ウォンジュン，ヤン
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2005-10-24
Filing date: 2006-10-02
Publication date: 2013-07-31
Anticipated expiration: 2026-10-02
Also published as: TW200723247A; EP1952674B1; AU2006306942B2; HK1126071A1; AU2006306942A1; TW200718259A; JP5249039B2; TWI317246B; KR100888974B1; TW200719747A; TWI317245B; EP1952674A1; WO2007049862A8; EP1952672A2; CN101297597A; JP2009513085A; US20070094012A1; WO2007049861A1; EP1952674A4; KR100888972B1

Description

本発明は、信号処理に関するものである。

多チャネルオーディオコーディング（一般的に、空間オーディオコーディングという。）は、多チャネルオーディオ信号の空間イメージを各空間パラメータの圧縮されたセットに捕えることができる。ここで、空間パラメータは、伝送されたダウンミックス信号から高音質の多チャネル信号を合成するために用いられる。

多様なコーディング設計が支援される多チャネルオーディオシステムにおいて、ダウンミックス信号は、信号処理（例えば、時間-周波数ドメイン変換）過程のために、他のダウンミックス信号及び／または対応する各空間パラメータに比べて時間的に遅延される。

本発明は、ダウンミックス信号及び空間情報を含むオーディオ信号を受信する段階と、前記ダウンミックス信号を第１ドメインから第２ドメインに変換する段階と、前記変換されたダウンミックス信号と前記空間情報とを結合する段階を含み、前記結合されたダウンミックス信号及び前記結合された空間情報のうち少なくとも一つは、前記変換過程で経過した時間だけ遅延されることを特徴とするオーディオ信号処理方法を提供する。

以下、本発明の好適な実施例に対して説明するが、これら各例は、添付の図面に示されている。

オーディオ信号は、多様なドメイン上で信号処理が可能であり、特に、時間ドメイン上で信号処理されるので、オーディオ信号は、時間の配列を考慮して適切に信号処理する必要がある。

したがって、オーディオ信号のドメインは、オーディオ信号処理過程で変換される。前記オーディオ信号のドメインの変換は、時間／周波数ドメイン変換及びコンプレックスドメイン変換を含むことができる。前記時間／周波数ドメイン変換は、時間ドメイン信号の周波数ドメイン信号への変換、及び周波数ドメイン信号の時間ドメイン信号への変換のうち少なくとも一つを含むことができる。前記コンプレックスドメイン変換は、前記オーディオ信号処理動作でのコンプレックスによるドメイン変換を意味する。また、前記コンプレックスドメイン変換は、リアル周波数ドメインにある信号のコンプレックス（ｃｏｍｐｌｅｘ）周波数ドメインへの変換、及びコンプレックス周波数ドメインにある信号のリアル周波数ドメインへの変換などを含むことができる。オーディオ信号が時間配列を考慮せずに処理される場合、音質が低下するおそれがある。遅延過程は、前記配列過程で行われる。前記遅延過程は、エンコーディング遅延及びデコーディング遅延のうち少なくとも一つを含むことができる。前記エンコーディング遅延は、エンコーディング過程において考慮された遅延によって信号が遅延されることを意味する。前記デコーディング遅延は、デコーディングする間に表れた実際の時間遅延を意味する。

本発明を説明する前に、本明細書で使用される用語を次のように定義する。

本明細書で使用される「ダウンミックス連結ドメイン」とは、多チャネルオーディオ信号を生成する多チャネルデコーディング部で伝送を受けられるダウンミックス信号のドメインをいい、「レジデュアル連結ドメイン」とは、前記多チャネルデコーディング部で伝送を受けられるレジデュアル信号のドメインをいう。そして「時系列データ」とは、多チャネルオーディオ信号との時間同期化または時間の配列が必要なデータで、例えば、動画像、イメージ及びテキストなどがある。また、「リーディング（Ｌｅａｄｉｎｇ）」とは、信号を特定時間だけ操り上げることをいい、「ラギング（Ｌａｇｇｉｎｇ）」とは、信号を特定時間だけ遅延させることをいう。また、「空間情報」とは、多チャネルオーディオ信号を合成するための情報を意味する。前記空間情報は、空間パラメータを含むことができる。例えば、前記空間パラメータは、二つのチャネル間のエネルギー差を意味するＣＬＤ（ｃｈａｎｎｅｌｌｅｖｅｌｄｉｆｆｅｒｅｎｃｅ）、二つのチャネル間の相関関係を意味するＩＣＣ（ｉｎｔｅｒｃｈａｎｎｅｌｃｏｈｅｒｅｎｃｅｓ）、及び二つのチャネルから三つのチャネルを生成するときに用いられる予測係数であるＣＰＣ（ｃｈａｎｎｅｌｐｒｅｄｉｃｔｉｏｎｃｏｅｆｆｉｃｉｅｎｔｓ）などを含むことができるが、これに限定されることはない。

本明細書におけるオーディオ信号のデコーディングは、信号処理方法の一例になり得る。また、本発明は、他の種類の信号処理にも適用される。例えば、ビデオ信号の処理方法にも適用される。本明細書の各実施例は、多様な種類のドメインで表現可能な多様な信号を含むように修正される。前記ドメインは、時間、ＱＭＦ（ＱｕａｄｒａｔｕｒｅＭｉｒｒｏｒＦｉｌｔｅｒ）、ＭＤＣＴ（ＭｏｄｉｆｉｅｄＤｉｓｃｒｅｅｔＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）、コンプレックスなどを含むことができるが、これに限定されることはない。

本発明の一実施例に係るオーディオ信号の処理方法は、ダウンミックス信号と空間情報とを結合して多チャネルオーディオ信号を生成する方法を提供することができる。この場合、複数個のダウンミックス連結ドメイン（例えば、時間ドメイン、ＱＭＦ、ＭＤＣＴ）が存在しうる。各ドメイン間の変換は、ダウンミックス信号の処理過程で時間遅延を発生させるおそれがあるので、ダウンミックス信号と前記ダウンミックス信号に対応する空間情報との間の時間同期差を補償する段階が必要となる。時間同期差を補償する段階は、前記ダウンミックス信号及び前記空間情報のうち少なくとも一つを遅延させる段階を含むことができる。以下、図面に基づいて、二つの信号間の時間同期差及び／または各信号と各パラメータとの間の時間同期差を補償するための多様な実施例を説明する。

ここで、装置は、ハードウェアの実施例に限定して解析されてはならない。本発明の各実施例は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの結合などに用いられる。

本発明の各実施例は、コンピュータで読み取り可能な記録媒体の命令で行われる。プロセッサ（例えば、コンピュータプロセッサ）によって行われるとき、プロセッサは、本発明の多様な面を提供する各動作を行うようになる。前記コンピュータで読み取り可能な記録媒体とは、遂行のためのプロセッサに命令を提供する媒体を意味する。例えば、前記媒体は、非揮発性媒体（例えば、光または磁気ディスク）、揮発性媒体（例えば、メモリ）、伝送媒体などを制限なしに含むことができる。前記伝送媒体は、光ケーブル、銅ケーブル、光繊維などを制限なしに含むことができる。また、前記伝送媒体は、音波、光またはラジオ周波数ウェーブなどの形態にもなり得る。

図１は、本発明の一実施例に係るオーディオ信号のデコーディング装置を示したブロック図である。

図１を参照すると、本発明の一実施例に係るオーディオ信号のデコーディング装置は、ダウンミックスデコーディング部１００及び多チャネルデコーディング部２００を含むことができる。

前記ダウンミックスデコーディング部１００は、ドメイン変換部１１０を含むことができる。したがって、ダウンミックスデコーディング部１００は、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ１をそのまま多チャネルデコーディング部２００に伝送することもできる。さらに、前記ダウンミックスデコーディング部１００は、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ１を変換部１１０を用いて時間ドメイン上のダウンミックス信号ＸＴ１に変換し、このダウンミックス信号ＸＴ１を多チャネルデコーディング部２００に伝送することもできる。オーディオ信号をＱＭＦドメインから時間ドメインに変換する技術は、既に知られており、公開的に利用可能なオーディオ信号処理標準（例えば、ＭＰＥＧ）で取り扱われてきた。

多チャネルデコーディング部２００は、ダウンミックス信号ＸＴ１またはＸＱ１及び空間情報ＳＩ１またはＳＩ２を用いて多チャネルオーディオ信号ＸＭ１を生成する。

図２は、本発明の他の実施例に係るオーディオ信号のデコーディング装置を示したブロック図である。

図２を参照すると、本発明の一実施例に係るオーディオ信号のデコーディング装置は、ダウンミックスデコーディング部１００ａ、多チャネルデコーディング部２００ａ及びドメイン変換部３００ａで構成される。

図示したように、ダウンミックスデコーディング部１００ａは、ドメイン変換部１１０ａを備えている。したがって、ダウンミックスデコーディング部１００ａは、ＭＤＣＴドメイン上で信号処理されたダウンミックス信号Ｘｍをそのまま出力することもでき、ＭＤＣＴドメイン上で信号処理されたダウンミックス信号Ｘｍを変換部１１０ａを用いて時間ドメイン上のダウンミックス信号ＸＴ２に変換し、このダウンミックス信号ＸＴ２を出力することもできる。

そして、タイムドメイン上のダウンミックス信号ＸＴ２は、多チャネルデコーディング部２００ａに伝送され、ＭＤＣＴドメイン上のダウンミックス信号Ｘｍは、ドメイン変換部３００ａを経てＱＭＦドメイン上のダウンミックス信号ＸＱ２に変換された後、多チャネルデコーディング部２００ａに伝送される。

そして、多チャネルデコーディング部２００ａは、伝送されたダウンミックス信号ＸＴ２またはＸＱ２及び空間情報ＳＩ３またはＳＩ４を用いて多チャネルオーディオ信号ＸＭ２を生成する。

図３は、本発明の一実施例に係るオーディオ信号のデコーディング装置を示したブロック図である。

図３を参照すると、本発明の一実施例に係るオーディオ信号のデコーディング装置は、ダウンミックスデコーディング部１００ｂ、多チャネルデコーディング部２００ｂ、レジデュアルデコーディング部４００ｂ及びドメイン変換部５００ｂで構成される。

前記ダウンミックスデコーディング部１００ｂは、ドメイン変換部１１０ｂを含むことができる。前記ダウンミックスデコーディング部１００ｂは、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ３をそのまま多チャネルデコーディング部２００ｂに伝送することもでき、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ３を変換部１１０ｂを用いて時間ドメイン上のダウンミックス信号ＸＴ３に変換し、このダウンミックス信号ＸＴ３を多チャネルデコーディング部２００ｂに伝送することもできる。

エンコーディングされたレジデュアル信号ＲＢは、レジデュアルデコーディング部４００ｂに入力されて信号処理される。信号処理されたレジデュアル信号ＲＭは、ＭＤＣＴドメイン上の信号である。レジデュアル信号（例えば、予測誤差信号）は、通常、オーディオコーディングアプリケーションで用いられる。

そして、ＭＤＣＴドメイン上のレジデュアル信号ＲＭは、ドメイン変換部５００ｂを経てＱＭＦドメイン上のレジデュアル信号ＲＱに変換され、多チャネルデコーディング部２００ｂに伝送される。

一方、レジデュアルデコーディング部４００ｂで信号処理されて出力されるレジデュアル信号のドメインがレジデュアル連結ドメインであると、信号処理されたレジデュアル信号は、ドメイン変換過程を経ずに多チャネルデコーディング部２００ｂに伝送される。

また、図面によると、ドメイン変換部５００ｂは、ＭＤＣＴドメイン上のレジデュアル信号ＲＭをＱＭＦドメイン上のダウンミックス信号ＲＱに変換するが、本発明は、これに限定されるものでない。すなわち、ドメイン変換部５００ｂは、レジデュアルデコーディング部４００ｂで出力されたレジデュアル信号ＲＭをレジデュアル連結ドメインのうち何れか一つのドメイン上の信号に変換することができる。

上述したように、複数個のダウンミックス連結ドメインが存在することから、ダウンミックス信号と空間情報との間に時間同期差が発生しうるので、これを補償する必要がある。

以下、これに対して一層具体的に説明する。

本発明の一実施例に係るオーディオ信号の処理は、ダウンミックス信号及び空間情報が含まれたエンコーディングされたオーディオ信号をデコーディングし、多チャネルオーディオ信号を生成することである。

前記ダウンミックス信号及び前記空間情報は、デコーディング時に互いに異なる処理過程を経るので、互いに異なる時間遅延が発生する。したがって、前記ダウンミックス信号及び前記空間情報は、エンコーディング時に時間同期が合わせられてエンコーディングされる。

この場合、前記ダウンミックス信号及び前記空間情報は、ダウンミックスデコーディング部１００，１００ａまたは１００ｂで信号処理されたダウンミックス信号が多チャネルデコーディング部２００，２００ａまたは２００ｂに伝送されるドメインを考慮して、前記時間同期が合わせられる。

一例として、ダウンミックスコーディング識別子は、エンコーディングされたオーディオ信号に含まれることができ、前記ダウンミックスコーディング識別子によって、前記ダウンミックス信号と空間情報との間の時間同期が合わせられたドメインを把握することができる。この場合、前記ダウンミックスコーディング識別子は、ダウンミックス信号のデコーディング方式に対する情報を表す。

例えば、ダウンミックスコーディング識別子がＡＡＣ（ＡｄｖａｎｃｅｄＡｕｄｉｏＣｏｄｉｎｇ）というデコーディング方式に対する情報を意味する場合、エンコーディングされたオーディオ信号は、エンコーディングされたダウンミックス信号がＡＡＣデコーダでデコーディングされる場合を想定して設けたものである。そして、前記ダウンミックスコーディング識別子によって、ダウンミックス信号と空間情報との間の時間同期が合わせられたドメインを知ることもできる。

本発明の一実施例に係るオーディオ信号処理方法によると、ダウンミックス信号は、時間同期が合わせられたドメインと異なるドメイン上で処理され、多チャネルデコーディング部２００，２００ａまたは２００ｂに伝送される。この場合、デコーディング部２００，２００ａまたは２００ｂは、ダウンミックス信号と空間情報との間の時間同期差を補償し、多チャネルオーディオ信号を生成することができる。

以下、図１及び図４を参照して、ダウンミックス信号と空間情報との間の時間同期差を補償する方法に対して説明する。

図４は、図１に示した多チャネルデコーディング部で信号処理される方法を説明するためのブロック図である。

図１及び図４を参照すると、本発明の一実施例に係るオーディオ信号の処理方法によると、ダウンミックスデコーディング部１００で信号処理されたダウンミックス信号は、二つのドメインのうち何れか一つのドメイン上で多チャネルデコーディング部２００に伝送される。本実施例において、ダウンミックス信号と空間情報は、ＱＭＦドメイン上で時間同期が合わせられたと仮定して説明するが、本発明は、これに限定されるものでなく、ＱＭＦドメインでない他のドメイン上でダウンミックス信号と空間情報との間の時間同期が合わせられたオーディオ信号を処理することもできる。

以下、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ１が多チャネルデコーディング部２００に伝送されて信号処理される場合を説明する。伝送されたダウンミックス信号ＸＱ１は、多チャネル生成部２３０で空間情報ＳＩ１と結合された後、多チャネルオーディオ信号ＸＭ１を生成する。この場合、空間情報ＳＩ１は、エンコーディング時に時間同期が合わせられた時間だけ遅延された後で結合される。前記遅延は、エンコーディング遅延でもある。また、空間情報ＳＩ１とダウンミックス信号ＸＱ１は、エンコーディング時に時間同期が合わせられているので、特別に同期を合せる処理過程なしに多チャネルオーディオ信号を生成することができる。すなわち、前記空間情報ＳＩ１は、このような場合、デコーディング遅延によって遅延されない。

以下、時間ドメイン上で信号処理されたダウンミックス信号ＸＴ１が多チャネルデコーディング部２００に伝送されて信号処理される場合を説明する。

ＱＭＦドメイン上のダウンミックス信号ＸＱ１は、ドメイン変換部１１０を経て時間ドメイン上のダウンミックス信号ＸＴ１に変換される。時間ドメイン上のダウンミックス信号ＸＴ１は、多チャネルデコーディング部２００に伝送される。

図４を参照すると、伝送されたダウンミックス信号ＸＴ１は、ドメイン変換部２１０でＱＭＦドメイン上のダウンミックス信号Ｘｑ１に変換される。時間ドメイン上のダウンミックス信号ＸＴ１が多チャネルデコーディング部２００に伝送されるとき、ダウンミックス信号Ｘｑ１または空間情報ＳＩ２のうち少なくとも一つは、時間遅延補償の遂行後に多チャネル生成部２３０に伝送されるべきである。そして、多チャネル生成部２３０は、伝送されたダウンミックス信号Ｘｑ１’と空間情報ＳＩ２’とを結合して多チャネルオーディオ信号ＸＭ１を生成することができる。

一方、ダウンミックス信号Ｘｑ１または空間情報ＳＩ２のうち少なくとも一つに時間遅延補償が行われるべき理由は、エンコーディング時に空間情報とダウンミックス信号との間の時間同期がＱＭＦドメインで合わせられたためである。したがって、ドメインが変換されたダウンミックス信号Ｘｑ１は、信号遅延処理部２２０でずれた時間同期差だけ補償された後、多チャネル生成部２３０に入力される。

前記時間同期差を補償する方法は、ダウンミックス信号Ｘｑ１を時間同期差だけリーディングさせることである。ここで、時間同期差は、ダウンミックスデコーディング部１００のドメイン変換部１１０で発生した遅延時間と、多チャネルデコーディング部２００のドメイン変換部２１０で発生した遅延時間との合計になり得る。

また、空間情報ＳＩ２の時間遅延を補償することで、上述した時間同期差を補償することができる。これによって、空間情報ＳＩ２は、上述した時間同期差だけ空間情報遅延処理部２４０でラギングされた後、多チャネル生成部２３０に伝送される。

しかしながら、実際に遅延される空間情報の遅延値は、ずれた時間同期差と、既に時間同期が合わせられた時間遅延との合計になる。すなわち、前記遅延された空間情報は、エンコーディング遅延及びデコーディング遅延によって遅延されたものである。これは、ダウンミックスデコーディング部１００で発生するダウンミックス信号と空間情報との間の時間同期差と、多チャネルデコーディング部２００で発生する時間同期差との合計でもある。実際に遅延される空間情報ＳＩ２の遅延値は、フィルタ（例えば、ＱＭＦ、ハイブリッドフィルターバンク）の性能及び遅延を考慮して決定される。

例えば、フィルタの性能及び遅延を考慮した空間情報遅延値は、９６１タイムサンプルになり得る。前記空間情報の遅延値を分析してみると、ダウンミックスデコーディング部１００で発生した時間同期差が２５７タイムサンプルで、多チャネルデコーディング部２００で発生した時間同期差が７０４タイムサンプルである。上述した遅延値は、タイムサンプル単位で表現したが、タイムサンプルの他にタイムスロット単位で表現することも可能である。

図５は、図２に示した多チャネルデコーディング部で信号処理される方法を説明するためのブロック図である。以下、図２及び図５を参照して説明する。

図示したように、本発明の一実施例に係るオーディオ信号の処理方法によると、ダウンミックスデコーディング部１００ａで信号処理されたダウンミックス信号は、二つのドメインのうち何れか一つのドメイン上で多チャネルデコーディング部２００ａに伝送される。本実施例において、ダウンミックス信号と空間情報は、時間ドメイン上で時間同期が合わせられたと仮定して説明するが、本発明は、これに限定されるものでなく、時間ドメインでない他のドメイン上でダウンミックス信号と空間情報が合わせられたオーディオ信号を処理することもできる。

以下、時間ドメイン上で信号処理されたダウンミックス信号ＸＴ２が多チャネルデコーディング部２００ａに伝送されて信号処理される場合を説明する。ＭＤＣＴドメイン上のダウンミックス信号Ｘｍは、ドメイン変換部１１０ａを経て時間ドメイン上のダウンミックス信号ＸＴ２に変換される。変換されたダウンミックス信号ＸＴ２は、多チャネルデコーディング部２００ａに伝送される。伝送されたダウンミックス信号ＸＴ２は、ドメイン変換部２１０ａを経てＱＭＦドメイン上のダウンミックス信号Ｘｑ２に変換されて多チャネル生成部２３０ａに伝送される。伝送されたダウンミックス信号Ｘｑ２は、多チャネル生成部２３０ａで空間情報ＳＩ３と結合された後、多チャネルオーディオ信号ＸＭ２を生成する。

この場合、空間情報ＳＩ３は、エンコーディング時に時間同期が合わせられた時間だけ遅延された後、ダウンミックス信号Ｘｑ２と結合される。また、空間情報ＳＩ３とダウンミックス信号Ｘｑ２は、エンコーディング時に時間同期が合わせられているので、特別に同期を合せる処理過程なしに多チャネルオーディオ信号を生成することができる。すなわち、ここで、前記空間情報ＳＩ３は、デコーディング遅延によって遅延されたものでない。

以下、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ２が多チャネルデコーディング部２００ａに伝送されて信号処理される場合を説明する。

ＭＤＣＴドメイン上で信号処理されたダウンミックス信号Ｘｍは、ダウンミックスデコーディング部１００ａから出力される。出力されたダウンミックス信号Ｘｍは、ドメイン変換部３００ａを経てＱＭＦドメイン上のダウンミックス信号ＸＱ２に変換される。変換されたダウンミックス信号ＸＱ２は、多チャネルデコーディング部２００ａに伝送される。

ＱＭＦドメイン上のダウンミックス信号ＸＱが多チャネルデコーディング部２００ａに伝送されるとき、ダウンミックス信号ＸＱ２または空間情報ＳＩ４のうち少なくとも一つは、時間遅延補償の遂行後に多チャネル生成部２３０ａに伝送されるべきである。そして、多チャネル生成部２３０ａは、伝送されたダウンミックス信号ＸＱ２’と空間情報ＳＩ４’とを結合して多チャネルオーディオ信号ＸＭ２を生成することができる。

一方、ダウンミックス信号ＸＱ２または空間情報ＳＩ４のうち少なくとも一つに時間遅延補償が行われるべき理由は、エンコーディング時に空間情報とダウンミックス信号との間の時間同期が時間ドメインで合わせられたためである。したがって、ドメインが変換されたダウンミックス信号ＸＱ２は、信号遅延処理部２２０ａでずれた時間同期差だけ補償された後、多チャネル生成部２３０ａに入力される。

前記時間同期差を補償する方法は、ダウンミックス信号ＸＱ２を時間同期差だけラギングさせることである。ここで、時間同期差は、ダウンミックスデコーディング部１００のドメイン変換部１１０ａで発生した遅延時間と多チャネルデコーディング部２００ａのドメイン変換部２１０ａで発生した遅延時間との合計と、ドメイン変換部３００ａで発生した遅延時間との差をいう。

また、空間情報ＳＩ４の時間遅延を補償することで、上述した時間同期差を補償することができる。これによって、空間情報ＳＩ４は、上述した時間同期差だけ空間情報遅延処理部２４０ａでリーディングされた後、多チャネル生成部２３０ａに伝送される。しかし、実際に遅延される空間情報の遅延値は、ずれた時間同期差と、既に時間同期が合わせられた時間遅延との合計になる。すなわち、前記遅延された空間情報ＳＩ４’は、エンコーディング遅延及びデコーディング遅延によって遅延されたものである。

一方、本発明の一実施例に係るオーディオ信号の処理方法は、デコーディング方式が異なることから発生する遅延時間を補償し、オーディオ信号を処理する方法を含む。以下、これに対して具体的に説明する。

本発明の一実施例に係るオーディオ信号の処理方法は、エンコーディング時に特定のデコーディング方式を想定してダウンミックス信号と空間情報との間の時間同期が合わせられたオーディオ信号をエンコーディングし、このエンコーディングされたオーディオ信号をデコーディングする。デコーディング方式の例としては、音質に基づいたデコーディング方式及び電力に基づいたデコーディング方式がある。音質に基づいたデコーディング方式の例としては、高音質バージョンがあり、電力に基づいたデコーディング方式の例としては、低電力バージョンがある。高音質バージョンとは、低電力バージョンと比較して相対的に精錬された音質の多チャネルオーディオ信号を出力するデコーディング方式をいい、低電力バージョンとは、相対的に高音質バージョンより低下した音質を有するが、高音質バージョンに比べて構成が複雑でなく、電力消耗が相対的に少ないデコーディング方式をいう。

以下、デコーディング方式を高音質バージョンと低電力バージョンを例に挙げて説明するが、本発明は、これに限定されるものでなく、より多様なデコーディング方式が存在しうる。

図６は、本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。

図６を参照すると、本発明に係るデコーディング装置は、ダウンミックスデコーディング部１００ｃ及び多チャネルデコーディング部２００ｃを含むことができる。

図示したように、ダウンミックスデコーディング部１００ｃで信号処理されたダウンミックス信号ＸＴ４は、多チャネルデコーディング部２００ｃに伝送され、空間情報ＳＩ７またはＳＩ８と結合されて多チャネルオーディオ信号Ｍ１またはＭ２を生成する。信号処理されたダウンミックス信号ＸＴ４は、時間ドメイン上の信号である。

符号化されたダウンミックス信号ＤＢがダウンミックスデコーディング部１００ｃに伝送されて信号処理され、信号処理されたダウンミックス信号ＸＴ４は、多チャネルデコーディング部２００ｃに伝送され、二つのデコーディングバージョン（高音質バージョンまたは低電力バージョン）のうち何れか一つによって多チャネルオーディオ信号を生成する。

信号処理されたダウンミックス信号ＸＴ４が低電力バージョンでデコーディングされる場合、ダウンミックス信号ＸＴ４は、Ｐ２経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ４は、ドメイン変換部２４０ｃを経てリアル（Ｒｅａｌ）ＱＭＦドメイン上の信号ＸＲＱに変換される。

そして、変換されたダウンミックス信号ＸＲＱは、ドメイン変換部２５０ｃを経てコンプレックスＱＭＦドメイン上の信号ＸＣＱ２に変換される。コンプレックスＱＭＦドメイン上の信号ＸＣＱ２は、多チャネル生成部２６０ｃで空間情報ＳＩ８と結合された後、多チャネルオーディオ信号Ｍ２を生成する。

以上のように、ダウンミックス信号ＸＴ４を低電力デコーディングバージョンでデコーディングするとき、別途の遅延処理手順が必要でない。その理由は、オーディオ信号のエンコーディング時に、既に低電力バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられてエンコーディングされたためである。すなわち、前記ダウンミックス信号ＸＲＱは、デコーディング遅延によって遅延されていない。

一方、信号処理されたダウンミックス信号ＸＴ４が高音質バージョンでデコーディングされる場合、ダウンミックス信号ＸＴ４は、Ｐ１経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ４は、ドメイン変換部２１０ｃを経てコンプレックスＱＭＦドメイン上の信号ＸＣＱ１に変換される。そして、変換されたダウンミックス信号ＸＣＱ１は、信号遅延処理部２２０ｃでダウンミックス信号ＸＣＱ１と空間情報ＳＩ７との間の時間同期差だけ遅延される。そして、遅延されたダウンミックス信号ＸＣＱ’は、多チャネル生成部２３０ｃで空間情報ＳＩ７と結合された後、多チャネルオーディオ信号Ｍ１を生成する。

上記のように、ダウンミックス信号ＸＣＱ１が信号遅延処理部２２０ｃを経る理由は、低電力バージョンが使用されると仮定してオーディオ信号がエンコーディングされることで、ダウンミックス信号ＸＣＱ１と空間情報ＳＩ７との間に時間同期差が発生するためである。

時間同期差は、使用されるデコーディング方式による時間遅延差を意味する。例えば、時間遅延差は、低電力バージョンのデコーディング方式と高音質バージョンのデコーディング方式との差のために発生しうる。前記時間遅延差は、ダウンミックス信号と空間情報信号とが結合される時点まで考慮される。その理由は、前記ダウンミックス信号と前記空間情報信号とが結合される時点まで、前記ダウンミックス信号と前記空間情報信号とを同期化させる必要がない場合もあるためである。

低電力バージョンでデコーディングを行う場合にダウンミックス信号ＸＣＱ２と空間情報ＳＩ８とが結合される時点まで発生する遅延時間と、高音質バージョンでデコーディングを行う場合にダウンミックス信号ＸＣＱ１’と空間情報ＳＩ７とが結合される時点まで発生する遅延時間とが同一になるように、前記時間同期差が決定される。時間遅延の単位としては、タイムサンプルを使用することもでき、タイムスロットを使用することもできる。

一方、ドメイン変換部２１０ｃで発生する遅延時間と、ドメイン変換部２４０ｃで発生する遅延時間とが同一である場合、信号遅延処理部２２０ｃは、ドメイン変換部２５０ｃで発生する遅延時間だけダウンミックス信号ＸＣＱ１を遅延させればよい。

図面に示した実施例では、２個のデコーディング方式が多チャネルデコーディング部２００ｃに存在する場合を例に挙げて説明したが、本発明では、多チャネルデコーディング部内に一つのデコーディング方式のみが存在することもある。

また、上述した実施例では、低電力バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられた場合を例に挙げて説明したが、本発明は、高音質バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられた場合も含む。この場合、低電力バージョンで時間同期が合わせられた場合と反対にダウンミックス信号をリーディングさせればよい。

図７は、本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。

図７を参照すると、本発明に係るデコーディング装置は、ダウンミックスデコーディング部１００ｄ及び多チャネルデコーディング部２００ｄで構成される。

ダウンミックスデコーディング部１００ｄで信号処理されたダウンミックス信号ＸＴ４は、多チャネルデコーディング部２００ｄに伝送され、空間情報ＳＩ７’またはＳＩ８と結合されて多チャネルオーディオ信号Ｍ３またはＭ２を生成する。信号処理されたダウンミックス信号ＸＴ４は、時間ドメイン上の信号である。

符号化されたダウンミックス信号ＤＢがダウンミックスデコーディング部１００ｄに伝送されて信号処理され、信号処理されたダウンミックス信号ＸＴ４は、多チャネルデコーディング部２００ｄに伝送され、二つのデコーディング方式（高音質方式または低電力方式）のうち何れか一つによって多チャネルオーディオ信号を生成する。

信号処理されたダウンミックス信号ＸＴ４が低電力方式でデコーディングされる場合、ダウンミックス信号ＸＴ４は、Ｐ４経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ４は、ドメイン変換部２４０ｄを経てリアルＱＭＦドメイン上の信号ＸＲＱに変換される。そして、変換されたダウンミックス信号ＸＲＱは、ドメイン変換部２５０ｄを経てコンプレックスＱＭＦドメイン上の信号ＸＣＱ２に変換される。前記ダウンミックス信号ＸＲＱの前記ダウンミックス信号ＸＣＱ２への変換は、コンプレックスドメイン変換の例として見なすことができる。

コンプレックスＱＭＦドメイン上の信号ＸＣＱ２は、多チャネル生成部２６０ｄで空間情報ＳＩ８と結合された後、多チャネルオーディオ信号Ｍ２を生成する。

以上のように、ダウンミックス信号ＸＴ４を低電力デコーディング方式でデコーディングするとき、別途の遅延処理手順が必要でない。その理由は、オーディオ信号のエンコーディング時に、既に低電力方式でダウンミックス信号と空間情報との間の時間同期が合わせられてエンコーディングされたためである。すなわち、前記空間情報ＳＩ８は、デコーディング遅延によって遅延されていない。

一方、信号処理されたダウンミックス信号ＸＴ４が高音質方式でデコーディングされる場合、ダウンミックス信号ＸＴ４は、Ｐ３経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ４は、ドメイン変換部２１０ｄを経てコンプレックスＱＭＦドメイン上の信号ＸＣＱ１に変換される。

そして、変換されたダウンミックス信号ＸＣＱ１は、多チャネル生成部２３０ｄに伝送されて空間情報ＳＩ７’と結合された後、多チャネルオーディオ信号Ｍ３を生成する。空間情報ＳＩ７’は、空間情報ＳＩ７が空間情報遅延処理部２２０ｄを経ることで時間遅延が補償された空間情報である。

上記のように、空間情報ＳＩ７が空間情報遅延処理部２２０ｄを経る理由は、低電力デコーディング方式が使用されると仮定してオーディオ信号がエンコーディングされることで、ダウンミックス信号ＸＣＱ１と空間情報ＳＩ７との間に時間同期差が発生するためである。

低電力バージョンでデコーディングを行う場合にダウンミックス信号ＸＣＱ２と空間情報ＳＩ８とが結合される時点まで発生する遅延時間と、高音質バージョンでデコーディングを行う場合にダウンミックス信号ＸＣＱ’と空間情報ＳＩ７’とが結合される時点まで発生する遅延時間とが同一になるように、前記時間同期差が決定される。時間遅延の単位としては、タイムサンプルを使用することもでき、タイムスロットを使用することもできる。

一方、ドメイン変換部２１０ｄで発生する遅延時間と、ドメイン変換部２４０ｄで発生する遅延時間とが同一である場合、空間情報遅延処理部２２０ｄは、ドメイン変換部２５０ｄで発生する遅延時間だけ空間情報ＳＩ７をリーディングさせればよい。

図面に示した実施例では、２個のデコーディング方式が多チャネルデコーディング部２００ｄに存在する場合を例に挙げて説明したが、本発明では、多チャネルデコーディング部内に一つのデコーディング方式のみが存在することもある。

また、上述した実施例では、低電力バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられた場合を例に挙げて説明したが、本発明は、高音質バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられた場合も含む。この場合、低電力バージョンで時間同期が合わせられた場合と反対に空間情報をラギングさせればよい。

また、図６乃至図７に示すように、多チャネルデコーディング部２００ｃまたは２００ｄ内に信号遅延処理部２２０ｃまたは空間情報遅延処理部２２０ｄのうち一つのみがある場合を例に挙げて説明したが、本発明は、多チャネルデコーディング部内に空間情報遅延処理部と信号遅延処理部とが同時にある場合も含む。この場合、空間情報遅延処理部２２０ｄで遅延補償する時間と信号遅延処理部２２０ｃで遅延補償する時間との合計は、時間同期差と同一でなければならない。

以上、複数個のダウンミックス連結ドメインが存在することから発生する時間同期差補償方法と、複数個のデコーディング方式が存在することから発生する時間同期差補償方法に対して説明した。

以下では、複数個のダウンミックス連結ドメインが存在するとともに、複数個のデコーディング方式が存在することから発生する時間同期差補償方法に対して説明する。

図８は、本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。

図８を参照すると、本発明に係るデコーディング装置は、ダウンミックスデコーディング部１００ｅ及び多チャネルデコーディング部２００ｅを含むことができる。

図示したように、本発明の一実施例に係るオーディオ信号の処理方法によると、ダウンミックスデコーディング部１００ｅで信号処理されたダウンミックス信号は、二つのドメインのうち何れか一つのドメイン上で多チャネルデコーディング部２００ｅに伝送される。本実施例において、ダウンミックス信号と空間情報は、ＱＭＦドメイン上で低電力バージョンに基づいて時間同期が合わせられたと仮定して説明するが、本発明は、これに限定されるものでなく、多様な変形が可能である。

まず、ＱＭＦドメイン上で処理されたダウンミックス信号ＸＱ５が多チャネルデコーディング部２００ｅに伝送されて信号処理される方法を説明する。この場合、前記ダウンミックス信号ＸＱ５は、コンプレックスＱＭＦ信号ＸＣＱ５及び実際のＱＭＦ信号ＸＲＱ５のうち何れか一つである。前記コンプレックスＱＭＦ信号ＸＣＱ５は、ダウンミックスデコーディング部１００ｅで高音質デコーディング方式によって処理された信号である。そして、前記実際のＱＭＦ信号ＸＲＱ５は、ダウンミックスデコーディング部１００ｅで低電力デコーディング方式によって処理された信号である。

本発明の実施例において、前記ダウンミックスデコーディング部１００ｅで高音質デコーディング方式によって処理された信号は、高音質デコーディング方式の多チャネルデコーディング部２００ｅと連結されており、前記ダウンミックスデコーディング部１００ｅで低電力デコーディング方式によって処理された信号は、低電力デコーディング方式の多チャネルデコーディング部２００ｅと連結されていると仮定する。

図示したように、信号処理されたダウンミックス信号ＸＱ５が低電力バージョンでデコーディングされる場合、ダウンミックス信号ＸＱ５は、Ｐ６経路に沿って伝送されてデコーディングされる。ここで、前記ダウンミックス信号ＸＱ５は、リアルＱＭＦドメインのダウンミックス信号ＸＲＱ５である。

前記ダウンミックス信号ＸＲＱ５は、多チャネル生成部２３１ｅで空間情報ＳＩ１０と結合された後、多チャネルオーディオ信号Ｍ５を生成する。

以上のように、ダウンミックス信号ＸＱ５を低電力デコーディングバージョンでデコーディングするとき、別途の遅延処理手順が必要でない。その理由は、オーディオ信号のエンコーディング時に、既に低電力バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられてエンコーディングされたためである。

一方、信号処理されたダウンミックス信号ＸＱ５が高音質バージョンでデコーディングされる場合、ダウンミックス信号ＸＱ５は、Ｐ５経路に沿って伝送されてデコーディングされる。ここで、前記ダウンミックス信号ＸＱ５は、コンプレックスＱＭＦドメインのダウンミックス信号ＸＣＱ５である。前記ダウンミックス信号ＸＣＱ５は、多チャネル生成部２３０ｅで空間情報ＳＩ９と結合された後、多チャネルオーディオ信号Ｍ４を生成する。

以下、時間ドメイン上で処理されたダウンミックス信号ＸＴ５が多チャネルデコーディング部２００ｅに伝送されて信号処理される方法を説明する。

ダウンミックスデコーディング部１００ｅで信号処理されたダウンミックス信号ＸＴ５は、多チャネルデコーディング部２００ｅに伝送され、空間情報ＳＩ１１またはＳＩ１２と結合されて多チャネルオーディオ信号Ｍ６またはＭ７を生成する。

ダウンミックス信号ＸＴ５は、多チャネルデコーディング部２００ｅに伝送され、二つのデコーディング方式（高音質デコーディング方式または低電力デコーディング方式）のうち何れか一つによって多チャネルオーディオ信号を生成する。

信号処理されたダウンミックス信号ＸＴ５が低電力デコーディング方式でデコーディングされる場合、ダウンミックス信号ＸＴ５は、Ｐ８経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ５は、ドメイン変換部２４１ｅを経てリアルＱＭＦドメイン上の信号ＸＲに変換される。

そして、変換されたダウンミックス信号ＸＲは、ドメイン変換部２５０ｅを経てコンプレックスＱＭＦドメイン上の信号ＸＣ２に変換される。前記ダウンミックス信号ＸＲの前記信号ＸＣ２への変換は、コンプレックスドメイン変換の一例である。

コンプレックスＱＭＦドメイン上の信号ＸＣ２は、多チャネル生成部２３３ｅで空間情報ＳＩ１２’と結合された後、多チャネルオーディオ信号Ｍ７を生成する。

空間情報ＳＩ１２’は、空間情報ＳＩ１２が空間情報遅延処理部２４０ｅを経ることで時間遅延が補償された空間情報である。

上記のように、空間情報ＳＩ１２が空間情報遅延処理部２４０ｅを経る理由は、低電力デコーディング方式でダウンミックス信号と空間情報との間の時間同期が合わせられたドメインをＱＭＦドメインであると仮定して、オーディオ信号がエンコーディングされることで、ダウンミックス信号ＸＣ２と空間情報ＳＩ１２との間に時間同期差が発生するためである。ここで、前記遅延された空間情報ＳＩ１２’は、エンコーディング遅延及びデコーディング遅延によって遅延されたものである。

一方、信号処理されたダウンミックス信号ＸＴ５が高音質デコーディング方式でデコーディングされる場合、ダウンミックス信号ＸＴ５は、Ｐ７経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ５は、ドメイン変換部２４０ｅを経てコンプレックスＱＭＦドメイン上の信号ＸＣ１に変換される。

そして、変換されたダウンミックス信号ＸＣ１と前記空間情報ＳＩ１１は、それぞれ信号遅延処理部２５０ｅと空間情報遅延処理部２６０ｅでダウンミックス信号ＸＣ１と空間情報ＳＩ１１との間の時間同期差だけ時間遅延が補償される。

そして、時間遅延が補償されたダウンミックス信号ＸＣ１’は、多チャネル生成部２３２ｅで空間情報ＳＩ１１と結合された後、多チャネルオーディオ信号Ｍ６を生成する。

したがって、ダウンミックス信号ＸＣ１は信号遅延処理部２５０ｅを通過し、空間情報ＳＩ１１は空間情報遅延処理部２６０ｅを通過する。その理由は、低電力デコーディング方式でダウンミックス信号と空間情報との間の時間同期が合わせられたドメインをＱＭＦドメインであると仮定して、オーディオ信号がエンコーディングされることで、ダウンミックス信号ＸＣ２と空間情報ＳＩ１２との間に時間同期差が発生するためである。

図９は、本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。

図９を参照すると、本発明に係るデコーディング装置は、ダウンミックスデコーディング部１００ｆ及び多チャネルデコーディング部２００ｆを含むことができる。

エンコーディングされたダウンミックス信号ＤＢ１は、ダウンミックスデコーディング部１００ｆに伝送されて処理される。前記ダウンミックス信号ＤＢ１は、二つのダウンミックスデコーディング方式を考慮してエンコーディングされた信号である。前記二つのダウンミックスデコーディング方式は、第１デコーディング方式及び第２デコーディング方式を含むことができる。前記ダウンミックス信号ＤＢ１は、ダウンミックスデコーディング部１００ｆで一つのダウンミックスデコーディング方式によって処理される。前記一つのダウンミックスデコーディング方式は、前記第１デコーディング方式である。

前記処理されたダウンミックス信号ＸＴ６は、多チャネルオーディオ信号Ｍｆを生成するために多チャネルデコーディング部２００ｆに伝送される。

前記処理されたダウンミックス信号ＸＴ６’は、信号処理部２１０ｆでデコーディング遅延によって遅延される。前記ダウンミックス信号ＸＴ６’が遅延される理由は、エンコーディングで考慮されたダウンミックスデコーディング方式が、デコーディングで使用されたデコーディング方式と異なるためである。したがって、前記環境によって、前記ダウンミックス信号ＸＴ６’をアップサンプリングする必要がある。

前記遅延されたダウンミックス信号ＸＴ６’は、アップサンプリング部２２０ｆでアップサンプルされる。前記ダウンミックス信号ＸＴ６’がアップサンプルされる理由は、前記ダウンミックス信号ＸＴ６’のサンプル数が前記空間情報ＳＩ１３のサンプル数と異なるためである。

前記ダウンミックス信号ＸＴ６の遅延処理と前記ダウンミックス信号ＸＴ６’のアップサンプリング処理の順序は、互いに変わり得る。

前記アップサンプルされたダウンミックス信号ＵＸＴ６のドメインは、ドメイン処理部２３０ｆで変換される。前記ダウンミックス信号ＵＸＴ６のドメイン変換は、周波数／時間ドメイン変換及びコンプレックスドメイン変換を含むことができる。

そして、前記ドメインが変換されたダウンミックス信号ＵＸＴ６は、多チャネル生成部２６０ｄで空間情報ＳＩ１３と結合され、多チャネルオーディオ信号Ｍｆを生成する。

以上、ダウンミックス信号と空間情報との間に時間同期差が発生した場合、これを補償する方法に関して説明した。

以下では、上述した多様な方法によって生成された多チャネルオーディオ信号と時系列データとの間に時間同期差が発生した場合、これを補償する方法に対して説明する。

図１０は、本発明の一実施例に係るオーディオ信号のデコーディング装置を示したブロック図である。図１０を参照すると、本発明の一実施例に係るオーディオデコーディング装置は、時系列データデコーディング部１０及び多チャネルオーディオ信号の処理部２０を含むことができる。

図示したように、多チャネルオーディオ信号処理装置２０は、ダウンミックスデコーディング部２１、多チャネルデコーディング部２２及び時間遅延補償部２３を含むことができる。

まず、符号化されたダウンミックス信号の一例であるダウンミックスビットストリームＩＮ２は、ダウンミックスデコーディング部２１に印加されてデコーディングされる。ここで、ダウンミックスビットストリームＩＮ２は、二つのドメイン上でデコーディングされて出力される。出力されるドメインは、時間ドメイン及びＱＭＦドメインである。参照番号５０は、時間ドメインでデコーディングされて出力されるダウンミックス信号で、参照番号５１は、ＱＭＦドメインでデコーディングされて出力されるダウンミックス信号である。本実施例では、二つの場合のドメインのみを言及したが、本発明は、これに限定されるものでなく、それ以上のドメインでデコーディングされて出力されるダウンミックス信号も含む。

また、上記のような方法でデコーディングされたダウンミックス信号５０、５１は、多チャネルデコーディング部２２に伝送され、二つのデコーディング方式２２Ｈ、２２Ｌでデコーディングされる。参照番号２２Ｈは高音質デコーディング方式で、参照番号２２Ｌは低電力デコーディング方式である。

本発明の一実施例では、二つのデコーディング方式のみを言及しているが、本発明は、これに限定されるものでなく、より多様なデコーディング方式から選択することも可能である。

まず、時間ドメイン上でデコーディングされて出力されるダウンミックス信号５０は、二つの経路Ｐ９、Ｐ１０を選択してデコーディングされるが、Ｐ９は高音質バージョン２２Ｈでデコーディングされる経路で、Ｐ１０は低電力バージョン２２Ｌでデコーディングされる経路である。

したがって、Ｐ９経路に沿って伝送されたダウンミックス信号５０は、高音質バージョン２２Ｈによって空間情報ＳＩと結合された後、多チャネルオーディオ信号ＭＨＴを生成する。Ｐ４経路に沿って伝送されたダウンミックス信号５０は、低電力バージョン２２Ｌによって空間情報ＳＩと結合された後、多チャネルオーディオ信号ＭＬＴを生成する。

また、ＱＭＦドメイン上でデコーディングされて出力されたダウンミックス信号５１は、二つの経路Ｐ１１、Ｐ１２を選択してデコーディングされるが、Ｐ１１は高音質バージョン２２Ｈでデコーディングされる経路で、Ｐ１２は低電力バージョン２２Ｌでデコーディングされる経路である。

したがって、Ｐ１１経路に沿って伝送されたダウンミックス信号５１は、高音質バージョン２２Ｈによって空間情報ＳＩと結合された後、多チャネルオーディオ信号ＭＨＱを生成する。Ｐ１２経路に沿って伝送されたダウンミックス信号５１は、低電力バージョン２２Ｌによって空間情報ＳＩと結合された後、多チャネルオーディオ信号ＭＬＱを生成する。

上述した方法によって生成された多チャネルオーディオ信号ＭＨＴ、ＭＨＱ、ＭＬＴ、ＭＬＱのうち少なくとも一つは、時間遅延補償部２３で時間遅延補償過程を経た後で出力される（ＯＵＴ２、ＯＵＴ３、ＯＵＴ４、ＯＵＴ５）。

本実施例において、時間遅延補償過程とは、例えば、時系列デコーディング部１０でデコーディングされて出力される時系列データＯＵＴ１と、上述した多チャネルオーディオ信号ＭＨＴとの間の時間同期が合せられたと仮定するとき、時間同期がずれた多チャネルオーディオ信号ＭＨＱ、ＭＬＴ、ＭＬＱを多チャネルオーディオ信号ＭＨＴと比較し、時間遅延の発生を防止することを意味する。もちろん、時系列データＯＵＴ１と、上述した多チャネルオーディオ信号ＭＨＴ以外の他の多チャネルオーディオ信号ＭＨＱ、ＭＬＴ、ＭＬＱのうち何れか一つとの間の時間同期が合せられたとき、時間同期がずれた残りの他の多チャネルオーディオ信号の時間遅延を補償し、時系列データＯＵＴ１との時間同期を合せることも含まれる。

一方、時系列データＯＵＴ１と多チャネルオーディオ信号ＭＨＴ、ＭＨＱ、ＭＬＴ、ＭＬＱが一緒に処理されない場合にも、時間遅延補償過程を行うことができる。例えば、多チャネルオーディオ信号ＭＨＴの時間遅延を補償し、多チャネルオーディオ信号ＭＬＴと比較した結果を用いて時間遅延の発生を防止する。もちろん、その他の形態にも多様化される。

本発明は、上述した実施例に限定されるものでなく、添付された特許請求の範囲から分かるように、本発明の属する分野で通常の知識を有する者によって変形が可能であり、このような変形は本発明の範囲に属する。

第１に、本発明に係るオーディオ信号の処理方法は、ダウンミックス信号と空間情報との間に時間同期差が発生した場合、これを補償して音質低下を防止できるという効果がある。

第２に、本発明に係るオーディオ信号の処理方法は、動画像、テキスト及びイメージなどの時系列データと一緒に処理される多チャネルオーディオ信号と時系列データとの間の時間同期差を補償できるという効果がある。

本発明の一実施例に係るオーディオ信号のデコーディング装置のブロック図である。本発明の一実施例に係るオーディオ信号のデコーディング装置のブロック図である。本発明の一実施例に係るオーディオ信号のデコーディング装置のブロック図である。図１に示した多チャネルデコーディング部で信号処理される方法を説明するためのブロック図である。図２に示した多チャネルデコーディング部で信号処理される方法を説明するためのブロック図である。本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。

Claims

時間ドメインのダウンミックス信号及び空間情報を含むオーディオ信号を受信する段階と、
前記時間ドメインのダウンミックス信号をコンプレックス直交ミラーフィルタ（ＱＭＦ）ドメインのダウンミックス信号に変換する段階と、
前記コンプレックスＱＭＦドメインのダウンミックス信号を時間遅延差だけ遅延させる段階であって、前記時間遅延差は低電力デコーディング方式と高音質デコーディング方式との差によって生ずる、段階と、
前記遅延されたダウンミックス信号と前記空間情報とを結合する段階と、
を有し、
前記低電力デコーディング方式は、前記時間ドメインのダウンミックス信号をリアルＱＭＦドメインのダウンミックス信号に変換する段階と、前記リアルＱＭＦドメインのダウンミックス信号をコンプレックスＱＭＦドメインのダウンミックス信号に変換する段階とを含み、前記高音質デコーディング方式は、前記時間ドメインのダウンミックス信号を、コンプレックスＱＭＦドメインのダウンミックス信号に直接変換する段階を含む、オーディオ信号処理方法。
前記空間情報は、エンコーディング遅延及びデコーディング遅延のうち少なくとも一つによって時間遅延される、請求項１に記載のオーディオ信号処理方法。
前記時間遅延差は、前記リアルＱＭＦドメインのダウンミックス信号を前記コンプレックスＱＭＦドメインのダウンミックス信号に変換する際に経過する時間に等しい、請求項１に記載のオーディオ信号処理方法。
時間ドメインのダウンミックス信号及び空間情報を含むオーディオ信号を受信するオーディオ信号受信部と、
前記時間ドメインのダウンミックス信号をコンプレックス直交ミラーフィルタ（ＱＭＦ）ドメインのダウンミックス信号に変換するドメイン変換部と、
前記コンプレックスＱＭＦドメインのダウンミックス信号を時間遅延差だけ遅延させる信号遅延処理部であって、前記時間遅延差は低電力デコーディング方式と高音質デコーディング方式との差によって生ずる、信号遅延処理部と、
前記遅延されたダウンミックス信号と前記空間情報とを結合する空間情報結合部と、
を備え、
前記低電力デコーディング方式は、前記時間ドメインのダウンミックス信号をリアルＱＭＦドメインのダウンミックス信号に変換する段階と、前記リアルＱＭＦドメインのダウンミックス信号をコンプレックスＱＭＦドメインのダウンミックス信号に変換する段階とを含み、前記高音質デコーディング方式は、前記時間ドメインのダウンミックス信号を、コンプレックスＱＭＦドメインのダウンミックス信号に直接変換する段階を含む、オーディオ信号処理装置。
前記時間遅延差は、前記リアルＱＭＦドメインのダウンミックス信号を前記コンプレックスＱＭＦドメインのダウンミックス信号に変換する際に経過する時間に等しい、請求項４に記載のオーディオ信号処理装置。