JP4164831B2 - 音声符号化方法及び音声復号方法 - Google Patents

Description

本発明は、マルチチャネルの音声信号を可変長で圧縮するための音声符号化方法及び音
声復号方法に関する。

音声信号を可変長で圧縮する方法として、本発明者は先の出願（特願平９−２８９１５９号）において１チャネルの原デジタル音声信号に対して、特性が異なる複数の予測器により時間領域における過去の信号から現在の信号の複数の線形予測値を算出し、原デジタル音声信号と、この複数の線形予測値から予測器毎の予測残差を算出、予測残差の最小値を選択する予測符号化方法を提案している。

なお、上記方法では原デジタル音声信号がサンプリング周波数＝９６ｋＨｚ、量子化ビット数＝２０ビット程度の場合にある程度の圧縮効果を得ることができるが、近年のＤＶＤオーディオディスクではこの２倍のサンプリング周波数（＝１９２ｋＨｚ）が使用され、また、量子化ビット数も２４ビットが使用される傾向があるので、圧縮率を改善する必要がある。また、マルチチャネルにおけるサンプリング周波数と量子化ビット数はチャネル毎に異なることもある。

ところで、予測符号化方式のような圧縮方式は圧縮率が可変（ＶＢＲ：バリアブル・ビット・レート）であるので、マルチチャネルの音声信号を予測符号化するとチャネル毎のデータ量が時間的に大きく変化する。また、このようなデータを伝送する場合には、チャネル毎にパラレルではなくデータストリームとして伝送される。

したがって、再生側（デコード側）においてこのような可変長のデータストリームをチャネル毎に同期して再生（プレゼンテーション）可能にするためには、入力バッファに蓄積されたデータストリームを読み出してデコーダに出力するためのタイミングを示すデコード時間と、出力バッファに蓄積されたデコード後のデータを読み出してスピーカなどに出力（プレゼンテーション）するためのタイミングを示す再生時間を管理しなければならない。また、再生側でこのような可変長のデータストリームをサーチ再生するための時間を管理しなければならない。

そこで本発明は、マルチチャネルの音声信号を可変の圧縮率で符号化する場合に再生側の処理時間を管理することができる音声符号化方法及び音声復号方法を提供することを目的とする。

本発明は上記目的を達成するために、以下の１）及び２）に記載の手段よりなる。

すなわち、
１）複数のチャネルの音声信号をそのままのチャネル又は互いに相関をとったチャネル毎に入力される音声信号に応答して、先頭サンプル値を得ると共に、特性が異なる複数の線形予測方法により時間領域の過去から現在の信号の線形予測値がそれぞれ予測され、その予測される線形予測値と前記音声信号とから得られる予測残差が最小となるような線形予測方法を選択して圧縮するステップと、
前記圧縮されたデータの量に応じて、復号側の入力バッファ内の圧縮データを読み出して伸長するタイミングを示すデコーディング・タイム・スタンプ情報を生成すると共に、復号側において前記伸長されるデータが一旦蓄積されて出力する際のタイミングを示すプレゼンテーション・タイム・スタンプ情報を生成するステップと、
前記デコーディング・タイム・スタンプ情報及び前記プレゼンテーション・タイム・スタンプ情報を含むパケットヘッダと、前記圧縮するステップにより選択されたチャネル毎の線形予測方法と予測残差と所定のサンプル値を含む圧縮データを格納するサブパケットであってビットストリーム（サブストリーム）及び前記ビットストリームの前に設けられるビットストリームヘッダを含むサブパケットと、を含むユーザデータを有するパケットにフォーマット化するステップと、
からなる音声符号化方法。
２)請求項１記載の音声符号化方法により符号化されたデータから元の前記複数のチャネルの音声信号を復号する音声復号方法であって、
前記格納されたサブパケットを前記デコーディング・タイム・スタンプ情報に基づいてデコードしてサブパケットを分離するステップと、
前記分離されたサブパケット内の圧縮データから予測値をチャネル毎に算出するステップと、
前記算出された予測値から元の前記複数のチャネルの音声信号を復元して音声データとするステップと、
前記復元された音声データを前記プレゼンテーション・タイム・スタンプ情報に基づいて取り出すステップと、
からなる音声復号方法。

以上説明したように本発明によれば、圧縮データを読み出すタイミングを示すデコーディング・タイム・スタンプ情報をパケットヘッダにいれたので、複数チャネルの音声信号を可変の圧縮率で符号化する場合に再生側がサーチ再生することができる。

以下、図面を参照して本発明の実施の形態を説明する。図１は本発明が適用される声符
号化装置とそれに対応する音声復号装置の第１の実施形態を示すブロック図、図２は図１
の符号化部を詳しく示すブロック図、図３は図１、図２の符号化部により符号化されたビ
ットストリームを示す説明図、図４はＤＶＤのパックのフォーマットを示す説明図、図５
はＤＶＤのオーディオパックのフォーマットを示す説明図、図６は図１の復号化部を詳し
く示すブロック図、図７は図６の入力バッファの書き込み／読み出しタイミングを示すタ
イミングチャート、図８はアクセスユニット毎の圧縮データ量を示す説明図、図９はアク
セスユニットとプレゼンテーションユニットを示す説明図である。

ここで、マルチチャネル方式としては、例えば次の４つの方式が知られている。
（１）４チャネル方式 ドルビーサラウンド方式のように、前方Ｌ、Ｃ、Ｒの３チャネル＋後方Ｓの１チャネルの合計４チャネル
（２）５チャネル方式 ドルビーＡＣ−３方式のＳＷチャネルなしのように、前方Ｌ、Ｃ、Ｒの３チャネル＋後方ＳＬ、ＳＲの２チャネルの合計５チャネル
（３）６チャネル方式 ＤＴＳ（Digital Theater System）方式や、ドルビーＡＣ−３方式のように６チャネル（Ｌ、Ｃ、Ｒ、ＳＷ（Ｌｆｅ）、ＳＬ、ＳＲ）
（４）８チャネル方式 ＳＤＤＳ（Sony Dynamic Digital Sound）方式のように、前方Ｌ、ＬＣ、Ｃ、ＲＣ、Ｒ、ＳＷの６チャネル＋後方ＳＬ、ＳＲの２チャネルの合計８チャネル
図１に示す符号化側の６チャネル（ch）ミクス＆マトリクス回路１’は、マルチチャネル信号の一例としてフロントレフト（Ｌｆ）、センタ（Ｃ）、フロントライト（Ｒｆ）、サラウンドレフト（Ｌｓ）、サラウンドライト（Ｒｓ）及びＬｆｅ（Low Frequency Effect）の６chのＰＣＭデータを次式（１）により前方グループに関する２ch「１」、「２」と他のグループに関する４ch「３」〜「６」に分類して変換し、２ch「１」、「２」を第１符号化部２’−１に、また、４ch「３」〜「６」を第２符号化部２’−２に出力する。

「１」＝Ｌｆ＋Ｒｆ
「２」＝Ｌｆ−Ｒｆ
「３」＝Ｃ−（Ｌｓ＋Ｒｓ）／２
「４」＝Ｌｓ＋Ｒｓ
「５」＝Ｌｓ−Ｒｓ
「６」＝Ｌｆｅ−ａ×Ｃ
ただし、０≦ａ≦１ …（１）
符号化部２’を構成する第１及び第２符号化部２’−１、２’−２はそれぞれ、図２に詳しく示すように２ch「１」、「２」と４ch「３」〜「６」のＰＣＭデータを予測符号化し、予測符号化データを図３に示すようなビットストリームで記録媒体５や通信媒体６を介して復号側に伝送する。復号側では復号化部３’を構成する第１及び第２復号化部３’−１、３’−２により、図６に詳しく示すようにそれぞれ前方グループに関する２ch「１」、「２」と他のグループに関する４ch「３」〜「６」の予測符号化データをＰＣＭデータに復号する。

次いでミクス＆マトリクス回路４’により式（１）に基づいて元の６ch（Ｌｆ、Ｃ、Ｒｆ、Ｌｓ、Ｒｓ、Ｌｆｅ）を復元するとともに、この元の６chと係数ｍiｊ（ｉ＝１，２，ｊ＝１，２〜６）により次式（２）のようにステレオ２chデータ（Ｌ、Ｒ）を生成する。

Ｌ＝ｍ１１・Ｌｆ＋ｍ１２・Ｒｆ＋ｍ１３・Ｃ
＋ｍ１４・Ｌｓ＋ｍ１５・Ｒｓ＋ｍ１６・Ｌｆｅ
Ｒ＝ｍ２１・Ｌｆ＋ｍ２２・Ｒｆ＋ｍ２３・Ｃ
＋ｍ２４・Ｌｓ＋ｍ２５・Ｒｓ＋ｍ２６・Ｌｆｅ …（２）
図２を参照して符号化部２’−１、２’−２について詳しく説明する。各ch「１」〜「６」のＰＣＭデータは１フレーム毎に１フレームバッファ１０に格納される。そして、１フレームの各ch「１」〜「６」のサンプルデータがそれぞれ予測回路１３Ｄ１、１３Ｄ２、１５Ｄ１〜１５Ｄ４に印加されるとともに、各ch「１」〜「６」の各フレームの先頭サンプルデータがフォーマット化回路１９に印加される。予測回路１３Ｄ１、１３Ｄ２、１５Ｄ１〜１５Ｄ４はそれぞれ、各ch「１」〜「６」のＰＣＭデータに対して、特性が異なる複数の予測器（不図示）により時間領域における過去の信号から現在の信号の複数の線形予測値を算出し、次いで原ＰＣＭデータと、この複数の線形予測値から予測器毎の予測残差を算出する。続くバッファ・選択器１４Ｄ１、１４Ｄ２、１６Ｄ１〜１６Ｄ４はそれぞれ、予測回路１３Ｄ１、１３Ｄ２、１５Ｄ１〜１５Ｄ４により算出された各予測残差を一時記憶して、選択信号／ＤＴＳ（デコーディング・タイム・スタンプ）生成器１７により指定されたサブフレーム毎に予測残差の最小値を選択する。

選択信号／ＤＴＳ生成器１７は予測残差のビット数フラグをパッキング回路１８とフォーマット化回路１９に対して印加し、また、予測残差が最小の予測器を示す予測器選択フラグと、式（１）における相関係数ａと、復号化側が入力バッファ２２ａ（図６）からストリームデータを取り出す時間を示すＤＴＳをフォーマット化回路１９に対して印加する。パッキング回路１８はバッファ・選択器１４Ｄ１、１４Ｄ２、１６Ｄ１〜１６Ｄ４により選択された６ch分の予測残差を、選択信号／ＤＴＳ生成器１７により指定されたビット数フラグに基づいて指定ビット数でパッキングする。またＰＴＳ生成器１７ｃは、復号化側が出力バッファ１１０（図６）からＰＣＭデータを取り出す時間を示すＰＴＳ（プレゼンテーション・タイム・スタンプ）を生成してフォーマット化回路１９に出力する。

続くフォーマット化回路１９は図３〜図５に示すようなユーザデータにフォーマット化する。図３に示すユーザデータ（サブパケット）は、前方グループに関する２ch「１」、「２」の予測符号化データを含む可変レートビットストリーム（サブストリーム）ＢＳ０と、他のグループに関する４ch「３」〜「６」の予測符号化データを含む可変レートビットストリーム（サブストリーム）ＢＳ１と、サブストリームＢＳ０、ＢＳ１の前に設けられたビットストリームヘッダ（リスタートヘッダ）により構成されている。
また、サブストリームＢＳ０、ＢＳ１の１フレーム分は
・フレームヘッダと、
・各ch「１」〜「６」の１フレームの先頭サンプルデータと、
・各ch「１」〜「６」のサブフレーム毎の予測器選択フラグと、
・各ch「１」〜「６」のサブフレーム毎のビット数フラグと、
・各ch「１」〜「６」の予測残差データ列（可変ビット数）と、
・ch「６」の係数ａ
が多重化されている。このような予測符号化によれば、原信号が例えばサンプリング周波数＝９６ｋＨｚ、量子化ビット数＝２４ビット、６チャネルの場合、７１％の圧縮率を実現することができる。

図２に示す符号化部２’−１、２’−２により予測符号化された可変レートビットストリームデータを、記録媒体の一例としてＤＶＤオーディオディスクに記録する場合には、図４に示すオーディオ（Ａ）パックにパッキングされる。このパックは２０３４バイトのユーザデータ（Ａパケット、Ｖパケット）に対して４バイトのパックスタート情報と、６バイトのＳＣＲ（System Clock Reference：システム時刻基準参照値）情報と、３バイトのMux レート（rate）情報と１バイトのスタッフィングの合計１４バイトのパックヘッダが付加されて構成されている（１パック＝合計２０４８バイト）。この場合、タイムスタンプであるＳＣＲ情報を、先頭パックでは「１」として同一タイトル内で連続とすることにより同一タイトル内のＡパックの時間を管理することができる。

圧縮ＰＣＭのＡパケットは図５に詳しく示すように、１９又は１４バイトのパケットヘッダと、圧縮ＰＣＭのプライベートヘッダと、図３に示すフォーマットの１ないし２０１１バイトのオーディオデータ（圧縮ＰＣＭ）により構成されている。そして、ＤＴＳとＰＴＳは図５のパケットヘッダ内に（具体的にはパケットヘッダの１０〜１４バイト目にＰＴＳが、１５〜１９バイト目にＤＴＳが）セットされる。圧縮ＰＣＭのプライベートヘッダは、
・１バイトのサブストリームＩＤと、
・２バイトのＵＰＣ／ＥＡＮ−ＩＳＲＣ（Universal Product Code/European Article Number-International Standard Recording Code）番号、及びＵＰＣ／ＥＡＮ−Ｉ
ＳＲＣデータと、
・１バイトのプライベートヘッダ長と、
・２バイトの第１アクセスユニットポインタと、
・８バイトのオーディオデータ情報（ＡＤＩ）と、
・０〜７バイトのスタッフィングバイトとに、
より構成されている。そして、ＡＤＩ内に１秒後のアクセスユニットをサーチするための前方アクセスユニット・サーチポインタと、１秒前のアクセスユニットをサーチするための後方アクセスユニット・サーチポインタがともに１バイトで（具体的にはＡＤＩの７バイト目に前方アクセスユニット・サーチポインタが、８バイト目に後方アクセスユニット・サーチポインタが）セットされる。

次に図６を参照して復号化部３’−１、３’−２について説明する。上記フォーマットの可変レートビットストリームデータＢＳ０、ＢＳ１は、デフォーマット化回路２１により分離される。そして、各ｃｈ「１」〜「６」の１フレームの先頭サンプルデータと予測器選択フラグはそれぞれ予測回路２４Ｄ１、２４Ｄ２、２３Ｄ１〜２３Ｄ４に印加され、各ｃｈ「１」〜「６」のビット数フラグはアンパッキング回路２２に印加される。また、ＳＣＲと、ＤＴＳと予測残差データ列は入力バッファ２２ａに印加され、ＰＴＳは出力バッファ１１０に印加される。ここで、予測回路２４Ｄ１、２４Ｄ２、２３Ｄ１〜２３Ｄ４内の複数の予測器（不図示）はそれぞれ、符号化側の予測回路１３Ｄ１、１３Ｄ２、１５Ｄ１〜１５Ｄ４内の複数の予測器と同一の特性であり、予測器選択フラグにより同一特性のものが選択される。

デフォーマット化回路２１により分離されたストリームデータ（予測残差データ列）は、図７に示すようにＳＣＲによりアクセスユニット毎に入力バッファ２２ａに取り込まれて蓄積される。ここで、１つのアクセスユニットのデータ量は、例えばｆｓ＝９６ｋＨｚの場合には（１／９６ｋＨｚ）秒分であるが、図８、図９（ａ）に詳しく示すように可変長である。そして、入力バッファ２２ａに蓄積されたストリームデータはＤＴＳに基づいてＦＩＦＯで読み出されてアンパッキング回路２２に印加される。

アンパッキング回路２２は各ｃｈ「１」〜「６」の予測残差データ列をビット数フラグ毎に基づいて分離してそれぞれ予測回路２４Ｄ１、２４Ｄ２、２３Ｄ１〜２３Ｄ４に出力する。予測回路２４Ｄ１、２４Ｄ２、２３Ｄ１〜２３Ｄ４ではそれぞれ、アンパッキング回路２２からの各ｃｈ「１」〜「６」の今回の予測残差データと、内部の複数の予測器の内、予測器選択フラグにより選択された各１つにより予測された前回の予測値が加算されて今回の予測値が算出され、次いで１フレームの先頭サンプルデータを基準として各サンプルのＰＣＭデータが算出されて出力バッファ１１０に蓄積される。出力バッファ１１０に蓄積されたＰＣＭデータはＰＴＳに基づいて読み出されて出力される。したがって、図９（ａ）に示す可変長のアクセスユニットが伸長されて、図９（ｂ）に示す一定長のプレ
ゼンテーションユニットが出力される。

ここで、操作部１０１を介してサーチ再生が指示された場合には、制御部１００により図５に示すＡＤＩ内に置かれる１秒先を示す前方アクセスユニット・サーチポインタと１秒後を示す後方アクセスユニット・サーチポインタに基づいてアクセスユニットを再生する。このサーチポインタとしては、１秒先、１秒前の代わりに２秒先、２秒前のものでよい。

図２に示す符号化部２’−１、２’−２により予測符号化された可変レートビットストリームデータをネットワークを介して伝送する場合には、符号化側では図１０に示すように伝送用にパケット化し（ステップＳ４１）、次いでパケットヘッダを付与し（ステップＳ４２）、次いでこのパケットをネットワーク上に送り出す（ステップＳ４３）。

復号側では図１１（Ａ）に示すようにヘッダを除去し（ステップＳ５１）、次いでデータを復元し（ステップＳ５２）、次いでこのデータをメモリに格納して復号を待つ（ステップＳ５３）。そして、復号を行う場合には図１１（Ｂ）に示すように、デフォーマット化を行い（ステップＳ６１）、次いで入力バッファ２２ａの入出力制御を行い（ステップＳ６２）、次いでアンパッキングを行う（ステップＳ６３）。なお、このとき、サーチ再生指示がある場合にはサーチポインタをデコードする。次いで予測器をフラグに基づいて選択してデコードを行い（ステップＳ６４）、次いで出力バッファ１１０の入出力制御を行い（ステップＳ６５）、次いで元のマルチチャネルを復元し（ステップＳ６６）、次いでこれを出力し（ステップＳ６７）、以下、これを繰り返す。

なお、上記実施形態では、前方グループに関する２ch「１」、「２」を
「１」＝Ｌｆ＋Ｒｆ
「２」＝Ｌｆ−Ｒｆ
により変換して予測符号化したが、代わりに式（２）によりマルチチャネルをダウンミクスしてステレオ２chデータ（Ｌ、Ｒ）を生成し、
次いで次式（１）’
「１」＝Ｌ＋Ｒ
「２」＝Ｌ−Ｒ
「３」〜「５」は同じ
「６」＝Ｌｆｅ−Ｃ …（１）’
により変換して予測符号化するようにしてもよい（第２の実施形態）。この場合には、復号化側のミクス＆マトリクス回路４’はチャネル「１」、「２」を加算することによりチャネルＬを、減算することによりチャネルＲを生成することができる。

また、第３の実施形態として図１２に示すように、２ch「１」、「２」の代わりに式（２）によりマルチチャネルをダウンミクスしてステレオ２chデータ（Ｌ、Ｒ）を生成して、このステレオ２ch（Ｌ、Ｒ）と４ch「３」〜「６」を予測符号化するようにしてもよい。なお、第２、第３の実施形態では、フロントレフト（Ｌｆ）とフロントライト（Ｒｆ）が復号化側に伝送されないので、復号化側ではこれを式（１）、（２）により生成する。

次に図１３、図１４を参照して第４の実施形態について説明する。上記の実施形態では、１グループの相関性の信号「１」〜「６」を予測符号化するように構成されているが、この第４の実施形態では複数グループの相関性のある信号を生成して予測符号化し、圧縮率が最も高いグループの予測符号化データを選択するように構成されている。このため図１３に示す符号化部では、第１〜第ｎの相関回路１−１〜１−ｎが設けられ、このｎ個の相関回路１−１〜１−ｎは例えば６ch（Ｌｆ、Ｃ、Ｒｆ、Ｌｓ、Ｒｓ、Ｌｆｅ）のＰＣＭデータを、相関性が異なるｎ種類の６ch信号「１」〜「６」に変換する。

例えば第１の相関回路１−１は以下のように変換し、
「１」＝Ｌｆ
「２」＝Ｃ−（Ｌｓ＋Ｒｓ）／２
「３」＝Ｒｆ−Ｌｆ
「４」＝Ｌｓ−ａ×Ｌｆｅ
「５」＝Ｒｓ−ｂ×Ｒｆ
「６」＝Ｌｆｅ
また、第ｎの相関回路１−ｎは以下のように変換する。

「１」＝Ｌｆ＋Ｒｆ
「２」＝Ｃ−Ｌｆ
「３」＝Ｒｆ−Ｌｆ
「４」＝Ｌｓ−Ｌｆ
「５」＝Ｒｓ−Ｌｆ
「６」＝Ｌｆｅ−Ｃ
また、相関回路１−１〜１−ｎ毎に予測回路１５とバッファ・選択器１６が設けられ、グループ毎の予測残差の最小値のデータ量に基づいて圧縮率が最も高いグループが相関選択信号生成器１７ｂにより選択される。このとき、フォーマット化回路１９はその選択フラグ（相関回路選択フラグ、その相関回路の相関係数ａ、ｂ）を追加して多重化する。

また、図１４に示す復号化側では、符号化側の相関回路１−１〜１−ｎに対してｎ個の相関回路４−１〜４−ｎ（又は係数ａ、ｂが変更可能な図示省略の１つの相関回路）が設けられる。なお、図１３に示すｎグループの予測回路が同一の構成である場合、復号装置では図１４に示すようにｎグループ分の予測回路を設ける必要はなく、１つのグループ分の予測回路でよい。そして、符号化装置から伝送された選択フラグに基づいて相関回路４−１〜４−ｎの１つを選択、又は係数ａ、ｂを設定して元の６ch（Ｌｆ、Ｃ、Ｒｆ、Ｌｓ、Ｒｓ、Ｌｆｅ）を復元し、また、式（２）によりマルチチャネルをダウンミクスしてステレオ２chデータ（Ｌ、Ｒ）を生成する。

また、上記の第１の実施形態では、１種類の相関性の信号「１」〜「６」を予測符号化するように構成されているが、この信号「１」〜「６」のグループと原信号（Ｌｆ、Ｃ、Ｒｆ、Ｌｓ、Ｒｓ、Ｌｆｅ）のグループを予測符号化し、圧縮率が高い方のグループを選択するようにしてもよい。

本発明が適用される音声符号化装置とそれに対応した音声復号装置の第１の実施形態を示すブロック図である。 図１の符号化部を詳しく示すブロック図である。 図１、図２の符号化部により符号化されたビットストリームを示す説明図である。 ＤＶＤのパックのフォーマットを示す説明図である。 ＤＶＤのオーディオパックのフォーマットを示す説明図である。 図１の復号化部を詳しく示すブロック図である。 図６の入力バッファの書き込み／読み出しタイミングを示すタイミングチャートである。 アクセスユニット毎の圧縮データ量を示す説明図である。 アクセスユニットとプレゼンテーションユニットを示す説明図である。 音声伝送方法を示すフローチャートである。 音声伝送方法を示すフローチャートである。 本発明が適用される音声符号化装置とそれに対応した音声復号装置の第３の実施形態を示すブロック図である。 第４の実施形態の音声符号化装置を示すブロック図である。 第４の実施形態の音声復号装置を示すブロック図である。

符号の説明

１’ ６chミクス＆マトリクス回路
１３Ｄ１，１３Ｄ２，１５Ｄ１〜１５Ｄ４ 予測回路（バッファ・選択器１４
Ｄ１，１４Ｄ２，１６Ｄ１〜１６Ｄ４と共に圧縮手段を構成する。）
１４Ｄ１，１４Ｄ２，１６Ｄ１〜１６Ｄ４ バッファ・選択器
１７ 選択信号／ＤＴＳ生成器（タイミング生成手段）
１７ｃ ＰＴＳ生成器（タイミング生成手段）
１９ フォーマット化回路（フォーマット化手段）
２１ デフォーマット化回路（分離手段）
２２ アンパッキング回路
２２ａ 入力バッファ
２４Ｄ１，２４Ｄ２，２３Ｄ１〜２３Ｄ４ 予測回路（伸長手段）
１００ 制御部（読み出し手段）
１１０ 出力バッファ

Claims (2)

1. 複数のチャネルの音声信号をそのままのチャネル又は互いに相関をとったチャネル毎に入力される音声信号に応答して、先頭サンプル値を得ると共に、特性が異なる複数の線形予測方法により時間領域の過去から現在の信号の線形予測値がそれぞれ予測され、その予測される線形予測値と前記音声信号とから得られる予測残差が最小となるような線形予測方法を選択して圧縮するステップと、
   前記圧縮されたデータの量に応じて、復号側の入力バッファ内の圧縮データを読み出して伸長するタイミングを示すデコーディング・タイム・スタンプ情報を生成すると共に、復号側において前記伸長されるデータが一旦蓄積されて出力する際のタイミングを示すプレゼンテーション・タイム・スタンプ情報を生成するステップと、
   前記デコーディング・タイム・スタンプ情報及び前記プレゼンテーション・タイム・スタンプ情報を含むパケットヘッダと、前記圧縮するステップにより選択されたチャネル毎の線形予測方法と予測残差と所定のサンプル値を含む圧縮データを格納するサブパケットであってビットストリーム（サブストリーム）及び前記ビットストリームの前に設けられるビットストリームヘッダを含むサブパケットと、を含むユーザデータを有するパケットにフォーマット化するステップと、
   からなる音声符号化方法。
2. 請求項１記載の音声符号化方法により符号化されたデータから元の前記複数のチャネルの音声信号を復号する音声復号方法であって、
   前記格納されたサブパケットを前記デコーディング・タイム・スタンプ情報に基づいてデコードしてサブパケットを分離するステップと、
   前記分離されたサブパケット内の圧縮データから予測値をチャネル毎に算出するステップと、
   前記算出された予測値から元の前記複数のチャネルの音声信号を復元して音声データとするステップと、
   前記復元された音声データを前記プレゼンテーション・タイム・スタンプ情報に基づいて取り出すステップと、
   からなる音声復号方法。

Images