JP3846720B2 - Speech encoding method and speech decoding method - Google Patents

Speech encoding method and speech decoding method Download PDF

Info

Publication number
JP3846720B2
JP3846720B2 JP2002344092A JP2002344092A JP3846720B2 JP 3846720 B2 JP3846720 B2 JP 3846720B2 JP 2002344092 A JP2002344092 A JP 2002344092A JP 2002344092 A JP2002344092 A JP 2002344092A JP 3846720 B2 JP3846720 B2 JP 3846720B2
Authority
JP
Japan
Prior art keywords
data
channel
access unit
identifier
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002344092A
Other languages
Japanese (ja)
Other versions
JP2003216192A (en
Inventor
美昭 田中
昭治 植野
徳彦 渕上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2002344092A priority Critical patent/JP3846720B2/en
Publication of JP2003216192A publication Critical patent/JP2003216192A/en
Application granted granted Critical
Publication of JP3846720B2 publication Critical patent/JP3846720B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、マルチチャネル音声信号の音声符号化方法及び音声復号化方法に関する。
【0002】
【従来の技術】
音声信号を可変長で圧縮する方法として、本発明者は先の出願(特願平9−289159号)において1チャネルの原デジタル音声信号に対して、特性が異なる複数の予測器により時間領域における過去の信号から現在の信号の複数の線形予測値を算出し、原デジタル音声信号と、この複数の線形予測値から予測器毎の予測残差を算出し、予測残差の最小値を選択する予測符号化方法を提案している。
【0003】
なお、上記方法では原デジタル音声信号がサンプリング周波数=96kHz、量子化ビット数=20ビット程度の場合にある程度の圧縮効果を得ることができるが、近年のDVDオーディオディスクではこの2倍のサンプリング周波数(=192kHz)が使用され、また、量子化ビット数も24ビットが使用される傾向がある。また、マルチチャネルにおけるサンプリング周波数と量子化ビット数はチャネル毎に異なることもある。
【0004】
【発明が解決しようとする課題】
ところで、マルチチャネルの音声信号を伝送する場合、著作権者がオーディオソースに依っては圧縮を希望するものとそうでないものがあり、また、ユーザがマルチチャネルをステレオ2チャネルにダウンミクスして再生することを望まないものとそうでないものとの2通りがある。したがって、このように圧縮又は非圧縮で選択的に伝送する2通りと、再生側のダウンミクスを選択的に許可、禁止する2通りの合計4通りで伝送した場合には、再生側でこれを識別して選択的に再生する必要がある。
【0005】
そこで本発明は、再生側のダウンミクスを選択的に許可又は禁止しても再生側が正常に再生することができる音声符号化方法及び音声復号化方法を提供することを目的とする。
【0006】
【課題を解決するための手段】
本発明は上記目的を達成するために、以下の1)及び2)の手段より成る。
すなわち、
1)マルチチャネルの音声信号を、そのままのチャネル又は互いに相関あるチャネル毎に、入力される音声信号に応答して先頭サンプル値を得ると共に、時間領域の過去の信号から予測される現在の信号の複数の予測値の中でその予測残差が最小となるような線形予測方法を選択して圧縮するステップと、
前記ステップにより選択された先頭サンプル値と予測残差と線形予測方法とを含む圧縮データの所定時間前又は所定時間後のアクセスユニットをサーチ再生するためのアクセスユニット・サーチ情報を生成するステップと、
前記アクセスユニット・サーチ情報を含むプライベートヘッダと、前記アクセスユニットと、を含むユーザデータを有するオーディオパケットと、
前記オーディオパケット内のデータが前記圧縮方法により圧縮されていることを示す第1の識別子と、前記オーディオパケットに格納されているマルチチャネルデータをステレオ2チャネルにダウンミクスすることを許可するか又は禁止するかを示す第2の識別子が配置された管理情報とを、
有するデータ構造にフォーマット化するステップと、
からなる音声符号化方法。
2) 1)に記載の音声符号化方法によりフォーマット化されたデータ構造のデータを復号する音声復号化方法であって、
前記データをオーディオパケットと管理情報に分離するステップと、
前記管理情報から第1の識別子と第2の識別子を抽出するステップと、
前記オーディオパケット内のユーザデータに含まれるアクセスユニットを前記アクセスユニット・サーチ情報に基づいてサーチするステップと、
前記抽出された第2の識別子がダウンミクスすることを許可する場合に前記サーチしたアクセスユニットの圧縮データを前記抽出された第1の識別子に基づいて伸してマルチチャネルとステレオ2チャネルの少なくともいずれかで取り出し、前記第2の識別子がダウンミクスすることを禁止する場合には前記サーチしたアクセスユニットの圧縮データを前記第1の識別子に基づいて伸してマルチチャネルのみで取り出すステップと、
からなる音声復号化方法。
【0007】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図1〜図4は本発明が適用されるマルチチャネル伝送形態を実現する音声符号化装置の処理を示す説明図である。
【0008】
ここで、マルチチャネル方式としては、例えば次の4つの方式が知られている。
(1)4チャネル方式
ドルビーサラウンド方式のように、前方L、C、Rの3チャネル+後方Sの1チャネルの合計4チャネル
(2)5チャネル方式
ドルビーAC−3方式のSWチャネルなしのように、前方L、C、Rの3チャネル+後方SL、SRの2チャネルの合計5チャネル
(3)6チャネル方式
DTS(Digital Theater System)方式や、ドルビーAC−3方式のように6チャネル(L、C、R、SW(Lfe)、SL、SR)
(4)8チャネル方式
SDDS(Sony Dynamic Digital Sound)方式のように、前方L、LC、C、RC、R、SWの6チャネル+後方SL、SRの2チャネルの合計8チャネル
【0009】
図1は第1の例の伝送形態として、マルチチャネルを圧縮するとともに再生側のダウンミクスを禁止する場合を示している。符号化側の6チャネル(ch)ミクス&マトリクス回路1’は、マルチチャネル信号の一例としてフロントレフト(Lf)、センタ(C)、フロントライト(Rf)、サラウンドレフト(Ls)、サラウンドライト(Rs)及びLfe(Low Frequency Effect)の6chのPCMデータを次式(1−1)により6ch「1」〜「6」分の相関信号に変換し、符号化部2’に出力する。
「1」=Lf+Rf−C
「2」=Lf−Rf−C
「3」=C−(Ls+Rs)/2
「4」=Ls+Rs
「5」=Ls−Rs
「6」=Lfe−a×C
ただし、0≦a≦1 …(1−1)
このような6チャネル(ch)ミクス&マトリクス回路1’による相関式と符号化部2’の符号化方式は選択手段7’で選択される。以下説明する図2、図3、図4、図5及び図6でも同様であるので、これらの図では選択手段7’を略すことにする。
【0010】
第1と第2の符号化部2’−1、2’−2を有する符号化部2’は図7に詳しく示すようにこの6ch「1」〜「6」のPCMデータを予測符号化し、予測符号化データを図8に示すようなビットストリームで記録媒体5や通信媒体6を介して復号側に伝送する。復号側では第1と第2の復号化部3’−1、3’−2を有する復号化部3’により、図14に詳しく示すように6ch「1」〜「6」の予測符号化データをPCMデータに復号し、次いでミクス&マトリクス回路4’により式(1−1)に基づいて元の6ch(Lf、C、Rf、Ls、Rs、Lfe)のみを復元する。
【0011】
図2は第2の例の伝送形態として、マルチチャネルを圧縮するとともに再生側のダウンミクスを許可する場合を示している。符号化側の6chミクス&マトリクス回路1’は、元の6ch(Lf、C、Rf、Ls、Rs、Lfe)と係数mij(i=1,2,j=1,2〜6)により次式(2)のようにステレオ2chデータ(L、R)を生成(ダウンミクス)する。
L=m11・Lf+m12・Rf+m13・C
+m14・Ls+m15・Rs+m16・Lfe
R=m21・Lf+m22・Rf+m23・C
+m24・Ls+m25・Rs+m26・Lfe …(2)
【0012】
そして、式(2)と次式(1−2)により次のような第1グループの2チャネル分の相関信号「1」、「2」と第2グループの4チャネル分の相関信号「3」〜「6」に変換し、それぞれ第1符号化部2’−1、第2符号化部2’−2に出力する。
「1」=L+R
「2」=L−R
「3」〜「6」は式(1−1)と同じ …(1−2)
【0013】
第1、第2符号化部2’−1、2’−2はそれぞれ第1グループチャネル「1」、「2」と第2グループチャネル「3」〜「6」のPCMデータを予測符号化し、各チャネルの予測符号化データを記録媒体5や通信媒体6を介して復号側に伝送する。復号側では第1、第2復号化部3’−1、3’−2により、それぞれ第1グループチャネル「1」、「2」と第2グループチャネル「3」〜「6」の予測符号化データをPCMデータに復号し、次いでミクス&マトリクス回路4’により式(1−2)、(2)に基づいて元の6ch(Lf、C、Rf、Ls、Rs、Lfe)を復元するとともに、第1グループチャネル「1」、「2」を加算、減算することによりそれぞれステレオ2chデータ(L、R)を生成する。
【0014】
図3は第3の例の伝送形態として、マルチチャネルを圧縮しないで伝送するとともに再生側のダウンミクスを禁止する場合を示している。この場合には、非圧縮であるので、符号化側では相関信号も生成することなく元の6ch(Lf、C、Rf、Ls、Rs、Lfe)のPCMデータをそのまま伝送し(ただし、フォーマット化する)、復号化側ではデフォーマット化した後、元の6ch(Lf、C、Rf、Ls、Rs、Lfe)のみを復元する。
【0015】
図4は第4の例の伝送形態として、マルチチャネルを圧縮しないで伝送するとともに再生側のダウンミクスを許可する場合を示している。この場合にも、非圧縮であるので、符号化側では圧縮率を高めるための相関信号も生成することなく元の6ch(Lf、C、Rf、Ls、Rs、Lfe)のPCMデータをそのまま伝送する(ただし、フォーマット化する)。復号化側ではデフォーマット化した後、元の6ch(Lf、C、Rf、Ls、Rs、Lfe)を復元するとともに、式(2)によりステレオ2chデータ(L、R)を生成(ダウンミクス)する。
【0016】
図5は図1においてマルチチャネルを圧縮するとともに再生側のダウンミクスを禁止する場合の変形例を示している。この場合には、符号化側では次式(1−3)により6ch(1)〜(6)分の相関信号に変換し、符号化部2’はこれを予測符号化する。そして、復号化側では式(1−2)により元の6ch(Lf、C、Rf、Ls、Rs、Lfe)のみを復元する。
「1」=Lf−C
「2」=Rf−C
「3」〜「6」は式(1−1)と同じ …(1−3)
このように再生側のダウンミクスを禁止する場合は、これに対応して式(2)のダウンミクス係数を符号化に加えないとともに、符号化側で式(2)によりステレオ2chデータ(L、R)を生成(ダウンミクス)することが禁じられる。
【0017】
図6は図2においてマルチチャネルを圧縮するとともに再生側のダウンミクスを許可する場合の変形例を示している。この場合には、符号化側では式(2)によりステレオ2chデータ(L、R)を生成(ダウンミクス)し、次いで次式(1−4)により次のような第1グループの2チャネル「1」、「2」と第2グループの4チャネル分の相関信号「3」〜「6」に変換し、第1、第2符号化部2’−1、2’−2はこの各グループチャネルを予測符号化する。そして、復号化側では式(1−4)、(2)により元の6ch(Lf、C、Rf、Ls、Rs、Lfe)を復元するとともにステレオ2chデータ(L、R)をそのまま出力する。
「1」=L
「2」=R
「3」〜「6」は式(1−1)と同じ …(1−4)
【0018】
図7を参照して符号化部2’−1、2’−2について詳しく説明する。各ch「1」〜「6」のPCMデータは1フレーム毎に1フレームバッファ10に格納される。そして、1フレームの各ch「1」〜「6」のサンプルデータがそれぞれ予測回路13D1、13D2、15D1〜15D4に印加されるとともに、各ch「1」〜「6」の各フレームの先頭サンプルデータがフォーマット化回路19に印加される。予測回路13D1、13D2、15D1〜15D4はそれぞれ、各ch「1」〜「6」のPCMデータに対して、特性が異なる複数の予測器(不図示)により時間領域における過去の信号から現在の信号の複数の線形予測値を算出し、次いで原PCMデータと、この複数の線形予測値から予測器毎の予測残差を算出する。続くバッファ・選択器14D1、14D2、16D1〜16D4はそれぞれ、予測回路13D1、13D2、15D1〜15D4により算出された各予測残差を一時記憶して、選択信号/DTS(デコーディング・タイム・スタンプ)生成器17により指定されたサブフレーム毎に予測残差の最小値を選択する。
【0019】
選択信号/DTS生成器17は予測残差のビット数フラグをパッキング回路18とフォーマット化回路19に対して印加し、また、予測残差が最小の予測器を示す予測器選択フラグと、相関係数aと、復号化側が入力バッファ22a(図14)からストリームデータを取り出す時間を示すDTSをフォーマット化回路19に対して印加する。パッキング回路18はバッファ・選択器14D1、14D2、16D1〜16D4により選択された6ch分の予測残差を、選択信号/DTS生成器17により指定されたビット数フラグに基づいて指定ビット数でパッキングする。またPTS生成器17cは、復号化側が出力バッファ110(図14)からPCMデータを取り出す時間を示すPTS(プレゼンテーション・タイム・スタンプ)を生成してフォーマット化回路19に出力する。フォーマット化回路19にはまた、圧縮/非圧縮などを示す符号化モードと、ダウンミクス許可/禁止を示す識別子が印加される。
【0020】
続くフォーマット化回路19は図8〜図13に示すようなユーザデータにフォーマット化する。図8に示すユーザデータ(サブパケット)は、前方グループに関する2ch「1」、「2」の予測符号化データを含む可変レートビットストリーム(サブストリーム)BS0と、他のグループに関する4ch「3」〜「6」の予測符号化データを含む可変レートビットストリーム(サブストリーム)BS1と、サブストリームBS0、BS1の前に設けられたビットストリームヘッダ(リスタートヘッダ)により構成されている。
【0021】
また、サブストリームBS0、BS1の1フレーム分は
・フレームヘッダと、
・各ch「1」〜「6」の1フレームの先頭サンプルデータと、
・各ch「1」〜「6」のサブフレーム毎の予測器選択フラグと、
・各ch「1」〜「6」のサブフレーム毎のビット数フラグと、
・各ch「1」〜「6」の予測残差データ列(可変ビット数)と、
・ch「6」の係数aとが、
多重化されている。このような予測符号化によれば、原信号が例えばサンプリング周波数=96kHz、量子化ビット数=24ビット、6チャネルの場合、71%の圧縮率を実現することができる。
【0022】
図7に示す符号化部2’−1、2’−2により予測符号化された可変レートビットストリームデータを、記録媒体の一例としてDVDオーディオディスクに記録する場合には、図9に示すオーディオ(A)パックにパッキングされる。このパックは2034バイトのユーザデータ(Aパケット、Vパケット)に対して4バイトのパックスタート情報と、6バイトのSCR(System Clock Reference:システム時刻基準参照値)情報と、3バイトのMux レート(rate)情報と1バイトのスタッフィングの合計14バイトのパックヘッダが付加されて構成されている(1パック=合計2048バイト)。この場合、タイムスタンプであるSCR情報を、先頭パックでは「1」として同一タイトル内で連続とすることにより同一タイトル内のAパックの時間を管理することができる。
【0023】
圧縮PCMのAパケットは図10に詳しく示すように、19又は14バイトのパケットヘッダと、圧縮PCMのプライベートヘッダと、図11に示すフォーマットの1ないし2011バイトのオーディオデータ(圧縮PCM)により構成されている。そして、DTSとPTSは図5のパケットヘッダ内に(具体的にはパケットヘッダの10〜14バイト目にPTSが、15〜19バイト目にDTSが)セットされる。圧縮PCMのプライベートヘッダは、
・1バイトのサブストリームIDと、
・2バイトのUPC/EAN−ISRC(Universal Product Code/European Article Number-International Standard Recording Code)番号、及びUPC/EAN−ISRCデータと、
・1バイトのプライベートヘッダ長と、
・2バイトの第1アクセスユニットポインタと、
・8バイトのオーディオデータ情報(ADI)と、
・0〜7バイトのスタッフィングバイトとに、
より構成されている。
【0024】
また、ADI内に1秒後のアクセスユニットをサーチするための前方アクセスユニット・サーチポインタと、1秒前のアクセスユニットをサーチするための後方アクセスユニット・サーチポインタがともに1バイトでセットされる。具体的にはADIの7バイト目に前方アクセスユニット・サーチポインタが、8バイト目に後方アクセスユニット・サーチポインタがセットされる。
【0025】
図10に示す圧縮PCM(PPCMともいう)のオーディオパケットにおけるオーディオデータエリアは、図11に示すようにサブパケットと複数のPPCMアクセスユニットにより構成され、PPCMアクセスユニットはPPCMシンク情報とサブパケットにより構成されている。最初のPPCMアクセスユニット内のサブパケットは、ディレクトリと、サブストリーム「0」と、CRCと、サブストリーム「1」と、CRCとエクストラ情報により構成され、サブストリーム「0」、「1」はPPCMブロックのみにより構成されている。2番目以降のPPCMアクセスユニット内のサブパケットは、ディレクトリを除いてサブストリーム「0」と、CRCと、サブストリーム「1」と、CRCとエクストラ情報により構成され、サブストリーム「0」、「1」はリスタートヘッダとPPCMブロックにより構成されている。
【0026】
PPCMシンク情報(以下、同期情報ともいう)は次の情報を含む。
・1パケット当たりのサンプル数:サンプリング周波数fsに応じて40、80又は160が選択される。
・データレート:VBRの場合には「0」(サブパケット内のデータが圧縮データであることを示す識別子)
・サンプリング周波数fs及び量子化ビット数Qb
・チャネル割り当て情報
【0027】
フォーマット化回路19はまた、図8〜図11に示すオーディオパックを管理するために図12、図13に示すような管理情報を含むATSI(オーディオ・タイトル・セット・インフォーメーション)をフォーマット化する。図12はAOTT−AOB−ATR(オーディオオンリタイトル・オーディオオブジェクトセット・アトリビュート)を示し、このAOTT−AOB−ATR(b127〜b0)は、MSB側から順に
・8ビット(b127〜b120)のオーディオ符号化モードと、
・8ビット(b119〜b112)の保留領域と、
・4ビット(b111〜b108)のチャネルグループ「1」の量子化ビット数Q1と、
・4ビット(b107〜b104)のチャネルグループ「2」の量子化ビット数Q2と、
・4ビット(b103〜b100)のチャネルグループ「1」のサンプリング周波数fs1と、
・4ビット(b99〜b96)のチャネルグループ「2」のサンプリング周波数fs2と、
・3ビット(b95〜b93)のマルチチャネル構造のタイプと、
・5ビット(b92〜b88)のチャネル割り当てと、
・8ビット×11(b87〜b0)の保留領域により構成されている。
【0028】
上記データを以下に詳しく示す。
(1)オーディオ符号化モード(b127〜b120)
00000000b:リニアPCMモード
00000001b:圧縮PCMモード
その他 :その他の符号化モード用に保留
【0029】
(2)チャネルグループ1の量子化ビット数Q1(b111〜b108)
0000b:16ビット
0001b:20ビット
0010b:24ビット
その他 :保留
(3)チャネルグループ2の量子化ビット数Q2(b107〜b104)
・チャネルグループ1の量子化ビット数Q1が「0000b」の場合には「0000b」
・チャネルグループ1の量子化ビット数Q1が「0001b」の場合には「0000b」又は「0001b」
・チャネルグループ1の量子化ビット数Q1が「0010b」の場合には「0000b」、「0001b」又は「0010b」
ただし、0000b:16ビット
0001b:20ビット
0010b:24ビット
その他 :保留
【0030】
(4)チャネルグループ1のサンプリング周波数fs1(b103〜b100)
0000b:48kHz
0001b:96kHz
0010b:192kHz
1000b:44.1kHz
1001b:88.2kHz
1010b:176.4kHz
その他 :保留
【0031】
(5)チャネルグループ2のサンプリング周波数fs2(b99〜b96)
・チャネルグループ1のサンプリング周波数fs1が「0000b」の場合には「0000b」
・チャネルグループ1のサンプリング周波数fs1が「0001b」の場合には「0000b」又は「0001b」
・チャネルグループ1のサンプリング周波数fs1が「0010b」の場合には「0000b」、「0001b」又は「0010b」
・チャネルグループ1のサンプリング周波数fs1が「1000b」の場合には「1000b」
・チャネルグループ1のサンプリング周波数fs1が「1001b」の場合には「1000b」又は「1001b」
・チャネルグループ1のサンプリング周波数fs1が「1010b」の場合には「1000b」、「1001b」又は「1010b」
【0032】
(6)マルチチャネル構造のタイプ(b95〜b93)
000b:タイプ1
その他 :保留
(7)チャネル割り当て(b92〜b88)
1チャネル(モノラル)から6チャネルまでのグループ「1」、「2」のチャネル割り当て情報
【0033】
図13はATS−PG−CNT(オーディオタイトルセット・プログラム・コンテンツ)を示し、これは先頭から順に
・1ビット(b31)の、前回と今回のPGの関係(R/A)と、
・1ビット(b30)のSTC不連続性フラグ(STC−F)と、
・3ビット(b29〜b27)のアトリビュート数(ATRN)と、
・3ビット(b26〜b24)のチャネルグループ(ChGr)「2」のビットシフトデータと、
・2ビット(b23、b22)の保留領域と、
・1ビット(b21)のダウンミックスモード(D−M)と、
・1ビット(b20)のダウンミックス係数の有効性(図示※)と、
・4ビット(b19〜b16)のダウンミックス係数テーブル番号(DM−COEFTN)と、
・各々が1ビット、合計16ビット(b15〜b0)のRTIフラグF15〜F0により構成されている。
そして、ビット(b21)のダウンミクスモード(D−M)が「1」の場合に「ダウンミクス禁止」、「0」の場合に「ダウンミクス許可」を表す。
【0034】
次に図14を参照して復号化部3’(3’−1、3’−2)について説明する。なお、この復号化部3’(3’−1、3’−2)とミクス&マトリクス回路4’は、ハードウエアの他にコンピュータプログラムよっても実現することができる。上記フォーマットの可変レートビットストリームデータBS0、BS1は、デフォーマット化回路21により分離される。そして、各ch「1」〜「6」の1フレームの先頭サンプルデータと予測器選択フラグはそれぞれ予測回路24D1、24D2、23D1〜23D4に印加され、各ch「1」〜「6」のビット数フラグはアンパッキング回路22に印加される。また、SCRと、DTSと予測残差データ列は入力バッファ22aに印加され、PTSは出力バッファ110に印加される。また、圧縮/非圧縮などを示す符号化モードと、ダウンミクス許可/禁止を示す識別子は制御部100に印加され、サンプリング周波数fs及び量子化ビット数QbはD/A変換器102に印加される。ここで、予測回路24D1、24D2、23D1〜23D4内の複数の予測器(不図示)はそれぞれ、符号化側の予測回路13D1、13D2、15D1〜15D4内の複数の予測器と同一の特性であり、予測器選択フラグにより同一特性のものが選択される。
【0035】
デフォーマット化回路21により分離されたストリームデータ(予測残差データ列)は、図15に示すようにSCRによりアクセスユニット毎に入力バッファ22aに取り込まれて蓄積される。ここで、1つのアクセスユニットのデータ量は、例えばfs=96kHzの場合には(1/96kHz)秒分であるが、図16、図17(a)に詳しく示すように可変長である。そして、入力バッファ22aに蓄積されたストリームデータはDTSに基づいてFIFOで読み出されてアンパッキング回路22に印加される。
【0036】
アンパッキング回路22は各ch「1」〜「6」の予測残差データ列をビット数フラグ毎に基づいて分離してそれぞれ予測回路24D1、24D2、23D1〜23D4に出力する。予測回路24D1、24D2、23D1〜23D4ではそれぞれ、アンパッキング回路22からの各ch「1」〜「6」の今回の予測残差データと、内部の複数の予測器の内、予測器選択フラグにより選択された各1つにより予測された前回の予測値が加算されて今回の予測値が算出され、次いで1フレームの先頭サンプルデータを基準として各サンプルのPCMデータが算出されて出力バッファ110に蓄積される。出力バッファ110に蓄積されたPCMデータはPTSに基づいて読み出されて出力され、したがって、図17(a)に示す可変長のアクセスユニットが伸長されて、図17(b)に示す一定長のプレゼンテーションユニットが出力される。
【0037】
また、PPCMシンク情報内のサンプリング周波数fs及び量子化ビット数Qbに基づいて、PCMデータがD/A変換器102によりアナログ信号に変換される。ここで、操作部101を介してサーチ再生が指示された場合には、制御部100により図5に示す前方アクセスユニット・サーチポインタ(1秒先)と後方アクセスユニット・サーチポインタ(1秒前)に基づいてアクセスユニットを再生する。このサーチポインタとしては、1秒先、1秒前の代わりに2秒先、2秒前のものでよい。
【0038】
符号化部2’(2’−1、2’−2)により予測符号化された可変レートビットストリームデータをネットワークを介して伝送する場合には、符号化側では図18に示すように伝送用にパケット化し(ステップS41)、次いでパケットヘッダを付与し(ステップS42)、次いでこのパケットをネットワーク上に送り出す(ステップS43)。
【0039】
復号側では図19(A)に示すようにヘッダを除去し(ステップS51)、次いでデータを復元し(ステップS52)、次いでこのデータをメモリに格納して復号を待つ(ステップS53)。そして、復号を行う場合には図19(B)に示すように、デフォーマット化を行い(ステップS61)、次いで入力バッファ22aの入出力制御を行い(ステップS62)、次いでアンパッキングを行う(ステップS63)。なお、このとき、サーチ再生指示がある場合にはサーチポインタをデコードする。次いで予測器をフラグに基づいて選択してデコードを行い(ステップS64)、次いで出力バッファ110の入出力制御を行い(ステップS65)、次いで元のマルチチャネルを復元し(ステップS66)、次いでこれを出力し(ステップS67)、以下、これを繰り返す。
【0040】
次に図20、図21を参照して別の例について説明する。上述の例では、1グループの相関性の信号「1」〜「6」を予測符号化するように構成されているが、この例では複数グループの相関性のある信号を生成して予測符号化し、圧縮率が最も高いグループの予測符号化データを選択するように構成されている。このため図20に示す符号化部では、第1〜第nの相関回路1−1〜1−nが設けられ、このn個の相関回路1−1〜1−nは例えば6ch(Lf、C、Rf、Ls、Rs、Lfe)のPCMデータを、相関性が異なるn種類の6ch信号「1」〜「6」に変換する。
【0041】
例えば第1の相関回路1−1は以下のように変換し、
(1)=Lf
(2)=C−(Ls+Rs)/2
(3)=Rf−Lf
(4)=Ls−a×Lfe
(5)=Rs−b×Rf
(6)=Lfe
また、第nの相関回路1−nは以下のように変換する。
(1)=Lf+Rf
(2)=C−Lf
(3)=Rf−Lf
(4)=Ls−Lf
(5)=Rs−Lf
(6)=Lfe−C
【0042】
また、相関回路1−1〜1−n毎に予測回路15とバッファ・選択器16が設けられ、グループ毎の予測残差の最小値のデータ量に基づいて圧縮率が最も高いグループが相関選択信号生成器17bにより選択される。このとき、フォーマット化回路19はその選択フラグ(相関回路選択フラグ、その相関回路の相関係数a、b)を追加して多重化する。
【0043】
また、図21に示す復号化側では、符号化側の相関回路1−1〜1−nに対してn個の相関回路4−1〜4−n(又は係数a、bが変更可能な1つの相関回路4)が設けられる。なお、図20に示すnグループの予測回路が同一の構成である場合、復号装置では図21に示すようにnグループ分の予測回路を設ける必要はなく、1つのグループ分の予測回路でよい。そして、符号化装置から伝送された選択フラグに基づいて相関回路4−1〜4−nの1つを選択、又は係数a、bを設定して元の6ch(Lf、C、Rf、Ls、Rs、Lfe)を復元し、また、式(2)によりマルチチャネルをダウンミクスしてステレオ2chデータ(L、R)を生成する。
【0044】
また、先の第1の例では、1種類の相関性の信号「1」〜「6」を予測符号化するように構成されているが、この信号「1」〜「6」のグループと原信号(Lf、C、Rf、Ls、Rs、Lfe)のグループを予測符号化し、圧縮率が高い方のグループを選択するようにしてもよい。
本発明によれば、特許請求の範囲に記載した発明の他に、次のような発明が提供される。
マルチチャネルの音声信号が圧縮されたデータ又は圧縮されないデータを選択的にオーディオパケットに配置するフォーマット化手段と、
前記オーディオパケット内のマルチチャネルデータが圧縮されているか否か、あるいは、前記オーディオパケット内のマルチチャネルデータをステレオ2チャネルにダウンミクスすることを許可するか又は禁止するかによってあらかじめダウンミクスして符号化するか否か、あるいはダウンミクス係数を符号化するか否かを選択する手段とを、
有する音声符号化装置。
【0045】
【発明の効果】
以上説明したように本発明によれば、例えば、マルチチャネルデータが圧縮されているか否かを示す識別子と、マルチチャネルデータをステレオ2チャネルにダウンミクスすることを許可するか又は禁止するかを示す識別子とを含むデータ構造に符号化するようにしたので、正常に復号化して再生することができる。
【図面の簡単な説明】
【図1】本発明が適用されるマルチチャネルの伝送形態の第1の例を示す説明図である。
【図2】本発明が適用されるマルチチャネルの伝送形態の第2の例を示す説明図である。
【図3】本発明が適用されるマルチチャネルの伝送形態の第3の例を示す説明図である。
【図4】本発明が適用されるマルチチャネルの伝送形態の第4の例を示す説明図である。
【図5】図1の変形例を示す説明図である。
【図6】図2の変形例を示す説明図である。
【図7】図1の符号化部を詳しく示すブロック図である。
【図8】図1、図7の符号化部により符号化されたビットストリームを示す説明図である。
【図9】DVDのパックのフォーマットを示す説明図である。
【図10】DVDのオーディオパックのフォーマットを示す説明図である。
【図11】図10のオーディオデータエリアのフォーマットを詳しく示す説明図である。
【図12】DVDオーディオのAOTT−AOB−ATR(オーディオオンリタイトル・オーディオオブジェクトセット・アトリビュート)を示す説明図である。
【図13】DVDオーディオのATS−PG−CNT(オーディオタイトルセット・プログラム・コンテンツ)を示す説明図である。
【図14】図1の復号化部を詳しく示すブロック図である。
【図15】図14の入力バッファの書き込み/読み出しタイミングを示すタイミングチャートである。
【図16】アクセスユニット毎の圧縮データ量を示す説明図である。
【図17】アクセスユニットとプレゼンテーションユニットを示す説明図である。
【図18】音声伝送方法を示すフローチャートである。
【図19】音声伝送方法を示すフローチャートである。
【図20】第2の例の音声符号化装置を示すブロック図である。
【図21】第2の例の音声復号装置を示すブロック図である。
【符号の説明】
1’ 6chミクス&マトリクス回路
13D1,13D2,15D1〜15D4 予測回路(バッファ・選択器
14D1,14D2,16D1〜16D4と共に圧縮手段を構成する。)
14D1,14D2,16D1〜16D4 バッファ・選択器
17 選択信号/DTS生成器
17c PTS生成器
19 フォーマット化回路
21 デフォーマット化回路(分離手段)
22 アンパッキング回路
22a 入力バッファ
24D1,24D2,23D1〜23D4 予測回路(伸長手段)
100 制御部(再生手段)
102 D/A変換器
110 出力バッファ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a speech encoding method and speech decoding method for a multi-channel speech signal.
[0002]
[Prior art]
As a method of compressing an audio signal with a variable length, the present inventor, in the previous application (Japanese Patent Application No. 9-289159), uses a plurality of predictors having different characteristics in the time domain for a single channel original digital audio signal. A plurality of linear prediction values of the current signal are calculated from the past signal, a prediction residual for each predictor is calculated from the original digital speech signal and the plurality of linear prediction values, and a minimum prediction residual is selected. A predictive coding method is proposed.
[0003]
In the above method, a certain degree of compression effect can be obtained when the original digital audio signal has a sampling frequency = 96 kHz and the number of quantization bits = 20 bits. However, in recent DVD audio discs, the sampling frequency (twice this ( = 192 kHz), and the number of quantization bits tends to be 24 bits. In addition, the sampling frequency and the number of quantization bits in multichannel may be different for each channel.
[0004]
[Problems to be solved by the invention]
By the way, when transmitting multi-channel audio signals, the copyright holder may or may not want to compress depending on the audio source, and the user down-mixes the multi-channel to 2 stereo channels for playback. There are two ways: what you don't want to do and what you don't. Therefore, in the case of transmission in a total of four ways, such as two ways of selectively transmitting with compression or non-compression and two ways of selectively permitting and prohibiting down-mixing on the playback side, this is transmitted on the playback side. It is necessary to identify and selectively play back.
[0005]
Accordingly, an object of the present invention is to provide a speech encoding method and a speech decoding method that can be normally reproduced on the reproduction side even when the reproduction side downmix is selectively permitted or prohibited.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, the present invention comprises the following means 1) and 2).
That is,
1) For a multi-channel audio signal, a first sample value is obtained in response to an input audio signal for each channel as it is or for each channel correlated with each other, and a current signal predicted from a past signal in the time domain is obtained. Selecting and compressing a linear prediction method that minimizes the prediction residual among a plurality of prediction values;
Generating access unit search information for searching for and reproducing an access unit before or after a predetermined time of compressed data including the first sample value selected in the step, a prediction residual, and a linear prediction method;
An audio packet having a user data including a private header including the access unit search information, wherein the access unit, and
A first identifier indicating that the data in the audio packet is compressed by the compression method and the multi-channel data stored in the audio packet is permitted or prohibited to be down-mixed to stereo two channels Management information in which a second identifier indicating whether or not
Formatting into a data structure comprising:
A speech encoding method comprising:
2) A speech decoding method for decoding data having a data structure formatted by the speech encoding method according to 1) ,
Separating the data into audio packets and management information;
Extracting a first identifier and a second identifier from the management information;
A step of searching on the basis of the access unit search information included luer access units to the user data in the audio packet,
At least a first multi-channel and stereo 2 channels by Shin length based on an identifier of the compressed data of said search the access unit is the extraction when the second identifier the extraction is allowed to down-mix removed at any, retrieving only a multi-channel the second identifier is extension length based compressed data of the access unit that is the search to the first identifier to disallow that down-mix,
A speech decoding method comprising:
[0007]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. 1 to 4 are explanatory diagrams showing processing of a speech coding apparatus that realizes a multi-channel transmission mode to which the present invention is applied.
[0008]
Here, as the multi-channel method, for example, the following four methods are known.
(1) 4 channels, like the Dolby Surround system, 4 channels in total, 3 channels for the front L, C, and R + 1 channel for the rear S (2) No SW channel for the 5 channels method Dolby AC-3 , Forward L, C, R 3 channels + backward SL, SR 2 channels in total 5 channels (3) 6 channels system DTS (Digital Theater System) system, 6 channels (L, C, R, SW (Lfe), SL, SR)
(4) 8-channel system Like the SDDS (Sony Dynamic Digital Sound) system, a total of 8 channels including 6 channels of forward L, LC, C, RC, R, and SW + 2 channels of backward SL and SR
FIG. 1 shows a case where a multi-channel is compressed and playback side downmixing is prohibited as a transmission form of the first example. The encoding-side 6-channel (ch) mix & matrix circuit 1 ′ includes a front left (Lf), a center (C), a front right (Rf), a surround left (Ls), and a surround right (Rs) as an example of a multi-channel signal. ) And Lfe (Low Frequency Effect) 6ch PCM data is converted into correlation signals for 6ch “1” to “6” by the following equation (1-1), and output to the encoding unit 2 ′.
“1” = Lf + Rf−C
“2” = Lf−Rf−C
“3” = C− (Ls + Rs) / 2
“4” = Ls + Rs
“5” = Ls−Rs
“6” = Lfe−a × C
However, 0 ≦ a ≦ 1 (1-1)
The correlation equation by the 6-channel (ch) mix & matrix circuit 1 ′ and the encoding method of the encoding unit 2 ′ are selected by the selection means 7 ′. The same applies to FIG. 2, FIG. 3, FIG. 4, FIG. 5 and FIG.
[0010]
The encoding unit 2 ′ having the first and second encoding units 2′-1, 2′-2 predictively encodes the 6ch “1” to “6” PCM data as shown in detail in FIG. Predictive encoded data is transmitted to the decoding side via the recording medium 5 and the communication medium 6 in a bit stream as shown in FIG. On the decoding side, the decoding unit 3 ′ having the first and second decoding units 3′-1 and 3′-2 performs prediction encoded data of 6ch “1” to “6” as shown in detail in FIG. Is then decoded into PCM data, and then only the original 6 channels (Lf, C, Rf, Ls, Rs, Lfe) are restored based on the equation (1-1) by the mix & matrix circuit 4 ′.
[0011]
FIG. 2 shows a case where the multi-channel is compressed and down-mixing on the reproduction side is permitted as a transmission form of the second example. The 6-channel mix & matrix circuit 1 'on the encoding side uses the original 6ch (Lf, C, Rf, Ls, Rs, Lfe) and the coefficient mij (i = 1, 2, j = 1, 2 to 6) as follows: As shown in (2), stereo 2ch data (L, R) is generated (downmixed).
L = m11 ・ Lf + m12 ・ Rf + m13 ・ C
+ M14 ・ Ls + m15 ・ Rs + m16 ・ Lfe
R = m21 ・ Lf + m22 ・ Rf + m23 ・ C
+ M24 · Ls + m25 · Rs + m26 · Lfe (2)
[0012]
Then, the correlation signals “1” and “2” for the two channels of the first group and the correlation signals “3” for the four channels of the second group as shown below by the equation (2) and the following equation (1-2): To “6” and output to the first encoding unit 2′-1 and the second encoding unit 2′-2, respectively.
“1” = L + R
“2” = LR
“3” to “6” are the same as in formula (1-1) (1-2)
[0013]
The first and second encoding units 2′-1 and 2′-2 predictively encode the PCM data of the first group channels “1” and “2” and the second group channels “3” to “6”, respectively. Predictive encoded data of each channel is transmitted to the decoding side via the recording medium 5 and the communication medium 6. On the decoding side, the first and second decoding units 3′-1 and 3′-2 respectively perform predictive coding of the first group channels “1” and “2” and the second group channels “3” to “6”. The data is decoded into PCM data, and then the original 6ch (Lf, C, Rf, Ls, Rs, Lfe) is restored based on the formulas (1-2) and (2) by the mix & matrix circuit 4 ′. Stereo 2ch data (L, R) is generated by adding and subtracting the first group channels “1” and “2”, respectively.
[0014]
FIG. 3 shows a case where the multi-channel is transmitted without compression and the reproduction side down-mixing is prohibited as a third example of transmission form. In this case, since it is uncompressed, the encoding side transmits the original 6ch (Lf, C, Rf, Ls, Rs, Lfe) PCM data as it is without generating a correlation signal (however, formatting) On the decoding side, after deformatting, only the original 6ch (Lf, C, Rf, Ls, Rs, Lfe) is restored.
[0015]
FIG. 4 shows a transmission example of the fourth example in which multi-channel transmission is performed without compression and down-mixing on the reproduction side is permitted. Also in this case, since the data is not compressed, the encoding side transmits the original 6ch (Lf, C, Rf, Ls, Rs, Lfe) PCM data without generating a correlation signal for increasing the compression rate. (But format). On the decoding side, after deformatting, the original 6ch (Lf, C, Rf, Ls, Rs, Lfe) is restored, and stereo 2ch data (L, R) is generated (downmix) according to equation (2) To do.
[0016]
FIG. 5 shows a modification in the case where the multi-channel is compressed in FIG. 1 and down-mixing on the reproduction side is prohibited. In this case, the encoding side converts the correlation signals for 6ch (1) to (6) by the following equation (1-3), and the encoding unit 2 ′ performs predictive encoding. Then, on the decoding side, only the original 6ch (Lf, C, Rf, Ls, Rs, Lfe) is restored by Expression (1-2).
“1” = Lf−C
“2” = Rf−C
“3” to “6” are the same as in formula (1-1) (1-3)
Thus, when the reproduction side down-mixing is prohibited, the down-mix coefficient of the equation (2) is not added to the encoding correspondingly, and the stereo 2ch data (L, It is forbidden to generate (downmix) R).
[0017]
FIG. 6 shows a modification in the case of compressing the multi-channel in FIG. 2 and allowing down-mixing on the reproduction side. In this case, on the encoding side, stereo 2ch data (L, R) is generated (downmixed) by the equation (2), and then the following first group 2 channel “ 1 ”,“ 2 ”and the correlation signals“ 3 ”to“ 6 ”for the four channels of the second group, and the first and second encoding units 2′-1, 2′-2 Is predictively encoded. Then, on the decoding side, the original 6ch (Lf, C, Rf, Ls, Rs, Lfe) is restored by the equations (1-4) and (2), and the stereo 2ch data (L, R) is output as it is.
“1” = L
“2” = R
“3” to “6” are the same as in formula (1-1) (1-4)
[0018]
The encoding units 2′-1 and 2′-2 will be described in detail with reference to FIG. The PCM data of each channel “1” to “6” is stored in one frame buffer 10 for each frame. The sample data of each channel “1” to “6” of one frame is applied to the prediction circuits 13D1, 13D2, and 15D1 to 15D4, respectively, and the head sample data of each frame of each channel “1” to “6” Is applied to the formatting circuit 19. Each of the prediction circuits 13D1, 13D2, 15D1 to 15D4 outputs a current signal from a past signal in the time domain to a PCM data of each channel “1” to “6” by a plurality of predictors (not shown) having different characteristics. A plurality of linear prediction values are calculated, and then a prediction residual for each predictor is calculated from the original PCM data and the plurality of linear prediction values. The subsequent buffer / selectors 14D1, 14D2, 16D1 to 16D4 temporarily store the prediction residuals calculated by the prediction circuits 13D1, 13D2, and 15D1 to 15D4, respectively, and select signals / DTS (decoding time stamp). The minimum value of the prediction residual is selected for each subframe designated by the generator 17.
[0019]
The selection signal / DTS generator 17 applies the bit number flag of the prediction residual to the packing circuit 18 and the formatting circuit 19, and the predictor selection flag indicating the predictor with the smallest prediction residual and the phase relationship The number a and the DTS indicating the time for the decoding side to extract the stream data from the input buffer 22a (FIG. 14) are applied to the formatting circuit 19. The packing circuit 18 packs the prediction residuals for 6ch selected by the buffers / selectors 14D1, 14D2, 16D1 to 16D4 with the designated number of bits based on the bit number flag designated by the selection signal / DTS generator 17. . The PTS generator 17c generates a PTS (Presentation Time Stamp) indicating the time for the decoding side to extract the PCM data from the output buffer 110 (FIG. 14) and outputs the PTS to the formatting circuit 19. The formatting circuit 19 is also applied with an encoding mode indicating compression / non-compression and an identifier indicating downmix permission / prohibition.
[0020]
The subsequent formatting circuit 19 formats the user data as shown in FIGS. The user data (subpacket) shown in FIG. 8 includes variable rate bitstream (substream) BS0 including 2ch “1” and “2” predictive encoded data regarding the forward group, and 4ch “3” to “3” regarding other groups. It is composed of a variable rate bit stream (substream) BS1 including predictive encoded data of “6” and a bitstream header (restart header) provided before the substreams BS0 and BS1.
[0021]
Also, one frame of substream BS0, BS1 is a frame header,
・ First sample data of one frame of each channel “1” to “6”,
A predictor selection flag for each subframe of each channel “1” to “6”;
A bit number flag for each subframe of each channel “1” to “6”;
-Predictive residual data string (number of variable bits) of each ch "1" to "6",
The coefficient a of ch “6” is
Multiplexed. According to such predictive coding, when the original signal is, for example, sampling frequency = 96 kHz, quantization bit number = 24 bits, and 6 channels, a compression rate of 71% can be realized.
[0022]
When the variable rate bit stream data predictively encoded by the encoding units 2′-1, 2′-2 shown in FIG. 7 is recorded on a DVD audio disk as an example of a recording medium, the audio ( A) Packed in a pack. This pack consists of 2034 bytes of user data (A packet, V packet), 4 bytes of pack start information, 6 bytes of SCR (System Clock Reference) information, and 3 bytes of Mux rate ( rate) information and a 1-byte stuffing total 14-byte pack header are added (1 pack = total 2048 bytes). In this case, the time of the A pack in the same title can be managed by setting the SCR information as a time stamp as “1” in the first pack and continuing in the same title.
[0023]
As shown in FIG. 10, the compressed PCM A packet is composed of a 19 or 14 byte packet header, a compressed PCM private header, and 1 to 2011 byte audio data (compressed PCM) in the format shown in FIG. ing. The DTS and PTS are set in the packet header of FIG. 5 (specifically, the PTS is in the 10th to 14th bytes of the packet header and the DTS is in the 15th to 19th bytes). The compressed PCM private header is
A 1-byte substream ID,
-2-byte UPC / EAN-ISRC (Universal Product Code / European Article Number-International Standard Recording Code) number and UPC / EAN-ISRC data;
-1 byte private header length,
A 2-byte first access unit pointer;
8 bytes of audio data information (ADI)
・ With stuffing byte of 0-7 bytes,
It is made up of.
[0024]
In addition, a front access unit search pointer for searching for an access unit after one second and a rear access unit search pointer for searching for an access unit one second before are both set in one byte in the ADI. Specifically, the forward access unit / search pointer is set in the seventh byte of the ADI, and the backward access unit / search pointer is set in the eighth byte.
[0025]
The audio data area in the audio packet of the compressed PCM (also referred to as PPCM) shown in FIG. 10 is composed of subpackets and a plurality of PPCM access units as shown in FIG. 11, and the PPCM access unit is composed of PPCM sink information and subpackets. Has been. The subpacket in the first PPCM access unit is composed of a directory, a substream “0”, a CRC, a substream “1”, a CRC, and extra information. The substreams “0” and “1” are PPCM. It consists only of blocks. Sub-packets in the second and subsequent PPCM access units are composed of sub-stream “0”, CRC, sub-stream “1”, CRC and extra information except for the directory, and sub-streams “0”, “1”. "Is composed of a restart header and a PPCM block.
[0026]
The PPCM sync information (hereinafter also referred to as synchronization information) includes the following information.
-Number of samples per packet: 40, 80 or 160 is selected according to the sampling frequency fs.
Data rate: “0” in the case of VBR (an identifier indicating that the data in the subpacket is compressed data)
-Sampling frequency fs and number of quantization bits Qb
Channel assignment information [0027]
The formatting circuit 19 also formats ATSI (Audio Title Set Information) including management information as shown in FIGS. 12 and 13 in order to manage the audio packs shown in FIGS. FIG. 12 shows AOTT-AOB-ATR (audio only title / audio object set attribute), and this AOTT-AOB-ATR (b127 to b0) is an 8-bit (b127 to b120) audio code in order from the MSB side. Mode,
An 8-bit (b119 to b112) reserved area;
A quantization bit number Q1 of a channel group “1” of 4 bits (b111 to b108);
A quantization bit number Q2 of a channel group “2” of 4 bits (b107 to b104);
A sampling frequency fs1 of a channel group “1” of 4 bits (b103 to b100);
A sampling frequency fs2 of a 4-bit (b99 to b96) channel group “2”;
3 bit (b95 to b93) multi-channel structure type;
-Channel assignment of 5 bits (b92 to b88);
-It is composed of a reserved area of 8 bits x 11 (b87 to b0).
[0028]
The above data is shown in detail below.
(1) Audio encoding mode (b127 to b120)
00000000b: Linear PCM mode 00000001b: Compressed PCM mode Others: Reserved for other encoding modes
(2) Quantization bit number Q1 (b111 to b108) of channel group 1
0000b: 16 bits 0001b: 20 bits 0010b: 24 bits Others: Reserved (3) Number of quantization bits Q2 of channel group 2 (b107 to b104)
When the number of quantization bits Q1 of channel group 1 is “0000b”, “0000b”
“0000b” or “0001b” when the number of quantization bits Q1 of channel group 1 is “0001b”
“0000b”, “0001b” or “0010b” when the number of quantization bits Q1 of channel group 1 is “0010b”
However, 0000b: 16 bits 0001b: 20 bits 0010b: 24 bits Others: reserved
(4) Sampling frequency fs1 (b103 to b100) of channel group 1
0000b: 48 kHz
0001b: 96 kHz
0010b: 192 kHz
1000b: 44.1 kHz
1001b: 88.2 kHz
1010b: 176.4 kHz
Other: Hold [0031]
(5) Sampling frequency fs2 of channel group 2 (b99 to b96)
“0000b” when the sampling frequency fs1 of channel group 1 is “0000b”
When the sampling frequency fs1 of the channel group 1 is “0001b”, “0000b” or “0001b”
When the sampling frequency fs1 of the channel group 1 is “0010b”, “0000b”, “0001b” or “0010b”
“1000b” when the sampling frequency fs1 of channel group 1 is “1000b”
When the sampling frequency fs1 of the channel group 1 is “1001b”, “1000b” or “1001b”
When the sampling frequency fs1 of the channel group 1 is “1010b”, “1000b”, “1001b”, or “1010b”
[0032]
(6) Type of multi-channel structure (b95 to b93)
000b: Type 1
Other: Reserved (7) Channel allocation (b92 to b88)
Channel assignment information of groups “1” and “2” from 1 channel (monaural) to 6 channels
FIG. 13 shows ATS-PG-CNT (audio title set / program / content), which is, in order from the top, 1 bit (b31), the relationship between the previous and current PG (R / A),
1 bit (b30) STC discontinuity flag (STC-F),
・ The number of attributes (ATRN) of 3 bits (b29 to b27),
3 bit (b26 to b24) channel group (ChGr) “2” bit shift data;
A 2-bit (b23, b22) reserved area;
1-bit (b21) downmix mode (D-M),
・ Effectiveness of 1-bit (b20) downmix coefficient (shown *),
A 4-bit (b19 to b16) downmix coefficient table number (DM-COEFTN);
Each is composed of RTI flags F15 to F0 of 1 bit and 16 bits (b15 to b0) in total.
When the downmix mode (DM) of the bit (b21) is “1”, “downmix prohibition” is indicated, and when it is “0”, “downmix permission” is indicated.
[0034]
Next, the decoding unit 3 ′ (3′-1, 3′-2) will be described with reference to FIG. The decoding unit 3 ′ (3′-1, 3′-2) and the mix & matrix circuit 4 ′ can be realized by a computer program in addition to hardware. The variable rate bit stream data BS0 and BS1 in the above format are separated by the deformatting circuit 21. The first sample data of one frame of each channel “1” to “6” and the predictor selection flag are respectively applied to the prediction circuits 24D1, 24D2, 23D1 to 23D4, and the number of bits of each channel “1” to “6”. The flag is applied to the unpacking circuit 22. The SCR, DTS, and prediction residual data string are applied to the input buffer 22a, and PTS is applied to the output buffer 110. An encoding mode indicating compression / non-compression and an identifier indicating permission / prohibition of downmixing are applied to the control unit 100, and the sampling frequency fs and the number of quantization bits Qb are applied to the D / A converter 102. . Here, a plurality of predictors (not shown) in the prediction circuits 24D1, 24D2, 23D1 to 23D4 have the same characteristics as the plurality of predictors in the encoding-side prediction circuits 13D1, 13D2, and 15D1 to 15D4, respectively. Those having the same characteristics are selected by the predictor selection flag.
[0035]
The stream data (predictive residual data string) separated by the deformatting circuit 21 is taken in and stored in the input buffer 22a for each access unit by the SCR as shown in FIG. Here, the data amount of one access unit is, for example, (1/96 kHz) when fs = 96 kHz, but is variable length as shown in detail in FIGS. 16 and 17A. Then, the stream data stored in the input buffer 22a is read out by the FIFO based on the DTS and applied to the unpacking circuit 22.
[0036]
The unpacking circuit 22 separates the prediction residual data strings of the channels “1” to “6” based on the bit number flags and outputs them to the prediction circuits 24D1, 24D2, and 23D1 to 23D4, respectively. Each of the prediction circuits 24D1, 24D2, 23D1 to 23D4 uses the current prediction residual data of each channel “1” to “6” from the unpacking circuit 22 and a predictor selection flag among a plurality of internal predictors. The previous prediction value predicted by each selected one is added to calculate the current prediction value, and then the PCM data of each sample is calculated and stored in the output buffer 110 with reference to the first sample data of one frame. Is done. The PCM data stored in the output buffer 110 is read out and output based on the PTS. Therefore, the variable-length access unit shown in FIG. 17A is expanded, and the fixed-length access unit shown in FIG. The presentation unit is output.
[0037]
Further, the PCM data is converted into an analog signal by the D / A converter 102 based on the sampling frequency fs and the quantization bit number Qb in the PPCM sync information. Here, when search reproduction is instructed via the operation unit 101, the control unit 100 causes the front access unit search pointer (one second ahead) and the rear access unit search pointer (one second previous) shown in FIG. Play the access unit based on This search pointer may be one second ahead and two seconds ahead instead of one second ahead and one second ahead.
[0038]
When the variable rate bit stream data that has been predictively encoded by the encoding unit 2 ′ (2′-1, 2′-2) is transmitted through the network, the encoding side uses a transmission unit as shown in FIG. (Step S41), then a packet header is added (step S42), and then the packet is sent out on the network (step S43).
[0039]
As shown in FIG. 19A, the decoding side removes the header (step S51), then restores the data (step S52), then stores this data in the memory and waits for decoding (step S53). When decoding is performed, as shown in FIG. 19B, deformatting is performed (step S61), input / output control of the input buffer 22a is performed (step S62), and then unpacking is performed (step S61). S63). At this time, if there is a search reproduction instruction, the search pointer is decoded. Next, the predictor is selected and decoded based on the flag (step S64), then the input / output control of the output buffer 110 is performed (step S65), and then the original multi-channel is restored (step S66). This is repeated (step S67).
[0040]
Next, another example will be described with reference to FIGS. In the above example, the correlation signals “1” to “6” of one group are configured to be predictively encoded. In this example, a plurality of groups of correlated signals are generated and subjected to predictive encoding. The prediction encoded data of the group with the highest compression rate is selected. For this reason, the encoding unit shown in FIG. 20 includes first to n-th correlation circuits 1-1 to 1-n, and the n correlation circuits 1-1 to 1-n include, for example, 6ch (Lf, C , Rf, Ls, Rs, Lfe) is converted into n types of 6-channel signals “1” to “6” having different correlations.
[0041]
For example, the first correlation circuit 1-1 converts as follows:
(1) = Lf
(2) = C− (Ls + Rs) / 2
(3) = Rf−Lf
(4) = Ls−a × Lfe
(5) = Rs−b × Rf
(6) = Lfe
The n-th correlation circuit 1-n converts as follows.
(1) = Lf + Rf
(2) = C-Lf
(3) = Rf−Lf
(4) = Ls−Lf
(5) = Rs−Lf
(6) = Lfe-C
[0042]
Further, a prediction circuit 15 and a buffer / selector 16 are provided for each of the correlation circuits 1-1 to 1-n, and the group having the highest compression rate is selected based on the data amount of the minimum value of the prediction residual for each group. It is selected by the signal generator 17b. At this time, the formatting circuit 19 adds and multiplexes the selection flag (correlation circuit selection flag, correlation coefficients a and b of the correlation circuit).
[0043]
Further, on the decoding side shown in FIG. 21, n correlation circuits 4-1 to 4-n (or coefficients a and b can be changed to 1 with respect to the correlation circuits 1-1 to 1-n on the encoding side. Two correlation circuits 4) are provided. When the n groups of prediction circuits shown in FIG. 20 have the same configuration, the decoding device does not need to have n groups of prediction circuits as shown in FIG. 21, and only one group of prediction circuits may be used. Then, one of the correlation circuits 4-1 to 4-n is selected based on the selection flag transmitted from the encoding device, or the coefficients a and b are set and the original 6ch (Lf, C, Rf, Ls, Rs, Lfe) is restored, and the multi-channel is downmixed according to Equation (2) to generate stereo 2ch data (L, R).
[0044]
In the first example described above, one type of correlation signal “1” to “6” is configured to be predictively encoded, but the group of signals “1” to “6” and the original signal are encoded. A group of signals (Lf, C, Rf, Ls, Rs, Lfe) may be predictively encoded, and a group with a higher compression rate may be selected.
According to the present invention, in addition to the invention described in the claims, the following invention is provided.
Formatting means for selectively placing compressed or uncompressed data in a multi-channel audio signal in an audio packet;
Depending on whether the multi-channel data in the audio packet is compressed, or whether the multi-channel data in the audio packet is allowed to be down-mixed to stereo 2 channels or not, the code is down-mixed in advance. Means for selecting whether or not to encode, or whether to encode downmix coefficients,
A speech encoding apparatus having the same.
[0045]
【The invention's effect】
As described above, according to the present invention, for example, an identifier indicating whether or not multi-channel data is compressed, and whether or not to allow multi-channel data to be down-mixed to two stereo channels are indicated. Since the data structure including the identifier is encoded, it can be normally decoded and reproduced.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing a first example of a multi-channel transmission form to which the present invention is applied.
FIG. 2 is an explanatory diagram showing a second example of a multi-channel transmission form to which the present invention is applied.
FIG. 3 is an explanatory diagram showing a third example of a multi-channel transmission mode to which the present invention is applied.
FIG. 4 is an explanatory diagram showing a fourth example of a multi-channel transmission mode to which the present invention is applied.
FIG. 5 is an explanatory diagram showing a modification of FIG. 1;
6 is an explanatory view showing a modification of FIG. 2; FIG.
FIG. 7 is a block diagram illustrating in detail the encoding unit of FIG. 1;
FIG. 8 is an explanatory diagram showing a bit stream encoded by the encoding unit in FIGS. 1 and 7;
FIG. 9 is an explanatory diagram showing a DVD pack format;
FIG. 10 is an explanatory diagram showing a format of a DVD audio pack;
FIG. 11 is an explanatory diagram showing in detail the format of the audio data area of FIG. 10;
FIG. 12 is an explanatory diagram showing AOTT-AOB-ATR (audio only title / audio object set attribute) of DVD audio;
FIG. 13 is an explanatory diagram showing ATS-PG-CNT (audio title set program content) of DVD audio.
FIG. 14 is a block diagram illustrating in detail the decoding unit of FIG. 1;
15 is a timing chart showing write / read timings of the input buffer of FIG. 14;
FIG. 16 is an explanatory diagram showing the amount of compressed data for each access unit.
FIG. 17 is an explanatory diagram showing an access unit and a presentation unit.
FIG. 18 is a flowchart illustrating an audio transmission method.
FIG. 19 is a flowchart illustrating an audio transmission method.
FIG. 20 is a block diagram illustrating a speech encoding apparatus according to a second example.
FIG. 21 is a block diagram illustrating a speech decoding apparatus according to a second example.
[Explanation of symbols]
1 '6ch mix & matrix circuit 13D1, 13D2, 15D1-15D4 prediction circuit (compressing means is constituted with buffer / selectors 14D1, 14D2, 16D1-16D4)
14D1, 14D2, 16D1 to 16D4 Buffer / selector 17 Selection signal / DTS generator 17c PTS generator 19 Formatting circuit 21 Deformatting circuit (separating means)
22 Unpacking circuit 22a Input buffer 24D1, 24D2, 23D1-23D4 Prediction circuit (decompression means)
100 Control unit (reproducing means)
102 D / A converter 110 Output buffer

Claims (2)

マルチチャネルの音声信号を、そのままのチャネル又は互いに相関あるチャネル毎に、入力される音声信号に応答して先頭サンプル値を得ると共に、時間領域の過去の信号から予測される現在の信号の複数の予測値の中でその予測残差が最小となるような線形予測方法を選択して圧縮するステップと、
前記ステップにより選択された先頭サンプル値と予測残差と線形予測方法とを含む圧縮データの所定時間前又は所定時間後のアクセスユニットをサーチ再生するためのアクセスユニット・サーチ情報を生成するステップと、
前記アクセスユニット・サーチ情報を含むプライベートヘッダと、前記アクセスユニットと、を含むユーザデータを有するオーディオパケットと、
前記オーディオパケット内のデータが前記圧縮方法により圧縮されていることを示す第1の識別子と、前記オーディオパケットに格納されているマルチチャネルデータをステレオ2チャネルにダウンミクスすることを許可するか又は禁止するかを示す第2の識別子が配置された管理情報とを、
有するデータ構造にフォーマット化するステップと、
からなる音声符号化方法。
A multi-channel audio signal is obtained in response to an input audio signal for each channel as it is or a channel that is correlated with each other, and a head sample value is obtained, and a plurality of current signals predicted from past signals in the time domain Selecting and compressing a linear prediction method that minimizes the prediction residual among the predicted values;
Generating access unit search information for searching for and reproducing an access unit before or after a predetermined time of compressed data including the first sample value selected in the step, a prediction residual, and a linear prediction method;
An audio packet having a user data including a private header including the access unit search information, wherein the access unit, and
A first identifier indicating that the data in the audio packet is compressed by the compression method and the multi-channel data stored in the audio packet is permitted or prohibited to be down-mixed to stereo two channels Management information in which a second identifier indicating whether or not
Formatting into a data structure comprising:
A speech encoding method comprising:
請求項1記載の音声符号化方法によりフォーマット化されたデータ構造のデータを復号する音声復号化方法であって、
前記データをオーディオパケットと管理情報に分離するステップと、
前記管理情報から第1の識別子と第2の識別子を抽出するステップと、
前記オーディオパケット内のユーザデータに含まれるアクセスユニットを前記アクセスユニット・サーチ情報に基づいてサーチするステップと、
前記抽出された第2の識別子がダウンミクスすることを許可する場合に前記サーチしたアクセスユニットの圧縮データを前記抽出された第1の識別子に基づいて伸してマルチチャネルとステレオ2チャネルの少なくともいずれかで取り出し、前記第2の識別子がダウンミクスすることを禁止する場合には前記サーチしたアクセスユニットの圧縮データを前記第1の識別子に基づいて伸してマルチチャネルのみで取り出すステップと、
からなる音声復号化方法。
A speech decoding method for decoding data having a data structure formatted by the speech encoding method according to claim 1,
Separating the data into audio packets and management information;
Extracting a first identifier and a second identifier from the management information;
A step of searching on the basis of the access unit search information included luer access units to the user data in the audio packet,
At least a first multi-channel and stereo 2 channels by Shin length based on an identifier of the compressed data of said search the access unit is the extraction when the second identifier the extraction is allowed to down-mix removed at any, retrieving only a multi-channel the second identifier is extension length based compressed data of the access unit that is the search to the first identifier to disallow that down-mix,
A speech decoding method comprising:
JP2002344092A 2002-11-27 2002-11-27 Speech encoding method and speech decoding method Expired - Fee Related JP3846720B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002344092A JP3846720B2 (en) 2002-11-27 2002-11-27 Speech encoding method and speech decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002344092A JP3846720B2 (en) 2002-11-27 2002-11-27 Speech encoding method and speech decoding method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001010408A Division JP3846194B2 (en) 2001-01-18 2001-01-18 Speech coding method, speech decoding method, speech receiving apparatus, and speech signal transmission method

Publications (2)

Publication Number Publication Date
JP2003216192A JP2003216192A (en) 2003-07-30
JP3846720B2 true JP3846720B2 (en) 2006-11-15

Family

ID=27655863

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002344092A Expired - Fee Related JP3846720B2 (en) 2002-11-27 2002-11-27 Speech encoding method and speech decoding method

Country Status (1)

Country Link
JP (1) JP3846720B2 (en)

Also Published As

Publication number Publication date
JP2003216192A (en) 2003-07-30

Similar Documents

Publication Publication Date Title
JP4148157B2 (en) Audio signal transmission method and audio signal decoding apparatus
JP3846194B2 (en) Speech coding method, speech decoding method, speech receiving apparatus, and speech signal transmission method
JP4378727B2 (en) Speech encoding method and speech decoding method
JP3876827B2 (en) Speech coding method and speech decoding apparatus
JP3876819B2 (en) Speech encoding method and speech decoding method
JP4151004B2 (en) Speech coding method and speech decoding apparatus
JP4151020B2 (en) Audio signal transmission method and audio signal decoding apparatus
JP3846720B2 (en) Speech encoding method and speech decoding method
JP3846722B2 (en) Speech encoding method and speech decoding method
JP3846719B2 (en) Speech encoding method and speech decoding method
JP3846721B2 (en) Speech encoding method and speech decoding method
JP3846723B2 (en) Speech encoding method and speech decoding method
JP3876821B2 (en) Speech coding method and speech decoding apparatus
JP3846411B2 (en) Speech encoding method and speech decoding method
JP3846412B2 (en) Speech encoding method and speech decoding method
JP3876824B2 (en) Speech coding method and speech decoding apparatus
JP3846413B2 (en) Speech encoding method and speech decoding method
JP3876825B2 (en) Speech coding method and speech decoding apparatus
JP3876820B2 (en) Speech coding method and speech decoding apparatus
JP3876823B2 (en) Speech coding method and speech decoding apparatus
JP3846414B2 (en) Speech encoding method and speech decoding method
JP3876822B2 (en) Speech coding method and speech decoding apparatus
JP3876828B2 (en) Speech coding method and speech decoding apparatus
JP3876826B2 (en) Speech coding method and speech decoding apparatus
JP4151018B2 (en) Audio signal transmission method and audio signal decoding apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050329

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20060315

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20060418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060817

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090901

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100901

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110901

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120901

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120901

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120901

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120901

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130901

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees