JP3196776B1 - Audio encoding device, audio transmission method, and computer program recording medium - Google Patents

Audio encoding device, audio transmission method, and computer program recording medium

Info

Publication number
JP3196776B1
JP3196776B1 JP2001010401A JP2001010401A JP3196776B1 JP 3196776 B1 JP3196776 B1 JP 3196776B1 JP 2001010401 A JP2001010401 A JP 2001010401A JP 2001010401 A JP2001010401 A JP 2001010401A JP 3196776 B1 JP3196776 B1 JP 3196776B1
Authority
JP
Japan
Prior art keywords
data
channel
identifier
audio
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001010401A
Other languages
Japanese (ja)
Other versions
JP2001257599A (en
Inventor
美昭 田中
昭治 植野
徳彦 渕上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2001010401A priority Critical patent/JP3196776B1/en
Application granted granted Critical
Publication of JP3196776B1 publication Critical patent/JP3196776B1/en
Publication of JP2001257599A publication Critical patent/JP2001257599A/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

【要約】 【課題】 マルチチャネルを圧縮又は非圧縮で選択的に
伝送したり、再生側のダウンミクスを選択的に許可又は
禁止しても再生側が正常に再生可能にする 【解決手段】 ATSIはオーディオパケット内のマル
チチャネルデータが圧縮されているか否かを示す第1の
識別子と、マルチチャネルデータをステレオ2チャネル
にダウンミクスすることを許可するか又は禁止するかを
示す第2の識別子を含む。
The present invention enables a reproduction side to perform normal reproduction even when a multi-channel is selectively transmitted in a compressed or uncompressed state, or selectively permits or prohibits a downmix on the reproduction side. A first identifier indicating whether or not the multi-channel data in the audio packet is compressed; and a second identifier indicating whether to allow or prohibit the down-mixing of the multi-channel data into two stereo channels. .

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、マルチチャネルの
音声符号化装置、音声伝送方法、及び音声データを復号
化するコンピュータプログラムが記録された記録媒体に
関する。
The present invention relates to a multi-channel audio encoding device, an audio transmission method, and a recording medium on which a computer program for decoding audio data is recorded.

【0002】[0002]

【従来の技術】音声信号を可変長で圧縮する方法とし
て、本発明者は先の出願(特願平9−289159号)
において1チャネルの原デジタル音声信号に対して、特
性が異なる複数の予測器により時間領域における過去の
信号から現在の信号の複数の線形予測値を算出し、原デ
ジタル音声信号と、この複数の線形予測値から予測器毎
の予測残差を算出し、予測残差の最小値を選択する予測
符号化方法を提案している。
2. Description of the Related Art As a method of compressing an audio signal with a variable length, the present inventor has filed a prior application (Japanese Patent Application No. 9-289159).
Calculates a plurality of linear prediction values of a current signal from a past signal in the time domain by using a plurality of predictors having different characteristics with respect to the one-channel original digital audio signal. A prediction encoding method for calculating a prediction residual for each predictor from a prediction value and selecting a minimum value of the prediction residual has been proposed.

【0003】なお、上記方法では原デジタル音声信号が
サンプリング周波数=96kHz、量子化ビット数=2
0ビット程度の場合にある程度の圧縮効果を得ることが
できるが、近年のDVDオーディオディスクではこの2
倍のサンプリング周波数(=192kHz)が使用さ
れ、また、量子化ビット数も24ビットが使用される傾
向がある。また、マルチチャネルにおけるサンプリング
周波数と量子化ビット数はチャネル毎に異なることもあ
る。
In the above method, the original digital audio signal has a sampling frequency = 96 kHz and the number of quantization bits = 2.
Although a certain degree of compression effect can be obtained in the case of about 0 bits, in recent DVD audio discs, this 2
A double sampling frequency (= 192 kHz) is used, and the number of quantization bits tends to be 24 bits. Further, the sampling frequency and the number of quantization bits in the multi-channel may be different for each channel.

【0004】[0004]

【発明が解決しようとする課題】ところで、マルチチャ
ネルの音声信号を伝送する場合、著作権者がオーディオ
ソースに依っては圧縮を希望するものとそうでないもの
があり、また、ユーザがマルチチャネルをステレオ2チ
ャネルにダウンミクスして再生することを望まないもの
とそうでないものとの2通りがある。したがって、この
ように圧縮又は非圧縮で選択的に伝送する2通りと、再
生側のダウンミクスを選択的に許可、禁止する2通りの
合計4通りで伝送した場合には、再生側でこれを識別し
て選択的に再生する必要がある。
When transmitting a multi-channel audio signal, the copyright holder may or may not desire compression depending on the audio source. There are two types, one that does not want to downmix and play back to stereo two channels and one that does not. Therefore, if the transmission is performed in two ways, that is, selectively transmitted with compression or non-compression and the downmix on the reproduction side is selectively permitted and prohibited, a total of four transmissions are performed on the reproduction side. It must be identified and selectively played.

【0005】そこで本発明は、マルチチャネルを圧縮又
は非圧縮で選択的に伝送したり、再生側のダウンミクス
を選択的に許可又は禁止しても再生側が正常に再生する
ことができる音声符号化装置、音声伝送方法、及び音声
データを復号化するコンピュータプログラムが記録され
た記録媒体を提供することを目的とする。
[0005] Therefore, the present invention provides an audio coding system that allows the reproducing side to reproduce normally even if the multi-channel is selectively transmitted with compression or non-compression, or the downmix on the reproducing side is selectively permitted or prohibited. It is an object of the present invention to provide an apparatus, an audio transmission method, and a recording medium on which a computer program for decoding audio data is recorded.

【0006】[0006]

【課題を解決するための手段】本発明は上記目的を達成
するために、以下の1)〜3)の手段より成る。すなわ
ち、 1)マルチチャネルの音声信号が圧縮されたデータ又は
圧縮されないデータが選択的に配置されるオーディオパ
ケットと、前記オーディオパケット内のマルチチャネル
データが圧縮されているか否かを示す第1の識別子と、
前記オーディオパケット内のマルチチャネルデータをス
テレオ2チャネルにダウンミクスすることを許可するか
又は禁止するかを示す第2の識別子が配置された管理
情報とを、有するデータ構造にフォーマット化する手段
を有する音声符号化装置であって、前記第2の識別子が
ダウンミクスを許可することを示す場合には前記オー
ディオパケット内のマルチチャネルデータをステレオ2
チャネルにダウンミクスするダウンミクス係数を符号化
、前記第2の識別子がダウンミクスを禁止することを
示す場合には、前記ダウンミクス係数を符号化しないよ
うにすることを特徴とする音声符号化装置。 2)マルチチャネルの音声信号が圧縮されたデータ又は
圧縮されないデータが選択的に配置されるオーディオパ
ケットと、前記オーディオパケット内のマルチチャネル
データが圧縮されているか否かを示す第1の識別子と、
前記オーディオパケット内のマルチチャネルデータをス
テレオ2チャネルにダウンミクスすることを許可するか
又は禁止するかを示す第2の識別子が配置された管理
情報とを有するデータ構造のデータをパケット化して通
信回線を介して伝送することを特徴とする音声伝送方
法。 3)マルチチャネルの音声信号が圧縮されたデータ又は
圧縮されないデータが選択的に配置されるオーディオパ
ケットと、前記オーディオパケット内のマルチチャネル
データが圧縮されているか否かを示す第1の識別子と、
前記オーディオパケット内のマルチチャネルデータをス
テレオ2チャネルにダウンミクスすることを許可するか
又は禁止するかを示す第2の識別子が配置された管理
情報とを、有するデータ構造が記録された記録媒体に記
録されたデータを復号化するコンピュータプログラムが
記録されたコンピュータプログラム記録媒体であって、
前記コンピュータプログラムは、前記データをオーディ
オパケットと管理情報に分離するステップと、前記管理
情報から第1の識別子と第2の識別子を抽出するステ
ップと、抽出された第2の識別子がダウンミクス許可
することを示す場合には前記オーディオパケット内の
マルチチャネルデータを前記抽出された第1の識別子に
基づいて選択的に伸長するか又は伸長しないで復号し
マルチチャネルとステレオ2チャネルの少なくともいず
れかで取り出し、前記第2の識別子がダウンミクス
止することを示す場合には前記オーディオパケット内
のマルチチャネルデータを前記第1の識別子に基づいて
選択的に伸長するか又は伸長しないで復号しマルチチャ
ネルのみで取り出すステップとを、有するコンピュータ
プログラム記録媒体。
The present invention, in order to achieve the above object, comprises the following 1) to 3). That is, 1) an audio packet in which data of which a multi-channel audio signal is compressed or uncompressed data is selectively arranged, and a first identifier indicating whether or not the multi-channel data in the audio packet is compressed. When,
Means for formatting into a data structure having management information arranged with a second identifier indicating whether to allow or prohibit downmixing of the multi-channel data in the audio packet into two stereo channels. a speech coding apparatus comprising, when said second identifier indicating the permission of the down-mix a stereo 2 multichannel data in the audio packet
Encoding downmix coefficients for downmixing to a channel , wherein the second identifier inhibits downmixing.
If so, do not encode the downmix coefficients.
Speech coding apparatus characterized by Uni. 2) an audio packet in which data in which a multi-channel audio signal is compressed or uncompressed data is selectively arranged, a first identifier indicating whether or not the multi-channel data in the audio packet is compressed;
Communication by packetizing the data in the data structure having a multi-channel management information data and the second identifier indicating whether or prohibiting allowed to down-mix stereo 2 channels are arranged in said audio packet A voice transmission method characterized by transmitting via a line. 3) an audio packet in which compressed or uncompressed data of a multi-channel audio signal is selectively arranged; a first identifier indicating whether or not the multi-channel data in the audio packet is compressed;
Said recording medium and a multi-channel data to the stereo 2-channel and a second identifier indicating whether or prohibited are allowed to down-mix is placed management information in the audio packet, the data structure having is recorded A computer program recording medium in which a computer program for decoding data recorded in is recorded,
The computer program includes the steps of separating the data into audio packets and management information, and extracting the first identifier and the second identifier from the management information, the second identifier extracted a downmix when indicating the permission decodes not selectively elongating or stretching based multi-channel data in the audio packet to a first identifier the extracted,
Removed at least one of the multi-channel and stereo 2 channels, when said second identifier indicates that the prohibited <br/> stop the down-mix, the first identifier multichannel data in the audio packet And selectively decompressing and decoding without decompression based on the multi-channel method based on a multi-channel.

【0007】[0007]

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図1〜図4は本発明が適用される
マルチチャネル伝送形態を実現する音声符号化装置の処
理を示す説明図である。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 to FIG. 4 are explanatory diagrams showing the processing of a speech coding apparatus for realizing a multi-channel transmission mode to which the present invention is applied.

【0008】ここで、マルチチャネル方式としては、例
えば次の4つの方式が知られている。 (1)4チャネル方式 ドルビーサラウンド方式の
ように、前方L、C、Rの3チャネル+後方Sの1チャ
ネルの合計4チャネル (2)5チャネル方式 ドルビーAC−3方式のS
Wチャネルなしのように、前方L、C、Rの3チャネル
+後方SL、SRの2チャネルの合計5チャネル (3)6チャネル方式 DTS(Digital Theater
System)方式や、ドルビーAC−3方式のように6チャ
ネル(L、C、R、SW(Lfe)、SL、SR) (4)8チャネル方式 SDDS(Sony Dynamic D
igital Sound)方式のように、前方L、LC、C、R
C、R、SWの6チャネル+後方SL、SRの2チャネ
ルの合計8チャネル
Here, as the multi-channel system, for example, the following four systems are known. (1) Four-channel system As in the Dolby surround system, a total of four channels including three channels of front L, C, and R + one channel of rear S (2) Five-channel system S in the Dolby AC-3 system
Like without W channel, 3 channels of front L, C and R + 2 channels of rear SL and SR, total 5 channels (3) 6 channel system DTS (Digital Theater)
6) (L, C, R, SW (Lfe), SL, SR) like the Dolby AC-3 system (4) 8-channel system SDDS (Sony Dynamic D
digital sound), forward L, LC, C, R
6 channels of C, R, SW + 2 channels of rear SL, SR, total 8 channels

【0009】図1は第1の例の伝送形態として、マルチ
チャネルを圧縮するとともに再生側のダウンミクスを禁
止する場合を示している。符号化側の6チャネル(ch)
ミクス&マトリクス回路1’は、マルチチャネル信号の
一例としてフロントレフト(Lf)、センタ(C)、フ
ロントライト(Rf)、サラウンドレフト(Ls)、サ
ラウンドライト(Rs)及びLfe(Low Frequency Ef
fect)の6chのPCMデータを次式(1−1)により6
ch「1」〜「6」分の相関信号に変換し、符号化部2’
に出力する。 「1」=Lf+Rf−C 「2」=Lf−Rf−C 「3」=C−(Ls+Rs)/2 「4」=Ls+Rs 「5」=Ls−Rs 「6」=Lfe−a×C ただし、0≦a≦1 …(1−1) このような6チャネル(ch)ミクス&マトリクス回路
1’による相関式と符号化部2’の符号化方式は選択手
段7’で選択される。以下説明する図2、図3、図4、
図5及び図6でも同様であるので、これらの図では選択
手段7’を略すことにする。
FIG. 1 shows, as a transmission form of the first example, a case in which multi-channels are compressed and downmixing on the reproduction side is prohibited. 6 channels (ch) on the encoding side
The mix & matrix circuit 1 ′ includes a front left (Lf), a center (C), a front right (Rf), a surround left (Ls), a surround right (Rs), and an Lfe (Low Frequency Ef) as an example of a multi-channel signal.
fect) of 6 ch by the following equation (1-1).
The signals are converted into correlation signals for ch "1" to "6",
Output to “1” = Lf + Rf−C “2” = Lf−Rf−C “3” = C− (Ls + Rs) / 2 “4” = Ls + Rs “5” = Ls−Rs “6” = Lfe−a × C 0 ≦ a ≦ 1 (1-1) The correlation formula by the 6-channel (ch) mix & matrix circuit 1 ′ and the coding system of the coding unit 2 ′ are selected by the selection unit 7 ′. 2, 3, and 4 described below.
Since the same applies to FIGS. 5 and 6, the selecting means 7 'is omitted in these figures.

【0010】第1と第2の符号化部2’−1、2’−2
を有する符号化部2’は図7に詳しく示すようにこの6
ch「1」〜「6」のPCMデータを予測符号化し、予測
符号化データを図8に示すようなビットストリームで記
録媒体5や通信媒体6を介して復号側に伝送する。復号
側では第1と第2の復号化部3’−1、3’−2を有す
る復号化部3’により、図14に詳しく示すように6ch
「1」〜「6」の予測符号化データをPCMデータに復
号し、次いでミクス&マトリクス回路4’により式(1
−1)に基づいて元の6ch(Lf、C、Rf、Ls、R
s、Lfe)のみを復元する。
First and second encoding units 2'-1, 2'-2
The encoding unit 2 ′ having
The PCM data of ch “1” to “6” is predictively coded, and the predicted coded data is transmitted to the decoding side via the recording medium 5 or the communication medium 6 as a bit stream as shown in FIG. On the decoding side, the decoding unit 3 ′ having the first and second decoding units 3′-1 and 3′-2 causes the 6-ch
The predictive coded data of "1" to "6" is decoded into PCM data, and then the formula (1) is mixed by the mix & matrix circuit 4 '.
-1) based on the original 6 ch (Lf, C, Rf, Ls, R
s, Lfe) only.

【0011】図2は第2の例の伝送形態として、マルチ
チャネルを圧縮するとともに再生側のダウンミクスを許
可する場合を示している。符号化側の6chミクス&マト
リクス回路1’は、元の6ch(Lf、C、Rf、Ls、
Rs、Lfe)と係数mij(i=1,2,j=1,2〜
6)により次式(2)のようにステレオ2chデータ
(L、R)を生成(ダウンミクス)する。 L=m11・Lf+m12・Rf+m13・C +m14・Ls+m15・Rs+m16・Lfe R=m21・Lf+m22・Rf+m23・C +m24・Ls+m25・Rs+m26・Lfe …(2)
FIG. 2 shows, as a transmission form of the second example, a case in which multi-channels are compressed and downmixing on the reproduction side is permitted. The 6-channel mixing and matrix circuit 1 ′ on the encoding side converts the original 6-channel (Lf, C, Rf, Ls,
Rs, Lfe) and coefficient mij (i = 1, 2, j = 1, 2 to
According to 6), stereo 2ch data (L, R) is generated (downmixed) as in the following equation (2). L = m11 · Lf + m12 · Rf + m13 · C + m14 · Ls + m15 · Rs + m16 · Lfe R = m21 · Lf + m22 · Rf + m23 · C + m24 · Ls + m25 · Rs + m26 · Lfe (2)

【0012】そして、式(2)と次式(1−2)により
次のような第1グループの2チャネル分の相関信号
「1」、「2」と第2グループの4チャネル分の相関信
号「3」〜「6」に変換し、それぞれ第1符号化部2’
−1、第2符号化部2’−2に出力する。 「1」=L+R 「2」=L−R 「3」〜「6」は式(1−1)と同じ …(1−2)
Then, according to equations (2) and (1-2), correlation signals "1" and "2" for two channels of the first group and correlation signals for four channels of the second group are obtained as follows. Are converted to “3” to “6”, and are respectively encoded by the first encoding unit 2 ′.
−1, output to the second encoding unit 2′-2. “1” = L + R “2” = LR “3” to “6” are the same as the formula (1-1) ... (1-2)

【0013】第1、第2符号化部2’−1、2’−2は
それぞれ第1グループチャネル「1」、「2」と第2グ
ループチャネル「3」〜「6」のPCMデータを予測符
号化し、各チャネルの予測符号化データを記録媒体5や
通信媒体6を介して復号側に伝送する。復号側では第
1、第2復号化部3’−1、3’−2により、それぞれ
第1グループチャネル「1」、「2」と第2グループチ
ャネル「3」〜「6」の予測符号化データをPCMデー
タに復号し、次いでミクス&マトリクス回路4’により
式(1−2)、(2)に基づいて元の6ch(Lf、C、
Rf、Ls、Rs、Lfe)を復元するとともに、第1
グループチャネル「1」、「2」を加算、減算すること
によりそれぞれステレオ2chデータ(L、R)を生成す
る。
The first and second encoding units 2'-1 and 2'-2 predict the PCM data of the first group channels "1" and "2" and the second group channels "3" to "6", respectively. The encoded data is transmitted to the decoding side via the recording medium 5 or the communication medium 6. On the decoding side, the first and second decoding units 3'-1 and 3'-2 predictively encode the first group channels "1" and "2" and the second group channels "3" to "6", respectively. The data is decoded into PCM data, and the original 6 ch (Lf, C,
Rf, Ls, Rs, Lfe) and restore the first
Stereo 2-ch data (L, R) is generated by adding and subtracting the group channels “1” and “2”.

【0014】図3は第3の例の伝送形態として、マルチ
チャネルを圧縮しないで伝送するとともに再生側のダウ
ンミクスを禁止する場合を示している。この場合には、
非圧縮であるので、符号化側では相関信号も生成するこ
となく元の6ch(Lf、C、Rf、Ls、Rs、Lf
e)のPCMデータをそのまま伝送し(ただし、フォー
マット化する)、復号化側ではデフォーマット化した
後、元の6ch(Lf、C、Rf、Ls、Rs、Lfe)
のみを復元する。
FIG. 3 shows, as a transmission form of the third example, a case where multi-channel transmission is performed without compression and downmixing on the reproduction side is prohibited. In this case,
Since it is uncompressed, the encoding side does not generate a correlation signal and the original 6 ch (Lf, C, Rf, Ls, Rs, Lf
e) The PCM data of (e) is transmitted as it is (however, it is formatted) and the decoding side performs deformatting, and then the original 6 ch (Lf, C, Rf, Ls, Rs, Lfe)
Restore only.

【0015】図4は第4の例の伝送形態として、マルチ
チャネルを圧縮しないで伝送するとともに再生側のダウ
ンミクスを許可する場合を示している。この場合にも、
非圧縮であるので、符号化側では圧縮率を高めるための
相関信号も生成することなく元の6ch(Lf、C、R
f、Ls、Rs、Lfe)のPCMデータをそのまま伝
送する(ただし、フォーマット化する)。復号化側では
デフォーマット化した後、元の6ch(Lf、C、Rf、
Ls、Rs、Lfe)を復元するとともに、式(2)に
よりステレオ2chデータ(L、R)を生成(ダウンミク
ス)する。
FIG. 4 shows, as a transmission form of the fourth example, a case where multi-channel transmission is performed without compression and downmixing on the reproduction side is permitted. Again, in this case,
Since it is uncompressed, the encoding side does not generate a correlation signal for increasing the compression ratio without generating the original 6ch (Lf, C, R
f, Ls, Rs, Lfe) PCM data is transmitted as it is (formatted). On the decoding side, after reformatting, the original 6 ch (Lf, C, Rf,
Ls, Rs, and Lfe) are restored, and stereo 2ch data (L, R) is generated (downmixed) by equation (2).

【0016】図5は図1においてマルチチャネルを圧縮
するとともに再生側のダウンミクスを禁止する場合の変
形例を示している。この場合には、符号化側では次式
(1−3)により6ch(1)〜(6)分の相関信号に変
換し、符号化部2’はこれを予測符号化する。そして、
復号化側では式(1−2)により元の6ch(Lf、C、
Rf、Ls、Rs、Lfe)のみを復元する。 「1」=Lf−C 「2」=Rf−C 「3」〜「6」は式(1−1)と同じ …(1−3) このように再生側のダウンミクスを禁止する場合は、こ
れに対応して式(2)のダウンミクス係数を符号化に加
えないとともに、符号化側で式(2)によりステレオ2
chデータ(L、R)を生成(ダウンミクス)すること
が禁じられる。
FIG. 5 shows a modification of FIG. 1 in which the multi-channel is compressed and the downmix on the reproduction side is prohibited. In this case, the encoding side converts into correlation signals for 6 channels (1) to (6) according to the following equation (1-3), and the encoding unit 2 'predictively encodes the signals. And
On the decoding side, the original 6 ch (Lf, C,
Rf, Ls, Rs, Lfe) alone. “1” = Lf−C “2” = Rf−C “3” to “6” are the same as Expression (1-1)... (1-3) When prohibiting the downmix on the reproduction side, Correspondingly, the downmix coefficient of equation (2) is not added to the encoding, and the encoding side performs stereo 2 by equation (2).
Generation (downmixing) of the ch data (L, R) is prohibited.

【0017】図6は図2においてマルチチャネルを圧縮
するとともに再生側のダウンミクスを許可する場合の変
形例を示している。この場合には、符号化側では式
(2)によりステレオ2chデータ(L、R)を生成(ダ
ウンミクス)し、次いで次式(1−4)により次のよう
な第1グループの2チャネル「1」、「2」と第2グル
ープの4チャネル分の相関信号「3」〜「6」に変換
し、第1、第2符号化部2’−1、2’−2はこの各グ
ループチャネルを予測符号化する。そして、復号化側で
は式(1−4)、(2)により元の6ch(Lf、C、R
f、Ls、Rs、Lfe)を復元するとともにステレオ
2chデータ(L、R)をそのまま出力する。 「1」=L 「2」=R 「3」〜「6」は式(1−1)と同じ …(1−4)
FIG. 6 shows a modification in which the multi-channel is compressed and the downmix on the reproduction side is permitted in FIG. In this case, the encoding side generates (down-mixes) stereo 2ch data (L, R) according to equation (2), and then, according to equation (1-4), the first group of two channels “ 1 "," 2 "and correlation signals" 3 "to" 6 "for four channels of the second group, and the first and second encoders 2'-1 and 2'-2 convert the respective group channels. Is predictively encoded. Then, on the decoding side, the original 6 ch (Lf, C, R) is obtained by the equations (1-4) and (2).
f, Ls, Rs, Lfe) are restored, and the stereo 2ch data (L, R) is output as it is. “1” = L “2” = R “3” to “6” are the same as the formula (1-1) ... (1-4)

【0018】図7を参照して符号化部2’−1、2’−
2について詳しく説明する。各ch「1」〜「6」のPC
Mデータは1フレーム毎に1フレームバッファ10に格
納される。そして、1フレームの各ch「1」〜「6」の
サンプルデータがそれぞれ予測回路13D1、13D
2、15D1〜15D4に印加されるとともに、各ch
「1」〜「6」の各フレームの先頭サンプルデータがフ
ォーマット化回路19に印加される。予測回路13D
1、13D2、15D1〜15D4はそれぞれ、各ch
「1」〜「6」のPCMデータに対して、特性が異なる
複数の予測器(不図示)により時間領域における過去の
信号から現在の信号の複数の線形予測値を算出し、次い
で原PCMデータと、この複数の線形予測値から予測器
毎の予測残差を算出する。続くバッファ・選択器14D
1、14D2、16D1〜16D4はそれぞれ、予測回
路13D1、13D2、15D1〜15D4により算出
された各予測残差を一時記憶して、選択信号/DTS
(デコーディング・タイム・スタンプ)生成器17によ
り指定されたサブフレーム毎に予測残差の最小値を選択
する。
Referring to FIG. 7, encoding sections 2'-1, 2'-
2 will be described in detail. PC for each channel "1" to "6"
The M data is stored in one frame buffer 10 for each frame. Then, the sample data of each of the channels “1” to “6” of one frame are respectively supplied to the prediction circuits 13D1 and 13D
2, 15D1 to 15D4 and each channel
The first sample data of each frame of “1” to “6” is applied to the formatting circuit 19. Prediction circuit 13D
1, 13D2, 15D1 to 15D4 are each channel
For the PCM data of “1” to “6”, a plurality of linear prediction values of a current signal are calculated from a past signal in a time domain by a plurality of predictors (not shown) having different characteristics, and then the original PCM data Then, a prediction residual for each predictor is calculated from the plurality of linear prediction values. Following buffer / selector 14D
1, 14D2, 16D1 to 16D4 temporarily store the prediction residuals calculated by the prediction circuits 13D1, 13D2, 15D1 to 15D4, respectively, and select the selection signal / DTS.
(Decoding Time Stamp) The minimum value of the prediction residual is selected for each subframe specified by the generator 17.

【0019】選択信号/DTS生成器17は予測残差の
ビット数フラグをパッキング回路18とフォーマット化
回路19に対して印加し、また、予測残差が最小の予測
器を示す予測器選択フラグと、相関係数aと、復号化側
が入力バッファ22a(図14)からストリームデータ
を取り出す時間を示すDTSをフォーマット化回路19
に対して印加する。パッキング回路18はバッファ・選
択器14D1、14D2、16D1〜16D4により選
択された6ch分の予測残差を、選択信号/DTS生成器
17により指定されたビット数フラグに基づいて指定ビ
ット数でパッキングする。またPTS生成器17cは、
復号化側が出力バッファ110(図14)からPCMデ
ータを取り出す時間を示すPTS(プレゼンテーション
・タイム・スタンプ)を生成してフォーマット化回路1
9に出力する。フォーマット化回路19にはまた、圧縮
/非圧縮などを示す符号化モードと、ダウンミクス許可
/禁止を示す識別子が印加される。
The selection signal / DTS generator 17 applies the bit number flag of the prediction residual to the packing circuit 18 and the formatting circuit 19, and outputs a predictor selection flag indicating the predictor having the minimum prediction residual. , The correlation coefficient a, and the DTS indicating the time at which the decoding side extracts the stream data from the input buffer 22a (FIG. 14).
To be applied. The packing circuit 18 packs the prediction residuals for the 6 channels selected by the buffer / selectors 14D1, 14D2, 16D1 to 16D4 with the specified number of bits based on the bit number flag specified by the selection signal / DTS generator 17. . Also, the PTS generator 17c
The decoding circuit generates a PTS (presentation time stamp) indicating a time at which the PCM data is taken out from the output buffer 110 (FIG. 14), and formats the PTS.
9 is output. An encoding mode indicating compression / non-compression and an identifier indicating downmix permission / prohibition are also applied to the formatting circuit 19.

【0020】続くフォーマット化回路19は図8〜図1
3に示すようなユーザデータにフォーマット化する。図
8に示すユーザデータ(サブパケット)は、前方グルー
プに関する2ch「1」、「2」の予測符号化データを含
む可変レートビットストリーム(サブストリーム)BS
0と、他のグループに関する4ch「3」〜「6」の予測
符号化データを含む可変レートビットストリーム(サブ
ストリーム)BS1と、サブストリームBS0、BS1
の前に設けられたビットストリームヘッダ(リスタート
ヘッダ)により構成されている。
The following formatting circuit 19 is shown in FIGS.
Formatted into user data as shown in FIG. The user data (sub-packet) shown in FIG. 8 is a variable-rate bit stream (sub-stream) BS including 2ch “1” and “2” prediction coded data for the front group.
0, a variable-rate bit stream (sub-stream) BS1 including 4ch “3” to “6” prediction coded data relating to other groups, and sub-streams BS0 and BS1
Is composed of a bit stream header (restart header) provided before.

【0021】また、サブストリームBS0、BS1の1
フレーム分は ・フレームヘッダと、 ・各ch「1」〜「6」の1フレームの先頭サンプルデー
タと、 ・各ch「1」〜「6」のサブフレーム毎の予測器選択フ
ラグと、 ・各ch「1」〜「6」のサブフレーム毎のビット数フラ
グと、 ・各ch「1」〜「6」の予測残差データ列(可変ビット
数)と、 ・ch「6」の係数aとが、 多重化されている。このような予測符号化によれば、原
信号が例えばサンプリング周波数=96kHz、量子化
ビット数=24ビット、6チャネルの場合、71%の圧
縮率を実現することができる。
Also, 1 of the substreams BS0 and BS1
The frame portion includes: a frame header; first sample data of one frame of each channel “1” to “6”; a predictor selection flag for each subframe of each channel “1” to “6”; a bit number flag for each sub-frame of ch “1” to “6”; a prediction residual data string (variable bit number) of each ch “1” to “6”; and a coefficient a of ch “6” Are multiplexed. According to such predictive coding, when the original signal has, for example, a sampling frequency of 96 kHz, the number of quantization bits = 24 bits, and 6 channels, a compression ratio of 71% can be realized.

【0022】図7に示す符号化部2’−1、2’−2に
より予測符号化された可変レートビットストリームデー
タを、記録媒体の一例としてDVDオーディオディスク
に記録する場合には、図9に示すオーディオ(A)パッ
クにパッキングされる。このパックは2034バイトの
ユーザデータ(Aパケット、Vパケット)に対して4バ
イトのパックスタート情報と、6バイトのSCR(Syst
em Clock Reference:システム時刻基準参照値)情報
と、3バイトのMux レート(rate)情報と1バイトのス
タッフィングの合計14バイトのパックヘッダが付加さ
れて構成されている(1パック=合計2048バイ
ト)。この場合、タイムスタンプであるSCR情報を、
先頭パックでは「1」として同一タイトル内で連続とす
ることにより同一タイトル内のAパックの時間を管理す
ることができる。
When recording the variable rate bit stream data predictively coded by the coding units 2'-1 and 2'-2 shown in FIG. 7 on a DVD audio disc as an example of a recording medium, FIG. The audio (A) pack shown is packed. This pack has 4 bytes of pack start information and 6 bytes of SCR (Syst) for 2034 bytes of user data (A packet, V packet).
em Clock Reference (system time reference value) information, a 3-byte Mux rate (rate) information, and a 1-byte stuffing that add a pack header of a total of 14 bytes (1 pack = 2048 bytes in total) . In this case, the time stamp SCR information is
In the first pack, the time of the A-pack in the same title can be managed by setting it to “1” so as to be continuous within the same title.

【0023】圧縮PCMのAパケットは図10に詳しく
示すように、19又は14バイトのパケットヘッダと、
圧縮PCMのプライベートヘッダと、図11に示すフォ
ーマットの1ないし2011バイトのオーディオデータ
(圧縮PCM)により構成されている。そして、DTS
とPTSは図5のパケットヘッダ内に(具体的にはパケ
ットヘッダの10〜14バイト目にPTSが、15〜1
9バイト目にDTSが)セットされる。圧縮PCMのプ
ライベートヘッダは、 ・1バイトのサブストリームIDと、 ・2バイトのUPC/EAN−ISRC(Universal Pr
oduct Code/European Article Number-International S
tandard Recording Code)番号、及びUPC/EAN−
ISRCデータと、 ・1バイトのプライベートヘッダ長と、 ・2バイトの第1アクセスユニットポインタと、 ・8バイトのオーディオデータ情報(ADI)と、 ・0〜7バイトのスタッフィングバイトとに、より構成
されている。
The A packet of the compressed PCM has a 19 or 14 byte packet header, as shown in detail in FIG.
It is composed of a compressed PCM private header and 1 to 2011 bytes of audio data (compressed PCM) in the format shown in FIG. And DTS
The PTS is included in the packet header of FIG. 5 (specifically, the PTS is 15 to 1 in the 10th to 14th bytes of the packet header).
DTS is set at the ninth byte. The private header of the compressed PCM is: 1-byte substream ID, 2 bytes of UPC / EAN-ISRC (Universal Prism).
oduct Code / European Article Number-International S
tandard Recording Code) number and UPC / EAN-
ISRC data, 1-byte private header length, 2 bytes of first access unit pointer, 8 bytes of audio data information (ADI), and 0 to 7 bytes of stuffing bytes. ing.

【0024】また、ADI内に1秒後のアクセスユニッ
トをサーチするための前方アクセスユニット・サーチポ
インタと、1秒前のアクセスユニットをサーチするため
の後方アクセスユニット・サーチポインタがともに1バ
イトでセットされる。具体的にはADIの7バイト目に
前方アクセスユニット・サーチポインタが、8バイト目
に後方アクセスユニット・サーチポインタがセットされ
る。
Also, a forward access unit search pointer for searching for an access unit one second later and a backward access unit search pointer for searching for an access unit one second earlier in the ADI are both set to one byte. Is done. Specifically, the forward access unit search pointer is set in the seventh byte of the ADI, and the backward access unit search pointer is set in the eighth byte.

【0025】図10に示す圧縮PCM(PPCMともい
う)のオーディオパケットにおけるオーディオデータエ
リアは、図11に示すようにサブパケットと複数のPP
CMアクセスユニットにより構成され、PPCMアクセ
スユニットはPPCMシンク情報とサブパケットにより
構成されている。最初のPPCMアクセスユニット内の
サブパケットは、ディレクトリと、サブストリーム
「0」と、CRCと、サブストリーム「1」と、CRC
とエクストラ情報により構成され、サブストリーム
「0」、「1」はPPCMブロックのみにより構成され
ている。2番目以降のPPCMアクセスユニット内のサ
ブパケットは、ディレクトリを除いてサブストリーム
「0」と、CRCと、サブストリーム「1」と、CRC
とエクストラ情報により構成され、サブストリーム
「0」、「1」はリスタートヘッダとPPCMブロック
により構成されている。
The audio data area in the audio packet of the compressed PCM (also referred to as PPCM) shown in FIG. 10 includes a subpacket and a plurality of PPs as shown in FIG.
It is composed of a CM access unit, and the PPCM access unit is composed of PPCM sink information and subpackets. The sub-packets in the first PPCM access unit are: directory, sub-stream “0”, CRC, sub-stream “1”, CRC
The substreams “0” and “1” are composed of only PPCM blocks. The sub-packets in the second and subsequent PPCM access units are, except for the directory, sub-stream “0”, CRC, sub-stream “1”, CRC
The substreams “0” and “1” are configured by a restart header and a PPCM block.

【0026】PPCMシンク情報(以下、同期情報とも
いう)は次の情報を含む。 ・1パケット当たりのサンプル数:サンプリング周波数
fsに応じて40、80又は160が選択される。 ・データレート:VBRの場合には「0」(サブパケッ
ト内のデータが圧縮データであることを示す識別子) ・サンプリング周波数fs及び量子化ビット数Qb ・チャネル割り当て情報
The PPCM sync information (hereinafter, also referred to as synchronization information) includes the following information. -Number of samples per packet: 40, 80 or 160 is selected according to the sampling frequency fs. -Data rate: "0" for VBR (identifier indicating that data in a subpacket is compressed data)-Sampling frequency fs and number of quantization bits Qb-Channel allocation information

【0027】フォーマット化回路19はまた、図8〜図
11に示すオーディオパックを管理するために図12、
図13に示すような管理情報を含むATSI(オーディ
オ・タイトル・セット・インフォーメーション)をフォ
ーマット化する。図12はAOTT−AOB−ATR
(オーディオオンリタイトル・オーディオオブジェクト
セット・アトリビュート)を示し、このAOTT−AO
B−ATR(b127〜b0)は、MSB側から順に ・8ビット(b127〜b120)のオーディオ符号化
モードと、 ・8ビット(b119〜b112)の保留領域と、 ・4ビット(b111〜b108)のチャネルグループ
「1」の量子化ビット数Q1と、 ・4ビット(b107〜b104)のチャネルグループ
「2」の量子化ビット数Q2と、 ・4ビット(b103〜b100)のチャネルグループ
「1」のサンプリング周波数fs1と、 ・4ビット(b99〜b96)のチャネルグループ
「2」のサンプリング周波数fs2と、 ・3ビット(b95〜b93)のマルチチャネル構造の
タイプと、 ・5ビット(b92〜b88)のチャネル割り当てと、 ・8ビット×11(b87〜b0)の保留領域により構
成されている。
The formatting circuit 19 also manages the audio packs shown in FIGS.
The ATSI (Audio Title Set Information) including the management information as shown in FIG. 13 is formatted. FIG. 12 shows AOTT-AOB-ATR
(Audio only title, audio object set attribute), and the AOTT-AO
The B-ATR (b127 to b0) includes, from the MSB side, an audio coding mode of 8 bits (b127 to b120); a reserved area of 8 bits (b119 to b112); and a 4-bit (b111 to b108). The number of quantization bits Q1 of the channel group “1” of the above; the number of quantization bits Q2 of the channel group “2” of 4 bits (b107 to b104); and the group of the bits 1 of 4 bit (b103 to b100) A 4-bit (b99 to b96) sampling frequency fs2 of the channel group "2"; a 3-bit (b95 to b93) multi-channel structure type; and a 5-bit (b92 to b88). And a reservation area of 8 bits × 11 (b87 to b0).

【0028】上記データを以下に詳しく示す。 (1)オーディオ符号化モード(b127〜b120) 00000000b:リニアPCMモード 00000001b:圧縮PCMモード その他 :その他の符号化モード用に保留The above data is shown below in detail. (1) Audio encoding mode (b127 to b120) 00000000b: Linear PCM mode 00000001b: Compressed PCM mode Others: reserved for other encoding modes

【0029】(2)チャネルグループ1の量子化ビット
数Q1(b111〜b108) 0000b:16ビット 0001b:20ビット 0010b:24ビット その他 :保留 (3)チャネルグループ2の量子化ビット数Q2(b1
07〜b104) ・チャネルグループ1の量子化ビット数Q1が「000
0b」の場合には「0000b」 ・チャネルグループ1の量子化ビット数Q1が「000
1b」の場合には「0000b」又は「0001b」 ・チャネルグループ1の量子化ビット数Q1が「001
0b」の場合には「0000b」、「0001b」又は
「0010b」 ただし、0000b:16ビット 0001b:20ビット 0010b:24ビット その他 :保留
(2) Number of quantized bits Q1 of channel group 1 (b111 to b108) 0000b: 16 bits 0001b: 20 bits 0010b: 24 bits Other: reserved (3) Number of quantized bits Q2 (b1) of channel group 2
07-b104) The quantization bit number Q1 of the channel group 1 is “000”
0b "is" 0000b ". The number of quantization bits Q1 of the channel group 1 is" 000 ".
1b "is" 0000b "or" 0001b ". The quantization bit number Q1 of the channel group 1 is" 001 ".
In the case of “0b”, “0000b”, “0001b” or “0010b” where 0000b: 16 bits 0001b: 20 bits 0010b: 24 bits Other: reserved

【0030】(4)チャネルグループ1のサンプリング
周波数fs1(b103〜b100)0000b:48
kHz 0001b:96kHz 0010b:192kHz 1000b:44.1kHz 1001b:88.2kHz 1010b:176.4kHz その他 :保留
(4) Sampling frequency fs1 of channel group 1 (b103 to b100) 0000b: 48
kHz 0001b: 96kHz 0010b: 192kHz 1000b: 44.1kHz 1001b: 88.2kHz 1010b: 176.4kHz Other: reserved

【0031】(5)チャネルグループ2のサンプリング
周波数fs2(b99〜b96) ・チャネルグループ1のサンプリング周波数fs1が
「0000b」の場合には「0000b」 ・チャネルグループ1のサンプリング周波数fs1が
「0001b」の場合には「0000b」又は「000
1b」 ・チャネルグループ1のサンプリング周波数fs1が
「0010b」の場合には「0000b」、「0001
b」又は「0010b」 ・チャネルグループ1のサンプリング周波数fs1が
「1000b」の場合には「1000b」 ・チャネルグループ1のサンプリング周波数fs1が
「1001b」の場合には「1000b」又は「100
1b」 ・チャネルグループ1のサンプリング周波数fs1が
「1010b」の場合には「1000b」、「1001
b」又は「1010b」
(5) Sampling frequency fs2 of channel group 2 (b99 to b96)-"0000b" when sampling frequency fs1 of channel group 1 is "0000b"-Sampling frequency fs1 of channel group 1 of "0001b" In this case, "0000b" or "000
1b ”•“ 0000b ”,“ 0001 ”when the sampling frequency fs1 of the channel group 1 is“ 0010b ”
"b" or "0010b"-"1000b" when the sampling frequency fs1 of the channel group 1 is "1000b"-"1000b" or "100" when the sampling frequency fs1 of the channel group 1 is "1001b"
1b ”-“ 1000b ”,“ 1001 ”when the sampling frequency fs1 of the channel group 1 is“ 1010b ”
b "or" 1010b "

【0032】(6)マルチチャネル構造のタイプ(b9
5〜b93) 000b:タイプ1 その他 :保留 (7)チャネル割り当て(b92〜b88) 1チャネル(モノラル)から6チャネルまでのグループ
「1」、「2」のチャネル割り当て情報
(6) Multi-channel structure type (b9
000b: Type 1 Other: Reserved (7) Channel allocation (b92 to b88) Channel allocation information of groups "1" and "2" from 1 channel (monaural) to 6 channels

【0033】図13はATS−PG−CNT(オーディ
オタイトルセット・プログラム・コンテンツ)を示し、
これは先頭から順に ・1ビット(b31)の、前回と今回のPGの関係(R
/A)と、 ・1ビット(b30)のSTC不連続性フラグ(STC
−F)と、 ・3ビット(b29〜b27)のアトリビュート数(A
TRN)と、 ・3ビット(b26〜b24)のチャネルグループ(C
hGr)「2」のビットシフトデータと、 ・2ビット(b23、b22)の保留領域と、 ・1ビット(b21)のダウンミックスモード(D−
M)と、 ・1ビット(b20)のダウンミックス係数の有効性
(図示※)と、 ・4ビット(b19〜b16)のダウンミックス係数テ
ーブル番号(DM−COEFTN)と、 ・各々が1ビット、合計16ビット(b15〜b0)の
RTIフラグF15〜F0により構成されている。そし
て、ビット(b21)のダウンミクスモード(D−M)
が「1」の場合に「ダウンミクス禁止」、「0」の場合
に「ダウンミクス許可」を表す。
FIG. 13 shows ATS-PG-CNT (audio title set program content),
This is, in order from the beginning: 1 bit (b31), the relationship between the previous and current PG (R
/ A) and 1-bit (b30) STC discontinuity flag (STC
-F), the number of attributes of three bits (b29 to b27) (A
TRN) and a 3-bit (b26 to b24) channel group (C
hGr) "2" bit shift data; 2 bit (b23, b22) reserved area; 1 bit (b21) downmix mode (D-
M), 1-bit (b20) downmix coefficient validity (illustrated *), 4-bit (b19-b16) downmix coefficient table number (DM-COEFTN), 1 bit each, It consists of RTI flags F15 to F0 of a total of 16 bits (b15 to b0). Then, the downmix mode (DM) of the bit (b21)
Is "1", "downmix prohibition", and "0" indicates "downmix permission".

【0034】次に図14を参照して復号化部3’(3’
−1、3’−2)について説明する。なお、この復号化
部3’(3’−1、3’−2)とミクス&マトリクス回
路4’は、ハードウエアの他にコンピュータプログラム
よっても実現することができる。上記フォーマットの可
変レートビットストリームデータBS0、BS1は、デ
フォーマット化回路21により分離される。そして、各
ch「1」〜「6」の1フレームの先頭サンプルデータ
と予測器選択フラグはそれぞれ予測回路24D1、24
D2、23D1〜23D4に印加され、各ch「1」〜
「6」のビット数フラグはアンパッキング回路22に印
加される。また、SCRと、DTSと予測残差データ列
は入力バッファ22aに印加され、PTSは出力バッフ
ァ110に印加される。また、圧縮/非圧縮などを示す
符号化モードと、ダウンミクス許可/禁止を示す識別子
は制御部100に印加され、サンプリング周波数fs及
び量子化ビット数QbはD/A変換器102に印加され
る。ここで、予測回路24D1、24D2、23D1〜
23D4内の複数の予測器(不図示)はそれぞれ、符号
化側の予測回路13D1、13D2、15D1〜15D
4内の複数の予測器と同一の特性であり、予測器選択フ
ラグにより同一特性のものが選択される。
Next, referring to FIG. 14, the decoding unit 3 '(3'
-1, 3'-2) will be described. The decoding section 3 '(3'-1, 3'-2) and the mix & matrix circuit 4' can be realized by a computer program in addition to hardware. The variable rate bit stream data BS0 and BS1 in the above format are separated by the deformatting circuit 21. The head sample data of one frame of each of the channels “1” to “6” and the predictor selection flag are respectively stored in the prediction circuits 24D1 and 24D.
D2, 23D1 to 23D4, each channel “1” to
The bit number flag of “6” is applied to the unpacking circuit 22. The SCR, the DTS, and the prediction residual data string are applied to the input buffer 22a, and the PTS is applied to the output buffer 110. An encoding mode indicating compression / non-compression and an identifier indicating downmix permission / prohibition are applied to the control unit 100, and the sampling frequency fs and the number of quantization bits Qb are applied to the D / A converter 102. . Here, the prediction circuits 24D1, 24D2, 23D1
A plurality of predictors (not shown) in the 23D4 are prediction circuits 13D1, 13D2, 15D1 to 15D on the encoding side, respectively.
4 have the same characteristics as the plurality of predictors, and those having the same characteristics are selected by the predictor selection flag.

【0035】デフォーマット化回路21により分離され
たストリームデータ(予測残差データ列)は、図15に
示すようにSCRによりアクセスユニット毎に入力バッ
ファ22aに取り込まれて蓄積される。ここで、1つの
アクセスユニットのデータ量は、例えばfs=96kH
zの場合には(1/96kHz)秒分であるが、図1
6、図17(a)に詳しく示すように可変長である。そ
して、入力バッファ22aに蓄積されたストリームデー
タはDTSに基づいてFIFOで読み出されてアンパッ
キング回路22に印加される。
The stream data (prediction residual data string) separated by the reformatting circuit 21 is fetched and stored in the input buffer 22a for each access unit by SCR as shown in FIG. Here, the data amount of one access unit is, for example, fs = 96 kHz.
In the case of z, it is (1/96 kHz) seconds, but FIG.
6, variable length as shown in detail in FIG. Then, the stream data stored in the input buffer 22a is read out by the FIFO based on the DTS and applied to the unpacking circuit 22.

【0036】アンパッキング回路22は各ch「1」〜
「6」の予測残差データ列をビット数フラグ毎に基づい
て分離してそれぞれ予測回路24D1、24D2、23
D1〜23D4に出力する。予測回路24D1、24D
2、23D1〜23D4ではそれぞれ、アンパッキング
回路22からの各ch「1」〜「6」の今回の予測残差
データと、内部の複数の予測器の内、予測器選択フラグ
により選択された各1つにより予測された前回の予測値
が加算されて今回の予測値が算出され、次いで1フレー
ムの先頭サンプルデータを基準として各サンプルのPC
Mデータが算出されて出力バッファ110に蓄積され
る。出力バッファ110に蓄積されたPCMデータはP
TSに基づいて読み出されて出力され、したがって、図
17(a)に示す可変長のアクセスユニットが伸長され
て、図17(b)に示す一定長のプレゼンテーションユ
ニットが出力される。
The unpacking circuit 22 is provided for each channel "1" to
The prediction residual data string of “6” is separated based on each bit number flag, and is divided into prediction circuits 24D1, 24D2, and 23, respectively.
It outputs to D1-23D4. Prediction circuits 24D1, 24D
2, 23D1 to 23D4, the current prediction residual data of each of the channels “1” to “6” from the unpacking circuit 22 and each of the plurality of internal predictors selected by the predictor selection flag. The previous predicted value predicted by one frame is added to calculate the current predicted value, and then the PC of each sample is determined based on the first sample data of one frame.
M data is calculated and stored in the output buffer 110. PCM data stored in the output buffer 110 is P
The data is read out and output based on the TS. Therefore, the variable-length access unit shown in FIG. 17A is expanded, and a fixed-length presentation unit shown in FIG. 17B is output.

【0037】また、PPCMシンク情報内のサンプリン
グ周波数fs及び量子化ビット数Qbに基づいて、PC
MデータがD/A変換器102によりアナログ信号に変
換される。ここで、操作部101を介してサーチ再生が
指示された場合には、制御部100により図5に示す前
方アクセスユニット・サーチポインタ(1秒先)と後方
アクセスユニット・サーチポインタ(1秒前)に基づい
てアクセスユニットを再生する。このサーチポインタと
しては、1秒先、1秒前の代わりに2秒先、2秒前のも
のでよい。
Further, based on the sampling frequency fs and the number of quantization bits Qb in the PPCM sync information, the PC
The M data is converted by the D / A converter 102 into an analog signal. Here, when a search reproduction is instructed via the operation unit 101, the control unit 100 causes the forward access unit search pointer (one second ahead) and the backward access unit search pointer (one second ahead) shown in FIG. Play the access unit based on the. The search pointer may be one second ahead, two seconds ahead, two seconds ahead instead of one second ahead.

【0038】符号化部2’(2’−1、2’−2)によ
り予測符号化された可変レートビットストリームデータ
をネットワークを介して伝送する場合には、符号化側で
は図18に示すように伝送用にパケット化し(ステップ
S41)、次いでパケットヘッダを付与し(ステップS
42)、次いでこのパケットをネットワーク上に送り出
す(ステップS43)。
When variable-rate bit stream data predictively coded by the coding unit 2 '(2'-1, 2'-2) is transmitted via a network, the coding side uses the data as shown in FIG. Into a packet for transmission (step S41), and then add a packet header (step S41).
42), and then sends this packet out onto the network (step S43).

【0039】復号側では図19(A)に示すようにヘッ
ダを除去し(ステップS51)、次いでデータを復元し
(ステップS52)、次いでこのデータをメモリに格納
して復号を待つ(ステップS53)。そして、復号を行
う場合には図19(B)に示すように、デフォーマット
化を行い(ステップS61)、次いで入力バッファ22
aの入出力制御を行い(ステップS62)、次いでアン
パッキングを行う(ステップS63)。なお、このと
き、サーチ再生指示がある場合にはサーチポインタをデ
コードする。次いで予測器をフラグに基づいて選択して
デコードを行い(ステップS64)、次いで出力バッフ
ァ110の入出力制御を行い(ステップS65)、次い
で元のマルチチャネルを復元し(ステップS66)、次
いでこれを出力し(ステップS67)、以下、これを繰
り返す。
On the decoding side, as shown in FIG. 19A, the header is removed (step S51), the data is restored (step S52), and the data is stored in the memory to wait for decoding (step S53). . Then, when decoding is performed, as shown in FIG. 19B, deformatting is performed (step S61), and then the input buffer 22
The input / output control of a is performed (step S62), and then the unpacking is performed (step S63). At this time, if there is a search reproduction instruction, the search pointer is decoded. Next, a predictor is selected and decoded based on the flag (step S64), input / output control of the output buffer 110 is performed (step S65), and the original multi-channel is restored (step S66). This is output (step S67), and thereafter, this is repeated.

【0040】次に図20、図21を参照して第2の実施
形態について説明する。上記の実施形態では、1グルー
プの相関性の信号「1」〜「6」を予測符号化するよう
に構成されているが、この第4の実施形態では複数グル
ープの相関性のある信号を生成して予測符号化し、圧縮
率が最も高いグループの予測符号化データを選択するよ
うに構成されている。このため図20に示す符号化部で
は、第1〜第nの相関回路1−1〜1−nが設けられ、
このn個の相関回路1−1〜1−nは例えば6ch(L
f、C、Rf、Ls、Rs、Lfe)のPCMデータ
を、相関性が異なるn種類の6ch信号「1」〜「6」に
変換する。
Next, a second embodiment will be described with reference to FIGS. In the above embodiment, one group of correlated signals "1" to "6" are configured to be predictively coded. In the fourth embodiment, a plurality of groups of correlated signals are generated. Then, it is configured to perform predictive encoding and select predictive encoded data of a group having the highest compression ratio. Therefore, the encoding unit shown in FIG. 20 includes first to n-th correlation circuits 1-1 to 1-n,
The n correlation circuits 1-1 to 1-n have, for example, 6 channels (L
f, C, Rf, Ls, Rs, and Lfe) PCM data are converted into n types of 6-channel signals “1” to “6” having different correlations.

【0041】例えば第1の相関回路1−1は以下のよう
に変換し、 (1)=Lf (2)=C−(Ls+Rs)/2 (3)=Rf−Lf (4)=Ls−a×Lfe (5)=Rs−b×Rf (6)=Lfe また、第nの相関回路1−nは以下のように変換する。 (1)=Lf+Rf (2)=C−Lf (3)=Rf−Lf (4)=Ls−Lf (5)=Rs−Lf (6)=Lfe−C
For example, the first correlation circuit 1-1 converts as follows: (1) = Lf (2) = C− (Ls + Rs) / 2 (3) = Rf−Lf (4) = Ls−a × Lfe (5) = Rs−b × Rf (6) = Lfe Further, the n-th correlation circuit 1-n performs conversion as follows. (1) = Lf + Rf (2) = C−Lf (3) = Rf−Lf (4) = Ls−Lf (5) = Rs−Lf (6) = Lfe−C

【0042】また、相関回路1−1〜1−n毎に予測回
路15とバッファ・選択器16が設けられ、グループ毎
の予測残差の最小値のデータ量に基づいて圧縮率が最も
高いグループが相関選択信号生成器17bにより選択さ
れる。このとき、フォーマット化回路19はその選択フ
ラグ(相関回路選択フラグ、その相関回路の相関係数
a、b)を追加して多重化する。
A prediction circuit 15 and a buffer / selector 16 are provided for each of the correlation circuits 1-1 to 1-n, and the group having the highest compression ratio is determined based on the data amount of the minimum value of the prediction residual for each group. Are selected by the correlation selection signal generator 17b. At this time, the formatting circuit 19 adds and multiplexes the selection flag (correlation circuit selection flag, correlation coefficients a and b of the correlation circuit).

【0043】また、図21に示す復号化側では、符号化
側の相関回路1−1〜1−nに対してn個の相関回路4
−1〜4−n(又は係数a、bが変更可能な1つの相関
回路4)が設けられる。なお、図20に示すnグループ
の予測回路が同一の構成である場合、復号装置では図2
1に示すようにnグループ分の予測回路を設ける必要は
なく、1つのグループ分の予測回路でよい。そして、符
号化装置から伝送された選択フラグに基づいて相関回路
4−1〜4−nの1つを選択、又は係数a、bを設定し
て元の6ch(Lf、C、Rf、Ls、Rs、Lfe)を
復元し、また、式(2)によりマルチチャネルをダウン
ミクスしてステレオ2chデータ(L、R)を生成する。
On the decoding side shown in FIG. 21, n correlating circuits 4 are provided to correlating circuits 1-1 to 1-n on the encoding side.
−1 to 4-n (or one correlation circuit 4 whose coefficients a and b can be changed) are provided. When the prediction circuits of the n groups shown in FIG. 20 have the same configuration,
As shown in FIG. 1, there is no need to provide prediction circuits for n groups, and prediction circuits for one group are sufficient. Then, one of the correlation circuits 4-1 to 4-n is selected based on the selection flag transmitted from the encoding device, or the coefficients a and b are set and the original 6 ch (Lf, C, Rf, Ls, Rs, Lfe) is restored, and multi-channels are downmixed according to equation (2) to generate stereo 2-ch data (L, R).

【0044】また、上記の第1の実施形態では、1種類
の相関性の信号「1」〜「6」を予測符号化するように
構成されているが、この信号「1」〜「6」のグループ
と原信号(Lf、C、Rf、Ls、Rs、Lfe)のグ
ループを予測符号化し、圧縮率が高い方のグループを選
択するようにしてもよい。本発明によれば、特許請求の
範囲に記載した発明の他に、次のような発明が提供され
る。マルチチャネルの音声信号が圧縮されたデータ又は
圧縮されないデータを選択的にオーディオパケットに配
置するフォーマット化手段と、前記オーディオパケット
内のマルチチャネルデータが圧縮されているか否か、あ
るいは、前記オーディオパケット内のマルチチャネルデ
ータをステレオ2チャネルにダウンミクスすることを許
可するか又は禁止するかによってあらかじめダウンミク
スして符号化するか否か、あるいはダウンミクス係数を
符号化するか否かを選択する手段とを、有する音声符号
化装置。
In the first embodiment, one kind of correlation signal "1" to "6" is configured to be predictively coded, but the signals "1" to "6" are encoded. And the group of the original signals (Lf, C, Rf, Ls, Rs, Lfe) may be predictively coded and the group with the higher compression ratio may be selected. According to the present invention, the following inventions are provided in addition to the inventions described in the claims. Formatting means for selectively arranging compressed data or uncompressed data of a multi-channel audio signal in an audio packet; and determining whether multi-channel data in the audio packet is compressed, or Means for selecting whether to perform down-mixing and encoding in advance or whether to encode down-mix coefficients according to whether to allow or prohibit down-mixing of multi-channel data into two stereo channels. An audio encoding device comprising:

【0045】[0045]

【発明の効果】以上説明したように本発明によれば、例
えば、マルチチャネルを圧縮又は非圧縮で選択的に伝送
する場合に、マルチチャネルデータが圧縮されているか
否かを示す識別子と、マルチチャネルデータをステレオ
2チャネルにダウンミクスすることを許可するか又は禁
止するかを示す識別子とを有するデータ構造にフォーマ
ット化する等したので、再生側のダウンミクスを選択的
に許可又は禁止しても再生側が正常に再生することがで
きる。
As described above, according to the present invention, for example, when a multi-channel is selectively transmitted with compression or non-compression, an identifier indicating whether or not multi-channel data is compressed, Since the channel data is formatted into a data structure having an identifier indicating whether to permit or prohibit the downmixing into two stereo channels, even if the downmix on the playback side is selectively permitted or prohibited, The reproducing side can reproduce normally.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明が適用されるマルチチャネルの伝送形態
の第1の例を示す説明図である。
FIG. 1 is an explanatory diagram showing a first example of a multi-channel transmission mode to which the present invention is applied.

【図2】本発明が適用されるマルチチャネルの伝送形態
の第2の例を示す説明図である。
FIG. 2 is an explanatory diagram showing a second example of a multi-channel transmission mode to which the present invention is applied.

【図3】本発明が適用されるマルチチャネルの伝送形態
の第3の例を示す説明図である。
FIG. 3 is an explanatory diagram showing a third example of a multi-channel transmission mode to which the present invention is applied.

【図4】本発明が適用されるマルチチャネルの伝送形態
の第4の例を示す説明図である。
FIG. 4 is an explanatory diagram showing a fourth example of a multi-channel transmission mode to which the present invention is applied.

【図5】図1の変形例を示す説明図である。FIG. 5 is an explanatory diagram showing a modification of FIG. 1;

【図6】図2の変形例を示す説明図である。FIG. 6 is an explanatory diagram showing a modification of FIG. 2;

【図7】図1の符号化部を詳しく示すブロック図であ
る。
FIG. 7 is a block diagram illustrating an encoding unit of FIG. 1 in detail.

【図8】図1、図7の符号化部により符号化されたビッ
トストリームを示す説明図である。
FIG. 8 is an explanatory diagram showing a bit stream encoded by the encoding unit shown in FIGS. 1 and 7;

【図9】DVDのパックのフォーマットを示す説明図で
ある。
FIG. 9 is an explanatory diagram showing a format of a DVD pack.

【図10】DVDのオーディオパックのフォーマットを
示す説明図である。
FIG. 10 is an explanatory diagram showing a format of a DVD audio pack.

【図11】図10のオーディオデータエリアのフォーマ
ットを詳しく示す説明図である。
11 is an explanatory diagram showing the format of the audio data area in FIG. 10 in detail.

【図12】DVDオーディオのAOTT−AOB−AT
R(オーディオオンリタイトル・オーディオオブジェク
トセット・アトリビュート)を示す説明図である。
FIG. 12 DVD audio AOTT-AOB-AT
It is explanatory drawing which shows R (audio only title, audio object set attribute).

【図13】DVDオーディオのATS−PG−CNT
(オーディオタイトルセット・プログラム・コンテン
ツ)を示す説明図である。
FIG. 13 ATS-PG-CNT of DVD audio
FIG. 4 is an explanatory diagram showing (audio title set program content).

【図14】図1の復号化部を詳しく示すブロック図であ
る。
FIG. 14 is a block diagram illustrating a decoding unit of FIG. 1 in detail.

【図15】図14の入力バッファの書き込み/読み出し
タイミングを示すタイミングチャートである。
FIG. 15 is a timing chart showing write / read timings of the input buffer of FIG. 14;

【図16】アクセスユニット毎の圧縮データ量を示す説
明図である。
FIG. 16 is an explanatory diagram showing the amount of compressed data for each access unit.

【図17】アクセスユニットとプレゼンテーションユニ
ットを示す説明図である。
FIG. 17 is an explanatory diagram showing an access unit and a presentation unit.

【図18】音声伝送方法を示すフローチャートである。FIG. 18 is a flowchart showing a voice transmission method.

【図19】音声伝送方法を示すフローチャートである。FIG. 19 is a flowchart illustrating an audio transmission method.

【図20】第2の実施形態の音声符号化装置を示すブロ
ック図である。
FIG. 20 is a block diagram illustrating a speech encoding device according to a second embodiment.

【図21】第2の実施形態の音声復号装置を示すブロッ
ク図である。
FIG. 21 is a block diagram illustrating a speech decoding device according to a second embodiment.

【符号の説明】[Explanation of symbols]

1’ 6chミクス&マトリクス回路 13D1,13D2,15D1〜15D4 予測回路
(バッファ・選択器14D1,14D2,16D1〜1
6D4と共に圧縮手段を構成する。) 14D1,14D2,16D1〜16D4 バッファ・
選択器 17 選択信号/DTS生成器 17c PTS生成器 19 フォーマット化回路 21 デフォーマット化回路(分離手段) 22 アンパッキング回路 22a 入力バッファ 24D1,24D2,23D1〜23D4 予測回路
(伸長手段) 100 制御部(再生手段) 102 D/A変換器 110 出力バッファ
1 '6ch Mix & Matrix Circuit 13D1, 13D2, 15D1-15D4 Prediction Circuit (Buffer / Selector 14D1, 14D2, 16D1-1
A compression means is constituted together with 6D4. 14D1, 14D2, 16D1-16D4 buffer
Selector 17 Selection signal / DTS generator 17c PTS generator 19 Formatting circuit 21 Deformatting circuit (separating means) 22 Unpacking circuit 22a Input buffer 24D1, 24D2, 23D1 to 23D4 Predicting circuit (expanding means) 100 Control unit ( Reproduction means) 102 D / A converter 110 Output buffer

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平9−259539(JP,A) 特開 平10−21673(JP,A) (58)調査した分野(Int.Cl.7,DB名) G11B 20/10 H04S 3/00 H03M 7/30 H04B 14/04 ────────────────────────────────────────────────── ─── Continuation of the front page (56) References JP-A-9-259539 (JP, A) JP-A-10-21673 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) G11B 20/10 H04S 3/00 H03M 7/30 H04B 14/04

Claims (3)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】マルチチャネルの音声信号が圧縮されたデ
ータ又は圧縮されないデータが選択的に配置されるオー
ディオパケットと、 前記オーディオパケット内のマルチチャネルデータが圧
縮されているか否かを示す第1の識別子と、前記オーデ
ィオパケット内のマルチチャネルデータをステレオ2チ
ャネルにダウンミクスすることを許可するか又は禁止す
るかを示す第2の識別子が配置された管理情報とを、 有するデータ構造にフォーマット化する手段を有する音
声符号化装置であって、前記第2の識別子がダウンミク
を許可することを示す場合には前記オーディオパケ
ット内のマルチチャネルデータをステレオ2チャネルに
ダウンミクスするダウンミクス係数を符号化し、前記第
2の識別子がダウンミクスを禁止することを示す場合に
は、前記ダウンミクス係数を符号化しないようにするこ
とを特徴とする音声符号化装置。
An audio packet in which compressed or uncompressed data of a multi-channel audio signal is selectively arranged, and a first indicating whether or not the multi-channel data in the audio packet is compressed. Formatting a data structure having an identifier and management information in which a second identifier indicating whether to allow or prohibit downmixing of the multi-channel data in the audio packet into two stereo channels is arranged. a speech coding apparatus comprising means for, the when the second identifier indicating the permission of the down-mix is downmix coefficients for down-mix the multi-channel data to stereo 2 channels in the audio packet Encoding the said
When the identifier of 2 indicates that downmix is prohibited
Is a device for not encoding the downmix coefficient .
【請求項2】マルチチャネルの音声信号が圧縮されたデ
ータ又は圧縮されないデータが選択的に配置されるオー
ディオパケットと、 前記オーディオパケット内のマルチチャネルデータが圧
縮されているか否かを示す第1の識別子と、前記オーデ
ィオパケット内のマルチチャネルデータをステレオ2チ
ャネルにダウンミクスすることを許可するか又は禁止す
るかを示す第2の識別子が配置された管理情報とを有
するデータ構造のデータをパケット化して通信回線を介
して伝送することを特徴とする音声伝送方法。
2. An audio packet in which compressed data or uncompressed data of a multi-channel audio signal is selectively arranged, and a first indicating whether or not the multi-channel data in the audio packet is compressed. A packet of data having a data structure having an identifier and a management information in which a second identifier indicating whether to allow or prohibit downmixing of the multi-channel data in the audio packet into two stereo channels is disposed. A voice transmission method characterized in that the voice transmission is performed through a communication line.
【請求項3】マルチチャネルの音声信号が圧縮されたデ
ータ又は圧縮されないデータが選択的に配置されるオー
ディオパケットと、 前記オーディオパケット内のマルチチャネルデータが圧
縮されているか否かを示す第1の識別子と、前記オーデ
ィオパケット内のマルチチャネルデータをステレオ2チ
ャネルにダウンミクスすることを許可するか又は禁止す
るかを示す第2の識別子が配置された管理情報とを、
有するデータ構造が記録された記録媒体に記録されたデ
ータを復号化するコンピュータプログラムが記録された
コンピュータプログラム記録媒体であって、 前記コンピュータプログラムは、 前記データをオーディオパケットと管理情報に分離する
ステップと、 前記管理情報から第1の識別子と第2の識別子を抽出
するステップと、 抽出された第2の識別子がダウンミクス許可すること
を示す場合には前記オーディオパケット内のマルチチ
ャネルデータを前記抽出された第1の識別子に基づいて
選択的に伸長するか又は伸長しないで復号しマルチチ
ャネルとステレオ2チャネルの少なくともいずれかで取
り出し、前記第2の識別子がダウンミクス禁止する
とを示す場合には前記オーディオパケット内のマルチ
チャネルデータを前記第1の識別子に基づいて選択的に
伸長するか又は伸長しないで復号しマルチチャネルのみ
で取り出すステップとを、 有するコンピュータプログラム記録媒体。
3. An audio packet in which data in which a multi-channel audio signal is compressed or data in which it is not compressed is selectively arranged, and a first indicating whether the multi-channel data in the audio packet is compressed or not. Management information in which an identifier and a second identifier indicating whether to allow or prohibit downmixing the multi-channel data into two stereo channels in the audio packet are arranged;
A computer program recording medium on which a computer program for decoding data recorded on a recording medium on which a data structure is recorded is recorded, the computer program comprising: separating the data into audio packets and management information; , extracting the first identifier and the second identifier from the management information, the second identifier extracted permits the downmix
To the case shown, the decoded without or extension selectively extending the basis of multi-channel data in the audio packet to a first identifier the extracted at least one of the multi-channel and stereo 2 channels extraction, this said second identifier prohibit downmix
To the case shown TMG, and removing the multi-channel data in the audio packet only multichannel decoded without or extension selectively extending the basis of the first identifier comprises a computer program storage medium .
JP2001010401A 2001-01-18 2001-01-18 Audio encoding device, audio transmission method, and computer program recording medium Expired - Lifetime JP3196776B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001010401A JP3196776B1 (en) 2001-01-18 2001-01-18 Audio encoding device, audio transmission method, and computer program recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001010401A JP3196776B1 (en) 2001-01-18 2001-01-18 Audio encoding device, audio transmission method, and computer program recording medium

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP34235498A Division JP3173482B2 (en) 1998-11-16 1998-11-16 Recording medium and audio decoding device for audio data recorded on recording medium

Publications (2)

Publication Number Publication Date
JP3196776B1 true JP3196776B1 (en) 2001-08-06
JP2001257599A JP2001257599A (en) 2001-09-21

Family

ID=18877716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001010401A Expired - Lifetime JP3196776B1 (en) 2001-01-18 2001-01-18 Audio encoding device, audio transmission method, and computer program recording medium

Country Status (1)

Country Link
JP (1) JP3196776B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102340038B1 (en) * 2020-02-26 2021-12-16 에스케이매직 주식회사 Apparatus for treating clothes

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102340038B1 (en) * 2020-02-26 2021-12-16 에스케이매직 주식회사 Apparatus for treating clothes

Also Published As

Publication number Publication date
JP2001257599A (en) 2001-09-21

Similar Documents

Publication Publication Date Title
JP3173482B2 (en) Recording medium and audio decoding device for audio data recorded on recording medium
JP4148157B2 (en) Audio signal transmission method and audio signal decoding apparatus
JP3196776B1 (en) Audio encoding device, audio transmission method, and computer program recording medium
JP3196775B1 (en) Audio encoding method and audio decoding method
JP3173608B1 (en) Audio encoding device and audio decoding device
JP3228474B2 (en) Audio encoding device and audio decoding method
JP3196778B1 (en) Audio encoding method and audio decoding method
JP3173609B1 (en) Audio encoding method and audio decoding method
JP3228475B2 (en) Audio transmission method and computer program recording medium
JP3228473B2 (en) Recording medium and audio decoding device for audio data recorded on recording medium
JP3196777B1 (en) Recording medium and audio decoding device for audio data recorded on recording medium
JP3196779B1 (en) Audio transmission method and computer program recording medium
JP2001255899A (en) Audio receiving method and audio receiver
JP4151020B2 (en) Audio signal transmission method and audio signal decoding apparatus
JP4151018B2 (en) Audio signal transmission method and audio signal decoding apparatus
JP4151019B2 (en) Audio signal transmission method and audio signal decoding apparatus
JP2003249019A (en) Voice encoder and voice decoder
JP2003177795A (en) Voice encoding method and voice decoding method
JP2003263198A (en) Audio encoder and audio decoder
JP2003177792A (en) Voice encoding method and voice decoding method
JP2003177793A (en) Voice encoding method and voice decoding method
JP2003249018A (en) Voice encoder and voice decoder
JP2003216191A (en) Audio encoding method and audio decoding method
JP2003223195A (en) Audio encoding method and audio decoding method
JP2003249016A (en) Voice encoder and voice decoder

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090608

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090608

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100608

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110608

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110608

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20190608

Year of fee payment: 18

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20190608

Year of fee payment: 18

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20190608

Year of fee payment: 18

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term