JP3344579B2 - Audio coding method - Google Patents

Audio coding method

Info

Publication number
JP3344579B2
JP3344579B2 JP2000323047A JP2000323047A JP3344579B2 JP 3344579 B2 JP3344579 B2 JP 3344579B2 JP 2000323047 A JP2000323047 A JP 2000323047A JP 2000323047 A JP2000323047 A JP 2000323047A JP 3344579 B2 JP3344579 B2 JP 3344579B2
Authority
JP
Japan
Prior art keywords
signal
prediction
circuit
channel
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000323047A
Other languages
Japanese (ja)
Other versions
JP2001188569A (en
Inventor
徳彦 渕上
昭治 植野
美昭 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2000323047A priority Critical patent/JP3344579B2/en
Publication of JP2001188569A publication Critical patent/JP2001188569A/en
Application granted granted Critical
Publication of JP3344579B2 publication Critical patent/JP3344579B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、音声信号を予測符
号化して圧縮するための音声符号化方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a speech coding method for predictively coding and compressing a speech signal.

【0002】[0002]

【従来の技術】音声信号を予測符号化する方法として、
本発明者は先の出願(特願平9−289159号)にお
いて1チャネル(チャンネル)の原デジタル音声信号に
対して、特性が異なる複数の予測器により時間領域にお
ける過去の信号から現在の信号の複数の線形予測値を算
出し、原デジタル音声信号と、この複数の線形予測値か
ら予測器毎の予測残差を算出し、この複数の予測残差の
最小値を選択する方法を提案している。
2. Description of the Related Art As a method of predictive encoding of a speech signal,
In the prior application (Japanese Patent Application No. 9-289159), the present inventor has applied a plurality of predictors having different characteristics to a current signal from a past signal in a time domain with respect to an original digital audio signal of one channel (channel). A method of calculating a plurality of linear prediction values, calculating a prediction residual for each predictor from the original digital audio signal and the plurality of linear prediction values, and selecting a minimum value of the plurality of prediction residuals; I have.

【0003】[0003]

【発明が解決しようとする課題】しかしながら、上記方
法では原デジタル音声信号がサンプリング周波数=96
kHz、量子化ビット数=20ビット程度の場合に、あ
る程度の圧縮効果を得ることができるが、近年のDVD
オーディオディスクでは、この2倍のサンプリング周波
数(=192kHz)が使用され、また、量子化ビット
数も24ビットが使用される傾向があるので、圧縮率を
改善する必要がある。
However, in the above method, the original digital audio signal has a sampling frequency = 96.
In the case of kHz and the number of quantization bits = about 20 bits, a certain compression effect can be obtained.
Audio discs use twice this sampling frequency (= 192 kHz), and the number of quantization bits tends to be 24 bits. Therefore, it is necessary to improve the compression ratio.

【0004】そこで本発明は、音声信号を予測符号化す
る場合に圧縮率を改善することができる音声符号化方法
を提供することを目的とする。
Accordingly, an object of the present invention is to provide a speech coding method capable of improving a compression ratio when predictive coding a speech signal.

【0005】[0005]

【課題を解決するための手段】本発明は上記目的を達成
するために、以下の手段よりなる。すなわち、
The present invention comprises the following means for achieving the above object. That is,

【0006】同一サンプリング周波数の第1及び第2の2
系統の音声信号をマトリクス演算して互いに相関ある
つの相関チャネルに変換するステップと、前記ステップ
により変換された2つの相関チャネルを含む音声信号
を、チャネル毎に、入力される音声信号に応答して先頭
サンプル値を得ると共に、特性が異なる複数の線形予測
方法により時間領域の過去から現在の信号の線形予測値
がそれぞれ予測され、その予測される線形予測値と前記
音声信号とから得られる予測残差が最小となるような
形予測方法を選択して予測符号化するステップと、 ヘッ
ダ情報と、圧縮PCMアクセスユニットを含むユーザデ
ータと、を含んだデータ構造にすると共に、前記ステッ
プにより選択された各チャネルの線形予測方法と予測残
差と所定の先頭サンプル値を含む予測符号化データを、
前記圧縮PCMアクセスユニット内に配置されるサブパ
ケット内に格納するステップと、からなる音声符号化方
法。
[0006] The first and second two of the same sampling frequency
2 with mutually correlated audio signals of the system by matrix operations
And converting the One correlation channel, the audio signal including the two correlation channel converted by the step
And for each channel, along with obtaining a top Sample value in response to the audio signal input, a plurality of linear prediction characteristics differ
Linear predicted value of past to present signal in time domain by method
Are respectively predicted, and the predicted linear prediction value and the
A step of prediction residuals obtained from a voice signal to predictive encoding by selecting a line <br/> Predictor method that minimizes, header
User information including the compressed PCM access unit
And a data structure that includes
Linear prediction method and prediction residual for each channel selected by
Predictive encoded data including the difference and a predetermined first sample value,
A sub-path arranged in the compressed PCM access unit;
Storing in a packet .

【0007】[0007]

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図1は本発明に係る音声符号化方
法を適用した音声符号化装置とそれに対応した音声復号
装置の第1の実施形態を示すブロック図、図2は図1の
エンコーダを詳しく示すブロック図、図3は図2のマル
チプレクサにより多重化される1フレームのフォーマッ
トを示す説明図、図4はDVDのパックのフォーマット
を示す説明図、図5はDVDのオーディオパックのフォ
ーマットを示す説明図、図6は図1のデコーダを詳しく
示すブロック図である。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a first embodiment of a speech encoding apparatus to which the speech encoding method according to the present invention is applied and a speech decoding apparatus corresponding thereto, and FIG. 2 is a block diagram showing the encoder of FIG. 1 in detail. 3 is an explanatory diagram showing a format of one frame multiplexed by the multiplexer of FIG. 2, FIG. 4 is an explanatory diagram showing a format of a DVD pack, FIG. 5 is an explanatory diagram showing a format of an audio pack of a DVD, and FIG. FIG. 2 is a block diagram illustrating the decoder of FIG. 1 in detail.

【0008】図1に示すチャネル相関回路Aは加算回路
1aと減算回路1bを有する。加算回路1aは各チャネ
ル(以下、ch)が例えばサンプリング周波数=192k
Hz、量子化ビット数=24ビットのステレオ2ch信号
L、Rの和信号(L+R)を算出して和ch用1chロスレ
ス・エンコーダ2D1に出力し、減算回路1bは差信号
(L−R)を算出して差ch用1chロスレス・エンコーダ
2D2に出力する。エンコーダ2D1、2D2は図2に
詳しく示すように、それぞれ和信号(L+R)、差信号
(L−R)の差分Δ(L+R)、Δ(L−R)を予測符
号化して記録媒体や通信媒体を介して伝送する。
The channel correlation circuit A shown in FIG. 1 has an addition circuit 1a and a subtraction circuit 1b. In the addition circuit 1a, each channel (hereinafter, ch) has, for example, a sampling frequency = 192 k
Hz, the sum signal (L + R) of the stereo 2ch signals L and R with the quantization bit number = 24 bits is output to the 1ch lossless encoder 2D1 for the sum channel, and the subtraction circuit 1b outputs the difference signal (LR). The calculated value is output to the 1ch lossless encoder 2D2 for the difference channel. As shown in detail in FIG. 2, the encoders 2D1 and 2D2 predictively encode the differences Δ (L + R) and Δ (LR) of the sum signal (L + R) and the difference signal (LR), respectively, and To be transmitted through.

【0009】そして、復号側では、図6に詳しく示すよ
うにデコーダ3D1、3D2がそれぞれ各chの予測符号
化データを和信号(L+R)、差信号(L−R)に復号
し、次いでチャネル相関回路Bがこの和信号(L+
R)、差信号(L−R)をステレオ2ch信号L、Rに復
元する。
On the decoding side, the decoders 3D1 and 3D2 decode the prediction coded data of each channel into a sum signal (L + R) and a difference signal (LR), respectively, as shown in detail in FIG. The circuit B outputs the sum signal (L +
R) and the difference signal (LR) are restored to stereo 2-ch signals L and R.

【0010】図2を参照してエンコーダ2D1、2D2
について詳しく説明する。和信号(L+R)と差信号
(L−R)は1フレーム毎に1フレームバッファ10に
格納される。そして、1フレームの各サンプル値(L+
R)、(L−R)がそれぞれ差分演算回路11D1、1
1D2に印加され、今回と前回の差分Δ(L+R)、Δ
(L−R)、すなわち差分PCM(DPCM)データが
算出される。また、各フレームの先頭サンプル値(L+
R)、(L−R)がマルチプレクサ19に印加される。
Referring to FIG. 2, encoders 2D1, 2D2
Will be described in detail. The sum signal (L + R) and the difference signal (LR) are stored in one frame buffer 10 for each frame. Then, each sample value (L +
R) and (LR) are the difference calculation circuits 11D1, 1D1, respectively.
1D2, the difference Δ (L + R), Δ
(LR), that is, differential PCM (DPCM) data is calculated. Also, the first sample value (L +
R) and (LR) are applied to the multiplexer 19.

【0011】差分演算回路11D1により算出された差
分Δ(L+R)は、予測係数が異なる複数の予測器12
a−1〜12a−nと減算器13a−1〜13a−nに
印加される。そして、予測器12a−1〜12a−nで
はそれぞれ各予測係数に基づいて差分Δ(L+R)の各
予測値が算出され、減算器13a−1〜13b−nでは
それぞれこの各予測値と差分Δ(L+R)の各予測残差
が算出される。バッファ・選択器16D1はこの複数の
予測残差を一時記憶して、選択信号生成器17により指
定されたサブフレーム毎に最小の予測残差を選択し、パ
ッキング回路18に出力する。なお、このサブフレーム
はフレームの数十分の1程度のサンプル長であり、一例
として1フレームを80サブフレームとする。ここで、
予測器12a−1〜12a−nと減算器13a−1〜1
3a−nは和信号chの予測回路15D1を構成し、ま
た、この予測回路15D1とバッファ・選択器16D1
は和信号chの予測符号化回路を構成している。
The difference Δ (L + R) calculated by the difference calculation circuit 11D1 is calculated by a plurality of predictors 12 having different prediction coefficients.
a-1 to 12a-n and subtracters 13a-1 to 13a-n. Then, the predictors 12a-1 to 12a-n calculate respective predicted values of the difference Δ (L + R) based on the respective prediction coefficients, and the subtractors 13a-1 to 13b-n respectively calculate the predicted value of the difference Δ Each prediction residual of (L + R) is calculated. The buffer / selector 16D1 temporarily stores the plurality of prediction residuals, selects the smallest prediction residual for each subframe specified by the selection signal generator 17, and outputs the selected prediction residual to the packing circuit 18. This sub-frame has a sample length of about one-tenth of the frame, and one frame is assumed to be 80 sub-frames as an example. here,
Predictors 12a-1 to 12a-n and subtractors 13a-1 to 13a-1
3a-n constitute a prediction circuit 15D1 for the sum signal ch, and the prediction circuit 15D1 and the buffer / selector 16D1
Constitutes a predictive encoding circuit for the sum signal ch.

【0012】同様に、差分演算回路11D2により算出
された差分Δ(L−R)は、予測係数が異なる複数の予
測器12b−1〜12b−nと減算器13b−1〜13
b−nに印加される。そして、予測器12b−1〜12
b−nではそれぞれ各予測係数に基づいて差分Δ(L−
R)の各予測値が算出され、減算器13b−1〜13b
−nではそれぞれこの各予測値と差分Δ(L−R)の各
予測残差が算出される。バッファ・選択器16D2はこ
の複数の予測残差を一時記憶して、選択信号生成器17
により指定されたサブフレーム毎に最小の予測残差を選
択し、パッキング回路18に出力する。予測器12b−
1〜12b−nと減算器13b−1〜13b−nは差信
号chの予測回路15D2を構成し、また、この予測回路
15D2とバッファ・選択器16D2は差信号chの予測
符号化回路を構成している。
Similarly, the difference Δ (LR) calculated by the difference calculation circuit 11D2 is calculated by using a plurality of predictors 12b-1 to 12b-n and subtractors 13b-1 to 13b-13 having different prediction coefficients.
b-n. Then, the predictors 12b-1 to 12b-12
b−n, the difference Δ (L−
R) are calculated, and the subtractors 13b-1 to 13b are calculated.
In −n, each prediction residual of each prediction value and the difference Δ (LR) is calculated. The buffer / selector 16D2 temporarily stores the plurality of prediction residuals, and
The minimum prediction residual is selected for each sub-frame specified by, and is output to the packing circuit 18. Predictor 12b-
1 to 12b-n and the subtractors 13b-1 to 13b-n constitute a prediction circuit 15D2 for the difference signal ch. The prediction circuit 15D2 and the buffer / selector 16D2 constitute a prediction encoding circuit for the difference signal ch. are doing.

【0013】選択信号生成器17は予測残差のビット数
フラグ(5ビット)をパッキング回路18とマルチプレ
クサ19に対して印加し、また、予測残差が最小の予測
器を示す予測器選択フラグ(その数nが2〜9個として
3ビット)をマルチプレクサ19に対して印加する。パ
ッキング回路18はバッファ・選択器16D1、16D
2により選択された2ch分の予測残差を、選択信号生成
器17により指定されたビット数フラグに基づいて指定
ビット数でパッキングする。
The selection signal generator 17 applies a bit number flag (5 bits) of the prediction residual to the packing circuit 18 and the multiplexer 19, and a prediction selector flag (predictor) indicating the predictor with the minimum prediction residual. The number n is 2 to 9 and 3 bits) are applied to the multiplexer 19. The packing circuit 18 includes buffer / selectors 16D1 and 16D.
Based on the bit number flag specified by the selection signal generator 17, the prediction residual of 2 ch selected by 2 is packed with the specified number of bits.

【0014】続くマルチプレクサ19は図3に示すよう
に1フレーム分に対して ・フレームヘッダ(40ビット)と、 ・和信号ch(L+R)の1フレームの先頭サンプル値
(25ビット)と、 ・差信号ch(L−R)の1フレームの先頭サンプル値
(25ビット)と、 ・和信号ch(L+R)のサブフレーム毎の予測器選択
フラグ(3ビット×80)と、 ・差信号ch(L−R)のサブフレーム毎の予測器選択
フラグ(3ビット×80)と、 ・和信号ch(L+R)のサブフレーム毎のビット数フ
ラグ(5ビット×80)と、 ・差信号ch(L−R)のサブフレーム毎のビット数フ
ラグ(5ビット×80)と、 ・和信号ch(L+R)の予測残差データ列(可変ビッ
ト数)と、 ・差信号ch(L−R)の予測残差データ列(可変ビッ
ト数)とをアクセスユニットとして多重化し、可変レー
トビットストリームとして出力する。上記予測残差デー
タ列はサブパケットを構成する。このような予測符号化
によれば、原信号が例えばサンプリング周波数=192
kHz、量子化ビット数=24ビット、2チャネルの場
合、59%の圧縮率を実現することができる。
As shown in FIG. 3, the following multiplexer 19 outputs a frame header (40 bits), a first sample value (25 bits) of one frame of the sum signal ch (L + R) for one frame, A head sample value (25 bits) of one frame of the signal ch (LR); a predictor selection flag (3 bits × 80) for each subframe of the sum signal ch (L + R); a difference signal ch (L) -R) a predictor selection flag for each subframe (3 bits x 80);-a sum signal ch (L + R), a bit number flag for each subframe (5 bits x 80);-a difference signal ch (L- R) a bit number flag (5 bits × 80) for each subframe; a prediction residual data sequence (variable number of bits) of the sum signal ch (L + R); and a prediction residual of the difference signal ch (LR). Difference data string (variable bit ) And multiplexed as an access unit, output as a variable rate bit stream. The prediction residual data sequence forms a subpacket. According to such predictive coding, the original signal is, for example, sampling frequency = 192.
In the case of kHz, the number of quantization bits = 24 bits, and two channels, a compression ratio of 59% can be realized.

【0015】また、この可変レートビットストリームデ
ータをDVDオーディオディスクに記録する場合には、
図4に示す圧縮PCMのオーディオ(A)パックにパッ
キングされる。このパックは2034バイトのユーザデ
ータ(Aパケット、Vパケット)に対して4バイトのパ
ックスタート情報と、6バイトのSCR(System Clock
Reference:システム時刻基準参照値)情報と、3バイ
トのMux レート(rate)情報と1バイトのスタッフィン
グの合計14バイトのパックヘッダが付加されて構成さ
れている(1パック=合計2048バイト)。この場
合、タイムスタンプであるSCR情報を、ACBユニッ
ト内の先頭パックでは「1」として同一タイトル内で連
続とすることにより同一タイトル内のAパックの時間を
管理することができる。
When recording the variable rate bit stream data on a DVD audio disk,
It is packed in the audio (A) pack of the compressed PCM shown in FIG. This pack has 4 bytes of pack start information and 6 bytes of SCR (System Clock) for 2034 bytes of user data (A packet and V packet).
Reference: system time reference value information, 3-byte Mux rate information, and 1-byte stuffing for a total of 14-byte pack header (1 pack = 2048 bytes in total). In this case, the time of the A pack in the same title can be managed by setting the SCR information as the time stamp to be “1” in the first pack in the ACB unit so as to be continuous in the same title.

【0016】圧縮PCMのAパケットは図5に詳しく示
すように、17、9又は14バイトのパケットヘッダ
と、プライベートヘッダと、図3に示すフォーマットの
1ないし2015バイトのオーディオ圧縮PCMデータ
により構成されている。圧縮PCMのプライベートヘッ
ダは、 ・1バイトのサブストリームIDと、 ・2バイトのUPC/EAN−ISRC(Universal Pr
oduct Code/European Article Number-International S
tandard Recording Code)番号、及びUPC/EAN−
ISRCデータと、 ・1バイトのプライベートヘッダ長と、 ・2バイトの第1アクセスユニットポインタと、 ・4バイトのオーディオデータ情報(ADI)と、 ・0〜7バイトのスタッフィングバイトとに、より構成
されている。このように圧縮PCMのAパケットのAD
Iは、4バイトに選定され、通常の非圧縮のPCMのA
パケットのADIよりも4バイトだけ短くされている。
したがってオーディオデータは4バイト分増加させるこ
とができる。
As shown in detail in FIG. 5, the A packet of the compressed PCM is composed of a packet header of 17, 9, or 14 bytes, a private header, and 1 to 2015 bytes of audio compressed PCM data of the format shown in FIG. ing. The private header of the compressed PCM includes: a 1-byte substream ID; and a 2-byte UPC / EAN-ISRC (Universal Prism).
oduct Code / European Article Number-International S
tandard Recording Code) number and UPC / EAN-
ISRC data, 1-byte private header length, 2-byte first access unit pointer, 4-byte audio data information (ADI), and 0 to 7 stuffing bytes. ing. Thus, the AD of the A packet of the compressed PCM
I is chosen to be 4 bytes and is the normal uncompressed PCM A
It is 4 bytes shorter than the ADI of the packet.
Therefore, the audio data can be increased by 4 bytes.

【0017】次に図6を参照してデコーダ3D1、3D
2について説明する。図3に示したフォーマットの可変
レートビットストリームデータは、デマルチプレクサ2
1によりフレームヘッダに基づいて分離される。そし
て、和信号ch(L+R)及び差信号ch(L−R)の
1フレームの先頭サンプル値はそれぞれ累積演算回路2
5a、25bに印加され、和信号ch(L+R)及び差
信号ch(L−R)の予測器選択フラグはそれぞれ予測
器(24a−1〜24a−n)、(24b−1〜24b
−n)の各選択信号として印加され、和信号ch(L+
R)及び差信号ch(L−R)のビット数フラグと予測
残差データ列はアンパッキング回路22に印加される。
ここで、予測器(24a−1〜24a−n)、(24b
−1〜24b−n)はそれぞれ、符号化側の予測器(1
2a−1〜12a−n)、(12b−1〜12b−n)
と同一の特性であり、予測器選択フラグにより同一特性
のものが選択される。
Next, referring to FIG. 6, decoders 3D1, 3D
2 will be described. The variable rate bit stream data of the format shown in FIG.
1 based on the frame header. Then, the leading sample values of one frame of the sum signal ch (L + R) and the difference signal ch (LR) are respectively calculated by the accumulation operation circuit 2.
5a and 25b, and the predictor selection flags of the sum signal ch (L + R) and the difference signal ch (LR) are set to predictors (24a-1 to 24a-n) and (24b-1 to 24b, respectively).
−n), and the sum signal ch (L +
R) and the bit number flag of the difference signal ch (LR) and the prediction residual data string are applied to the unpacking circuit 22.
Here, the predictors (24a-1 to 24a-n), (24b
-1 to 24b-n) are predictors (1) on the encoding side, respectively.
2a-1 to 12a-n), (12b-1 to 12b-n)
And the same characteristic is selected by the predictor selection flag.

【0018】アンパッキング回路22は和信号ch(L
+R)及び差信号ch(L−R)の予測残差データ列を
ビット数フラグ毎に基づいて分離してそれぞれ加算回路
23a、23bに出力する。加算回路23a、23bで
はそれぞれ、アンパッキング回路22からの和信号ch
(L+R)及び差信号ch(L−R)の今回の予測残差
データと、予測器(24a−1〜24a−n)、(24
b−1〜24b−n)の内、予測器選択フラグにより選
択された各1つにより予測された前回の予測値が加算さ
れて今回の予測値が算出される。この今回の予測値は、
図2に示す差分回路11a、11bによりそれぞれ算出
された差分Δ(L+R)、Δ(L−R)すなわちDPC
Mデータであり、予測器(24a−1〜24a−n)、
(24b−1〜24b−n)と累積演算回路25a、2
5bに印加される。
The unpacking circuit 22 outputs the sum signal ch (L
+ R) and the prediction residual data sequence of the difference signal ch (LR) are separated based on each bit number flag and output to the adders 23a and 23b, respectively. The adder circuits 23a and 23b respectively add the sum signal ch from the unpacking circuit 22.
(L + R) and the current prediction residual data of the difference signal ch (LR), and the predictors (24a-1 to 24a-n), (24
b-1 to 24b-n), the previous predicted value predicted by each one selected by the predictor selection flag is added to calculate the current predicted value. This forecast is
The differences Δ (L + R) and Δ (LR) calculated by the difference circuits 11a and 11b shown in FIG.
M data, and predictors (24a-1 to 24a-n),
(24b-1 to 24b-n) and cumulative operation circuits 25a,
5b.

【0019】累積演算回路25a、25bはそれぞれ、
1フレームの先頭サンプル値に対して差分Δ(L+
R)、Δ(L−R)をサンプル毎に累積加算して和信号
ch(L+R)、差信号ch(L−R)の各PCMデー
タを出力する。この和信号(L+R)、差信号(L−
R)は図1に示すように加算回路4aにより2L信号が
算出されるとともに、減算回路4bにより2R信号が算
出される。そして、2L信号と2R信号がそれぞれ割り
算器5a、5bにより1/2に割り算され、元のステレ
オ2チャネル信号L、Rが復元される。
The cumulative operation circuits 25a and 25b are respectively
The difference Δ (L +
R) and Δ (LR) are cumulatively added for each sample to output PCM data of a sum signal ch (L + R) and a difference signal ch (LR). The sum signal (L + R) and the difference signal (L−
As for R), as shown in FIG. 1, a 2L signal is calculated by the adding circuit 4a, and a 2R signal is calculated by the subtracting circuit 4b. Then, the 2L signal and the 2R signal are each divided by 1/2 by the dividers 5a and 5b, and the original stereo two-channel signals L and R are restored.

【0020】次に図7、図8を参照して第2の実施形態
について説明する。上記の実施形態では、和信号(L+
R)、差信号(L−R)の各差分Δ(L+R)、Δ(L
−R)、すなわちDPCMデータのみを予測符号化する
ように構成されているが、この第2の実施形態では和信
号(L+R)、差信号(L−R)すなわちPCMデー
タ、又はその各差分Δ(L+R)、Δ(L−R)すなわ
ちDPCMデータを選択的に予測符号化するように構成
されている。
Next, a second embodiment will be described with reference to FIGS. In the above embodiment, the sum signal (L +
R), each difference Δ (L + R), Δ (L) of the difference signal (LR)
-R), that is, only the DPCM data is predictively coded. In the second embodiment, the sum signal (L + R), the difference signal (LR), ie, the PCM data, or each difference Δ (L + R), Δ (LR), that is, DPCM data is selectively and predictively encoded.

【0021】このため図7に示す符号化装置では、図2
に示す構成に対して和信号(L+R)、差信号(L−
R)をそれぞれ予測符号化するための予測回路15A、
15Sとバッファ・選択器16A、16Sが追加されて
いる。また、選択信号生成器17はバッファ・選択器1
6A、16Sによりそれぞれ選択された和信号(L+
R)、差信号(L−R)と、バッファ・選択器16D
1、16D2によりそれぞれ選択された差分Δ(L+
R)、Δ(L−R)の各予測残差の最小値に基づいて、
PCMデータとDPCMデータのどちらが圧縮率が高い
か否かを判断し、高い方のデータを選択する。このと
き、そのPCM/DPCMの選択フラグ(予測回路選択
フラグ)を追加して多重化する。
For this reason, the encoding apparatus shown in FIG.
The sum signal (L + R) and the difference signal (L−
R) for predictive encoding, respectively.
15S and buffer / selectors 16A and 16S are added. The selection signal generator 17 is a buffer / selector 1
6A, the sum signal (L +
R), the difference signal (LR) and the buffer / selector 16D
1, 16D2, the difference Δ (L +
R), Δ (LR) based on the minimum value of each prediction residual,
It is determined whether the compression ratio of PCM data or DPCM data is higher, and the higher data is selected. At this time, the PCM / DPCM selection flag (prediction circuit selection flag) is added and multiplexed.

【0022】ここで、図7に示す和信号(L+R)の予
測回路15Aと差分Δ(L+R)の予測回路15D1が
同一の構成であり、また、差信号(L−R)の予測回路
15Sと差分Δ(L−R)の予測回路15D2が同一の
構成である場合、復号装置では図8に示すようにPCM
データとDPCMデータの両方の予測回路を設ける必要
はなく、1つのデータ分の予測回路でよい。そして、符
号化装置から伝送された予測回路選択フラグに基づいて
セレクタ26a、26bにより、DPCMデータの場合
には累積演算回路25a、25bの出力を選択し、PC
Mデータの場合には加算回路23a、23bの出力を選
択する。
Here, the prediction circuit 15A for the sum signal (L + R) and the prediction circuit 15D1 for the difference Δ (L + R) shown in FIG. 7 have the same configuration, and the prediction circuit 15S for the difference signal (L−R) has the same configuration. When the difference Δ (LR) prediction circuits 15D2 have the same configuration, the decoding apparatus uses the PCM as shown in FIG.
It is not necessary to provide a prediction circuit for both data and DPCM data, and a prediction circuit for one data may be used. Then, based on the prediction circuit selection flag transmitted from the encoding device, the selectors 26a and 26b select the outputs of the accumulator circuits 25a and 25b in the case of the DPCM data.
In the case of M data, the outputs of the adders 23a and 23b are selected.

【0023】第3の実施形態では図9に示すように、原
信号L、R(PCMデータ)と、和信号(L+R)、差
信号(L−R)(PCMデータ)と、その各差分Δ(L
+R)、Δ(L−R)(DPCMデータ)の3グループ
の1つを選択的に予測符号化するように構成されてい
る。
In the third embodiment, as shown in FIG. 9, original signals L and R (PCM data), a sum signal (L + R), a difference signal (LR) (PCM data), and each difference Δ (L
+ R) and Δ (LR) (DPCM data) are selectively encoded in one of three groups.

【0024】このため図9に示す符号化装置では、図7
に示す構成に対して原信号L、Rをそれぞれ予測符号化
するための予測回路15L、15Rとバッファ・選択器
16L、16Rが追加されている。また、選択信号生成
器17はバッファ・選択器16L、16Rにより選択さ
れた原信号L、Rと、バッファ・選択器16A、16S
により選択された和信号(L+R)、差信号(L−R)
と、バッファ・選択器16D1、16D2により選択さ
れた各差分Δ(L+R)、Δ(L−R)の各予測残差の
最小値に基づいて圧縮率が高いグループのデータを選択
する。このとき、その選択フラグ(予測回路選択フラ
グ)を追加して多重化する。
For this reason, in the encoding apparatus shown in FIG.
In addition to the configuration shown in (1), prediction circuits 15L and 15R for predictively encoding the original signals L and R, and buffers / selectors 16L and 16R are added. Further, the selection signal generator 17 includes the original signals L and R selected by the buffer / selectors 16L and 16R and the buffer / selectors 16A and 16S.
Signal (L + R) and difference signal (LR) selected by
And data of a group having a high compression ratio based on the minimum values of the prediction residuals of the differences Δ (L + R) and Δ (LR) selected by the buffer / selectors 16D1 and 16D2. At this time, the selection flag (prediction circuit selection flag) is added and multiplexed.

【0025】また、図9に示す3グループの予測回路が
同一の構成である場合、復号装置では図10に示すよう
に3グループ分の予測回路を設ける必要はなく、1つの
グループ分の予測回路でよい。そして、符号化装置から
伝送された予測回路選択フラグに基づいて、DPCMデ
ータの場合には累積演算回路25a、25bの出力を選
択し、PCMデータの場合には加算回路23a、23b
の出力を選択してチャネル相関回路Bにより原信号L、
Rを復元する。そして、更にセレクタ27a、27bに
より原信号L、Rのグループの場合には加算回路23
a、23bの出力を選択し、他の場合にはチャネル相関
回路Bの出力を選択する
If the three groups of prediction circuits shown in FIG. 9 have the same configuration, the decoding device does not need to provide three groups of prediction circuits as shown in FIG. Is fine. Then, based on the prediction circuit selection flag transmitted from the encoding device, the output of the accumulation operation circuits 25a and 25b is selected in the case of DPCM data, and the addition circuits 23a and 23b in the case of PCM data.
And the channel correlation circuit B selects the original signal L,
Restore R. Further, in the case of the group of the original signals L and R by the selectors 27a and 27b, the addition circuit 23
a, 23b are selected, and in other cases, the output of the channel correlation circuit B is selected.

【0026】また、符号化側により予測符号化された可
変レートビットストリームデータをネットワークを介し
て伝送する場合には、符号化側では図11に示すように
伝送用にパケット化し(ステップS41)、次いでパケ
ットヘッダを付与し(ステップS42)、次いでこのパ
ケットをネットワーク上に送り出す(ステップS4
3)。復号側では図12に示すようにヘッダを除去し
(ステップS51)、次いでデータを復元し(ステップ
S52)、次いでこのデータをメモリに格納して復号を
待つ(ステップS53)。
When the variable-rate bit stream data predicted and encoded by the encoding side is transmitted via a network, the encoding side packetizes the data for transmission as shown in FIG. 11 (step S41). Next, a packet header is added (step S42), and then this packet is sent out to the network (step S4).
3). The decoding side removes the header as shown in FIG. 12 (step S51), restores the data (step S52), stores the data in the memory, and waits for decoding (step S53).

【0027】図5に示す圧縮PCM(PPCM)のオー
ディオ(A)パケットの図3と異なる態様を図13に示
す。この異なる態様では、圧縮PCM(PPCM)のオ
ーディオ(A)パケットにおけるオーディオデータエリ
アは、図13に示すように複数のPPCMアクセスユニ
ットにより構成され、PPCMアクセスユニットはPP
CMシンク情報とサブパケットにより構成されている。
最初のPPCMアクセスユニット内のサブパケットは、
ディレクトリと、ビットトリームBS0と、CRCと、
エクストラ情報により構成され、ビットストリームBS
0はPPCMブロックのみにより構成されている。2番
目以降のPPCMアクセスユニット内のサブパケット
は、ディレクトリを除いてビットストリームBS0と、
CRCと、エクストラ情報により構成され、フレーム先
頭のサブストリームBS0はリスタートヘッダとPPC
Mブロック(フレーム先頭サンプル値を含む)により構
成されている。
FIG. 13 shows an aspect of the compressed PCM (PPCM) audio (A) packet shown in FIG. 5 which is different from FIG. In this different aspect, the audio data area in the audio (A) packet of the compressed PCM (PPCM) is composed of a plurality of PPCM access units as shown in FIG.
It is composed of CM sync information and sub-packets.
The subpacket in the first PPCM access unit is:
Directory, bitstream BS0, CRC,
Bit stream BS composed of extra information
0 is composed of only the PPCM block. Sub-packets in the second and subsequent PPCM access units include a bit stream BS0 except for a directory,
The sub-stream BS0 at the head of the frame is composed of a CRC and extra information.
It is composed of M blocks (including a sample value at the beginning of the frame).

【0028】PPCMシンク情報(以下、同期情報とも
いう)は次の情報を含む。 ・1パケット当たりのサンプル数:サンプリング周波数
fsに応じて40、80又は160が選択される。 ・データレート:VBRの場合には「0」(サブパケッ
ト内のデータが圧縮データであることを示す識別子) ・サンプリング周波数fs及び量子化ビット数Qb ・チャネル割り当て情報 リスタートヘッダはフレーム毎にチャネル相関回路A
(加算回路と減算回路を有すること)を明記した情報を
有している。図13に示したフォーマットの可変レート
ビットストリームデータは、図6のデマルチプレクサ2
1以下の構成からなるデコーダ3D1、3D2により元
の2チャネルオーディオ信号に復号される。
The PPCM sync information (hereinafter also referred to as synchronization information) includes the following information. -Number of samples per packet: 40, 80 or 160 is selected according to the sampling frequency fs. -Data rate: "0" in the case of VBR (identifier indicating that the data in the subpacket is compressed data)-Sampling frequency fs and number of quantization bits Qb-Channel allocation information Restart header is a channel for each frame Correlation circuit A
(Having an addition circuit and a subtraction circuit). The variable rate bit stream data of the format shown in FIG.
Decoded to the original two-channel audio signal by the decoders 3D1 and 3D2 having a configuration of 1 or less.

【0029】図14は、本発明に係る音声符号化装置及
び音声復号装置の第2の実施形態を示すブロック図であ
る。図14に示すチャネル相関回路A−1は加算回路1
aと減算回路1bを有する。加算回路1aはステレオ2
ch信号L、Rの和信号(L+R)を算出し、この和信号
(L+R)を割り算器5aにより1/2に割り算してか
ら、ロスレス・エンコーダ2Dに出力し、減算回路1b
は差信号(L−R)を算出し、この差信号(L−R)を
割り算器5bにより1/2に割り算してから、ロスレス
・エンコーダ2Dに出力する。ロスレス・エンコーダ2
Dは、1/2(L+R)と1/2(L−R)を用いてこ
れらを多重化して多重化信号250を作る。多重化信号
250はロスレス・デコーダ3Dによりデコードされ
て、元の1/2(L+R)と1/2(L−R)が得ら
れ、これらが、チャネル相関回路B−1を構成する加算
回路4aと減算回路4bにそれぞれ与えられ、出力信号
としてステレオ2chのL信号とR信号が得られる。な
お、ロスレス・エンコーダ2Dとロスレス・エンコーダ
2Dにおける一連の動作である、差分の算出、予測値の
算出、最小予測残差の選択、最小予測残差を用いた予測
値の算出などは、第1の実施の形態と同様に行われる。
図13に示したフォーマットの可変レートビットストリ
ームデータは、図1のチャネル相関回路を用いたか、図
14のチャネル相関回路を用いたかを例えばPPCMア
クセスユニットのリスタートヘッダに格納した識別子で
識別するようにしているので、いずれであっても確実に
デコードできる。なお、フレーム毎のロスレス圧縮を例
に説明したが、固定ではなく、区間は可変の長さにして
もよい。
FIG. 14 is a block diagram showing a second embodiment of the speech encoding apparatus and speech decoding apparatus according to the present invention. The channel correlation circuit A-1 shown in FIG.
a and a subtraction circuit 1b. The adder 1a is a stereo 2
The sum signal (L + R) of the ch signals L and R is calculated, and the sum signal (L + R) is divided by a divider 5a to 、, and is output to the lossless encoder 2D, and the subtraction circuit 1b
Calculates the difference signal (LR), divides the difference signal (LR) by 1/2 by the divider 5b, and outputs the result to the lossless encoder 2D. Lossless encoder 2
D multiplexes these using 1/2 (L + R) and 1/2 (LR) to create a multiplexed signal 250. The multiplexed signal 250 is decoded by the lossless decoder 3D to obtain the original 1/2 (L + R) and 1/2 (LR), which are added to the addition circuit 4a constituting the channel correlation circuit B-1. And the subtraction circuit 4b, respectively, to obtain stereo 2-channel L and R signals as output signals. Note that a series of operations in the lossless encoder 2D and the lossless encoder 2D, such as calculation of a difference, calculation of a predicted value, selection of a minimum prediction residual, and calculation of a prediction value using the minimum prediction residual are performed in the first step. This is performed in the same manner as in the embodiment.
The variable rate bit stream data of the format shown in FIG. 13 is used to identify whether the channel correlation circuit shown in FIG. 1 or the channel correlation circuit shown in FIG. 14 is used, for example, by using an identifier stored in the restart header of the PPCM access unit. Therefore, any one of them can be reliably decoded. Although lossless compression for each frame has been described as an example, the section is not fixed but may have a variable length.

【0030】[0030]

【発明の効果】以上説明したように本発明によれば、特
に、同一サンプリング周波数の第1及び第2の2系統の音
声信号をミックスして互いに相関あるチャネルに変換2
つの相関信号を、チャネル毎に入力される音声信号に応
答して先頭サンプル値を得ると共に、時間領域に過去の
信号から予測される現在の信号の複数の予測値の中でそ
の予測残差が最小となる線形予測方式によりロスレス圧
縮するようにしたので、音声信号を予測符号化する場合
に圧縮率を改善できる。
As described above, according to the present invention, in particular, the first and second audio signals of the same sampling frequency are mixed and converted into mutually correlated channels.
The two correlation signals are used to obtain the first sample value in response to the audio signal input for each channel, and the prediction residual among the plurality of prediction values of the current signal predicted from the past signal in the time domain. Since the lossless compression is performed by the minimum linear prediction method, the compression ratio can be improved when predictive coding of the audio signal is performed.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明を適用した音声符号化装置とそれに対応
する音声復号装置の第1の実施形態を示すブロック図で
ある。
FIG. 1 is a block diagram showing a first embodiment of a speech encoding apparatus to which the present invention is applied and a speech decoding apparatus corresponding thereto.

【図2】図1のエンコーダを詳しく示すブロック図であ
る。
FIG. 2 is a block diagram showing the encoder of FIG. 1 in detail.

【図3】図2のマルチプレクサにより多重化される1フ
レームのフォーマットを示す説明図である。
FIG. 3 is an explanatory diagram showing a format of one frame multiplexed by the multiplexer of FIG. 2;

【図4】DVDのパックのフォーマットを示す説明図で
ある。
FIG. 4 is an explanatory diagram showing a format of a DVD pack.

【図5】DVDのオーディオパックのフォーマットを示
す説明図である。
FIG. 5 is an explanatory diagram showing a format of a DVD audio pack.

【図6】図1のデコーダを詳しく示すブロック図であ
る。
FIG. 6 is a block diagram illustrating the decoder of FIG. 1 in detail;

【図7】第2の実施形態のエンコーダを示すブロック図
である。
FIG. 7 is a block diagram illustrating an encoder according to a second embodiment.

【図8】第2の実施形態のデコーダを示すブロック図で
ある。
FIG. 8 is a block diagram illustrating a decoder according to a second embodiment.

【図9】第3の実施形態のエンコーダを示すブロック図
である。
FIG. 9 is a block diagram illustrating an encoder according to a third embodiment.

【図10】第3の実施形態のデコーダを示すブロック図
である。
FIG. 10 is a block diagram illustrating a decoder according to a third embodiment.

【図11】音声伝送方法を示すフローチャートである。FIG. 11 is a flowchart showing a voice transmission method.

【図12】音声伝送方法を示すフローチャートである。FIG. 12 is a flowchart illustrating an audio transmission method.

【図13】図5に示す圧縮PCM(PPCM)のオーデ
ィオ(A)パケットの図3と異なる態様を示すフォーマ
ット説明図である。
FIG. 13 is a format explanatory diagram showing an aspect of the audio (A) packet of the compressed PCM (PPCM) shown in FIG. 5 which is different from FIG. 3;

【図14】本発明を適用した音声符号化装置とそれに対
応した音声復号装置の第2の実施形態を示すブロック図
である。
FIG. 14 is a block diagram showing a second embodiment of a speech encoding apparatus to which the present invention is applied and a speech decoding apparatus corresponding thereto.

【符号の説明】[Explanation of symbols]

1a、4a 加算回路(加算手段) 1b、4b 減算回路(減算手段) 5a、5b 割り算器 11D1 差分演算回路(第1の差分演算手段) 11D2 差分演算回路(第2の差分演算手段) 12a−1〜12a−n 予測器(減算器13a−1〜
13a−n、バッファ・選択器16D1と共に第1の予
測符号化手段を構成する。) 12b−1〜12b−n 予測器(減算器13b−1〜
13b−n、バッファ・選択器16D2と共に第2の予
測符号化手段を構成する。) 13a−1〜13a−n,13b−1〜13b−n 減
算器 16D1,16D2,16A,16S,16L,16R
バッファ・選択器 15A 予測回路(バッファ・選択器16Aと共に第3
の予測符号化手段を構成する。) 15S 予測回路(バッファ・選択器16Sと共に第4
の予測符号化手段を構成する。) 15L 予測回路(バッファ・選択器16Lと共に第5
の予測符号化手段を構成する。) 15R 予測回路(バッファ・選択器16Rと共に第6
の予測符号化手段を構成する。)
1a, 4a Addition circuit (addition means) 1b, 4b Subtraction circuit (subtraction means) 5a, 5b Divider 11D1 Difference operation circuit (first difference operation means) 11D2 Difference operation circuit (second difference operation means) 12a-1 -12a-n predictor (subtractors 13a-1
13a-n and the buffer / selector 16D1 constitute a first predictive encoding means. ) 12b-1 to 12b-n predictors (subtractors 13b-1 to 13b-1)
13b-n and the buffer / selector 16D2 constitute a second predictive encoding means. ) 13a-1 to 13a-n, 13b-1 to 13b-n Subtractors 16D1, 16D2, 16A, 16S, 16L, 16R
Buffer / selector 15A Prediction circuit (third with buffer / selector 16A)
Of the prediction encoding means. ) 15S prediction circuit (4th with buffer / selector 16S)
Of the prediction encoding means. ) 15L prediction circuit (fifth with buffer / selector 16L)
Of the prediction encoding means. ) 15R prediction circuit (6th with buffer / selector 16R)
Of the prediction encoding means. )

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭64−44499(JP,A) 特開 平6−133252(JP,A) 特開 平2−127899(JP,A) 特開 平9−139937(JP,A) (58)調査した分野(Int.Cl.7,DB名) G10L 19/00 - 19/14 G11B 20/10 - 20/12 H03M 7/30 - 7/40 H04S 1/00 ──────────────────────────────────────────────────続 き Continuation of front page (56) References JP-A-64-44499 (JP, A) JP-A-6-133252 (JP, A) JP-A-2-127899 (JP, A) JP-A-9-99 139937 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) G10L 19/00-19/14 G11B 20/10-20/12 H03M 7/30-7/40 H04S 1/00

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】同一サンプリング周波数の第1及び第2の2
系統の音声信号をマトリクス演算して互いに相関ある
つの相関チャネルに変換するステップと、 前記ステップにより変換された2つの相関チャネルを含
む音声信号を、チャネル毎に、入力される音声信号に応
答して先頭サンプル値を得ると共に、特性が異なる複数
の線形予測方法により時間領域の過去から現在の信号の
線形予測値がそれぞれ予測され、その予測される線形予
測値と前記音声信号とから得られる予測残差が最小とな
ような線形予測方法を選択して予測符号化するステッ
プと、 ヘッダ情報と、圧縮PCMアクセスユニットを含むユー
ザデータと、を含んだデータ構造にすると共に、前記ス
テップにより選択された各チャネルの線形予測方法と予
測残差と所定の先頭サンプル値を含む予測符号化データ
を、前記圧縮PCMアクセスユニット内に配置されるサ
ブパケット内 に格納するステップと、 からなる音声符号化方法。
1. The first and second two of the same sampling frequency.
2 with mutually correlated audio signals of the system by matrix operations
And converting the One correlation channel, including the two correlation channel converted by the step
For each channel, a head sample value is obtained for each channel in response to the input audio signal, and a plurality of
Of the signal from the past in the time domain by the linear prediction method of
Each linear prediction is predicted and its predicted linear prediction
A step of selecting a linear prediction method that minimizes the prediction residual obtained from the measured value and the audio signal and performing predictive encoding.
User information including the compressed PCM access unit,
And a data structure including
Linear prediction method and prediction for each channel selected by step
Predicted coded data including measurement residual and a specified first sample value
To a service located in the compressed PCM access unit.
Storing in a packet, and a speech encoding method.
JP2000323047A 1998-10-13 2000-10-23 Audio coding method Expired - Lifetime JP3344579B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000323047A JP3344579B2 (en) 1998-10-13 2000-10-23 Audio coding method

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP30634998 1998-10-13
JP10-306349 1998-11-16
JP10-342352 1998-11-16
JP34235298 1998-11-16
JP2000323047A JP3344579B2 (en) 1998-10-13 2000-10-23 Audio coding method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP29167899A Division JP3387461B2 (en) 1998-10-13 1999-10-13 Recording medium, audio decoding device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2001265425A Division JP3606458B2 (en) 1998-10-13 2001-09-03 Audio signal transmission method and audio decoding method

Publications (2)

Publication Number Publication Date
JP2001188569A JP2001188569A (en) 2001-07-10
JP3344579B2 true JP3344579B2 (en) 2002-11-11

Family

ID=27338825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000323047A Expired - Lifetime JP3344579B2 (en) 1998-10-13 2000-10-23 Audio coding method

Country Status (1)

Country Link
JP (1) JP3344579B2 (en)

Also Published As

Publication number Publication date
JP2001188569A (en) 2001-07-10

Similar Documents

Publication Publication Date Title
JP3387461B2 (en) Recording medium, audio decoding device
JP3342001B2 (en) Recording medium, audio decoding device
JP3344578B2 (en) Audio coding device
JP3344579B2 (en) Audio coding method
JP3344583B2 (en) Audio encoding method and audio decoding method
JP3344580B2 (en) Audio encoding method and audio decoding method
JP3344581B2 (en) Audio coding device
JP3344582B2 (en) Audio coding method
JP3606458B2 (en) Audio signal transmission method and audio decoding method
JP4367455B2 (en) Audio signal transmission method and audio signal decoding method
JP3864985B2 (en) Speech encoding method and speech decoding method
JP3865253B2 (en) Speech encoding method and speech decoding method
JP3856328B2 (en) Speech encoding method and speech decoding method
JP3856334B2 (en) Speech encoding method and speech decoding method
JP3856330B2 (en) Speech encoding method and speech decoding method
JP3864984B2 (en) Speech encoding method and speech decoding method
JP3856332B2 (en) Speech encoding method and speech decoding method
JP3865255B2 (en) Speech encoding method and speech decoding method
JP3865258B2 (en) Speech encoding method and speech decoding method
JP3856329B2 (en) Speech encoding method and speech decoding method
JP2006011472A (en) Voice encoding method and voice decoding method
JP2002006894A (en) Sound signal transmission method
JP2006053553A (en) Voice coding method and voice decoding method
JP2001195092A (en) Voice coding device
JP2001188565A (en) Optical recording medium, voice signal transmission method, and voice decoding method

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R151 Written notification of patent or utility model registration

Ref document number: 3344579

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080830

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080830

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090830

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090830

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100830

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100830

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110830

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110830

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20200830

Year of fee payment: 18

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20200830

Year of fee payment: 18

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term