JP4835647B2 - Speech encoding method and speech decoding method - Google Patents

Speech encoding method and speech decoding method Download PDF

Info

Publication number
JP4835647B2
JP4835647B2 JP2008129281A JP2008129281A JP4835647B2 JP 4835647 B2 JP4835647 B2 JP 4835647B2 JP 2008129281 A JP2008129281 A JP 2008129281A JP 2008129281 A JP2008129281 A JP 2008129281A JP 4835647 B2 JP4835647 B2 JP 4835647B2
Authority
JP
Japan
Prior art keywords
prediction
data
signal
subpacket
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008129281A
Other languages
Japanese (ja)
Other versions
JP2008268965A (en
Inventor
徳彦 渕上
昭治 植野
美昭 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2008129281A priority Critical patent/JP4835647B2/en
Publication of JP2008268965A publication Critical patent/JP2008268965A/en
Application granted granted Critical
Publication of JP4835647B2 publication Critical patent/JP4835647B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、音声信号を予測符号化して圧縮するための音声符号化方法及び音声復号方法
に関する。
The present invention relates to a speech encoding method and speech decoding method for predictively encoding and compressing speech signals.

音声信号を予測符号化する方法として、本発明者は先の出願(特願平9−289159
号)において1チャネル(チャンネル)の原デジタル音声信号に対して、特性が異なる複
数の予測器により時間領域における過去の信号から現在の信号の複数の線形予測値を算出
し、原デジタル音声信号と、この複数の線形予測値から予測器毎の予測残差を算出し、こ
の複数の予測残差の最小値を選択する方法を提案している。
As a method for predictive coding of a speech signal, the present inventor has disclosed an earlier application (Japanese Patent Application No. 9-289159
), A plurality of linear prediction values of the current signal are calculated from past signals in the time domain by a plurality of predictors having different characteristics with respect to the original digital audio signal of one channel (channel), A method of calculating a prediction residual for each predictor from the plurality of linear prediction values and selecting a minimum value of the plurality of prediction residuals is proposed.

しかしながら、上記方法では原デジタル音声信号がサンプリング周波数=96kHz、
量子化ビット数=20ビット程度の場合に、ある程度の圧縮効果を得ることができるが、
近年のDVDオーディオディスクではこの2倍のサンプリング周波数(=192kHz)
が使用され、また、量子化ビット数も24ビットが使用される傾向があるので、圧縮率を
改善する必要がある。また、近年のDVDオーディオディスクでは、マルチチャネルが利
用され、チャネル数が最大6となるので圧縮率を改善する必要がある。
However, in the above method, the original digital audio signal has a sampling frequency of 96 kHz,
When the number of quantization bits is about 20 bits, a certain degree of compression effect can be obtained.
In recent DVD audio discs, the sampling frequency is twice that (= 192 kHz).
Is used, and the number of quantization bits tends to be 24. Therefore, it is necessary to improve the compression rate. In recent DVD audio discs, multi-channel is used and the maximum number of channels is 6, so the compression rate needs to be improved.

そこで本発明は、音声信号を予測符号化する場合に圧縮率を改善することができる音声
符号化方法及び音声復号方法を提供することを目的とする。
Accordingly, an object of the present invention is to provide a speech encoding method and speech decoding method that can improve the compression rate when predictive encoding a speech signal.

本発明は上記目的を達成するために、以下の1)及び2)手段よりなる。
すなわち、
In order to achieve the above object, the present invention comprises the following means 1) and 2).
That is,

1)ステレオ2チャネルの音声信号を、互いに相関をとって得た複数チャネルのチャネル毎に、入力される音声信号に応答して先頭サンプル値を所定時間のフレーム単位で得ると共に、予測係数が異なる複数の予測部により時間領域の過去から現在の信号の線形予測値がそれぞれ予測され、その予測される線形予測値と前記音声信号とから得られる予測残差が最小となるような線形予測値を得る予測部を、前記フレームを更に分割したサブフレーム単位に選択して予測符号化するステップと、
SCR情報を含むパックヘッダと、圧縮PCMアクセスユニットを含むユーザデータと、を含んだデータ構造にすると共に、前記圧縮PCMアクセスユニットは前記フレーム中に複数設けられ、前記選択された各チャネルの予測部を示す予測部選択情報と予測残差とを含む予測符号化データを、前記圧縮PCMアクセスユニット内に配置されるサブパケットに格納し、前記圧縮PCMアクセスユニットが前記フレーム中の先頭のものである場合には、さらに、前記サブパケットにリスタートヘッダを設けると共に前記先頭サンプル値を収納し、また、さらに前記サブパケット内のデータが可変ビットレート圧縮された圧縮データであることを示すVBR識別子と、再生側において元のアナログ音声信号に復元される際に用いられるサンプリング周波数及び量子化ビット数とを含む同期情報部を設けるステップと、
からなる音声符号化方法。
2)請求項1記載の音声符号化方法により符号化されたデータから元の音声信号を復号する音声復号方法であって、
前記ヘッダに含まれるSCR情報を分離するステップと、
前記ユーザデータからサブパケットを抽出するステップと、
前記分離されたSCR情報に基づいて前記サブパケットを保持するステップと、
前記同期情報部からVBR識別子を抽出するステップと、
前記抽出された識別子に基づいて前記リスタートヘッダを有するサブパケットから前記先頭サンプル値を取り出すと共に、前記各サブパケットから予測残差と予測部を示す予測部選択情報とを含むサブフレーム単位の予測符号化データを取り出すステップと、
前記先頭サンプル値と前記予測残差および前記予測部選択情報により選択される予測部とに基づいて予測値を算出するステップと、
この算出された予測値から前記ステレオ2チャネルの音声信号を復元するステップと、
前記復元されたステレオ2チャネルの音声データを前記同期情報部内のサンプリング周波数及び量子化ビット数に基づいてアナログ音声信号に変換するステップと、
からなる音声復号方法。
1) For each of a plurality of channels obtained by correlating a stereo 2-channel audio signal with each other, a head sample value is obtained in units of frames for a predetermined time in response to the input audio signal, and prediction coefficients are different. Linear prediction values of the current signal are predicted from the past in the time domain by a plurality of prediction units, and a linear prediction value that minimizes a prediction residual obtained from the predicted linear prediction value and the speech signal is obtained. Selecting a prediction unit to obtain and predictively encoding the frame into subframe units obtained by further dividing the frame;
A data structure including a pack header including SCR information and user data including a compressed PCM access unit, and a plurality of the compressed PCM access units are provided in the frame, and a prediction unit of each selected channel Predictive encoded data including prediction portion selection information indicating a prediction residual and a prediction residual is stored in a subpacket arranged in the compressed PCM access unit, and the compressed PCM access unit is the first one in the frame In this case, a restart header is provided in the subpacket, the head sample value is stored, and a VBR identifier indicating that the data in the subpacket is compressed data with variable bit rate compression; The sampler used when the playback side restores the original analog audio signal Comprising: providing synchronization information section including the frequency and number of quantization bits,
A speech encoding method comprising:
2) A speech decoding method for decoding an original speech signal from data encoded by the speech encoding method according to claim 1,
Separating SCR information contained in the header;
Extracting a subpacket from the user data;
Holding the subpacket based on the separated SCR information;
Extracting a VBR identifier from the synchronization information portion;
Based on the extracted identifier, the head sample value is extracted from the subpacket having the restart header, and prediction in subframe units including a prediction residual and prediction unit selection information indicating a prediction unit from each subpacket Retrieving encoded data; and
Calculating a prediction value based on the leading sample value and the prediction residual selected by the prediction residual and the prediction portion selection information;
Restoring the stereo 2-channel audio signal from the calculated predicted value;
Converting the restored stereo 2-channel audio data into an analog audio signal based on the sampling frequency and the number of quantization bits in the synchronization information section;
A speech decoding method comprising:

以上説明したように本発明によれば、従来以上に圧縮率を改善した音声の符号化ができ
ると共に、不都合なく音声信号を復号できる。
As described above, according to the present invention, it is possible to encode a voice with a compression rate improved more than before and to decode a voice signal without any inconvenience.

以下、図面を参照して本発明の実施の形態を説明する。図1は本発明が適用される音声
符号化装置とそれに対応した音声復号装置の第1の実施形態を示すブロック図、図2は図
1のエンコーダを詳しく示すブロック図、図3は図2のマルチプレクサにより多重化され
る1フレームのフォーマットを示す説明図、図4はDVDのパックのフォーマットを示す
説明図、図5はDVDのオーディオパックのフォーマットを示す説明図、図6は図1のデ
コーダを詳しく示すブロック図である。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a first embodiment of a speech encoding apparatus to which the present invention is applied and a speech decoding apparatus corresponding to the speech encoding apparatus, FIG. 2 is a block diagram showing in detail the encoder of FIG. 1, and FIG. FIG. 4 is a diagram illustrating the format of a DVD pack, FIG. 5 is a diagram illustrating the format of a DVD audio pack, and FIG. 6 is a diagram illustrating the decoder of FIG. It is a block diagram shown in detail.

図1に示すチャネル相関回路Aは加算回路1aと減算回路1bを有する。加算回路1a
は各チャネル(以下、ch)が例えばサンプリング周波数=192kHz、量子化ビット数
=24ビットのステレオ2ch信号L、Rの和信号(L+R)を算出して和ch用1chロスレ
ス・エンコーダ2D1に出力し、減算回路1bは差信号(L−R)を算出して差ch用1ch
ロスレス・エンコーダ2D2に出力する。エンコーダ2D1、2D2は図2に詳しく示す
ように、それぞれ和信号(L+R)、差信号(L−R)の差分Δ(L+R)、Δ(L−R
)を予測符号化して記録媒体や通信媒体を介して伝送する。
The channel correlation circuit A shown in FIG. 1 has an addition circuit 1a and a subtraction circuit 1b. Adder circuit 1a
Calculates the sum signal (L + R) of stereo 2ch signals L and R for each channel (hereinafter referred to as ch), for example, sampling frequency = 192 kHz and quantization bit rate = 24 bits, and outputs the sum signal to the 1ch lossless encoder 2D1 for sum ch The subtraction circuit 1b calculates a difference signal (LR) and calculates 1ch for the difference channel.
Output to the lossless encoder 2D2. As shown in detail in FIG. 2, the encoders 2D1 and 2D2 are the difference Δ (L + R) and Δ (LR) of the sum signal (L + R) and the difference signal (LR), respectively.
) Is predictively encoded and transmitted via a recording medium or a communication medium.

そして、復号側では、図6に詳しく示すようにデコーダ3D1、3D2がそれぞれ各ch
の予測符号化データを和信号(L+R)、差信号(L−R)に復号し、次いでチャネル相
関回路Bがこの和信号(L+R)、差信号(L−R)をステレオ2ch信号L、Rに復元す
る。
On the decoding side, as shown in detail in FIG. 6, each of the decoders 3D1, 3D2
Is decoded into a sum signal (L + R) and a difference signal (LR), and then the channel correlation circuit B converts the sum signal (L + R) and the difference signal (LR) into the stereo 2ch signals L and R. Restore to.

図2を参照してエンコーダ2D1、2D2について詳しく説明する。和信号(L+R)
と差信号(L−R)は1フレーム毎に1フレームバッファ10に格納される。そして、1
フレームの各サンプル値(L+R)、(L−R)がそれぞれ差分演算回路11D1、11
D2に印加され、今回と前回の差分Δ(L+R)、Δ(L−R)、すなわち差分PCM(
DPCM)データが算出される。また、各フレームの先頭サンプル値(L+R)、(L−
R)がマルチプレクサ19に印加される。
The encoders 2D1 and 2D2 will be described in detail with reference to FIG. Sum signal (L + R)
The difference signal (L-R) is stored in one frame buffer 10 for each frame. And 1
The sample values (L + R) and (LR) of the frame are the difference calculation circuits 11D1 and 11D, respectively.
D2 is applied to the difference Δ (L + R), Δ (LR) between the current time and the previous time, that is, the difference PCM (
DPCM) data is calculated. Also, the first sample value (L + R), (L−) of each frame
R) is applied to the multiplexer 19.

差分演算回路11D1により算出された差分Δ(L+R)は、予測係数が異なる複数の
予測器12a−1〜12a−nと減算器13a−1〜13a−nに印加される。そして、
予測器12a−1〜12a−nではそれぞれ各予測係数に基づいて差分Δ(L+R)の各
予測値が算出され、減算器13a−1〜13b−nではそれぞれこの各予測値と差分Δ(
L+R)の各予測残差が算出される。バッファ・選択器16D1はこの複数の予測残差を
一時記憶して、選択信号生成器17により指定されたサブフレーム毎に最小の予測残差を
選択し、パッキング回路18に出力する。なお、このサブフレームはフレームの数十分の
1程度のサンプル長であり、一例として1フレームを80サブフレームとする。ここで、
予測器12a−1〜12a−nと減算器13a−1〜13a−nは和信号chの予測回路1
5D1を構成し、また、この予測回路15D1とバッファ・選択器16D1は和信号chの
予測符号化回路を構成している。
The difference Δ (L + R) calculated by the difference calculation circuit 11D1 is applied to a plurality of predictors 12a-1 to 12a-n and subtractors 13a-1 to 13a-n having different prediction coefficients. And
Each of the predictors 12a-1 to 12a-n calculates each prediction value of the difference Δ (L + R) based on each prediction coefficient, and each of the subtractors 13a-1 to 13b-n respectively calculates each prediction value and the difference Δ (
L + R) prediction residuals are calculated. The buffer / selector 16 </ b> D <b> 1 temporarily stores the plurality of prediction residuals, selects the minimum prediction residual for each subframe specified by the selection signal generator 17, and outputs the selected prediction residual to the packing circuit 18. Note that this subframe has a sample length of about one tens of frames, and one frame is 80 subframes as an example. here,
The predictors 12a-1 to 12a-n and the subtractors 13a-1 to 13a-n are prediction circuits 1 for the sum signal ch.
The prediction circuit 15D1 and the buffer / selector 16D1 form a prediction encoding circuit for the sum signal ch.

同様に、差分演算回路11D2により算出された差分Δ(L−R)は、予測係数が異な
る複数の予測器12b−1〜12b−nと減算器13b−1〜13b−nに印加される。
そして、予測器12b−1〜12b−nではそれぞれ各予測係数に基づいて差分Δ(L−
R)の各予測値が算出され、減算器13b−1〜13b−nではそれぞれこの各予測値と
差分Δ(L−R)の各予測残差が算出される。バッファ・選択器16D2はこの複数の予
測残差を一時記憶して、選択信号生成器17により指定されたサブフレーム毎に最小の予
測残差を選択し、パッキング回路18に出力する。予測器12b−1〜12b−nと減算
器13b−1〜13b−nは差信号chの予測回路15D2を構成し、また、この予測回路
15D2とバッファ・選択器16D2は差信号chの予測符号化回路を構成している。
Similarly, the difference Δ (LR) calculated by the difference calculation circuit 11D2 is applied to a plurality of predictors 12b-1 to 12b-n and subtractors 13b-1 to 13b-n having different prediction coefficients.
In the predictors 12b-1 to 12b-n, the difference Δ (L−
R) predicted values are calculated, and the subtracters 13b-1 to 13b-n respectively calculate the predicted residuals of the respective predicted values and the difference Δ (LR). The buffer / selector 16D2 temporarily stores the plurality of prediction residuals, selects the minimum prediction residual for each subframe specified by the selection signal generator 17, and outputs it to the packing circuit 18. The predictors 12b-1 to 12b-n and the subtractors 13b-1 to 13b-n constitute a difference signal ch prediction circuit 15D2, and the prediction circuit 15D2 and the buffer / selector 16D2 are prediction codes for the difference signal ch. Circuit.

選択信号生成器17は予測残差のビット数フラグ(5ビット)をパッキング回路18と
マルチプレクサ19に対して印加し、また、予測残差が最小の予測器を示す予測器選択フ
ラグ(その数nが2〜9個として3ビット)をマルチプレクサ19に対して印加する。パ
ッキング回路18はバッファ・選択器16D1、16D2により選択された2ch分の予測
残差を、選択信号生成器17により指定されたビット数フラグに基づいて指定ビット数で
パッキングする。
The selection signal generator 17 applies a prediction residual bit number flag (5 bits) to the packing circuit 18 and the multiplexer 19, and also predictor selection flags (the number n) indicating the predictor having the smallest prediction residual. 2 to 9 and 3 bits) is applied to the multiplexer 19. The packing circuit 18 packs the prediction residuals for 2ch selected by the buffers / selectors 16D1 and 16D2 with the designated number of bits based on the bit number flag designated by the selection signal generator 17.

続くマルチプレクサ19は図3に示すように1フレーム分に対して
・フレームヘッダ(40ビット)と、
・和信号ch(L+R)の1フレームの先頭サンプル値(25ビット)と、
・差信号ch(L−R)の1フレームの先頭サンプル値(25ビット)と、
・和信号ch(L+R)のサブフレーム毎の予測器選択フラグ(3ビット×80)と、
・差信号ch(L−R)のサブフレーム毎の予測器選択フラグ(3ビット×80)と、
・和信号ch(L+R)のサブフレーム毎のビット数フラグ(5ビット×80)と、
・差信号ch(L−R)のサブフレーム毎のビット数フラグ(5ビット×80)と、
・和信号ch(L+R)の予測残差データ列(可変ビット数)と、
・差信号ch(L−R)の予測残差データ列(可変ビット数)とを
アクセスユニットとして多重化し、可変レートビットストリームとして出力する。上記
予測残差データ列はサブパケットを構成する。このような予測符号化によれば、原信号が
例えばサンプリング周波数=192kHz、量子化ビット数=24ビット、2チャネルの
場合、59%の圧縮率を実現することができる。
The succeeding multiplexer 19 has a frame header (40 bits) for one frame as shown in FIG.
The first sample value (25 bits) of one frame of the sum signal ch (L + R),
The first sample value (25 bits) of one frame of the difference signal ch (LR),
A predictor selection flag (3 bits × 80) for each subframe of the sum signal ch (L + R);
A predictor selection flag (3 bits × 80) for each subframe of the difference signal ch (LR);
A bit number flag (5 bits × 80) for each subframe of the sum signal ch (L + R);
A bit number flag (5 bits × 80) for each subframe of the difference signal ch (LR);
A prediction residual data string (number of variable bits) of the sum signal ch (L + R);
-The prediction residual data string (number of variable bits) of the difference signal ch (LR) is multiplexed as an access unit and output as a variable rate bit stream. The prediction residual data string constitutes a subpacket. According to such predictive coding, when the original signal is, for example, sampling frequency = 192 kHz, the number of quantization bits = 24 bits, and 2 channels, a compression rate of 59% can be realized.

また、この可変レートビットストリームデータをDVDオーディオディスクに記録する
場合には、図4に示す圧縮PCMのオーディオ(A)パックにパッキングされる。このパ
ックは2034バイトのユーザデータ(Aパケット、Vパケット)に対して4バイトのパ
ックスタート情報と、6バイトのSCR(System Clock Reference:システム時刻基準参
照値)情報と、3バイトのMux レート(rate)情報と1バイトのスタッフィングの合計1
4バイトのパックヘッダが付加されて構成されている(1パック=合計2048バイト)
。この場合、タイムスタンプであるSCR情報を、ACBユニット内の先頭パックでは「
1」として同一タイトル内で連続とすることにより同一タイトル内のAパックの時間を管
理することができる。
When this variable rate bit stream data is recorded on a DVD audio disk, it is packed into an audio (A) pack of compressed PCM shown in FIG. This pack consists of 2034 bytes of user data (A packet, V packet), 4 bytes of pack start information, 6 bytes of SCR (System Clock Reference) information, and 3 bytes of Mux rate ( rate) Information plus 1 byte of stuffing 1
4-byte pack header is added (1 pack = 2048 bytes in total)
. In this case, the SCR information as a time stamp is changed to “
By setting “1” as continuous within the same title, the time of the A pack in the same title can be managed.

圧縮PCMのAパケットは図5に詳しく示すように、17、9又は14バイトのパケッ
トヘッダと、プライベートヘッダと、図3に示すフォーマットの1ないし2015バイト
のオーディオ圧縮PCMデータにより構成されている。圧縮PCMのプライベートヘッダ
は、
・1バイトのサブストリームIDと、
・2バイトのUPC/EAN−ISRC(Universal Product Code/European Article Nu
mber-International Standard Recording Code)番号、及びUPC/EAN−ISRCデ
ータと、
・1バイトのプライベートヘッダ長と、
・2バイトの第1アクセスユニットポインタと、
・4バイトのオーディオデータ情報(ADI)と、
・0〜7バイトのスタッフィングバイトとに、
より構成されている。
このように圧縮PCMのAパケットのADIは、4バイトに選定され、通常の非圧縮の
PCMのAパケットのADIよりも4バイトだけ短くされている。したがってオーディオ
データは4バイト分増加させることができる。
As shown in detail in FIG. 5, the compressed PCM A packet is composed of a 17, 9 or 14 byte packet header, a private header, and audio compressed PCM data of 1 to 2015 bytes in the format shown in FIG. The compressed PCM private header is
A 1-byte substream ID,
・ 2-byte UPC / EAN-ISRC (Universal Product Code / European Article Nu
mber-International Standard Recording Code) number and UPC / EAN-ISRC data,
-1 byte private header length,
A 2-byte first access unit pointer;
-4 bytes of audio data information (ADI),
・ With stuffing byte of 0-7 bytes,
It is made up of.
Thus, the ADI of the compressed PCM A packet is selected to be 4 bytes, which is 4 bytes shorter than the ADI of the normal uncompressed PCM A packet. Therefore, the audio data can be increased by 4 bytes.

次に図6を参照してデコーダ3D1、3D2について説明する。図3に示したフォーマ
ットの可変レートビットストリームデータは、デマルチプレクサ21によりフレームヘッ
ダに基づいて分離される。そして、和信号ch(L+R)及び差信号ch(L−R)の1
フレームの先頭サンプル値はそれぞれ累積演算回路25a、25bに印加され、和信号c
h(L+R)及び差信号ch(L−R)の予測器選択フラグはそれぞれ予測器(24a−
1〜24a−n)、(24b−1〜24b−n)の各選択信号として印加され、和信号c
h(L+R)及び差信号ch(L−R)のビット数フラグと予測残差データ列はアンパッ
キング回路22に印加される。ここで、予測器(24a−1〜24a−n)、(24b−
1〜24b−n)はそれぞれ、符号化側の予測器(12a−1〜12a−n)、(12b
−1〜12b−n)と同一の特性であり、予測器選択フラグにより同一特性のも
のが選択される。
Next, the decoders 3D1 and 3D2 will be described with reference to FIG. The variable rate bit stream data in the format shown in FIG. 3 is separated by the demultiplexer 21 based on the frame header. Then, 1 of the sum signal ch (L + R) and the difference signal ch (LR).
The first sample value of the frame is applied to the cumulative calculation circuits 25a and 25b, respectively, and the sum signal c
The predictor selection flags of h (L + R) and difference signal ch (LR) are predictors (24a-
1-24a-n) and (24b-1-24b-n) are applied as selection signals, and the sum signal c
The bit number flag of h (L + R) and the difference signal ch (LR) and the prediction residual data string are applied to the unpacking circuit 22. Here, the predictors (24a-1 to 24a-n), (24b-
1 to 24b-n) are predictors (12a-1 to 12a-n) and (12b) on the encoding side, respectively.
-1 to 12b-n), and the same characteristic is selected by the predictor selection flag.

アンパッキング回路22は和信号ch(L+R)及び差信号ch(L−R)の予測残差
データ列をビット数フラグ毎に基づいて分離してそれぞれ加算回路23a、23bに出力
する。加算回路23a、23bではそれぞれ、アンパッキング回路22からの和信号ch
(L+R)及び差信号ch(L−R)の今回の予測残差データと、予測器(24a−1〜
24a−n)、(24b−1〜24b−n)の内、予測器選択フラグにより選択された各
1つにより予測された前回の予測値が加算されて今回の予測値が算出される。この今回の
予測値は、図2に示す差分回路11a、11bによりそれぞれ算出された差分Δ(L+R
)、Δ(L−R)すなわちDPCMデータであり、予測器(24a−1〜24a−n)、
(24b−1〜24b−n)と累積演算回路25a、25bに印加される。
The unpacking circuit 22 separates the prediction residual data strings of the sum signal ch (L + R) and the difference signal ch (LR) based on each bit number flag, and outputs them to the adder circuits 23a and 23b, respectively. In the addition circuits 23a and 23b, the sum signal ch from the unpacking circuit 22 is obtained.
(L + R) and the current prediction residual data of the difference signal ch (LR) and the predictors (24a-1 to 24a-1).
24a-n) and (24b-1 to 24b-n), the previous predicted value predicted by each one selected by the predictor selection flag is added to calculate the current predicted value. This predicted value is obtained by calculating the difference Δ (L + R) calculated by the difference circuits 11a and 11b shown in FIG.
), Δ (LR), that is, DPCM data, and predictors (24a-1 to 24a-n),
(24b-1 to 24b-n) and the cumulative calculation circuits 25a and 25b.

累積演算回路25a、25bはそれぞれ、1フレームの先頭サンプル値に対して差分Δ
(L+R)、Δ(L−R)をサンプル毎に累積加算して和信号ch(L+R)、差信号c
h(L−R)の各PCMデータを出力する。この和信号(L+R)、差信号(L−R)は
図1に示すように加算回路4aにより2L信号が算出されるとともに、減算回路4bによ
り2R信号が算出される。そして、2L信号と2R信号がそれぞれ割り算器5a、5bに
より1/2に割り算され、元のステレオ2チャネル信号L、Rが復元される。
Each of the cumulative calculation circuits 25a and 25b has a difference Δ with respect to the first sample value of one frame.
(L + R) and Δ (LR) are cumulatively added for each sample to obtain a sum signal ch (L + R) and a difference signal c
Each PCM data of h (LR) is output. As for the sum signal (L + R) and the difference signal (LR), a 2L signal is calculated by the adder circuit 4a and a 2R signal is calculated by the subtractor circuit 4b as shown in FIG. Then, the 2L signal and the 2R signal are respectively divided by 1/2 by the dividers 5a and 5b, and the original stereo two-channel signals L and R are restored.

次に図7、図8を参照して第2の実施形態について説明する。上記の実施形態では、和
信号(L+R)、差信号(L−R)の各差分Δ(L+R)、Δ(L−R)、すなわちDP
CMデータのみを予測符号化するように構成されているが、この第2の実施形態では和信
号(L+R)、差信号(L−R)すなわちPCMデータ、又はその各差分Δ(L+R)、
Δ(L−R)すなわちDPCMデータを選択的に予測符号化するように構成されている。
Next, a second embodiment will be described with reference to FIGS. In the above embodiment, the differences Δ (L + R) and Δ (LR) between the sum signal (L + R) and the difference signal (LR), that is, DP
Although it is configured to predictively encode only CM data, in the second embodiment, a sum signal (L + R), a difference signal (LR), that is, PCM data, or each difference Δ (L + R),
Δ (LR), that is, DPCM data is selectively predictively encoded.

このため図7に示す符号化装置では、図2に示す構成に対して和信号(L+R)、差信
号(L−R)をそれぞれ予測符号化するための予測回路15A、15Sとバッファ・選択
器16A、16Sが追加されている。また、選択信号生成器17はバッファ・選択器16
A、16Sによりそれぞれ選択された和信号(L+R)、差信号(L−R)と、バッファ
・選択器16D1、16D2によりそれぞれ選択された差分Δ(L+R)、Δ(L−R)
の各予測残差の最小値に基づいて、
PCMデータとDPCMデータのどちらが圧縮率が高いか否かを判断し、高い方のデータ
を選択する。このとき、そのPCM/DPCMの選択フラグ(予測回路選択フラグ)を追
加して多重化する。
Therefore, in the encoding device shown in FIG. 7, prediction circuits 15A and 15S and a buffer / selector for predictively encoding the sum signal (L + R) and the difference signal (LR) with respect to the configuration shown in FIG. 16A and 16S are added. The selection signal generator 17 is a buffer / selector 16.
The sum signal (L + R) and difference signal (LR) selected by A and 16S, respectively, and the differences Δ (L + R) and Δ (LR) selected by the buffer / selectors 16D1 and 16D2, respectively.
Based on the minimum of each prediction residual for
It is determined whether the PCM data or the DPCM data has a higher compression rate, and the higher data is selected. At this time, the PCM / DPCM selection flag (prediction circuit selection flag) is added and multiplexed.

ここで、図7に示す和信号(L+R)の予測回路15Aと差分Δ(L+R)の予測回路
15D1が同一の構成であり、また、差信号(L−R)の予測回路15Sと差分Δ(L−
R)の予測回路15D2が同一の構成である場合、復号装置では図8に示すようにPCM
データとDPCMデータの両方の予測回路を設ける必要はなく、1つのデータ分の予測回
路でよい。そして、符号化装置から伝送された予測回路選択フラグに基づいてセレクタ2
6a、26bにより、DPCMデータの場合には累積演算回路25a、25bの出力を選
択し、PCMデータの場合には加算回路23a、23bの出力を選択する。
Here, the prediction circuit 15A for the sum signal (L + R) and the prediction circuit 15D1 for the difference Δ (L + R) shown in FIG. 7 have the same configuration, and the difference Δ (L−R) is different from the prediction circuit 15S. L-
When the prediction circuit 15D2 of R) has the same configuration, the decoding device uses PCM as shown in FIG.
It is not necessary to provide a prediction circuit for both data and DPCM data, and a prediction circuit for one data is sufficient. Based on the prediction circuit selection flag transmitted from the encoding device, the selector 2
6a and 26b select the output of the cumulative arithmetic circuits 25a and 25b in the case of DPCM data, and select the output of the adder circuits 23a and 23b in the case of PCM data.

第3の実施形態では図9に示すように、原信号L、R(PCMデータ)と、和信号(L
+R)、差信号(L−R)(PCMデータ)と、その各差分Δ(L+R)、Δ(L−R)
(DPCMデータ)の3グループの1つを選択的に予測符号化するように構成されている
In the third embodiment, as shown in FIG. 9, the original signals L and R (PCM data) and the sum signal (L
+ R), difference signal (LR) (PCM data), and differences Δ (L + R) and Δ (LR)
One of the three groups (DPCM data) is selectively predictively encoded.

このため図9に示す符号化装置では、図7に示す構成に対して原信号L、Rをそれぞれ
予測符号化するための予測回路15L、15Rとバッファ・選択器16L、16Rが追加
されている。また、選択信号生成器17はバッファ・選択器16L、16Rにより選択さ
れた原信号L、Rと、バッファ・選択器16A、16Sにより選択された和信号(L+R
)、差信号(L−R)と、バッファ・選択器16D1、16D2により選択された各差分
Δ(L+R)、Δ(L−R)の各予測残差の最小値に基づいて圧縮率が高いグループのデ
ータを選択する。このとき、その選択フラグ(予測回路選択フラグ)を追加して多重化す
る。
For this reason, in the encoding apparatus shown in FIG. 9, prediction circuits 15L and 15R and buffer / selectors 16L and 16R for predictively encoding the original signals L and R, respectively, are added to the configuration shown in FIG. . Further, the selection signal generator 17 includes the original signals L, R selected by the buffers / selectors 16L, 16R and the sum signal (L + R) selected by the buffers / selectors 16A, 16S.
), The compression ratio is high based on the difference signal (LR) and the minimum value of the prediction residuals of the differences Δ (L + R) and Δ (LR) selected by the buffer / selectors 16D1 and 16D2. Select group data. At this time, the selection flag (prediction circuit selection flag) is added and multiplexed.

また、図9に示す3グループの予測回路が同一の構成である場合、復号装置では図10
に示すように3グループ分の予測回路を設ける必要はなく、1つのグループ分の予測回路
でよい。そして、符号化装置から伝送された予測回路選択フラグに基づいて、DPCMデ
ータの場合には累積演算回路25a、25bの出力を選択し、PCMデータの場合には加
算回路23a、23bの出力を選択してチャネル相関回路Bにより原信号L、Rを復元す
る。そして、更にセレクタ27a、27bにより原信号L、Rのグループの場合には加算
回路23a、23bの出力を選択し、他の場合にはチャネル相関回路Bの出力を選択する
Further, when the three groups of prediction circuits shown in FIG. 9 have the same configuration, the decoding apparatus shown in FIG.
It is not necessary to provide prediction circuits for three groups as shown in FIG. Based on the prediction circuit selection flag transmitted from the encoding device, the output of the cumulative arithmetic circuits 25a and 25b is selected in the case of DPCM data, and the output of the adder circuits 23a and 23b is selected in the case of PCM data. Then, the original signals L and R are restored by the channel correlation circuit B. Further, the outputs of the adder circuits 23a and 23b are selected by the selectors 27a and 27b in the case of the group of the original signals L and R, and the output of the channel correlation circuit B is selected in the other cases.

また、符号化側により予測符号化された可変レートビットストリームデータをネットワ
ークを介して伝送する場合には、符号化側では図11に示すように伝送用にパケット化し
(ステップS41)、次いでパケットヘッダを付与し(ステップS42)、次いでこのパ
ケットをネットワーク上に送り出す(ステップS43)。復号側では図12に示すように
ヘッダを除去し(ステップS51)、次いでデータを復元し(ステップS52)、次いで
このデータをメモリに格納して復号を待つ(ステップS53)。
Also, when variable rate bitstream data predictively encoded by the encoding side is transmitted via the network, the encoding side packetizes it for transmission as shown in FIG. 11 (step S41), and then packet header (Step S42), and then the packet is sent out on the network (step S43). As shown in FIG. 12, the decoding side removes the header (step S51), then restores the data (step S52), then stores this data in the memory and waits for decoding (step S53).

上記第1の実施の形態は2チャネルの場合について説明したが、2以上のマルチチャネ
ルの場合の第2の実施の形態について以下説明する。図13は、本発明の第2の実施の形
態を示すブロック図である。図13は、図1の2チャネル用の構成に対して後方の2チャ
ネルSL、SRを加えた4チャネル用として構成され、よって入力側にはチャネル相関回路
Aに加えて、同様な構成のチャネル相関回路A2が設けられている。また、出力側にもチ
ャネル相関回路Bに加えて、同様な構成のチャネル相関回路B2が設けられている。また
、ロスレス・エンコーダ2Dとロスレス・デコーダ3Dはマルチチャネル対応型として構
成されている。なお、チャネル相関回路A、A2、B、B2は、それぞれLとR、SLと
SRを組み合わせの対象としている。なお、ロスレス・エンコーダ2Dとロスレス・デコ
ーダ3Dにおける一連の動作である、差分の算出、予測値の算出、最小予測残差の選択、
最小予測残差を用いた予測値の算出などは、第1の実施の形態と同様に行われる。
Although the first embodiment has been described for the case of two channels, the second embodiment for the case of two or more multi-channels will be described below. FIG. 13 is a block diagram showing a second embodiment of the present invention. FIG. 13 is configured for four channels by adding the rear two channels SL and SR to the configuration for two channels of FIG. 1, so that in addition to the channel correlation circuit A on the input side, a channel having the same configuration A correlation circuit A2 is provided. In addition to the channel correlation circuit B, a channel correlation circuit B2 having a similar configuration is also provided on the output side. The lossless encoder 2D and the lossless decoder 3D are configured as a multi-channel compatible type. Note that the channel correlation circuits A, A2, B, and B2 are targets of combinations of L and R and SL and SR, respectively. It should be noted that a series of operations in the lossless encoder 2D and the lossless decoder 3D is a difference calculation, a prediction value calculation, a minimum prediction residual selection,
Calculation of a prediction value using the minimum prediction residual is performed in the same manner as in the first embodiment.

次に、第2の実施の形態の変形例としての第3の実施の形態について、そのブロック図
を示す図14に沿って説明する。図14は、図13の4チャネル用の構成に対して更にセ
ンタチャネルC及び低音効果チャネルLFEを加えた合計6チャネル用として構成されてい
る。ただし、センタチャネルC、後方の2チャネルSL、SR、及び低周波音効果チャネル
LFEはLとRのように相関をとることなく、直接ロスレス・エンコーダ2Dに入力され、
また直接ロスレス・デコーダ3Dから出力される。
Next, a third embodiment as a modification of the second embodiment will be described with reference to FIG. 14 showing a block diagram thereof. FIG. 14 is configured for a total of 6 channels, in which a center channel C and a bass sound effect channel LFE are further added to the configuration for 4 channels of FIG. However, the center channel C, the rear two channels SL and SR, and the low-frequency sound effect channel LFE are directly input to the lossless encoder 2D without being correlated like L and R,
Further, it is directly output from the lossless decoder 3D.

次に、第2の実施の形態及び第3の実施の形態の変形例としての第4の実施の形態につ
いて、そのブロック図を示す図15に沿って説明する。図15に示すチャネル相関回路A
−1は加算回路1aと減算回路1bを有する。加算回路1aはステレオ2ch信号L、Rの
和信号(L+R)を算出し、この和信号(L+R)を割り算器5aにより1/2に割り算
してから、ロスレス・エンコーダ2Dに出力し、減算回路1bは差信号(L−R)を算出
し、この差信号(L−R)を割り算器5bにより1/2に割り算してから、ロスレス・エ
ンコーダ2Dに出力する。
ロスレス・エンコーダ2Dは、1/2(L+R)と1/2(L−R)を用いてこれらを多
重化して多重化信号250を作る。多重化信号250はロスレス・デコーダ3Dによりデ
コードされて、元の1/2(L+R)と1/2(L−R)が得られ、これらが、チャネル
相関回路B−1を構成する加算回路4aと減算回路4bにそれぞれ与えられ、出力信号と
してステレオ2chのL信号とR信号が得られる。なお、ロスレス・エンコーダ2Dとロス
レス・デコーダ3Dにおける一連の動作である、差分の算出、予測値の算出、最小予測残
差の選択、最小予測残差を用いた予測値の算出などは、第1の実施の形態と同様に行われ
る。第4の実施の形態からわかるように、第2、第3の実施の形態におけるチャネル相関
回路A、A2はL+R及びL−Rを演算するものに限らず、1/2(L+R)、1/2(
L−R)を演算するものに置き換えることができる。この場合、ロスレス・デコーダ3D
側のチャネル相関回路B−1では1/2の演算は不要である。
Next, a fourth embodiment as a modification of the second embodiment and the third embodiment will be described with reference to FIG. 15 showing a block diagram thereof. Channel correlation circuit A shown in FIG.
−1 has an addition circuit 1a and a subtraction circuit 1b. The adder circuit 1a calculates the sum signal (L + R) of the stereo 2ch signals L and R, divides this sum signal (L + R) by ½ by the divider 5a, and then outputs the result to the lossless encoder 2D. 1b calculates a difference signal (LR), divides this difference signal (LR) by 1/2 by a divider 5b, and then outputs it to the lossless encoder 2D.
The lossless encoder 2D multiplexes these using 1/2 (L + R) and 1/2 (LR) to create a multiplexed signal 250. The multiplexed signal 250 is decoded by the lossless decoder 3D to obtain the original ½ (L + R) and ½ (LR), which are the addition circuit 4a constituting the channel correlation circuit B-1. Are supplied to the subtracting circuit 4b, and stereo 2ch L and R signals are obtained as output signals. Note that a series of operations in the lossless encoder 2D and the lossless decoder 3D includes a difference calculation, a prediction value calculation, a selection of a minimum prediction residual, a calculation of a prediction value using the minimum prediction residual, and the like. This is performed in the same manner as in the embodiment. As can be seen from the fourth embodiment, the channel correlation circuits A and A2 in the second and third embodiments are not limited to those that calculate L + R and LR, but 1/2 (L + R), 1 / 2 (
LR) can be replaced with one that calculates. In this case, lossless decoder 3D
The channel correlation circuit B-1 on the side does not require 1/2 calculation.

なお、先に図3で説明したフォーマットは1例であって、本発明における信号処理にお
いて記録あるいは伝送される信号のフォーマットは、これに限られるものでない。マルチ
チャネルの場合は、図13に対応してL、R信号に加えて、後方2チャネルSL、SRも和
信号(SL+SR)と差信号(SL−SR)の形で収納される(図16のa)。また、同様に
図14に対応してL、R信号は和信号と差信号の形で収納され、これに加えて、センター
チャネルC、後方2チャネルSL、SR、低周波効果チャネルLFEは、そのまま、すなわち
和信号や差信号の形をとることなく収納される(図16のb)。
Note that the format described above with reference to FIG. 3 is an example, and the format of a signal recorded or transmitted in the signal processing in the present invention is not limited to this. In the case of multi-channel, in addition to the L and R signals corresponding to FIG. 13, the rear two channels SL and SR are also stored in the form of a sum signal (SL + SR) and a difference signal (SL-SR) (FIG. 16). a). Similarly, corresponding to FIG. 14, the L and R signals are stored in the form of a sum signal and a difference signal. In addition to this, the center channel C, the rear two channels SL and SR, and the low frequency effect channel LFE remain as they are. That is, they are stored without taking the form of a sum signal or a difference signal (b in FIG. 16).

図17は、図16に示すようなマルチチャネルの信号を図4のAパックのユーザデータ
のパケットとするときのフォーマットを示す図である。ビットストリームBS0には、和
信号(L+R)と差信号(L−R)が収納され、また他のビットストリームBS1には、
図16のaに対応する場合は、和信号(SL+SR)と差信号の(SL−SR)が、一方図1
6のbに対応する場合は、センターチャネルC、後方2チャネルSL、SR、低周波効果チ
ャネルLFEが、そのまま収納される。
FIG. 17 is a diagram showing a format when a multi-channel signal as shown in FIG. 16 is used as a packet of user data of the A pack in FIG. The bit stream BS0 contains a sum signal (L + R) and a difference signal (LR), and the other bit stream BS1 contains
In the case corresponding to FIG. 16a, the sum signal (SL + SR) and the difference signal (SL-SR) are shown in FIG.
In the case of 6 b, the center channel C, the rear two channels SL and SR, and the low frequency effect channel LFE are stored as they are.

図5に示す圧縮PCM(PPCM)のオーディオ(A)パケットの図3と異なる態様を
図18に示す。この異なる態様では、圧縮PCM(PPCM)のオーディオ(A)パケッ
トにおけるオーディオデータエリアは、図18に示すように複数のPPCMアクセスユニ
ットにより構成され、PPCMアクセスユニットはPPCMシンク情報とサブパケットに
より構成されている。最初のPPCMアクセスユニット内のサブパケットは、ディレクト
リと、ビットストリームBS0と、CRCと、ビットストリームBS1と、CRCとエク
ストラ情報により構成され、ビットストリームBS0,BS1はPPCMブロックのみに
より構成されている。2番目以降のPPCMアクセスユニット内のサブパケットは、ディ
レクトリを除いてビットストリームBS0と、CRCと、ビットストリームBS1、CR
Cとエクストラ情報により構成され、フレーム先頭のビットストリームBS0及びBS1
はリスタートヘッダとPPCMブロックにより構成されている。フレーム先頭のPPCM
ブロックにフレーム先頭サンプル値を配する。
FIG. 18 shows an aspect different from FIG. 3 of the audio (A) packet of the compressed PCM (PPCM) shown in FIG. In this different aspect, the audio data area in the compressed PCM (PPCM) audio (A) packet is composed of a plurality of PPCM access units as shown in FIG. 18, and the PPCM access unit is composed of PPCM sync information and subpackets. ing. A subpacket in the first PPCM access unit is composed of a directory, a bit stream BS0, a CRC, a bit stream BS1, a CRC and extra information, and the bit streams BS0 and BS1 are composed only of PPCM blocks. Sub-packets in the second and subsequent PPCM access units, except for the directory, are bitstream BS0, CRC, bitstream BS1, CR
C and extra information, bit stream BS0 and BS1 at the head of the frame
Consists of a restart header and a PPCM block. PPCM at the beginning of the frame
Place the frame start sample value in the block.

PPCMシンク情報(以下、同期情報ともいう)は次の情報を含む。
・1パケット当たりのサンプル数:サンプリング周波数fsに応じて40、80又は60
が選択される。
・データレート:VBRの場合には「0」(サブパケット内のデータが圧縮データである
ことを示す識別子)
・サンプリング周波数fs及び量子化ビット数Qb
・チャネル割り当て情報
ここで、リスタートヘッダはフレーム毎にチャネル相関回路Aが加算回路と減算回路で
構成されることを明記した情報を有している。これらのオーディオデータは図13と図1
4においてデマルチプレクサ21以下の構成からなるロスレス・デコーダ3D(図8)に
より元のマルチチャネルオーディオ信号に復号される。図18に示したフォーマットの可
変レートビットストリームデータは、図1のチャネル相関回路を用いたか、図15のチャ
ネル相関回路を用いたかを、例えばPPCMアクセスユニットのリスタートヘッダに格納
した識別子(図示せず)で識別するようにしているので、いずれであってもデコーダは確
実にデコードできる。なお、フレーム毎のロスレス圧縮を例に説明したが、固定の長さに
限らず区間は可変の長さであってもよい。
The PPCM sync information (hereinafter also referred to as synchronization information) includes the following information.
-Number of samples per packet: 40, 80 or 60 depending on the sampling frequency fs
Is selected.
Data rate: “0” in the case of VBR (an identifier indicating that the data in the subpacket is compressed data)
-Sampling frequency fs and number of quantization bits Qb
Channel assignment information Here, the restart header has information specifying that the channel correlation circuit A is composed of an addition circuit and a subtraction circuit for each frame. These audio data are shown in FIG. 13 and FIG.
4 is decoded into an original multi-channel audio signal by a lossless decoder 3D (FIG. 8) having a configuration below the demultiplexer 21. The variable rate bit stream data in the format shown in FIG. 18 indicates whether the channel correlation circuit of FIG. 1 or the channel correlation circuit of FIG. 15 was used, for example, an identifier (not shown) stored in the restart header of the PPCM access unit. In any case, the decoder can be surely decoded. In addition, although the lossless compression for every frame was demonstrated to the example, it is not restricted to fixed length, A section may be variable length.

本発明が適用される音声符号化装置とそれに対応した音声復号装置の第1の実施形態を示すブロック図である。It is a block diagram which shows 1st Embodiment of the audio | voice coding apparatus with which this invention is applied, and the audio | voice decoding apparatus corresponding to it. 図1のエンコーダを詳しく示すブロック図である。It is a block diagram which shows the encoder of FIG. 1 in detail. 図2のマルチプレクサにより多重化される1フレームのフォーマットを示す説明図である。It is explanatory drawing which shows the format of 1 frame multiplexed by the multiplexer of FIG. DVDのパックのフォーマットを示す説明図である。It is explanatory drawing which shows the format of the pack of DVD. DVDのオーディオパックのフォーマットを示す説明図である。It is explanatory drawing which shows the format of the audio pack of DVD. 図1のデコーダを詳しく示すブロック図である。It is a block diagram which shows the decoder of FIG. 1 in detail. 第2の実施形態のエンコーダを示すブロック図である。It is a block diagram which shows the encoder of 2nd Embodiment. 第2の実施形態のデコーダを示すブロック図である。It is a block diagram which shows the decoder of 2nd Embodiment. 第3の実施形態のエンコーダを示すブロック図である。It is a block diagram which shows the encoder of 3rd Embodiment. 第3の実施形態のデコーダを示すブロック図である。It is a block diagram which shows the decoder of 3rd Embodiment. 音声伝送方法を示すフローチャートである。It is a flowchart which shows the audio | voice transmission method. 音声伝送方法を示すフローチャートである。It is a flowchart which shows the audio | voice transmission method. 本発明が適用される音声符号化装置とそれに対応した音声復号装置の第2の実施形態を示すブロック図である。It is a block diagram which shows 2nd Embodiment of the audio | voice encoding apparatus with which this invention is applied, and the audio | voice decoding apparatus corresponding to it. 本発明が適用される音声符号化装置とそれに対応した音声復号装置の第3の実施形態を示すブロック図である。It is a block diagram which shows 3rd Embodiment of the audio | voice encoding apparatus with which this invention is applied, and the audio | voice decoding apparatus corresponding to it. 本発明が適用される音声符号化装置とそれに対応した音声復号装置の第4の実施形態を示すブロック図である。It is a block diagram which shows 4th Embodiment of the audio | voice encoding apparatus with which this invention is applied, and the audio | voice decoding apparatus corresponding to it. 本発明における信号処理において記録あるいは伝送されるマルチチャネル信号のフォーマットの例を示す図である。It is a figure which shows the example of the format of the multichannel signal recorded or transmitted in the signal processing in this invention. マルチチャネルの信号を図4のAパックのユーザデータのパケットとするときのフォーマットを示す図である。FIG. 5 is a diagram showing a format when a multi-channel signal is used as a packet of user data of A pack of FIG. 図5に示す圧縮PCM(PPCM)のオーディオ(A)パケットの図3と異なる態様を示すフォーマット説明図である。FIG. 6 is a format explanatory diagram showing a mode different from FIG. 3 of the audio (A) packet of the compressed PCM (PPCM) shown in FIG. 5.

符号の説明Explanation of symbols

1a、4a 加算回路(加算手段)
1b、4b 減算回路(減算手段)
5a、5b 割り算器
11D1 差分演算回路(第1の差分演算手段)
11D2 差分演算回路(第2の差分演算手段)
12a−1〜12a−n 予測器(減算器13a−1〜13a−n、バッファ
・選択器16D1と共に第1の予測符号化手段を構成する。)
12b−1〜12b−n 予測器(減算器13b−1〜13b−n、バッファ
・選択器16D2と共に第2の予測符号化手段を構成する。)
13a−1〜13a−n,13b−1〜13b−n 減算器
16D1,16D2,16A,16S,16L,16R バッファ・選択器
15A 予測回路(バッファ・選択器16Aと共に第3の予測符号化手段を構
成する。)
15S 予測回路(バッファ・選択器16Sと共に第4の予測符号化手段を構
成する。)
15L 予測回路(バッファ・選択器16Lと共に第5の予測符号化手段を構
成する。)
15R 予測回路
路(バッファ・選択器16Rと共に第6の予測符号化手段を構成する。)
1a, 4a Adder circuit (addition means)
1b, 4b Subtraction circuit (subtraction means)
5a, 5b Divider 11D1 Difference calculation circuit (first difference calculation means)
11D2 difference calculation circuit (second difference calculation means)
12a-1 to 12a-n Predictors (the first predictive coding means is configured together with the subtractors 13a-1 to 13a-n and the buffer / selector 16D1)
12b-1 to 12b-n predictor (the second predictive encoding means is configured together with the subtracters 13b-1 to 13b-n and the buffer / selector 16D2)
13a-1 to 13a-n, 13b-1 to 13b-n Subtractors 16D1, 16D2, 16A, 16S, 16L, 16R Buffer / selector 15A Prediction circuit (the third predictive encoding means together with the buffer / selector 16A Constitute.)
15S prediction circuit (constitutes the fourth predictive encoding means together with the buffer / selector 16S)
15L prediction circuit (constitutes the fifth predictive encoding means together with the buffer / selector 16L)
15R Prediction circuit (forms sixth predictive encoding means together with buffer / selector 16R)

Claims (2)

ステレオ2チャネルの音声信号を、互いに相関をとって得た複数チャネルのチャネル毎に、入力される音声信号に応答して先頭サンプル値を所定時間のフレーム単位で得ると共に、予測係数が異なる複数の予測部により時間領域の過去から現在の信号の線形予測値がそれぞれ予測され、その予測される線形予測値と前記音声信号とから得られる予測残差が最小となるような線形予測値を得る予測部を、前記フレームを更に分割したサブフレーム単位に選択して予測符号化するステップと、
SCR情報を含むパックヘッダと、圧縮PCMアクセスユニットを含むユーザデータと、を含んだデータ構造にすると共に、前記圧縮PCMアクセスユニットは前記フレーム中に複数設けられ、前記選択された各チャネルの予測部を示す予測部選択情報と予測残差とを含む予測符号化データを、前記圧縮PCMアクセスユニット内に配置されるサブパケットに格納し、前記圧縮PCMアクセスユニットが前記フレーム中の先頭のものである場合には、さらに、前記サブパケットにリスタートヘッダを設けると共に前記先頭サンプル値を収納し、また、さらに前記サブパケット内のデータが可変ビットレート圧縮された圧縮データであることを示すVBR識別子と、再生側において元のアナログ音声信号に復元される際に用いられるサンプリング周波数及び量子化ビット数とを含む同期情報部を設けるステップと、
からなる音声符号化方法。
For each of a plurality of channels obtained by correlating a stereo two-channel audio signal, a head sample value is obtained in units of frames for a predetermined time in response to the input audio signal, and a plurality of prediction coefficients are different. Prediction that predicts the linear prediction value of the current signal from the past in the time domain by the prediction unit and obtains a linear prediction value that minimizes the prediction residual obtained from the predicted linear prediction value and the speech signal Selecting a unit for each subframe obtained by further dividing the frame, and performing predictive encoding;
A data structure including a pack header including SCR information and user data including a compressed PCM access unit, and a plurality of the compressed PCM access units are provided in the frame, and a prediction unit of each selected channel Predictive encoded data including prediction portion selection information indicating a prediction residual and a prediction residual is stored in a subpacket arranged in the compressed PCM access unit, and the compressed PCM access unit is the first one in the frame In this case, a restart header is provided in the subpacket, the head sample value is stored, and a VBR identifier indicating that the data in the subpacket is compressed data with variable bit rate compression; The sampler used when the playback side restores the original analog audio signal Comprising: providing synchronization information section including the frequency and number of quantization bits,
A speech encoding method comprising:
請求項1記載の音声符号化方法により符号化されたデータから元の音声信号を復号する音声復号方法であって、
前記ヘッダに含まれるSCR情報を分離するステップと、
前記ユーザデータからサブパケットを抽出するステップと、
前記分離されたSCR情報に基づいて前記サブパケットを保持するステップと、
前記同期情報部からVBR識別子を抽出するステップと、
前記抽出された識別子に基づいて前記リスタートヘッダを有するサブパケットから前記先頭サンプル値を取り出すと共に、前記各サブパケットから予測残差と予測部を示す予測部選択情報とを含むサブフレーム単位の予測符号化データを取り出すステップと、
前記先頭サンプル値と前記予測残差および前記予測部選択情報により選択される予測部とに基づいて予測値を算出するステップと、
この算出された予測値から前記ステレオ2チャネルの音声信号を復元するステップと、
前記復元されたステレオ2チャネルの音声データを前記同期情報部内のサンプリング周波数及び量子化ビット数に基づいてアナログ音声信号に変換するステップと、
からなる音声復号方法。
A speech decoding method for decoding an original speech signal from data encoded by the speech encoding method according to claim 1,
Separating SCR information contained in the header;
Extracting a subpacket from the user data;
Holding the subpacket based on the separated SCR information;
Extracting a VBR identifier from the synchronization information portion;
Based on the extracted identifier, the head sample value is extracted from the subpacket having the restart header, and prediction in subframe units including a prediction residual and prediction unit selection information indicating a prediction unit from each subpacket Retrieving encoded data; and
Calculating a prediction value based on the leading sample value and the prediction residual selected by the prediction residual and the prediction portion selection information;
Restoring the stereo 2-channel audio signal from the calculated predicted value;
Converting the restored stereo 2-channel audio data into an analog audio signal based on the sampling frequency and the number of quantization bits in the synchronization information section;
A speech decoding method comprising:
JP2008129281A 1998-10-13 2008-05-16 Speech encoding method and speech decoding method Expired - Fee Related JP4835647B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008129281A JP4835647B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP1998306349 1998-10-13
JP30634998 1998-10-13
JP34235298 1998-11-16
JP1998342352 1998-11-16
JP2008129281A JP4835647B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005374860A Division JP4151027B2 (en) 1998-10-13 2005-12-27 Speech encoding method and speech decoding method

Publications (2)

Publication Number Publication Date
JP2008268965A JP2008268965A (en) 2008-11-06
JP4835647B2 true JP4835647B2 (en) 2011-12-14

Family

ID=39837060

Family Applications (31)

Application Number Title Priority Date Filing Date
JP2008129286A Expired - Fee Related JP4831120B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129289A Expired - Fee Related JP4831123B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129281A Expired - Fee Related JP4835647B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129273A Expired - Fee Related JP4835641B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129278A Expired - Fee Related JP4835644B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129287A Expired - Fee Related JP4831121B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129270A Expired - Fee Related JP4835638B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129279A Expired - Fee Related JP4835645B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129283A Expired - Fee Related JP4831117B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129274A Expired - Fee Related JP4835642B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129284A Expired - Fee Related JP4831118B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129275A Expired - Fee Related JP4831115B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129280A Expired - Fee Related JP4835646B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129285A Expired - Fee Related JP4831119B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129272A Expired - Fee Related JP4835640B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129276A Expired - Fee Related JP4831116B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129271A Expired - Fee Related JP4835639B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129282A Expired - Fee Related JP4835648B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129277A Expired - Fee Related JP4835643B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129288A Expired - Fee Related JP4831122B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008170658A Expired - Fee Related JP4831139B2 (en) 1998-10-13 2008-06-30 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2008170654A Expired - Fee Related JP4831135B2 (en) 1998-10-13 2008-06-30 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2008170657A Expired - Fee Related JP4831138B2 (en) 1998-10-13 2008-06-30 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2008170655A Expired - Fee Related JP4831136B2 (en) 1998-10-13 2008-06-30 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2008170656A Expired - Fee Related JP4831137B2 (en) 1998-10-13 2008-06-30 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2011164643A Expired - Fee Related JP5035457B2 (en) 1998-10-13 2011-07-27 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2011164644A Expired - Fee Related JP5035458B2 (en) 1998-10-13 2011-07-27 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2011164645A Expired - Fee Related JP5035459B2 (en) 1998-10-13 2011-07-27 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2011164647A Expired - Fee Related JP5035461B2 (en) 1998-10-13 2011-07-27 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2011164642A Expired - Fee Related JP5035456B2 (en) 1998-10-13 2011-07-27 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2011164646A Expired - Fee Related JP5035460B2 (en) 1998-10-13 2011-07-27 Audio signal transmission device, audio signal reception device, and audio signal transmission system

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2008129286A Expired - Fee Related JP4831120B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129289A Expired - Fee Related JP4831123B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method

Family Applications After (28)

Application Number Title Priority Date Filing Date
JP2008129273A Expired - Fee Related JP4835641B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129278A Expired - Fee Related JP4835644B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129287A Expired - Fee Related JP4831121B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129270A Expired - Fee Related JP4835638B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129279A Expired - Fee Related JP4835645B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129283A Expired - Fee Related JP4831117B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129274A Expired - Fee Related JP4835642B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129284A Expired - Fee Related JP4831118B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129275A Expired - Fee Related JP4831115B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129280A Expired - Fee Related JP4835646B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129285A Expired - Fee Related JP4831119B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129272A Expired - Fee Related JP4835640B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129276A Expired - Fee Related JP4831116B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129271A Expired - Fee Related JP4835639B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129282A Expired - Fee Related JP4835648B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129277A Expired - Fee Related JP4835643B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008129288A Expired - Fee Related JP4831122B2 (en) 1998-10-13 2008-05-16 Speech encoding method and speech decoding method
JP2008170658A Expired - Fee Related JP4831139B2 (en) 1998-10-13 2008-06-30 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2008170654A Expired - Fee Related JP4831135B2 (en) 1998-10-13 2008-06-30 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2008170657A Expired - Fee Related JP4831138B2 (en) 1998-10-13 2008-06-30 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2008170655A Expired - Fee Related JP4831136B2 (en) 1998-10-13 2008-06-30 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2008170656A Expired - Fee Related JP4831137B2 (en) 1998-10-13 2008-06-30 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2011164643A Expired - Fee Related JP5035457B2 (en) 1998-10-13 2011-07-27 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2011164644A Expired - Fee Related JP5035458B2 (en) 1998-10-13 2011-07-27 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2011164645A Expired - Fee Related JP5035459B2 (en) 1998-10-13 2011-07-27 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2011164647A Expired - Fee Related JP5035461B2 (en) 1998-10-13 2011-07-27 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2011164642A Expired - Fee Related JP5035456B2 (en) 1998-10-13 2011-07-27 Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP2011164646A Expired - Fee Related JP5035460B2 (en) 1998-10-13 2011-07-27 Audio signal transmission device, audio signal reception device, and audio signal transmission system

Country Status (1)

Country Link
JP (31) JP4831120B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2010050555A1 (en) 2008-10-31 2012-03-29 オリンパスメディカルシステムズ株式会社 Ultrasonic observation equipment
CN108886638A (en) * 2016-03-28 2018-11-23 索尼公司 Transcriber and reproducting method and file creating apparatus and document generating method
CN108886628A (en) * 2016-03-28 2018-11-23 索尼公司 File creating apparatus and document generating method
US11129596B2 (en) * 2016-10-06 2021-09-28 General Electric Company Systems and methods for ultrasound multiplexing

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS623535A (en) * 1985-06-28 1987-01-09 Fujitsu Ltd Encodeding transmission equipment
JPS6444499A (en) * 1987-08-12 1989-02-16 Fujitsu Ltd Forecast encoding system for voice
JP2811692B2 (en) * 1988-11-08 1998-10-15 ヤマハ株式会社 Multi-channel signal compression method
JPH02259700A (en) * 1989-03-30 1990-10-22 Nec Corp Voice coder
US5285498A (en) * 1992-03-02 1994-02-08 At&T Bell Laboratories Method and apparatus for coding audio signals based on perceptual model
JPH06133252A (en) * 1992-10-16 1994-05-13 Hitachi Ltd Signal conversion system and signal inverse conversion system
JPH06250697A (en) * 1993-02-26 1994-09-09 Fujitsu Ltd Method and device for voice coding and decoding
DE4331376C1 (en) * 1993-09-15 1994-11-10 Fraunhofer Ges Forschung Method for determining the type of encoding to selected for the encoding of at least two signals
US5488665A (en) * 1993-11-23 1996-01-30 At&T Corp. Multi-channel perceptual audio compression system with encoding mode switching among matrixed channels
JP2852862B2 (en) * 1994-02-01 1999-02-03 株式会社グラフィックス・コミュニケーション・ラボラトリーズ Method and apparatus for converting PCM audio signal
JP3443938B2 (en) * 1994-03-31 2003-09-08 ソニー株式会社 Digital signal processor
JPH08339637A (en) * 1995-04-11 1996-12-24 Toshiba Corp Recording medium, data recorder on the medium, recording method, data reproducer from the medium and reproducing method therefor
JPH09139937A (en) * 1995-11-14 1997-05-27 Fujitsu Ltd Moving image stream converter
JPH1064199A (en) * 1996-04-27 1998-03-06 Victor Co Of Japan Ltd Optical disk for audio, and encoding device/decoding device
JPH10233058A (en) * 1997-02-19 1998-09-02 Victor Co Of Japan Ltd Audio signal reproducing method, encoder, recording medium and decoder
JP3402567B2 (en) * 1997-03-07 2003-05-06 日本ビクター株式会社 Multi-channel signal processing method
JP3342001B2 (en) * 1998-10-13 2002-11-05 日本ビクター株式会社 Recording medium, audio decoding device

Also Published As

Publication number Publication date
JP2008299339A (en) 2008-12-11
JP2008225501A (en) 2008-09-25
JP2011232777A (en) 2011-11-17
JP4831138B2 (en) 2011-12-07
JP2011227527A (en) 2011-11-10
JP2008242481A (en) 2008-10-09
JP2011253197A (en) 2011-12-15
JP4831116B2 (en) 2011-12-07
JP2008257260A (en) 2008-10-23
JP2008217038A (en) 2008-09-18
JP5035459B2 (en) 2012-09-26
JP2008225500A (en) 2008-09-25
JP2011237824A (en) 2011-11-24
JP4831117B2 (en) 2011-12-07
JP2008242482A (en) 2008-10-09
JP4835648B2 (en) 2011-12-14
JP4831122B2 (en) 2011-12-07
JP4835644B2 (en) 2011-12-14
JP4835642B2 (en) 2011-12-14
JP2008242480A (en) 2008-10-09
JP2008262211A (en) 2008-10-30
JP5035458B2 (en) 2012-09-26
JP4835638B2 (en) 2011-12-14
JP2008299340A (en) 2008-12-11
JP5035461B2 (en) 2012-09-26
JP4831123B2 (en) 2011-12-07
JP2008282036A (en) 2008-11-20
JP2012003271A (en) 2012-01-05
JP2008242483A (en) 2008-10-09
JP4831120B2 (en) 2011-12-07
JP4835645B2 (en) 2011-12-14
JP5035457B2 (en) 2012-09-26
JP2008268964A (en) 2008-11-06
JP5035460B2 (en) 2012-09-26
JP4831137B2 (en) 2011-12-07
JP2008282034A (en) 2008-11-20
JP2008268965A (en) 2008-11-06
JP4831135B2 (en) 2011-12-07
JP4831136B2 (en) 2011-12-07
JP2008225502A (en) 2008-09-25
JP2008262212A (en) 2008-10-30
JP2008276241A (en) 2008-11-13
JP4831118B2 (en) 2011-12-07
JP4835640B2 (en) 2011-12-14
JP4835639B2 (en) 2011-12-14
JP4831115B2 (en) 2011-12-07
JP2008242484A (en) 2008-10-09
JP2008250339A (en) 2008-10-16
JP2008250341A (en) 2008-10-16
JP4835646B2 (en) 2011-12-14
JP2008225499A (en) 2008-09-25
JP4835641B2 (en) 2011-12-14
JP4831121B2 (en) 2011-12-07
JP2011232776A (en) 2011-11-17
JP2008250338A (en) 2008-10-16
JP4835643B2 (en) 2011-12-14
JP5035456B2 (en) 2012-09-26
JP4831139B2 (en) 2011-12-07
JP4831119B2 (en) 2011-12-07
JP2008282035A (en) 2008-11-20
JP2008250340A (en) 2008-10-16

Similar Documents

Publication Publication Date Title
JP5035457B2 (en) Audio signal transmission device, audio signal reception device, and audio signal transmission system
JP4196356B2 (en) Speech encoding method and speech decoding method
JP4151028B2 (en) Speech encoding method and speech decoding method
JP4148259B2 (en) Speech encoding method and speech decoding method
JP4151032B2 (en) Speech encoding method and speech decoding method
JP4151035B2 (en) Speech encoding method and speech decoding method
JP4151036B2 (en) Speech encoding method and speech decoding method
JP4151033B2 (en) Speech encoding method and speech decoding method
JP4151029B2 (en) Speech encoding method and speech decoding method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110830

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110912

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees