JP4591608B2 - Speech coding method, speech decoding method, and speech signal transmission method - Google Patents
Speech coding method, speech decoding method, and speech signal transmission method Download PDFInfo
- Publication number
- JP4591608B2 JP4591608B2 JP2009085027A JP2009085027A JP4591608B2 JP 4591608 B2 JP4591608 B2 JP 4591608B2 JP 2009085027 A JP2009085027 A JP 2009085027A JP 2009085027 A JP2009085027 A JP 2009085027A JP 4591608 B2 JP4591608 B2 JP 4591608B2
- Authority
- JP
- Japan
- Prior art keywords
- channel
- linear prediction
- data
- prediction
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
本発明は、マルチチャネルの音声信号を可変長で圧縮するための音声符号化方法、音声復号方法及び音声信号伝送方法に関する。 The present invention relates to a speech encoding method, speech decoding method, and speech signal transmission method for compressing a multi-channel speech signal with a variable length.
音声信号を可変長で圧縮する方法として、本発明者は先の出願(特願平9−28915
9号)において1チャネルの原デジタル音声信号に対して、特性が異なる複数の予測器に
より時間領域における過去の信号から現在の信号の複数の線形予測値を算出し、原デジタ
ル音声信号と、この複数の線形予測値から予測器毎の予測残差を算出、予測残差の最小値
を選択する予測符号化方法を提案している。
As a method of compressing an audio signal with a variable length, the present inventor has proposed an earlier application (Japanese Patent Application No. 9-28915).
9), a plurality of linear prediction values of the current signal are calculated from a past signal in the time domain by a plurality of predictors having different characteristics with respect to one channel of the original digital audio signal, A prediction encoding method is proposed in which a prediction residual for each predictor is calculated from a plurality of linear prediction values, and a minimum value of the prediction residual is selected.
なお、上記方法では原デジタル音声信号がサンプリング周波数=96kHz、量子化ビ
ット数=20ビット程度の場合にある程度の圧縮効果を得ることができるが、近年のDV
Dオーディオディスクではこの2倍のサンプリング周波数(=192kHz)が使用され
、また、量子化ビット数も24ビットが使用される傾向があるので、圧縮率を改善する必
要がある。また、マルチチャネルにおけるサンプリング周波数と量子化ビット数はチャネ
ル毎に異なることもある。
In the above method, a certain degree of compression effect can be obtained when the original digital audio signal has a sampling frequency = 96 kHz and the number of quantization bits = 20 bits.
In the D audio disc, this doubled sampling frequency (= 192 kHz) is used, and the number of quantization bits tends to be 24 bits, so it is necessary to improve the compression rate. In addition, the sampling frequency and the number of quantization bits in multichannel may be different for each channel.
ところで、予測符号化方式のような圧縮方式は圧縮率が可変(VBR:バリアブル・ビ
ット・レート)であるので、マルチチャネルの音声信号を予測符号化するとチャネル毎の
データ量が時間的に大きく変化する。また、このようなデータを伝送する場合には、チャ
ネル毎にパラレルではなくデータストリームとして伝送される。
By the way, since a compression method such as the predictive coding method has a variable compression rate (VBR: variable bit rate), when a multi-channel audio signal is predictively encoded, the amount of data for each channel greatly changes over time. To do. When such data is transmitted, it is transmitted as a data stream instead of parallel for each channel.
したがって、再生側(デコード側)においてこのような可変長のデータストリームをチ
ャネル毎に同期して再生(プレゼンテーション)可能にするためには、入力バッファに蓄
積されたデータストリームを読み出してデコーダに出力するためのタイミングを示すデコ
ード時間と、出力バッファに蓄積されたデコード後のデータを読み出してスピーカなどに
出力(プレゼンテーション)するためのタイミングを示す再生時間を管理しなければなら
ない。また、再生側でこのような可変長のデータストリームをサーチ再生するための時間
を管理しなければならない。
Therefore, in order to enable reproduction (presentation) of such a variable length data stream in synchronization with each channel on the reproduction side (decoding side), the data stream stored in the input buffer is read and output to the decoder. Therefore, it is necessary to manage the decoding time indicating the timing for the output and the reproduction time indicating the timing for reading the decoded data accumulated in the output buffer and outputting (presenting) the data to a speaker or the like. Further, the playback side must manage the time for searching and playing back such a variable length data stream.
そこで本発明は、マルチチャネルの音声信号を可変の圧縮率で符号化する場合に再生側
の処理時間を管理することができる音声符号化方法、音声復号方法及び音声信号伝送方法
を提供することを目的とする。
Therefore, the present invention provides an audio encoding method, an audio decoding method, and an audio signal transmission method capable of managing the processing time on the playback side when encoding a multi-channel audio signal with a variable compression rate. Objective.
本発明は上記目的を達成するために、以下の1)〜3)に記載の手段よりなる。
すなわち、
1) 元のマルチチャネルの音声信号をダウンミクスしてステレオ2チャネルの音声信号に変換するステップと、
前記元のマルチチャネルを所定のマトリクス演算により、相関あるチャネルであってそのチャネル数が前記2チャネル分少ない数の相関チャネルに変換するステップと、
前記ステレオ2チャネルと前記相関チャネルの音声信号を、チャネル毎に、入力される音声信号に応答して先頭サンプル値を所定時間のフレーム単位で得ると共に、特性が異なる複数の線形予測方法により時間領域の過去から現在の信号の線形予測値がそれぞれ予測され、その予測される線形予測値と前記音声信号とから得られる予測残差が最小となるような線形予測方法を、前記フレームを更に分割したサブフレーム単位に選択して予測符号化するステップと、
SCR情報を含むパックヘッダと、圧縮PCMアクセスユニットを含むユーザデータと、を含んだデータ構造にすると共に、前記圧縮PCMアクセスユニットは前記フレーム中に複数設けられ、前記ステップにより選択されたサブフレーム毎の各チャネルの線形予測方法と予測残差を含む予測符号化データを、前記圧縮PCMアクセスユニット内に配置される前記ステレオ2チャネルの第1のグループと前記相関チャネルの第2のグループにグループ分けしたビットストリームに格納する場合に前記予測残差をビット情報に基づいたビット数でパッキングして格納し、前記圧縮PCMアクセスユニットが前記フレーム中の先頭のものである場合には、さらに、前記ビットストリームにリスタートヘッダを設けると共に前記先頭サンプル値を収納するステップと、
からなる音声符号化方法。
2) 1)の音声符号化方法により符号化されたデータから元の音声信号を復号する音声復号方法であって、
前記ヘッダに含まれるSCR情報を分離するステップと、
前記ユーザデータから圧縮PCMアクセスユニットを抽出するステップと、
前記分離されたSCR情報に基づいて前記ビットストリームを保持するステップと、
前記リスタートヘッダを有するビットストリームから前記先頭サンプル値を取り出すと共に、前記各圧縮PCMアクセスユニットに配置されるグループ分けしたビットストリームから、予測残差および線形予測方法を含むサブフレーム単位の予測符号化データを取り出すステップと、
前記予測残差をビット情報に基づいたビット数で復号し、この復号した予測残差と前記先頭サンプル値と線形予測方法とに基づいて予測値を算出するステップと、
この算出された予測値から前記ステレオ2チャネルの音声信号と元のマルチチャネルの音声信号を復元するステップと、
からなる音声復号方法。
3) 元のマルチチャネルの音声信号をダウンミクスしてステレオ2チャネルの音声信号に変換するステップと、
前記元のマルチチャネルを所定のマトリクス演算により、相関あるチャネルであってそのチャネル数が前記2チャネル分少ない数の相関チャネルに変換するステップと、
前記ステレオ2チャネルと前記相関チャネルの音声信号を、チャネル毎に、入力される音声信号に応答して先頭サンプル値を所定時間のフレーム単位で得ると共に、特性が異なる複数の線形予測方法により時間領域の過去から現在の信号の線形予測値がそれぞれ予測され、その予測される線形予測値と前記音声信号とから得られる予測残差が最小となるような線形予測方法を、前記フレームを更に分割したサブフレーム単位に選択して予測符号化するステップと、
SCR情報を含むパックヘッダと、圧縮PCMアクセスユニットを含むユーザデータと、を含んだデータ構造にすると共に、前記圧縮PCMアクセスユニットは前記フレーム中に複数設けられ、前記ステップにより選択されたサブフレーム毎の各チャネルの線形予測方法と予測残差を含む予測符号化データを、前記圧縮PCMアクセスユニット内に配置される前記ステレオ2チャネルの第1のグループと前記相関チャネルの第2のグループにグループ分けしたビットストリームに格納する場合に前記予測残差をビット情報に基づいたビット数でパッキングして格納し、前記圧縮PCMアクセスユニットが前記フレーム中の先頭のものである場合には、さらに、前記ビットストリームにリスタートヘッダを設けると共に前記先頭サンプル値を収納するステップと、
からなる音声符号化方法により符号化し、
前記選択された先頭サンプル値と、予測残差と線形予測方法とを含む予測符号化データをパケット化して伝送することを特徴とする音声信号伝送方法。
In order to achieve the above object, the present invention comprises the following means 1) to 3).
That is,
1) Downmixing the original multi-channel audio signal and converting it to a stereo 2-channel audio signal;
Transforming the original multi-channel into a number of correlated channels that are correlated channels, the number of channels being less than the two channels by a predetermined matrix operation;
The audio signals of the
The data structure includes a pack header including SCR information and user data including a compressed PCM access unit. A plurality of the compressed PCM access units are provided in the frame, and each subframe selected in the step is selected. grouping predictive coded data, the second group of the first group and the correlation channel of the
A speech encoding method comprising:
2) A speech decoding method for decoding an original speech signal from data encoded by the speech encoding method of 1) ,
Separating SCR information contained in the header;
Extracting a compressed PCM access unit from the user data;
Holding the bitstream based on the separated SCR information;
With a bit stream having a pre-Symbol restart header retrieving the beginning sample values, from said bitstream grouped arranged in each compressed PCM access unit, predictive coding sub-frame including the prediction residual and linear prediction method Retrieving the digitized data;
Decoding the prediction residual with the number of bits based on bit information, and calculating a prediction value based on the decoded prediction residual, the leading sample value, and a linear prediction method;
Restoring the stereo 2-channel audio signal and the original multi-channel audio signal from the calculated predicted value;
A speech decoding method comprising:
3) Downmixing the original multi-channel audio signal and converting it to a stereo 2-channel audio signal;
Transforming the original multi-channel into a number of correlated channels that are correlated channels, the number of channels being less than the two channels by a predetermined matrix operation;
The audio signals of the
The data structure includes a pack header including SCR information and user data including a compressed PCM access unit. A plurality of the compressed PCM access units are provided in the frame, and each subframe selected in the step is selected. grouping predictive coded data, the second group of the first group and the correlation channel of the
Encoded by a speech encoding method comprising:
An audio signal transmission method comprising: packetizing and transmitting predictive encoded data including the selected head sample value, a prediction residual, and a linear prediction method.
以上説明したように本発明によれば、特に、元のマルチチャネルの音声信号をダウンミクスして互いに相関あるチャネルに変換する2つの相関信号を、チャネル毎に入力される音声信号に応答して先頭サンプル値を得ると共に、時間領域に過去の信号から予測される現在の信号の複数の予測値の中でその予測残差が最小となる線形予測方式によりロスレス圧縮するようにしたので、音声信号を予測符号化する場合に圧縮率を改善できる。
As described above, according to the present invention, in particular, two correlation signals for down-mixing the original multi-channel audio signal and converting them into mutually correlated channels are transmitted in response to the audio signal input for each channel. Since the first sample value is obtained, lossless compression is performed by a linear prediction method that minimizes the prediction residual among the multiple prediction values of the current signal predicted from the past signal in the time domain. The compression rate can be improved when predictive coding is performed .
以下、図面を参照して本発明の実施の形態を説明する。図1は本発明が適用される声符
号化装置とそれに対応する音声復号装置の第1の実施形態を示すブロック図、図2は図1
の符号化部を詳しく示すブロック図、図3は図1、図2の符号化部により符号化されたビ
ットストリームを示す説明図、図4はDVDのパックのフォーマットを示す説明図、図5
はDVDのオーディオパックのフォーマットを示す説明図、図6は図1の復号化部を詳し
く示すブロック図、図7は図6の入力バッファの書き込み/読み出しタイミングを示すタ
イミングチャート、図8はアクセスユニット毎の圧縮データ量を示す説明図、図9はアク
セスユニットとプレゼンテーションユニットを示す説明図である。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a first embodiment of a voice encoding apparatus to which the present invention is applied and a corresponding voice decoding apparatus. FIG.
FIG. 3 is an explanatory diagram showing a bit stream encoded by the encoding unit shown in FIGS. 1 and 2, FIG. 4 is an explanatory diagram showing a format of a DVD pack, and FIG.
Is an explanatory diagram showing the format of a DVD audio pack, FIG. 6 is a block diagram showing in detail the decoding unit of FIG. 1, FIG. 7 is a timing chart showing write / read timing of the input buffer of FIG. 6, and FIG. FIG. 9 is an explanatory diagram showing an access unit and a presentation unit.
ここで、マルチチャネル方式としては、例えば次の4つの方式が知られている。
(1)4チャネル方式 ドルビーサラウンド方式のように、前方L、C、Rの3チャ
ネル+後方Sの1チャネルの合計4チャネル
(2)5チャネル方式 ドルビーAC−3方式のSWチャネルなしのように、前方L
、C、Rの3チャネル+後方SL、SRの2チャネルの合計5チャネル
(3)6チャネル方式 DTS(Digital Theater System)方式や、ドルビーAC−
3方式のように6チャネル(L、C、R、SW(Lfe)、SL、SR)
(4)8チャネル方式 SDDS(Sony Dynamic Digital Sound)方式のように、前
方L、LC、C、RC、R、SWの6チャネル+後方SL、SRの2チャネルの合計8チ
ャネル
図1に示す符号化側の6チャネル(ch)ミクス&マトリクス回路1’は、マルチチャネ
ル信号の一例としてフロントレフト(Lf)、センタ(C)、フロントライト(Rf)、
サラウンドレフト(Ls)、サラウンドライト(Rs)及びLfe(Low Frequency Effe
ct)の6chのPCMデータを次式(1)により前方グループに関する2ch「1」、「2」
と他のグループに関する4ch「3」〜「6」に分類して変換し、2ch「1」、「2」を第
1符号化部2’−1に、また、4ch「3」〜「6」を第2符号化部2’−2に出力する。
Here, as the multi-channel method, for example, the following four methods are known.
(1) 4-channel system Like the Dolby Surround system, a total of 4 channels of 3 channels for the front L, C, and R + 1 channel for the rear S (2) 5 channels system Like no Dolby AC-3 system SW channel , Forward L
, C,
6 channels (L, C, R, SW (Lfe), SL, SR)
(4) 8-channel system Like the SDDS (Sony Dynamic Digital Sound) system, a total of 8 channels including 6 channels of forward L, LC, C, RC, R, and SW + 2 channels of backward SL and SR The 6-channel (ch) mix &
Surround Left (Ls), Surround Right (Rs), and Lfe (Low Frequency Effe
ct) 6ch PCM data 2ch "1" and "2" for the front group according to the following equation (1)
4ch “3” to “6” related to the other groups and conversion, 2ch “1” and “2” are converted to the
「1」=Lf+Rf
「2」=Lf−Rf
「3」=C−(Ls+Rs)/2
「4」=Ls+Rs
「5」=Ls−Rs
「6」=Lfe−a×C
ただし、0≦a≦1 …(1)
符号化部2’を構成する第1及び第2符号化部2’−1、2’−2はそれぞれ、図2に
詳しく示すように2ch「1」、「2」と4ch「3」〜「6」のPCMデータを予測符号化
し、予測符号化データを図3に示すようなビットストリームで記録媒体5や通信媒体6を
介して復号側に伝送する。復号側では復号化部3’を構成する第1及び第2復号化部3’
−1、3’−2により、図6に詳しく示すようにそれぞれ前方グループに関する2ch「1
」、「2」と他のグループに関する4ch「3」〜「6」の予測符号化データをPCMデー
タに復号する。
“1” = Lf + Rf
“2” = Lf−Rf
“3” = C− (Ls + Rs) / 2
“4” = Ls + Rs
“5” = Ls−Rs
“6” = Lfe−a × C
However, 0 ≦ a ≦ 1 (1)
As shown in detail in FIG. 2, the first and
−1, 3′-2, 2ch “1” relating to the front group as shown in detail in FIG.
”,“ 2 ”and the 4ch“ 3 ”to“ 6 ”prediction encoded data relating to other groups are decoded into PCM data.
次いでミクス&マトリクス回路4’により式(1)に基づいて元の6ch(Lf、C、R
f、Ls、Rs、Lfe)を復元するとともに、この元の6chと係数mij(i=1,2
,j=1,2〜6)により次式(2)のようにステレオ2chデータ(L、R)を生成する
。
Next, the original 6ch (Lf, C, R) based on the formula (1) by the mix &
f, Ls, Rs, Lfe) are restored, and the original 6ch and the coefficient mij (i = 1, 2) are restored.
, J = 1, 2 to 6), stereo 2ch data (L, R) is generated as in the following equation (2).
L=m11・Lf+m12・Rf+m13・C
+m14・Ls+m15・Rs+m16・Lfe
R=m21・Lf+m22・Rf+m23・C
+m24・Ls+m25・Rs+m26・Lfe …(2)
図2を参照して符号化部2’−1、2’−2について詳しく説明する。各ch「1」〜「
6」のPCMデータは1フレーム毎に1フレームバッファ10に格納される。そして、1
フレームの各ch「1」〜「6」のサンプルデータがそれぞれ予測回路13D1、13D2
、15D1〜15D4に印加されるとともに、各ch「1」〜「6」の各フレームの先頭サ
ンプルデータがフォーマット化回路19に印加される。予測回路13D1、13D2、1
5D1〜15D4はそれぞれ、各ch「1」〜「6」のPCMデータに対して、特性が異な
る複数の予測器(不図示)により時間領域における過去の信号から現在の信号の複数の線
形予測値を算出し、次いで原PCMデータと、この複数の線形予測値から予測器毎の予測
残差を算出する。続くバッファ・選択器14D1、14D2、16D1〜16D4はそれ
ぞれ、予測回路13D1、13D2、15D1〜15D4により算出された各予測残差を
一時記憶して、選択信号/DTS(デコーディング・タイム・スタンプ)生成器17によ
り指定されたサブフレーム毎に予測残差の最小値を選択する。
L = m11 · Lf + m12 · Rf + m13 · C
+ M14 · Ls + m15 · Rs + m16 · Lfe
R = m21 · Lf + m22 · Rf + m23 · C
+ M24 · Ls + m25 · Rs + m26 · Lfe (2)
The
6 "PCM data is stored in one
The sample data of each channel “1” to “6” of the frame is the prediction circuits 13D1 and 13D2, respectively.
, 15D1 to 15D4 and the top sample data of each frame “1” to “6” is applied to the
5D1 to 15D4 respectively represent a plurality of linear prediction values of a current signal from a past signal in a time domain by a plurality of predictors (not shown) having different characteristics with respect to the PCM data of each channel “1” to “6”. Then, a prediction residual for each predictor is calculated from the original PCM data and the plurality of linear prediction values. The subsequent buffer / selectors 14D1, 14D2, 16D1 to 16D4 temporarily store the prediction residuals calculated by the prediction circuits 13D1, 13D2, and 15D1 to 15D4, respectively, and select signals / DTS (decoding time stamp). The minimum value of the prediction residual is selected for each subframe designated by the
選択信号/DTS生成器17は予測残差のビット数フラグをパッキング回路18とフォ
ーマット化回路19に対して印加し、また、予測残差が最小の予測器を示す予測器選択フ
ラグと、式(1)における相関係数aと、復号化側が入力バッファ22a(図6)からス
トリームデータを取り出す時間を示すDTSをフォーマット化回路19に対して印加する
。パッキング回路18はバッファ・選択器14D1、14D2、16D1〜16D4によ
り選択された6ch分の予測残差を、選択信号/DTS生成器17により指定されたビット
数フラグに基づいて指定ビット数でパッキングする。またPTS生成器17cは、復号化
側が出力バッファ110(図6)からPCMデータを取り出す時間を示すPTS(プレゼ
ンテーション・タイム・スタンプ)を生成してフォーマット化回路19に出力する。
The selection signal /
続くフォーマット化回路19は図3〜図5に示すようなユーザデータにフォーマット化
する。図3に示すユーザデータ(サブパケット)は、前方グループに関する2ch「1」、
「2」の予測符号化データを含む可変レートビットストリーム(サブストリーム)BS0
と、他のグループに関する4ch「3」〜「6」の予測符号化データを含む可変レートビッ
トストリーム(サブストリーム)BS1と、サブストリームBS0、BS1の前に設けら
れたビットストリームヘッダ(リスタートヘッダ)により構成されている。
また、サブストリームBS0、BS1の1フレーム分は
・フレームヘッダと、
・各ch「1」〜「6」の1フレームの先頭サンプルデータと、
・各ch「1」〜「6」のサブフレーム毎の予測器選択フラグと、
・各ch「1」〜「6」のサブフレーム毎のビット数フラグと、
・各ch「1」〜「6」の予測残差データ列(可変ビット数)と、
・ch「6」の係数a
が多重化されている。このような予測符号化によれば、原信号が例えばサンプリング周波
数=96kHz、量子化ビット数=24ビット、6チャネルの場合、71%の圧縮率を実
現することができる。
The
Variable rate bitstream (substream) BS0 including predictive encoded data of “2”
A variable-rate bitstream (substream) BS1 including 4ch “3” to “6” predictive encoded data related to other groups, and a bitstream header (restart header) provided before the substreams BS0 and BS1 ).
Also, one frame of substream BS0, BS1 is a frame header,
・ First sample data of one frame of each channel “1” to “6”,
A predictor selection flag for each subframe of each channel “1” to “6”;
A bit number flag for each subframe of each channel “1” to “6”;
-Predictive residual data string (number of variable bits) of each ch "1" to "6",
・ Ch “6” coefficient a
Are multiplexed. According to such predictive coding, when the original signal is, for example, sampling frequency = 96 kHz, quantization bit number = 24 bits, and 6 channels, a compression rate of 71% can be realized.
図2に示す符号化部2’−1、2’−2により予測符号化された可変レートビットスト
リームデータを、記録媒体の一例としてDVDオーディオディスクに記録する場合には、
図4に示すオーディオ(A)パックにパッキングされる。このパックは2034バイトの
ユーザデータ(Aパケット、Vパケット)に対して4バイトのパックスタート情報と、6
バイトのSCR(System Clock Reference:システム時刻基準参照値)情報と、3バイト
のMux レート(rate)情報と1バイトのスタッフィングの合計14バイトのパックヘッダ
が付加されて構成されている(1パック=合計2048バイト)。この場合、タイムスタ
ンプであるSCR情報を、先頭パックでは「1」として同一タイトル内で連続とすること
により同一タイトル内のAパックの時間を管理することができる。
When the variable rate bit stream data predictively encoded by the
It is packed in an audio (A) pack shown in FIG. This pack has 2034 bytes of user data (A packet, V packet), 4 bytes of pack start information, and 6
Byte (SCR) (System Clock Reference) information, 3-byte Mux rate information, and 1-byte stuffing total 14-byte pack header are added (1 pack = 2048 bytes in total). In this case, the time of the A pack in the same title can be managed by setting the SCR information as a time stamp as “1” in the first pack and continuing in the same title.
圧縮PCMのAパケットは図5に詳しく示すように、19又は14バイトのパケットヘ
ッダと、圧縮PCMのプライベートヘッダと、図3に示すフォーマットの1ないし201
1バイトのオーディオデータ(圧縮PCM)により構成されている。そして、DTSとP
TSは図5のパケットヘッダ内に(具体的にはパケットヘッダの10〜14バイト目にP
TSが、15〜19バイト目にDTSが)セットされる。圧縮PCMのプライベートヘッ
ダは、
・1バイトのサブストリームIDと、
・2バイトのUPC/EAN−ISRC(Universal Product Code/European Article Nu
mber-International Standard Recording Code)番号、及びUPC/EAN−I
SRCデータと、
・1バイトのプライベートヘッダ長と、
・2バイトの第1アクセスユニットポインタと、
・8バイトのオーディオデータ情報(ADI)と、
・0〜7バイトのスタッフィングバイトとに、
より構成されている。そして、ADI内に1秒後のアクセスユニットをサーチするため
の前方アクセスユニット・サーチポインタと、1秒前のアクセスユニットをサーチするた
めの後方アクセスユニット・サーチポインタがともに1バイトで(具体的にはADIの7
バイト目に前方アクセスユニット・サーチポインタが、8バイト目に後方アクセスユニッ
ト・サーチポインタが)セットされる。
As shown in detail in FIG. 5, the compressed PCM A packet includes a 19- or 14-byte packet header, a compressed PCM private header, and 1 to 201 in the format shown in FIG.
It is composed of 1-byte audio data (compressed PCM). And DTS and P
TS is included in the packet header of FIG. 5 (specifically, P at the 10th to 14th bytes of the packet header).
TS is set in the 15th to 19th bytes). The compressed PCM private header is
A 1-byte substream ID,
・ 2-byte UPC / EAN-ISRC (Universal Product Code / European Article Nu
mber-International Standard Recording Code) number and UPC / EAN-I
SRC data,
-1 byte private header length,
A 2-byte first access unit pointer;
8 bytes of audio data information (ADI)
・ With stuffing byte of 0-7 bytes,
It is made up of. Both the forward access unit search pointer for searching the access unit after 1 second in the ADI and the backward access unit search pointer for searching for the access unit before 1 second are both 1 byte (specifically, Is
The front access unit search pointer is set in the byte and the backward access unit search pointer is set in the eighth byte.
次に図6を参照して復号化部3’−1、3’−2について説明する。上記フォーマット
の可変レートビットストリームデータBS0、BS1は、デフォーマット化回路21によ
り分離される。そして、各ch「1」〜「6」の1フレームの先頭サンプルデータと予測
器選択フラグはそれぞれ予測回路24D1、24D2、23D1〜23D4に印加され、
各ch「1」〜「6」のビット数フラグはアンパッキング回路22に印加される。また、
SCRと、DTSと予測残差データ列は入力バッファ22aに印加され、PTSは出力バ
ッファ110に印加される。ここで、予測回路24D1、24D2、23D1〜23D4
内の複数の予測器(不図示)はそれぞれ、符号化側の予測回路13D1、13D2、15
D1〜15D4内の複数の予測器と同一の特性であり、予測器選択フラグにより同一特性
のものが選択される。
Next, the
The bit number flags of each channel “1” to “6” are applied to the unpacking
The SCR, DTS, and prediction residual data string are applied to the
Each of the plurality of predictors (not shown) includes prediction circuits 13D1, 13D2, 15 on the encoding side.
The characteristics are the same as those of the plurality of predictors in D1 to 15D4, and the same characteristics are selected by the predictor selection flag.
デフォーマット化回路21により分離されたストリームデータ(予測残差データ列)は
、図7に示すようにSCRによりアクセスユニット毎に入力バッファ22aに取り込まれ
て蓄積される。ここで、1つのアクセスユニットのデータ量は、例えばfs=96kHz
の場合には(1/96kHz)秒分であるが、図8、図9(a)に詳しく示すように可変
長である。そして、入力バッファ22aに蓄積されたストリームデータはDTSに基づい
てFIFOで読み出されてアンパッキング回路22に印加される。
The stream data (predicted residual data string) separated by the deformatting circuit 21 is taken and stored in the
In the case of (1) / (96 kHz) seconds, the length is variable as shown in detail in FIGS. Then, the stream data stored in the
アンパッキング回路22は各ch「1」〜「6」の予測残差データ列をビット数フラグ
毎に基づいて分離してそれぞれ予測回路24D1、24D2、23D1〜23D4に出力
する。予測回路24D1、24D2、23D1〜23D4ではそれぞれ、アンパッキング
回路22からの各ch「1」〜「6」の今回の予測残差データと、内部の複数の予測器の
内、予測器選択フラグにより選択された各1つにより予測された前回の予測値が加算され
て今回の予測値が算出され、次いで1フレームの先頭サンプルデータを基準として各サン
プルのPCMデータが算出されて出力バッファ110に蓄積される。出力バッファ110
に蓄積されたPCMデータはPTSに基づいて読み出されて出力される。したがって、図
9(a)に示す可変長のアクセスユニットが伸長されて、図9(b)に示す一定長のプレ
ゼンテーションユニットが出力される。
The unpacking
The PCM data stored in is read and output based on the PTS. Therefore, the variable-length access unit shown in FIG. 9A is expanded, and the fixed-length presentation unit shown in FIG. 9B is output.
ここで、操作部101を介してサーチ再生が指示された場合には、制御部100により
図5に示すADI内に置かれる1秒先を示す前方アクセスユニット・サーチポインタと1
秒後を示す後方アクセスユニット・サーチポインタに基づいてアクセスユニットを再生す
る。このサーチポインタとしては、1秒先、1秒前の代わりに2秒先、2秒前のものでよ
い。
When search reproduction is instructed via the operation unit 101, the front access unit search pointer indicating 1 second ahead placed in the ADI shown in FIG.
The access unit is reproduced based on the backward access unit search pointer indicating the second after. This search pointer may be one second ahead and two seconds ahead instead of one second ahead and one second ahead.
図2に示す符号化部2’−1、2’−2により予測符号化された可変レートビットスト
リームデータをネットワークを介して伝送する場合には、符号化側では図10に示すよう
に伝送用にパケット化し(ステップS41)、次いでパケットヘッダを付与し(ステップ
S42)、次いでこのパケットをネットワーク上に送り出す(ステップS43)。
When the variable rate bit stream data predictively encoded by the
復号側では図11(A)に示すようにヘッダを除去し(ステップS51)、次いでデー
タを復元し(ステップS52)、次いでこのデータをメモリに格納して復号を待つ(ステ
ップS53)。そして、復号を行う場合には図11(B)に示すように、デフォーマット
化を行い(ステップS61)、次いで入力バッファ22aの入出力制御を行い(ステップ
S62)、次いでアンパッキングを行う(ステップS63)。なお、このとき、サーチ再
生指示がある場合にはサーチポインタをデコードする。次いで予測器をフラグに基づいて
選択してデコードを行い(ステップS64)、次いで出力バッファ110の入出力制御を
行い(ステップS65)、次いで元のマルチチャネルを復元し(ステップS66)、次い
でこれを出力し(ステップS67)、以下、これを繰り返す。
As shown in FIG. 11A, the decoding side removes the header (step S51), then restores the data (step S52), then stores this data in the memory and waits for decoding (step S53). When decoding is performed, as shown in FIG. 11B, deformatting is performed (step S61), input / output control of the
なお、上記実施形態では、前方グループに関する2ch「1」、「2」を
「1」=Lf+Rf
「2」=Lf−Rf
により変換して予測符号化したが、代わりに式(2)によりマルチチャネルをダウンミク
スしてステレオ2chデータ(L、R)を生成し、
次いで次式(1)’
「1」=L+R
「2」=L−R
「3」〜「5」は同じ
「6」=Lfe−C …(1)’
により変換して予測符号化するようにしてもよい(第2の実施形態)。この場合には、復
号化側のミクス&マトリクス回路4’はチャネル「1」、「2」を加算することによりチ
ャネルLを、減算することによりチャネルRを生成することができる。
In the above embodiment, 2ch “1” and “2” related to the front group are set to “1” = Lf + Rf.
“2” = Lf−Rf
However, instead, the multi-channel is downmixed according to Equation (2) to generate stereo 2ch data (L, R),
Next, the following formula (1) ′
“1” = L + R
“2” = LR
“3” to “5” are the same. “6” = Lfe-C (1) ′
(2nd embodiment). In this case, the decoding-side mix &
また、第3の実施形態として図12に示すように、2ch「1」、「2」の代わりに式(
2)によりマルチチャネルをダウンミクスしてステレオ2chデータ(L、R)を生成して
、このステレオ2ch(L、R)と4ch「3」〜「6」を予測符号化するようにしてもよい
。なお、第2、第3の実施形態では、フロントレフト(Lf)とフロントライト(Rf)
が復号化側に伝送されないので、復号化側ではこれを式(1)、(2)により生成する。
Further, as shown in FIG. 12 as the third embodiment, instead of 2ch “1” and “2”, the formula (
The stereo 2ch data (L, R) is generated by downmixing the multi-channel according to 2), and the stereo 2ch (L, R) and 4ch “3” to “6” may be predictively encoded. . In the second and third embodiments, the front left (Lf) and the front right (Rf)
Is not transmitted to the decoding side, the decoding side generates this according to equations (1) and (2).
次に図13、図14を参照して第4の実施形態について説明する。上記の実施形態では
、1グループの相関性の信号「1」〜「6」を予測符号化するように構成されているが、
この第4の実施形態では複数グループの相関性のある信号を生成して予測符号化し、圧縮
率が最も高いグループの予測符号化データを選択するように構成されている。このため図
13に示す符号化部では、第1〜第nの相関回路1−1〜1−nが設けられ、このn個の
相関回路1−1〜1−nは例えば6ch(Lf、C、Rf、Ls、Rs、Lfe)のPCM
データを、相関性が異なるn種類の6ch信号「1」〜「6」に変換する。
Next, a fourth embodiment will be described with reference to FIGS. The above embodiment is configured to predictively encode one group of correlated signals “1” to “6”.
In the fourth embodiment, a plurality of groups of correlated signals are generated and subjected to predictive encoding, and the predictive encoded data of the group having the highest compression rate is selected. For this reason, the encoding unit shown in FIG. 13 is provided with first to n-th correlation circuits 1-1 to 1-n, and these n correlation circuits 1-1 to 1-n are, for example, 6ch (Lf, C , Rf, Ls, Rs, Lfe) PCM
The data is converted into n types of 6ch signals “1” to “6” having different correlations.
例えば第1の相関回路1−1は以下のように変換し、
「1」=Lf
「2」=C−(Ls+Rs)/2
「3」=Rf−Lf
「4」=Ls−a×Lfe
「5」=Rs−b×Rf
「6」=Lfe
また、第nの相関回路1−nは以下のように変換する。
For example, the first correlation circuit 1-1 converts as follows:
“1” = Lf
“2” = C− (Ls + Rs) / 2
“3” = Rf−Lf
“4” = Ls−a × Lfe
“5” = Rs−b × Rf
“6” = Lfe
The n-th correlation circuit 1-n converts as follows.
「1」=Lf+Rf
「2」=C−Lf
「3」=Rf−Lf
「4」=Ls−Lf
「5」=Rs−Lf
「6」=Lfe−C
また、相関回路1−1〜1−n毎に予測回路15とバッファ・選択器16が設けられ、
グループ毎の予測残差の最小値のデータ量に基づいて圧縮率が最も高いグループが相関選
択信号生成器17bにより選択される。このとき、フォーマット化回路19はその選択フ
ラグ(相関回路選択フラグ、その相関回路の相関係数a、b)を追加して多重化する。
“1” = Lf + Rf
“2” = C−Lf
“3” = Rf−Lf
“4” = Ls−Lf
“5” = Rs−Lf
“6” = Lfe-C
Further, a prediction circuit 15 and a buffer / selector 16 are provided for each of the correlation circuits 1-1 to 1-n.
The group having the highest compression rate is selected by the correlation selection signal generator 17b based on the data amount of the minimum value of the prediction residual for each group. At this time, the
また、図14に示す復号化側では、符号化側の相関回路1−1〜1−nに対してn個の
相関回路4−1〜4−n(又は係数a、bが変更可能な図示省略の1つの相関回路)が設
けられる。なお、図13に示すnグループの予測回路が同一の構成である場合、復号装置
では図14に示すようにnグループ分の予測回路を設ける必要はなく、1つのグループ分
の予測回路でよい。そして、符号化装置から伝送された選択フラグに基づいて相関回路4
−1〜4−nの1つを選択、又は係数a、bを設定して元の6ch(Lf、C、Rf、Ls
、Rs、Lfe)を復元し、また、式(2)によりマルチチャネルをダウンミクスしてス
テレオ2chデータ(L、R)を生成する。
Further, on the decoding side shown in FIG. 14, n correlation circuits 4-1 to 4-n (or coefficients a and b can be changed with respect to the correlation circuits 1-1 to 1-n on the encoding side. One correlation circuit (omitted) is provided. When the n groups of prediction circuits shown in FIG. 13 have the same configuration, the decoding device does not need to have n groups of prediction circuits as shown in FIG. Then, based on the selection flag transmitted from the encoding device, the
Select one of -1 to 4-n, or set the coefficients a and b to the original 6ch (Lf, C, Rf, Ls
, Rs, Lfe), and multi-channel is downmixed according to Equation (2) to generate stereo 2ch data (L, R).
また、上記の第1の実施形態では、1種類の相関性の信号「1」〜「6」を予測符号化
するように構成されているが、この信号「1」〜「6」のグループと原信号(Lf、C、
Rf、Ls、Rs、Lfe)のグループを予測符号化し、圧縮率が高い方のグループを選
択するようにしてもよい。
In the first embodiment described above, one type of correlation signal “1” to “6” is configured to be predictively encoded. The group of signals “1” to “6” Original signal (Lf, C,
Rf, Ls, Rs, Lfe) may be predictively encoded, and the group with the higher compression rate may be selected.
1’ 6chミクス&マトリクス回路
13D1,13D2,15D1〜15D4 予測回路(バッファ・選択器14
D1,14D2,16D1〜16D4と共に圧縮手段を構成する。)
14D1,14D2,16D1〜16D4 バッファ・選択器
17 選択信号/DTS生成器(タイミング生成手段)
17c PTS生成器(タイミング生成手段)
19 フォーマット化回路(フォーマット化手段)
21 デフォーマット化回路(分離手段)
22 アンパッキング回路
22a 入力バッファ
24D1,24D2,23D1〜23D4 予測回路(伸長手段)
100 制御部(読み出し手段)
110 出力バッファ
1 '6ch mix & matrix circuit 13D1, 13D2, 15D1-15D4 Prediction circuit (buffer / selector 14)
The compression means is configured together with D1, 14D2, 16D1 to 16D4. )
14D1, 14D2, 16D1 to 16D4 Buffer /
17c PTS generator (timing generator)
19 Formatting circuit (formatting means)
21 Deformatting circuit (separation means)
22
100 Control unit (reading means)
110 Output buffer
Claims (3)
前記元のマルチチャネルを所定のマトリクス演算により、相関あるチャネルであってそのチャネル数が前記2チャネル分少ない数の相関チャネルに変換するステップと、
前記ステレオ2チャネルと前記相関チャネルの音声信号を、チャネル毎に、入力される音声信号に応答して先頭サンプル値を所定時間のフレーム単位で得ると共に、特性が異なる複数の線形予測方法により時間領域の過去から現在の信号の線形予測値がそれぞれ予測され、その予測される線形予測値と前記音声信号とから得られる予測残差が最小となるような線形予測方法を、前記フレームを更に分割したサブフレーム単位に選択して予測符号化するステップと、
SCR情報を含むパックヘッダと、圧縮PCMアクセスユニットを含むユーザデータと、を含んだデータ構造にすると共に、前記圧縮PCMアクセスユニットは前記フレーム中に複数設けられ、前記ステップにより選択されたサブフレーム毎の各チャネルの線形予測方法と予測残差を含む予測符号化データを、前記圧縮PCMアクセスユニット内に配置される前記ステレオ2チャネルの第1のグループと前記相関チャネルの第2のグループにグループ分けしたビットストリームに格納する場合に前記予測残差をビット情報に基づいたビット数でパッキングして格納し、前記圧縮PCMアクセスユニットが前記フレーム中の先頭のものである場合には、さらに、前記ビットストリームにリスタートヘッダを設けると共に前記先頭サンプル値を収納するステップと、
からなる音声符号化方法。 Downmixing the original multi-channel audio signal into a stereo 2-channel audio signal;
Transforming the original multi-channel into a number of correlated channels that are correlated channels, the number of channels being less than the two channels by a predetermined matrix operation;
The audio signals of the stereo 2 channel and the correlation channel are obtained for each channel in response to the input audio signal in a frame unit for a predetermined time, and a plurality of linear prediction methods having different characteristics are used to obtain a time sample by a plurality of linear prediction methods. The frame is further divided by the linear prediction method in which the linear prediction value of the current signal is predicted from the past and the prediction residual obtained from the predicted linear prediction value and the speech signal is minimized . Selecting and encoding in subframe units ;
The data structure includes a pack header including SCR information and user data including a compressed PCM access unit. A plurality of the compressed PCM access units are provided in the frame, and each subframe selected in the step is selected. grouping predictive coded data, the second group of the first group and the correlation channel of the stereo 2 channels disposed in the compressed PCM access unit including a linear prediction method and the prediction residuals for each channel and the prediction residual when stored in the bit stream and stores the packing by the number of bits based on the bit information, if prior Symbol compressed PCM access unit is of the first in the frame, further wherein A restart header is provided in the bit stream and the first sample value is collected. And step you,
A speech encoding method comprising:
前記ヘッダに含まれるSCR情報を分離するステップと、
前記ユーザデータから圧縮PCMアクセスユニットを抽出するステップと、
前記分離されたSCR情報に基づいて前記ビットストリームを保持するステップと、
前記リスタートヘッダを有するビットストリームから前記先頭サンプル値を取り出すと共に、前記各圧縮PCMアクセスユニットに配置されるグループ分けしたビットストリームから、予測残差および線形予測方法を含むサブフレーム単位の予測符号化データを取り出すステップと、
前記予測残差をビット情報に基づいたビット数で復号し、この復号した予測残差と前記先頭サンプル値と線形予測方法とに基づいて予測値を算出するステップと、
この算出された予測値から前記ステレオ2チャネルの音声信号と元のマルチチャネルの音声信号を復元するステップと、
からなる音声復号方法。 A speech decoding method for decoding an original speech signal from data encoded by the speech encoding method according to claim 1,
Separating SCR information contained in the header;
Extracting a compressed PCM access unit from the user data;
Holding the bitstream based on the separated SCR information;
With a bit stream having a pre-Symbol restart header retrieving the beginning sample values, from said bitstream grouped arranged in each compressed PCM access unit, predictive coding sub-frame including the prediction residual and linear prediction method Retrieving the digitized data;
Decoding the prediction residual with the number of bits based on bit information, and calculating a prediction value based on the decoded prediction residual, the leading sample value, and a linear prediction method;
Restoring the stereo 2-channel audio signal and the original multi-channel audio signal from the calculated predicted value;
A speech decoding method comprising:
前記元のマルチチャネルを所定のマトリクス演算により、相関あるチャネルであってそのチャネル数が前記2チャネル分少ない数の相関チャネルに変換するステップと、
前記ステレオ2チャネルと前記相関チャネルの音声信号を、チャネル毎に、入力される音声信号に応答して先頭サンプル値を所定時間のフレーム単位で得ると共に、特性が異なる複数の線形予測方法により時間領域の過去から現在の信号の線形予測値がそれぞれ予測され、その予測される線形予測値と前記音声信号とから得られる予測残差が最小となるような線形予測方法を、前記フレームを更に分割したサブフレーム単位に選択して予測符号化するステップと、
SCR情報を含むパックヘッダと、圧縮PCMアクセスユニットを含むユーザデータと、を含んだデータ構造にすると共に、前記圧縮PCMアクセスユニットは前記フレーム中に複数設けられ、前記ステップにより選択されたサブフレーム毎の各チャネルの線形予測方法と予測残差を含む予測符号化データを、前記圧縮PCMアクセスユニット内に配置される前記ステレオ2チャネルの第1のグループと前記相関チャネルの第2のグループにグループ分けしたビットストリームに格納する場合に前記予測残差をビット情報に基づいたビット数でパッキングして格納し、前記圧縮PCMアクセスユニットが前記フレーム中の先頭のものである場合には、さらに、前記ビットストリームにリスタートヘッダを設けると共に前記先頭サンプル値を収納するステップと、
からなる音声符号化方法により符号化し、
前記選択された先頭サンプル値と、予測残差と線形予測方法とを含む予測符号化データをパケット化して伝送することを特徴とする音声信号伝送方法。 Downmixing the original multi-channel audio signal into a stereo 2-channel audio signal;
Transforming the original multi-channel into a number of correlated channels that are correlated channels, the number of channels being less than the two channels by a predetermined matrix operation;
The audio signals of the stereo 2 channel and the correlation channel are obtained for each channel in response to the input audio signal in a frame unit for a predetermined time, and a plurality of linear prediction methods having different characteristics are used to obtain a time sample by a plurality of linear prediction methods. The frame is further divided by the linear prediction method in which the linear prediction value of the current signal is predicted from the past and the prediction residual obtained from the predicted linear prediction value and the speech signal is minimized . Selecting and encoding in subframe units ;
The data structure includes a pack header including SCR information and user data including a compressed PCM access unit. A plurality of the compressed PCM access units are provided in the frame, and each subframe selected in the step is selected. grouping predictive coded data, the second group of the first group and the correlation channel of the stereo 2 channels disposed in the compressed PCM access unit including a linear prediction method and the prediction residuals for each channel and the prediction residual when stored in the bit stream and stores the packing by the number of bits based on the bit information, if prior Symbol compressed PCM access unit is of the first in the frame, further wherein A restart header is provided in the bit stream and the first sample value is collected. And step you,
Encoded by a speech encoding method comprising:
An audio signal transmission method comprising: packetizing and transmitting predictive encoded data including the selected head sample value, a prediction residual, and a linear prediction method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009085027A JP4591608B2 (en) | 2009-03-31 | 2009-03-31 | Speech coding method, speech decoding method, and speech signal transmission method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009085027A JP4591608B2 (en) | 2009-03-31 | 2009-03-31 | Speech coding method, speech decoding method, and speech signal transmission method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008086531A Division JP4552206B2 (en) | 2008-03-28 | 2008-03-28 | Speech encoding method and speech decoding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009145921A JP2009145921A (en) | 2009-07-02 |
JP4591608B2 true JP4591608B2 (en) | 2010-12-01 |
Family
ID=40916503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009085027A Expired - Fee Related JP4591608B2 (en) | 2009-03-31 | 2009-03-31 | Speech coding method, speech decoding method, and speech signal transmission method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4591608B2 (en) |
-
2009
- 2009-03-31 JP JP2009085027A patent/JP4591608B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009145921A (en) | 2009-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4591606B2 (en) | Speech coding method, speech decoding method, and speech signal transmission method | |
JP4552208B2 (en) | Speech encoding method and speech decoding method | |
JP4164833B2 (en) | Speech encoding method and speech decoding method | |
JP4591608B2 (en) | Speech coding method, speech decoding method, and speech signal transmission method | |
JP4587087B2 (en) | Speech coding method, speech decoding method, and speech signal transmission method | |
JP4591609B2 (en) | Speech coding method, speech decoding method, and speech signal transmission method | |
JP4587086B2 (en) | Speech coding method, speech decoding method, and speech signal transmission method | |
JP4587084B2 (en) | Speech coding method, speech decoding method, and speech signal transmission method | |
JP4587085B2 (en) | Speech encoding method, speech decoding method, and speech signal transmission method | |
JP4591610B2 (en) | Speech coding method, speech decoding method, and speech signal transmission method | |
JP4591611B2 (en) | Speech coding method, speech decoding method, and speech signal transmission method | |
JP4591607B2 (en) | Speech coding method, speech decoding method, and speech signal transmission method | |
JP4591605B2 (en) | Speech coding method, speech decoding method, and speech signal transmission method | |
JP4552207B2 (en) | Speech encoding method and speech decoding method | |
JP4552211B2 (en) | Speech encoding method and speech decoding method | |
JP4552209B2 (en) | Speech encoding method and speech decoding method | |
JP4552210B2 (en) | Speech encoding method and speech decoding method | |
JP4552206B2 (en) | Speech encoding method and speech decoding method | |
JP3791800B2 (en) | Optical recording medium and audio decoding device | |
JP3821381B2 (en) | Speech encoding method and speech decoding method | |
JP4164831B2 (en) | Speech encoding method and speech decoding method | |
JP3791799B2 (en) | Optical recording medium and audio decoding device | |
JP4200991B2 (en) | Speech encoding method and speech decoding method | |
JP4196354B2 (en) | Speech encoding method and speech decoding method | |
JP4196353B2 (en) | Speech encoding method and speech decoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100723 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100817 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100830 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |