JP5069909B2 - ブロック系列化に基づくオーディオコーディング - Google Patents
ブロック系列化に基づくオーディオコーディング Download PDFInfo
- Publication number
- JP5069909B2 JP5069909B2 JP2006551239A JP2006551239A JP5069909B2 JP 5069909 B2 JP5069909 B2 JP 5069909B2 JP 2006551239 A JP2006551239 A JP 2006551239A JP 2006551239 A JP2006551239 A JP 2006551239A JP 5069909 B2 JP5069909 B2 JP 5069909B2
- Authority
- JP
- Japan
- Prior art keywords
- groups
- group
- blocks
- block
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012163 sequencing technique Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 112
- 238000012545 processing Methods 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 32
- 230000003595 spectral effect Effects 0.000 claims description 28
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 10
- 238000012804 iterative process Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 abstract description 2
- 239000013598 vector Substances 0.000 description 26
- 238000005457 optimization Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 21
- 238000013459 approach Methods 0.000 description 10
- 238000005192 partition Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000000873 masking effect Effects 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000003796 beauty Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- UNPLRYRWJLTVAE-UHFFFAOYSA-N Cloperastine hydrochloride Chemical compound Cl.C1=CC(Cl)=CC=C1C(C=1C=CC=CC=1)OCCN1CCCCC1 UNPLRYRWJLTVAE-UHFFFAOYSA-N 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 241001331845 Equus asinus x caballus Species 0.000 description 1
- 206010021403 Illusion Diseases 0.000 description 1
- 241001024304 Mino Species 0.000 description 1
- 241000244206 Nematoda Species 0.000 description 1
- 241000287463 Phalacrocorax Species 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001447 compensatory effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Road Signs Or Road Markings (AREA)
Description
図1はオーディオコーディングシステムを示し、ここではエンコーダ10が経路5からオーディオ信号の少なくとも一つのチャンネルを表すオーディオ情報の少なくとも一つのストリームを受け取る。エンコーダ10はオーディオ情報のストリームを処理して、経路15に沿って送信又は記録可能なエンコード化信号を生成する。このエンコード化信号はその後デコーダ20により受け取られ、このデコーダ20はエンコード化信号を処理して経路25に沿って、経路5から受け取られたオーディオ情報の複製を生成する。複製のコンテンツは原オーディオ情報と同一ではないかもしれない。エンコーダ10が可逆符号化法を用いてエンコード化信号を生成するならば、デコーダ20は原理的には原オーディオ情報ストリームと同一の複製を回復することができる。エンコーダ10が例えば知覚コーディングなどの非可逆符号化技術を用いるならば、回復された複製のコンテンツは一般に原ストリームのコンテンツと同一ではないが、知覚的には原コンテンツとは区別できないであろう。
以下の説明は本発明の様々な態様をフレームに構成されたオーディオ情報のブロックのグループの処理を最適化するオーディオコーディングシステムに組み込みうる仕方を説明する。最適化はまず数値的な最小化問題として表現される。この数値的な枠組みは種々の程度の計算の複雑さを有し、且つ種々の程度の最適化を与える幾つかの実装を開発するために用いられる。
グループは、フレーム内の可変な数のグループを許すことにより最適化処理における自由度を与える。最適グループ化構成を計算する目的で、グループの数および各グループ内のブロックの数はフレームからフレームへ変化しうるものとする。更に、グループは単独のブロックからなるか、又は全てが単独のフレーム内にある複数のブロックからなるとする。実行すべき最適化は、少なくとも一つの制約条件が与えられたもとで、フレーム内のブロックのグループ化を最適化することである。これらの制約条件は、用途によって変化してもよく、エンコード化信号の忠実性のような信号処理結果の優秀さの最大化として表現されてもよいし、或いはエンコード化信号歪のような逆処理結果〔不都合な処理結果〕の最小化として表現されてもよい。例えば、オーディオコーダーは、エンコード化信号の所与のデータレートについての歪みを最小化することを要求する制約条件を持ってもよく、或いはエンコード化信号データレートをエンコード化信号歪みのレベルに対してトレードオフすることを要求する制約条件を持っていてもよい。一方、解析/検出/分類システムは計算の複雑さに対して解析、検出又は分類の精度をトレードオフすることを要求する制約条件を持ってもよい。信号歪みの指標を以下に説明するが、これらは使用し得る幅広い多様な品質指標の単なる例である。以下に説明する技法は、比較を逆にし、高い、低いまたは最大、最小のような相対量に対する言及を逆にすることにより、たとえばエンコード化信号の忠実性などの信号処理の優秀さの指標とともに用いてもよい。
「歪み」の意味は最適化を推進する量の用語として規定されているが、この歪みは、オーディオエンコーダにおけるブロックの最適グループ化を見出す処理により用いることができるものにまだ関係付けられていない。ここで必要とされるのは、最適化処理を最適解へ向わせることができるエンコード化信号品質の指標である。最適化はブロックのグループにおける各ブロックについての制御パラメータの共通セットを用いるように指向されているので、エンコード化信号品質の指標は、各ブロックに適用され、且つグループ内の全てのブロックについての単独の代表的な値又は複合的指標へ容易に組み合わせることができる何かに基づくべきである。
本発明の実施は最適化処理を推進するために帯域化歪又はブロック歪値の何れを用いてもよい。帯域歪みを用いるかブロック歪を用いるかは、一つのブロックから次のブロックへの帯域化エネルギーの変動に大幅に依存する。以下の定義が与えられる。
v m,jはブロックmにおける帯域jについての帯域化エネルギーを表すベクトル成分 (1b)
エンコードされる信号にメモリがなく(memoryless)μ(v m,j,v m+1,j)=0であれば(ここでK個の周波数帯域について0≦j≦K−1であり、μは隣接するブロック間の相互情報の度合いの指標である)、スカラーエネルギー指標u m を用いるシステムは、帯域化エネルギー測度v m,jをを用いるシステムと同じくらいよく機能する。Jayant et al.,”Digital Coding of Waveforms”(Prentice−Hall、ニュージャージー,1984年)を参照されたい。換言すれば、相続くブロックがスペクトルエネルギーレベルにおいてほとんど類似性を持たないならば、スカラーエネルギーは指標として帯域化エネルギーと同じくらいよく機能する。一方、以下に説明するように、相続くブロックがスペクトルエネルギーレベルに高い度合いの類似性を持つならば、スカラーエネルギーは、エンコーディング能力に深刻な不利益を課すことなく、パラメータが2つ又はそれ以上のブロックに共通であってもよいか否かを示す満足のいく指標を与えないことがありうる。
本発明を採用する応用に基づいて考慮すべき多くの条件がある。以下に説明する本発明の実施はオーディオ符号化方式である。従って、関連する制約条件はオーディオ情報の符号化に関連するパラメータである。例えば、サイドコスト条件はグループ内の全てのブロックに対して共通である制御パラメータを送る必要性から生じる。より高いサイドコストは各ブロックについてのより低い歪みで信号を符号化することを可能とするが、サイドコストにおける増大は、一定数のビットを各フレームに割り当てなければならないのであれば、フレーム内の全てのブロックについての全歪みを増大させることがある。本発明の特定の実施を他のものにも増して有利なものとする、実施の複雑さに対して課される制約条件もありうる。
以下はオーディオ符号化方式における歪みを最適にするための数値的な問題定義である。
ここでSはベクトル(s 0,...,s p)であり、
Gm={Vi|i∈Im) (4)
である。記号Gmはグループ内のブロックを代表する。
A*(S)=A(S)+Dist{(p−1)c} (14)
ここでM(S)はM’(S)でもM’’(S)でもよく、
Dist{}はサイドコストを歪みと同じ単位で表すマッピングである。
Dist{C}=6.02dB・C
であり、ここでCはビットで表したサイドコストである。
あるいはまた、最適化は閾値を使う数値的問題として定式化されてもよい。即ち、pのあらゆる整数値(但し、1≦p≦N)について、関係0=s 0 <s 1 <...<s p =Nを満たすベクトルS=(s 0 ,s 1 ,・・・,s p )を、所望の歪関数M(S),M*(S),A(S)又はA*(S)の値が仮定閾値Tを下回るように決定する。これらのベクトルから、pについての最小値をベクトルSを見つける。この手法に対する代替は、1からNへのpの増加する値にわたって逐次反復し、閾値制約条件を満たす最初のベクトルSを選択することである。この手法について以下に一層詳細に説明する。
AC−3システムで用いられるチャンネルカップリングのような統合〔ジョイント〕ステレオ/多チャンネルコーディング法、及びAACシステムで用いられる中間/側部ステレオコーディング−又は強度ステレオコーディングを採用するステレオ又は多チャンネルコーディングシステムのためには、全てのチャンネルのオーディオ情報を特定のコーディングシステムについて適切な短いブロックモードでエンコードして、全てのチャンネルにおけるオーディオ情報が同数のグループ及び同じグループ分け構成を持つようにするべきである。この制約は、サイドコストの主要な源であるスケール因子が統合的にエンコードされるチャンネルのうちの一つについてのみ与えられるために適用される。このことはスケール因子の1セットが全てのチャンネルへ適用されるので、全てのチャンネルが同一のグループ化構成を持つことを意味している。
本発明は基本的に任意の所望の方法を用いて最適解を検索しうる。ここで三通りの方法を説明する。
「全数検索法」は計算集約的であるが、常に最適解を発見する。一つのアプローチは、全ての可能なグループ数および各グループ数についての全ての可能なグループ化構成とを計算し;各グループ数についての最小歪を持つグループ化構成を特定し;最小歪を有する構成を選択することにより最適なグループ数を決定する。これに代えて、各グループ数についての最小歪を閾値と比較して、その閾値を下回る歪み指標を有する最初のグループ化構成が見つかった後に検索を終了することもできる。この代替的な実施は、許容可能な解を見出すための検索の計算上の複雑さを低減するが、最適な解を見つけることは保証できない。
好ましくは本発明の実施は最適なグループ化構成を検索する際、サイドコストにおける変化を考慮する。
1.全数検索法
全数検索法はグループ化構成の数及び試験されるグループの数を制限するために閾値を用いる。この技術は、pの実際の値を設定するために閾値に専ら頼ることにより単純化できる。これは閾値を0.0と1.0との間の或る数に設定し、グループの可能な数pに亘って逐次反復することにより実行できる。最適なグループ構成及び結果的な歪関数がp=1について、そしてTに対する各比較についてpを一つずつ増加させて計算される。結果的な歪はTに対して比較され、歪関数がT未満となるpの最初の値が最適なグループ数として選択される。経験的に閾値Tの値を設定することにより、広範な異なる入力信号について短いウィンドウフレームの大きなサンプリングに跨るpのガウス分布を達成することが可能である。このガウス分布は広範な入力信号に亘ってpのより高い又はより低い平均値を可能とするようにTの値を設定することによりシフトされてもよい。この処理は図2のフローチャートに示されており、これはグループの最適数を見つけるための外側ループにおける処理を示す。内側ループについての好適な処理は図3A及び図3Bに示されており、以下に説明する。関数M(S),M*(S),A(S)及びA*(S)を含め本明細書に説明した任意の歪関数を用いてよい。
〔表1の第1列は「グループ境界の数(p−1)」を表し、第2列は「表の長さ(7のうちp−1)」を表し、第3列は「s 1 ,s 2 ,...,s p−1 の組み合わせ(ビットフィールドの形)」を表す。〕
表の各エントリー即ち行は、0<p<N,N=8の異なる値pに対応する。この表は図3A及び図3Bの論理フロー図(図2に示す処理の内側ループ)に示したような反復処理に用いてもよい。この内側ループは全ての可能なグループ構成(その数は7のうちp−1)にわたって逐次反復される。フロー図における表記TAB[p,r]に示すように、外側ループにより与えられたp値は表の行にインデックスを付しており、値rは特定のグループ分けの組み合わせについてのビットフィールドのインデックスである。
2.高速最適法
高速最適法は式7で定義した平均最大歪M’(S)を用いる。この手法は、全ての可能な解を通じた全数検索をする必要なく、最適グループ化構成を得る。従って、上述した全数検索法のように計算集約的ではない。
分割P(s 0,...,sp)は、p個のグループから構成されているならば、レベルpの分割と称する。グループの次元dは、そのグループにおけるブロックの数である。1よりも大きい次元を有するグループを正のグループと称する。式4に示したグループGmの定義はGm=G(sm−1,sm−1+1....、s m)と書き換えられる。
d>3の次元を持つグループは、ちょうど一つの共通のブロックを持つ二つのサブグループへ分割することができる。例えば、Gm=G(sm−1,sm−1+1....,s m)であるならば、このグループGmは二つのサブグループ即ちGma=G(sm−1,sm−1+1....,sm−1+k)及びGmb(sm−1+k,..,sm)へ分割することができ、その両方は指数sm−1+kを持つブロックを包含している。定義により、これら二つのサブグループは同一の分割の一部にはなりえない。グループを二つの正の重畳するサブグループへ分割する手法は、与えられたグループを二つ又はそれ以上の正の重畳するサブグループへ分割する手法に一般化することができる。
ここでGma及びGmb はグループG mの重畳するサブグループである。これはJm,j ≧max(J’ma,j,Jmb,j)が全てのj,1≦j≦kについて真であることを示すことにより証明できる。この関係を式6で示されたJ’(m)の定義に挿入することにより、表式15における関係が見い出されることがわかるであろう。
高速最適法の基礎をなす原理を理解するために、まず、レベルpの分割を定義する全てのベクトルs 1 ,...,s pについてM’(S)=M’(s1,..,sp)を最小化するレベルpの所与の分割P p を想定する。スペクトル係数の特定の値とは独立に、レベルp−1の分割を定義する全てのベクトルS=(s1,...,sp)についてM’(s1,..,sp)を最小化するレベルp−1の唯一の分割Pp−1ではありえないレベルp−1の分割Fが存在する。換言すれば、これらの分割Fの一つが、レベルp−1の分割を定義する全てのベクトルSについてM’(S)を最小化するならば、レベルp−1の分割を定義する全てのベクトルSについてM’’(S)を最小化する他の分割も少なくとも一つは存在する。これら分割Fについて、X(p,P)で示されるサブセットX(p,P)を定義でき、これは以下に詳述するように最適解を見出すのに必要な処理の一部から排除できるレベルpにおける特定の分割を包含する。このサブセットX(p,P)は以下のように定義できる。
高速最適法はフレームのN個のブロックをp=N個のグループに分割することにより開始されて、平均最大歪関数M’(S)又はM*(S)を計算する。この分割はPNで示される。この方法はN個のブロックをg=N−1個のグループへ分割する全てのN−1個の可能な仕方について平均最大歪関数を計算する。これらN−1個の分割のうち平均最大歪関数を最小化する特定の分割はPN−1で示される。セットX(N−1、PN−1)に属する分割は上述のように特定される。この方法は次いで、N個のブロックをセットX(N−1,P N−1 )に属さないg=N−1個のグループへ分割する全ての可能な仕方について平均最大歪関数を計算する。平均最大歪関数を最小化する分割はPN−2で示される。高速最適法は、この処理をp=N−2,...,1について逐次反復し、各レベルにおけるセットX(p,P p )を用いて分割P p−1 を見出し、可能な解として解析される分割の数を低減させる。
以下の例は高速最適法の説明を助けると共に可能な態様の特徴を記載するものである。この例では、各フレームが六つのブロックを含んでいる、即ちN=6である。或る分割を上述のセットX(p,Pp)へ加えるべきか否かの判断に必要な処理を単純化するために、制御表のセットを用いてもよい。この例のために表のセット即ち表2A乃至2Cを示す。
3.Greedy Merge〔貪欲な併合〕の説明
Greedy Merge法はフレーム内の諸ブロックを諸グループへ分割する単純化された技法を与える。Greedy Merge法は最適なグループ化構成が見つかることは保証しないが、この方法により与えられる計算上の複雑さの低減は、殆どの実際的な用途については、最適性における低下がありうること以上に望ましい。
本発明の様々な態様を組み込むデバイスは、コンピュータ又は、汎用コンピュータに見られるのと同様なコンポーネントへ結合されたディジタル信号プロセッサ(DSP)回路系のようなより特化したコンポーネントを含む他の何らかのデバイスにより実行されるソフトウェアを含む多様な仕方で実装されうる。図6はデバイス70の概略的ブロック図であり、これは本発明の態様を実施するために用いることができる。DSP72はコンピューティング資源を与える。RAM73は、処理のためにDSP72によって用いられるシステムランダムアクセスメモリ(RAM)である。ROM74は、例えばリードオンリーメモリ(ROM)などの何らかの形の固定記憶装置を示し、デバイス70を動作させるのために、また場合によっては本発明の様々な態様を実行するために必要なプログラムを記憶する。I/Oコントロール75は通信チャンネル76,77により信号を送受信するインターフェース回路系を示す。図示の実施例においては、全ての主要なシステムコンポーネントはバス71へ接続し、このバスは二つ以上の物理的又は論理的バスを表すが、バスのアーキテクチュアは本発明の実施には要求されない。
Claims (33)
- フレームに配置されたオーディオ情報のブロックの処理のための方法であって、各ブロックはオーディオ情報の各時間間隔を表すコンテンツを有し、この方法は、
(a)オーディオ情報のブロックを伝送する入力信号を受け取る段階と、
(b)少なくとも二つ以上の特性値を獲得する段階であって、ここで、
(1)各フレームにおける前記ブロックのグループの複数のセットにおける各セットは関連する特性値を有し、
(2)各グループは少なくとも一つのブロックを有し、
(3)グループの各セットは各フレームにおける全てのブロックを含むと共に、各セットにおける一つよりも多くのグループに含まれるブロックはなく、
(4)前記特性値は、各グループに関連する少なくとも一つの制御パラメータに従って各グループにおける各ブロックをエンコード化することにより獲得可能なエンコード化出力信号の忠実性を表すところの、
段階と、
(c)二つ以上のコスト値を得る段階であって、各コスト値はブロックのグループの一つのセットに提携しており、前記コスト値は関連する前記制御パラメータに従って前記提携セット内の前記ブロックをエンコード化するのに必要な資源の量を表す、段階と、
(d)前記特性値を解析して、選択されたセットに関連する特性値および前記選択されたセットと提携したコスト値から得られるエンコード化性能値が閾値よりも高くなるような、最小数のグループを有する選択されたグループのセットを特定する段階と、
(e)少なくとも一つの制御パラメータの関連するセットに従ってグループの前記選択されたセットにおけるブロックの各グループをエンコード化してエンコード化出力信号を生成する段階であって、このエンコード化出力信号は、前記入力信号のコンテンツを表し、且つ前記選択されたセットにおける各グループについての関連する制御パラメータを表す、段階とを含む方法。 - 請求項1の方法において、前記ブロックはオーディオ情報の時間域サンプルを含む方法。
- 請求項1の方法において、前記ブロックはオーディオ情報の周波数域係数を含む方法。
- 請求項1乃至3の何れか一項の方法において、前記グループの少なくとも一対のブロックは、互いに隣接又は互いに重畳する時間間隔におけるオーディオ情報を表すコンテンツを有する一つよりも多くのブロックを有する方法。
- 請求項1乃至4の何れか一項の方法において、前記解析は、前記選択されたセットについての候補ではない少なくとも一つのセットを決定するための反復処理の少なくとも一回の反復を実行すると共に、後続の反復処理においては前記少なくとも一つのセットの解析を除外する方法。
- 請求項1乃至4の何れか一項の方法において、前記選択されたセットは反復処理により同定され、この処理は、
グループの初期セットにおけるグループの諸対についての第2のエンコード化性能値を決定する段階と、
最も高い第2のエンコード化性能値が前記閾値より高ければ、前記最も高い第2のエンコード化性能値を有するグループ対を統合して、グループの変更されたセットを形成すると共に、このグループの変更セットにおけるグループの諸対についての第2のエンコード化性能値を決定する段階と、
前記グループの変更セットに前記閾値よりも大きな第2のエンコード化性能値を有すグループ対がなくなるまで前記統合を繰り返し、前記変更セットを前記選択されたセットとする段階とを含む方法。 - 請求項1乃至4の何れか一項の方法において、各フレームはNに等しいブロック数を有すると共に、前記特性値の解析は、
pはフレーム内のブロックのグループ数であるとして、1からNまでの値pについて逐次反復し、
pの各値について、前記閾値よりも高いエンコード化性能値を有するグループの少なくとも幾つかのセットを特定し、
グループの少なくとも幾つかの特定されたセットを解析し、解析されたグループのセット内のエンコード化性能値を最大化するグループの選択されたセットを決定することを含む方法。 - 請求項1乃至7の方法において、各フレーム内の各ブロックはスペクトル係数を含み、グループの特定のセットについてのエンコード化性能値は、グループの前記特定のセットについての当該フレームにおけるスペクトル係数と各ブロックが単独でそれ自身のグループをなす場合の当該フレームにおけるスペクトル係数との間のエラーエネルギー値を表す、方法。
- 請求項1乃至8の何れか一項の方法において、前記エンコード化性能値は、ブロックからなる各フレームを表すために使えるビットの全数に応じて決められる方法。
- 請求項1の方法において、前記コスト値はエンコード化信号における前記制御パラメータのセットを表すのに必要なデータの量に対応する方法。
- 請求項1の方法において、前記コスト値はオーディオ情報のブロックをエンコード化するのに必要なコンピュータ資源の量に対応する方法。
- フレームに配置されたオーディオ情報のブロックを処理する装置であって、各ブロックはオーディオ情報の各時間間隔を表すコンテンツを有し、この装置は、
オーディオ情報のブロックを伝送する入力信号を受け取る手段と、
少なくとも二つ以上の特性値を獲得する手段であって、
(1)各フレームにおける前記ブロックのグループの複数のセットにおける各セットは関連する特性値を有し、
(2)各グループは少なくとも一つのブロックを有し、
(3)グループの各セットは各フレームにおける全てのブロックを含むと共に、各セットにおける一つよりも多くのグループに含まれるブロックはなく、
(4)前記特性値は、少なくとも一つの制御パラメータの関連するセットに従って各グループにおける各ブロックを処理することにより獲得可能なエンコード化出力信号の忠実性を表す、
ところの手段と、
(c)二つ以上のコスト値を得る手段であって、各コスト値はブロックのグループの一つのセットに提携しており、前記コスト値は前記制御パラメータの関連セットに従って前記提携セットにおける前記ブロックを処理するのに必要な資源の量を表す、手段と、
(d)前記特性値を解析して、選択されたセットに関連する特性値および前記選択されたセットと提携したコスト値から得られるエンコード化性能値が閾値よりも高くなるような、最小数のグループを有する選択されたグループのセットを特定する解析手段と、
少なくとも一つの制御パラメータの関連するセットに従ってグループの前記選択されたセットにおけるブロックの各グループをエンコード化して出力信号を生成し、この出力信号は、前記入力信号のコンテンツを表す出力信号を生成し、且つ前記選択されたセットにおける各グループについての制御パラメータの関連するセットを表す手段とを備える装置。 - 請求項12の装置において、前記ブロックはオーディオ情報の時間域サンプルを含む装置。
- 請求項12の装置において、前記ブロックはオーディオ情報の周波数域係数を含む装置。
- 請求項12乃至14の何れか一項の装置において、前記グループの少なくとも一対のブロックは、互いに隣接又は互いに重畳する時間間隔におけるオーディオ情報を表すコンテンツを有する一つよりも多くのブロックを有する装置。
- 請求項12乃至15の何れか一項の装置において、前記解析手段は、前記選択されたセットについての候補ではない少なくとも一つのセットを決定するための反復処理の少なくとも一回の反復を実行すると共に、後続の反復処理においては前記少なくとも一つのセットの解析を除外する装置。
- 請求項12乃至15の何れか一項の装置において、前記解析手段が実行する解析は、
グループの初期セットにおけるグループの諸対についての第2のエンコード化性能値を決定し、
最も高い第2のエンコード化性能値が前記閾値より高ければ、前記最も高い第2のエンコード化性能値を有するグループ対を統合して、グループの変更されたセットを形成すると共に、このグループの変更セットにおけるグループの諸対についての第2のエンコード化性能値を決定し、
前記グループの変更セットに前記閾値よりも大きな第2のエンコード化性能値を有すグループ対がなくなるまで前記統合を繰り返し、前記変更セットを前記選択されたセットとすることである、
装置。 - 請求項12乃至15の何れか一項の装置において、各フレームはNに等しいブロック数を有すると共に、前記特性値を解析する前記解析手段は、
pはフレーム内のブロックのグループの数であるとして、1からNまでの値pについて逐次反復させる手段と、
pの各値について、前記閾値よりも高いエンコード化性能値を有するグループの少なくとも幾つかのセットを特定する手段と、
グループの少なくとも幾つかの特定されたセットを解析し、解析されたグループのセット内のエンコード化性能値を最大化するグループの選択されたセットを決定する手段とを含む装置。 - 請求項12の装置において、各フレーム内の各ブロックはスペクトル係数を含み、グループの特定のセットについてのエンコード化性能値は、グループの前記特定のセットについての当該フレームにおけるスペクトル係数と各ブロックが単独でそれ自身のグループをなす場合の当該フレームにおけるスペクトル係数との間のエラーエネルギー値を表す、装置。
- 請求項12乃至19の何れか一項の装置において、前記エンコード化性能値は、ブロックからなる各フレームを表すのに使えるビットの全数に応じて決められる装置。
- 請求項12の装置において、前記コスト値はエンコード化信号における前記制御パラメータのセットを表すのに必要なデータの量に対応する装置。
- 請求項12の装置において、前記コスト値は前記オーディオ情報のブロックを処理するのに必要なコンピュータ資源の量に対応する装置
- フレームに配置されたオーディオ情報のブロックを処理する方法をデバイスに実行させるためのプログラムを保持するコンピュータ読み取り可能な記録媒体であって、各ブロックはオーディオ情報の各時間間隔を表すコンテンツを有し、前記方法は、
(a)オーディオ情報のブロックを伝送する入力信号を受け取る段階と、
(b)少なくとも二つ以上の特性値を獲得する段階であって、
(1)各フレームにおける前記ブロックのグループの複数のセットにおける各セットは関連する特性値を有し、
(2)各グループは少なくとも一つのブロックを有し、
(3)グループの各セットは各フレームにおける全てのブロックを含むと共に、各セットにおける一つよりも多くのグループに含まれるブロックはなく、
(4)前記特性値は、少なくとも一つの制御パラメータの関連するセットに従って各グループにおける各ブロックをエンコード化することにより獲得可能なエンコード化出力信号の忠実性を表す、
ところの段階と、
(c)二つ以上のコスト値を得る段階であって、各コスト値はブロックのグループの一つのセットに提携しており、前記コスト値は前記制御パラメータの関連セットに従って前記提携セットにおける前記ブロックを処理するのに必要な資源の量を表す、段階と、
(d)前記特性値を解析して、選択されたセットに関連する特性値および前記選択されたセットと提携したコスト値から得られるエンコード化性能値が閾値よりも高くなるような、最小数のグループを有する選択されたグループのセットを特定する段階と、
(e)少なくとも一つの制御パラメータの関連するセットに従ってグループの前記選択されたセットにおけるブロックの各グループをエンコード化して出力信号を生成し、この出力信号は、前記入力信号のコンテンツを表す出力信号を生成し、且つ前記選択されたセットにおける各グループについての制御パラメータの関連するセットを表す段階とを含む媒体。 - 請求項23のコンピュータ読み取り可能な記録媒体において、前記ブロックはオーディオ情報の時間域サンプルを含むコンピュータ読み取り可能な記録媒体。
- 請求項23のコンピュータ読み取り可能な記録媒体において、前記ブロックはオーディオ情報の周波数域係数を含むコンピュータ読み取り可能な記録媒体。
- 請求項23乃至25のコンピュータ読み取り可能な記録媒体において、前記グループの少なくとも一対のブロックは、互いに隣接又は互いに重畳する時間間隔におけるオーディオ情報を表すコンテンツを有する一つよりも多くのブロックを有するコンピュータ読み取り可能な記録媒体。
- 請求項23乃至26の何れか一項のコンピュータ読み取り可能な記録媒体において、
前記解析は、前記選択されたセットについての候補ではない少なくとも一つのセットを決定するための反復処理の少なくとも一回の反復を実行すると共に、後続の反復処理においては前記少なくとも一つのセットの解析を除外するコンピュータ読み取り可能な記録媒体。 - 請求項23乃至26の何れか一項のコンピュータ読み取り可能な記録媒体において、
前記選択されたセットは反復処理により同定され、この反復処理は、
グループの初期セットにおけるグループの諸対についての第2のエンコード化性能値を決定する段階と、
最も高い第2のエンコード化性能値が前記閾値より高ければ、前記最も高い第2のエンコード化処理性能値を有するグループ対を統合して、グループの変更されたセットを形成すると共に、このグループの変更セットにおけるグループの諸対についての第2のエンコード化処理性能値を決定する段階と、
前記グループの変更セットに前記閾値よりも大きな第2のエンコード化性能値を有すグループ対がなくなるまで前記統合を繰り返し、前記変更セットを前記選択セットとする段階とを含むコンピュータ読み取り可能な記録媒体。 - 請求項23乃至26の何れか一項のコンピュータ読み取り可能な記録媒体において、
各フレームはNに等しいブロック数を有すると共に、前記特性値の解析は、
pはフレーム内のブロックのグループ数であるとして、1からNまでの値pについて逐次反復し、
pの各値について、前記閾値よりも高いエンコード化性能値を有するグループの少なくとも幾つかのセットを特定し、
グループの少なくとも幾つかの特定されたセットを解析し、解析されたグループのセット内のエンコード化性能値を最大化するグループの選択されたセットを決定することを含むコンピュータ読み取り可能な記録媒体。 - 請求項23乃至29の何れか一項のコンピュータ読み取り可能な記録媒体において、
求項12の装置において、各フレーム内の各ブロックはスペクトル係数を含み、グループの特定のセットについてのエンコード化性能値は、グループの前記特定のセットについての当該フレームにおけるスペクトル係数と各ブロックが単独でそれ自身のグループをなす場合の当該フレームにおけるスペクトル係数との間のエラーエネルギー値を表す、コンピュータ読み取り可能な記録媒体。 - 請求項23乃至30の何れか一項のコンピュータ読み取り可能な記録媒体において、前記エンコード化性能値は、ブロックからなる各フレームを表すのに使えるビットの全数に応じて決められる、コンピュータ読み取り可能な記録媒体。
- 請求項23のコンピュータ読み取り可能な記録媒体において、前記コスト値はエンコード化信号における前記制御パラメータのセットを表すのに必要なデータの量に対応するコンピュータ読み取り可能な記録媒体。
- 請求項23のコンピュータ読み取り可能な記録媒体において、前記コスト値は前記オーディオ情報のブロックをエンコード化するのに必要なコンピュータ資源の量に対応するコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US53798404P | 2004-01-20 | 2004-01-20 | |
US60/537,984 | 2004-01-20 | ||
PCT/US2005/001715 WO2005071667A1 (en) | 2004-01-20 | 2005-01-19 | Audio coding based on block grouping |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007523366A JP2007523366A (ja) | 2007-08-16 |
JP2007523366A5 JP2007523366A5 (ja) | 2012-03-29 |
JP5069909B2 true JP5069909B2 (ja) | 2012-11-07 |
Family
ID=34807152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006551239A Expired - Fee Related JP5069909B2 (ja) | 2004-01-20 | 2005-01-19 | ブロック系列化に基づくオーディオコーディング |
Country Status (16)
Country | Link |
---|---|
US (1) | US7840410B2 (ja) |
EP (1) | EP1706866B1 (ja) |
JP (1) | JP5069909B2 (ja) |
KR (1) | KR20060131798A (ja) |
CN (1) | CN1910656B (ja) |
AT (1) | ATE389932T1 (ja) |
AU (1) | AU2005207596A1 (ja) |
CA (1) | CA2552881A1 (ja) |
DE (1) | DE602005005441T2 (ja) |
DK (1) | DK1706866T3 (ja) |
ES (1) | ES2299998T3 (ja) |
HK (1) | HK1091024A1 (ja) |
IL (1) | IL176483A0 (ja) |
PL (1) | PL1706866T3 (ja) |
TW (1) | TW200534602A (ja) |
WO (1) | WO2005071667A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8154554B1 (en) | 2006-07-28 | 2012-04-10 | Nvidia Corporation | Unified assembly instruction set for graphics processing |
US8396119B1 (en) * | 2009-09-30 | 2013-03-12 | Ambarella, Inc. | Data sample compression and decompression using randomized quantization bins |
PL3998606T3 (pl) * | 2009-10-21 | 2023-03-06 | Dolby International Ab | Nadrpóbkowanie w połączonym banku filtrów modułu transpozycji |
JP2013050663A (ja) * | 2011-08-31 | 2013-03-14 | Nippon Hoso Kyokai <Nhk> | 多チャネル音響符号化装置およびそのプログラム |
CN103544957B (zh) | 2012-07-13 | 2017-04-12 | 华为技术有限公司 | 音频信号的比特分配的方法和装置 |
US10141004B2 (en) * | 2013-08-28 | 2018-11-27 | Dolby Laboratories Licensing Corporation | Hybrid waveform-coded and parametric-coded speech enhancement |
EP2993665A1 (en) * | 2014-09-02 | 2016-03-09 | Thomson Licensing | Method and apparatus for coding or decoding subband configuration data for subband groups |
WO2016040885A1 (en) * | 2014-09-12 | 2016-03-17 | Audience, Inc. | Systems and methods for restoration of speech components |
EP3332557B1 (en) | 2015-08-07 | 2019-06-19 | Dolby Laboratories Licensing Corporation | Processing object-based audio signals |
WO2020077046A1 (en) * | 2018-10-10 | 2020-04-16 | Accusonus, Inc. | Method and system for processing audio stems |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5109417A (en) * | 1989-01-27 | 1992-04-28 | Dolby Laboratories Licensing Corporation | Low bit rate transform coder, decoder, and encoder/decoder for high-quality audio |
BR9204799A (pt) | 1991-03-29 | 1993-07-13 | Sony Corp | Processo de codificacao para um sinal digital |
US6167375A (en) * | 1997-03-17 | 2000-12-26 | Kabushiki Kaisha Toshiba | Method for encoding and decoding a speech signal including background noise |
DE19730130C2 (de) * | 1997-07-14 | 2002-02-28 | Fraunhofer Ges Forschung | Verfahren zum Codieren eines Audiosignals |
US6300888B1 (en) * | 1998-12-14 | 2001-10-09 | Microsoft Corporation | Entrophy code mode switching for frequency-domain audio coding |
JP3739959B2 (ja) * | 1999-03-23 | 2006-01-25 | 株式会社リコー | デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体 |
JP2001154698A (ja) * | 1999-11-29 | 2001-06-08 | Victor Co Of Japan Ltd | オーディオ符号化装置及びその方法 |
JP3597750B2 (ja) * | 2000-04-11 | 2004-12-08 | 松下電器産業株式会社 | グループ化方法及びグループ化装置 |
JP4635400B2 (ja) * | 2001-09-27 | 2011-02-23 | パナソニック株式会社 | オーディオ信号符号化方法 |
CN1288622C (zh) * | 2001-11-02 | 2006-12-06 | 松下电器产业株式会社 | 编码设备和解码设备 |
JP3984468B2 (ja) * | 2001-12-14 | 2007-10-03 | 松下電器産業株式会社 | 符号化装置、復号化装置及び符号化方法 |
JP4272897B2 (ja) * | 2002-01-30 | 2009-06-03 | パナソニック株式会社 | 符号化装置、復号化装置およびその方法 |
US7110941B2 (en) * | 2002-03-28 | 2006-09-19 | Microsoft Corporation | System and method for embedded audio coding with implicit auditory masking |
US20030215013A1 (en) * | 2002-04-10 | 2003-11-20 | Budnikov Dmitry N. | Audio encoder with adaptive short window grouping |
JP2003338998A (ja) * | 2002-05-22 | 2003-11-28 | Casio Comput Co Ltd | 画像保存システム、及び画像保存装置 |
JP4062971B2 (ja) * | 2002-05-27 | 2008-03-19 | 松下電器産業株式会社 | オーディオ信号符号化方法 |
US7283968B2 (en) * | 2003-09-29 | 2007-10-16 | Sony Corporation | Method for grouping short windows in audio encoding |
JP2005165056A (ja) * | 2003-12-03 | 2005-06-23 | Canon Inc | オーディオ信号符号化装置及び方法 |
-
2005
- 2005-01-19 PL PL05711669T patent/PL1706866T3/pl unknown
- 2005-01-19 JP JP2006551239A patent/JP5069909B2/ja not_active Expired - Fee Related
- 2005-01-19 DK DK05711669T patent/DK1706866T3/da active
- 2005-01-19 WO PCT/US2005/001715 patent/WO2005071667A1/en active Application Filing
- 2005-01-19 CA CA002552881A patent/CA2552881A1/en not_active Abandoned
- 2005-01-19 EP EP05711669A patent/EP1706866B1/en not_active Not-in-force
- 2005-01-19 AT AT05711669T patent/ATE389932T1/de not_active IP Right Cessation
- 2005-01-19 AU AU2005207596A patent/AU2005207596A1/en not_active Abandoned
- 2005-01-19 DE DE602005005441T patent/DE602005005441T2/de active Active
- 2005-01-19 ES ES05711669T patent/ES2299998T3/es active Active
- 2005-01-19 CN CN2005800028576A patent/CN1910656B/zh not_active Expired - Fee Related
- 2005-01-19 KR KR1020067013739A patent/KR20060131798A/ko not_active Application Discontinuation
- 2005-01-19 US US10/586,834 patent/US7840410B2/en not_active Expired - Fee Related
- 2005-01-20 TW TW094101656A patent/TW200534602A/zh unknown
-
2006
- 2006-06-21 IL IL176483A patent/IL176483A0/en unknown
- 2006-10-19 HK HK06111518A patent/HK1091024A1/xx not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
DK1706866T3 (da) | 2008-06-09 |
JP2007523366A (ja) | 2007-08-16 |
IL176483A0 (en) | 2006-10-05 |
EP1706866B1 (en) | 2008-03-19 |
DE602005005441T2 (de) | 2009-04-23 |
AU2005207596A1 (en) | 2005-08-04 |
ATE389932T1 (de) | 2008-04-15 |
ES2299998T3 (es) | 2008-06-01 |
US20080133246A1 (en) | 2008-06-05 |
CN1910656A (zh) | 2007-02-07 |
TW200534602A (en) | 2005-10-16 |
HK1091024A1 (en) | 2007-01-05 |
CA2552881A1 (en) | 2005-08-04 |
WO2005071667A1 (en) | 2005-08-04 |
CN1910656B (zh) | 2010-11-03 |
DE602005005441D1 (de) | 2008-04-30 |
US7840410B2 (en) | 2010-11-23 |
KR20060131798A (ko) | 2006-12-20 |
PL1706866T3 (pl) | 2008-10-31 |
EP1706866A1 (en) | 2006-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5069909B2 (ja) | ブロック系列化に基づくオーディオコーディング | |
JP2007523366A5 (ja) | ||
KR101343267B1 (ko) | 주파수 세그먼트화를 이용한 오디오 코딩 및 디코딩을 위한 방법 및 장치 | |
US8428943B2 (en) | Quantization matrices for digital audio | |
KR101330362B1 (ko) | 오디오 인코딩 방법, 오디오 디코딩 방법 및 오디오 인코더 디바이스 | |
JP4643019B2 (ja) | 合成フィルタ雑音伸長の補償を持つ知覚音声コーダの量子化 | |
JP2906646B2 (ja) | 音声帯域分割符号化装置 | |
US8032371B2 (en) | Determining scale factor values in encoding audio data with AAC | |
TW201729181A (zh) | 產生高頻雜訊的方法 | |
PL208346B1 (pl) | Sposób przesyłania współczynników skalowania percepcyjnego kodera akustycznego przy użyciu kraty w systemach transformacji i kodowania fonii | |
JP2001053617A (ja) | デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体 | |
JP2000276197A (ja) | デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体 | |
CN109313908A (zh) | 用于对音频信号进行编码的音频编码器、用于对音频信号进行编码的方法以及考虑上频带中的检测到的尖峰频谱区域的计算机程序 | |
US7613609B2 (en) | Apparatus and method for encoding a multi-channel signal and a program pertaining thereto | |
JP2842276B2 (ja) | 広帯域信号符号化装置 | |
JP5799824B2 (ja) | オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム | |
MXPA06008224A (es) | Codificacion de audio basada en el agrupamiento de bloques | |
Hu et al. | An efficient low complexity encoder for MPEG advanced audio coding | |
Bauer et al. | Multidimensional optimization of MPEG-4 AAC encoding | |
JP2003108192A (ja) | オーディオ信号符号化方法 | |
JP2000206990A (ja) | デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体 | |
JP2000276198A (ja) | デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110329 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110629 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110706 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110728 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110804 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110829 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110929 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20111018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111108 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20120207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120807 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120820 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150824 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |