JP4409733B2 - 符号化装置、符号化方法、及びその記録媒体 - Google Patents

符号化装置、符号化方法、及びその記録媒体 Download PDF

Info

Publication number
JP4409733B2
JP4409733B2 JP2000260381A JP2000260381A JP4409733B2 JP 4409733 B2 JP4409733 B2 JP 4409733B2 JP 2000260381 A JP2000260381 A JP 2000260381A JP 2000260381 A JP2000260381 A JP 2000260381A JP 4409733 B2 JP4409733 B2 JP 4409733B2
Authority
JP
Japan
Prior art keywords
information
quantization
quantization accuracy
accuracy
frequency band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000260381A
Other languages
English (en)
Other versions
JP2001148632A (ja
Inventor
峰生 津島
武志 則松
修二 宮阪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2000260381A priority Critical patent/JP4409733B2/ja
Publication of JP2001148632A publication Critical patent/JP2001148632A/ja
Application granted granted Critical
Publication of JP4409733B2 publication Critical patent/JP4409733B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Communication Control (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、音声信号や音楽信号などのオーディオ信号に対する符号化装置である。より詳細には直交変換等の手法を用いて時間領域から周波数領域に変換して周波数変換信号を作成し、より少ない符号量でデータ圧縮を行い、且つ高音質に表現するための符号化列を高速で生成する符号化装置、符号化方法、及びその記録媒体に関するものである。
【0002】
【従来の技術】
オーディオ信号の符号化方式として、現在までに非常に多くの方式が開発され、その一部が実際に使用されている。音声信号を圧縮符号化するエンコード方法としては、固定ビットレート方式の圧縮方法と、可変ビットレートの圧縮方法がある。固定ビットの圧縮方法として、ADPCMやDolby−AC3が知られている。又可変ビットレート圧縮方法として、アドバンストオーディオコーディング(AAC)が知られている。AACはISO/IECで国際標準化されたIS13818−7が認知され、高音質と高効率な符号化方法と評価されている。ISO/IECのIS13818−7は、復号化過程及び符号化フォーマットの規格であり、符号化方法自身は規定されていない。圧縮は全帯域を一様に圧縮するのではなく、各帯域毎に個別のパラメータで圧縮率を決定している。そして帯域毎に適宜パラメータを選択することによって、高音質と高圧縮とを両立することができる。
【0003】
【発明が解決しようとする課題】
しかしながらAAC方式では、帯域毎のパラメータが適切でない場合には、圧縮率が低下したり圧縮後に量子化されない帯域部分が生じる。量子化されない部分では音が生じないため出力の歪みが大きくなるという欠点があった。又AACのエンコードは難しく、エンコードにかなりの処理を要し、民生用のAV機器のハードウェアでは、リアルタイムでエンコードすることが難しいという欠点があった。
【0004】
本発明はこのような従来の問題点に鑑みてなされたものであって、可変ビットレートの音声圧縮において、処理量を少なくし高音質と高圧縮とを両立することができる符号化装置、符号化方法、及び符号化方法のプログラムを記録した記録媒体を提供することを目的とするものである。
【0005】
【課題を解決するための手段】
願発明は、複数の周波数帯域に分割されたオーディオ信号を夫々の周波数帯域ごとに決定される量子化精度で量子化し、符号化する符号化装置であって、各周波数帯域の振幅の代表値を代表周波数情報とし、各周波数帯域毎の振幅に対する量子化精度の情報を相対的量子化精度情報として、量子化する際に用いる前記相対的量子化精度情報の初期値を前記代表周波数情報から算出する相対的量子化精度決定部と、各周波数帯域毎に最低限確保すべき振幅値を有するように算出された量子化精度である量子化精度情報の保証値を算出する量子化精度保証値決定部と、前記相対的量子化精度決定部の出力値と前記量子化精度保証値決定部の出力値とを用い、各周波数帯域の量子化精度が、前記量子化精度情報の保証値で示される量子化精度以上となる量子化精度で量子化を行う量子化処理部と、前記量子化処理部で実行された量子化情報を符号化して所望の情報量以下のオーディオ符号化データを生成する符号化部と、を具備し、前記量子化処理部は、夫々の周波数帯域をBとすると、全帯域で一定の全帯域量子化精度情報であるコモンスケールファクタCom 、前記相対的量子化精度決定部で決定された相対的量子化精度情報であるスケールファクタSF(B) 、及び前記量子化精度保証値決定部で決定された量子化精度情報の保証値K(B)から、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を算出する量子化精度チェック部と、前記量子化精度チェック部で算出され、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を基に、前記周波数情報に対して量子化を行う量子化部と、前記量子化部によって量子化された量子化データを符号化するに必要な情報量を計数し、計数された情報量が所望の情報量との大小を判定し、所望の情報量より小さい場合は、量子化処理を終了とする判定部と、前記判定部で計数された情報量が、所望のオーディオ符号量より大きいと判定された場合、コモンスケールファクタCom を変化させるよう前記量子化精度チェック部に指示する精度設定部と、を具備することを特徴とするものである。
【0006】
願発明は、複数の周波数帯域に分割されたオーディオ信号を夫々の周波数帯域ごとに決定される量子化精度で量子化し、符号化する符号化装置であって、各周波数帯域の振幅の最大値を代表周波数情報とし、各周波数帯域毎の振幅に対する量子化精度の情報を相対的量子化精度情報として、量子化する際に用いる前記相対的量子化精度情報の初期値を前記代表周波数情報から算出する相対的量子化精度決定部と、各周波数帯域毎に最低限確保すべき振幅値を有するように算出された量子化精度である量子化精度情報の保証値を算出する量子化精度保証値決定部と、前記相対的量子化精度決定部の出力値と前記量子化精度保証値決定部の出力値とを用い、各周波数帯域の量子化精度が、前記量子化精度情報の保証値で示される量子化精度以上となる量子化精度で量子化を行う量子化処理部と、前記量子化処理部で実行された量子化情報を符号化して所望の情報量以下のオーディオ符号化データを生成する符号化部と、を具備し、前記量子化処理部は、夫々の周波数帯域をBとすると、全帯域で一定の全帯域量子化精度情報であるコモンスケールファクタCom 、前記相対的量子化精度決定部で決定された相対的量子化精度情報であるスケールファクタSF(B) 、及び前記量子化精度保証値決定部で決定された量子化精度情報の保証値K(B)から、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を算出する量子化精度チェック部と、前記量子化精度チェック部で算出され、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を基に、前記周波数情報に対して量子化を行う量子化部と、前記量子化部によって量子化された量子化データを符号化するに必要な情報量を計数し、計数された情報量が所望の情報量との大小を判定し、所望の情報量より小さい場合は、量子化処理を終了とする判定部と、前記判定部で計数された情報量が、所望のオーディオ符号量より大きいと判定された場合、コモンスケールファクタCom を変化させるよう前記量子化精度チェック部に指示する精度設定部と、を具備することを特徴とするものである。
【0009】
願発明は、前記符号化装置において、前記量子化精度チェック部は、相対的量子化精度情報であるスケールファクタSF(B) と全帯域量子化精度情報であるコモンスケールファクタCom との差(SF(B) −Com )が、絶対的量子化精度情報の保証値K(B)より大きい場合、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を、相対的量子化精度情報SF(B) と各周波数帯域における全帯域量子化精度情報Com との差(SF(B) −Com )に設定し、相対的量子化精度情報SF(B) と全帯域量子化精度情報であるコモンスケールファクタCom との差(SF(B) −Com )が、絶対的量子化精度情報の保証値K(B)以下の場合、実際に量子化する各周波数帯域ごとの量子化精度情報ASF(B)を、量子化精度情報の保証値K(B)に設定することを特徴とするものである。
【0011】
願発明は、前記符号化装置において、前記量子化精度保証値決定部は、各周波数帯域毎にその帯域の周波数分解能の高い低域ほど高精度で周波数分解能の低い高域ほど低い量子化精度を量子化精度情報の保証値として算出することを特徴とするものである。
【0014】
願発明は、前記符号化装置において、前記量子化精度保証値決定部は、オーディオ時間信号を変形コサイン変換した係数をMdct(i) (i=0・・・j,・・・k,・・・s)とし、周波数帯Bをfj 〜fk とし、前記聴覚特性変数を1以上で低周波ほどレベルが高くなる変数P(B)とすると、次式
(float) {Max Mdct(B) (3/4) ×2(3・ K(B)/16)}=P(B)
但し
Max Mdct(B) =Max {Mdct(j) ,Mdct(j+1) ・・・,Mdct(k) }
を満たす保証値K(B)を用いることを特徴とするものである。
【0015】
願発明は、複数の周波数帯域に分割されたオーディオ信号を夫々の周波数帯域ごとに決定される量子化精度で量子化し、符号化する符号化方法であって、各周波数帯域の振幅の代表値を代表周波数情報とし、各周波数帯域毎の振幅に対する量子化精度の情報を相対的量子化精度情報として、量子化する際に用いる前記相対的量子化精度情報の初期値を前記代表周波数情報から算出する相対的量子化精度決定ステップと、各周波数帯域毎に最低限確保すべき振幅値を有するように算出された量子化精度である量子化精度情報の保証値を算出する量子化精度保証値決定ステップと、前記相対的量子化精度決定ステップの出力値と前記量子化精度保証値決定ステップの出力値とを用い、各周波数帯域の量子化精度が、前記量子化精度情報の保証値で示される量子化精度以上となる量子化精度で量子化する量子化処理ステップと、前記量子化処理ステップで実行された量子化情報を符号化して所望の情報量以下のオーディオ符号化データを生成する符号化ステップと、を包含し、前記量子化処理ステップは、夫々の周波数帯域をBとすると、全帯域で一定の全帯域量子化精度情報であるコモンスケールファクタCom 、前記相対的量子化精度決定ステップで決定された相対的量子化精度情報であるスケールファクタSF(B) 、及び前記量子化精度保証値決定ステップで決定された量子化精度情報の保証値K(B)から、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を算出する量子化精度チェックステップと、前記量子化精度チェックステップで算出され、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を基に、前記周波数情報に対して量子化を行う量子化ステップと、前記量子化ステップによって量子化された量子化データを符号化するに必要な情報量を計数し、計数された情報量が所望の情報量との大小を判定し、所望の情報量より小さい場合は、量子化処理を終了とする判定ステップと、前記判定ステップで計数された情報量が、所望のオーディオ符号量より大きいと判定された場合、コモンスケールファクタCom を変化させるよう前記量子化精度チェックステップに指示する精度設定ステップと、を包含することを特徴とするものである。
【0016】
願発明は、複数の周波数帯域に分割されたオーディオ信号を夫々の周波数帯域ごとに決定される量子化精度で量子化し、符号化する符号化方法であって、各周波数帯域の振幅の最大値を代表周波数情報とし、各周波数帯域毎の振幅に対する量子化精度の情報を相対的量子化精度情報として、量子化する際に用いる前記相対的量子化精度情報の初期値を前記代表周波数情報から算出する相対的量子化精度決定ステップと、各周波数帯域毎に最低限確保すべき振幅値を有するように算出された量子化精度である量子化精度情報の保証値を算出する量子化精度保証値決定ステップと、前記相対的量子化精度決定ステップの出力値と前記量子化精度保証値決定ステップの出力値とを用い、各周波数帯域の量子化精度が、前記量子化精度情報の保証値で示される量子化精度以上となる量子化精度で量子化する量子化処理ステップと、前記量子化処理ステップで実行された量子化情報を符号化して所望の情報量以下のオーディオ符号化データを生成する符号化ステップと、を包含し、前記量子化処理ステップは、夫々の周波数帯域をBとすると、全帯域で一定の全帯域量子化精度情報であるコモンスケールファクタCom 、前記相対的量子化精度決定ステップで決定された相対的量子化精度情報であるスケールファクタSF(B) 、及び前記量子化精度保証値決定ステップで決定された量子化精度情報の保証値K(B)から、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を算出する量子化精度チェックステップと、前記量子化精度チェックステップで算出され、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を基に、前記周波数情報に対して量子化を行う量子化ステップと、前記量子化ステップによって量子化された量子化データを符号化するに必要な情報量を計数し、計数された情報量が所望の情報量との大小を判定し、所望の情報量より小さい場合は、量子化処理を終了とする判定ステップと、前記判定ステップで計数された情報量が、所望のオーディオ符号量より大きいと判定された場合、コモンスケールファクタCom を変化させるよう前記量子化精度チェックステップに指示する精度設定ステップと、を包含することを特徴とするものである。
【0017】
願発明は、前記符号化方法に含まれるステップをコンピュータに実行させるプログラムを記録したコンピュータ読取可能な記録媒体である。
【0018】
【発明の実施の形態】
次に本発明の前提となったアドバンストオーディオシステム(AAC)におけるオーディオ符号化装置について説明する。図1はこの符号化装置の動作を示すフローチャートである。このオーディオ符号化方法は、量子化ステップ201、情報量カウントステップ202、情報量ループ判定ステップ203、音響的チェックステップ204、全帯域量子化精度更新ステップ205、各帯域量子化精度更新ステップ206を含んで構成される。
【0019】
オーディオ符号化の主たる目的は、音質を損なうことなく、オーディオ信号を所望の限られた情報量に情報圧縮することである。オーディオ離散信号は、図示しない時間周波数変換手段を経て、周波数軸上のデータに変換され、量子化ステップ201に与えられる。量子化ステップ201では、全帯域量子化精度更新ステップ205からの全帯域量子化精度情報をもとに、入力信号が量子化される。情報量カウントステップ202では、量子化ステップ201の量子化結果が、いくらの情報量をもって表現できるかを計数する。情報量ループ判定ステップ203では、情報量カウントステップ202の出力が、所望の情報量以下であるか否かを判定する。情報量カウントステップ202の出力が、所望情報量以下の場合は、その後の処理は音響的チェックステップ204に移される。情報量カウントステップ202の出力が、所望情報量よりも大きい場合は、全帯域量子化精度更新ステップ205にその処理が移される。
【0020】
全帯域量子化精度更新ステップ205は、全帯域に渡って量子化ステップ201で量子化する精度情報を管理している。更新前の全帯域量子化精度情報がコモンスケールファクタCom だとすると、全帯域量子化精度更新ステップ205はコモンスケールファクタCom +1などの値を、更新された全帯域量子化精度情報として量子化ステップ201に与える。量子化ステップ201は、更新された全帯域量子化精度情報を用いて、入力信号の量子化を再度行う。
【0021】
オーディオ信号が複数の周波数帯域Bに分割されたとき、各周波数帯域Bの振幅を周波数情報とする。音響的チェックステップ204では、量子化された周波数情報が、聴覚的にみて許容される量子化雑音以内であるか否かを、分割された周波数帯域Bごとに検査する。この際、聴覚的にみて許容される量子化雑音の値とは、既知の聴覚心理モデルから導出された値である。もし、各分割された周波数帯域Bのいずれも量子化雑音が聴覚的に許容される雑音レベル以内である場合は、一連の量子化処理を終了する。また、量子化雑音が聴覚的に許容される雑音レベル以上である場合は、各帯域量子化精度更新ステップ206に処理が移される。各帯域量子化精度更新ステップ206では、量子化雑音が許容される雑音レベル以上の周波数帯域に対する帯域量子化精度情報を更新する。例えば、周波数帯域Bに対する帯域量子化精度情報スケールファクタSF(B) を、スケールファクタSF(B) +1などにする。
【0022】
この符号化装置は、情報量が所望の情報量以内であるか否かを情報量ループ判定ステップ203で判定しながら量子化を繰り返す第1のループと、その外側に音響的チェックステップ204で、音響的に量子化雑音が許容雑音レベルであるか否かを判定しながら量子化を繰り返す第2のループとがある。従って符号化処理が2重のループで構成されることとなる。
【0023】
しかしながら、上記のような構成では、様々なオーディオ信号の入力に対して、2つのループの回る回数が非常に大きくなることがあり、計算量が増大してしまう問題が生じる。また全帯域量子化情報更新ステップ205、各帯域量子化精度更新ステップ206で、目標となる量子化雑音レベルに達せず、結果として得られる音質が十分でないことがあるという問題も生じる。
【0024】
(実施の形態1)
図2は本発明の実施の形態1による符号化装置及びその周辺回路ブロックを示す構成図である。本図において音声入力部1はオーディオ信号を入力する入力部であり、ゲインコントローラ2を介して時間周波数変換部3に与えられる。時間周波数変換部3は入力信号をいくつかの周波数帯域に分割された信号に変換するものである。時間周波数変換部3の出力は相対的量子化精度決定部4,量子化精度保証値決定部5A,量子化処理部6に入力される。量子化処理部6は、いくつかの周波数帯域に分割された周波数情報を、夫々の周波数帯域ごとに定まる量子化精度をもって量子化するものである。相対的量子化精度決定部4は、量子化の前に各周波数帯域ごとの周波数情報を入力として、各周波数帯域毎の振幅に対する量子化精度の情報を相対的量子化精度情報とするとき、相対的量子化精度情報を例えば1フレーム毎に算出するものである。量子化精度保証値決定部5Aは、各周波数帯域ごとの周波数情報を入力として、各帯域ごとに最低限度確保すべき振幅値を有するよう算出された量子化精度を量子化精度情報の保証値とするとき、量子化精度情報保証値を例えば1フレーム毎に算出するものである。又量子化処理部6はこれらの精度決定部4,5Aで決定された量子化精度を用いて最適な量子化処理を行うものであり、量子化部11,判定部12,精度設定部13,量子化精度チェック部14を含んで構成される。
【0025】
量子化処理部6内の量子化精度チェック部14は、全帯域量子化精度情報をコモンスケールファクタCom とし、相対的量子化精度決定部4で決定された相対的量子化精度情報をスケールファクタSF(B) とし、量子化精度保証値決定部5Aで決定された量子化精度情報を保証値K(B)とするとき、コモンスケールファクタCom の初期値、スケールファクタSF(B) 、及び保証値K(B)を用いて、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報である絶対的スケールファクタASF(B)を算出するものである。
【0026】
量子化部11は量子化精度チェック部14で算出された各帯域ごとの絶対的スケールファクタASF(B)を基に、各周波数帯域の周波数情報に対して量子化を行うものである。判定部12は量子化部11によって量子化された周波数情報を符号化するのに必要な情報量(ビットレート)を計数するものである。そして得られた情報量が、符号化部7における符号化で所望される情報量より小さい場合は、絶対的スケールファクタASF(B)の変更のループ処理を終了する。一方符号化部7における符号化で所望される情報量より大きくなる場合は、その後の処理を精度設定部13に出力を与えるものである。精度設定部13は、全帯域量子化精度情報であるコモンスケールファクタCom を変化させるように、量子化精度チェック部14に指示するものである。符号化部7は量子化部11で量子化されたオーディオデータに対して誤り訂正符号を付加し、トランスポートストリーム又はプログラムストリームの形式に変換することにより、符号化するものである。
【0027】
本実施の形態の符号化装置は、入力である離散オーディオ時間信号に対して、変形コサイン変換(以下、MDCT変換という)などの時間領域信号から周波数領域の信号に変換された変換値を量子化し、符号化する際にオーディオ信号の情報量を小さくし、同時に音響的に音質劣化の小さな量子化を行うことを目的としている。周波数領域の信号に変換された変換値として、ここではMDCT変換によって得られたMDCT係数を用いる場合について、以下の説明をする。
【0028】
相対的量子化精度決定部4では、入力されたMDCT係数から、量子化の精度が調整可能な各周波数帯域Bごとの相対的量子化精度情報を算出する。例えば、AACなどの符号化装置では、MDCT係数はスケールファクターバンドBと呼ばれる周波数帯域が設定されており、スケールファクターバンドBごとに量子化精度情報を選択できる。
【0029】
一方、量子化精度保証値決定部5Aは、フレーム単位で信号が入力されると、各周波数帯域ごとに、再生したときにその帯域からの信号がなくならないように最低限確保すべき量子化精度情報の保証値K(B)を算出する。
【0030】
次に量子化精度チェック部14において、コモンスケールファクタCom の初期値と、相対的量子化精度決定部4で算出したスケールファクタSF(B) と、量子化精度保証値決定部5Aで算出した保証値K(B)とから、実際に量子化する各周波数帯域ごとの絶対的な量子化精度情報絶対的スケールファクタASF(B)を決定する。
【0031】
量子化部11は、量子化精度チェック部14の出力である絶対的スケールファクタASF(B)を基に量子化を行う。判定部12は、量子化部11で量子化された量子化値がどれだけの情報量で符号化できるか計数し、更に計数値が所望のオーディオ情報量以下か否かの判定を行う。もし、判定部12で判定した情報量の計数値が、所望のオーディオ情報量以下である場合は、符号化部7での符号化を行い、所望のオーディオ情報量を越える場合は、その後の処理を精度設定部13に移行する。精度設定部13では、例えば現在のコモンスケールファクタCom に1以上の値を加算するよう量子化精度チェック部14に指示する。これによって最終的に得られる情報量を少なくして、符号化部7により量子化されたオーディオデータを符号化する。
【0032】
以下では、相対的量子化精度決定部4、量子化精度保証値決定部5、量子化精度チェック部14の具体的な動作例について図3のフローチャート及び図4のグラフを用いて説明する。例えばコンパクトディスクシステムでは、オーディオ信号をサンプリング周波数44.1KHzでサンプリングし、16ビットのPCM信号としている。1チャンネルの情報量は705.6Kビット/秒である。これを例えば1/10以下の64Kビット/秒に圧縮するものとする。AACの場合、PCMの1024サンプル毎に符号列を出力する。1024サンプルは23.22m秒なので、1フレームに割り当てられる圧縮された符号量は1486ビットとなる。従って判定部12で判定される指標となるビット数は、この場合には1486ビットとなる。又約1/20の32Kビット/秒に圧縮する場合には、763ビットが指標ビットとなる。
【0033】
AAC方式では周波数情報であるMDCT係数を整数値に量子化して符号化する。MDCT係数をMdct(i) (iは0〜1023の整数)とする。このMDCT係数を整数値に量子化して符号化する。MDCT係数を整数値に変換するときの変換式は以下の式(1)で与えられる。
Xquant(i) =(int) {Mdct(i) (3/4) ×2(3・(SF(B)-Com)/16)}・・・(1)
ここで(int) は次に続く式の値を整数値で返す整数演算子である。又SF(B) は帯域Bにおけるスケールファクタを示す。スケールファクタSF(B) は帯域Bに依存する変数であり、コモンスケールファクタCom は帯域Bにかかわらず共通の変数である。
【0034】
さて時間軸上のオーディオ信号を、f0 〜fS の周波数範囲を有する周波数軸上の信号に変換するとき、f0 〜fS をn分割して、その分割点を1,2,・・・,j,j+1,・・・,k,k+1,・・・,nとする。分割点j〜kにおける周波数帯域をBとするとき、周波数帯域B(=fj 〜fk )に属するMDCT係数はMdct(j) 〜Mdct(k) とする。この場合スケールファクタSF(B) は例えば以下の式で示される。
SF(B) =α・log(Max Mdct(B) +1.0) ・・・(2)
ここでαは定数とする。また、MAX演算子は、演算子内の要素の最大値を出力するものとする。Max Mdct(B) は次式で示される。
Max Mdct(B) =Max {Mdct(j) ,Mdct(j+1) ・・・,Mdct(k) }
これによって各周波数帯域B毎に最大値を代表周波数情報とすることができる。
【0035】
同様に、次の(3)式を用いてスケールファクタSF(B) を算出してもよい。
【数1】
Figure 0004409733
この場合にはMdct(i)2の総和が代表周波数情報となる。
【0036】
(2)式や(3)式を用いることで得られたスケールファクタに対し、符号化方式上の制約事項によって制限が設けられる。例えば、AACの場合は、隣接するスケールファクタSF(B) は正負60以内という制限があるため、(2)式、(3)式の定数であるα値で調節することが可能である。また符号化効率に鑑みて、スケールファクタSF(B) の変動を小さくした方が情報量の消費が小さくなる場合もあるので、スケールファクタSF(B) の値をスムージングするなどしてもよい。
【0037】
図3に示すフローチャートにおいて、ステップ101では入力信号Mdct(i) から(2)式又は(3)式によってスケールファクタSF(B) を算出している。さて式(1)においてSF(B) −Com を小さくすると、Xquant(i) はより絶対値の小さな整数となり、やがて0となる。一方SF(B) −Com を大きくすると、Xquant(i) はより絶対値の大きな整数となる。符号化されたXquant(i) により復号されたMdct(i) の算出式は逆変換になるので、復号されたMdct(i) は次式で与えられる。
Mdct(i) =Xquant(i) (4/3) ×2(Com-SF(B))/4
そしてXquant(i) が0になるようにSF(B) −Com を選んで符号化すると、復号時には再生されたMdct(i) は0になり、そのi番目の周波数成分は0となる。
【0038】
一方、量子化精度保証値決定部5Aでは、各量子化帯域(B) において、入力値Mdct(k) 〜Mdct(j) がすべて0でない場合を除いて、量子化での使用情報量を0としない最小の情報使用量を有する量子化精度情報の保証値K(B)を、各量子化帯域毎に設定する(ステップ102)。こうすれば大幅な情報圧縮をしても再生時に不自然さを緩和することができる。例えば、ある帯域(B) 内の入力が少なくとも1つは0ではない場合、すべての量子化値が0にならないような最小限の量子化精度情報を、この量子化精度保証値決定部5Aで算出する。AACの場合には、MDCT係数の量子化値は整数値になるため、ある帯域の量子化値の少なくとも1つの絶対値が1以上になるような保証値K(B)を算出する。例えばMdct(i) が正の値とすると、Xquant(i) の少なくとも絶対値が1となることが条件となる。Mdct(i) が正の値とすると、次式
(int) {Mdct(i) (3/4) ×23(SF(B)-Com)/16 }=1
となるSF(B) −Com を算出すればよいことになる。これが量子化精度保証値決定部5Aによる保証値K(B)となる。言い換えれば、
(int) {Mdct(i) (3/4) ×2(3・ K(B)/16)}=1
となる。但し保証値(B) は各帯域Bに1つ設定する値なので、帯域BにおけるMDCT係数のうち最大振幅のMDCT係数Max Mdct(B) を選んで、次式により保証値(B) を算出する。
(int) {Max Mdct(B) (3/4) ×2(3・ K(B)/16)}=1 ・・・(4)
こうすれば少なくともその帯域Bにおいて、1スペクトルが復号時に0ではなくなることになる。
【0039】
次に量子化精度チェック部14では、量子化部11で適用する絶対的量子化精度情報である絶対的スケールファクタASF(B)を、次式(5)等を用いて算出する。
K(B)<SF(B) −Com のとき
ASF(B)=SF(B) −Com
K(B)≧SF(B) −Com のとき
ASF(B)=K(B) ・・・(5)
【0040】
こうして絶対的スケールファクタを量子化精度チェックステップ103で出力し、量子化ステップ104で量子化する。これにより図4の模式図に示した状態で量子化が行われることが予想される。図4(a)の状態では、SF(B) −Com を示す曲線21がどの周波数帯においても保証値K(B)の曲線22よりも大きくなっている。図2の判定部12で算出される情報量が所望の情報量より多い場合は、その判定結果により、処理が精度設定部13に移行する。精度設定部13では、コモンスケールファクタCom の値を初期値より例えば1つ大きくするよう全帯域の量子化精度Com を更新する(ステップ107)。その例を図4(b)に示す。ここではある帯域では保証値K(B)の曲線22の方がSF(B) −Com を示す曲線21よりも大きくなっている。従って式(5)から保証値K(B)の大きい領域では、K(B)をASF(B)とする。その結果、量子化精度チェック部14では、再度絶対的スケールファクタASF(B)を算出する(ステップ103)。図中太い曲線23は量子化部11で量子化するための絶対的スケールファクタASF(B)を示す。
【0041】
図4の(a)〜(c)のいずれの場合も(5)式を用いて、絶対的スケールファクタASF(B)の曲線23を算出する。そして情報量カウントステップ105で算出された情報量が、情報量ループ判定ステップ106の所望の情報量よりも小さくなると判定されるまで計算を行う。そしてステップ106で所望の情報量以下と判定されればステップ108に進んで符号化処理を行って処理を終える。
尚、実施の形態1では、量子化ループ判定部106において符号化後の情報量が指数ビット以上となる状態からループを開始し、あらかじめ決められている指標ビット以下となれば全帯域量子化精度更新のループを停止するようにしているが、指標ビット以下の所定範囲内になれば量子化精度更新ループを停止するようにしてもよい。又符号化後の情報量が小さい状態からループを開始し、Com の値を小さくして指標ビット以下の所定範囲に入ればループを停止してもよい。
【0042】
図1に示す符号化装置が2重のループ構造になっているのに対して、本発明の符号化装置は1重のループ構造になっていることから、図1の符号化装置に比べて計算量が小さくなる。そのためDSP等のハードウェアを用いて実現する際も、消費電力を小さくすることができ、IC化した場合のチップサイズを小さくすることができるという優れた効果が得られる。また各周波数帯域においても保証すべき最低限の品質を確保できることから、音質がよいという特長が得られる。
【0043】
(実施の形態2)
次に本発明の実施の形態2における符号化装置について図5を用いて説明する。本実施の形態の符号化装置は、実施の形態1の符号化装置と基本的に同じ構成であり、同一部分は同一符号を付して詳細な説明を省略する。本実施の形態2では、量子化精度保証値決定部5Bが異なっている。
【0044】
実施の形態1では、量子化精度保証値決定部5Aで算出する値は、量子化での使用情報量を0としない最小の情報使用量を有する量子化精度情報を各量子化帯域に設定するとして述べた。実施の形態2の量子化精度保証値決定部5Bでは、人間の聴覚心理モデルを模して、各帯域ごとに聴感上から最低限の量子化精度情報の保証値を算出するものとする。
【0045】
例えば、ISO/IEC 11172−3のMPEG1レイヤ1〜レイヤ3の規格書にあるような静寂時の可聴特性、いわゆる最小可聴特性を用いることができる。ある帯域内の入力周波数特性が最小可聴特性よりもすべて小さい場合は、その帯域内の周波数成分は知覚されない。従って帯域内の入力周波数特性がすべて0でない場合においても、量子化精度保証値決定部5Bにおける出力値に依存せず情報量を0に設定するものとする。この最小可聴特性としては、MPEG1レイヤ1〜レイヤ3のものを一例にしたが、それ以外のものでもよい。このような符号化装置によれば、実施の形態1よりもさらに音質の向上が期待される。
【0046】
又人間の聴覚特性として、低周波数成分ほど分解能が高く、高い周波数成分ほど分解能が低くなることが知られている。つまり一般的に低い周波数成分ほど量子化誤差による歪みを小さくした方が聴覚上から聞きやすい音になる場合が多い。従って保証値K(B)の算出方法を帯域Bに応じて変えることで歪みを制御し、結果的に聞きやすい符号化音を提供することが可能となる。実施の形態1では、帯域Bにおける最大振幅のMDCT係数Max Mdct(B) を用いて、式(4)により保証値K(B)を算出する方法について述べた。一方実施の形態2においては、
(float) {Max Mdct(B) (3/4) ×2(3・ K(B)/16)}=P(B)
とする保証値K(B)を算出する。(float) は、後に続く式の値を浮動小数の値で返すものである。ここで帯域Bにおける聴覚特性変数P(B)は入力信号に応じて変化させて、例えば図6に示すように聴覚の分解能の高い低周波ほど大きく、分解能の低い高周波となるほど小さく設定する。又聴覚特性変数P(B)を入力信号に応じて変化させてもよい。このように算出された保証値K(B)を用いて、実施の形態1と同様の方法で符号化する。こうすれば低い演算量にかかわらず高音質な音声を提供することが可能である。
【0047】
【発明の効果】
以上のように、本発明の符号化装置によれば、図1の符号化装置に比べて、量子化部の計算量を大幅に削減することができる。そのためDSP等のハードウェアを用いて実現する際も、消費電力を小さく、IC化した場合のチップサイズを小さくすることができる。また最終的な音質も向上させることが可能となる。
【図面の簡単な説明】
【図1】本発明の前提となった符号化装置の動作を示すフローチャートである。
【図2】本発明の実施の形態1における符号化装置の構成図である。
【図3】本発明の実施の形態1における符号化装置の動作を示すフローチャートである。
【図4】本実施の形態の符号化装置において、符号化過程の状態を示す模式図である。
【図5】本発明の実施の形態2における符号化装置の構成図である。
【図6】実施の形態2に用いる聴覚特性変数P(B)の一例を示すグラフである。
【符号の説明】
1 音声入力部
2 ゲインコントローラ
3 時間周波数変換部
4 相対的量子化精度決定部
5A,5B 量子化精度保証値決定部
6 量子化処理部
7 符号化部
11 量子化部
12 判定部
13 精度設定部
14 量子化精度チェック部

Claims (8)

  1. 複数の周波数帯域に分割されたオーディオ信号を夫々の周波数帯域ごとに決定される量子化精度で量子化し、符号化する符号化装置であって、
    各周波数帯域の振幅の代表値を代表周波数情報とし、各周波数帯域毎の振幅に対する量子化精度の情報を相対的量子化精度情報として、量子化する際に用いる前記相対的量子化精度情報の初期値を前記代表周波数情報から算出する相対的量子化精度決定部と、
    各周波数帯域毎に最低限確保すべき振幅値を有するように算出された量子化精度である量子化精度情報の保証値を算出する量子化精度保証値決定部と、
    前記相対的量子化精度決定部の出力値と前記量子化精度保証値決定部の出力値とを用い、各周波数帯域の量子化精度が、前記量子化精度情報の保証値で示される量子化精度以上となる量子化精度で量子化を行う量子化処理部と、
    前記量子化処理部で実行された量子化情報を符号化して所望の情報量以下のオーディオ符号化データを生成する符号化部と、を具備し、
    前記量子化処理部は、
    夫々の周波数帯域をBとすると、全帯域で一定の全帯域量子化精度情報であるコモンスケールファクタCom 、前記相対的量子化精度決定部で決定された相対的量子化精度情報であるスケールファクタSF(B) 、及び前記量子化精度保証値決定部で決定された量子化精度情報の保証値K(B)から、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を算出する量子化精度チェック部と、
    前記量子化精度チェック部で算出され、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を基に、前記周波数情報に対して量子化を行う量子化部と、
    前記量子化部によって量子化された量子化データを符号化するに必要な情報量を計数し、計数された情報量が所望の情報量との大小を判定し、所望の情報量より小さい場合は、量子化処理を終了とする判定部と、
    前記判定部で計数された情報量が、所望のオーディオ符号量より大きいと判定された場合、コモンスケールファクタCom を変化させるよう前記量子化精度チェック部に指示する精度設定部と、を具備することを特徴とする符号化装置。
  2. 複数の周波数帯域に分割されたオーディオ信号を夫々の周波数帯域ごとに決定される量子化精度で量子化し、符号化する符号化装置であって、
    各周波数帯域の振幅の最大値を代表周波数情報とし、各周波数帯域毎の振幅に対する量子化精度の情報を相対的量子化精度情報として、量子化する際に用いる前記相対的量子化精度情報の初期値を前記代表周波数情報から算出する相対的量子化精度決定部と、
    各周波数帯域毎に最低限確保すべき振幅値を有するように算出された量子化精度である量子化精度情報の保証値を算出する量子化精度保証値決定部と、
    前記相対的量子化精度決定部の出力値と前記量子化精度保証値決定部の出力値とを用い、各周波数帯域の量子化精度が、前記量子化精度情報の保証値で示される量子化精度以上となる量子化精度で量子化を行う量子化処理部と、
    前記量子化処理部で実行された量子化情報を符号化して所望の情報量以下のオーディオ符号化データを生成する符号化部と、を具備し、
    前記量子化処理部は、
    夫々の周波数帯域をBとすると、全帯域で一定の全帯域量子化精度情報であるコモンスケールファクタCom 、前記相対的量子化精度決定部で決定された相対的量子化精度情報であるスケールファクタSF(B) 、及び前記量子化精度保証値決定部で決定された量子化精度情報の保証値K(B)から、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を算出する量子化精度チェック部と、
    前記量子化精度チェック部で算出され、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を基に、前記周波数情報に対して量子化を行う量子化部と、
    前記量子化部によって量子化された量子化データを符号化するに必要な情報量を計数し、計数された情報量が所望の情報量との大小を判定し、所望の情報量より小さい場合は、量子化処理を終了とする判定部と、
    前記判定部で計数された情報量が、所望のオーディオ符号量より大きいと判定された場合、コモンスケールファクタCom を変化させるよう前記量子化精度チェック部に指示する精度設定部と、を具備することを特徴とする符号化装置。
  3. 前記量子化精度チェック部は、
    相対的量子化精度情報であるスケールファクタSF(B) と全帯域量子化精度情報であるコモンスケールファクタCom との差(SF(B) −Com )が、絶対的量子化精度情報の保証値K(B)より大きい場合、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を、相対的量子化精度情報SF(B) と各周波数帯域における全帯域量子化精度情報Com との差(SF(B) −Com )に設定し、
    相対的量子化精度情報SF(B) と全帯域量子化精度情報であるコモンスケールファクタCom との差(SF(B) −Com )が、絶対的量子化精度情報の保証値K(B)以下の場合、実際に量子化する各周波数帯域ごとの量子化精度情報ASF(B)を、量子化精度情報の保証値K(B)に設定することを特徴とする請求項1又は2記載の符号化装置。
  4. 前記量子化精度保証値決定部は、各周波数帯域毎にその帯域の周波数分解能の高い低域ほど高精度で周波数分解能の低い高域ほど低い量子化精度を量子化精度情報の保証値として算出するものであることを特徴とする請求項3記載の符号化装置。
  5. 前記量子化精度保証値決定部は、オーディオ時間信号を変形コサイン変換した係数をMdct(i) (i=0・・・j,・・・k,・・・s)とし、周波数帯Bをfj 〜fk とし、前記聴覚特性変数を1以上で低周波ほどレベルが高くなる変数P(B)とすると、次式
    (float) {Max Mdct(B) (3/4) ×2(3・ K(B)/16)}=P(B)
    但し
    Max Mdct(B) =Max {Mdct(j) ,Mdct(j+1) ・・・,Mdct(k) }
    を満たす保証値K(B)を用いることを特徴とする請求項記載の符号化装置。
  6. 複数の周波数帯域に分割されたオーディオ信号を夫々の周波数帯域ごとに決定される量子化精度で量子化し、符号化する符号化方法であって、
    各周波数帯域の振幅の代表値を代表周波数情報とし、各周波数帯域毎の振幅に対する量子化精度の情報を相対的量子化精度情報として、量子化する際に用いる前記相対的量子化精度情報の初期値を前記代表周波数情報から算出する相対的量子化精度決定ステップと、
    各周波数帯域毎に最低限確保すべき振幅値を有するように算出された量子化精度である量子化精度情報の保証値を算出する量子化精度保証値決定ステップと、
    前記相対的量子化精度決定ステップの出力値と前記量子化精度保証値決定ステップの出力値とを用い、各周波数帯域の量子化精度が、前記量子化精度情報の保証値で示される量子化精度以上となる量子化精度で量子化する量子化処理ステップと、
    前記量子化処理ステップで実行された量子化情報を符号化して所望の情報量以下のオーディオ符号化データを生成する符号化ステップと、を包含し、
    前記量子化処理ステップは、
    夫々の周波数帯域をBとすると、全帯域で一定の全帯域量子化精度情報であるコモンスケールファクタCom 、前記相対的量子化精度決定ステップで決定された相対的量子化精度情報であるスケールファクタSF(B) 、及び前記量子化精度保証値決定ステップで決定された量子化精度情報の保証値K(B)から、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を算出する量子化精度チェックステップと、
    前記量子化精度チェックステップで算出され、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を基に、前記周波数情報に対して量子化を行う量子化ステップと、
    前記量子化ステップによって量子化された量子化データを符号化するに必要な情報量を計数し、計数された情報量が所望の情報量との大小を判定し、所望の情報量より小さい場合は、量子化処理を終了とする判定ステップと、
    前記判定ステップで計数された情報量が、所望のオーディオ符号量より大きいと判定された場合、コモンスケールファクタCom を変化させるよう前記量子化精度チェックステップに指示する精度設定ステップと、を包含することを特徴とする符号化方法。
  7. 複数の周波数帯域に分割されたオーディオ信号を夫々の周波数帯域ごとに決定される量子化精度で量子化し、符号化する符号化方法であって、
    各周波数帯域の振幅の最大値を代表周波数情報とし、各周波数帯域毎の振幅に対する量子化精度の情報を相対的量子化精度情報として、量子化する際に用いる前記相対的量子化精度情報の初期値を前記代表周波数情報から算出する相対的量子化精度決定ステップと、
    各周波数帯域毎に最低限確保すべき振幅値を有するように算出された量子化精度である量子化精度情報の保証値を算出する量子化精度保証値決定ステップと、
    前記相対的量子化精度決定ステップの出力値と前記量子化精度保証値決定ステップの出力値とを用い、各周波数帯域の量子化精度が、前記量子化精度情報の保証値で示される量子化精度以上となる量子化精度で量子化する量子化処理ステップと、
    前記量子化処理ステップで実行された量子化情報を符号化して所望の情報量以下のオーディオ符号化データを生成する符号化ステップと、を包含し、
    前記量子化処理ステップは、
    夫々の周波数帯域をBとすると、全帯域で一定の全帯域量子化精度情報であるコモンスケールファクタCom 、前記相対的量子化精度決定ステップで決定された相対的量子化精度情報であるスケールファクタSF(B) 、及び前記量子化精度保証値決定ステップで決定された量子化精度情報の保証値K(B)から、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を算出する量子化精度チェックステップと、
    前記量子化精度チェックステップで算出され、実際に量子化する各周波数帯域ごとの絶対的量子化精度情報ASF(B)を基に、前記周波数情報に対して量子化を行う量子化ステップと、
    前記量子化ステップによって量子化された量子化データを符号化するに必要な情報量を計数し、計数された情報量が所望の情報量との大小を判定し、所望の情報量より小さい場合は、量子化処理を終了とする判定ステップと、
    前記判定ステップで計数された情報量が、所望のオーディオ符号量より大きいと判定された場合、コモンスケールファクタCom を変化させるよう前記量子化精度チェックステップに指示する精度設定ステップと、を包含することを特徴とする符号化方法。
  8. 請求項又は記載の符号化方法に含まれるステップをコンピュータに実行させるプログラムを記録したコンピュータ読取可能な記録媒体。
JP2000260381A 1999-09-07 2000-08-30 符号化装置、符号化方法、及びその記録媒体 Expired - Lifetime JP4409733B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000260381A JP4409733B2 (ja) 1999-09-07 2000-08-30 符号化装置、符号化方法、及びその記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP25270099 1999-09-07
JP11-252700 1999-09-07
JP2000260381A JP4409733B2 (ja) 1999-09-07 2000-08-30 符号化装置、符号化方法、及びその記録媒体

Publications (2)

Publication Number Publication Date
JP2001148632A JP2001148632A (ja) 2001-05-29
JP4409733B2 true JP4409733B2 (ja) 2010-02-03

Family

ID=26540830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000260381A Expired - Lifetime JP4409733B2 (ja) 1999-09-07 2000-08-30 符号化装置、符号化方法、及びその記録媒体

Country Status (1)

Country Link
JP (1) JP4409733B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003038812A1 (en) 2001-11-02 2003-05-08 Matsushita Electric Industrial Co., Ltd. Audio encoding and decoding device
JP4639073B2 (ja) * 2004-11-18 2011-02-23 キヤノン株式会社 オーディオ信号符号化装置および方法
US8311843B2 (en) * 2009-08-24 2012-11-13 Sling Media Pvt. Ltd. Frequency band scale factor determination in audio encoding based upon frequency band signal energy
CN112435675B (zh) * 2020-09-30 2024-02-27 福建星网智慧科技有限公司 一种基于fec的音频编码方法、装置、设备和介质

Also Published As

Publication number Publication date
JP2001148632A (ja) 2001-05-29

Similar Documents

Publication Publication Date Title
KR101278546B1 (ko) 대역폭 확장 출력 데이터를 생성하기 위한 장치 및 방법
JP6207404B2 (ja) 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法
US20110002266A1 (en) System and Method for Frequency Domain Audio Post-processing Based on Perceptual Masking
US6593872B2 (en) Signal processing apparatus and method, signal coding apparatus and method, and signal decoding apparatus and method
JP2002023799A (ja) 音声符号化装置及びそれに用いる心理聴覚分析方法
WO2006001159A1 (ja) 信号符号化装置及び方法、並びに信号復号装置及び方法
CN114550732A (zh) 一种高频音频信号的编解码方法和相关装置
JP4639073B2 (ja) オーディオ信号符号化装置および方法
JP2001102930A (ja) 量子化誤差補正方法及び装置並びにオーディオ情報復号方法及び装置
US6678653B1 (en) Apparatus and method for coding audio data at high speed using precision information
JP4409733B2 (ja) 符号化装置、符号化方法、及びその記録媒体
JPH11184498A (ja) 音声符号化/復号化方法
JP4359949B2 (ja) 信号符号化装置及び方法、並びに信号復号装置及び方法
JP4281131B2 (ja) 信号符号化装置及び方法、並びに信号復号装置及び方法
JP2000151413A (ja) オーディオ符号化における適応ダイナミック可変ビット割り当て方法
JPH08223052A (ja) 音声高能率符号化装置
US20100145712A1 (en) Coding of digital audio signals
JP3630082B2 (ja) オーディオ信号符号化方法及びその装置
KR101393299B1 (ko) 오디오 데이터 부호화 방법 및 장치
JP2001242895A (ja) オーディオ符号化装置およびオーディオ符号化方法
JP4516345B2 (ja) 音声符号化情報処理装置および音声符号化情報処理プログラム
JP2003271199A (ja) オーディオ信号の符号化方法及び符号化装置
JP2001109497A (ja) オーディオ信号符号化装置およびオーディオ信号符号化方法
JP3504485B2 (ja) 楽音符号化装置および楽音復号化装置および楽音符号化復号化装置およびプログラム記憶媒体
JP2005003835A (ja) オーディオ信号符号化装置、オーディオ信号符号化方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091020

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091112

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4409733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term