JP3513178B2 - 情報符号化又は復号化方法、並びに装置 - Google Patents

情報符号化又は復号化方法、並びに装置

Info

Publication number
JP3513178B2
JP3513178B2 JP12291993A JP12291993A JP3513178B2 JP 3513178 B2 JP3513178 B2 JP 3513178B2 JP 12291993 A JP12291993 A JP 12291993A JP 12291993 A JP12291993 A JP 12291993A JP 3513178 B2 JP3513178 B2 JP 3513178B2
Authority
JP
Japan
Prior art keywords
signal
information
control information
input signal
suppression control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP12291993A
Other languages
English (en)
Other versions
JPH06334534A (ja
Inventor
京弥 筒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP12291993A priority Critical patent/JP3513178B2/ja
Priority to US08/249,177 priority patent/US5581654A/en
Publication of JPH06334534A publication Critical patent/JPH06334534A/ja
Application granted granted Critical
Publication of JP3513178B2 publication Critical patent/JP3513178B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、いわゆる高能率符号化
によって入力ディジタルデータの符号化を行ない伝送、
記録、再生し、復号化して再生信号を得る情報符号化又
は復号化方法、並びにその装置に関するものである。
【0002】
【従来の技術】従来より、オーディオ或いは音声等の信
号の高能率符号化の手法には種々あるが、例えば、時間
軸上のオーディオ信号等を単位時間毎にブロック化しな
いで複数の周波数帯域に分割して符号化する非ブロック
化周波数帯域分割方式である帯域分割符号化(サブ・バ
ンド・コーディング:SBC)や、時間軸の信号を所定単位
時間でブロック化し当該ブロック毎に周波数軸上の信号
に変換(スペクトル変換)して複数の周波数帯域に分割
し、各帯域毎に符号化するブロック化周波数帯域分割方
式すなわちいわゆる変換符号化等を挙げることができ
る。また、上述の帯域分割符号化と変換符号化とを組み
合わせた高能率符号化の手法も考えられており、この場
合には、例えば、上記帯域分割符号化で帯域分割を行っ
た後、該各帯域毎の信号(時間軸上の帯域毎の信号)を
ブロック化して当該ブロック毎に周波数軸上の信号にス
ペクトル変換し、このスペクトル変換された各帯域毎に
符号化が施される。
【0003】ここで、上述した高能率符号化の帯域分割
符号化において用いられる帯域分割用のフィルタとして
は、例えばいわゆるQMF等のフィルタがある。QMF
は、1976 R.E.Crochiere Digital coding of speech in
subbands Bell Syst.Tech.J. Vol.55, No.8 1976に述
べられている。また、ICASSP 83, BOSTON PolyphaseQua
drature filters-A new subband coding technique Jos
eph H. Rothweilerには等バンド幅のフィルタ分割手法
が述べられている。
【0004】また、上記変換符号化において用いられる
スペクトル変換としては、例えば、入力オーディオ信号
を所定単位時間(フレーム)でブロック化し、当該ブロ
ック毎に離散フーリエ変換(DFT)、コサイン変換
(DCT)、モディファイドDCT変換(MDCT)等
を行うことで時間軸を周波数軸に変換するようなスペク
トル変換がある。なお、上記MDCTについては、ICAS
SP 1987 Using FilterBank Designs Based on Time Do
main Aliasing Cancellation J.P.Princen A.B.Bradley
Univ. of Surrey Royal Melbourne Inst.of Tech. に
述べられている。
【0005】上記高能率符号化によれば、上述のように
フィルタやスペクトル変換によって帯域毎に分割された
信号を量子化することにより、量子化雑音が発生する帯
域を制御することができ、マスキング効果などの性質を
利用して聴覚的により高能率な符号化を行なうことがで
きる。また、ここで量子化を行なう前に、各帯域毎に、
例えばその帯域における信号成分の絶対値の最大値で正
規化を行なうようにすれば、さらに高能率な符号化を行
なうことができる。
【0006】ここで、周波数帯域分割された各周波数成
分を量子化する周波数分割幅としては、例えば人間の聴
覚特性を考慮した帯域分割がある。すなわち、一般に臨
界帯域(クリティカルバンド)と呼ばれている高域ほど
帯域幅が広くなるような帯域幅で、オーディオ信号を複
数(例えば25バント)の帯域に分割することがある。
また、この時の各帯域毎のデータを符号化する際には、
各帯域毎に所定のビット配分或いは、各帯域毎に適応的
なビット割当て( ビットアロケーション) による符号化
が行われる。例えば、上記MDCT処理されて得られた
係数データを上記ビットアロケーションによって符号化
する際には、上記各ブロック毎のMDCT処理により得
られる各帯域毎のMDCT係数データに対して、適応的
な割当てビット数で符号化が行われることになる。ビッ
ト割当手法としては、次の2手法が知られている。
【0007】例えば、IEEE Transactions of Accoustic
s,Speech,and Signal Processing,vol. ASSP-25, No.4,
August 1977 では、各帯域毎の信号の大きさをもと
に、ビット割当を行なっている。この方式では、量子化
雑音スペクトルが平坦となり、雑音エネルギが最小とな
るが、聴感覚的にはマスキング効果が利用されていない
ために、実際の雑音感は最適ではない。また、ICASSP 1
980 The critical bandcoder --digital encoding of t
he perceptual requirements of the auditorysystem
M.A.Kransner MIT では、聴覚マスキングを利用するこ
とで、各帯域毎に必要な信号対雑音比を得て固定的なビ
ット割当を行なう手法が述べられている。しかし、この
手法では、例えばサイン波入力で特性を測定する場合で
あっても、ビット割当が固定的であるために特性値がそ
れほど良い値とならない。
【0008】これらの問題を解決するために、ビット割
当に使用できる全ビットを、ブロックをさらに細分化す
る各小ブロック毎に予め定められた固定ビット割当パタ
ーン分と、各ブロックの信号の大きさに依存したビット
配分を行なう分とに分割使用し、その分割比を入力信号
に関係する信号に依存させ、前記信号のスペクトルが滑
らかなほど前記固定ビット割当パターン分への分割比率
を大きくする高能率符号化装置が提案されている。
【0009】この方法によれば、例えばサイン波入力の
ように、特定のスペクトルにエネルギが集中する場合に
はそのスペクトルを含むブロックに多くのビットを割り
当てる事により、全体の信号対雑音特性を著しく改善す
ることができる。一般に、急峻なスペクトル成分をもつ
信号に対して人間の聴覚は極めて敏感であるため、この
ような方法を用いる事によって信号対雑音特性を改善す
ることは、単に測定上の数値を向上させるばかりでな
く、聴感上、音質を改善するのに有効である。
【0010】ビット割り当ての方法にはこの他にも数多
くのやり方が提案されており、さらに聴覚に関するモデ
ルが精緻化され、符号化装置の能力が向上すれば聴覚的
にみてより高能率な符号化が可能になる。
【0011】ところで、このように、信号を一旦周波数
成分に分解し、その周波数成分を量子化して符号化する
方法を用いると、その周波数成分を復号化して合成して
得られた波形信号に量子化雑音が発生するようになる。
【0012】ここでもしも、元々の信号成分が急激に変
化するものである場合には、元の信号波形が大きくない
部分(例えば上記急激に変化する部分の前や後は必ずし
も信号波形が大きいとは限らない)の波形信号上の量子
化雑音が大きくなってしまうことがある。このとき、当
該元の信号波形が大きくない部分に発生した上記量子化
雑音は、上記急激に変化する部分の信号による同時マス
キングによっては隠蔽されないため、当該量子化雑音が
聴感上の障害になる。特に、スペクトル変換を使用して
信号を多数の周波数成分に分解した場合には、時間分解
能が悪くなり、長い期間にわたって大きな量子化雑音が
発生してしまうようになる。ここで、例えばスペクトル
変換の変換長を短くすれば上記の量子化雑音の発生期間
も短くなるが、そうすると周波数分解能が悪くなり、準
定常的な部分における符号化効率が悪くなってしまう。
なお、上述したようなスペクトル変換を使用した場合に
おいて、急激に変化する部分の信号による同時マスキン
グによって遮蔽されない量子化雑音のうち、当該急激に
変化する部分の信号の時間的に前に発生する上記量子化
雑音は、プリエコーと呼ばれている。このプリエコーに
ついては、後に詳述する。
【0013】このような問題を解決する手段として、信
号波形が急激に変化する部分においてのみ周波数分解能
を犠牲にして変換長を短くするというように、変換長を
可変する方法が提案されている。
【0014】図9及び図10は、先に本件出願人によっ
て特開平4−302530号公報において開示された符
号化装置における帯域分割回路と帯域合成回路の構成例
を表すブロック回路図であり、これら帯域分割回路,帯
域合成回路において、上記スペクトル変換の変換長を可
変にするようにしている。
【0015】先ず、帯域分割回路を示す図9において、
入力端子300へ供給された入力オーディオ信号は、二
段構成の帯域分割フィルタ301,302の前段の帯域
分割フィルタ301に送られる。この帯域分割フィルタ
301によって2つに帯域分割された信号の一方は次段
の帯域分割フィルタ302に送られる。この帯域分割フ
ィルタ302では上記帯域分割フィルタ301からの信
号を更に2つに帯域分割する。これにより、上記端子3
00に供給された入力オーディオ信号は、上記帯域分割
フィルタ301及び302によって三つの帯域に分割さ
れるようになる。
【0016】上記帯域分割フィルタ301及び302か
らのそれぞれの帯域の信号は、それぞれの帯域に対応し
て設けられた順スペクトル変換回路321,322,3
23に送られ、これら順スペクトル変換回路321,3
22,323によってそれぞれスペクトル信号に変換さ
れる。なお、これら順スペクトル変換回路としては、例
えば上述のMDCTの変換を行う構成を使用することが
できる。
【0017】ここで、この構成例において特徴的なの
は、上記各順スペクトル変換回路における順スペクトル
変換の変換長が可変になっていることであり、この変換
長は変換長決定回路311,312,313によってそ
れぞれの帯域の信号に基づいて決定されるものである。
このように変換長を可変にすることで、準定常的な信号
波形部分でも過渡的な信号波形部分でも聴覚的に効率の
良い符号化を行なうことができるようになるが、これに
ついては後ほど詳しく説明を行なう。
【0018】上記順スペクトル変換回路321,32
2,323からの各スペクトル信号は、端子304,3
06,308を介し、予め定められた周波数帯域毎(例
えば臨界帯域毎)にまとめられる。また、各変換長決定
回路311,312,313からの各変換長情報は、端
子303,305,307を介して出力される。これら
端子303,304,305,306,307,308
からの出力は、図示を省略する正規化回路や量子化回路
などによって処理され、さらにマルチプレクサなどによ
って符号列とされた後、記録媒体へ記録されたり、送信
されたりする。
【0019】図10は、図9の帯域分割回路を持つ符号
化装置によって符号化された信号を復号化する復号化装
置の帯域合成回路の構成例を示すブロック回路図であ
る。
【0020】この図10において、当該帯域合成回路の
各逆スペクトル変換回路421,422,423の前段
では、前記図9の帯域分割回路を有する符号化装置から
の符号列が、図示を省略するデマルチプレクサなどによ
って各帯域毎の信号成分に分離され、さらに図9の帯域
分割フィルタの出力に対応する3つの帯域にまとめられ
る。端子401,402,403には、図9の各端子3
03,305,307からの出力に対応する帯域毎の変
換長情報が入力され、端子411,412,413には
図9の各端子304,306,308からの出力に対応
するスペクトル情報が前記図9では図示を省略した正規
化回路や量子化回路などによって正規化および量子化さ
れた情報が、正規化や量子化を解除された形で入力され
る。
【0021】これの情報が、帯域毎にそれぞれ対応する
各逆スペクトル変換回路421,422,423に送ら
れる。各逆スペクトル変換回路421,422,423
では、これら入力された情報から、3つの帯域の信号が
計算される。これら3つの帯域の信号が、二段の帯域合
成フィルタ424,431に送られる。
【0022】上記逆スペクトル変換回路422と423
の出力は帯域合成フィルタ424によって合成され、逆
スペクトル変換回路421と帯域合成フィルタ424の
出力は帯域合成フィルタ431によって合成される。こ
れにより、上記帯域合成フィルタ431からは、帯域合
成されたオーディオ信号が得られ、これが端子430か
ら出力される。
【0023】次に、図11を用いて、前記図9及び図1
0の構成例に示された帯域分割回路と帯域合成回路にお
いて変換長を可変にしたことによる効果について説明す
る。
【0024】一般に、準定常的な信号波形に対しては、
変換長を長く(図11の(A)に示すような変換長の長
い長変換窓関数を用いる)した方が特定のスペクトル係
数に対してエネルギが集中するので符号化効率は高くな
る。
【0025】しかし、前述したように、一旦スペクトル
信号に変換して量子化し、そのスペクトル信号を時系列
信号に逆変換すると、そのときの量子化雑音は、その変
換ブロック(スペクトル信号への変換の際のブロック)
に対して略一様に分布するようになる。このため、例え
ば信号波形が急激に変化する部分で長い変換長を採用す
ると、図11の(B)に示されるように、信号が微小な
部分にも大きな量子化雑音QNが発生してしまう。この
雑音QNは、上記急激に変化する信号波形SWによる同
時マスキング効果によっては聴覚的に隠蔽されない。
【0026】ここで、マスキング効果には、上記同時マ
スキング効果の他に、時間的に前に発生した音が後に発
生した音を隠蔽する順向性マスキングと、時間的に後に
発生した音が前に発生した音を隠蔽する逆向性マスキン
グとがあるが、上記逆向性マスキングは順向性マスキン
グに比較して非常に短時間しか効果が現われない。した
がって、特に、音が急激に大きくなる部分の時間的に前
に発生する量子化雑音(当該量子化雑音から見た場合は
上記急激に大きくなる音は時間的に後となる)はプリエ
コーとして聴感上の大きな障害となる。
【0027】そこで、図9において三つに分割された各
帯域で例えば信号が急激に大きくなるところでは、図1
1の(C)に示されるように、短い変換長(短変換窓関
数)でスペクトル変換を行なうようにし、これにより図
11の(D)に示すように上記量子化雑音QNの発生期
間を短くして上記逆向性マスキングによるマスキングが
かかるようにして聴感上の障害にならないようにするこ
とができる。
【0028】上記変換長は、長短を混在させることも可
能である。図12は、長短の変換長を混在させて変換を
行なっている様子を示したものである。すなわち、図1
2の(B)に示すような急激に変化する信号がある場合
には、その急激な変化の部分で、図12の(A)に示す
ように変換窓関数を長変換窓関数から短変換窓関数に可
変するという処理を行う。
【0029】
【発明が解決しようとする課題】ところが、この方法
は、信号波形の準定常的な部分に対しても、また過渡的
な部分に対しても聴覚的に効率の良い符号化が可能であ
るが、変換長が一定でないため、得られるスペクトルの
本数も変換のブロック毎に異なり、符号化装置、復号化
装置ともに複雑になってしまうという虞れがある。言い
換えれば、上記のように変換長を可変にする方法では、
異なる長さの変換に対応した変換手段を符号化装置、復
号化装置に設ける必要があり、また、変換によって得ら
れるスペクトル成分の数は変換長の長さに比例するた
め、各スペクトル成分が対応する周波数帯域も変換長に
よって異なり、複数のスペクトルを、例えば、臨界帯域
幅毎にまとめて符号化しようとした場合には各臨界帯域
に含まれるスペクトルの数も異なってしまい、符号化、
復号化の処理が煩雑になってしまう。
【0030】そこで、本発明は、変換長を一定にして、
符号化装置及び復号化装置を簡単にすると共に、準定常
的な部分での符号化効率を高くし、なおかつプリエコー
による聴感上の障害を起こさないようすることができる
情報符号化又は復号化方法、並びに装置の提供を目的と
するものである。
【0031】
【課題を解決するための手段】本発明はこのような実情
に鑑みてなされたものであり、符号化装置にプリエコー
が発生されることが予想される位置を検出する手段を設
け、復号化装置がプリエコーを発生させる信号成分を強
制的に抑圧できるよう符号化装置から復号化装置に信号
成分抑圧制御情報を送ることによってプリエコーの発生
を防止するものである。
【0032】すなわち、本発明の情報符号化方法は、入
力信号を周波数成分に分解し、上記周波数成分を量子化
して符号化する情報符号化方法において、上記入力信号
を窓関数を用いて周波数成分に分解し、上記周波数成分
を量子化して符号化し、復号化時に復号化された信号を
強制的に抑圧するために用いる信号抑圧制御情報を、
記窓関数内で上記入力信号のレベルが急激に変化する
記入力信号の位置に基づいて生成して符号化し、符号化
された上記入力信号と符号化された上記信号抑圧制御情
報とを伝送若しくは記録するものであり、その装置は、
入力信号を窓関数を用いて周波数成分に分解する周波数
成分分解手段と、上記周波数成分分解手段からの周波数
成分を量子化する量子化手段とを有する情報符号化装置
において、上記窓関数内で上記入力信号のレベルが急激
に変化する上記入力信号の位置に基づいて、復号化時に
復号化された信号を強制的に抑圧するために用いる信号
抑圧制御情報を生成する信号抑圧制御情報決定手段をさ
らに有し、上記量子化手段からの上記周波数成分の量子
化出力と共に上記信号抑圧制御情報を符号化して伝送若
しくは記録媒体に記録するようにしたものである。さら
に、上記周波数成分を正規化する正規化手段を設けるこ
とで、上記量子化手段での量子化は、上記正規化手段で
正規化がなされた周波数成分に対して行うようにしてい
る。
【0033】ここで、上記周波数成分分解手段における
入力信号の周波数成分への分解には、スペクトル変換を
使用することができる。このスペクトル変換は、一旦入
力信号を複数帯域に分割した信号に対して施す。また、
上記周波数成分分解手段は、以下のことも行う。例え
ば、上記窓関数の長さは、上記入力信号の何れの部分に
対しても同一とする。上記入力信号の周波数成分への分
解には帯域分割フィルタを使用する。上記周波数成分へ
の分解のための変換処理の際には上記入力信号の何れ
部分に対しても同一の処理を施す。
【0034】また、上記信号抑圧制御情報決定手段は、
上記信号抑圧制御情報を、上記帯域分割された帯域毎に
決定する。なお、上記信号抑圧制御情報は、上記帯域分
割された全ての帯域に対して共通に決定する。また、信
号抑圧制御情報は、上記復号化された信号を抑圧する範
囲を示す抑圧範囲情報であり、上記復号化された信号を
抑圧する範囲における係数情報を含む。上記抑圧範囲情
報は、上記窓関数の先頭からの長さ情報である。さら
に、上記信号抑圧制御情報は、信号抑圧関数を指定する
ための符号である。上記信号抑圧制御情報によって復号
化の際に上記復号化された信号を抑圧する範囲は、前記
位置に対する時間的に前の上記復号化された信号のみで
ある。
【0035】なお、上記入力信号は、音情報や、画像情
報とすることができる。また、上記入力信号は、複数チ
ャンネルの信号とすることもでき、この場合各チャンネ
ル毎に上記信号抑制制御情報の符号化を行う。
【0036】次に本発明の情報復号化方法及び装置は、
上記本発明の情報符号化及び装置に対応するものであ
る。
【0037】なお、復号化時には、信号抑圧制御情報を
無視することができ、また、信号抑圧は必ずしも符号化
装置から送られてきた信号抑圧制御情報によって行わな
くても良いので、復号化装置と符号化装置とは必ずしも
一対一対応するものではない。
【0038】
【作用】本発明によれば、符号化装置に信号成分によっ
てマスキングされない量子化雑音が発生する(すなわち
プリエコーが発生する)ことが予想される位置を検出す
る手段を設け、復号化装置がプリエコーを発生させる信
号成分を強制的に抑圧できるように符号化装置から復号
化装置に信号抑圧制御情報を送ることによってプリエコ
ーの発生を防止する。
【0039】
【実施例】以下、本発明の好ましい実施例について、図
面を参照にしながら説明する。
【0040】図1は本発明の情報符号化方法が適用され
る符号化装置の実施例のブロック回路図を示したもので
ある。この図1において、入力端子100を介して符号
化装置に入力されたオーディオ信号は、帯域分割回路1
01によって帯域分割される。この帯域分割回路101
における帯域分割手段としては、前述したQMF等のフ
ィルタによる分割手段を用いても、また、MDCT等の
スペクトル変換によって得られたスペクトルを帯域毎に
グループ化するという手段を用いてもよい。また、一
旦、フィルタによって幾つかの帯域に分割されたものに
対してスペクトル変換を行ない、これによって得られた
スペクトルを帯域毎にグループ化するという手段を用い
てもよい。さらに、この帯域分割による各帯域の幅は均
一であっても、例えば臨界帯域幅に合わせるように不均
一にとっても良い。なお、図1の例では四つの帯域に分
割されているが、もちろんこの数はさらに多くしても、
或いは少なくしてもよい。
【0041】上記帯域分割回路101によって帯域分割
された信号は、ある時間ブロック毎に各帯域に対応する
正規化回路111,112,113,114によって正
規化が施され、ここでそれぞれ正規化係数と被正規化信
号に分解される。それぞれの被正規化信号は、それぞれ
量子化精度決定回路141の出力である量子化精度情報
に基づいて量子化回路121,122,123、124
によって量子化され、ここで被正規化・量子化信号へと
変換される。なお、図1においては、上記量子化精度決
定回路141からの各量子化回路121,122,12
3,124への量子化精度情報のうち、上記量子化回路
122へ送られる量子化精度情報は端子152を介し、
上記量子化回路123へ送られる量子化精度情報は端子
153を介し、上記量子化回路124へ送られる量子化
精度情報は端子154を介してそれぞれ対応する回路に
送られる。
【0042】上記量子化回路121,122,123,
124からの各被正規化・量子化信号と、上記正規化回
路111,112,113,114からの各正規化係数
と、上記量子化精度決定回路141からの各量子化精度
情報とは、マルチプレクサ(Multiplexer)131によっ
て、順次符号列とされ、この符号列が端子103から出
力される。この符号列は、その後、ディスク状やテープ
状或いは半導体などの記録媒体に記録、または伝送系か
ら送信される。
【0043】ここで、図1の例においては、上記量子化
精度決定回路141は上記帯域分割回路101によって
帯域分割された各信号に基づいて上記量子化精度を計算
しているが、帯域分割前の端子100を介した信号から
計算することも可能であり、また、各正規化回路11
1,112,113,114からの正規化係数に基づい
て計算することも可能である。さらに、当該量子化精度
決定回路141での計算は、マスキング効果等の聴覚現
象に基づいて行なうことができるものであり、上記各量
子化精度情報は上述したようにマルチプレクサ131を
介して出力されて後に復号化装置に送られるものであ
る。このため、復号化装置で使われる聴覚モデルは任意
に設定することができることになる。
【0044】一方、図2は本発明の情報復号化方法が適
用される図1の符号化装置に対応する復号化装置の実施
例のブロック回路図を示したものである。この図2にお
いて、本実施例の復号化装置の端子201に入力された
符号情報(前記符号列)は、デマルチプレクサ202に
送られ、ここで各帯域毎の量子化精度情報と、正規化係
数と、被正規化・量子化信号とに分離復元される。各帯
域毎の量子化精度情報、正規化係数、被正規化・量子化
信号は、それぞれ各帯域に対応する信号成分構成回路2
11,212,213,214に送られ、ここで各帯域
毎に信号成分が構成される。これら各信号成分構成回路
211,212,213,214からの信号成分は、帯
域合成回路221によって合成されてオーディオ信号と
なされて端子251から出力される。
【0045】次に、図3を用いて、本発明による前記プ
リエコー抑圧の方法の原理を説明する。
【0046】図3の(A)は、本実施例符号化装置の帯
域分割回路101のフィルタによって分割されたある帯
域における信号波形SWを表している。本実施例では、
図3の(A)のような信号波形SW(急激に変化するよ
うな信号波形)に対して、図3の(B)で示される順変
換用窓関数が掛けられた図3の(C)のような信号波形
SWがスペクトル信号へ変換されるが、本実施例装置で
は、それと並行して信号がどこで急激に変化するかの検
出が行なわれる。この例の場合、図3の(C)に示す1
番から8番までの小区間のうち5番の小区間から信号が
急激に大きくなっており、したがって、この変換区間
(1番から8番までの小区間からなる変換区間)の先頭
から4番までの小区間の間に前記量子化誤差によるプリ
エコーが発生することになる。
【0047】図4は、本実施例における上記プリエコー
の発生区間の長さN(図3の(D)に示すプリエコーが
発生する区間の長さN)を求める処理の流れを示したも
のである。この実施例においては、各小区間のサンプル
の最大絶対値が、それ以前の小区間におけるサンプルの
最大絶対値のK倍(Kは所与の値) になっている場合、
その小区間以前の小区間でプリエコーが発生すると見な
して、上記プリエコー発生区間の長さNを求めている。
【0048】すなわち、図4において、ステップS1で
は先ず上記長さNの値を0に初期化し、次のステップS
2では例えば上記図3の(C)の1番の小区間のサンプ
ルの最大絶対値をP0 とする。ステップS3では、小区
間の番号を示す変数Iを1とし、ステップS4では、次
の小区間すなわち(I+1)番の小区間のサンプルの絶
対値をP1 とする。
【0049】ステップS5では、上記(I+1)番の小
区間のサンプルの絶対値のP1 と、それ以前の区間にお
けるサンプルの最大絶対値のP0 のK倍との大きさを比
較し、P1 >K*P0 となった場合(Yes)にはステ
ップS6に、P1 >K*P0でない場合(No)にはス
テップS7に進む。
【0050】ステップS6では上記長さNの値をIと
し、ステップS7では0番の小区間のサンプルの絶対値
のP0 と1番の小区間のサンプルの絶対値のP1 との比
較を行う。このステップS7でP1 >P0 となった場合
(Yes)にはステップS8に進み、P1 >P0 でない
場合(No)にはステップS9に進む。
【0051】ステップS8ではP0 =P1 とし、ステッ
プS9では変数iが7か否かすなわち8番の小区間まで
進んだか否かの判断を行う。このステップS9でi=7
と判断した場合(Yes)には処理を終了し、Noと判
断した場合にはステップS10に進む。
【0052】ステップS10ではI=I+1とした後、
ステップS4に戻り、上述の処理を繰り返す。
【0053】符号化装置から復号化装置には、上述のよ
うにして求めた上記プリエコー発生区間の長さNがプリ
エコー防止のための信号成分の抑圧制御情報として送ら
れる。なお、本実施例では、図3の(D)に示すよう
に、信号抑圧制御情報が”1”のとき信号を抑圧する旨
を示すものとしている。
【0054】したがって、復号化装置においては、スペ
クトル信号を波形信号に変換した後、上記抑圧制御情報
によってプリエコー発生区間として指定された部分での
波形信号を例えば0のサンプル値に抑圧した後、図3の
(E)に示すような逆変換用窓関数を掛けて前後の変換
区間と合成する。なお、このような抑圧を行なうことに
より、プリエコー成分だけでなく、元の信号成分も抑圧
されてしまう虞れもあるが、この抑圧が行なわれるのは
短時間の微小な信号成分であるため聴覚的な違和感は生
じにくい。
【0055】ここで、図5には、本発明実施例の符号化
装置の帯域分割回路の具体的な構成を示す。
【0056】図1の帯域分割回路101の具体例を示す
図5において、端子500には、図1の端子100から
の入力オーディオ信号が供給され、この信号が二段構成
の帯域分割フィルタ501,502の前段の帯域分割フ
ィルタ501に送られる。この帯域分割フィルタ501
によって2つに帯域分割された信号の一方は次段の帯域
分割フィルタ502に送られる。この帯域分割フィルタ
502では上記帯域分割フィルタ501からの信号を更
に2つに帯域分割する。これにより、上記端子500に
供給された入力オーディオ信号は、上記帯域分割フィル
タ501及び502によって三つの帯域に分割されるよ
うになる。
【0057】上記帯域分割フィルタ501及び502か
らのそれぞれの帯域の信号は、それぞれの帯域に対応し
て設けられた順スペクトル変換回路521,522,5
23に送られ、これら順スペクトル変換回路521,5
22,523によってそれぞれスペクトル信号に変換さ
れる。なお、これら順スペクトル変換回路521,52
2,523としては、例えば上述のMDCTなどの変換
を行う構成を使用することができる。
【0058】本実施例においては、上記各順スペクトル
変換回路521,522,523における順スペクトル
変換の変換長は前記図3で説明したように一定になって
いる。
【0059】また、上記帯域分割フィルタ501及び5
02からのそれぞれの帯域の信号は、それぞれの帯域に
対応して設けられた抑圧制御情報決定回路511,51
2,513にも送られる。これら抑圧制御情報決定回路
511,512,513では、前記図3及び図4で説明
した抑圧制御情報の決定が成される。
【0060】上記順スペクトル変換回路521,52
2,523からの各スペクトル信号は端子541,54
2,543を介し、また、各抑圧制御情報決定回路51
1,512,513からの各抑圧制御情報は端子53
1,532,533を介して出力され、予め定められた
周波数帯域毎(例えば臨界帯域毎)にまとめられて、そ
れぞれの周波数帯域に対応する図1の正規化回路11
1,112,113,114などに送られる。
【0061】なお、上記図5の各順スペクトル変換回路
521,522,523は、具体的には図6に示すよう
に構成される。なお図6は1つのスペクトル変換回路の
構成のみ示している。
【0062】この図6において、端子700には帯域分
割フィルタからの出力が供給され、これが順変換用窓掛
け回路701に送られる。この順変換用窓掛け回路70
1では、入力信号に対して図3の(B)に示したような
順変換用窓関数を掛ける処理が行われる。
【0063】当該順変換用窓掛け回路701の出力は、
順変換式計算回路702に送られ、当該回路702で上
記順変換用窓を掛けられた信号がスペクトル信号に変換
される。この場合の変換長は、上述したように全ての区
間で同一である。
【0064】次に、図7には、本発明実施例の復号化装
置の具体的な帯域合成回路の構成を示す。
【0065】この図7において、当該帯域合成回路の各
逆スペクトル変換回路621,622,623の前段で
は、前記図1の帯域分割回路を有する符号化装置からの
符号列が、前記図2のデマルチプレクサ202によって
各帯域毎に分割され、さらに前記図2の信号成分構成回
路211,212,213,214によって各帯域毎に
信号成分が構成されている。この信号成分は、前記予め
定められた周波数帯域毎(例えば臨界帯域毎)の信号成
分であるが、これらは前記帯域分割回路における帯域分
割フィルタによる帯域分割に対応する3つの帯域にまと
められる。
【0066】この図7の帯域合成回路の端子601,6
02,603には、上記3つの帯域の信号のうちの上記
抑圧制御情報が供給され、端子611,612,613
には、被正規化および量子化されたスペクトル信号に対
応する情報が入力される。
【0067】これの情報が、帯域毎にそれぞれ対応する
各逆スペクトル変換回路621,622,623に送ら
れる。各逆スペクトル変換回路621,622,623
では、これら入力された情報から、3つの帯域の信号が
計算される。これら3つの帯域の信号が、二段の帯域合
成フィルタ624,631に送られる。
【0068】上記逆スペクトル変換回路622と623
の出力は帯域合成フィルタ624によって合成され、逆
スペクトル変換回路621と帯域合成フィルタ624の
出力は帯域合成フィルタ631によって合成される。こ
れにより、上記帯域合成フィルタ631からは、帯域合
成されたオーディオ信号が得られ、これが端子630か
ら出力される。
【0069】次に、図8には、上記図7の逆スペクトル
変換回路621,622,623のうちの1つの具体的
な構成を示す。
【0070】この図8において、端子800には上記被
正規化および量子化されたスペクトル信号に対応する情
報が入力され、端子805には上記抑圧制御情報が供給
される。上記スペクトル信号に対応する情報は、逆変換
式計算回路801に送られ、ここで、時間領域の信号に
変換された後、信号抑圧回路802に送られる。この信
号抑圧回路802には、上記抑圧制御情報も供給され
る。当該信号抑圧回路802では、上記抑圧制御情報に
基づいて上記スペクトル信号に対応する情報のプリエコ
ーの原因となるサンプルを0に抑圧した後、逆変換用窓
掛け回路803に送る。
【0071】上記逆変換用窓掛け回路803では、図3
の(E)に示したような逆変換用窓関数を用いて供給さ
れた信号に対して逆変換窓を掛けた後、波形合成回路8
04に送る。当該波形合成回路804では、上記逆変換
用窓掛け回路803からの現時点での変換区間とその前
後の変換区間とが合成される。この合成出力が端子80
6から出力される。
【0072】なお、本実施例において、信号の抑圧情報
としては、必ずしも前記変換区間の先頭からの信号抑圧
区間の長さにとらなくても、例えば信号抑圧区間先頭位
置と終了位置を送る(記録媒体に記録する場合には記
録)するようにしても良い。このようにすれば、例え
ば、波形が変換区間の途中部分において小さくなる場合
や後ろの部分で小さくなる場合に、その部分における量
子化雑音の発生を押さえることもできる。ただし、量子
化雑音の発生が大きな問題となるのは、その量子化雑音
と同時或いは以前に、その量子化雑音を隠蔽するに十分
な大きさの信号成分が無く、プリエコーとして聞こえて
しまう場合であるので、前述のように信号抑圧区間をそ
の変換区間の先頭からとり、その信号抑圧区間の長さの
みを符号化して表すようにすると効率が良い。
【0073】また、信号の抑圧方法としては、必ずしも
サンプル値を0にする必要はなく、例えば、抑圧区間に
おいてその信号レベルに所与の係数を掛けて小さな値に
するようにしても良い。その場合、必ずしも0または1
の値のみをとるのではない係数情報を送るようにしても
よいし、信号抑圧関数の形状を予め複数設定しておき、
その信号抑圧関数を指定する符号を送る(記録媒体に記
録する場合には記録)するようにしてもよい。
【0074】以上、本実施例では、予めフィルタによっ
て帯域分割してからスペクトル変換した信号を符号化す
る場合を例にとって説明を行なった。このようにする
と、例えば、準定常的な信号に急激に高域の信号が加わ
ったような場合に、高域の量子化雑音のみを抑圧すれば
プリエコーの発生を押さえることができ、より忠実な符
号化が可能になり都合が良い。
【0075】ただし、プリエコーが最も聴感上の障害と
なり易いのは全帯域の音の信号レベルが急激に変化する
場合であるので、全ての帯域の信号抑圧を同一の信号抑
圧制御情報で制御しても良い。このようにすると信号抑
圧制御情報の情報量を減らすことができる。
【0076】もちろん、予めフィルタによって帯域分割
をしない信号に対してスペクトル変換を施す場合にも本
発明の方法は適用可能である。また、スペクトル変換と
してMDCTを例にとって挙げたが、もちろん、離散フ
ーリエ変換(DFT)や離散コサイン変換(DCT)等
を使用することも可能である。さらに、このような特別
なスペクトル変換を使用せずに、フィルタによって帯域
分割をした後、量子化を行ない符号化する場合にも本発
明の方法を適用することが可能である。
【0077】さらに、本発明の方法の大きな利点の一つ
として変換長を固定的にとった復号化装置との両立性を
挙げることができる。本発明の方法で符号化された符号
に対して、復号化装置が信号抑圧の処理を行なわなけれ
ば、これは固定的な変換長で変換して符号化された符号
を復号するのと同一の出力信号が得られる。したがって
例えば、プリエコーによる聴感上の劣化が問題にならな
い場合には、従来の固定的な変換長で変換して符号化さ
れた符号を復号化する装置は信号抑圧制御情報を無視す
るだけで本発明の方法で符号化された符号を復号化する
ことができるようになる。
【0078】また、本発明の方法はもちろん多チャネル
の音響信号に対して適用可能であり、本発明の方法を用
いれば多チャネルの高音質の音響信号を楽しむことが簡
単な手段によって実現できる。この場合、各チャンネル
でそれぞれ前記信号の抑圧制御情報が符号化されること
になる。
【0079】なお、以上、本実施例では、音響波形信号
を量子化した場合の量子化雑音の発生範囲を抑制する場
合に関して説明を行なったが、本発明の方法は、量子化
雑音の発生範囲を元の信号が大きい部分のみに限定し、
目立たせなくする上で有効であり、例えば画像信号にも
適用することが可能である。
【0080】
【発明の効果】以上の説明からも明らかなように、本発
明においては、変換区間長を可変にすることなく、比較
的簡単な符号化装置及び復号化装置を構成でき、これら
符号化装置及び復号化装置によって、準定常的な波形信
号部分でも過渡的な波形信号部分でも十分な音質を確保
した符号化が可能になった。
【図面の簡単な説明】
【図1】本発明実施例の符号化装置の概略構成を示すブ
ロック回路図である。
【図2】本発明実施例の復号化装置の概略構成を示すブ
ロック回路図である。
【図3】本発明によるプリエコー抑圧の動作原理を説明
するための図である。
【図4】本発明によるプリエコーの発生区間の長さを求
める処理の流れを示すフローチャートである。
【図5】本発明実施例符号化装置の帯域分割回路の具体
的な構成を示すブロック回路図である。
【図6】本実施例符号化装置の帯域分割回路の順スペク
トル変換回路の具体的な構成を示すブロック回路図であ
る。
【図7】本発明実施例復号化装置の帯域合成回路の具体
的な構成を示すブロック回路図である。
【図8】本実施例復号化装置の帯域合成回路の逆スペク
トル変換回路の具体的な構成を示すブロック回路図であ
る。
【図9】従来技術による帯域分割回路の具体例を示すブ
ロック回路図である。
【図10】従来技術による帯域合成回路の具体例を示す
ブロック回路図である。
【図11】従来技術の変換長可変の動作原理及びその効
果を説明するための図である。
【図12】従来技術の変換長を混在させた場合の様子を
示す説明するための図である。
【符号の説明】
101・・・・帯域分割回路 111〜114・・・・正規化回路 121〜124・・・・量子化回路 131・・・・マルチプレクサ 141・・・・量子化精度決定回路 202・・・・デマルチプレクサ 211〜214・・・・信号成分構成回路 221・・・・帯域合成回路 501,502・・・・帯域分割フィルタ 511〜513・・・・抑圧制御情報決定回路 521〜523・・・・順スペクトル変換回路 621〜623・・・・逆スペクトル変換回路 624,631・・・・帯域合成フィルタ 701・・・・順変換用窓掛け回路 702・・・・順変換式計算回路 801・・・・逆変換式計算回路 802・・・・信号抑圧回路 803・・・・逆変換用窓掛け回路 804・・・・波形合成回路
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H03M 7/30

Claims (17)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力信号を周波数成分に分解し、上記周
    波数成分を量子化して符号化する情報符号化方法におい
    て、上記入力信号を窓関数を用いて周波数成分に分解し、上
    記周波数成分を量子化して符号化し、 復号化時に復号化された信号を強制的に抑圧するために
    用いる信号抑圧制御情報を、上記窓関数内で上記入力信
    号のレベルが急激に変化する上記入力信号の位置に基づ
    いて生成して符号化し符号化された上記入力信号と符号化された上記信号抑圧
    制御情報とを 伝送若しくは記録することを特徴とする情
    報符号化方法。
  2. 【請求項2】 入力信号を窓関数を用いて周波数成分に
    分解する周波数成分分解手段と、上記周波数成分分解手
    段からの周波数成分を量子化する量子化手段とを有する
    情報符号化装置において、上記窓関数内で上記入力信号の レベルが急激に変化する
    上記入力信号の位置に基づいて、復号化時に復号化され
    信号を強制的に抑圧するために用いる信号抑圧制御情
    報を生成する信号抑圧制御情報決定手段をさらに有し、 上記量子化手段からの上記周波数成分の量子化出力と共
    に上記信号抑圧制御情報を符号化して伝送若しくは記録
    媒体に記録することを特徴とする情報符号化装置。
  3. 【請求項3】 上記周波数成分を正規化する正規化手段
    を設け、 上記量子化手段での量子化は、上記正規化手段で正規化
    がなされた周波数成分に対して行うことを特徴とする請
    求項2記載の情報符号化装置。
  4. 【請求項4】 上記周波数成分分解手段は、上記入力信
    号の周波数成分への分解にはスペクトル変換を使用する
    ことを特徴とする請求項2記載の情報符号化装置。
  5. 【請求項5】 上記周波数成分分解手段は、上記入力信
    号を複数帯域に分割し、当該帯域分割がなされた信号に
    対して上記スペクトル変換を施すことを特徴とする請求
    項4記載の情報符号化装置。
  6. 【請求項6】 上記信号抑圧制御情報決定手段は、上記
    信号抑圧制御情報を、上記帯域分割された帯域毎に決定
    することを特徴とする請求項5記載の情報符号化装置。
  7. 【請求項7】 上記信号抑圧制御情報決定手段は、上記
    信号抑圧制御情報を、上記帯域分割された全ての帯域に
    対して共通に決定することを特徴とする請求項5記載の
    情報符号化装置。
  8. 【請求項8】 上記周波数成分分解手段は、上記窓関数
    の長さを、上記入力信号の何れの部分に対しても同一と
    することを特徴とする請求項4記載の情報符号化装置。
  9. 【請求項9】 上記周波数成分分解手段は、上記入力信
    号の周波数成分への分解には帯域分割フィルタを使用す
    ることを特徴とする請求項2記載の情報符号化装置。
  10. 【請求項10】 上記周波数成分分解手段は、上記周波
    数成分への分解のための変換処理の際に上記入力信号の
    何れの部分に対しても同一の処理を施すことを特徴とす
    る請求項2記載の情報符号化装置。
  11. 【請求項11】 上記信号抑圧制御情報は、上記復号化
    された信号を抑圧する範囲を示す抑圧範囲情報であるこ
    とを特徴とする請求項2記載の情報符号化装置。
  12. 【請求項12】 上記信号抑圧制御情報は、上記復号化
    された信号を抑圧する範囲における係数情報を含むこと
    を特徴とする請求項11記載の情報符号化装置。
  13. 【請求項13】 上記抑圧範囲情報は、上記窓関数の先
    頭からの長さ情報であることを特徴とする請求項11
    載の情報符号化装置。
  14. 【請求項14】 上記信号抑圧制御情報は、信号抑圧関
    数を指定するための符号であることを特徴とする請求項
    2記載の情報符号化装置。
  15. 【請求項15】 上記信号抑圧制御情報によって復号化
    の際に上記復号化された信号を抑圧する範囲は、前記位
    置に対応する時間的に前の上記復号化された信号のみで
    あることを特徴とする請求項2記載の情報符号化装置。
  16. 【請求項16】 入力信号を窓関数を用いて周波数成分
    に分解し、上記周波数成分を量子化して符号化し、復号
    化時に復号化された信号を強制的に抑圧するために用い
    る信号抑圧制御情報を、上記窓関数内で上記入力信号の
    レベルが急激に変化する上記入力信号の位置に基づいて
    生成して符号化することで得られた符号化された上記入
    力信号と符号化された上記信号抑圧制御情報とを入力
    し、符号化された上記入力信号を復号化する情報復号化
    方法であって、 符号化された上記入力信号と符号化された上記信号抑圧
    制御情報とを復号化し、 復号化された上記信号抑圧制御情報を用いて、復号化さ
    れた上記入力信号 に強制的に信号抑圧を施すことを特徴
    とする情報復号化方法。
  17. 【請求項17】 入力信号を窓関数を用いて周波数成分
    に分解し、上記周波数成分を量子化して符号化し、復号
    化時に復号化された信号を強制的に抑圧するために用い
    る信号抑圧制御情報を、上記窓関数内で上記入力信号の
    レベルが急激に変化する上記入力信号の位置に基づいて
    生成して符号化することで得られた符号化された上記入
    力信号と符号化された上記信号抑圧制御情報とを入力
    し、符号化された上記入力信号を復号化する情報復号化
    装置であって、 符号化された上記入力信号と符号化された上記信号抑圧
    制御情報と を復号化する復号化手段を有し、 上記復号化手段は、復号化された上記信号抑圧制御情報
    を用いて、復号化された上記入力信号に強制的に信号抑
    圧を施すことを特徴とする情報復号化装置。
JP12291993A 1993-05-25 1993-05-25 情報符号化又は復号化方法、並びに装置 Expired - Lifetime JP3513178B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP12291993A JP3513178B2 (ja) 1993-05-25 1993-05-25 情報符号化又は復号化方法、並びに装置
US08/249,177 US5581654A (en) 1993-05-25 1994-05-25 Method and apparatus for information encoding and decoding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12291993A JP3513178B2 (ja) 1993-05-25 1993-05-25 情報符号化又は復号化方法、並びに装置

Publications (2)

Publication Number Publication Date
JPH06334534A JPH06334534A (ja) 1994-12-02
JP3513178B2 true JP3513178B2 (ja) 2004-03-31

Family

ID=14847851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12291993A Expired - Lifetime JP3513178B2 (ja) 1993-05-25 1993-05-25 情報符号化又は復号化方法、並びに装置

Country Status (1)

Country Link
JP (1) JP3513178B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731767A (en) * 1994-02-04 1998-03-24 Sony Corporation Information encoding method and apparatus, information decoding method and apparatus, information recording medium, and information transmission method
JP3307138B2 (ja) * 1995-02-27 2002-07-24 ソニー株式会社 信号符号化方法及び装置、並びに信号復号化方法及び装置
US5960390A (en) * 1995-10-05 1999-09-28 Sony Corporation Coding method for using multi channel audio signals
US5825320A (en) * 1996-03-19 1998-10-20 Sony Corporation Gain control method for audio encoding device
US10811026B2 (en) 2006-07-03 2020-10-20 Nec Corporation Noise suppression method, device, and program

Also Published As

Publication number Publication date
JPH06334534A (ja) 1994-12-02

Similar Documents

Publication Publication Date Title
JP3804968B2 (ja) 適応配分式符号化・復号装置及び方法
JP3277692B2 (ja) 情報符号化方法、情報復号化方法及び情報記録媒体
KR100402189B1 (ko) 오디오신호압축방법
JP3278900B2 (ja) データ符号化装置及び方法
JP3186292B2 (ja) 高能率符号化方法及び装置
JP3186412B2 (ja) 情報符号化方法、情報復号化方法、及び情報伝送方法
JP3153933B2 (ja) データ符号化装置及び方法並びにデータ復号化装置及び方法
US6415251B1 (en) Subband coder or decoder band-limiting the overlap region between a processed subband and an adjacent non-processed one
WO1994028633A1 (fr) Appareil et procede de codage ou decodage de signaux, et support d'enregistrement
US6604069B1 (en) Signals having quantized values and variable length codes
JP3277682B2 (ja) 情報符号化方法及び装置、情報復号化方法及び装置、並びに情報記録媒体及び情報伝送方法
CA2075156A1 (en) Digital encoder with dynamic quantization bit allocation
WO1995013660A1 (fr) Appareil de quantification, procede de quantification, codeur a haute efficacite, procede de codage a haute efficacite, decodeur, supports d'enregistrement et de codage a haute efficacite
JPH1084284A (ja) 信号再生方法および装置
JP3341474B2 (ja) 情報符号化方法及び復号化方法、情報符号化装置及び復号化装置、並びに情報記録媒体
JP3250376B2 (ja) 情報符号化方法及び装置並びに情報復号化方法及び装置
JP3186290B2 (ja) 符号化方法、符号化装置、復号化装置及び記録媒体
KR100330290B1 (ko) 신호부호화장치,신호복호화장치,및신호부호화방법
JP3557674B2 (ja) 高能率符号化方法及び装置
JP3513178B2 (ja) 情報符号化又は復号化方法、並びに装置
US5983175A (en) Audio coding method
JPH07168593A (ja) 信号符号化方法及び装置、信号復号化方法及び装置、並びに信号記録媒体
US6064698A (en) Method and apparatus for coding
JP3413691B2 (ja) 情報符号化方法及び装置、情報復号化方法及び装置、並びに情報記録媒体及び情報送信方法
JP3513879B2 (ja) 情報符号化方法及び情報復号化方法

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20010731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040109

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100116

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100116

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110116

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 9

EXPY Cancellation because of completion of term