JP3564306B2 - サブバンド符号化・復号化方法及び装置 - Google Patents
サブバンド符号化・復号化方法及び装置 Download PDFInfo
- Publication number
- JP3564306B2 JP3564306B2 JP28047898A JP28047898A JP3564306B2 JP 3564306 B2 JP3564306 B2 JP 3564306B2 JP 28047898 A JP28047898 A JP 28047898A JP 28047898 A JP28047898 A JP 28047898A JP 3564306 B2 JP3564306 B2 JP 3564306B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- information
- bit allocation
- band
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はデジタル信号の圧縮に用いられるサブバンド符号化方法及び装置に関する。
【０００２】
【従来の技術】
従来、この種のシステムとしては、その代表例としてＭＰＥＧ１オーデイオ等が知られている。以下、図８及び図９を参照して、従来のサブバンド符号化システムの一例であるＭＰＥＧ１オーディオレイヤ１符号化システムについて説明する。図８は従来のサブバンド符号化システムの一例であるＭＰＥＧ１オーディオレイヤ符号化システムの符号化装置の構成を示すブロック図、図９は従来のサブバンド符号化システムの一例であるＭＰＥＧ１オーディオレイヤ符号化システムの復号化装置の構成を示すブロック図である。
【０００３】
図８において、Ａ０１は帯域分割手段、Ａ０２は時間−周波数変換手段、Ａ０３は周波数解析手段、Ａ０４は符号化手段である。
また、図９において、Ａ０５はフレーム解析手段、Ａ０６は復号化手段、Ａ０７は帯域合成手段である。
【０００４】
次に、図８及び図９を参照して、従来のサブバンド符号化システムの一例であるＭＰＥＧ１オーディオレイヤ符号化システムの符号化装置の動作を説明する。まず、図８に示す符号化装置の動作を説明する。帯域分割手段Ａ０１は符号化装置に入力されたサンプリング周波数ｆｓのデジタルの符号化入力信号Ｓ０１を、符号化入力信号Ｓ０１のナイキスト周波数ｆｓ／２を全帯域としてｎ個の帯域に分割し、ｎ帯域分割信号Ｓ０２を出力する。ここで、ｎは任意の整数とし、ＭＰＥＧ１オーディオではｎ＝３２の帯域幅均等分割とするが、ｎ個の各分割帯域幅はフィルタの構成手法に応じて予め定められ、可変であることを条件に均等または不均等のいずれをも選択し得るものとする。また、ＭＰＥＧ１オーディオレイヤ１においては、各帯域分割信号Ｓ０２は周波数変調の一種を用い、ベースバンド信号にダウンサンプリングしたものである。
【０００５】
帯域分割手段Ａ０１における帯域分割と同時に、時間−周波数変換手段Ａ０２は、帯域分割手段Ａ０１と時間的同期を維持した上で、符号化入力デジタル信号Ｓ０１をサンプリング周波数の逆数１／ｆｓを単位サンプル数とするｍ個について時間窓掛けをおこない、時間−周波数変換して周波数情報Ｓ０３を出力する。ここで、時間−周波数変換に用いられる時間窓長ｍは周波数情報Ｓ０３に要求される周波数分解能ｆｒに応じて、ｍ＝（１／ｆｒ）／（１／ｆｓ）により求められる。
【０００６】
ＭＰＥＧ１オーディオレイヤにおいては、時間−周波数変換手段Ａ０２にＦＦＴ（高速フーリエ変換）を用いているため、ｍの値は所要周波数分解能ｆｒを満たす最小の２の乗数となっているほか、時間的連続性を考慮する形で前後時間窓とのオーバーラップ部を設けている。周波数解析手段Ａ０３は、周波数情報Ｓ０３を基に、公知の手法である聴感心理モデルに基づいた聴感マスキングにより、帯域分割手段Ａ０１において分割されたｎ帯域ごとに、時間−周波数変換手段Ａ０２で用いた時間窓の前後オーバーラップ部を除いた時間におけるビット割り当て数の計算を行ない、ビット割り当て情報Ｓ０４を出力する。
【０００７】
このようにして、時間窓長から前後オーバーラップ部を除いた時間がフーレムの単位時間長となる。符号化手段Ａ０４においては、各分割帯域信号Ｓ０２の単位フレーム長当たりの最大振幅値から各分割帯域ごとのスケールファクタを導出し、この各分割帯域ごとのスケールファクタを基に各分割帯域信号Ｓ０２の振幅を正規化したのち、ビット割り当て情報Ｓ０４に基づき各分割帯域ごとに再量子化し、これらの再量子化されたサンプルと、ビット割り当て情報、スケールファクタおよびフレーム同期用などの情報からビットストリームを形成して符号化出力信号Ｓ０５を出力する。
【０００８】
次に、図９を参照して、従来のサブバンド符号化システムの一例であるＭＰＥＧ１オーディオレイヤ符号化システムの復号化装置の動作を説明する。図８に示す符号化装置において符号化され出力された符号化出力信号Ｓ０５が復号化入力信号Ｓ０６として図９の復号化装置に入力される。フレーム解析手段Ａ０５は入力した復号化入力信号Ｓ０６からフレームを検出し、ビット割り当て情報を検出し、スケールファクタ等を検出して、フレーム解析情報Ｓ０７を出力する。復号化手段Ａ０６は、そのフレーム解析情報Ｓ０７を基に、各分割帯域ごとに復号処理を行ない、帯域分割復号信号Ｓ０８として出力する。帯域合成手段Ａ０７は、帯域分割復号信号Ｓ０８を入力して帯域合成し、復号化出力信号Ｓ０９として出力する。
【０００９】
符号化−復号化処理における情報の劣化をなくすため、帯域合成手段Ａ０７に要求される条件としては、符号化装置の帯域分割手段Ａ０１との間に完全再構成条件が成立することであり、この完全再構成条件を満たすフィルタ構成手段としては、ＱＭＦを用いた手法などが既に公知のものである。
【００１０】
【発明が解決しようとする課題】
しかしながら、上記従来のＭＰＥＧ等で用いられているサブバンド符号化においては、聴感心理モデルに基づいた情報圧縮を行なうため、時間−周波数変換を行ない、周波数領域の信号解析を行なうことが必須である。ここで、情報劣化を発生させることなく、高い圧縮効率を実現するためには、周波数分解能を充分に維持した上で臨界帯域幅に基づいた聴感マスキングを適用させる必要があり、それを実現するため、周波数変換を行なう場合に、充分長い時間サンプルに対しての窓掛けが必要となり、この窓掛け処理のためのサンプルバッファリング時間が必要であった。
【００１１】
また、同様に復号化処理においても、ビット割り当て情報検出のためにビット割り当て情報の拘束時間分のバッファリング時間が必要であり、これらは低遅延処理の実現を阻害する要因となっていた。
さらに、窓掛け処理に必要なサンプル数に基づいてフレーム長が決定され、かつこのフレーム長を基本単位として符号化処理、復号化処理及びバッファリング処理を行なっているため、上記各処理においてフレーム長分の処理時間が発生してしまい、信号を入力し符号化して復号化するまでの処理を行ない、出力が得られるまでにはかなりの処理遅延時間が必要であった。
【００１２】
そのため、上記従来の符号方式を用いて処理の遅延時間を低減するためには、聴覚心理モデルに反した圧縮処理による情報劣化及びフレーム当たりの情報量増大による圧縮率の低下のいずれか、もしくは両方を許容しなければならないという問題があった。
【００１３】
本発明は、上記従来の問題を解決するためになされたもので、上記サブバンド符号化における周波数変換のための窓掛け処理により発生する時間拘束に起因する処理遅延を０にし、さらに前記周波数変換用窓掛け処理に伴う時間拘束の解消により可能となる聴覚心理モデルに基づいた圧縮アルゴリズムを維持した状態において、フレーム長短縮による符号化−復号化処理における処理遅延時間を低減するとともに、処理遅延時間を低減するためには情報劣化もしくは圧縮率低下を許容しなければならないという従来の課題を解決し、情報劣化ならびに圧縮率低下を発生させることなく遅延時間を低減することができるサブバンド符号化方法及び装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明におけるサブバンド符号化方法は、上記の問題を解決するため、従来の符号化システムの周波数変換用窓掛け処理において、現フレームの情報と前フレームの情報との間に振幅、エネルギー等の物理状態量の変化がない程充分に短い時間内における信号の振幅、エネルギー変化に対しての時間冗長性を利用して、過去のサンプルを用いて周波数変換を実施するようにしたものである。
本発明は、過去のサンプルを用いて周波数変換を実施し時間窓掛けを行なうようにしたことにより、窓掛け処理により発生する遅延時間を０にすることができるサブバンド符号化方法及び装置が得られる。
【００１５】
また、本発明は、周波数変換用窓掛け処理に伴う時間拘束の解消により可能となる聴覚心理モデルに基づいた高効率圧縮アルゴリズムを維持した上で、フレーム長の最小化を従来の符号化方法に適用するため、各分割帯域ごとに再量子化されたサンプルの最小単位ごとにビット割り当て情報を分割表現し、再量子化されるサンプルの処理の時間と対応するサンプルのビット割り当て情報の算出に適用される拘束時間とを異なる時間にし、ビット割り当て情報を複数の単位フレームに分割してビットストリームを構成するようにしたものである。
【００１６】
本発明は、単位フレームのサンプルに対する時間と、対応するビット割り当て情報の拘束時間とを別時間とし、ビット割り当て情報を複数の単位フレームで構成するするようにしたことにより、符号化時の情報量を増加させることなく、バッファリングなどフレーム長に起因する処理遅延時間を最小限にして、サブバンド符号化において発生する遅延時間を最小にすることができるサブバンド符号化方法及び装置が得られる。
【００１７】
さらに、本発明は、従来復号化システムの復号化手段におけるビット割り当て情報の検出処理において、入力信号の振幅、エネルギー等の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去のビット割り当て情報を用いて復号処理を行なうようにしたものである。
本発明は、入力信号の振幅、エネルギー等の物理状態量に変化がない程充分に短い時間内に、過去のビット割り当て情報を用いて復号化処理を実施するようにしたことにより、ビット割り当て情報の検出のためのバッファリングにより発生する遅延時間を０にすることができるサブバンド復号化方法及び装置が得られる。
【００１８】
【発明の実施の形態】
請求項１に記載の発明におけるサブバンド符号化方法は、デジタル信号の帯域をサブバンドに分割して各分割帯域毎の帯域分割信号を出力し、前記入力したディジタル信号を保持し現に保持している過去のディジタル信号を時間−周波数変換用入力信号として出力し、前記時間−周波数変換用入力信号に対し時間窓掛けを行ない周波数情報を出力し、聴感心理モデルに基づき前述周波数情報に対し周波数解析を行ないビット割り当て情報を出力し、前記帯域分割信号及びビット割り当て情報に基づき符号化し前記時間窓に対する符号化出力信号を出力する各工程からなり、入力信号の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去の入力ディジタル信号を用いて時間窓掛けを行なうようにしたものであり、過去のサンプルを用いて周波数変換を実施し時間窓掛けを行なうようにしたことにより、窓掛け処理により発生する遅延時間を０にすることができるという作用を有する。
【００１９】
請求項２に記載の発明におけるサブバンド符号化方法は、前記帯域分割信号の最小単位サンプルに対する前記周波数解析に必要な時間窓長分の時間を単位フレーム長とし、前記単位フレームのサンプルに対する時間と、対応するビット割り当て情報の拘束時間とを別時間とし、前記ビット割り当て情報を複数の単位フレームで構成する各工程からなり、符号化時の情報量を増加させることなく、バッファリングなどフレーム長に起因する処理遅延時間を最小限にするようにしたものであり、単位フレームのサンプルに対する時間と、対応するビット割り当て情報の拘束時間とを別時間とし、ビット割り当て情報を複数の単位フレームで構成するするようにしたことにより、符号化時の情報量を増加させることなく、バッファリングなどフレーム長に起因する処理遅延時間を最小限にして、サブバンド符号化において発生する遅延時間を最小にすることができるという作用を有する。
【００２０】
請求項３に記載の発明におけるサブバンド復号化方法は、復号化入力信号のフレーム構成を解析してスケールファクタ・量子化サンプル解析情報とビット割り当て解析情報とを出力し、前記ビット割り当て解析情報を保持し現に保持している過去のビット割り当て解析情報をビット割り当て情報として出力し、前記スケールファクタ・量子化サンプル解析情報を前記ビット割り当て情報に基づき分割帯域ごとに復号処理を行ない帯域分割復号信号を出力し、前記帯域分割復号信号を合成して復号化出力信号を出力する各工程からなり、入力信号の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去のビット割り当て情報を用いて復号処理を行なうようにしたものであり、入力信号の振幅、エネルギー等の物理状態量に変化がない程充分に短い時間内に、過去のビット割り当て情報を用いて復号化処理を実施するようにしたことにより、ビット割り当て情報の検出のためのバッファリングにより発生する遅延時間を０にすることができるという作用を有する。
【００２１】
請求項４に記載の発明におけるサブバンド符号化装置は、デジタル信号の帯域をサブバンドに分割して各分割帯域毎の帯域分割信号を出力する帯域分割手段と、前記入力したディジタル信号を保持し保持していた過去のディジタル信号を時間−周波数変換用入力信号として出力する時間−周波数変換用入力信号時間制御手段と、前記時間−周波数変換用入力信号に対し時間窓掛けを行ない周波数情報を出力する時間−周波数変換手段と、聴感心理モデルに基づき前述周波数情報に対し周波数解析を行ないビット割り当て情報を出力する周波数解析手段と、前記帯域分割信号及びビット割り当て情報に基づき符号化し前記時間窓に対する符号化出力信号を出力する符号化手段とからなり、入力信号の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去の入力ディジタル信号を用いて時間窓掛けを行なうようにしたものであり、過去のサンプルを用いて周波数変換を実施し時間窓掛けを行なうようにしたことにより、窓掛け処理により発生する遅延時間を０にすることができるという作用を有する。
【００２２】
請求項５に記載の発明におけるサブバンド符号化装置は、前記帯域分割信号の最小単位サンプルに対する前記周波数解析に必要な時間窓長分の時間を単位フレーム長とし、前記単位フレームのサンプルに対する時間と、対応するビット割り当て情報の拘束時間とを別時間とし、前記ビット割り当て情報を複数の単位フレームで構成するようにし、符号化時の情報量を増加させることなく、バッファリングなどフレーム長に起因する処理遅延時間を最小限にするようにしたものであり、単位フレームのサンプルに対する時間と、対応するビット割り当て情報の拘束時間とを別時間とし、ビット割り当て情報を複数の単位フレームで構成するするようにしたことにより、符号化時の情報量を増加させることなく、バッファリングなどフレーム長に起因する処理遅延時間を最小限にして、サブバンド符号化において発生する遅延時間を最小にすることができるという作用を有する。
【００２３】
請求項６に記載の発明におけるサブバンド復号化装置は、復号化入力信号のフレーム構成を解析してスケールファクタ・量子化サンプル解析情報とビット割り当て解析情報とを出力するフレーム解析手段と、前記ビット割り当て解析情報を保持し過去のビット割り当て解析情報をビット割り当て情報として出力するビット割り当て情報時間制御手段と、前記スケールファクタ・量子化サンプル解析情報を前記ビット割り当て情報に基づき分割帯域ごとに復号処理を行ない帯域分割復号信号を出力する復号化手段と、前記帯域分割復号信号を合成して復号化出力信号を出力する帯域合成手段とからなり、入力信号の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去のビット割り当て情報を用いて復号処理を行なうようにしたものであり、入力信号の振幅、エネルギー等の物理状態量に変化がない程充分に短い時間内に、過去のビット割り当て情報を用いて復号化処理を実施するようにしたことにより、ビット割り当て情報の検出のためのバッファリングにより発生する遅延時間を０にすることができるという作用を有する。
【００２４】
請求項７に記載の発明におけるサブバンド復号化−復号化システムは、請求項４または５に記載の符号化装置と、請求項６に記載の復号化装置とからなり、入力信号の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去の情報を用いて符号化及び復号化を行なうようにしたものであり、入力信号の振幅、エネルギー等の物理状態量に変化がない程充分に短い時間内に、過去の情報を用いて符号化及び復号化処理を実施するようにしたことにより、情報劣化ならびに圧縮率低下を発生させることなく遅延時間を０にし、または低減することができるという作用を有する。
【００２５】
以下、添付図面、図１乃至図７に基づき、本発明の実施の形態を詳細に説明する。
（実施の形態１）
まず、図１及び図２を参照して、本発明の実施の形態１におけるサブバンド符号化システムの符号化装置について説明する。図１は本発明の実施の形態１におけるサブバンド符号化システムの符号化装置の構成を示すブロック図、図２は図１に示す各部の信号のタイミングを示すタイミングチャートである。
【００２６】
図１において、Ａ１１は符号化入力信号Ｓ１１を入力して帯域分割信号Ｓ１２を生成する帯域分割手段、Ａ１２は符号化入力信号Ｓ１１を入力して時間−周波数変換用入力信号Ｓ１３を生成する時間−周波数変換用入力信号時間制御手段、Ａ１３は時間−周波数変換用入力信号Ｓ１３を入力して周波数情報Ｓ１４を生成する時間−周波数変換手段、Ａ１４は周波数情報Ｓ１４を入力してビット割り当て情報Ｓ１５を生成する周波数解析手段、Ａ１５は帯域分割信号Ｓ１２及びビット割り当て情報Ｓ１５を入力して符号化出力信号Ｓ１６を出力する符号化手段である。
【００２７】
次に、図１及び図２を参照して、本発明の実施の形態１におけるサブバンド符号化システムの符号化装置の動作を説明する。尚、図２に示すタイミングチャートは符号化システムの具体的なフレーム構成を表すものではなく、各信号の時間的な対応関係を表すものとする。従って、例えば図２の（ｈ）においては、ｔ０からｔ１の期間に出力される符号化出力信号Ｓ１６はｂ０、ｓｆ１、ｄ１という情報により構成されるということを示すものである。
【００２８】
この符号化システムの符号化装置に入力されたデジタルのサンプリング周波数ｆｓの符号化入力信号Ｓ１１は、帯域分割手段Ａ１１において、符号化入力信号Ｓ１１のナイキスト周波数ｆｓ／２を全帯域としてそれをｎ帯域に分割し、図２の（ａ）及び（ｅ）のタイミングチャートに示す入出力の時間対応関係を持つｎ帯域分割信号Ｓ１２を出力する。尚、図２の各信号の時間対応関係を示す記号の添字の数値は時間対応関係を示すもので、この添字の数値は符号化入力信号ｍの添字を基にその添字の順に一致するものが同時に処理された信号であることを示す。
【００２９】
ここで、ｎは任意の整数とし、ＭＰＥＧ１オーディオではｎ＝３２の帯域幅均等分割であるが、フィルタの構成手法に応じてｎ個の各分割帯域幅は予め決められ可変であることを条件に、均等または不均等のいずれをも選択し得るものとする。また、各帯域分割信号Ｓ１２は一種の周波数変調を用いてベースバンド信号にダウンサンプリングされたものである。これと同時に、帯域分割手段Ａ１１に対する入力と時間的に同期して、デジタルの符号化入力信号Ｓ１１を図２の（ａ）のタイミングチャートに示すように、サンプリング周波数の逆数１／ｆｓを単位サンプル数とするｍサンプル単位の時間：ｔ１−ｔ０分のサンプルｍ１を時間−周波数変換用入力信号時間制御手段Ａ１２に入力して、図２の（ｂ）のタイミングチャートに示すように、ｔ１−ｔ０の期間保持してｔ１−ｔ０期間遅らせた後、ｍ１の時間−周波数変換用入力信号Ｓ１３としてｔ２−ｔ１の期間に出力する。
【００３０】
時間−周波数変換用入力信号時間制御手段Ａ１２は、符号化入力信号Ｓ１１を帯域分割手段Ａ１１と同時に入力して、ｔ１−ｔ０期間中既に保持していた過去の情報であるｍ０を時間−周波数変換用入力信号Ｓ１３としてｔ１−ｔ０期間に出力する。尚、時間−周波数変換用入力信号時間制御手段Ａ１２における処理開始時の初期値はｍ個のサンプルの振幅情報が全て最小値０を示す値とする。また、時間−周波数変換手段Ａ１３は、時間−周波数変換用入力信号Ｓ１３に基づき、サンプリング周波数の逆数１／ｆｓの単位サンプル数とするｍサンプルに対して時間窓掛けを行ない、時間−周波数変換して図２の（ｂ）及び（ｃ）のタイミングチャートに示すような入出力の時間対応関係を持つ周波数情報Ｓ１４を出力する。このように、時間−周波数変換手段Ａ１３においては、１フレーム期間前の入力信号（ｍ０）に対して窓掛処理を行なうようにして、窓掛処理による遅延時間を解消するようにしたものである。
【００３１】
上記で時間−周波数変換に用いられる時間窓長ｍは周波数情報Ｓ１４に要求される周波数分解能ｆｒに応じて、ｍ＝（１／ ｆｒ）／（１／ｆｓ）により求められる。時間−周波数変換手段に用いられる具体的な方式としては、ＦＦＴ（高速フーリエ変換）やＤＣＴ（離散コサイン変換）など周波数変換に用いられる方式全般とする。さらに、時間的連続性を考慮する形で前後時間窓とのオーバーラップ部を設けることも任意とする。
【００３２】
周波数解析手段Ａ１４は、周波数情報Ｓ１４を基に、公知の手法である聴感心理モデルに基づいた聴感マスキングにより、帯域分割手段Ａ１１において分割されたｎ帯域ごとに、時間−周波数変換手段Ａ１３で用いた時間窓の前後オーバーラップ部を除いた時間に対するビット割り当て数の計算を行ない、図２の（ｃ）及び（ｄ）のタイミングチャートに示すような入出力の時間対応関係を持つビット割り当て情報Ｓ１５を出力する。ここで時間窓長から前後オーバーラップ部を除いた時間がフーレムの単位時間長となる。
【００３３】
符号化手段Ａ１５においては、各分割帯域信号Ｓ１２の単位フレーム長当たりの最大振幅値から各分割帯域ごとに図２の（ｅ）及び（ｆ）のタイミングチャートに示すような入出力の時間対応関係を有するスケールファクタを導出し、この各帯域ごとのスケールファクタを基に各分割帯域信号Ｓ１２の振幅を正規化したのち、ビット割り当て情報Ｓ１５に基づき各分割帯域ごとに図２の（ｅ）及び（ｇ）のタイミングチャートに示すような入出力の時間対応関係を持つように再量子化を行ない、これら再量子化したサンプルと、ビット割り当て情報、スケールファクタおよびフレーム同期用などの情報からビットストリームを形成して符号化出力信号Ｓ１６を出力する。
【００３４】
符号化出力信号Ｓ１６のビットストリーム構成におけるビット割り当て情報Ｓ１５（ｔ１−ｔ０期間ではｂ０）、スケールファクタ（ｔ１−ｔ０期間ではｓｆ１）および再量子化サンプル（ｔ１−ｔ０期間ではｄ１）の時間対応関係は図２の（ｄ）、（ｆ）、（ｇ）および（ｈ）に示すような形となる。
【００３５】
（実施の形態２）
次に、図１、図２及び図３を参照して、本発明の実施の形態２におけるサブバンド符号化システムについて説明する。図１及び図２はすでに実施の形態１において説明したので説明を省略する。図３は本発明の実施の形態２におけるサブバンド符号化システムで使用するフレームの構成を示す図である。
【００３６】
尚、図２に示すタイミングチャートはこの符号化システムの具体的なフレーム構成を表すものではなく、各信号の時間的な対応関係を表すものとする。従って、例えば図２の（ｈ）では、ｔ０−ｔ１期間に出力される符号化出力信号Ｓ１６は、ｂ０、ｓｆ１、ｄ１という情報から構成されていることを示している。
【００３７】
符号化手段Ａ１５は、この符号化装置に入力された符号化入力信号Ｓ１１が上記実施の形態１と同様に処理して得られたビット割り当て情報Ｓ１５および帯域分割信号Ｓ１２を入力する。そして、符号化手段Ａ１５は、実施の形態１と同様に、各分割帯域ごとに、各分割帯域信号Ｓ１２の単位フレーム長当たりの最大振幅値から図２の（ｅ）及び（ｆ）のタイミングチャートに示すような入出力の時間対応関係を持つスケールファクタを導出し、この各帯域ごとのスケールファクタを基に、各分割帯域信号Ｓ１２の振幅を正規化し、また各分割帯域ごとに、ビット割り当て情報Ｓ１５に基づき図２の（ｅ）及び（ｇ）のタイミングチャートに示すような入出力の時間対応関係で再量子化する。
【００３８】
符号化手段Ａ１５は、これらの情報に基づきビットストリームを形成するにあたり、再量子化した各分割帯域のサンプルの最小単位サンプル（図３のｄ１１）を単位フレームとするフレーム（図３の▲２▼）を構成し、ビット割り当て情報（ｂ０１）、スケールファクタ（ｓｆ１）およびフレーム同期用などの情報を単位フレームごとに分割した形でビットストリームを形成し符号化出力信号Ｓ１６として出力する。
【００３９】
次に、図３を参照して、本実施の形態２における具体的なフレーム構成について説明する。図３に示すように、図２の（ｇ）に示す再量子化サンプルの各分割帯域ごとのｄｘ（添字ｘは時間を表す整数とする）を構成する１グループの帯域分割サンプル数がｙサンプルとした場合、図３の▲１▼に相当する従来のサブバンド符号化方式における１フレーム内のビット割り当て情報、スケールファクタ、それぞれの総ビット数をｙで割ったビット数を単位フレームごとに挿入してビットストリームを形成する。ここで、ｙは任意の整数とする。また、本実施の形態２におけるフレーム構成は図３の▲２▼に相当する部分を１フレームとする。符号化出力信号Ｓ１６のビットストリームの構成におけるビット割り当て情報Ｓ１５、スケールファクタ、および再量子化されたサンプルの時間対応関係は、図２の（ｄ）、（ｆ）、（ｇ）および（ｈ）に示すような形と同様であるがそのフレーム構成は図３に示す形となる。
【００４０】
（実施の形態３）
次に、図４及び図５を参照して、本発明の実施の形態３におけるサブバンド符号化システムの復号化装置について説明する。図４は本発明の実施の形態３におけるサブバンド符号化システムの復号化装置の構成を示すブロック図、図５は図４に示す各部の信号のタイミングを示すタイミングチャートである。
【００４１】
図４において、Ｂ０１は復号化入力信号Ｓ２１を入力してスケールファクタ・量子化サンプル解析情報Ｓ２２及びビット割り当て解析情報Ｓ２３を生成するフレーム解析手段、Ｂ０２はビット割り当て解析情報Ｓ２３を入力してビット割り当て情報Ｓ２４を生成するビット割り当て情報時間制御手段、Ｂ０３はスケールファクタ・量子化サンプル解析情報Ｓ２２及びビット割り当て情報Ｓ２４を入力して帯域分割複合信号Ｓ２５を生成する復号化手段、Ｂ０４は帯域分割複合信号Ｓ２５を入力して復号化出力信号Ｓ２６を出力する、例えばフィルタバンク等の帯域合成手段である。
【００４２】
尚、図５に示すタイミングチャートは、図２に示すタイミングチャートと同様、この符号化システムの具体的なフレーム構成を表すものではなく、各信号の時間的な対応関係を表すものとする。従って、例えば図５の（ａ）では、ｔ０−ｔ１期間に出力される復号化入力信号Ｓ２１は、ｂ１、ｓｆ１、ｄ１という情報から構成されていることを示している。このサブバンド符号化システムにおいては、常に１フレーム前のビット割り当て情報に基づいて符号化された信号が復号化入力信号Ｓ２１として復号化システムに入力されるものとする。
【００４３】
このときの符号化信号のフレーム構成は、従来のサブバンド符号化方法により構成されたフレーム構成でも、本発明の実施の形態２により構成されたフレーム構成でも、予め決められ可変であることを条件に、どちらの方式でも使用可能である。フレーム解析手段Ｂ０１は、復号化入力信号Ｓ２１に対しフレーム同期用信号の解析によるフレームの検出を行なったのち、スケールファクタの検出をおこない、検出されたスケールファクタ（ｓｆ１）と各分割帯域ごとのサンプル（ｄ１）をスケールファクタ・量子化サンプル解析情報Ｓ２２として出力する。
【００４４】
フレーム解析手段Ｂ０１は、スケールファクタ・量子化サンプル解析情報Ｓ２２の出力と同時に、ビット割り当て情報（ｂ１）を検出し、それをビット割り当て解析情報Ｓ２３として出力する。ビット割り当て情報時間制御手段Ｂ０２は、ビット割り当て解析情報Ｓ２３を入力すると同時に、既に保持していた１フレーム前のビット割り当て情報Ｓ２４を出力する。更に、ビット割り当て情報時間制御手段Ｂ０２は、今入力したビット割り当て解析情報Ｓ２３を１フレーム期間保持した後、ビット割り当て情報Ｓ２４として出力する。これら一連の入出力情報のタイミングは図５のタイミングチャートに示す。このように、ビット割り当て情報時間制御手段Ｂ０２は、１フレーム期間前のビット割り当て情報Ｓ２４を出力するようにして、ビット割り当て情報検出のためのバッファリングによる遅延時間を解消するようにしたものである。
【００４５】
更に、復号化手段Ｂ０３は、スケールファクタ・量子化サンプル解析情報Ｓ２２とビット割り当て情報Ｓ２４とに基づき、各分割帯域ごとに復号処理をおこない、その結果を帯域分割復号信号Ｓ２５として出力する。帯域合成手段Ｂ０４は、帯域分割復号信号Ｓ２５を入力して帯域を合成し、復号化出力信号Ｓ２６として出力する。
【００４６】
（実施の形態４）
次に、図６、図４及び図７を参照して、本発明の実施の形態４におけるサブバンド符号化システムについて説明する。図６は本発明の実施の形態４におけるサブバンド符号化システムの符号化装置の構成を示すブロック図、図４は本発明の実施の形態３及び４におけるサブバンド符号化システムの復号化装置の構成を示すブロック図であり、実施の形態３において既に説明したので説明を省略する。図７は図６及び図４に示す各部の信号のタイミングを示すタイミングチャートである。
【００４７】
図６において、Ｃ０１は符号化入力信号Ｓ３１を入力して帯域分割信号Ｓ３２を生成する帯域分割手段、Ｃ０２は符号化入力信号Ｓ３１を入力して時間−周波数変換用入力信号Ｓ３３を生成する時間−周波数変換用入力信号時間制御手段、Ｃ０３は時間−周波数変換用入力信号Ｓ３３を入力して周波数情報Ｓ３４を生成する時間−周波数変換手段、Ｃ０４は周波数情報Ｓ３４を入力してフレーム構成用ビット割り当て情報Ｓ３５を生成する周波数解析手段、Ｃ０５はフレーム構成用ビット割り当て情報Ｓ３５を入力してビット割り当て情報Ｓ３６を生成するビット割り当て情報時間制御手段、Ｃ０６は帯域分割信号Ｓ３２、フレーム構成用ビット割り当て情報Ｓ３５及びビット割り当て情報Ｓ３６を入力して符号化出力信号Ｓ３７を出力する符号化手段である。
【００４８】
次に、図６及び図７を参照して、本発明の実施の形態４におけるサブバンド符号化システムの符号化装置の動作を説明する。尚、図７に示すタイミングチャートは、図２及び図５に示すタイミングチャートと同様、この符号化システムの具体的なフレーム構成を表すものではなく、各信号の時間的な対応関係を表すものとする。従って、例えば図７の（ｉ）では、ｔ０−ｔ１期間に出力される符号化出力信号Ｓ３７（＝復号化入力信号Ｓ２１）はｂ０、ｓｆ１、ｄ１という情報から構成されていることを示している。
【００４９】
帯域分割手段Ｃ０１は、図６に示す符号化システムの符号化装置に入力したデジタルのサンプリング周波数ｆｓの符号化入力信号Ｓ３１を入力して、符号化入力信号Ｓ３１のナイキスト周波数ｆｓ／２を全帯域としてそれをｎ帯域に分割し、図７の（ａ）及び（ｆ）のタイミングチャートに示す入出力の時間対応関係を持つｎ帯域分割信号Ｓ３２を出力する。尚、図７の各信号の時間対応関係を示す記号の添字の数値は時間対応関係を示すもので、添字の数値は符号化入力信号ｍの添字を基にその添字の順に一致するものが同時に処理された信号であることを示す。
【００５０】
ここで、ｎは任意の整数とし、ＭＰＥＧ１オーディオではｎ＝３２の帯域幅均等分割であるが、フィルタの構成手法に応じてｎ個の各分割帯域幅は予め決められ可変であることを条件に、均等または不均等のいずれをも選択し得るものとする。また、各帯域分割信号Ｓ３２は、一種の周波数変調を用いてベースバンド信号にダウンサンプリングしたものである。これと同時に、帯域分割手段Ｃ０１に対する入力と時間的に同期して、デジタルの符号化入力信号Ｓ３１を図７の（ａ）のタイミングチャートに示すように、サンプリング周波数の逆数１／ｆｓの単位サンプル数とするｍサンプル単位の時間：ｔ１−ｔ０分のサンプルｍ１を時間−周波数変換用入力信号時間制御手段Ｃ０２に入力して、図７の（ｂ）のタイミングチャートに示すように、ｍ１をｔ１−ｔ０の期間保持した後、時間−周波数変換用入力信号Ｓ３３としてｔ２−ｔ１の期間に出力する。
【００５１】
時間−周波数変換用入力信号時間制御手段Ｃ０２は、符号化入力信号Ｓ３１を帯域分割手段Ｃ０１と同時に入力して、ｔ１−ｔ０期間中既に保持していた過去の情報であるｍ０を時間−周波数変換用入力信号Ｓ３３としてｔ１−ｔ０期間に出力する。尚、時間−周波数変換用入力信号時間制御手段Ｃ０２における処理開始時の初期値はｍ個のサンプルの振幅情報が全て最小値０を示す値とする。また、時間−周波数変換手段Ｃ０３は、時間−周波数変換用入力信号Ｓ３３に基づき、サンプリング周波数の逆数１／ｆｓの単位サンプル数とするｍサンプルに対して時間窓掛けを行ない、時間−周波数変換して図７の（ｂ）及び（ｃ）のタイミングチャートに示すような入出力の時間対応関係を持つ周波数情報Ｓ３４を出力する。
【００５２】
このように、時間−周波数変換手段Ｃ０３においては、１フレーム期間前の入力信号（ｍ０）に対して窓掛処理を行なうようにして、窓掛処理による遅延時間を解消するようにしたものである。
【００５３】
上記で時間−周波数変換に用いられる時間窓長ｍは周波数情報Ｓ３４に要求される周波数分解能ｆｒに応じて、ｍ＝（１／ ｆｒ）／（１／ｆｓ）により求められる。時間−周波数変換手段に用いられる具体的な方式としては、ＦＦＴ（高速フーリエ変換）やＤＣＴ（離散コサイン変換）など周波数変換に用いられる方式全般とする。さらに、時間的連続性を考慮する形で前後時間窓とのオーバーラップ部を設けることも任意とする。
【００５４】
周波数解析手段Ｃ０４は、周波数情報Ｓ３４を基に、公知の手法である聴感心理モデルに基づいた聴感マスキングにより、帯域分割手段Ｃ０１において分割されたｎ帯域ごとに、時間−周波数変換手段Ｃ０３で用いた時間窓の前後オーバーラップ部を除いた時間におけるビット割り当て数の計算を行ない、図７の（ｃ）及び（ｄ）のタイミングチャートに示すような入出力の時間対応関係を持つフレーム構成用ビット割り当て情報Ｓ３５を出力する。ここで時間窓長から前後オーバーラップ部を除いた時間がフーレムの単位時間長となる。
【００５５】
ビット割り当て情報時間制御手段Ｃ０５は、フレーム構成用ビット割り当て情報Ｓ３５を入力すると同時に、ビット割り当て情報時間制御手段Ｃ０５に保持していた１フレーム前のフレーム構成用ビット割り当て情報Ｓ３５をビット割り当て情報Ｓ３６として出力する。さらに、ビット割り当て情報時間制御手段Ｃ０５は、入力したフレーム構成用ビット割り当て情報Ｓ３５を１フレームの期間保持したのちに出力する。これら一連の処理におけるフレーム構成用ビット割り当て情報Ｓ３５とビット割り当て情報Ｓ３６の時間的な対応関係は、図７の（ｄ）及び（ｅ）に示すように１フレーム期間ずれた構成となる。なお、ビット割り当て情報時間制御手段Ｃ０５におけるビット割り当て情報Ｓ３６の初期値は、入力信号が全て０の場合のビット割り当て情報とする。
【００５６】
符号化手段Ｃ０６において、各分割帯域信号Ｓ３２の単位フレーム長当たりの最大振幅値から各分割帯域ごとに、図７の（ｆ）及び（ｇ）のタイミングチャートに示すように分割帯域信号Ｓ３２と一致した入出力の時間対応関係を持つスケールファクタを導出し、この各帯域ごとのスケールファクタを基に、各分割帯域信号Ｓ３２の振幅を正規化したのち、ビット割り当て情報Ｓ３６に基づき各分割帯域ごとに、図７の（ｅ）、（ｆ）および（ｈ）のタイミングチャートに示すような入出力の時間対応関係により再量子化を行ない、これらの再量子化サンプル（ｄ１）と、フレーム構成用ビット割り当て情報Ｓ３５、スケールファクタ（ｓｆ１）およびフレーム同期用などの情報とからビットストリームを形成して符号化出力信号Ｓ３７を出力する。
【００５７】
符号化出力信号Ｓ３７のビットストリーム構成におけるフレーム構成用ビット割り当て情報Ｓ３５、スケールファクタおよび再量子化サンプルの時間対応関係は、図７の（ｄ）、（ｇ）、（ｈ）および（ｉ）に示すような形となる。
【００５８】
次に、図６に示す符号化手段Ｃ０６からの符号化出力信号Ｓ３７が復号化装置に対する復号化入力信号Ｓ２１として図４に示すフレーム解析手段Ｂ０１に入力された場合について説明する。このときの符号化信号のフレーム構成は従来のサブバンド符号化方式により構成されるもの、または本発明の実施の形態２によるフレーム構成のもの、これら２つのフレーム構成のうち、予め決められ可変であることを条件に、いずれの方式のものでも可能である。
【００５９】
図４において、フレーム解析手段Ｂ０１は、復号化入力信号Ｓ２１を基に、フレーム同期用信号解析によるフレームの検出を行なったのち、スケールファクタを検出し、検出されたスケールファクタと各分割帯域ごとのサンプルを図７の（ｉ）及び（ｊ）のタイミングチャートに示すような入出力の時間対応関係によりスケールファクタ・量子化サンプル解析情報Ｓ２２として出力する。フレーム解析手段Ｂ０１は、これと同時に、ビット割り当て情報を検出し、ビット割り当て解析情報Ｓ２３として出力する。ビット割り当て情報時間制御手段Ｂ０２は、ビット割り当て解析情報Ｓ２３が入力されると同時に、既に保持していた１フレーム前のビット割り当て情報Ｓ２４を出力する。
【００６０】
さらに、ビット割り当て情報時間制御手段Ｂ０２は、入力したビット割り当て解析情報Ｓ２３を１フレームの期間保持した後、ビット割り当て情報Ｓ２４として出力する。これら一連の入出力タイミングは、図７の（ｋ）及び（ｌ）のタイミングチャートに示す。復号化手段Ｂ０３は、スケールファクタ・量子化サンプル解析情報Ｓ２２とビット割り当て情報Ｓ２４とに基づき、各分割帯域ごとに復号処理を行ない、帯域分割復号信号Ｓ２５として出力する。帯域合成手段Ｂ０４は、帯域分割復号信号Ｓ２５を入力して帯域合成し、復号化出力信号Ｓ２６として出力する。
【００６１】
【発明の効果】
本発明は、上記のように構成し、特に入力信号の振幅、エネルギー変化等の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去のサンプルを用いて周波数変換を実施し時間窓掛けを行なうようにしたことにより、周波数変換用窓掛け処理により発生する遅延時間を０にすることができるサブバンド符号化方法及び装置を提供することができる。
【００６２】
本発明は、上記のように構成し、特に帯域分割信号の最小単位サンプルに対する周波数解析に必要な時間窓長分の時間を単位フレーム長とし、単位フレームのサンプルに対する時間と、対応するビット割り当て情報の拘束時間とを別時間とし、ビット割り当て情報を複数の単位フレームで構成するようにしたことにより、符号化時の情報量を増加させることなく、バッファリングなどフレーム長に起因する処理遅延時間を最小限にして、サブバンド符号化において発生する遅延時間を最小にすることができるサブバンド符号化方法及び装置を提供することができる。
【００６３】
本発明は、上記のように構成し、特に入力信号の振幅、エネルギー等の物理状態量に変化がない程充分に短い時間内に、過去のビット割り当て情報を用いて復号化処理を実施するようにしたことにより、ビット割り当て情報の検出のためのバッファリングにより発生する遅延時間を０にすることができるサブバンド復号化方法及び装置を提供することができる。
【００６４】
本発明は、上記のように構成し、特に入力信号の振幅、エネルギー等の物理状態量に変化がない程充分に短い時間内に、過去の情報を用いて符号化及び復号化処理を実施するようにしたことにより、情報劣化ならびに圧縮率低下を発生させることなく遅延時間を０にし、または低減することができるサブバンド符号化−復号化システムを提供することができる。
【００６５】
従って、本発明は、サブバンド符号化及び復号化における遅延時間を０にし、または低減することにより、オーディオ信号の圧縮処理を行なう場合における待ち時間を低減して、情報量の多い高い品質の音楽、音声等を高い効率で伝送し記録することができるサブバンド符号化・復号化方法及び装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１におけるサブバンド符号化システムの符号化装置の構成を示すブロック図、
【図２】図１に示す各部の信号のタイミングを示すタイミングチャート、
【図３】本発明の実施の形態２におけるサブバンド符号化システムで使用するフレームの構成を示す図、
【図４】本発明の実施の形態３におけるサブバンド符号化システムの復号化装置の構成を示すブロック図、
【図５】図４に示す各部の信号のタイミングを示すタイミングチャート、
【図６】本発明の実施の形態４におけるサブバンド符号化システムの符号化装置の構成を示すブロック図、
【図７】図６及び図４に示す各部の信号のタイミングを示すタイミングチャート、
【図８】従来のサブバンド符号化システムの一例であるＭＰＥＧ１オーディオレイヤ符号化システムの符号化装置の構成を示すブロック図、
【図９】従来のサブバンド符号化システムの一例であるＭＰＥＧ１オーディオレイヤ符号化システムの復号化装置の構成を示すブロック図。
【符号の説明】
Ａ０１、Ａ１１ 帯域分割手段
Ａ０２、Ａ１３ 時間−周波数変換手段
Ａ０３、Ａ１４ 周波数解析手段
Ａ０４、Ａ１５ 符号化手段
Ａ０５ フレーム解析手段
Ａ０６ 復号化手段
Ａ０７ 帯域合成手段
Ａ１２ 時間−周波数変換用入力信号時間制御手段
Ｂ０１ フレーム解析手段
Ｂ０２ ビット割り当て情報時間制御手段
Ｂ０３ 復号化手段
Ｂ０４ 帯域合成手段
Ｃ０１ 帯域分割手段
Ｃ０２ 時間−周波数変換用入力信号時間制御手段
Ｃ０３ 時間−周波数変換手段
Ｃ０４ 周波数解析手段
Ｃ０５ ビット割り当て情報時間制御手段
Ｃ０６ 符号化手段
【発明の属する技術分野】
本発明はデジタル信号の圧縮に用いられるサブバンド符号化方法及び装置に関する。
【０００２】
【従来の技術】
従来、この種のシステムとしては、その代表例としてＭＰＥＧ１オーデイオ等が知られている。以下、図８及び図９を参照して、従来のサブバンド符号化システムの一例であるＭＰＥＧ１オーディオレイヤ１符号化システムについて説明する。図８は従来のサブバンド符号化システムの一例であるＭＰＥＧ１オーディオレイヤ符号化システムの符号化装置の構成を示すブロック図、図９は従来のサブバンド符号化システムの一例であるＭＰＥＧ１オーディオレイヤ符号化システムの復号化装置の構成を示すブロック図である。
【０００３】
図８において、Ａ０１は帯域分割手段、Ａ０２は時間−周波数変換手段、Ａ０３は周波数解析手段、Ａ０４は符号化手段である。
また、図９において、Ａ０５はフレーム解析手段、Ａ０６は復号化手段、Ａ０７は帯域合成手段である。
【０００４】
次に、図８及び図９を参照して、従来のサブバンド符号化システムの一例であるＭＰＥＧ１オーディオレイヤ符号化システムの符号化装置の動作を説明する。まず、図８に示す符号化装置の動作を説明する。帯域分割手段Ａ０１は符号化装置に入力されたサンプリング周波数ｆｓのデジタルの符号化入力信号Ｓ０１を、符号化入力信号Ｓ０１のナイキスト周波数ｆｓ／２を全帯域としてｎ個の帯域に分割し、ｎ帯域分割信号Ｓ０２を出力する。ここで、ｎは任意の整数とし、ＭＰＥＧ１オーディオではｎ＝３２の帯域幅均等分割とするが、ｎ個の各分割帯域幅はフィルタの構成手法に応じて予め定められ、可変であることを条件に均等または不均等のいずれをも選択し得るものとする。また、ＭＰＥＧ１オーディオレイヤ１においては、各帯域分割信号Ｓ０２は周波数変調の一種を用い、ベースバンド信号にダウンサンプリングしたものである。
【０００５】
帯域分割手段Ａ０１における帯域分割と同時に、時間−周波数変換手段Ａ０２は、帯域分割手段Ａ０１と時間的同期を維持した上で、符号化入力デジタル信号Ｓ０１をサンプリング周波数の逆数１／ｆｓを単位サンプル数とするｍ個について時間窓掛けをおこない、時間−周波数変換して周波数情報Ｓ０３を出力する。ここで、時間−周波数変換に用いられる時間窓長ｍは周波数情報Ｓ０３に要求される周波数分解能ｆｒに応じて、ｍ＝（１／ｆｒ）／（１／ｆｓ）により求められる。
【０００６】
ＭＰＥＧ１オーディオレイヤにおいては、時間−周波数変換手段Ａ０２にＦＦＴ（高速フーリエ変換）を用いているため、ｍの値は所要周波数分解能ｆｒを満たす最小の２の乗数となっているほか、時間的連続性を考慮する形で前後時間窓とのオーバーラップ部を設けている。周波数解析手段Ａ０３は、周波数情報Ｓ０３を基に、公知の手法である聴感心理モデルに基づいた聴感マスキングにより、帯域分割手段Ａ０１において分割されたｎ帯域ごとに、時間−周波数変換手段Ａ０２で用いた時間窓の前後オーバーラップ部を除いた時間におけるビット割り当て数の計算を行ない、ビット割り当て情報Ｓ０４を出力する。
【０００７】
このようにして、時間窓長から前後オーバーラップ部を除いた時間がフーレムの単位時間長となる。符号化手段Ａ０４においては、各分割帯域信号Ｓ０２の単位フレーム長当たりの最大振幅値から各分割帯域ごとのスケールファクタを導出し、この各分割帯域ごとのスケールファクタを基に各分割帯域信号Ｓ０２の振幅を正規化したのち、ビット割り当て情報Ｓ０４に基づき各分割帯域ごとに再量子化し、これらの再量子化されたサンプルと、ビット割り当て情報、スケールファクタおよびフレーム同期用などの情報からビットストリームを形成して符号化出力信号Ｓ０５を出力する。
【０００８】
次に、図９を参照して、従来のサブバンド符号化システムの一例であるＭＰＥＧ１オーディオレイヤ符号化システムの復号化装置の動作を説明する。図８に示す符号化装置において符号化され出力された符号化出力信号Ｓ０５が復号化入力信号Ｓ０６として図９の復号化装置に入力される。フレーム解析手段Ａ０５は入力した復号化入力信号Ｓ０６からフレームを検出し、ビット割り当て情報を検出し、スケールファクタ等を検出して、フレーム解析情報Ｓ０７を出力する。復号化手段Ａ０６は、そのフレーム解析情報Ｓ０７を基に、各分割帯域ごとに復号処理を行ない、帯域分割復号信号Ｓ０８として出力する。帯域合成手段Ａ０７は、帯域分割復号信号Ｓ０８を入力して帯域合成し、復号化出力信号Ｓ０９として出力する。
【０００９】
符号化−復号化処理における情報の劣化をなくすため、帯域合成手段Ａ０７に要求される条件としては、符号化装置の帯域分割手段Ａ０１との間に完全再構成条件が成立することであり、この完全再構成条件を満たすフィルタ構成手段としては、ＱＭＦを用いた手法などが既に公知のものである。
【００１０】
【発明が解決しようとする課題】
しかしながら、上記従来のＭＰＥＧ等で用いられているサブバンド符号化においては、聴感心理モデルに基づいた情報圧縮を行なうため、時間−周波数変換を行ない、周波数領域の信号解析を行なうことが必須である。ここで、情報劣化を発生させることなく、高い圧縮効率を実現するためには、周波数分解能を充分に維持した上で臨界帯域幅に基づいた聴感マスキングを適用させる必要があり、それを実現するため、周波数変換を行なう場合に、充分長い時間サンプルに対しての窓掛けが必要となり、この窓掛け処理のためのサンプルバッファリング時間が必要であった。
【００１１】
また、同様に復号化処理においても、ビット割り当て情報検出のためにビット割り当て情報の拘束時間分のバッファリング時間が必要であり、これらは低遅延処理の実現を阻害する要因となっていた。
さらに、窓掛け処理に必要なサンプル数に基づいてフレーム長が決定され、かつこのフレーム長を基本単位として符号化処理、復号化処理及びバッファリング処理を行なっているため、上記各処理においてフレーム長分の処理時間が発生してしまい、信号を入力し符号化して復号化するまでの処理を行ない、出力が得られるまでにはかなりの処理遅延時間が必要であった。
【００１２】
そのため、上記従来の符号方式を用いて処理の遅延時間を低減するためには、聴覚心理モデルに反した圧縮処理による情報劣化及びフレーム当たりの情報量増大による圧縮率の低下のいずれか、もしくは両方を許容しなければならないという問題があった。
【００１３】
本発明は、上記従来の問題を解決するためになされたもので、上記サブバンド符号化における周波数変換のための窓掛け処理により発生する時間拘束に起因する処理遅延を０にし、さらに前記周波数変換用窓掛け処理に伴う時間拘束の解消により可能となる聴覚心理モデルに基づいた圧縮アルゴリズムを維持した状態において、フレーム長短縮による符号化−復号化処理における処理遅延時間を低減するとともに、処理遅延時間を低減するためには情報劣化もしくは圧縮率低下を許容しなければならないという従来の課題を解決し、情報劣化ならびに圧縮率低下を発生させることなく遅延時間を低減することができるサブバンド符号化方法及び装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明におけるサブバンド符号化方法は、上記の問題を解決するため、従来の符号化システムの周波数変換用窓掛け処理において、現フレームの情報と前フレームの情報との間に振幅、エネルギー等の物理状態量の変化がない程充分に短い時間内における信号の振幅、エネルギー変化に対しての時間冗長性を利用して、過去のサンプルを用いて周波数変換を実施するようにしたものである。
本発明は、過去のサンプルを用いて周波数変換を実施し時間窓掛けを行なうようにしたことにより、窓掛け処理により発生する遅延時間を０にすることができるサブバンド符号化方法及び装置が得られる。
【００１５】
また、本発明は、周波数変換用窓掛け処理に伴う時間拘束の解消により可能となる聴覚心理モデルに基づいた高効率圧縮アルゴリズムを維持した上で、フレーム長の最小化を従来の符号化方法に適用するため、各分割帯域ごとに再量子化されたサンプルの最小単位ごとにビット割り当て情報を分割表現し、再量子化されるサンプルの処理の時間と対応するサンプルのビット割り当て情報の算出に適用される拘束時間とを異なる時間にし、ビット割り当て情報を複数の単位フレームに分割してビットストリームを構成するようにしたものである。
【００１６】
本発明は、単位フレームのサンプルに対する時間と、対応するビット割り当て情報の拘束時間とを別時間とし、ビット割り当て情報を複数の単位フレームで構成するするようにしたことにより、符号化時の情報量を増加させることなく、バッファリングなどフレーム長に起因する処理遅延時間を最小限にして、サブバンド符号化において発生する遅延時間を最小にすることができるサブバンド符号化方法及び装置が得られる。
【００１７】
さらに、本発明は、従来復号化システムの復号化手段におけるビット割り当て情報の検出処理において、入力信号の振幅、エネルギー等の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去のビット割り当て情報を用いて復号処理を行なうようにしたものである。
本発明は、入力信号の振幅、エネルギー等の物理状態量に変化がない程充分に短い時間内に、過去のビット割り当て情報を用いて復号化処理を実施するようにしたことにより、ビット割り当て情報の検出のためのバッファリングにより発生する遅延時間を０にすることができるサブバンド復号化方法及び装置が得られる。
【００１８】
【発明の実施の形態】
請求項１に記載の発明におけるサブバンド符号化方法は、デジタル信号の帯域をサブバンドに分割して各分割帯域毎の帯域分割信号を出力し、前記入力したディジタル信号を保持し現に保持している過去のディジタル信号を時間−周波数変換用入力信号として出力し、前記時間−周波数変換用入力信号に対し時間窓掛けを行ない周波数情報を出力し、聴感心理モデルに基づき前述周波数情報に対し周波数解析を行ないビット割り当て情報を出力し、前記帯域分割信号及びビット割り当て情報に基づき符号化し前記時間窓に対する符号化出力信号を出力する各工程からなり、入力信号の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去の入力ディジタル信号を用いて時間窓掛けを行なうようにしたものであり、過去のサンプルを用いて周波数変換を実施し時間窓掛けを行なうようにしたことにより、窓掛け処理により発生する遅延時間を０にすることができるという作用を有する。
【００１９】
請求項２に記載の発明におけるサブバンド符号化方法は、前記帯域分割信号の最小単位サンプルに対する前記周波数解析に必要な時間窓長分の時間を単位フレーム長とし、前記単位フレームのサンプルに対する時間と、対応するビット割り当て情報の拘束時間とを別時間とし、前記ビット割り当て情報を複数の単位フレームで構成する各工程からなり、符号化時の情報量を増加させることなく、バッファリングなどフレーム長に起因する処理遅延時間を最小限にするようにしたものであり、単位フレームのサンプルに対する時間と、対応するビット割り当て情報の拘束時間とを別時間とし、ビット割り当て情報を複数の単位フレームで構成するするようにしたことにより、符号化時の情報量を増加させることなく、バッファリングなどフレーム長に起因する処理遅延時間を最小限にして、サブバンド符号化において発生する遅延時間を最小にすることができるという作用を有する。
【００２０】
請求項３に記載の発明におけるサブバンド復号化方法は、復号化入力信号のフレーム構成を解析してスケールファクタ・量子化サンプル解析情報とビット割り当て解析情報とを出力し、前記ビット割り当て解析情報を保持し現に保持している過去のビット割り当て解析情報をビット割り当て情報として出力し、前記スケールファクタ・量子化サンプル解析情報を前記ビット割り当て情報に基づき分割帯域ごとに復号処理を行ない帯域分割復号信号を出力し、前記帯域分割復号信号を合成して復号化出力信号を出力する各工程からなり、入力信号の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去のビット割り当て情報を用いて復号処理を行なうようにしたものであり、入力信号の振幅、エネルギー等の物理状態量に変化がない程充分に短い時間内に、過去のビット割り当て情報を用いて復号化処理を実施するようにしたことにより、ビット割り当て情報の検出のためのバッファリングにより発生する遅延時間を０にすることができるという作用を有する。
【００２１】
請求項４に記載の発明におけるサブバンド符号化装置は、デジタル信号の帯域をサブバンドに分割して各分割帯域毎の帯域分割信号を出力する帯域分割手段と、前記入力したディジタル信号を保持し保持していた過去のディジタル信号を時間−周波数変換用入力信号として出力する時間−周波数変換用入力信号時間制御手段と、前記時間−周波数変換用入力信号に対し時間窓掛けを行ない周波数情報を出力する時間−周波数変換手段と、聴感心理モデルに基づき前述周波数情報に対し周波数解析を行ないビット割り当て情報を出力する周波数解析手段と、前記帯域分割信号及びビット割り当て情報に基づき符号化し前記時間窓に対する符号化出力信号を出力する符号化手段とからなり、入力信号の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去の入力ディジタル信号を用いて時間窓掛けを行なうようにしたものであり、過去のサンプルを用いて周波数変換を実施し時間窓掛けを行なうようにしたことにより、窓掛け処理により発生する遅延時間を０にすることができるという作用を有する。
【００２２】
請求項５に記載の発明におけるサブバンド符号化装置は、前記帯域分割信号の最小単位サンプルに対する前記周波数解析に必要な時間窓長分の時間を単位フレーム長とし、前記単位フレームのサンプルに対する時間と、対応するビット割り当て情報の拘束時間とを別時間とし、前記ビット割り当て情報を複数の単位フレームで構成するようにし、符号化時の情報量を増加させることなく、バッファリングなどフレーム長に起因する処理遅延時間を最小限にするようにしたものであり、単位フレームのサンプルに対する時間と、対応するビット割り当て情報の拘束時間とを別時間とし、ビット割り当て情報を複数の単位フレームで構成するするようにしたことにより、符号化時の情報量を増加させることなく、バッファリングなどフレーム長に起因する処理遅延時間を最小限にして、サブバンド符号化において発生する遅延時間を最小にすることができるという作用を有する。
【００２３】
請求項６に記載の発明におけるサブバンド復号化装置は、復号化入力信号のフレーム構成を解析してスケールファクタ・量子化サンプル解析情報とビット割り当て解析情報とを出力するフレーム解析手段と、前記ビット割り当て解析情報を保持し過去のビット割り当て解析情報をビット割り当て情報として出力するビット割り当て情報時間制御手段と、前記スケールファクタ・量子化サンプル解析情報を前記ビット割り当て情報に基づき分割帯域ごとに復号処理を行ない帯域分割復号信号を出力する復号化手段と、前記帯域分割復号信号を合成して復号化出力信号を出力する帯域合成手段とからなり、入力信号の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去のビット割り当て情報を用いて復号処理を行なうようにしたものであり、入力信号の振幅、エネルギー等の物理状態量に変化がない程充分に短い時間内に、過去のビット割り当て情報を用いて復号化処理を実施するようにしたことにより、ビット割り当て情報の検出のためのバッファリングにより発生する遅延時間を０にすることができるという作用を有する。
【００２４】
請求項７に記載の発明におけるサブバンド復号化−復号化システムは、請求項４または５に記載の符号化装置と、請求項６に記載の復号化装置とからなり、入力信号の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去の情報を用いて符号化及び復号化を行なうようにしたものであり、入力信号の振幅、エネルギー等の物理状態量に変化がない程充分に短い時間内に、過去の情報を用いて符号化及び復号化処理を実施するようにしたことにより、情報劣化ならびに圧縮率低下を発生させることなく遅延時間を０にし、または低減することができるという作用を有する。
【００２５】
以下、添付図面、図１乃至図７に基づき、本発明の実施の形態を詳細に説明する。
（実施の形態１）
まず、図１及び図２を参照して、本発明の実施の形態１におけるサブバンド符号化システムの符号化装置について説明する。図１は本発明の実施の形態１におけるサブバンド符号化システムの符号化装置の構成を示すブロック図、図２は図１に示す各部の信号のタイミングを示すタイミングチャートである。
【００２６】
図１において、Ａ１１は符号化入力信号Ｓ１１を入力して帯域分割信号Ｓ１２を生成する帯域分割手段、Ａ１２は符号化入力信号Ｓ１１を入力して時間−周波数変換用入力信号Ｓ１３を生成する時間−周波数変換用入力信号時間制御手段、Ａ１３は時間−周波数変換用入力信号Ｓ１３を入力して周波数情報Ｓ１４を生成する時間−周波数変換手段、Ａ１４は周波数情報Ｓ１４を入力してビット割り当て情報Ｓ１５を生成する周波数解析手段、Ａ１５は帯域分割信号Ｓ１２及びビット割り当て情報Ｓ１５を入力して符号化出力信号Ｓ１６を出力する符号化手段である。
【００２７】
次に、図１及び図２を参照して、本発明の実施の形態１におけるサブバンド符号化システムの符号化装置の動作を説明する。尚、図２に示すタイミングチャートは符号化システムの具体的なフレーム構成を表すものではなく、各信号の時間的な対応関係を表すものとする。従って、例えば図２の（ｈ）においては、ｔ０からｔ１の期間に出力される符号化出力信号Ｓ１６はｂ０、ｓｆ１、ｄ１という情報により構成されるということを示すものである。
【００２８】
この符号化システムの符号化装置に入力されたデジタルのサンプリング周波数ｆｓの符号化入力信号Ｓ１１は、帯域分割手段Ａ１１において、符号化入力信号Ｓ１１のナイキスト周波数ｆｓ／２を全帯域としてそれをｎ帯域に分割し、図２の（ａ）及び（ｅ）のタイミングチャートに示す入出力の時間対応関係を持つｎ帯域分割信号Ｓ１２を出力する。尚、図２の各信号の時間対応関係を示す記号の添字の数値は時間対応関係を示すもので、この添字の数値は符号化入力信号ｍの添字を基にその添字の順に一致するものが同時に処理された信号であることを示す。
【００２９】
ここで、ｎは任意の整数とし、ＭＰＥＧ１オーディオではｎ＝３２の帯域幅均等分割であるが、フィルタの構成手法に応じてｎ個の各分割帯域幅は予め決められ可変であることを条件に、均等または不均等のいずれをも選択し得るものとする。また、各帯域分割信号Ｓ１２は一種の周波数変調を用いてベースバンド信号にダウンサンプリングされたものである。これと同時に、帯域分割手段Ａ１１に対する入力と時間的に同期して、デジタルの符号化入力信号Ｓ１１を図２の（ａ）のタイミングチャートに示すように、サンプリング周波数の逆数１／ｆｓを単位サンプル数とするｍサンプル単位の時間：ｔ１−ｔ０分のサンプルｍ１を時間−周波数変換用入力信号時間制御手段Ａ１２に入力して、図２の（ｂ）のタイミングチャートに示すように、ｔ１−ｔ０の期間保持してｔ１−ｔ０期間遅らせた後、ｍ１の時間−周波数変換用入力信号Ｓ１３としてｔ２−ｔ１の期間に出力する。
【００３０】
時間−周波数変換用入力信号時間制御手段Ａ１２は、符号化入力信号Ｓ１１を帯域分割手段Ａ１１と同時に入力して、ｔ１−ｔ０期間中既に保持していた過去の情報であるｍ０を時間−周波数変換用入力信号Ｓ１３としてｔ１−ｔ０期間に出力する。尚、時間−周波数変換用入力信号時間制御手段Ａ１２における処理開始時の初期値はｍ個のサンプルの振幅情報が全て最小値０を示す値とする。また、時間−周波数変換手段Ａ１３は、時間−周波数変換用入力信号Ｓ１３に基づき、サンプリング周波数の逆数１／ｆｓの単位サンプル数とするｍサンプルに対して時間窓掛けを行ない、時間−周波数変換して図２の（ｂ）及び（ｃ）のタイミングチャートに示すような入出力の時間対応関係を持つ周波数情報Ｓ１４を出力する。このように、時間−周波数変換手段Ａ１３においては、１フレーム期間前の入力信号（ｍ０）に対して窓掛処理を行なうようにして、窓掛処理による遅延時間を解消するようにしたものである。
【００３１】
上記で時間−周波数変換に用いられる時間窓長ｍは周波数情報Ｓ１４に要求される周波数分解能ｆｒに応じて、ｍ＝（１／ ｆｒ）／（１／ｆｓ）により求められる。時間−周波数変換手段に用いられる具体的な方式としては、ＦＦＴ（高速フーリエ変換）やＤＣＴ（離散コサイン変換）など周波数変換に用いられる方式全般とする。さらに、時間的連続性を考慮する形で前後時間窓とのオーバーラップ部を設けることも任意とする。
【００３２】
周波数解析手段Ａ１４は、周波数情報Ｓ１４を基に、公知の手法である聴感心理モデルに基づいた聴感マスキングにより、帯域分割手段Ａ１１において分割されたｎ帯域ごとに、時間−周波数変換手段Ａ１３で用いた時間窓の前後オーバーラップ部を除いた時間に対するビット割り当て数の計算を行ない、図２の（ｃ）及び（ｄ）のタイミングチャートに示すような入出力の時間対応関係を持つビット割り当て情報Ｓ１５を出力する。ここで時間窓長から前後オーバーラップ部を除いた時間がフーレムの単位時間長となる。
【００３３】
符号化手段Ａ１５においては、各分割帯域信号Ｓ１２の単位フレーム長当たりの最大振幅値から各分割帯域ごとに図２の（ｅ）及び（ｆ）のタイミングチャートに示すような入出力の時間対応関係を有するスケールファクタを導出し、この各帯域ごとのスケールファクタを基に各分割帯域信号Ｓ１２の振幅を正規化したのち、ビット割り当て情報Ｓ１５に基づき各分割帯域ごとに図２の（ｅ）及び（ｇ）のタイミングチャートに示すような入出力の時間対応関係を持つように再量子化を行ない、これら再量子化したサンプルと、ビット割り当て情報、スケールファクタおよびフレーム同期用などの情報からビットストリームを形成して符号化出力信号Ｓ１６を出力する。
【００３４】
符号化出力信号Ｓ１６のビットストリーム構成におけるビット割り当て情報Ｓ１５（ｔ１−ｔ０期間ではｂ０）、スケールファクタ（ｔ１−ｔ０期間ではｓｆ１）および再量子化サンプル（ｔ１−ｔ０期間ではｄ１）の時間対応関係は図２の（ｄ）、（ｆ）、（ｇ）および（ｈ）に示すような形となる。
【００３５】
（実施の形態２）
次に、図１、図２及び図３を参照して、本発明の実施の形態２におけるサブバンド符号化システムについて説明する。図１及び図２はすでに実施の形態１において説明したので説明を省略する。図３は本発明の実施の形態２におけるサブバンド符号化システムで使用するフレームの構成を示す図である。
【００３６】
尚、図２に示すタイミングチャートはこの符号化システムの具体的なフレーム構成を表すものではなく、各信号の時間的な対応関係を表すものとする。従って、例えば図２の（ｈ）では、ｔ０−ｔ１期間に出力される符号化出力信号Ｓ１６は、ｂ０、ｓｆ１、ｄ１という情報から構成されていることを示している。
【００３７】
符号化手段Ａ１５は、この符号化装置に入力された符号化入力信号Ｓ１１が上記実施の形態１と同様に処理して得られたビット割り当て情報Ｓ１５および帯域分割信号Ｓ１２を入力する。そして、符号化手段Ａ１５は、実施の形態１と同様に、各分割帯域ごとに、各分割帯域信号Ｓ１２の単位フレーム長当たりの最大振幅値から図２の（ｅ）及び（ｆ）のタイミングチャートに示すような入出力の時間対応関係を持つスケールファクタを導出し、この各帯域ごとのスケールファクタを基に、各分割帯域信号Ｓ１２の振幅を正規化し、また各分割帯域ごとに、ビット割り当て情報Ｓ１５に基づき図２の（ｅ）及び（ｇ）のタイミングチャートに示すような入出力の時間対応関係で再量子化する。
【００３８】
符号化手段Ａ１５は、これらの情報に基づきビットストリームを形成するにあたり、再量子化した各分割帯域のサンプルの最小単位サンプル（図３のｄ１１）を単位フレームとするフレーム（図３の▲２▼）を構成し、ビット割り当て情報（ｂ０１）、スケールファクタ（ｓｆ１）およびフレーム同期用などの情報を単位フレームごとに分割した形でビットストリームを形成し符号化出力信号Ｓ１６として出力する。
【００３９】
次に、図３を参照して、本実施の形態２における具体的なフレーム構成について説明する。図３に示すように、図２の（ｇ）に示す再量子化サンプルの各分割帯域ごとのｄｘ（添字ｘは時間を表す整数とする）を構成する１グループの帯域分割サンプル数がｙサンプルとした場合、図３の▲１▼に相当する従来のサブバンド符号化方式における１フレーム内のビット割り当て情報、スケールファクタ、それぞれの総ビット数をｙで割ったビット数を単位フレームごとに挿入してビットストリームを形成する。ここで、ｙは任意の整数とする。また、本実施の形態２におけるフレーム構成は図３の▲２▼に相当する部分を１フレームとする。符号化出力信号Ｓ１６のビットストリームの構成におけるビット割り当て情報Ｓ１５、スケールファクタ、および再量子化されたサンプルの時間対応関係は、図２の（ｄ）、（ｆ）、（ｇ）および（ｈ）に示すような形と同様であるがそのフレーム構成は図３に示す形となる。
【００４０】
（実施の形態３）
次に、図４及び図５を参照して、本発明の実施の形態３におけるサブバンド符号化システムの復号化装置について説明する。図４は本発明の実施の形態３におけるサブバンド符号化システムの復号化装置の構成を示すブロック図、図５は図４に示す各部の信号のタイミングを示すタイミングチャートである。
【００４１】
図４において、Ｂ０１は復号化入力信号Ｓ２１を入力してスケールファクタ・量子化サンプル解析情報Ｓ２２及びビット割り当て解析情報Ｓ２３を生成するフレーム解析手段、Ｂ０２はビット割り当て解析情報Ｓ２３を入力してビット割り当て情報Ｓ２４を生成するビット割り当て情報時間制御手段、Ｂ０３はスケールファクタ・量子化サンプル解析情報Ｓ２２及びビット割り当て情報Ｓ２４を入力して帯域分割複合信号Ｓ２５を生成する復号化手段、Ｂ０４は帯域分割複合信号Ｓ２５を入力して復号化出力信号Ｓ２６を出力する、例えばフィルタバンク等の帯域合成手段である。
【００４２】
尚、図５に示すタイミングチャートは、図２に示すタイミングチャートと同様、この符号化システムの具体的なフレーム構成を表すものではなく、各信号の時間的な対応関係を表すものとする。従って、例えば図５の（ａ）では、ｔ０−ｔ１期間に出力される復号化入力信号Ｓ２１は、ｂ１、ｓｆ１、ｄ１という情報から構成されていることを示している。このサブバンド符号化システムにおいては、常に１フレーム前のビット割り当て情報に基づいて符号化された信号が復号化入力信号Ｓ２１として復号化システムに入力されるものとする。
【００４３】
このときの符号化信号のフレーム構成は、従来のサブバンド符号化方法により構成されたフレーム構成でも、本発明の実施の形態２により構成されたフレーム構成でも、予め決められ可変であることを条件に、どちらの方式でも使用可能である。フレーム解析手段Ｂ０１は、復号化入力信号Ｓ２１に対しフレーム同期用信号の解析によるフレームの検出を行なったのち、スケールファクタの検出をおこない、検出されたスケールファクタ（ｓｆ１）と各分割帯域ごとのサンプル（ｄ１）をスケールファクタ・量子化サンプル解析情報Ｓ２２として出力する。
【００４４】
フレーム解析手段Ｂ０１は、スケールファクタ・量子化サンプル解析情報Ｓ２２の出力と同時に、ビット割り当て情報（ｂ１）を検出し、それをビット割り当て解析情報Ｓ２３として出力する。ビット割り当て情報時間制御手段Ｂ０２は、ビット割り当て解析情報Ｓ２３を入力すると同時に、既に保持していた１フレーム前のビット割り当て情報Ｓ２４を出力する。更に、ビット割り当て情報時間制御手段Ｂ０２は、今入力したビット割り当て解析情報Ｓ２３を１フレーム期間保持した後、ビット割り当て情報Ｓ２４として出力する。これら一連の入出力情報のタイミングは図５のタイミングチャートに示す。このように、ビット割り当て情報時間制御手段Ｂ０２は、１フレーム期間前のビット割り当て情報Ｓ２４を出力するようにして、ビット割り当て情報検出のためのバッファリングによる遅延時間を解消するようにしたものである。
【００４５】
更に、復号化手段Ｂ０３は、スケールファクタ・量子化サンプル解析情報Ｓ２２とビット割り当て情報Ｓ２４とに基づき、各分割帯域ごとに復号処理をおこない、その結果を帯域分割復号信号Ｓ２５として出力する。帯域合成手段Ｂ０４は、帯域分割復号信号Ｓ２５を入力して帯域を合成し、復号化出力信号Ｓ２６として出力する。
【００４６】
（実施の形態４）
次に、図６、図４及び図７を参照して、本発明の実施の形態４におけるサブバンド符号化システムについて説明する。図６は本発明の実施の形態４におけるサブバンド符号化システムの符号化装置の構成を示すブロック図、図４は本発明の実施の形態３及び４におけるサブバンド符号化システムの復号化装置の構成を示すブロック図であり、実施の形態３において既に説明したので説明を省略する。図７は図６及び図４に示す各部の信号のタイミングを示すタイミングチャートである。
【００４７】
図６において、Ｃ０１は符号化入力信号Ｓ３１を入力して帯域分割信号Ｓ３２を生成する帯域分割手段、Ｃ０２は符号化入力信号Ｓ３１を入力して時間−周波数変換用入力信号Ｓ３３を生成する時間−周波数変換用入力信号時間制御手段、Ｃ０３は時間−周波数変換用入力信号Ｓ３３を入力して周波数情報Ｓ３４を生成する時間−周波数変換手段、Ｃ０４は周波数情報Ｓ３４を入力してフレーム構成用ビット割り当て情報Ｓ３５を生成する周波数解析手段、Ｃ０５はフレーム構成用ビット割り当て情報Ｓ３５を入力してビット割り当て情報Ｓ３６を生成するビット割り当て情報時間制御手段、Ｃ０６は帯域分割信号Ｓ３２、フレーム構成用ビット割り当て情報Ｓ３５及びビット割り当て情報Ｓ３６を入力して符号化出力信号Ｓ３７を出力する符号化手段である。
【００４８】
次に、図６及び図７を参照して、本発明の実施の形態４におけるサブバンド符号化システムの符号化装置の動作を説明する。尚、図７に示すタイミングチャートは、図２及び図５に示すタイミングチャートと同様、この符号化システムの具体的なフレーム構成を表すものではなく、各信号の時間的な対応関係を表すものとする。従って、例えば図７の（ｉ）では、ｔ０−ｔ１期間に出力される符号化出力信号Ｓ３７（＝復号化入力信号Ｓ２１）はｂ０、ｓｆ１、ｄ１という情報から構成されていることを示している。
【００４９】
帯域分割手段Ｃ０１は、図６に示す符号化システムの符号化装置に入力したデジタルのサンプリング周波数ｆｓの符号化入力信号Ｓ３１を入力して、符号化入力信号Ｓ３１のナイキスト周波数ｆｓ／２を全帯域としてそれをｎ帯域に分割し、図７の（ａ）及び（ｆ）のタイミングチャートに示す入出力の時間対応関係を持つｎ帯域分割信号Ｓ３２を出力する。尚、図７の各信号の時間対応関係を示す記号の添字の数値は時間対応関係を示すもので、添字の数値は符号化入力信号ｍの添字を基にその添字の順に一致するものが同時に処理された信号であることを示す。
【００５０】
ここで、ｎは任意の整数とし、ＭＰＥＧ１オーディオではｎ＝３２の帯域幅均等分割であるが、フィルタの構成手法に応じてｎ個の各分割帯域幅は予め決められ可変であることを条件に、均等または不均等のいずれをも選択し得るものとする。また、各帯域分割信号Ｓ３２は、一種の周波数変調を用いてベースバンド信号にダウンサンプリングしたものである。これと同時に、帯域分割手段Ｃ０１に対する入力と時間的に同期して、デジタルの符号化入力信号Ｓ３１を図７の（ａ）のタイミングチャートに示すように、サンプリング周波数の逆数１／ｆｓの単位サンプル数とするｍサンプル単位の時間：ｔ１−ｔ０分のサンプルｍ１を時間−周波数変換用入力信号時間制御手段Ｃ０２に入力して、図７の（ｂ）のタイミングチャートに示すように、ｍ１をｔ１−ｔ０の期間保持した後、時間−周波数変換用入力信号Ｓ３３としてｔ２−ｔ１の期間に出力する。
【００５１】
時間−周波数変換用入力信号時間制御手段Ｃ０２は、符号化入力信号Ｓ３１を帯域分割手段Ｃ０１と同時に入力して、ｔ１−ｔ０期間中既に保持していた過去の情報であるｍ０を時間−周波数変換用入力信号Ｓ３３としてｔ１−ｔ０期間に出力する。尚、時間−周波数変換用入力信号時間制御手段Ｃ０２における処理開始時の初期値はｍ個のサンプルの振幅情報が全て最小値０を示す値とする。また、時間−周波数変換手段Ｃ０３は、時間−周波数変換用入力信号Ｓ３３に基づき、サンプリング周波数の逆数１／ｆｓの単位サンプル数とするｍサンプルに対して時間窓掛けを行ない、時間−周波数変換して図７の（ｂ）及び（ｃ）のタイミングチャートに示すような入出力の時間対応関係を持つ周波数情報Ｓ３４を出力する。
【００５２】
このように、時間−周波数変換手段Ｃ０３においては、１フレーム期間前の入力信号（ｍ０）に対して窓掛処理を行なうようにして、窓掛処理による遅延時間を解消するようにしたものである。
【００５３】
上記で時間−周波数変換に用いられる時間窓長ｍは周波数情報Ｓ３４に要求される周波数分解能ｆｒに応じて、ｍ＝（１／ ｆｒ）／（１／ｆｓ）により求められる。時間−周波数変換手段に用いられる具体的な方式としては、ＦＦＴ（高速フーリエ変換）やＤＣＴ（離散コサイン変換）など周波数変換に用いられる方式全般とする。さらに、時間的連続性を考慮する形で前後時間窓とのオーバーラップ部を設けることも任意とする。
【００５４】
周波数解析手段Ｃ０４は、周波数情報Ｓ３４を基に、公知の手法である聴感心理モデルに基づいた聴感マスキングにより、帯域分割手段Ｃ０１において分割されたｎ帯域ごとに、時間−周波数変換手段Ｃ０３で用いた時間窓の前後オーバーラップ部を除いた時間におけるビット割り当て数の計算を行ない、図７の（ｃ）及び（ｄ）のタイミングチャートに示すような入出力の時間対応関係を持つフレーム構成用ビット割り当て情報Ｓ３５を出力する。ここで時間窓長から前後オーバーラップ部を除いた時間がフーレムの単位時間長となる。
【００５５】
ビット割り当て情報時間制御手段Ｃ０５は、フレーム構成用ビット割り当て情報Ｓ３５を入力すると同時に、ビット割り当て情報時間制御手段Ｃ０５に保持していた１フレーム前のフレーム構成用ビット割り当て情報Ｓ３５をビット割り当て情報Ｓ３６として出力する。さらに、ビット割り当て情報時間制御手段Ｃ０５は、入力したフレーム構成用ビット割り当て情報Ｓ３５を１フレームの期間保持したのちに出力する。これら一連の処理におけるフレーム構成用ビット割り当て情報Ｓ３５とビット割り当て情報Ｓ３６の時間的な対応関係は、図７の（ｄ）及び（ｅ）に示すように１フレーム期間ずれた構成となる。なお、ビット割り当て情報時間制御手段Ｃ０５におけるビット割り当て情報Ｓ３６の初期値は、入力信号が全て０の場合のビット割り当て情報とする。
【００５６】
符号化手段Ｃ０６において、各分割帯域信号Ｓ３２の単位フレーム長当たりの最大振幅値から各分割帯域ごとに、図７の（ｆ）及び（ｇ）のタイミングチャートに示すように分割帯域信号Ｓ３２と一致した入出力の時間対応関係を持つスケールファクタを導出し、この各帯域ごとのスケールファクタを基に、各分割帯域信号Ｓ３２の振幅を正規化したのち、ビット割り当て情報Ｓ３６に基づき各分割帯域ごとに、図７の（ｅ）、（ｆ）および（ｈ）のタイミングチャートに示すような入出力の時間対応関係により再量子化を行ない、これらの再量子化サンプル（ｄ１）と、フレーム構成用ビット割り当て情報Ｓ３５、スケールファクタ（ｓｆ１）およびフレーム同期用などの情報とからビットストリームを形成して符号化出力信号Ｓ３７を出力する。
【００５７】
符号化出力信号Ｓ３７のビットストリーム構成におけるフレーム構成用ビット割り当て情報Ｓ３５、スケールファクタおよび再量子化サンプルの時間対応関係は、図７の（ｄ）、（ｇ）、（ｈ）および（ｉ）に示すような形となる。
【００５８】
次に、図６に示す符号化手段Ｃ０６からの符号化出力信号Ｓ３７が復号化装置に対する復号化入力信号Ｓ２１として図４に示すフレーム解析手段Ｂ０１に入力された場合について説明する。このときの符号化信号のフレーム構成は従来のサブバンド符号化方式により構成されるもの、または本発明の実施の形態２によるフレーム構成のもの、これら２つのフレーム構成のうち、予め決められ可変であることを条件に、いずれの方式のものでも可能である。
【００５９】
図４において、フレーム解析手段Ｂ０１は、復号化入力信号Ｓ２１を基に、フレーム同期用信号解析によるフレームの検出を行なったのち、スケールファクタを検出し、検出されたスケールファクタと各分割帯域ごとのサンプルを図７の（ｉ）及び（ｊ）のタイミングチャートに示すような入出力の時間対応関係によりスケールファクタ・量子化サンプル解析情報Ｓ２２として出力する。フレーム解析手段Ｂ０１は、これと同時に、ビット割り当て情報を検出し、ビット割り当て解析情報Ｓ２３として出力する。ビット割り当て情報時間制御手段Ｂ０２は、ビット割り当て解析情報Ｓ２３が入力されると同時に、既に保持していた１フレーム前のビット割り当て情報Ｓ２４を出力する。
【００６０】
さらに、ビット割り当て情報時間制御手段Ｂ０２は、入力したビット割り当て解析情報Ｓ２３を１フレームの期間保持した後、ビット割り当て情報Ｓ２４として出力する。これら一連の入出力タイミングは、図７の（ｋ）及び（ｌ）のタイミングチャートに示す。復号化手段Ｂ０３は、スケールファクタ・量子化サンプル解析情報Ｓ２２とビット割り当て情報Ｓ２４とに基づき、各分割帯域ごとに復号処理を行ない、帯域分割復号信号Ｓ２５として出力する。帯域合成手段Ｂ０４は、帯域分割復号信号Ｓ２５を入力して帯域合成し、復号化出力信号Ｓ２６として出力する。
【００６１】
【発明の効果】
本発明は、上記のように構成し、特に入力信号の振幅、エネルギー変化等の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去のサンプルを用いて周波数変換を実施し時間窓掛けを行なうようにしたことにより、周波数変換用窓掛け処理により発生する遅延時間を０にすることができるサブバンド符号化方法及び装置を提供することができる。
【００６２】
本発明は、上記のように構成し、特に帯域分割信号の最小単位サンプルに対する周波数解析に必要な時間窓長分の時間を単位フレーム長とし、単位フレームのサンプルに対する時間と、対応するビット割り当て情報の拘束時間とを別時間とし、ビット割り当て情報を複数の単位フレームで構成するようにしたことにより、符号化時の情報量を増加させることなく、バッファリングなどフレーム長に起因する処理遅延時間を最小限にして、サブバンド符号化において発生する遅延時間を最小にすることができるサブバンド符号化方法及び装置を提供することができる。
【００６３】
本発明は、上記のように構成し、特に入力信号の振幅、エネルギー等の物理状態量に変化がない程充分に短い時間内に、過去のビット割り当て情報を用いて復号化処理を実施するようにしたことにより、ビット割り当て情報の検出のためのバッファリングにより発生する遅延時間を０にすることができるサブバンド復号化方法及び装置を提供することができる。
【００６４】
本発明は、上記のように構成し、特に入力信号の振幅、エネルギー等の物理状態量に変化がない程充分に短い時間内に、過去の情報を用いて符号化及び復号化処理を実施するようにしたことにより、情報劣化ならびに圧縮率低下を発生させることなく遅延時間を０にし、または低減することができるサブバンド符号化−復号化システムを提供することができる。
【００６５】
従って、本発明は、サブバンド符号化及び復号化における遅延時間を０にし、または低減することにより、オーディオ信号の圧縮処理を行なう場合における待ち時間を低減して、情報量の多い高い品質の音楽、音声等を高い効率で伝送し記録することができるサブバンド符号化・復号化方法及び装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１におけるサブバンド符号化システムの符号化装置の構成を示すブロック図、
【図２】図１に示す各部の信号のタイミングを示すタイミングチャート、
【図３】本発明の実施の形態２におけるサブバンド符号化システムで使用するフレームの構成を示す図、
【図４】本発明の実施の形態３におけるサブバンド符号化システムの復号化装置の構成を示すブロック図、
【図５】図４に示す各部の信号のタイミングを示すタイミングチャート、
【図６】本発明の実施の形態４におけるサブバンド符号化システムの符号化装置の構成を示すブロック図、
【図７】図６及び図４に示す各部の信号のタイミングを示すタイミングチャート、
【図８】従来のサブバンド符号化システムの一例であるＭＰＥＧ１オーディオレイヤ符号化システムの符号化装置の構成を示すブロック図、
【図９】従来のサブバンド符号化システムの一例であるＭＰＥＧ１オーディオレイヤ符号化システムの復号化装置の構成を示すブロック図。
【符号の説明】
Ａ０１、Ａ１１ 帯域分割手段
Ａ０２、Ａ１３ 時間−周波数変換手段
Ａ０３、Ａ１４ 周波数解析手段
Ａ０４、Ａ１５ 符号化手段
Ａ０５ フレーム解析手段
Ａ０６ 復号化手段
Ａ０７ 帯域合成手段
Ａ１２ 時間−周波数変換用入力信号時間制御手段
Ｂ０１ フレーム解析手段
Ｂ０２ ビット割り当て情報時間制御手段
Ｂ０３ 復号化手段
Ｂ０４ 帯域合成手段
Ｃ０１ 帯域分割手段
Ｃ０２ 時間−周波数変換用入力信号時間制御手段
Ｃ０３ 時間−周波数変換手段
Ｃ０４ 周波数解析手段
Ｃ０５ ビット割り当て情報時間制御手段
Ｃ０６ 符号化手段
Claims (7)
- デジタル信号の帯域をサブバンドに分割して各分割帯域毎の帯域分割信号を出力し、前記入力したディジタル信号を保持し現に保持している過去のディジタル信号を時間−周波数変換用入力信号として出力し、前記時間−周波数変換用入力信号に対し時間窓掛けを行ない周波数情報を出力し、聴感心理モデルに基づき前述周波数情報に対し周波数解析を行ないビット割り当て情報を出力し、前記帯域分割信号及びビット割り当て情報に基づき符号化し前記時間窓に対する符号化出力信号を出力する各工程からなり、入力信号の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去の入力ディジタル信号を用いて時間窓掛けを行なうようにしたことを特徴とするサブバンド符号化方法。
- 前記帯域分割信号の最小単位サンプルに対する前記周波数解析に必要な時間窓長分の時間を単位フレーム長とし、前記単位フレームのサンプルに対する時間と、対応するビット割り当て情報の拘束時間とを別時間とし、前記ビット割り当て情報を複数の単位フレームで構成する各工程からなり、符号化時の情報量を増加させることなく、バッファリングなどフレーム長に起因する処理遅延時間を最小限にするようにしたことを特徴とする請求項１記載のサブバンド符号化方法。
- 復号化入力信号のフレーム構成を解析してスケールファクタ・量子化サンプル解析情報とビット割り当て解析情報とを出力し、前記ビット割り当て解析情報を保持し現に保持している過去のビット割り当て解析情報をビット割り当て情報として出力し、前記スケールファクタ・量子化サンプル解析情報を前記ビット割り当て情報に基づき分割帯域ごとに復号処理を行ない帯域分割復号信号を出力し、前記帯域分割復号信号を合成して復号化出力信号を出力する各工程からなり、入力信号の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去のビット割り当て情報を用いて復号処理を行なうようにしたことを特徴とするサブバンド復号化方法。
- デジタル信号の帯域をサブバンドに分割して各分割帯域毎の帯域分割信号を出力する帯域分割手段と、前記入力したディジタル信号を保持し保持していた過去のディジタル信号を時間−周波数変換用入力信号として出力する時間−周波数変換用入力信号時間制御手段と、前記時間−周波数変換用入力信号に対し時間窓掛けを行ない周波数情報を出力する時間−周波数変換手段と、聴感心理モデルに基づき前述周波数情報に対し周波数解析を行ないビット割り当て情報を出力する周波数解析手段と、前記帯域分割信号及びビット割り当て情報に基づき符号化し前記時間窓に対する符号化出力信号を出力する符号化手段とからなり、入力信号の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去の入力ディジタル信号を用いて時間窓掛けを行なうようにしたことを特徴とするサブバンド符号化装置。
- 前記帯域分割信号の最小単位サンプルに対する前記周波数解析に必要な時間窓長分の時間を単位フレーム長とし、前記単位フレームのサンプルに対する時間と、対応するビット割り当て情報の拘束時間とを別時間とし、前記ビット割り当て情報を複数の単位フレームで構成するようにし、符号化時の情報量を増加させることなく、バッファリングなどフレーム長に起因する処理遅延時間を最小限にするようにしたことを特徴とする請求項１記載のサブバンド符号化装置。
- 復号化入力信号のフレーム構成を解析してスケールファクタ・量子化サンプル解析情報とビット割り当て解析情報とを出力するフレーム解析手段と、前記ビット割り当て解析情報を保持し過去のビット割り当て解析情報をビット割り当て情報として出力するビット割り当て情報時間制御手段と、前記スケールファクタ・量子化サンプル解析情報を前記ビット割り当て情報に基づき分割帯域ごとに復号処理を行ない帯域分割復号信号を出力する復号化手段と、前記帯域分割復号信号を合成して復号化出力信号を出力する帯域合成手段とからなり、入力信号の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去のビット割り当て情報を用いて復号処理を行なうようにしたことを特徴とするサブバンド復号化装置。
- 請求項４または５に記載の符号化装置と、請求項６に記載の復号化装置とからなり、入力信号の物理状態量の変化に対する時間冗長性を有するだけ充分短い時間内における過去の情報を用いて符号化及び復号化を行なうことを特徴とする符号化−復号化システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28047898A JP3564306B2 (ja) | 1998-09-17 | 1998-09-17 | サブバンド符号化・復号化方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28047898A JP3564306B2 (ja) | 1998-09-17 | 1998-09-17 | サブバンド符号化・復号化方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000101519A JP2000101519A (ja) | 2000-04-07 |
| JP3564306B2 true JP3564306B2 (ja) | 2004-09-08 |
Family
ID=17625646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28047898A Expired - Fee Related JP3564306B2 (ja) | 1998-09-17 | 1998-09-17 | サブバンド符号化・復号化方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3564306B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809097A (zh) * | 2015-04-30 | 2015-07-29 | 吴伟 | 一种时间-频率域信号处理的多窗口函数选择方法 |
-
1998
- 1998-09-17 JP JP28047898A patent/JP3564306B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809097A (zh) * | 2015-04-30 | 2015-07-29 | 吴伟 | 一种时间-频率域信号处理的多窗口函数选择方法 |
| CN104809097B (zh) * | 2015-04-30 | 2017-06-27 | 吴伟 | 一种时间‑频率域信号处理的多窗口函数选择方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000101519A (ja) | 2000-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2236046C2 (ru) | Эффективное кодирование огибающей спектра с использованием переменного разрешения по времени и по частоте и переключения время/частота | |
| JP3390013B2 (ja) | 広帯域デジタル情報信号の符号化及び復号化 | |
| US5886276A (en) | System and method for multiresolution scalable audio signal encoding | |
| US4330689A (en) | Multirate digital voice communication processor | |
| JP3012849B2 (ja) | ディジタル伝送システム及び該システムに用いる送信機及び受信機 | |
| KR100193353B1 (ko) | 적응블록길이, 적응변환, 적응윈도우 변환코더, 디코더 및 고품질 오디오용 인코더/디코더 | |
| USRE42949E1 (en) | Stereophonic audio signal decompression switching to monaural audio signal | |
| EP1439524B1 (en) | Audio decoding device, decoding method, and program | |
| EP2998959B1 (en) | Method and apparatus for encoding high frequency band | |
| JP4242516B2 (ja) | サブバンド符号化方式 | |
| JP4390208B2 (ja) | 音声を可変レートで符号化および復号する方法 | |
| US20220366924A1 (en) | Audio decoding device, audio encoding device, audio decoding method, audio encoding method, audio decoding program, and audio encoding program | |
| JPS6161305B2 (ja) | ||
| WO2006049204A1 (ja) | 符号化装置、復号化装置、符号化方法及び復号化方法 | |
| KR20050052505A (en) | Fast codec with high compression ration and minimum required resources | |
| WO1998042083A1 (en) | Audio coding method and apparatus | |
| JPH04127747A (ja) | 可変レート符号化方式 | |
| JP2006126826A (ja) | オーディオ信号符号化／復号化方法及びその装置 | |
| WO2000045378A2 (en) | Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching | |
| JP4736812B2 (ja) | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 | |
| JP4287545B2 (ja) | サブバンド符号化方式 | |
| JP3344944B2 (ja) | オーディオ信号符号化装置，オーディオ信号復号化装置，オーディオ信号符号化方法，及びオーディオ信号復号化方法 | |
| JP3277705B2 (ja) | 情報符号化装置及び方法、並びに情報復号化装置及び方法 | |
| KR100601748B1 (ko) | 디지털 음성 데이터의 부호화 방법 및 복호화 방법 | |
| JP3564306B2 (ja) | サブバンド符号化・復号化方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040601 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040607 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080611 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110611 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120611 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120611 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |