JP3561923B2 - ディジタル信号処理装置 - Google Patents

ディジタル信号処理装置 Download PDF

Info

Publication number
JP3561923B2
JP3561923B2 JP05212593A JP5212593A JP3561923B2 JP 3561923 B2 JP3561923 B2 JP 3561923B2 JP 05212593 A JP05212593 A JP 05212593A JP 5212593 A JP5212593 A JP 5212593A JP 3561923 B2 JP3561923 B2 JP 3561923B2
Authority
JP
Japan
Prior art keywords
processing
circuit
digital signal
signal
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05212593A
Other languages
English (en)
Other versions
JPH06268610A (ja
Inventor
浩之 鈴木
健三 赤桐
修 下吉
誠 光野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP05212593A priority Critical patent/JP3561923B2/ja
Publication of JPH06268610A publication Critical patent/JPH06268610A/ja
Application granted granted Critical
Publication of JP3561923B2 publication Critical patent/JP3561923B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007Time or data compression or expansion
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B20/1217Formatting, e.g. arrangement of data block or words on the record carriers on discs
    • G11B20/1251Formatting, e.g. arrangement of data block or words on the record carriers on discs for continuous data, e.g. digitised analog information signals, pulse code modulated [PCM] data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • G11B2020/10546Audio or video recording specifically adapted for audio data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2545CDs

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、ディジタルオーディオ信号等をビット圧縮した圧縮データの記録及び/又は再生もしくは伝送及び/又は受信するディジタル信号処理装置に関し、特に、入力信号に適応して、処理回路の一部、及び/又は全体を休止するディジタル信号処理装置に関するものである。
【0002】
【従来の技術】
本件出願人は、先に、入力されたディジタルオーディオ信号をビット圧縮し、所定のデータ量を記録単位としてバースト的に記録するような技術を、例えば特願平2−221364号、特願平2−221365号、特願平2−222821号、特願平2−222823号の各明細書及び図面等において提案している。
【0003】
この技術は、記録媒体として光磁気デイスクを用い、いわゆるCD−I(CD−インタラクティブ)やCD−ROM XAのオーディオデータフォーマットに規定されているAD(適応差分)PCMオーデイオデータを記録再生するものであり、このADPCMデータの例えば32セクタ分とインターリーブ処理のためのリンキング用の数セクタとを記録単位として、光磁気デイスクにバースト的に記録している。
【0004】
この光磁気ディスクを用いた記録再生装置におけるADPCMオーディオには幾つかのモードが選択可能になっており、例えば通常のCD(コンパクトディスク)の再生時間に比較して、2倍の圧縮率でサンプリング周波数が37.8kHzのレベルA、4倍の圧縮率でサンプリング周波数が37.8kHzのレベルB、8倍の圧縮率でサンプリング周波数が18.9kHzのレベルCが規定されている。すなわち、例えば上記レベルBの場合には、ディジタルオーディオデータが略々1/4に圧縮され、このレベルBのモードで記録されたディスクの再生時間(プレイタイム)は、標準的なCDフォーマット(CD−DAフォーマット)の場合の4倍となる。これは、より小型のディスクで標準12cmと同じ程度の記録再生時間が得られることから、装置の小型化が図れることになる。
【0005】
ただし、ディスクの回転速度は標準的なCDと同じであるため、例えば上記レベルBの場合、所定時間当たりその4倍の再生時間分の圧縮データが得られることになる。このため、例えばセクタやクラスタ等の時間単位で同じ圧縮データを重複して4回読み出すようにし、そのうちの1回分の圧縮データのみをオーディオ再生にまわすようにしている。具体的には、スパイラル状の記録トラックを走査(トラッキング)する際に、1回転毎に元のトラック位置に戻るようなトラックジャンプを行って、同じトラックを4回ずつ繰り返しトラッキングするような形態で再生動作を進めることになる。これは、例えば4回の重複読み取りの内、少なくとも1回だけ正常な圧縮データが得られればよいことになり、外乱等によるエラーに強く、特に携帯用小型機器に適用して好ましいものである。
【0006】
また、本出願人は、特開平3年52332号公報及び特開平3年263926号公報等において、入力信号の大きな振幅変化に適応して圧縮過程の処理ブロックを可変とすることで、処理系の時間的分解能ならびに応答性を改善する技術を開示している。
【0007】
この技術は、処理系の時間分解能と周波数分解能という互いに相反する特性を入力信号の性質に応じて変化させることによって、入力信号への適応性を高め、聴感上の良質な音質を得るものである。数多く知られる高能率圧縮法のうち、直交変換を用いる、いわゆるトランスフォームコーディングにおいては、振幅変化の激しい信号が入力された場合に生じるプリエコーに対して、特に有効な手法である。
【0008】
ここで、プリエコーとは、直交変換ブロック中に大きな振幅変化が生じた状態で圧縮、伸張を行った場合、その直交変換ブロック内に時間的に均一な量子化ノイズが発生し、元の信号の振幅の小さい部分において先の量子化ノイズが聴感上問題となる現象を示している。
【0009】
【発明が解決しようとする課題】
ところで、上述のような技術を用いてディジタル信号処理装置を構成した場合、先に述べたように、より小型の記録媒体を使用して従来と同等の記録再生時間を確保できるため、携帯用小型機器に適用して好ましいものとなる。しかし、記録される信号の質をさらに良好にするために様々な技術を応用してデータ圧縮を行うと、上記ディジタル信号処理装置の回路規模は増大する傾向を示す。特に、携帯用機器においては、回路規模の増大よって消費電力が増加するため、主電源である電池が大型化することになり、一層、装置全体の大きさや重量が増加することになる。
【0010】
本発明はこのような実情に鑑みてなされたものであり、入力信号に適応して、処理回路の一部、及び/又は全体を休止させたり、動作速度を低下させることによって、装置の消費電力を低減するディジタル信号処理装置を提供するものである。
【0011】
【課題を解決するための手段】
本発明に係るディジタル信号処理装置は、ディジタル信号を情報圧縮して記録又は圧縮されたデータを伸張して再生するディジタル信号処理装置において、ディジタル信号の圧縮又は伸張処理を行う処理回路において実際の圧縮又は伸張処理を行った後、余裕時間が発生した場合に、当該処理回路の一部又は全体を休止することによって、装置の消費電力を低減する。
【0012】
また、本発明のディジタル信号処理装置において、入力信号に適応して圧縮処理を行う際に、この圧縮処理に必要な時間を算出し、余裕時間が無くなるように処理回路の一部又は全体の動作速度を低下させることや、入力信号に適応して圧縮処理の一部又は全体を省略及び/又は簡易化することによって、装置の消費電力を低減する。この入力信号がゼロ、或いは一定の振幅以下の場合に、圧縮処理の一部又は全体を中止し、ゼロコード又は特定パターンを出力する。
【0013】
さらに、本発明のディジタル信号処理装置は、上記処理回路における処理の余裕時間に、当該処理回路の一部又は全体を休止することや、入力信号に適応して圧縮処理を行う際に、この圧縮処理に必要な時間を算出し、余裕時間が無くなるように処理回路の一部又は全体の動作速度を低下させることや、入力信号に適応して圧縮処理の一部又は全体を省略及び/又は簡易化することを合わせ持つことによって、装置の消費電力を低減するようにしてもよい。
【0014】
ここで、上述のような本発明のディジタル信号処理装置の消費電力を低減する各機能を合わせる割合を、固定或いは入力信号に適応した割合で併用、或いは単独で使用する。また、上記ディジタル信号処理装置の主電源は電池で構成されており、その電池の種類、負荷特性、残容量に応じて上記消費電力を低減する各機能を選択又は選択して併用する。
【0015】
なお、本発明のディジタル信号処理装置は、上記入力信号に適応して圧縮/伸長の処理ブロックの長さを可変とすると共に、処理ブロックの入力信号の変化及びその他の処理ブロックの入力信号の変化、及び/又はパワー、或いはエネルギ又はピーク情報を基に、当該処理ブロックの長さを決定する機能や、処理ブロックの入力信号の変化及び時間的に処理ブロックの最大より長い時間幅の入力信号により得られる入力信号の変化情報を基に、当該処理ブロックの長さを可変とする機能を持つ。また、上記2つの機能を合わせもち、上記処理ブロックの長さを決定する要素の決定に関与する割合を固定或いは入力信号に適応した割合で併用、あるいは単独で使用する。
【0016】
さらに、上記入力信号はオーディオ信号であり、高域程、少なくとも大部分の量子化雑音の発生をコントロールする量子化雑音発生コントロールブロックの周波数幅を広くしてゆき、時間軸信号から周波数軸上の複数の帯域への分割を行い、当該分割に直交変換を用いること、及び/又は周波数軸上の複数帯域から時間軸信号への変換を行い、当該変換に逆直交変換を用いること、及び上記直交変換のサイズの可変と共に直交変換時に使用する窓関数の形状も変化させ、上記時間軸信号から周波数軸上の複数の帯域への分割する際に、最初に複数の帯域に分割し、分割された帯域毎に複数のサンプルからなるブロックを形成し、各帯域のブロック毎に直交変換を行い係数データを得、及び/又は、周波数軸上の複数帯域から時間軸信号への変換を行う際に、各帯域のブロック毎に逆直交変換を行い、各逆直交変換出力を合成して時間軸上合成信号を得る。
【0017】
そのうえ、直交変換前の時間軸信号から周波数軸上の複数の帯域への分割における分割周波数幅及び/又は逆直交変換後の周波数軸上の複数の帯域から時間軸信号への合成における複数の帯域からの合成周波数幅を、略高域程広くし、前記分割周波数幅及び/又は前記合成周波数幅を最低域の連続した2帯域で同一とし、略信号通過帯域以上の帯域の信号成分に圧縮符号のメイン情報及び/又はサブ情報を割り当てない。
【0018】
ここで、前記複数の帯域への分割及び/又は前記複数の帯域から成る時間軸上の信号への変換にQMFフィルタを用い、直交変換として変更離散コサイン変換を用いる。
【0019】
上述のような方法を併用し、上記入力信号の性質、及び/又は応用例に応じて選択するとより効果的である。その際、上記ディジタル信号処理装置の主電源の電池の種類、負荷特性、残容量等を加味して、消費電力の低減法を選択、及び/又は併用するとさらに良好な結果が得られる。
【0020】
【作用】
本発明に係るディジタル信号処理装置は、入力信号に適応した圧縮を行う際に、最小限の回路動作で行うことが可能となり、装置の消費電力を低減することが可能となる。また、装置の主電源に電池を使用した場合、より長い時間の装置の動作が可能となる。
【0021】
【実施例】
以下、本発明の実施例について図面を参照しながら説明する。
先ず、図1には、本発明のディジタル信号処理装置の一実施例の概略構成を示す。
【0022】
この図1のディジタル信号処理装置の光磁気ディスク記録再生装置には、スピンドルモータ51により回転駆動される光磁気ディスク1が用いられる。光磁気デイスク1に対するデータの記録時には、例えば光学ヘッド53によりレーザ光を照射した状態で記録データに応じた変調磁界を磁気ヘッド54により印加することによって、いわゆる磁界変調記録を行い、光磁気ディスク1の記録トラックに沿ってデータを記録する。また再生時には、光磁気ディススク1の記録トラックを光学ヘッド53によりレーザ光でトレースして磁気光学的に再生を行う。
【0023】
光学ヘッド53は、例えば、レーザダイオード等のレーザ光源、コリメータレンズ、対物レンズ、偏光ビームスプリッタ、シリンドリカルレンズ等の光学部品及び所定パターンの受光部を有するフォトデイテクタ等から構成されている。この光学ヘッド53は、光磁気ディスク1を介して上記磁気ヘッド54と対向する位置に設けられている。光磁気ディスク1にデータを記録するときには、後述する記録系のヘッド駆動回路66により磁気ヘッド54を駆動して記録データに応じた変調磁界を印加すると共に、光学ヘッド53により光磁気ディスク1の目的トラックにレーザ光を照射することによって、磁界変調方式により熱磁気記録を行う。また、この光学ヘッド53は、目的トラックに照射したレーザ光の反射光を検出し、例えばいわゆる非点収差法によりフォーカスエラーを検出し、例えばいわゆるプッシュプル法によりトラッキングエラーを検出する。光磁気ディスク1からデータを再生するとき、光学ヘッド53は上記フォーカスエラーやトラッキングエラーを検出すると同時に、レーザ光の目的トラックからの反射光の偏光角(カー回転角)の違いを検出して再生信号を生成する。
【0024】
光学ヘッド53の出力は、RF回路55に供給される。このRF回路55は、光学ヘッド53の出力から上記フォーカスエラー信号やトラッキングエラー信号を抽出してサーボ制御回路56に供給すると共に、再生信号を2値化して後述する再生系のデコーダ71に供給する。
【0025】
サーボ制御回路56は、例えばフォーカスサーボ制御回路やトラッキングサーボ制御回路、スピンドルモータサーボ制御回路、スレッドサーボ制御回路等から構成される。上記フォーカスサーボ制御回路は、上記フォーカスエラー信号がゼロになるように、光学ヘッド53の光学系のフォーカス制御を行う。また、上記トラッキングサーボ制御回路は、上記トラッキングエラー信号がゼロになるように光学ヘッド53の光学系のトラッキング制御を行う。さらに上記スピンドルモータサーボ制御回路は、光磁気ディスク1を所定の回転速度(例えば一定線速度)で回転駆動するようにスピンドルモータ51を制御する。また、上記スレッドサーボ制御回路は、システムコントローラ57により指定される光磁気ディスク1の目的トラック位置に光学ヘッド53及び磁気ヘッド54を移動させる。このような各種制御動作を行うサーボ制御回路56は、該サーボ制御回路56により制御される各部の動作状態を示す情報をシステムコントローラ57に送る。
【0026】
システムコントローラ57にはキー入力操作部58や表示部59が接続されている。このシステムコントローラ57は、キー入力操作部58による操作入力情報により指定される動作モードで記録系及び再生系の制御を行う。またシステムコントローラ7は、光磁気デイスク1の記録トラックからヘッダータイムやサブコードのQデータ等により再生されるセクタ単位のアドレス情報に基づいて、光学ヘッド53及び磁気ヘッド54がトレースしている上記記録トラック上の記録位置や再生位置を管理する。さらにシステムコントローラ57は、データ圧縮率と上記記録トラック上の再生位置情報とに基づいて表示部59に再生時間を表示させる制御を行う。
【0027】
この再生時間表示は、光磁気ディスク1の記録トラックからいわゆるヘッダータイムやいわゆるサブコードQデータ等により再生されるセクタ単位のアドレス情報(絶対時間情報)に対し、データ圧縮率の逆数(例えば1/4圧縮のときには4)を乗算することにより、実際の時間情報を求め、これを表示部59に表示させるものである。なお、記録時においても、例えば光磁気ディスク等の記録トラックに予め絶対時間情報が記録されている(プリフォーマットされている)場合に、このプリフォーマットされた絶対時間情報を読み取ってデータ圧縮率の逆数を乗算することにより、現在位置を実際の記録時間で表示させることも可能である。
【0028】
次に、この光磁気ディスク記録再生装置の記録系において、入力端子60からのアナログオーディオ入力信号AINがローパスフィルタ61を介してA/D変換器62に供給され、このA/D変換器62は上記アナログオーディオ入力信号AINを量子化する。A/D変換器62から得られたディジタルオーディオ信号は、ATC(Adaptive Transform Coding)PCMエンコーダ63に供給される。また、入力端子67からのディジタルオーディオ入力信号DINがディジタル入力インターフェース回路68を介してATCエンコーダ63に供給される。ATCエンコーダ63は、上記入力信号AINを上記A/D変換器62により量子化した所定転送速度のディジタルオーディオPCMデータについて、ビット圧縮(データ圧縮)処理を行う。ここではその圧縮率を4倍として説明するが、本実施例はこの倍率には依存しない構成となっており、任意に選択することは可能である。
【0029】
次に、メモリ64は、データの書き込み及び読み出しがシステムコントローラ57により制御され、ATCエンコーダ63から供給されるATCデータを一時的に記憶しておき、必要に応じてディスク上に記録するためのバッファメモリとして用いられている。すなわち、例えばATCエンコーダ63から供給される圧縮オーディオデータは、そのデータ転送速度が、標準的なCD−DAフォーマットのデータ転送速度(75セクタ/秒)の1/4、すなわち18.75セクタ/秒に低減されており、この圧縮データがメモリ64に連続的に書き込まれる。この圧縮データ(ATCデータ)は、前述したように4セクタにつき1セクタの記録を行えば足りるが、このような4セクタおきの記録は事実上不可能に近いため、後述するようなセクタ連続の記録を行うようにしている。この記録は、休止期間を介して、所定の複数セクタ(例えば32セクタ+数セクタ)から成るクラスタを記録単位として、標準的なCD−DAフォーマットと同じデータ転送速度(75セクタ/秒)でバースト的に行われる。
【0030】
すなわちメモリ64においては、上記ビツト圧縮レートに応じた18.75(=75/4)セクタ/秒の低い転送速度で連続的に書き込まれたATCオーディオデータが、記録データとして上記75セクタ/秒の転送速度でバースト的に読み出される。この読み出されて記録されるデータについて、記録休止期間を含む全体的なデータ転送速度は、上記18.75セクタ/秒の低い速度となっているが、バースト的に行われる記録動作の時間内での瞬時的なデータ転送速度は上記標準的な75セクタ/秒となっている。従って、デイスク回転速度が標準的なCD−DAフォーマットと同じ速度(一定線速度)のとき、該CD−DAフォーマットと同じ記録密度、記憶パターンの記録が行われることになる。
【0031】
メモリ64から上記75セクタ/秒の(瞬時的な)転送速度でバースト的に読み出されたATCオーディオデータすなわち記録データは、エンコーダ65に供給される。ここで、メモリ64からエンコーダ65に供給されるデータ列において、1回の記録で連続記録される単位は、複数セクタ(例えば32セクタ)から成るクラスタ及び該クラスタの前後位置に配されたクラスタ接続用の数セクタとしている。このクラスタ接続用セクタは、エンコーダ65でのインターリーブ長より長く設定しており、インターリーブされても他のクラスタのデータに影響を与えないようにしている。
【0032】
エンコーダ65は、メモリ64から上述したようにバースト的に供給される記録データについて、エラー訂正のための符号化処理(パリティ付加及びインターリーブ処理)やEFM符号化処理などを施す。このエンコーダ65による符号化処理の施された記録データが磁気ヘッド駆動回路66に供給される。この磁気ヘッド駆動回路66は、磁気ヘッド54が接続されており、上記記録データに応じた変調磁界を光磁気ディスク1に印加するように磁気ヘッド54を駆動する。
【0033】
また、システムコントローラ57は、メモリ64に対する上述の如きメモリ制御を行うとともに、このメモリ制御によりメモリ64からバースト的に読み出される上記記録データを光磁気ディスク1の記録トラックに連続的に記録するように記録位置の制御を行う。この記録位置の制御は、システムコントローラ57によりメモリ64からバースト的に読み出される上記記録データの記録位置を管理して、光磁気ディスク1の記録トラック上の記録位置を指定する制御信号をサーボ制御回路56に供給することによって行われる。
【0034】
次に、この光磁気ディスク記録再生装置の再生系について説明する。
この再生系は、上述の記録系により光磁気ディスク1の記録トラック上に連続的に記録された記録データを再生するためのものであり、上記光学ヘッド53によって光磁気ディスク1の記録トラックをレーザ光でトレースすることにより得られる再生出力がRF回路55により2値化されて供給されるデコーダ71を備えている。この時、光磁気ディスク1のみではなく、いわゆるコンパクトディスク(CD:Compact Disc)と同じ再生専用光ディスクの読み出しも行うことができる。
【0035】
デコーダ71は、上述の記録系におけるエンコーダ65に対応するものであって、RF回路55により2値化された再生出力について、エラー訂正のための上述の如き復号化処理やEFM復号化処理などの処理を行いATCオーディオデータを、正規の転送速度よりも早い75セクタ/秒の転送速度で再生する。このデコーダ71により得られる再生データは、メモリ72に供給される。
【0036】
メモリ72は、データの書き込み及び読み出しがシステムコントローラ57により制御され、デコーダ71から75セクタ/秒の転送速度で供給される再生データがその75セクタ/秒の転送速度でバースト的に書き込まれる。また、このメモリ72は、上記75セクタ/秒の転送速度でバースト的に書き込まれた上記再生データが正規の転送速度18.75セクタ/秒で連続的に読み出される。
【0037】
システムコントローラ57は、再生データをメモリ72に75セクタ/秒の転送速度で書き込むとともに、メモリ72から上記再生データを上記18.75セクタ/秒の転送速度で連続的に読み出すようなメモリ制御を行う。また、システムコントローラ57は、メモリ72に対する上述の如きメモリ制御を行うとともに、このメモリ制御によりメモリ72からバースト的に書き込まれる上記再生データを光磁気ディスク1の記録トラックから連続的に再生するように再生位置の制御を行う。この再生位置の制御は、システムコントローラ57によりメモリ72からバースト的に読み出される上記再生データの再生位置を管理して、光磁気ディスク1もしくは光ディスク1の記録トラック上の再生位置を指定する制御信号をサーボ制御回路56に供給することによって行われる。
【0038】
メモリ72から18.75セクタ/秒の転送速度で連続的に読み出された再生データとして得られるATCオーディオデータは、ATCデコーダ73に供給される。このATCデコーダ73は、ATCオーディオデータを4倍にデータ伸張(ビット伸張)することで16ビツトのディジタルオーディオデータを再生する。このATCデコーダ73からのディジタルオーディオデータは、D/A変換器74に供給される。
【0039】
D/A変換器74は、ATCデコーダ73から供給されるディジタルオーディオデータをアナログ信号に変換して、アナログオーディオ出力信号AOUT を形成する。このD/A変換器74により得られるアナログオーディオ信号AOUT は、ローパスフィルタ75を介して出力端子76から出力される。
【0040】
次に、このディジタル信号処理装置の電源系について説明する。
電源制御回路3では、上述したそれぞれの回路において必要な電圧を発生し、安定させると共に、電池2の電圧の監視を行う。また、この電池2が、例えばニッケルカドミュウム電池のような充電可能な2次電池の場合には、この電池2を充電する際に外部電源端子4から入力される電流の管理も行う。システムコントローラ57は電源制御回路3からの情報を基に、電池残量の表示や容量不足の警告、あるいは電池交換時期の表示等を表示部59に表示する。さらに、電池残量あるいは電池2の種類に応じて、後述するパワーダウン検出回路における低消費電力モードの選択も行う。
【0041】
次に本実施例のディジタル信号処理装置に用いられる高能率圧縮符号化について詳述する。すなわち、オーディオPCM信号等の入力ディジタル信号を、帯域分割符号化(SBC)、適応変換符号化(ATC)及び適応ビット割当ての各技術を用いて高能率符号化する技術について、図2以降を参照しながら説明する。
【0042】
図2に示す具体的な高能率符号化装置では、入力ディジタル信号を複数の周波数帯域に分割すると共に、最低域の隣接した2帯域の帯域幅は同じで、より高い周波数帯域では高い周波数帯域ほどバンド幅を広く選定し、各周波数帯域毎に直交変換を行って得られた周波数軸のスペクトルデータを、低域では、後述する人間の聴覚特性を考慮したいわゆる臨界帯域幅(クリティカルバンド)毎に、中高域ではブロックフローティング効率を考慮して臨界帯域幅を細分化した帯域毎に、適応的にビット割当して符号化している。通常、このブロックが量子化雑音発生ブロックとなる。さらに、本発明実施例においては、直交変換の前に入力信号に応じて適応的にブロックサイズ(ブロック長)を変化させると共に、該ブロック単位でフローティング処理を行っている。
【0043】
即ち、図2において、入力端子10には例えばサンプリング周波数が44.1kHzの時、0〜22kHzのオーディオPCM信号が供給されている。この入力信号は、例えばいわゆるQMFフィルタ等の帯域分割フィルタ11により0〜11kHz帯域と11kHz〜22kHz帯域とに分割され、0〜11kHz帯域の信号は同じくいわゆるQMFフィルタ等の帯域分割フィルタ12により0〜5.5kHz帯域と5.5kHz〜11kHz帯域とに分割される。帯域分割フィルタ11からの11kHz〜22kHz帯域の信号は直交変換回路の一例であるMDCT回路13に送られ、帯域分割フィルタ12からの5.5kHz〜11kHz帯域の信号はMDCT回路14に送られ、帯域分割フィルタ12からの0〜5.5kHz帯域の信号はMDCT回路15に送られることにより、それぞれMDCT処理される。また、各帯域分割フィルタ11、12からのそれぞれの出力は、各帯域毎のパワーダウン検出回路31、32、33へ接続されている。
【0044】
ここで上述した入力ディジタル信号を複数の周波数帯域に分割する手法としては、例えばQMFフィルタがあり、1976 R.E.Crochiere Digital Coding of Speech in Subbands Bell Syst.Tech. J. Vol.55,No.8 1976に述べられている。また、ICASSP 83,Boston Polyphase Quadrature Filters−A New Subband CodingTechnique Joseph H. Rothweiler には、等バンド幅のフィルタ分割手法が述べられている。ここで、上述した直交変換としては、例えば入力オーディオ信号を所定単位時間(フレーム)でブロック化し、当該ブロック毎に高速フーリエ変換(FFT)、コサイン変換(DCT)、モディファイドDCT変換(MDCT)等を行うことで時間軸を周波数軸に変換するような直交変換がある。MDCTについてはICASSP 1987 Subband/Transform Coding Using Filter Bank Designs Based on Time Domain Aliasing Cancellation J.P.Princen A.B.Bradley Univ.of Surrey Royal Melbourne Inst. of Tech. に述べられている。
【0045】
次に、標準的な入力信号に対する各MDCT回路13、14、15に供給する各帯域毎のブロックについての具体例を図3に示す。この図3の具体例において、図2中の各帯域分割フィルタ11、12からの3つのフィルタ出力信号は、各帯域毎に独立に各々複数の直交変換ブロックサイズを持ち、信号の時間特性及び周波数分布等により時間分解能を切り換えられるようにしている。この信号が時間的に準定常的である場合には、直交変換ブロックサイズを図3の(a)のロングモードに示すように11.6mSと大きくし、信号が非定常的である場合にはこの直交変換ブロックサイズを更に2分割、4分割、・・・とする。例えば、直交変換ブロックサイズを図3の(b)のショートモードに示すように均等に4分割して2.9msとすることや、図3の(c)のミドルモードA及び(d)のミドルモードBに示すように一部を2分割して5.8msとし、残りの一部を4分割して2.9msとすることにより、複雑な信号に適応させることができる。また、信号処理装置の規模に応じて、さらに複雑な直交変換ブロックサイズの分割を行うことで、より効果的に直交変換を行うことが可能である。この直交変換ブロックサイズは、図2中の各ブロックサイズ決定回路19、20、21で決定されて各MDCT回路13、14、15に送られると共に、ブロックサイズ情報として出力端子28、29、30より出力される。
【0046】
次に、具体的なブロックサイズ決定回路を図4に示す。例えば図2中のブロックサイズ決定回路19を図4において具体的に示した場合、図2中の帯域分割フィルタ11からの出力信号のうちの11kHz〜22kHz帯域の出力信号は、図4の入力端子301を介してパワー算出回路304に送られ、図2中の帯域分割フィルタ12からの出力信号のうちの5.5kHz〜11kHz帯域の出力信号は図4の入力端子302を介してパワー算出回路305に送られ、0〜5.5kHz帯域の出力信号は図4の入力端子303を介してパワー算出回路306に送られる。ここで、図2中の各ブロックサイズ決定回路19、20、21を図4において具体的に示した場合、各入力端子301、302、303への入力信号の周波数帯域が各ブロックサイズ決定回路19、20、21において異なるのみで、各ブロックサイズ決定回路の動作は同様になる。また、各ブロックサイズ決定回路19、20、21におけるそれぞれの入力端子301、302、303はマトリクス構成となっており、具体的にはブロックサイズ決定回路20の入力端子301には図2の帯域分割フィルタ12の5.5kHz〜11kHz帯域からの出力信号が送られ、入力端子302には図2の帯域分割フィルタ12の0〜5.5kHz帯域からの出力信号が送られる。ブロックサイズ決定回路21についても、同様である。
【0047】
各パワー算出回路304、305、306では入力された時間波形を一定時間、積分することによって各周波数帯域のパワーを求めている。この際、積分する時間幅は上述の直交変換ブロックサイズのうち、最小時間ブロック以下である必要がある。また、上述の算出法以外の算出法により、例えば直交変換ブロックサイズの最小時間幅内の最大振幅の絶対値あるいは振幅の平均値を代表パワーとして用いることもある。パワー算出回路304からの出力信号は変化分抽出回路308及びパワー比較回路309に、パワー算出回路305、306からの出力信号はパワー比較回路309にそれぞれ送られる。変化分抽出回路308ではパワー算出回路304より送られたパワーの微係数を求め、このパワーの微係数をパワーの変化情報として、メモリ307及びブロックサイズ1次決定回路310へ送る。メモリ307では、変化分抽出回路308より送られたパワーの変化情報を上述の直交変換ブロックサイズの最大時間以上蓄積する。これは、時間的に隣接する直交変換ブロックが直交変換の際のウィンドウ処理により互いに影響を与え合うため、時間的に隣接する1つ前のブロックのパワー変化情報をブロックサイズ1次決定回路310において必要とするためである。
【0048】
ブロックサイズ1次決定回路310では変化分抽出回路308より送られたブロックのパワー変化情報と、メモリ307より送られた時間的に隣接するブロックの1つ前のブロックのパワー変化情報とに基づいて、周波数帯域内のパワーの時間的変位から周波数帯域の直交変換ブロックサイズを決定する。この際、一定以上の変位が認められた場合には、より時間的に短い直交変換ブロックサイズを選択するわけであるが、その変位点は固定であっても効果は得られる。さらに、周波数に比例した値、すなわち周波数が高い場合には大きな変位によって時間的に短いブロックサイズに決定され、周波数が低い場合には周波数が高い場合と比較して小さな変位で時間的に短いブロックサイズに決定されるほうが、より効果的である。この直交変換ブロックサイズの値はなめらかに変化することが望ましいが、複数段階の階段状の変化であっても構わない。以上のように決定された直交変換ブロックサイズはブロックサイズ修正回路311へ伝送される。
【0049】
一方、パワー比較回路309において、各パワー算出回路304、305、306より送られた各周波数帯域のパワー情報を同時刻及び時間軸上でマスキング効果の発生する時間幅で比較を行い、パワー算出回路304の出力周波数帯域に及ぼす他の周波数帯域の影響を求め、ブロックサイズ修正回路311へ送る。ブロックサイズ修正回路311では、パワー比較回路309より送られたマスキング情報及び各ディレイ312、313、314から送られた過去のブロックサイズ情報に基づいて、ブロックサイズ1次決定回路310より送られたブロックサイズをより時間的に長いブロックサイズを選択するように修正をかけ、ディレイ312及びウィンドウ形状決定回路317へ出力している。ブロックサイズ修正回路311における作用は、周波数帯域においてプリエコーが問題となる場合でも、他の周波数帯域、特に周波数帯域より低い帯域において大きな振幅を持つ信号が存在した場合、そのマスキング効果により、プリエコーが聴感上問題とならない、あるいは問題が軽減される場合があるという特性を利用している。
【0050】
なお、上記マスキングとは、人間の聴覚上の特性により、ある信号によって他の信号が遮蔽されて聞こえなくなる現象を示すものであり、このマスキング効果には、時間軸上のオーディオ信号による時間軸マスキング効果と、周波数軸上の信号による同時刻マスキング効果とがある。これらのマスキング効果により、マスキングされる部分にノイズがあったとしてもこのノイズは聞こえないことになる。このため、実際のオーディオ信号ではこのマスキングされる範囲内のノイズは許容可能なノイズとされる。
【0051】
次に、ディレイ群312、313、314では過去の直交変換ブロックサイズを順に記録しておき、各タップ、すなわち各ディレイ312、313、314からの出力信号によりブロックサイズ修正回路311へ出力している。同時に、ディレイ312からの出力信号は出力端子315へ、ディレイ312、313からの出力信号はウィンドウ形状決定回路317へ送られている。このディレイ群312、313、314からの出力信号は、ブロックサイズ修正回路311において、より長い時間幅でのブロックサイズの変化を該当ブロックのブロックサイズとして決定する際に役立てており、例えば、過去において、頻繁に時間的に短いブロックサイズが選択されている場合には時間的に短いブロックサイズの選択を増やし、時間的に短いブロックサイズの選択がされていない場合には時間的に長いブロックサイズの選択を増やす等の判断を可能としている。なお、ウィンドウ決定回路317及び出力端子315に必要な各ディレイ312、313を除いたそのディレイ群のタップ数は、装置の実際の構成及び規模等により増減させる場合もある。
【0052】
ウィンドウ形状決定回路317では、ブロックサイズ修正回路311からの出力、すなわち該当ブロックの時間的に隣接する1つ後のブロックサイズと、ディレイ312からの出力、すなわち該当ブロックのブロックサイズと、ディレイ313からの出力、すなわち該当ブロックの時間的隣接する1つ前のブロックサイズとに基づいて、図2の各MDCT回路13、14、15で用いられるウィンドウの形状を決定し、出力端子316へ出力する。図4の出力端子315からのブロックサイズ情報と、出力端子317からのウィンドウ形状情報とは、図2のブロックサイズ決定回路19、20、21からの出力として各部へ出力される。
【0053】
ここで、ウィンドウ形状決定回路317において決定されるウィンドウの形状について説明する。図5は時間的に隣接する直交変換ブロックの時間的長さの変化と直交変換時に用いるウィンドウ形状との関係を示す図であり、図5の(a)は上記直交変換ブロックのサイズがロングモードのみである場合を示し、図5の(b)は上記直交変換ブロックのサイズがロングモードとミドルモードAとである場合を示し、図5の(c)は上記直交変換ブロックのサイズがロングモードとショートモードとである場合を示す。図5の(a)から(c)の図中実線及び破線で示す隣接するブロックとウィンドウの形状との関係に示されるように、直交変換に使用されるウィンドウは時間的に隣接するブロックとブロックとの間で重複する部分がある。本実施例では、隣接するブロックの中心まで重複する形状を用いているため、隣接するブロックの直交変換サイズによりウィンドウの形状が変化する。
【0054】
図6には詳細な上記ウィンドウの形状を示す。図6においてウィンドウ関数f(n)、g(n+N)は
f(n)×f(L−1−n)=g(n)×g(L−1−n)・・・(1)
f(n)×f(n)+g(n)×g(n)=1・・・・・・・・・(2)
(0≦n≦L−1)
の(1)式及び(2)式を満たす関数として与えられる。
【0055】
この(1)式におけるLは変換ブロック長であり、この変換ブロック長には、隣接する変換ブロック長が同一である場合にはそのまま用いられ、隣接する変換ブロック長が異なる場合には、より短いほうの変換ブロック長が用いられる。より長い変換ブロック長をKとすると、ウィンドウが重複しない領域においては、f(n)=g(n)=1の場合には、
K≦n≦3K/2−L/2・・・・・(3)
f(n)=g(n)=0の場合には、
3K/2+L≦n≦2K・・・・・・(4)
として与えられる。このように、ウィンドウの重複部分をできる限り長く取ることにより、直交変換の際のスペクトルの周波数分解能を良好なものとしている。上述の説明から明らかなように、直交変換に用いられるウィンドウの形状は時間的に連続する3ブロック分の直交変換ブロックサイズが確定した後に決定される。従って、図4の入力端子301、302、303から入力される信号のブロックと出力端子315、317から出力される信号のブロックとには、1ブロック分の差異が生じる。
【0056】
ここで、図4中のパワー算出回路305、306及びパワー比較回路309を省略しても図2中のブロックサイズ決定回路19、20、21を構成することは可能である。さらに、ウィンドウの形状を直交変換ブロックサイズで時間的に最小のブロックサイズに固定することによって、そのウィンドウの形状の種類を1種類とし、図4中のディレイ群312、313、314、ブロックサイズ修正回路311及びウィンドウ形状決定回路317を省略して構成することも可能である。上述のような省略により遅延の少ない構成となり、特に、処理時間の遅延を好まない応用例においては有効に作用する。
【0057】
なお、本実施例では、上記プリエコーのマスキング状態を考慮するために、直交変換前の帯域分割をそのまま利用しているが、より多くの帯域に分割したり、独立した直交変換を用いてマスキングの計算を行うことにより、さらに良好な結果が得られる。さらには、上述のより長い時間を観察することによって得られる入力信号の周期的時間変化を、図4中のディレイ群312、313、314、すなわち過去のブロックの直交変換ブロックサイズを記憶することによって実現しているが、入力波形の特徴抽出に、圧縮過程とは別の直交変換を施したデータ、もしくは、より細かい周波数帯に分割したデータ等を用いることにより、さらに良好な結果が得られる。
【0058】
再び、図2において、各MDCT回路13、14、15でMDCT処理されて得られた周波数軸上のスペクトルデータ、もしくはMDCT係数データは、低域はいわゆる臨界帯域(クリティカルバンド)毎にまとめられて、中高域はブロックフローティングの有効性を考慮して臨界帯域幅を細分化して、適応ビット割当符号化回路22、23、24及びビット配分算出回路18に送られている。このクリティカルバンドとは、人間の聴覚特性を考慮して分割された周波数帯域であり、ある純音の周波数近傍の同じ強さの狭帯域バンドノイズによって当該純音がマスクされるときのそのノイズの持つ帯域のことである。このクリティカルバンドは、高域ほど帯域幅が広くなっており、上記0〜22kHzの全周波数帯域は例えば25のクリティカルバンドに分割されている。
【0059】
ビット配分算出回路18は、上記クリティカルバンド及びブロックフローティングを考慮して分割されたスペクトルデータに基づき、いわゆるマスキング効果等を考慮してクリティカルバンド及びブロックフローティングを考慮した各分割帯域毎のマスキング量を求め、さらに、このマスキング量とクリティカルバンド及びブロックフローティングを考慮した各分割帯域毎のエネルギあるいはピーク値等に基づいて、各帯域毎に割当ビット数を求め、この情報を適応ビット割当符号化回路22、23、24へ送る。適応ビット割当符号化回路22、23、24では、各帯域毎に割り当てられたビット数に応じて各スペクトルデータ(あるいはMDCT係数データ)を量子化するようにしている。このようにして符号化されたデータは、出力端子25、26、27を介して取り出される。
【0060】
次に、図7は上記ビット配分算出回路18の一具体例の概略構成を示すブロック回路図である。この図7において、入力端子701には、上記各MDCT回路13、14、15からの周波数軸上のスペクトルデータが供給されている。
【0061】
この周波数軸上の入力データは、帯域毎のエネルギ算出回路702に送られて、上記マスキング量とクリティカルバンド及びブロックフローティングを考慮した各分割帯域のエネルギが、例えば当該バンド内での各振幅値の総和を計算すること等により求められる。この各バンド毎のエネルギの代わりに、振幅値のピーク値、平均値等が用いられることもある。このエネルギ算出回路702からの出力として、例えば各バンドの総和値のスペクトルを図8の図中SBとして示している。ただし、この図8では、図示を簡略化するため、上記マスキング量とクリティカルバンド及びブロックフローティングを考慮した分割帯域数を12バンド(B1 〜B12)で表現している。
【0062】
ここで、上記スペクトルSBのいわゆるマスキングにおける影響を考慮するために、該スペクトルSBに所定の重み付け関数を掛けて加算するような畳込み(コンボリユーション)処理を施す。このため、上記帯域毎のエネルギ算出回路702の出力すなわち該スペクトルSBの各値は、畳込みフィルタ回路703に送られる。該畳込みフィルタ回路703は、例えば、入力データを順次遅延させる複数の遅延素子と、これら遅延素子からの出力にフィルタ係数(重み付け関数)を乗算する複数の乗算器(例えば各バンドに対応する25個の乗算器)と、各乗算器出力の総和をとる総和加算器とから構成されるものである。この畳込み処理により、図8の図中点線で示す部分の総和がとられる。
【0063】
ここで、上記畳込みフィルタ回路703の各乗算器の乗算係数(フィルタ係数)の一具体例を示すと、任意のバンドに対応する乗算器Mの係数を1とするとき、乗算器M−1で係数0.15を、乗算器M−2で係数0.0019を、乗算器M−3で係数0.0000086を、乗算器M+1で係数0.4を、乗算器M+2で係数0.06を、乗算器M+3で係数0.007を各遅延素子の出力に乗算することにより、上記スペクトルSBの畳込み処理が行われる。ただし、Mは1〜25の任意の整数である。
【0064】
次に、上記畳込みフィルタ回路703の出力は引算器704に送られる。該引算器704は、上記畳込んだ領域での後述する許容可能なノイズレベルに対応するレベルαを求めるものである。なお、当該許容可能なノイズレベル(許容ノイズレベル)に対応するレベルαは、後述するように、逆コンボリューション処理を行うことによって、クリティカルバンドの各バンド毎の許容ノイズレベルとなるようなレベルである。ここで、上記引算器704には、上記レベルαを求めるための許容関数(マスキングレベルを表現する関数)が供給される。この許容関数を増減させることで上記レベルαの制御を行っている。当該許容関数は、次に説明するような(n−ai)関数発生回路705から供給されているものである。
【0065】
すなわち、許容ノイズレベルに対応するレベルαは、クリティカルバンドのバンドの低域から順に与えられる番号をiとすると、次の(5)式で求めることができる。
α=S−(n−ai) ・・・(5)
この(5)式において、n,aは定数でa>0、Sは畳込み処理されたバークスペクトルの強度であり、(5)式中(n−ai)が許容関数となる。本実施例では、n=38、a=1としており、この時の音質劣化はなく、良好な符号化が行えた。
【0066】
このようにして、上記レベルαが求められ、このデータは、割算器706に伝送される。当該割算器706では、上記畳込みされた領域での上記レベルαを逆コンボリューションするためのものである。したがって、この逆コンボリューション処理を行うことにより、上記レベルαからマスキングスペクトルが得られるようになる。すなわち、このマスキングスペクトルが許容ノイズスペクトルとなる。なお、上記逆コンボリユーション処理は、複雑な演算を必要とするが、本実施例では簡略化した割算器706を用いて逆コンボリューションを行っている。
【0067】
次に、上記マスキングスペクトルは、合成回路707を介して減算器708に伝送される。ここで、当該減算器708には、上記帯域毎のエネルギ検出回路702からの出力、すなわち前述したスペクトルSBが、遅延回路709を介して供給されている。したがって、この減算器708で上記マスキングスペクトルとスペクトルSBとの減算演算が行われることで、図9示すように、上記スペクトルSBは、該マスキングスペクトルMSのレベルで示すレベル以下がマスキングされることになる。
【0068】
当該減算器708からの出力は、許容雑音補正回路710を介し、出力端子711を介して取り出され、例えば割当てビット数情報が予め記憶されたROM等(図示せず)に送られる。このROM等は、上記減算回路708から許容雑音補正回路710を介して得られた出力(上記各バンドのエネルギと上記ノイズレベル設定手段の出力との差分のレベル)に応じ、各バンド毎の割当ビット数情報を出力する。この割当ビット数情報が図2中の各適応ビット割当符号化回路22、23、24に送られることで、図2中の各MDCT回路13、14、15からの周波数軸上の各スペクトルデータがそれぞれのバンド毎に割り当てられたビット数で量子化されるわけである。
【0069】
すなわち要約すれば、図2中の適応ビット割当符号化回路22、23、24では、上記マスキング量とクリティカルバンド及びブロックフローティングを考慮した各分割帯域のエネルギと上記ノイズレベル設定手段の出力との差分のレベルに応じて割当てられたビット数で上記各バンド毎のスペクトルデータを量子化することになる。なお、遅延回路709は上記合成回路707以前の各回路での遅延量を考慮してエネルギ検出回路702からのスペクトルSBを遅延させるために設けられている。
【0070】
ところで、上述した合成回路707での合成の際には、最小可聴カーブ発生回路712から供給される図10に示すような人間の聴覚特性であるいわゆる最小可聴カーブRCを示すデータと、上記マスキングスペクトルMSとを合成することができる。この最小可聴カーブにおいて、雑音絶対レベルがこの最小可聴カーブ以下ならば該雑音は聞こえないことになる。この最小可聴カーブは、コーディングが同じであっても例えば再生時の再生ボリユームの違いで異なるものとなり、現実的なディジタルシステムでは、例えば16ビットダイナミックレンジへの音楽のはいり方にはさほど違いがないので、例えば4kHz付近の最も耳に聞こえやすい周波数帯域の量子化雑音が聞こえないとすれば、他の周波数帯域ではこの最小可聴カーブのレベル以下の量子化雑音は聞こえないと考えられる。
【0071】
したがって、このように例えばシステムの持つワードレングスの4kHz付近の雑音が聞こえない使い方をすると仮定し、この最小可聴カーブRCとマスキングスペクトルMSとを共に合成することで許容ノイズレベルを得るようにすると、この場合の許容ノイズレベルは、図10中の斜線で示す部分までとすることができるようになる。なお、本実施例では、上記最小可聴カーブの4kHzのレベルを、例えば20ビット相当の最低レベルに合わせている。また、この図10は、信号スペクトルSSも同時に示している。
【0072】
また、上記許容雑音補正回路710では、補正情報出力回路713から送られてくる例えば等ラウドネスカーブの情報に基づいて、上記減算器708からの出力における許容雑音レベルを補正している。ここで、等ラウドネスカーブとは、人間の聴覚特性に関する特性曲線であり、例えば1kHzの純音と同じ大きさに聞こえる各周波数での音の音圧を求めて曲線で結んだもので、ラウドネスの等感度曲線とも呼ばれる。またこの等ラウドネス曲線は、図10に示した最小可聴カーブRCと略同じ曲線を描くものである。この等ラウドネス曲線においては、例えば4kHz付近では1kHzのところより音圧が8〜10dB下がっても1kHzと同じ大きさに聞こえ、逆に、50Hz付近では1kHzでの音圧よりも約15dB高くないと同じ大きさに聞こえない。このため、上記最小可聴カーブのレベルを越えた雑音(許容ノイズレベル)は、該等ラウドネス曲線に応じたカーブで与えられる周波数特性を持つようにするのが良いことがわかる。このようなことから、上記等ラウドネス曲線を考慮して上記許容ノイズレベルを補正することは、人間の聴覚特性に適合していることがわかる。
【0073】
ここで、補正情報出力回路713として、上記適応ビット割当符号化回路22、23、24での量子化の際の出力情報量(データ量)の検出出力と、最終符号化データのビットレート目標値との間の誤差の情報に基づいて、上記許容ノイズレベルを補正するようにしてもよい。これは、全てのビット割当単位ブロックに対して予め一時的な適応ビット割当を行って得られた総ビット数が、最終的な符号化出力データのビットレートによって定まる一定のビット数(目標値)に対して誤差を持つことがあり、その誤差分を0とするように再度ビット割当をするものである。すなわち、当該目標値よりも総割当ビット数が少ないときには、差のビット数を各単位ブロックに割り振って付加するようにし、目標値よりも総割当ビット数が多いときには、差のビット数を各単位ブロックに割り振って削るようにするわけである。
【0074】
このようなことを行うため、上記総割当ビット数の上記目標値からの誤差を検出し、この誤差データに応じて補正情報出力回路713が各割当ビット数を補正するための補正データを出力する。ここで、上記誤差データがビット数不足を示す場合は、上記単位ブロック当たり多くのビット数が使われることで上記データ量が上記目標値よりも多くなっている場合を考えることができる。また、上記誤差データが、ビット数余りを示すデータとなる場合は、上記単位ブロック当たり少ないビット数で済み、上記データ量が上記目標値よりも少なくなっている場合を考えることができる。したがって、上記補正情報出力回路713からは、この誤差データに応じて、上記減算器708からの出力における許容ノイズレベルを、例えば上記等ラウドネス曲線の情報データに基づいて補正させるための上記補正値のデータが出力されるようになる。上述のような補正値が、上記許容雑音補正回路710に伝送されることで、上記減算器708からの許容ノイズレベルが補正されるようになる。以上説明したようなシステムでは、メイン情報として直交変換出力スペクトルをサブ情報により処理したデータと、サブ情報としてブロックフローティングの状態を示すスケールファクタ及び語長を示すワードレングスが得られ、エンコーダからデコーダに送られる。
【0075】
一方、図2中の帯域分割フィルタ11、12からの出力である0〜5.5kHz帯域の時間軸上の信号はパワーダウン検出回路33へ、5.5kHz〜11kHz帯域の信号はパワーダウン回路32へ、11kHz〜22kHz帯域の信号はパワーダウン検出回路31へそれぞれ入力されている。さらに、入力端子34を介した直交変換ブロックに同期した信号、すなわち実施例においては周期11.6msのパルス信号及び入力端子35を介した図1中のシステムコントローラ57からのパワーダウンモードのための制御信号が、各パワーダウン検出回路31、32、33に入力されている。パワーダウン検出回路31、32、33では、圧縮の過程において必要とされる圧縮処理時間を上記帯域の入力信号から予め算出し、この圧縮処理に許される最大時間より充分に早く圧縮処理が終了する場合には、各処理回路、すなわちMDCT回路13、14、15と、ブロック決定回路19、20、21と、適応ビット割当符号化回路22、23、24等とに、上記パワーダウンモードに合致するパワーダウン信号を出力する。
【0076】
上記各処理回路では、上記圧縮処理を行う間に当該パワーダウン信号が入力されており、上記圧縮処理を行った後にパワーダウンモードモードへ移行する。例えば、入力信号の値が0の場合、すべての処理結果の値は0となることから、実際の処理をせずに各処理回路では強制的に0を出力して、パワーダウンモードへ移行する。この後、パワーダウン決定回路31、32、33では、入力端子34からのブロック同期信号によって次の信号処理を検出し、各処理回路のパワーダウンモードの解除信号を出力する。
【0077】
図11は図2におけるパワーダウン検出回路31、32、33の詳細なブロック図であり、図12は図11における各回路の動作及び入出力波形の時間的タイミングを示したタイミングチャートを示す図である。処理時間算出回路204では、入力端子201からの信号を用いて信号処理時間を算出する。この算出された信号処理時間が信号処理に許される最大時間より充分に早い場合には、入力端子203を介してパワーダウン決定回路206に伝送されているパワーダウン制御信号が、パワーダウン出力制御回路207に送られる。このパワーダウン出力制御回路207では、上記パワーダウン制御信号とタイマ回路205からのパワーダウン解除信号とにより、各処理回路へ送るパワーダウン信号を生成し、出力端子208より各処理回路へ出力する。
【0078】
入力端子201には、図2中の帯域分割フィルタ11、12からの出力、すなわち各帯域に分割された時間軸上の波形が入力され、処理時間算出回路204へ伝送されている。また、入力端子202には、図2中の入力端子34から図12の(a)に示すブロック同期信号が入力され、タイマ回路205へ伝送される。処理時間算出回路204では、入力端子201からの時間軸上の波形を用いて圧縮に必要とする圧縮処理時間の算出を行い、パワーダウン決定回路206へ伝送する。
【0079】
ここで、図12の(c)に示す処理時間算出回路204からの算出された圧縮処理時間である算出処理時間Tbと、処理ブロックの時間長T、すなわち本実施例では11.6msとを比較して、消費電力を低減することができる場合の条件を求める。上記ブロック同期信号に基づいて各処理ブロック毎にパワーダウンモードを解除するためのパワーダウン解除信号をTa、圧縮処理後の余裕時間をTcとすると、消費電力を低減することができる場合の上記処理時間の関係は以下のようになる。
【0080】
Ta−Tb=Tc>0 ・・・・・・(6)
【0081】
上記パワーダウン決定回路206には、図1中のシステムコントローラ57が決定したパワーダウンモードに合致したパワーダウン制御信号が、入力端子203を介して伝送されており、(6)式に示す条件が成立する場合には、上記パワーダウン制御信号がパワーダウン決定回路206からパワーダウン出力制御回路207へ出力される。
【0082】
本実施例における圧縮処理では、直交変換、適応ビット割当及び符号化が行われるが、入力信号によっては、全ての処理が必要な訳ではない。例えば、入力信号が0の場合はすべての処理を省略することが可能であり、また、入力信号のエネルギが小さい場合には、上記直交変換と符号化は必要であるが、適応ビット割当は圧縮率に応じて省略することが可能となる。さらに、入力信号が極めて小さい場合には、圧縮処理を中止して、特定パターンのコード又はゼロコードの一方、もしくは両方を圧縮結果として出力しても実質的な弊害は少ない。上述のような圧縮処理の一部、もしくは全体を省略することにより、各処理回路毎にパワーダウンモードの設定及び制御を行うことができる。
【0083】
上記パワーダウンモードには、所定の動作を通常速度で処理した後、図12の(e)に示すように圧縮処理後の余裕時間Tcの間に回路機能を停止する間欠動作モードと、図12の(f)に示すように処理回路の動作速度を低下させる低速処理モード、及び特定パターンのコードを出力する出力コード置換モードがある。これらのパワーダウンモード内のどのモードを用いるかの決定は、図1中のシステムコントローラ57が電源制御回路3からの情報に基づいて行うが、装置及び入力信号の性質等に応じて、常に固定した動作モードを用いても問題はない。また、処理時間算出回路204及びパワーダウン決定回路206において、入力信号に適応したパワーダウンモードを選択すれば、より良好な結果が得られる。
【0084】
タイマ回路205では、入力端子202から入力されたブロック同期信号をトリガにして次の処理ブロックの開始のための図12の(b)に示すパワーダウン解除信号Taを生成し、パワーダウン出力制御回路207へ送る。このパワーダウン解除信号Taは、各処理回路においてパワーダウン信号が発生されてからパワーダウンモード状態にある時間であり、各処理回路がパワーダウンモードから通常の動作モードに移行するための時間分だけ処理ブロック時間長Tより短くなっている。ここで、それぞれの処理回路について、独立してこのパワーダウン解除信号Taを生成するように回路を構成すれば、より効果的である。
【0085】
パワーダウン出力制御回路207では、パワーダウン決定回路206より送られたパワーダウンモード情報とタイマ回路205より送られたパワーダウン解除信号Taとによって、図12の(d)に示すような各処理回路へ送るパワーダウン信号を生成し、出力端子208より出力する。このパワーダウン信号の時間は、パワーダウン解除信号Taからパワーダウン検出回路による遅延時間Tdを減じた時間、すなわちパワーダウン信号出力時間Teとなる。また、間欠動作モードでの処理休止時間及び出力コード置換モードでの置換期間Tfは、パワーダウン解除信号Taから算出処理時間Tbを減じた値となる。一方、低速処理期間Tgは、上記パワーダウン信号出力時間Teと同じ時間となる。
【0086】
図2中のパワーダウン検出回路31、32、33は各周波数帯域毎に独立して作用するため、例えば、1kHzの正弦波入力のような特定の帯域のみの入力の際や、無音部分が多く含まれる入力信号、例えば会話等の音声信号の入力の際には、特に有効に作用する。本実施例では、上述したような間欠動作モードと低速処理モードの2つのモード状態によるパワーダウンモードを設定しているが、この2つのモード状態を併用、あるいは切り替えて実施しても良好な結果が得られる。この場合、電源の特性に合わせた制御方法、すなわち、短時間の大電流負荷に強い電源の場合には間欠動作モードにおいて、また、一定電流の負荷に強い電源の場合には低速処理モードにおいてパワーダウンモードを用いれば、より効果的である。さらに、電池の電荷の残量に応じて、上述した2つのモード状態を選択、もしくは併用することによっても効果が増大する。
【0087】
また、図2中に示す高能率符号化装置全体をDigital Signal Processor(DSP)を用いて構成することにより、より実用的になる。図13は高能率符号化装置をDSPで構成した場合の概略構成を示すブロック図である。図2中に示す高能率符号化装置を図13に示すDSPで実現する場合、図2中の入力端子10、35からの入力信号と、出力端子25、26、27、28、29、30からの出力信号とは、図13におけるデータ入出力端子122を介してデータI/Oコントローラ130に伝送され、当該データI/Oコントローラ130はデーターバスA、Bを介してデータメモリ135と信号の授受を行う。また、図2中の入力端子34からのブロック同期信号は、図13中の割り込み入力端子125より、割り込み処理信号としてプログラム割り込みコントローラ133に入力され、この割り込み処理信号は、データバスA、Bを介してデータI/Oコントローラ130、プログラムデコードコントローラ131、プログラムアドレスコントローラ132、データALU134、データメモリ135、プログラムメモリ136に送受信される。
【0088】
当該DSPのメインクロック信号は、クロック信号発生器128により生成されて入出力端子124から送受信される。また、上記データ信号は、外部データバス切換回路127による切り換えによって入出力端子123より入出力され、アドレス発生回路129より発生されるアドレス信号は、アドレスバスA、Bを介してデータメモリ135、プログラムメモリ136に伝送され、アドレスバス切換回路126による切り換えによって入出力端子121より入出力される。
【0089】
このDSPを用いてパワーダウンモードへの移行及び解除を行う場合、図11におけるパワーダウン決定回路206によるパワーダウンモードへの移行の制御もプログラムメモリ136内のプログラムで制御するため、DSP自体がこのプログラムによりパワーダウンモードへと移行した後、割り込み入力端子125から入力されるブロック同期信号の立ち上がりでパワーダウンモードを解除することになる。
【0090】
図14は図1におけるATCデコーダ73、すなわち上述のように高能率符号化された信号を再び複合化するための復号化回路の概略構成を示している。各帯域の量子化されたMDCT係数である図2中の出力端子25、26、27からの出力信号は入力端子152、154、156を介して復号回路146、147、148に伝送され、図2中の出力端子28、29、30からの出力信号である使用されたブロックサイズ情報等のサブ情報のデータは入力端子153、155、157を介して復号回路146、147、148及びIMDCT143、144、145に伝送される。この復号回路146、147、148では、適応ビット割当情報を用いてビット割当が解除され、IMDCT回路143、144、145では上記復号回路146、147、148からの出力と上記サブ情報のデータによりMDCT処理とは逆の処理(IMDCT処理)を行い、周波数軸上の信号が時間軸上の信号に変換される。上記IMDCT回路143からの部分帯域の時間軸上の信号は、前記帯域分割フィルタ11と逆の処理を行う帯域合成フィルタ(IQMF)回路141に送られる。また、上記IMDCT回路144、145からの部分帯域の時間軸上の信号は、前記帯域分割フィルタ12と逆の処理を行う帯域合成フィルタ(IQMF)回路142に送られた後、上記帯域合成フィルタ回路141に送られる。上記帯域合成フィルタ回路141において、各帯域に分割された信号が全帯域信号に合成されてディジタルオーディオ信号が得られ、このオーディオ信号は出力端子140より出力される。
【0091】
なお、本発明は上記実施例のみに限定されるものではなく、例えば、上記の記録再生媒体(光磁気ディスク1)と信号圧縮装置あるいは伸張装置とは一体化されている必要はなく、その間をデータ転送用回線等で結ぶ事も可能である。さらに、例えば、オーディオPCM信号のみならず、ディジタル音声(スピーチ)信号やディジタルビデオ信号等の信号処理装置にも適用可能である。
【0092】
また、上述した最小可聴カーブの合成処理を行わない構成としてもよい。この場合には、図7の最小可聴カーブ発生回路712、合成回路707が不要となり、上記引算器704からの出力は、割算器706で逆コンボリューションされた後、直ちに減算器708に伝送されることになる。
【0093】
さらに、ビット配分手法は多種多様であり、最も簡単には固定のビット配分もしくは信号の各帯域エネルギーによる簡単なビット配分もしくは固定分と可変分を組み合わせたビット配分など使うことができる。
【0094】
【発明の効果】
以上の説明からも明らかなように、本発明のディジタル信号処理装置によれば、ディジタル信号の圧縮又は伸長処理を行う処理回路における処理の余裕時間に、当該処理回路の一部又は全体を休止することや、入力信号に適応して圧縮処理を行う際に、処理に必要な時間を算出し、余裕時間が無くなるように処理回路の一部又は全体の動作速度を低下させることや、入力信号に適応して、圧縮処理の一部又は全体を省略及び/又は簡易化することにより、ディジタル信号処理装置の消費電力を低減することができる。これにより、信号処理装置に搭載する電源を小型で軽量で安価にすることができるため、信号処理装置全体を小型で安価にすることができる。また、当該ディジタル信号処理装置を電池により動作させる場合には、従来の信号処理装置より長時間動作が可能な信号処理装置として安価に構成することが出来る。
【図面の簡単な説明】
【図1】本発明に係るディジタル信号処理装置の概略構成を示すブロック回路図である。
【図2】本実施例のビットレート圧縮符号化に使用可能な高能率圧縮符号化エンコーダの一具体例を示すブロック回路図である。
【図3】ビット圧縮の際の直交変換ブロックの構造を表す図である。
【図4】直交変換ブロックサイズ決定回路の概略構成を示すブロック回路図である。
【図5】時間的に隣接する直交変換ブロックの時間的長さの変化と直交変換時に用いるウィンドウ形状との関係を示す図である。
【図6】直交変換時に用いるウィンドウの形状を具体的に示す図である。
【図7】ビット配分演算回路の機能を具体化するブロック回路図である。
【図8】各臨界帯域及びブロックフローティングを考慮して分割された帯域のスペクトルを示す図である。
【図9】マスキングスペクトルを示す図である。
【図10】最小可聴カーブ、マスキングスペクトルを合成した図である。
【図11】パワーダウン検出回路の機能を具体化するブロック回路図である。
【図12】パワーダウン検出回路による各信号のタイミングを示す図である。
【図13】本実施例の高能率圧縮符号化装置をDSPを用いて構成した場合の概略構成を示す図である。
【図14】本実施例のビットレート圧縮符号化に使用可能な高能率圧縮符号化デコーダの一具体例を示すブロック回路図である。
【符号の説明】
1・・・・・・・・・・・・光磁気ディスク
2・・・・・・・・・・・・電池
3・・・・・・・・・・・・電源制御回路
11、12・・・・・・・・帯域分割フィルタ(QMF)
13、14、15・・・・・直交変換回路(MDCT)
18・・・・・・・・・・・ビット配分算出回路
19、20、21・・・・・ブロックサイズ決定回路
22、23、24・・・・・適応ビット割当符号化回路
31、32、33・・・・・パワーダウン検出回路
53・・・・・・・・・・・光学ヘッド
54・・・・・・・・・・・磁気ヘッド
56・・・・・・・・・・・サーボ制御回路
57・・・・・・・・・・・システムコントローラ
61、75・・・・・・・・LPF
62、83・・・・・・・・A/D変換器
63・・・・・・・・・・・ATCエンコーダ
64、72、85・・・・・メモリ
65・・・・・・・・・・・エンコーダ
66・・・・・・・・・・・磁気ヘッド駆動回路
71・・・・・・・・・・・デコーダ
73・・・・・・・・・・・ATCデコーダ
74・・・・・・・・・・・D/A変換器
146、147、148・・復号化回路
141、142・・・・・・帯域合成フィルタ(IQMF)
143、144、145・・逆直交変換回路(IMDCT)
204・・・・・・・・・・処理時間算出回路
205・・・・・・・・・・タイマ回路
206・・・・・・・・・・パワーダウン決定回路
207・・・・・・・・・・パワーダウン出力制御回路
304、305、306・・パワー算出回路
307・・・・・・・・・・メモリ
308・・・・・・・・・・変化分抽出回路
309・・・・・・・・・・パワー比較回路
310・・・・・・・・・・ブロックサイズ1次決定回路
311・・・・・・・・・・ブロックサイズ修正回路
312、313、314・・ディレイ回路
317・・・・・・・・・・ウィンドウ形状決定回路
702・・・・・・・・・・帯域毎のエネルギ算出回路
703・・・・・・・・・・畳込みフィルタ回路
707・・・・・・・・・・合成回路
708・・・・・・・・・・減算器
710・・・・・・・・・・許容雑音補正回路
712・・・・・・・・・・最小可聴カーブ発生回路
713・・・・・・・・・・補正情報出力回路

Claims (8)

  1. ディジタル信号を情報圧縮して記録又は圧縮されたデータを伸張して再生するディジタル信号処理装置において、
    ディジタル信号の圧縮又は伸張処理を行う処理回路において実際の圧縮又は伸張処理を行った後、余裕時間が発生した場合に、当該処理回路の一部又は全体を休止することによって、装置の消費電力を低減することを特徴とするディジタル信号処理装置。
  2. 実際の圧縮又は伸張処理を行う前に、予め処理時間及び/又は余裕時間を算出し、その余裕時間に処理回路の一部又は全体を休止することによって、装置の消費電力を低減することを特徴とする請求項1記載のディジタル信号処理装置。
  3. ディジタル信号を情報圧縮して記録するディジタル信号処理装置において、
    入力信号に適応して圧縮処理を行う際に、この圧縮処理に必要な時間を算出し、余裕時間が無くなるように処理回路の一部又は全体の動作速度を低下させることを特徴とするディジタル信号処理装置。
  4. 請求項1、2、3記載のディジタル信号処理装置の機能を合わせもち、
    消費電力を低減する各機能を合わせる割合を、固定或いは入力信号に適応した割合で併用、或いは単独で使用する
    ことを特徴とするディジタル信号処理装置。
  5. 装置の主電源が電池で構成されており、その電池の種類、負荷特性、残容量に応じて上記消費電力を低減する各機能を選択又は選択して併用することを特徴とする請求項4記載のディジタル信号処理装置。
  6. ディジタル信号を情報圧縮して記録するディジタル信号処理装置において、
    ディジタル信号の圧縮を行う処理回路における実際の圧縮又は伸張処理を行った後、余裕時間が発生した場合に、当該処理回路の一部又は全体を休止することによって、当該装置の消費電力を低減する
    ことを特徴とするディジタル信号処理装置。
  7. 入力信号に適応して圧縮の処理ブロックの長さを可変とすると共に、処理ブロックの入力信号の変化及びその他の処理ブロックの入力信号の変化、及び/又はパワー、或いはエネルギ又はピーク情報を基に、当該処理ブロックの長さを決定することを特徴とする請求項6記載のディジタル信号処理装置。
  8. 処理ブロックの入力信号の変化及び時間的に処理ブロックの最大より長い時間幅の入力信号により得られる入力信号の変化情報を基に、当該処理ブロックの長さを可変とすることを特徴とする請求項6記載のディジタル信号処理装置。
JP05212593A 1993-03-12 1993-03-12 ディジタル信号処理装置 Expired - Fee Related JP3561923B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05212593A JP3561923B2 (ja) 1993-03-12 1993-03-12 ディジタル信号処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05212593A JP3561923B2 (ja) 1993-03-12 1993-03-12 ディジタル信号処理装置

Publications (2)

Publication Number Publication Date
JPH06268610A JPH06268610A (ja) 1994-09-22
JP3561923B2 true JP3561923B2 (ja) 2004-09-08

Family

ID=12906162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05212593A Expired - Fee Related JP3561923B2 (ja) 1993-03-12 1993-03-12 ディジタル信号処理装置

Country Status (1)

Country Link
JP (1) JP3561923B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000341222A (ja) * 1999-05-27 2000-12-08 Sony Corp 通信端末およびホスト装置
KR20030017176A (ko) * 2001-08-24 2003-03-03 실리샌드 주식회사 디에스피를 이용한 엠에프시디 재생 기록 시스템

Also Published As

Publication number Publication date
JPH06268610A (ja) 1994-09-22

Similar Documents

Publication Publication Date Title
KR100268623B1 (ko) 압축 데이타 기록 재생 장치 및 신호 처리 방법
JP3123286B2 (ja) ディジタル信号処理装置又は方法、及び記録媒体
JP3186307B2 (ja) 圧縮データ記録装置及び方法
KR100276788B1 (ko) 디지탈 신호 처리 장치와 방법 및 기록 매체
JP3173218B2 (ja) 圧縮データ記録方法及び装置、圧縮データ再生方法、並びに記録媒体
JP3123290B2 (ja) 圧縮データ記録装置及び方法、圧縮データ再生方法、記録媒体
JP3531177B2 (ja) 圧縮データ記録装置及び方法、圧縮データ再生方法
JP3200851B2 (ja) ディジタル信号処理装置,ディジタル信号処理方法及びデータ記録媒体
US5608713A (en) Bit allocation of digital audio signal blocks by non-linear processing
JP3175446B2 (ja) 情報圧縮方法及び装置、圧縮情報伸張方法及び装置、圧縮情報記録/伝送装置、圧縮情報再生装置、圧縮情報受信装置、並びに記録媒体
JP3185415B2 (ja) 圧縮データ再生記録装置及び方法
JP4470304B2 (ja) 圧縮データ記録装置、記録方法、圧縮データ記録再生装置、記録再生方法および記録媒体
JP3561923B2 (ja) ディジタル信号処理装置
JP3334374B2 (ja) ディジタル信号圧縮方法及び装置
JP3175456B2 (ja) ディジタル信号処理装置
JP3186489B2 (ja) ディジタル信号処理方法及び装置
JP3304717B2 (ja) ディジタル信号圧縮方法及び装置
JP3334375B2 (ja) ディジタル信号圧縮方法及び装置
JP3477735B2 (ja) 圧縮データ変換装置及び方法
JP3064522B2 (ja) 信号処理方法及び圧縮データ記録再生装置
JP3084815B2 (ja) データ記録方法及び装置
JP3134368B2 (ja) 圧縮データ記録再生装置
JP3277880B2 (ja) データダビング装置
JP3552239B2 (ja) 圧縮データ記録装置及び方法、並びに圧縮データ再生方法
JPH07231259A (ja) ディジタル信号処理方法及び装置、並びに記録媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040524

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080611

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120611

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees