JP4429316B2 - 時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号のドメイン変換を実行する装置及び媒体 - Google Patents

時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号のドメイン変換を実行する装置及び媒体 Download PDF

Info

Publication number
JP4429316B2
JP4429316B2 JP2006532242A JP2006532242A JP4429316B2 JP 4429316 B2 JP4429316 B2 JP 4429316B2 JP 2006532242 A JP2006532242 A JP 2006532242A JP 2006532242 A JP2006532242 A JP 2006532242A JP 4429316 B2 JP4429316 B2 JP 4429316B2
Authority
JP
Japan
Prior art keywords
domain
matrix
lift
receive
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006532242A
Other languages
English (en)
Other versions
JP2007507789A5 (ja
JP2007507789A (ja
Inventor
ハイビン ファン,
シャオ リン,
スザント ラハルジャ,
ロンシャン ユー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agency for Science Technology and Research Singapore
Original Assignee
Agency for Science Technology and Research Singapore
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agency for Science Technology and Research Singapore filed Critical Agency for Science Technology and Research Singapore
Publication of JP2007507789A publication Critical patent/JP2007507789A/ja
Publication of JP2007507789A5 publication Critical patent/JP2007507789A5/ja
Application granted granted Critical
Publication of JP4429316B2 publication Critical patent/JP4429316B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141Discrete Fourier transforms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/148Wavelet transforms
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Discrete Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Complex Calculations (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

関連出願へのクロスレファレンス
本出願は、2003年9月29日に出願された米国プロビジョナル特許出願第60/507,210号、及び2003年9月29に出願された米国プロビジョナル特許出願第60/507,440号の優先権の利益を請求するもので、これら各々の内容は、その全体を全ての目的で参考としてここに援用する。
更に、以下の共通に所有する特許出願は、本出願と同日に出願されたもので、その全体をここに援用する。
「Methodfor Transforming a Digital Signal from the Time Domain into the FrequencyDomain and Vice Versa」、代理人ドケット第P100444号;及び
「Processand Device for Determining a Transforming Element for a Given TransformationFunction, Method and Device for Transforming a Digital Signal from the TimeDomain into the Frequency Domain and Vice Versa and Computer Readable Medium」、代理人ドケット第P100452号。
背景
本発明は、一般に、デジタル信号処理に係り、より詳細には、デジタルフォーマットされた信号のドメイン変換を実行するシステム及び方法に係る。
ドメイン変換、例えば、離散的コサイン変換(DCT)は、近代的な信号処理産業において広く使用されている。近年、DCTの変形で、整数DCTと称されるものが、ロスのないコード化アプリケーションにおいて重要な役割を果たすことから、多大な研究上の関心を集めている。「ロスのない」という語は、デコーダが、エンコードされたビットストリームからソース信号の厳密なコピーを発生できることを意味する。
DCTは、実数値型ブロック変換である。入力ブロックが整数のみで構成されても、DCTの出力ブロックは、非整数成分を含み得る。便宜上、入力ブロックは、入力ベクトルと称され、出力ブロックは、出力ベクトルと称される。ベクトルが整数成分しか含まない場合には、それが整数ベクトルと称される。DCTとは対照的に、整数DCTは、整数入力ベクトルから整数出力ベクトルを発生する。同じ整数入力ベクトルに対して、整数DCTの整数出力ベクトルは、DCTの実数出力ベクトルを厳密に近似する。従って、整数DCTは、スペクトル分析においてDCTの全ての良好なプロパティを保持する。
整数DCTの重要なプロパティは、可逆性である。可逆性とは、整数逆DCT(IDCT)が存在し、整数DCTが入力ベクトルから出力ベクトルを発生する場合に、整数IDCTがベクトルからベクトルを回復できることを意味する。時々、整数DCTは、順方向変換とも称され、一方、整数IDCTは、逆方向又は逆変換とも称される。
整数変更型離散的コサイン変換(IntMDCT)と称される変換が近年提案されて、ISO/IEC MPEG−4オーディオ圧縮に使用されている。このIntMDCTは、そのプロパティ、即ち変更型離散的コサイン変換(MDCT)から導出することができる。「Signal Processing with Lapped Transforms」、Artech House、1992年におけるH. S. Malvar著の開示は、ギブンズ(Givens)回転の列をDCT−IVブロックと共にカスケード構成とすることでMDCTの効率的な実現を与える。ギブンズ回転は、整数対整数のマッピングを行うための3つのリフトステップへと因数分解できることが良く知られている。例えば、R. Geiger, T. Sporer, J. Koller, K. Brandenburg著の「Audio Coding based onInteger Transforms」、AES第111回コンベンション、米国、ニューヨーク、2001年9月、を参照されたい。整数変換は、各ギブンズ回転を3つのリフトステップに置き換えることによりそれらのプロートタイプから直接コンバートすることができる。各リフトステップには1つの丸め演算があるので、整数変換の全丸め回数は、プロートタイプ変換のギブンズ回転回数の3倍である。離散的三角法変換(例えば、離散的フーリエ変換(DFT)又は離散的コサイン変換(DCT))の場合に、それに伴うギブンズ回転の回数は、通常、NlogNレベルにあり、ここで、Nは、ブロックのサイズであり、即ちデジタル信号が分割される各ブロックに含まれるデータ記号の量である。従って、全丸め回数も、直接コンバートされる整数変換のファミリーに対して、NlogNレベルにある。丸めのために、整数変換は、そのフローティングポイントプロートタイプしか近似しない。丸めの回数と共に近似エラーが増加する。
それ故、より少数の丸め演算を使用してドメイン変換を実行し、これにより、より正確で且つより計算の少ない集中的変換を生じさせるための方法及びシステムの実施が要望される。
発明の概要
本発明は、時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号のドメイン変換を実行するための方法であって、丸め演算の回数を著しく減少した方法を提供するという課題を解決する。
一実施形態において、時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号のドメイン変換を実行するための方法は、複数のリフトステージを含む変換エレメントにより変換を実行するステップを備え、変換は、変換マトリクスに対応する。少なくとも1つのリフトステージは、変換マトリクスそれ自体であるか又は低い次元の各変換マトリクスである少なくとも1つの補助的な変換マトリクスを備えている。更に、各リフトステージは、丸めユニットも備えている。この方法は、更に、各補助的な変換マトリクスによる変換の後に各丸めユニットにより信号を処理するステップも備えている。
特定の実施形態の詳細説明
図12は、本発明の一実施形態によりデジタル信号のドメイン変換を実行するための方法を示す。最初に、1210において、複数のリフトステージを備えた変換エレメントによりデジタル信号の変換が実行される。この変換は、変換マトリクスに対応し、リフトステージの少なくとも1つは、補助的な変換マトリクス及び丸めユニットを備え、この補助的なマトリクスは、変換マトリクスそれ自体、又は低い次元の対応変換マトリクスで構成される。ドメイン変換に使用できるプロセス1210及びドメイン変換の実施例は、以下に詳細に述べる。
次いで、1220において、補助的なマトリクスによる変換の後に丸めユニットにより信号の丸め演算が実行される。
本発明の方法の好ましい実施形態によれば、デジタル信号のデータ記号がデータベクトルとして変換エレメントに与えられる。各リフトステージにおいて、データベクトル又はデータベクトルの一部分がドメイン変換装置により変換され、その変換結果が、次いで、整数ベクトルに丸められる。これは、丸めプロセスがデジタル信号の各ブロックにおいて個々のエレメント又はデータ記号に対して変換プロセス内で実行される従来技術の方法とは対照的である。従って、本発明による方法では丸め演算の回数が著しく減少される。丸め演算の回数が減少されたために、本発明による方法は、大きな計算時間及びコンピュータリソースを必要としない。更に、整数ドメイン変換の近似エラーも著しく減少できる。
好ましい実施形態では、本発明は、整数の形式IV DCTの変換を実現するための方法を提供する。本発明による方法は、従来の方法に比して、著しく減少された回数の丸め演算しか必要としない。その結果、近似エラーが著しく減少され、DCT−IVの場合に、これを、通常のNlogNレベルから一実施形態では1.5Nほどの低いものに、又、別の実施形態では2.5Nほどの低いものに減少することができ、ここで、Nは、デジタル信号のブロックサイズである。本発明による方法は、計算の複雑さが低く、且つ構造がモジュール式である。
本発明による方法及び装置は、オーディオ、イメージ又はビデオ信号のような任意の形式のデジタル信号に対して使用できる。物理的な測定信号に対応するデジタル化された信号であるデジタル信号は、対応するアナログ信号の少なくとも1つの特性特徴(例えば、ビデオ信号のルミナンス及びクロミナンス値、アナログサウンド信号の振幅、又はセンサからのアナログ感知信号)を走査することにより発生されてもよい。デジタル信号は、複数のデータ記号を含む。デジタル信号のデータ記号は、ブロックへとグループ編成され、各ブロックは、対応するアナログ信号のサンプリングレートに基づき同じ所定数のデータ記号を有する。
本発明による方法は、整数値を表わす入力デジタル信号を、これも整数値を表わす出力信号へと変換するのに使用できる。本発明による変換方法は、可逆である。出力信号は、本発明による変換方法を実行することにより元の入力信号へと変換して戻すことができる。本発明の方法による変換のこのような可逆プロパティは、出力信号が元の入力信号と同じでなければならないロスのないコード化に使用することができる。
本発明による信号のこのような整数変換は、多数のアプリケーション及びシステム、例えば、MPEGオーディオ、イメージ及びビデオ圧縮、JPEG2000、又はスペクトル分析(赤外線、紫外線又は核磁気放射線信号を分析するための)に使用することができる。又、これは、固定ポイントデジタル信号プロセッサ(DSP)のようなハードウェアシステムにおいて、実数値信号変換の場合にオーバーフローのようなファクタを考慮する必要なく、容易に実施することができる。
以下に述べる本発明の好ましい実施形態は、モノ及びステレオの両アプリケーションに適している。モノのアプリケーションにおいては、2つの連続するサンプルブロックがグループ分けされて、一緒に処理される。これは、単一ブロック処理に比して1ブロック長さの信号遅延を導入する。しかしながら、ステレオのアプリケーションでは、左右のチャンネルからの同時サンプルブロックがグループ分けされて一緒に処理された場合に、この余計なブロック遅延を防止することができる。
本発明の方法によれば、デジタル信号は、変換エレメントにより周波数ドメインへ変換される。
好ましくは、変換エレメントは、複数のリフト(lifting)ステージを備えている。
変換エレメントは、リフトラダーのモデルに基づいて説明することができる。リフトラダーモデルは、データ記号の2つのグループの1つを各々受け取る2つのサイドピースを有する。これら2つのサイドピース間には、2つ以上のカスケード状のリフトステージが設けられる。各リフトステージは、一端(入力端)に信号を受信し、加算ユニットを経て他端(出力端)に信号を出力する。丸めユニットは、出力端に配列される。リフトステージは、隣接するリフトステージの出力(又は入力)端が異なるサイドピースに接続されるように、サイドピース間に交互に配列される。
変換エレメントは、リフトラダーモデルの形態で説明するが、これは、変換エレメントの変換経路の例示に過ぎないことに注意されたい。しかしながら、本発明は、このようなラダーモデルに限定されるものではない。
離散的コサイン変換、離散的サイン変換、離散的フーリエ変換、又は離散的W変換は、本発明の方法により実行できる変換の一例である。
本発明の1つの態様において、各リフトステージは、リフトマトリクスに対応し、これは、2つの可逆の整数マトリクスを1つの対角方向にもつ4つのサブマトリクスで構成されたブロック三角形マトリクスである。リフトマトリクスの一例は、次の通りである。
Figure 0004429316

置換マトリクスとは、別のマトリクスにおいてエレメントの位置を変化させるマトリクスである。又、置換マトリクスは、同一でもよい。又、可逆の整数マトリクスは、例えば、次のような別の仕方でリフトマトリクスに配列されてもよい。
Figure 0004429316
好ましくは、可逆の整数マトリクスは、1又は−1の成分しか含まない対角マトリクスである。
図1は、本発明の実施形態によるオーディオエンコーダ100の構成を示す図である。このオーディオエンコーダ100は、変更型離散的コサイン変換(MDCT)に基づく従来の知覚ベースレイヤーコーダと、整数変更型離散的コサイン変換(IntMDCT)に基づくロスなし改善コーダとを備えている。
例えば、マイクロホン110により発生されてアナログ/デジタルコンバータ111によりデジタル化されたオーディオ信号109が、オーディオエンコーダ100へ供給される。このオーディオ信号109は、複数のデータ記号を含む。このオーディオ信号109は、複数のブロックに分割され、各ブロックは、デジタル信号の複数のデータ記号を含み、又、各ブロックは、変更型離散的コサイン変換(MDCT)装置101により変換される。MDCT係数は、知覚モジュール102の助けで量子化装置103により量子化される。知覚モデルは、量子化エラーにより生じる可聴歪が低くなるように量子化装置103を制御する。量子化されたMDCT係数は、その後、ビットストリームエンコーダ104によりエンコードされ、このエンコーダは、ロスのある知覚コード化出力ビットストリーム112を発生する。
ビットストリームエンコーダ104は、その入力を、ハフマンコード化又はランレングスコード化のような標準的な方法により、ロスのないように圧縮して、その入力より平均ビットレートが低い出力を発生する。又、入力オーディオ信号109は、IntMDCT装置105にも供給され、この装置は、IntMDCT係数を発生する。量子化装置103の出力である量子化されたMDCT係数は、IntMDCT係数を予想するのに使用される。量子化されたMDCT係数は、逆量子化装置106へ供給され、その出力(回復され又は非量子化のMDCT係数)は、丸めユニット107へ供給される。
丸めユニットは、MDCT係数を整数値へ丸め、整数値MDCTとIntMDCT係数との間の差である残余IntMDCT係数は、エントロピーコーダ108によりエントロピーコード化される。このエントロピーエンコーダは、ビットストリームエンコーダ104と同様のもので、その入力の平均ビットレートをロスなしに減少して、ロスなしの改善ビットストリーム113を発生する。このロスなしの改善ビットストリーム113は、知覚コード化ビットストリーム112と一緒に、入力オーディオ信号109を再構成するに必要な情報を最小限のエラーで搬送する。
図2は、図1に示すオーディオコーダ100に対応する本発明の実施形態によるオーディオデコーダ200の構成を示す。知覚コード化ビットストリーム207は、ビットストリームデコーダ201へ供給され、このデコーダは、図1のビットストリームエンコーダ104の動作に対して逆の動作を実行して、デコードされたビットストリームを発生する。デコードされたビットストリームは、逆量子化装置202へ供給され、その出力(回復されたMDCT係数)は、逆MDCT装置203へ供給される。従って、再構成された知覚コード化オーディオ信号209が得られる。
ロスなしの改善ビットストリーム208は、エントロピーデコーダ204へ供給され、このデコーダは、図1のエントロピーエンコーダ108の動作とは逆の動作を実行し、対応する残余IntMDCT係数を発生する。逆量子化装置202の出力は、丸め装置205によって丸められて、整数値MDCT係数を発生する。この整数値MDCT係数は、残余IntMDCT係数に加算されて、IntMDCT係数を発生する。最終的に、逆IntMDCTは、逆IntMDCT装置206によりIntMDCT係数に適用されて、再構成されたロスなしのコード化オーディオ信号210を発生する。
図3は、DCT−IVを変換として使用すると共に、3つのリフトステージ、即ち第1リフトステージ301、第2リフトステージ302及び第3リフトステージ303を使用する本発明による方法の実施形態を示すフローチャート300である。この方法は、好ましくは、図1のIntMDCT装置105及び図2の逆IntMDCT装置206に使用されて、各々、IntMDCT及び逆IntMDCTを実施する。図3において、 及び は、各々、デジタル信号の第1及び第2ブロックである。は、中間信号であり、そして 及び は、各々、デジタル信号の第1及び第2ブロックに対応する出力信号である。
上述したように、DCT−IVアルゴリズムは、ロスなしのオーディオコード化において重要な役割を演じる。
Figure 0004429316
従って、この実施形態においては、変換エレメントに対応するマトリクスは、次の通りである。
Figure 0004429316
リフトマトリクスの数、ひいては、変換エレメントにおけるリフトステージの数は、DCT−IVが変換関数である本発明のこの実施形態では、3である。
Nポイント実数入力シーケンスx(n)のDCT−IVは、次のように定義される。
Figure 0004429316
ここで、 を2つの整数Nx1列ベクトルとする。これら列ベクトル は、本発明では1つの変換エレメントにより変換されるデジタル信号の2つのブロックに対応する。 のDCT−IV変換は、各々、 である。
Figure 0004429316
(8)及び(9)を合成すると、次のようになる。
Figure 0004429316
前記対角マトリクスは、変換エレメントが対応しているブロック対角マトリクスである。
これは、前記式が次のような簡単な代数変更により変化された場合にも、本発明の範囲内である。
Figure 0004429316
式(13)は、(7)におけるDCT−IVプロパティを使用して容易に照合することができる。式(13)を用いると、式(11)は、次のように表わすことができる。
Figure 0004429316
式(14)から、1つの変換エレメントで2つの整数DCT−IVを計算する次の整数DCT−IVアルゴリズムが導出される。
図4は、DCT−IVを変換関数として使用する本発明による方法の実施形態を示す。この実施形態は、IntMDCTを実施するために図1に示すオーディオコーダ100に使用される。図3と同様に、 及び は、入力デジタル信号の2つのブロックであり、は、中間信号であり、そして 及び は、出力信号の対応ブロックである。
図4に示す3つのリフトステージは、式(14)における3つのリフトマトリクスに対応する。
図4に示すように、時間対周波数ドメインの整数変換は、次のように決定される。
第1ステージ401において、 がDCT−IV変換402により変換され、次いで、DCT−IV係数が丸められる(403)。丸められたDCT−IV係数は、次いで、 404に加算される。従って、中間信号が発生される。従って、中間信号は、次の式を満足する。
Figure 0004429316
第2ステージ405において、zがDCT−IV変換406により変換され、DCT−IV係数が丸められる(407)。次いで、丸められたDCT−IV係数から、 が減算される。従って、出力信号yが発生される。従って、出力信号yは、次の式を満足する。
Figure 0004429316

第3ステージ409において、 がDCT−IV変換410により変換され、次いで、DCT−IV係数が丸められる(411)。丸められたDCT−IV係数が、次いで、から減算される。従って、出力信号 が発生される。従って、出力信号 は、次の式を満足する。
Figure 0004429316
図5は、DCT−IVを変換関数として使用する本発明の方法の実施形態に基づいて逆変換を行うためのアルゴリズムを示す。この実施形態は、逆IntMDCTを実施するために図2に示すオーディオデコーダ200に使用される。図5に示すアルゴリズムは、図4に示すアルゴリズムの逆である。異なる信号 に対する表示は、図4の表示に対応して選択されたものである。
図5に示すように、周波数対時間ドメインの整数変換は、次のように決定される。
第1ステージ501において、 がDCT−IV変換502により変換され、DCT−IV係数が丸められる(503)。丸められたDCT−IV係数は、次いで、 に加算される(504)。従って、中間信号が発生される。従って、中間信号は、次の式を満足する。
Figure 0004429316
第2ステージ505において、がDCT−IV変換506により変換され、DCT−IV係数が丸められる。次いで、その丸められたDCT−IV係数から、 が減算される。従って、信号 が発生される。従って、信号 は、次の式を満足する。
Figure 0004429316
第3ステージ509において、 がDCT−IV変換510により変換され、DCT−IV係数が丸められる(511)。この丸められたDCT−IV係数が、次いで、から減算される。従って、信号 が発生される。従って、 は、次の式を満足する。
Figure 0004429316
式(16a)から(16c)に基づくアルゴリズムは、式(15a)から(15c)に基づくアルゴリズムに対して逆であることが明らかである。従って、図1及び2に示すエンコーダ及びデコーダに使用した場合には、これらアルゴリズムは、ロスのないオーディオコード化のための方法及び装置をもたらす。
式(15a)から(15c)及び(16a)から(16c)は、更に、2つのNxN整数DCT−IVを比較するために、3つのNxNDCT−IV、3つのNx1丸め、及び3つのNx1加算が必要であることを示している。それ故、1つのNxN整数DCT−IVについては、平均が次のようになる。
Figure 0004429316

但し、RC(.)は、全丸め回数であり、AC(.)は、全演算回数である。直接コンバートされる整数DCT−IVアルゴリズムに比して、ここに提案する整数DCT−IVアルゴリズムは、RCをレベルNlogNからNへ減少する。
式(18)で示されたように、ここに提案する整数DCT−IVアルゴリズムの演算の複雑さは、DCT−IVアルゴリズムより約50%も高い。しかしながら、RCも考慮した場合には、ここに提案するアルゴリズムの合成複雑さ(AC+RC)は、直接コンバート式の整数アルゴリズムを著しく越えることはない。アルゴリズムの複雑さの厳密な分析は、使用するDCT−IVアルゴリズムに依存する。
図4及び5に示すように、ここに提案する整数DCT−IVアルゴリズムは、構造が簡単でモジュール状である。これは、何らかの既存のDCT−IVアルゴリズムをそのDCT−IV計算ブロックに使用することができる。ここに提案するアルゴリズムは、IntMDCTを要求するアプリケーション、例えば、MPEG−4オーディオ拡張3参照モデル0に適している。
図6は、5つのリフトステージ、即ち第1リフトステージ601、第2リフトステージ602、第3リフトステージ603、第4リフトステージ604、及び第5リフトステージ605を使用する本発明による方法の実施形態を示すフローチャート600である。この方法は、図1のIntMDCT装置105及び図2の逆IntMDCT装置206に使用して、各々、IntMDCT及び逆IntMDCTを実施することができる。図6において、 及び は、各々、デジタル信号の第1及び第2ブロックである。 は、中間信号であり、そして 及び は、各々、デジタル信号の第1及び第2ブロックに対応する出力信号である。
図7は、変換関数がDCT−IV変換関数である本発明による方法の実施形態を示すフローチャートである。
Figure 0004429316

Figure 0004429316
式(20)は、更に、次のように書き表すことができる。
Figure 0004429316
変換エレメントは、式(29)の5つのリフトマトリクスに対応する5つのリフトステージを備えている。
更に、変換エレメントは、置換マトリクス co に対応するデータシャフルステージも備えている。
図7において、第1リフトステージの入力は、デジタル信号 及び の2つのブロックであり、 及び は、中間信号であり、そして 及び は、各々、デジタル信号の第1及び第2ブロックに対応する出力信号である。
変換エレメントの入力、及び変換エレメント 及び の第1リフトステージの2つの入力ブロックは、次の式を満足する。
Figure 0004429316
以下、リフトマトリクス に対応するリフトステージである第1リフトステージ701について説明する。
Figure 0004429316
式(22)により与えられる の定義を使用すると、式(29)は、次のように書き直される。
Figure 0004429316
この実施形態では、整数DCT−IVに対する可逆アルゴリズムが与えられるので、整数値への丸めが含まれる。従って、式(30)に基づき、第1リフトステージ701の第1ステップ706において、 が乗算される。この乗算の結果が、ステップ707において、整数値に丸められる。丸められた値は、次いで、ステップ708において、 に加算される。従って、中間信号 は、次の式を満足する。
Figure 0004429316
図7に示された変換エレメントの他の4つのリフトステージ702、703、704、705であって、マトリクス 及び に各々対応するリフトステージは、第1リフトステージ701と同一の構造を有するので、それらの説明は省略する。第2のリフトステップ702の加算ステップ709では、 が、 の定義に基づき、− N/2 で乗算されることだけ注意されたい。
以下、逆変換の変換エレメントのリフトステージについて、図8を参照して説明する。
図8は、図7に示す変換の逆変換を行う変換エレメントのリフトステージを示す。
図8において、第1リフトステージの入力は、デジタル信号 及び の2つのブロックであり、 は、中間信号であり、そして 及び は、各々、デジタル信号の第1及び第2ブロックに対応する出力信号である。
図8に示す最後のリフトステージ805は、図7に示す第1のリフトステージ701に対して逆である。従って、最後のリフトステージ805の第1ステップ806において、 で乗算される。この乗算の結果がステップ807において整数値へ丸められる。丸められた値は、ステップ808において、 から減算される。従って、信号 は、次の式を満足する。
Figure 0004429316
図8に示された変換エレメントの他の4つのリフトステージ801、802、803、804であって、図7に示された変換エレメントのリフトステージ705、704、703及び702に対して逆のリフトステージは、最後のリフトステージ805と同一の構造を有するので、それらの説明は省略する。第4のリフトステップ804の加算ステップ809の後に、この加算ステップ809の結果が− N/2 で乗算されて、 を生じることだけ注意されたい。
図8のリフトステージ805、804、803、802及び801は、各々、図7のリフトステージ701から705に対して逆であることが明らかであろう。又、マトリクス co に対応する入力信号の順列を逆にできると共に、それに応じたデータシャフルステージが逆の変換エレメントにより構成されるので、個々に提供される方法は可逆であり、従って、図1及び2に示すオーディオエンコーダ100及びオーディオデコーダ200に使用された場合には、ロスのないオーディオコード化を行う方法及び装置が提供される。
この実施形態に使用される丸めの回数の分析は、本発明の説明の終りで行う。
図9は、本発明の実施形態によるイメージアーカイブシステムの構成を示す。
図9において、イメージソース901、例えば、カメラは、アナログイメージ信号を発生する。このイメージ信号は、アナログ/デジタルコンバータ902により処理されて、それに対応するデジタルイメージ信号を発生する。このデジタルイメージ信号は、時間ドメインから周波数ドメインへの変換を含むロスなしのイメージエンコーダ903によりロスなしにエンコードされる。この実施形態では、時間ドメインは、イメージの座標スペースに対応する。ロスなしのコード化イメージ信号が、記憶装置904、例えば、ハードディスク又はDVDに記憶される。イメージが必要とされるときには、ロスなしのコード化イメージ信号が、記憶装置904からフェッチされて、ロスなしのイメージデコーダ905へ送られ、このデコーダは、ロスなしのコード化イメージ信号をデコードして、データロスのない元のイメージ信号を再構成する。
イメージ信号のこのようなロスなしのアーカイブは、例えば、イメージが半導体ウェハのエラーマップであって、後で分析するためにこれを記憶しなければならない場合に、重要である。
以下、本発明により時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号を変換するための方法の更に別の実施形態を説明する。この実施形態は、図9に示すイメージアーカイブシステムのロスなしのイメージエンコーダ903及びロスなしのイメージデコーダ905に使用されるのが好ましい。
図10は、DWT−IVを変換関数として使用する本発明による方法の実施形態を示す。
Nポイント実数入力シーケンスx(n)のDWT−IVは、次のように定義される。
Figure 0004429316
DWT−IVマトリクスは、次の式へと因数分解される。
Figure 0004429316
N/2 は、次数N/2の恒等マトリクスである。 N/2 は、次数N/2の対抗恒等マトリクスであり、即ち、次のようになる。
Figure 0004429316
は、次式で与えられるNxNマトリクスである。
Figure 0004429316
N/2 は、次式で与えられる次数N/2の対角マトリクスである。
Figure 0004429316
及びは、リフトマトリクスの積へと更に因数分解することができる。
Figure 0004429316
従って、式(38)は、次の式で書き表すことができる。
Figure 0004429316
リフトマトリクス 及び は、リフトマトリクスへと集合させることができる。
Figure 0004429316
式(49)及び(50)から、DWT−IVマトリクスに対する次の因数分解式を得ることができる。
Figure 0004429316
更に、変換エレメントは、置換マトリクス に対応するデータシャフルステージを備えている。このデータシャフルステージは、各入力データブロックにおける成分の順序を再配列する。 に基づいて、入力データベクトルは、次のように再配列される。即ち、ベクトルの第1の半分は、不変のままとし、ベクトルの第2の半分は、ひっくり返す。即ち、次のようになる。
Figure 0004429316
図10において、第1リフトステージの入力は、デジタル信号 及び の2つのブロックであり、 及び は、中間信号であり、そして 及び は、各々、デジタル信号の第1及び第2ブロックに対応する出力信号である。
変換エレメントの入力、及び変換エレメント 及び の第1リフトステージの2つの入力ブロックは、次の式を満足する。
Figure 0004429316
以下、リフトマトリクス に対応するリフトステージである第1リフトステージ1001について説明する。
Figure 0004429316
式(45)により与えられる の定義を使用すると、式(51)は、次のように書き直される。
Figure 0004429316
この実施形態では、整数DWT−IVに対する可逆アルゴリズムが与えられるので、整数値への丸めが含まれる。従って、式(55)に基づき、第1リフトステージ1001の第1ステップ1006において、 が乗算される。この乗算の結果が、ステップ1007において、整数値に丸められる。丸められた値は、次いで、ステップ1008において、 に加算される。従って、中間信号 は、次の式を満足する。
Figure 0004429316
図10に示された変換エレメントの他の4つのリフトステージ1002、1003、1004、1005であって、マトリクス 及び に各々対応するリフトステージは、第1リフトステージ1001と同一の構造を有するので、それらの説明は省略する。第2のリフトステップ1002の加算ステップ1009では、 が、 の定義に基づき、 N/2 で乗算されることだけ注意されたい。
以下、逆変換の変換エレメントのリフトステージについて図11を参照して説明する。
図11は、図10に示す変換の逆変換を行う変換エレメントのリフトステージを示す。
図11において、第1リフトステージの入力は、デジタル信号 及び の2つのブロックであり、 は、中間信号であり、そして 及び は、各々、デジタル信号の第1及び第2ブロックに対応する出力信号である。
図11に示す最後のリフトステージ1105は、図10に示す第1のリフトステージ1001に対して逆である。従って、最後のリフトステージ1105の第1ステップ1106において、 で乗算される。この乗算の結果がステップ1107において整数値へ丸められる。丸められた値は、ステップ1108において、 から減算される。従って、信号 は、次の式を満足する。
Figure 0004429316
図11に示された変換エレメントの他の4つのリフトステージ1101、1102、1103、1104であって、リフトステージ1005、1004、1003及び1002に対して逆のリフトステージは、最後のリフトステージ1105と同一の構造を有するので、それらの説明は省略する。第4のリフトステップ1104の加算ステップ1109の後に、この加算ステップ1109の結果が N/2 で乗算されて、 を生じることだけ注意されたい。
図11のリフトステージ1105、1104、1103、1102及び1101は、各々、図10のリフトステージ1001から1005に対して逆であることが明らかであろう。又、マトリクス に対応する入力信号の順列を逆にできると共に、それに応じたデータシャフルステージが逆の変換エレメントにより構成されるので、全体的に提供される方法は可逆であり、従って、図9に示すロスなしのイメージエンコーダ903及びロスなしのイメージデコーダ905に使用された場合には、ロスのないイメージコード化を行う方法及び装置が提供される。
ここに説明する実施形態では、DCT−IVのための本発明による方法の実施形態がオーディオコード化に使用されると共に、DWT−IVのための本発明による方法の実施形態がイメージコード化に使用されたが、DCT−IVのための本発明による方法の実施形態をイメージコード化に使用することもでき、又、DWT−IVのための本発明による方法の実施形態をオーディオコード化に使用することもでき、更に、その全てをビデオ信号のような他のデジタル信号のコード化に使用することもできる。
式(34)及び(35)について考えると、各リフトステージにはN/2回の丸めがあることが明らかである。それ故、式(26)について考えると、本発明による図7及び8に示すDCT−IVアルゴリズムの実施形態の変換エレメントに対する合計丸め回数は、N/2の5倍、即ち2.5Nであり、これは、現状技術によるNlogNより著しく低い。
Figure 0004429316
整数DWT−IV変換関数についても同様の結論を引き出すことができる。
以下、本発明により時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号を変換するための方法の更に別の実施形態を説明する。
本発明のこの実施形態では、ドメイン変換がDCT変換であり、従って、ブロックサイズNはある整数であると共に、入力ベクトルが2つのサブベクトルを含む。
Figure 0004429316
Figure 0004429316
各リフトマトリクスL2Nに対して、リフトステージの可逆の整数対整数マッピングは、ここに援用する参照文献「Factoring Wavelet Transforms into Lifting Steps」、Tech. Report、I. Daubechies及びW. Sweldens著、Bell Laboratories, LucentTechnologies、1996年、に説明された2x2リフトステップと同様に実現される。唯一の相違は、単一の変数ではなく、ベクトルに丸め演算が適用されることである。
他の実施形態の前記説明において、リフトマトリクスに対してリフトステージをいかに実現するかは既に述べた。従って、リフトマトリクスに対応するリフトステージの説明は、以下では省略する。
Figure 0004429316
前記式の右側を構成しているマトリクスは、次のように説明される。
P1は、次式で与えられる第1の置換マトリクスである。
Figure 0004429316
P2は、第2の置換マトリクスであり、その一例が、次のMATLABスクリプトにより発生される。
Figure 0004429316
一例として、Nが4であるときには、P2が次のような8x8マトリクスである。
Figure 0004429316
P3は、第3の置換マトリクスであり、その一例が、次のMATLABスクリプトにより発生される。
Figure 0004429316
一例として、Nが4であるときには、P3が次のような8x8マトリクスである。
Figure 0004429316
Figure 0004429316
Figure 0004429316
Figure 0004429316
Figure 0004429316
Figure 0004429316
Figure 0004429316
Figure 0004429316
Figure 0004429316
Figure 0004429316
式(84)から、次元Nx1の2つの入力信号に対して整数DCTを計算することができる。
式(84)は、DCT−IV変換ドメインを記述するリフトマトリクス因数分解を与えるので、そのリフトマトリクスを、ここに示すように使用して、与えられた入力信号のドメイン変換を計算することができる。
式(84)は、次のようにして導出することができる。
次の分解は、Wang、Zhongde著の「On Computing the Discrete Fourier and Cosine Transforms」、IEEE Transactions onAcoustics, Speech and Signal Processing、第ASSP−33巻、第4号、1985年10月、からの開示を使用して導出することができる。
Figure 0004429316
Figure 0004429316
Figure 0004429316
Figure 0004429316
Figure 0004429316
この実施形態では、ドメイン変換を計算するときに、4N回の丸め演算しか必要とされず、これについて、以下に述べる。
ここで、各々、α(*)を実数加算の回数とし、μ(*)を実数乗算の回数とし、γ(*)を実数丸めの回数とする。ここに提案するIntDCTアルゴリズムの場合、次のようになる。
α(IntDCT)=11N+3α(DCT−IV)
μ(IntDCT)=9N+3μ(DCT−IV)
γ(IntDCT)=8N
前記結果は、データサンプルの2つのブロックに対するものである。というのは、ここに提案するIntDCTアルゴリズムは、それらを一緒に処理するからである。従って、データサンプルの1つのブロックに対して、計算の回数が半減し、次のようになる。
α(IntDCT)=5.5N+1.5α(DCT−IV)
μ(IntDCT)=4.5N+1.5μ(DCT−IV)
γ(IntDCT)=4N
但し、α、μ及びγは、各々、1つのサンプルブロックに対する実数加算の回数、実数乗算の回数、及び実数丸めの回数である。
DCT−IV計算の場合には、ここに援用する参照文献「Signal Processing with lapped Transforms」、H. S. Malvar著、マサチューセッツ州ノルウッド、アーテック・ハウス、1992年、第199−201ページ、に掲載されたFFTベースのアルゴリズムを使用することができ、これについては、
α(DCT−IV)=1.5Nlog
μ(DCT−IV)=0.5NlogN+N
その結果、次のようになる。
α(IntDCT)=2.25NlogN+5.5N
μ(IntDCT)=0.75NlogN+6N
以下、時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号を変換する方法の更に別の実施形態を説明する。
この実施形態では、離散的高速フーリエ変換(FFT)がドメイン変換として使用される。
Fを、正規化されたFFTのNxN変換マトリクスとする。
Figure 0004429316

但し、Nは、変換サイズで、ある正の整数であり、一実施形態では、2の累乗、即ちN=2であり、そしてiは、ゼロより大きな整数である。m及びnは、マトリクス指数である。
この実施形態のもとでは、次元NxNの置換マトリクスPは、指数0又は1を含むマトリクスである。これにNx1ベクトル(入力信号のマトリクス表示)を乗算した後、ベクトルにおけるエレメントの順序が変更される。
この実施形態では、リフトマトリクスは、次の式の2Nx2Nマトリクスとして定義される。
Figure 0004429316

但し、P及びPは、2つの置換マトリクスであり、Oは、NxNのゼロマトリクスであり、Aは、任意のNxNマトリクスである。リフトマトリクスLについては、I.ダウベッチーズ氏のここに援用する前記参照文献における2x2リフトステップと同様に実現される。しかしながら、上述したように、単一の変数ではなく、丸めがベクトルに適用される。Lの転置、Lも、リフトマトリクスであることが明らかであろう。
更に、Tを2Nx2N変換マトリクスとする。
Figure 0004429316
従って、変更型変換マトリクスT(従って、ドメイン変換それ自体)は、リフトマトリクス因数分解として表現することができる。
Figure 0004429316
式(96)において、かぎカッコ内のブランクスペースは、全てゼロのマトリクスエレメントを表わす。
式(94)の右辺のリフトマトリクスは、この場合に変換マトリクスFそれ自体である補助的な変換マトリクスを備えている。
式(94)から明らかなように、リフトマトリクスの因数分解は、ここに述べる方法を使用して2つのNx1複素数ベクトルに対する整数FFTを計算するのに使用できる。
この実施形態のもとでは、ドメイン変換の計算は、3N回の丸め演算しか必要とせず、これについて、以下に述べる。
α(*)を実数加算の回数とする。
μ(*)を実数乗算の回数とする。
γ(*)を実数丸め演算の回数とする。
ここに提案するIntFFTアルゴリズムの場合に、次のものが得られる。
α(IntFFT)=6N+3α(FFT)
μ(IntFFT)=3μ(FFT)
γ(IntFFT)=6N
前記結果は、データサンプルの2つのブロックに対するものである。というのは、ここに提案するIntFFTアルゴリズムは、それらを一緒に処理するからである。従って、データサンプルの1つのブロックに対して、計算の回数が半減し、次のようになる。
α(IntFFT)=3N+1.5α(FFT)
μ(IntFFT)=1.5μ(FFT)
γ(IntFFT)=3N
但し、α、μ及びγは、各々、1つのサンプルブロックに対する実数加算の回数、実数乗算の回数、及び実数丸め演算の回数である。
FFT計算に対して、スプリット−ラディックスFFT(SRFFT)アルゴリズムを使用することができ、これについては、
α(SRFFT)=3NlogN−3N+4
μ(SRFFT)=NlogN−3N+4
その結果、次のようになる。
α(IntFFT)=4.5NlogN−1.5N+6
μ(IntFFT)=1.5NlogN−4.5N+6
図13は、上述したDCT変換技術及び上述したFFTドメイン変換の変換精度を評価するのに使用される順方向及び逆方向変換コーダを示す。テストは、ここに援用する「Coding of Moving Pictures and Audio: Work plan for Evaluation ofInteger MDCT for FGS to Lossless Experimentation Framework」、ISO/IEC JTC 1/SC 29/WG 11 N5578、Pattaya、Thailand、2003年3月、に記載されたMPEG−4ロスなしオーディオコードグループにより提案された評価規格に基づいて変換の平均2乗エラー(MSE)を測定することを含む。
より詳細には、IntDCT及び整数逆DCT(IntIDCT)に対するMSEは、次のように表わされる。
Figure 0004429316

但し、エラー信号eは、図1の場合と同様に、IntDCTについてはe、及びIntIDCTについてはeである。Kは、評価に使用されるサンプルブロックの合計数である。
IntFFT及び整数逆FFT(IntIFFT)に対するMSEは、次のように表わされる。
Figure 0004429316
両ドメイン変換の場合に、15個の異なるタイプの音楽ファイルで合計450秒が48kHz/16ビットテストセットに使用された。表1は、テスト結果を示す。
表1から明らかなように、本発明のシステム及び方法を使用して生じたMSEは、非常に僅かであり、そして従来のシステムとは異なり、処理部とっくサイズとは実質的に独立したものである。DCT−IVドメイン変換を参照すれば、MSEは、4096ビットまでのブロックザイズNの増加と共に僅かに増加するだけである。FFTのMSEは、いっそう良好で、4096ビットまでのブロックサイズに対して0.4の一定MSEを示す。本発明の実証された性能を、より長いブロックサイズに対する現在の能力及び増加するニーズの観点から見ると、本発明の効果が明らかとなろう。
Figure 0004429316
援用する参照文献
以下の文書を、参考としてここに援用する。
H.S. Malvar著、「SignalProcessing with Lapped Transforms」、Artech House、1992年;
R.Geiger, T. Sporer, J. Koller, K. Brandenburg著、「Audio Coding based on Integer Transforms」、AES第111回コンベンション、米国、ニューヨーク、2001年9月;
Wang,Zhongde著、「OnComputing the Discrete Fourier and Cosine Transforms」、IEEE Transactions onAcoustics, Speech and Signal Processing、第ASSP−33巻、第4号、1985年10月;
I.Daubechies及びW.Sweldens著、「Factoringwavelet transforms into lifting steps」、Tech. Report, Bell Laboratories, Lucent Technologies、1996年;
S.Oraintara, Y. J. Chen及びT. Q. Nguyen著、「Integer fast Fourier transform」、IEEE Trans. Signal Processing、第50巻、第3号、2002年3月、第607−618ページ;
P.Hao及びQ. Shi著、「Matrix factorization forreversible integer mapping」、IEEE Trans. Signal Processing、第49巻、第10号、2001年10月、第2314−2324ページ;
G.Plonka及びM.Tasch著、「Invertible integer DCTalgorithms」、Appl.Comput. Harmon. Anal. 12: 70-88、2003年;
Y.H. Zeng、L. Z. Cheng、G. A. Bi及びAlex C. Kot著、「Integer DCTs and fastalgorithms」、IEEETrans. Signal Processing、第49巻、第11号、2001年11月、第2774−2782ページ;
J.Wang, J. Sun及びS.Yu著、「1-D and2-D transforms from integers to integers」、in Proc. Int. Conf. Acoustics, Speech and Signal Processing、香港、2003年、第II巻、第549−552ページ;及び
「Codingof Moving Pictures and Audio: Work plan for Evaluation of Integer MDCT for FGSto Lossless Experimentation Framework」、ISO/IEC JTC 1/SC 29/WG 11 N5578, Pattaya, Thailand、2003年3月。
本発明の実施形態によるオーディオエンコーダの構成を示す図である。 図1に示すオーディオコーダに対応する、本発明の実施形態によるオーディオデコーダの構成を示す図である。 本発明による方法の実施形態を示すフローチャートである。 DCT−IVを変換関数として使用する本発明による方法の実施形態を示す図である。 図4に示す本発明の方法の実施形態に基づく逆変換のアルゴリズムを示す図である。 本発明による方法の実施形態を示すフローチャートである。 DCT−IVを変換関数として使用する本発明による方法の実施形態を示す図である。 図7に示す本発明の方法の実施形態に基づく逆変換のアルゴリズムを示す図である。 本発明の実施形態によるイメージアーカイブシステムの構成を示す図である。 DWT−IVを変換関数として使用する本発明による方法の実施形態を示す図である。 図10に示す本発明の方法の実施形態に基づく逆変換のアルゴリズムを示す図である。 本発明の実施形態によるデジタル信号のドメイン変換を実行するための方法を示す図である。 本発明により与えられるDCT及びEFT変換方法の変換精度を評価するのに使用される順方向及び逆方向変換コーダを示す図である。
符号の説明
100・・・オーディオエンコーダ、101・・・変更型離散的コサイン変換(MDCT)、102・・・知覚モジュール、103・・・量子化装置、104・・・ビットストリームエンコーダ、105・・・IntMDCT装置、106・・・逆量子化装置、107・・・丸めユニット、108・・・エントロピーコーダ、109・・・オーディオ信号、110・・・マイクロホン、111・・・アナログ/デジタルコンバータ、112・・・知覚コード化出力ビットストリーム、113・・・ロスなしの改善ビットストリーム、200・・・オーディオでコーダ、201・・・ビットストリームデコーダ、202・・・逆量子化装置、203・・・逆MDCT装置、204・・・エントロピーデコーダ、205・・・丸め装置、206・・・逆IntMDCT装置、207・・・知覚コード化ビットストリーム、208・・・ロスなしの改善ビットストリーム、209・・・再構成された知覚コード化オーディオ信号、301・・・第1リフトステージ、302・・・第2リフトステージ、303・・・第3リフトステージ、401・・・第1ステージ、402・・・DCT−IV変換、403・・・丸め、404・・・加算、405・・・第2ステージ、406・・・DCT−IV変換、407・・・丸め、409・・・第3ステージ、410・・・DCT−IV変換、411・・・丸め、501・・・第1ステージ、502・・・DCT−IV変換、503・・・丸め、504・・・加算、505・・・第2ステージ、506・・・DCT−IV変換、507・・・丸め、509・・・第3ステージ、510・・・DCT−IV変換、511・・・丸め

Claims (11)

  1. 時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号のドメイン変換を実行する装置において、
    前記デジタル信号に対する前記ドメイン変換を実行するための変換エレメントを有する変換ユニットを備え、
    前記デジタル信号のデータ記号は前記変換エレメントにデータベクトルとして提供され、前記変換エレメントは前記ドメイン変換を複数のリフトステージで実行し、各リフトステージは前記データベクトルの少なくとも一部に対する前記ドメイン変換の一ステップを実行し、前記ドメイン変換は離散コサイン変換(DCT)−IVの変換マトリクスに対応し、該変換マトリクスに従って前記データベクトルが変換され、
    各リフトステージは、少なくとも1つの補助的な変換マトリクスを備え、該補助的な変換マトリクスは、前記変換マトリクスそれ自体であるか、又は低い次元の各変換マトリクスであり、各リフトステージにおいて前記データベクトルの少なくとも一部が前記少なくとも1つの補助的な変換マトリクスによって変換され、前記データベクトルの前記少なくとも一部はリフトステージにおいて前記少なくとも1つの補助的な変換マトリクスとの乗算に基づいて処理され、更に、各リフトステージは、丸め演算も含み
    これにより、前記データベクトル又は前記データベクトルの前記一部が各リフトステージにおいて前記各補助的な変換マトリクスによる前記ドメイン変換の後に前記各丸め演算により処理され
    前記変換ユニットは、
    複数のデータブロックを受け取るように結合されると共に、各データブロックをMDCT係数へとドメイン変換するように構成された変更型離散コサイン変換装置と、
    前記MDCT係数の各々を受け取るように結合された量子化装置であって、それに応答して、量子化されたMDCT係数を発生するように動作できる量子化装置と、
    前記量子化されたMDCT係数を受け取るように結合されたビットストリームエンコーダであって、それに応答して、知覚的にコード化されたビットストリームを発生するビットストリームエンコーダと、
    前記量子化されたMDCT係数を受け取るように結合された逆量子化装置であって、前記MDCT係数を非量子化状態に回復させるように動作できる逆量子化装置と、
    前記回復されたMDCT係数を受け取るように結合されると共に、整数値のMDCT係数を発生するように動作できる丸めユニットと、
    を備える、
    装置。
  2. 前記変換ユニットは、更に、
    前記データブロックを受け取るように結合されると共に、それに応答して、IntMDCT係数を発生するように動作できる逆変更型離散的コサイン変換装置と、
    各IntMDCT係数と整数値のMDCT係数との間の差を計算して、各残余MDCT係数を発生するための手段と、
    前記残余MDCT係数を受け取るように結合されると共に、それに応答して、ロスなしの改善ビットストリームを発生するように動作できるエントロピーコーダと、
    を備える請求項に記載の装置。
  3. 前記変換ユニットは、更に、
    前記知覚コード化ビットストリームを受け取るように結合されると共に、それに応答して、デコードされたビットストリームを出力するように動作できるビットストリームデコーダと、
    前記デコードされたビットストリームを受け取るように結合され、それに応答して、回復されたMDCT係数を発生するための逆量子化装置と、
    前記回復されたMDCT係数を受け取るように結合されると共に、各MDCT係数を整数値へと丸めるように動作できる丸めユニットと、
    前記回復されたMDCTストリームを受け取るように結合され、それに応答して、前記知覚コード化信号の再構成されたコピーを発生するための逆MDCT装置と、
    を備える請求項に記載の装置。
  4. 前記変換ユニットは、更に、
    前記ロスなしのビットストリームを受け取るように結合されると共に、それに応答して、残余IntMDCT係数を発生するように動作できるエントロピーデコーダと、
    前記残余IntMDCT係数を整数値のMDCT係数に加算して、IntMDCT係数を発生するための手段と、
    前記整数値のMDCT係数及び前記IntMDCT係数の加算を受け取るように結合されて、ロスなしにコード化されたオーディオ信号の再構成されたコピーを発生するための逆IntMDCT装置と、
    を備える請求項に記載の装置。
  5. 各リフトステージはリフトマトリクスに対応し、
    該リフトマトリクスは、前記変換の一ステップを実行するために使用され、4つのサブマトリクスと、これらサブマトリクスの2つとして2つの可逆整数マトリクスを1つの対角方向に伴うようなブロック三角マトリクスであり、
    前記4つのサブマトリクスのうち少なくとも一つは前記補助的な変換マトリクスである、請求項に記載の装置。
  6. 各リフトマトリクスにおける前記可逆整数マトリクスは、1又は−1のいずれかである成分を伴う対角マトリクスである、請求項に記載の装置。
  7. 前記変換エレメントは、3つのリフトステージを備える、請求項1及び5〜6のいずれか一項に記載の装置。
  8. 前記変換エレメントは、5つのリフトステージを備える、請求項1及び5〜6のいずれか一項に記載の装置。
  9. 前記変換エレメントは、8つのリフトステージを備える、請求項1及び5〜6のいずれか一項に記載の装置。
  10. オーディオ信号又はビデオ信号が前記デジタル信号として使用される、請求項1及び5〜9のいずれか一項に記載の装置。
  11. プログラムが記録されたコンピュータ読み取り可能な媒体であって、前記プログラムは、時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号のドメイン変換を実行する方法をコンピュータのプロセッサで実行させるように適応されたものであり、
    前記プログラムは、前記プロセッサに前記デジタル信号に対する変換エレメントにより複数のリフトステージに従って前記ドメイン変換を実行させるコードを備え、前記デジタル信号のデータ記号は前記変換エレメントにデータベクトルとして提供され、各リフトステージは前記データベクトルの少なくとも一部に対する前記ドメイン変換の一ステップを実行し、前記ドメイン変換は離散コサイン変換(DCT)−IVの変換マトリクスに対応し、該変換マトリクスに従って前記データベクトルが変換され、前記複数のリフトステージのうちの少なくとも1つのリフトステージは、少なくとも1つの補助的な変換マトリクスと、丸めとを含み、前記補助的な変換マトリクスは、前記変換マトリクスそれ自体で構成されるか、又は低い次元の対応変換マトリクスで構成され、各リフトステージにおいて前記データベクトルの少なくとも一部が前記少なくとも1つの補助的な変換マトリクスによって変換され、前記データベクトルの前記少なくとも一部はリフトステージにおいて前記少なくとも1つの補助的な変換マトリクスとの乗算に基づいて処理され、
    前記プログラムは、前記プロセッサに、前記補助的な変換マトリクスによる前記ドメイン変換の後に前記丸めにより前記データベクトル又は前記データベクトルの少なくとも一部の丸め演算を実行させるコードを備え
    前記プロセッサに前記ドメイン変換を実行させる前記プログラムの前記コードは、
    前記プロセッサに、複数のデータブロックを受け取らせ、各データブロックをMDCT係数へとドメイン変換させるコードと、
    前記プロセッサに、前記MDCT係数の各々を受け取らせ、それに応答して、量子化されたMDCT係数を発生させるコードと、
    前記プロセッサに、前記量子化されたMDCT係数を受け取らせ、それに応答して、知覚的にコード化されたビットストリームを発生させるコードと、
    前記プロセッサに、前記量子化されたMDCT係数を受け取らせ、前記MDCT係数を非量子化状態に回復させるコードと、
    を備え、
    前記プロセッサに前記丸め演算を実行させる前記プログラムの前記コードは、前記プロセッサに、前記回復されたMDCT係数を受け取らせ、整数値のMDCT係数を発生させるコードを備える、
    コンピュータ読み取り可能な媒体。
JP2006532242A 2003-09-29 2004-05-06 時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号のドメイン変換を実行する装置及び媒体 Expired - Fee Related JP4429316B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US50721003P 2003-09-29 2003-09-29
US50744003P 2003-09-29 2003-09-29
PCT/SG2004/000120 WO2005031595A1 (en) 2003-09-29 2004-05-06 Method for performing a domain transformation of a digital signal from the time domain into the frequency domain and vice versa

Publications (3)

Publication Number Publication Date
JP2007507789A JP2007507789A (ja) 2007-03-29
JP2007507789A5 JP2007507789A5 (ja) 2007-06-28
JP4429316B2 true JP4429316B2 (ja) 2010-03-10

Family

ID=34396342

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2006532243A Pending JP2007507790A (ja) 2003-09-29 2004-05-06 時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号を変換する方法
JP2006532242A Expired - Fee Related JP4429316B2 (ja) 2003-09-29 2004-05-06 時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号のドメイン変換を実行する装置及び媒体
JP2009156963A Expired - Fee Related JP4942793B2 (ja) 2003-09-29 2009-07-01 時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号を変換する方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2006532243A Pending JP2007507790A (ja) 2003-09-29 2004-05-06 時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号を変換する方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2009156963A Expired - Fee Related JP4942793B2 (ja) 2003-09-29 2009-07-01 時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号を変換する方法

Country Status (8)

Country Link
US (3) US20070276894A1 (ja)
EP (3) EP1668534A4 (ja)
JP (3) JP2007507790A (ja)
KR (2) KR100885437B1 (ja)
MX (2) MXPA06003509A (ja)
MY (2) MY137920A (ja)
TW (3) TW200527224A (ja)
WO (3) WO2005031595A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10331803A1 (de) * 2003-07-14 2005-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Umsetzen in eine transformierte Darstellung oder zum inversen Umsetzen der transformierten Darstellung
US20070276894A1 (en) * 2003-09-29 2007-11-29 Agency For Science, Technology And Research Process And Device For Determining A Transforming Element For A Given Transformation Function, Method And Device For Transforming A Digital Signal From The Time Domain Into The Frequency Domain And Vice Versa And Computer Readable Medium
DE10345996A1 (de) 2003-10-02 2005-04-28 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Verarbeiten von wenigstens zwei Eingangswerten
US7574064B2 (en) * 2005-04-12 2009-08-11 The Aerospace Corporation Fast lifting lossless wavelet transform
US7577307B2 (en) * 2005-04-12 2009-08-18 The Aerospace Corporation Fast adaptive lifting lossless wavelet transform
US8392176B2 (en) 2006-04-10 2013-03-05 Qualcomm Incorporated Processing of excitation in audio coding and decoding
US20100292986A1 (en) * 2007-03-16 2010-11-18 Nokia Corporation encoder
US20080288568A1 (en) * 2007-05-14 2008-11-20 Hou Hsieh S Low power Fast Hadamard transform
US8428957B2 (en) 2007-08-24 2013-04-23 Qualcomm Incorporated Spectral noise shaping in audio coding based on spectral dynamics in frequency sub-bands
US8548815B2 (en) * 2007-09-19 2013-10-01 Qualcomm Incorporated Efficient design of MDCT / IMDCT filterbanks for speech and audio coding applications
EP2211335A1 (en) * 2009-01-21 2010-07-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for obtaining a parameter describing a variation of a signal characteristic of a signal
US8885701B2 (en) * 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
US8995532B2 (en) * 2010-09-30 2015-03-31 Texas Instruments Incorporated Low complexity large transform
US10068577B2 (en) 2014-04-25 2018-09-04 Dolby Laboratories Licensing Corporation Audio segmentation based on spatial metadata
EP3134897B1 (en) 2014-04-25 2020-05-20 Dolby Laboratories Licensing Corporation Matrix decomposition for rendering adaptive audio using high definition audio codecs
CN105895109B (zh) * 2016-05-10 2019-02-26 信阳师范学院 一种基于dwt和dct的数字语音取证和篡改恢复方法
KR20180089858A (ko) * 2017-02-01 2018-08-09 엘지전자 주식회사 레이어드 기븐스 변환을 이용하여 변환을 수행하는 방법 및 장치
EP3616196A4 (en) 2017-04-28 2021-01-20 DTS, Inc. AUDIO ENCODER WINDOW AND TRANSFORMATION IMPLEMENTATIONS

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4031038A (en) * 1975-06-16 1977-06-21 The Dow Chemical Company Water insoluble chelate exchange resins having a crosslinked polymer matrix and pendant thereto a plurality of methyleneaminopyridine groups
US5339265A (en) * 1992-08-31 1994-08-16 University Of Maryland At College Park Optimal unified architectures for the real-time computation of time-recursive discrete sinusoidal transforms
US5523847A (en) 1992-10-09 1996-06-04 International Business Machines Corporation Digital image processor for color image compression
DE69511064T2 (de) * 1994-11-09 2000-02-24 Koninkl Philips Electronics Nv System und verfahren zur übertragung von bild- oder tonsignalen
US5999656A (en) * 1997-01-17 1999-12-07 Ricoh Co., Ltd. Overlapped reversible transforms for unified lossless/lossy compression
US6058215A (en) * 1997-04-30 2000-05-02 Ricoh Company, Ltd. Reversible DCT for lossless-lossy compression
US6073153A (en) * 1998-06-03 2000-06-06 Microsoft Corporation Fast system and method for computing modulated lapped transforms
US6421464B1 (en) * 1998-12-16 2002-07-16 Fastvdo Llc Fast lapped image transforms using lifting steps
WO2000055757A1 (en) * 1999-03-17 2000-09-21 The Johns Hopkins University A fast multiplierless transform
US6681052B2 (en) * 2000-01-15 2004-01-20 Sony Corporation Methods and systems for performing inverse quantization and inverse weighting of DV video
AU2002220233A1 (en) * 2000-12-01 2002-06-11 Lizardtech, Inc. Method for lossless encoding of image data by approximating linear transforms and preserving selected properties
US6934676B2 (en) 2001-05-11 2005-08-23 Nokia Mobile Phones Ltd. Method and system for inter-channel signal redundancy removal in perceptual audio coding
DE10129240A1 (de) * 2001-06-18 2003-01-02 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Verarbeiten von zeitdiskreten Audio-Abtastwerten
JP3971135B2 (ja) * 2001-07-11 2007-09-05 株式会社テクノマセマティカル Dct行列分解方法及びdct装置
US7082450B2 (en) * 2001-08-30 2006-07-25 Nokia Corporation Implementation of a transform and of a subsequent quantization
JP3796432B2 (ja) 2001-10-31 2006-07-12 キヤノン株式会社 フィルタ処理装置およびフィルタ処理方法
DE10217297A1 (de) * 2002-04-18 2003-11-06 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Codieren eines zeitdiskreten Audiosignals und Vorrichtung und Verfahren zum Decodieren von codierten Audiodaten
JP3902990B2 (ja) * 2002-07-02 2007-04-11 キヤノン株式会社 アダマール変換処理方法及びその装置
DE10236694A1 (de) * 2002-08-09 2004-02-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum skalierbaren Codieren und Vorrichtung und Verfahren zum skalierbaren Decodieren
DE10331803A1 (de) * 2003-07-14 2005-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Umsetzen in eine transformierte Darstellung oder zum inversen Umsetzen der transformierten Darstellung
US20070276894A1 (en) * 2003-09-29 2007-11-29 Agency For Science, Technology And Research Process And Device For Determining A Transforming Element For A Given Transformation Function, Method And Device For Transforming A Digital Signal From The Time Domain Into The Frequency Domain And Vice Versa And Computer Readable Medium

Also Published As

Publication number Publication date
EP1668534A1 (en) 2006-06-14
WO2005031597A1 (en) 2005-04-07
US8126951B2 (en) 2012-02-28
TW200527224A (en) 2005-08-16
TW200524290A (en) 2005-07-16
TW200529040A (en) 2005-09-01
EP1668533A4 (en) 2013-08-21
JP4942793B2 (ja) 2012-05-30
JP2007507790A (ja) 2007-03-29
WO2005031596A1 (en) 2005-04-07
MXPA06003509A (es) 2007-01-25
US8126950B2 (en) 2012-02-28
JP2007507789A (ja) 2007-03-29
KR100885437B1 (ko) 2009-02-24
TWI348282B (en) 2011-09-01
MXPA06003508A (es) 2007-01-25
WO2005031595A1 (en) 2005-04-07
EP1687736A1 (en) 2006-08-09
US20080030385A1 (en) 2008-02-07
EP1668534A4 (en) 2013-08-21
KR100885438B1 (ko) 2009-02-24
EP1668533A1 (en) 2006-06-14
US20070276893A1 (en) 2007-11-29
JP2009266250A (ja) 2009-11-12
MY137920A (en) 2009-03-31
MY139788A (en) 2009-10-30
US20070276894A1 (en) 2007-11-29
KR20070026325A (ko) 2007-03-08
KR20070015363A (ko) 2007-02-02
TWI343534B (en) 2011-06-11

Similar Documents

Publication Publication Date Title
JP4942793B2 (ja) 時間ドメインから周波数ドメインへ及びそれとは逆にデジタル信号を変換する方法
US8195730B2 (en) Apparatus and method for conversion into a transformed representation or for inverse conversion of the transformed representation
KR101226094B1 (ko) 5-포인트 dct-ⅱ, dct-ⅳ, 및 dst-ⅳ 및 아키텍쳐들의 계산을 위한 고속 알고리즘들
KR100778349B1 (ko) 이산값의 시퀀스를 갖는 신호 처리 장치 및 방법
JP3814611B2 (ja) 時間離散オーディオサンプル値を処理する方法と装置
KR20060069254A (ko) 손실 및 무손실 2차원 데이터 압축을 위한 가역 변환
RU2323469C2 (ru) Устройство и способ для обработки, по меньшей мере, двух входных значений
CN100570597C (zh) 将数字信号从时间域变换到频率域及其反向变换的方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070507

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080909

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081209

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090107

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090527

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090603

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090703

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090710

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090803

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090810

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091215

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121225

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4429316

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131225

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees