JP4374233B2 - 複数因子分解可逆変換(multiplefactorizationreversibletransform)を用いたプログレッシブ・ツー・ロスレス埋込みオーディオ・コーダ(ProgressivetoLosslessEmbeddedAudioCoder:PLEAC) - Google Patents

複数因子分解可逆変換(multiplefactorizationreversibletransform)を用いたプログレッシブ・ツー・ロスレス埋込みオーディオ・コーダ(ProgressivetoLosslessEmbeddedAudioCoder:PLEAC) Download PDF

Info

Publication number
JP4374233B2
JP4374233B2 JP2003361029A JP2003361029A JP4374233B2 JP 4374233 B2 JP4374233 B2 JP 4374233B2 JP 2003361029 A JP2003361029 A JP 2003361029A JP 2003361029 A JP2003361029 A JP 2003361029A JP 4374233 B2 JP4374233 B2 JP 4374233B2
Authority
JP
Japan
Prior art keywords
reversible
transform
rotation
factor
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003361029A
Other languages
English (en)
Other versions
JP2004173250A (ja
Inventor
ジン リ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2004173250A publication Critical patent/JP2004173250A/ja
Application granted granted Critical
Publication of JP4374233B2 publication Critical patent/JP4374233B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は一般にデータの符号化に関し、より詳細にはオーディオおよび/またはピクチャの符号化および/または復号化を容易にするシステムおよび方法に関する。
コンピュータ・ネットワーク、インターネット、およびデジタル記憶手段が広範に普及するにつれてコンピュータを介して入手可能な情報量が劇的に増加している。こうした情報量の増加によって、情報を迅速に送信し、効率よく格納することが必要になってきている。データ圧縮は、情報の効率的な送信および格納を容易にする技術である。
データ圧縮は、情報を表すのに必要なスペースの量を低減し、多くの情報タイプに対して使用されることができる。画像、テキスト、オーディオ、ビデオを含むデジタル情報の圧縮に対する需要は増大し続けている。一般にデータ圧縮は、標準コンピュータ・システムで使用するが、それだけには限定されないがデジタル・テレビ、衛星テレビ、およびセル式/デジタル電話など他の技術も、データ圧縮を利用している。
大量の情報の取り扱い、送信、および処理に対する需要が増大するにつれて、こうしたデータの圧縮に対する需要も増大している。記憶装置容量は大幅に増大したが、情報に対する需要が容量の向上を上回っている。例えば、未圧縮のデジタル音楽ソースは5メガ・バイトのスペースを要する可能性があるのに対し、同じ音楽をロス無しに圧縮し、2.5メガ・バイトのスペースで済ますことができる。したがってデータ圧縮は、大量の情報を転送しやすくする。ブロード・バンド、DSL、ケーブル・モデム・インターネットなど、伝送速度は向上しても、未圧縮の情報では伝送限界にたやすく到達してしまう。例えば、未圧縮の音楽をDSLラインを介して送信すると10分かかる可能性がある。しかし、同じ音楽を圧縮した場合は約1分で送信することができ、したがってデータ・スループットが10倍増加することになる。
一般に、圧縮にはロスレス(lossless)およびロッシー(lossy)の2種類がある。ロスレス圧縮は正確な元のデータが圧縮後に復元されることを考慮に入れ、一方ロッシー圧縮は圧縮後に復元されたデータが元のデータとは異なることを考慮に入れている。ある程度のデータ品位(data integrity)の妥協が許容されるのでロッシー圧縮はロスレス圧縮よりよい圧縮率を提供するという点で、2つの圧縮モードの間にはトレードオフが存在している。ロスレス圧縮は、例えば重要なオーディオ録音を圧縮するときに使用することができる。その理由は、データを正確に再構築できないことはオーディオ・コンテンツの質および分析に著しい影響を与えることになるからである。ロッシー圧縮は、ある量のゆがみやノイズが人間の感覚上で許容される一般消費者向けの音楽、または重要ではないオーディオ録音で使用することができる。
オーディオ圧縮は重要な技術問題である。今日のほとんどのWebページはデジタル音楽を提供(ホスト)しており、最近、デジタル音楽再生装置の普及が増加してきている。
さらに、オーディオ・ファイルを符号化するための既存の方式が多数存在する。こうした方式のいくつかでは、人間の音響心理学の特性を使用してオーディオ・ファイルをマスクすることによってより高い圧縮率を得ようとしている。音響心理学的コーダ(psychoacoustic coder)は、1つまたは複数のオーディオ・チャネルのオーディオ・スペクトルを、人間の聴力の周波数選択性に関して最適化された異なるサイズの狭周波数帯に分割することによって、人間の聴覚マスキングを利用するように設計されているオーディオエンコーダである。これによって、ノイズを鋭いフィルタをかけて符号化し、その結果符号化されているオーディオ信号の周波数成分に非常に近い周波数に、ノイズを強制的に留まらせることができるようになる。それをマスクするオーディオ信号がない場合はいつでも符号化ノイズ(coding noise)のレベルを低減することによって、元の信号の本来備えている音質(sound quality)を維持することができる。
実際に、G.722.1コーダ、MPEG−1 Layer 3コーダ、MPEG−2 AACコーダ、およびMPEG−4 T/Fコーダを含むほぼすべての最新のオーディオ・コーダ(符号器)では、音響心理学の特性の重要性を認識しており、オーディオ・ファイルの符号化に聴覚のマスキング技術を採用している。特に、オーディオ・ファイル圧縮に人間の音響心理学の聴力特性(psychoacoustic hearing characteristics)を使用することによって、人間の耳にはほとんど聴こえないオーディオ成分をより少ないビットを使用して符号化することができる。逆に、次いで、より多くのビットを使用して、人間の耳の感度がより敏感なオーディオ・ファイルについての任意の音響心理学上の各成分を符号化することができる。こうした音響心理学的符号化によって、所与のビットレートで符号化されたオーディオの品質を大幅に向上させることができるようになる。
聴覚心理特性は一般に、以下の方法でオーディオ符号化方式に組み込まれる。まず、エンコーダが1群のオーディオ係数の聴覚マスキングしきい値、つまり一般に「臨界帯域」を明示的に計算して「聴覚マスク」を生成する。次いでこれらのしきい値が、例えば係数の量子化ステップ・サイズなどいくつかの形式でデコーダに送信される。次にエンコーダは、聴覚マスクに従ってオーディオ係数を量子化する。聴覚高感度係数(auditory sensitive coefficients)、すなわち人間の耳がそれに対してより敏感な係数の場合は、一般により小さい量子化ステップ・サイズが使用される。聴覚低感度係数(auditory insensitive coefficients)、すなわち人間の耳がそれに対してより鈍感な係数の場合は、一般により大きい量子化ステップ・サイズが使用される。次いで量子化されたオーディオ係数は一般に、MPEG−4 AAC量子化および符号化などのハフマン・コーダ、MPEG−4 TwinVQなどのベクトル量子化器、MPEG−4 BSACコーダなどの拡張可能なビットプレーン・コーダのいずれかによってエントロピー符号化される。
上記の従来の各オーディオ符号化方式では、エントロピー符号化の処理の前に聴覚マスキングが適用される。その結果、マスキングしきい値がオーバー・ヘッド情報としてデコーダに送信される。その結果、所与のビットレートでの符号化されたオーディオの質は、聴覚マスキングしきい値情報を符号化するのに必要なビットの程度まで低減される。
高性能オーディオコーデックは、デジタル音楽にリアリティをもたせる。MP3、MPEG−4 audio、Real(商標)およびWindows Media Audio(WMA(商標))などの普及しているオーディオ圧縮技術は一般に、ロッシーの性質をしている。オーディオ波形信号は、より高い圧縮率と引き換えに歪められる。録音/編集スタジオなど、品質が重要な用途では、できるだけ最高の音質を維持することが必須である。すなわち、そのオーディオをロスレスの方法で圧縮する必要がある。ロスレス圧縮率は一般に限られるため、ロスレス圧縮されたビットストリームが、高圧縮率のロッシー・ビットストリームにスケール変更されることが望ましい。ほとんどのロスレスオーディオ符号化手法は、単にロッシー・オーディオ・コーダを事実上ベースにして、さらにその残りを符号化する。こうした手法の圧縮率は、基礎となるロッシー・コーダの影響をしばしば受ける。ロッシー・コーダの量子化ノイズ(quantization noise)はモデル化するのが難しいため、この手法は通常、ロスレスオーディオ符号化の効率の悪さをまねく。さらに、基本コーダおよび残余コーダ(residue coder)が必要であるため、より複雑にもなる。他の手法の中には、予測フィルタを介して直接ロスレス・オーディオ・コーダを構築し、次いで予測残余(prediction residue)を符号化するものもある。こうした手法では、圧縮率は高くなるが、既存のロッシー・オーディオ符号化のフレームワーク(framework:枠組み)との互換性がない。ロスレス・コーダの圧縮率が通常2〜3:1とかなり限られているため、ロスレス・ビットストリームをスケール変更する機能が非常に有用である。ロスレス・コーダに基づく予測フィルタを介して生成されたビットストリームは、スケール変更できない。ロッシー/残余コーダは、ロッシー・ベース・レイヤ、およびロスレス拡張レイヤの2層のビットストリームを生成することができる。しかし、スケーリングはロッシー・ベース・レイヤを超えることはできない。ロスレス拡張レイヤのスケーリングがさらに必要な場合、残余コーダの設計をロッシー・コーダの設計に一致させる必要があり、これによってかなり複雑になる。他の手法の中には、ロスレス・オーディオ・コーダを予測フィルタを介して直接構築し、次いで予測残余を符号化するものもある。こうした手法では、圧縮率は高くなるが、既存のロッシー・オーディオ符号化の枠組との互換性がない。さらに、結果として生じるビットストリームはスケール変更が可能ではない。
以下に、本発明のいくつかの態様を基本的に理解できるように、簡易化した本発明のまとめ(summary)を示す。このまとめは、本発明の広範にわたる概要ではない。本発明の鍵となる/重要な要素を特定するもの、あるいは本発明の範囲を明確に述べるもの、ではない。その唯一の目的は、後述するより詳細な説明の前置きとして本発明のいくつかの概念を簡略化された形で提示することにある。
本発明は、ロスレス(lossless)および/またはプログレッシブ・ツー・ロスレス・データ符号化(progressive to lossless data encoding)のためのシステムおよび方法を提供する。このシステムおよび方法は、できるだけ忠実に非可逆線形変換(non-reversible linear transform)をまねる、量子化された係数を提供する、複数因子分解可逆変換構成要素(multiple factorization reversible transform component)を使用する。
本発明の一態様によれば、複数因子分解可逆変換構成要素およびエントロピー・エンコーダを備えるロスレス・データ・コーダ・システムが提供される。このシステムは、データ(画像、ピクチャ、および/またはオーディオなど)をロス無しに符号化することができる。このシステムは、例えばオーディオ波形信号に関連付けられたデジタル入力を(アナログ・デジタル変換器などから)受信する。このシステムは、それだけには限定されないが、デジタル・オーディオ・システム、分割階層化画像システム(segmented layered image systems)、写真複写機、文書スキャナ、光学式文字認識システム、PDA( personal digital assistants)、ファックス機、デジタル・カメラ、デジタル・ビデオ・カメラ、および/またはビデオ・ゲームを含む、例えばオーディオおよび/またはドキュメント画像の膨大なアレイ(データ群)のアプリケーションに使用することができる。
従来、可逆変換構成要素は、整数の入力信号を受信し、その入力信号に対応する量子化された係数の出力を提供する。こうした変換では量子化された係数から入力信号を正確に復元することができるため、可逆的であると言われている。可逆変換では、入力信号のロスレス圧縮は、相関がなく圧縮しやすい量子化された係数のロスレス圧縮になる。従来可逆変換は、非可逆線形変換の青写真を使用して、線形変換のほぼすべての成分を実質的に可逆にすることによって設計されている。しかし、こうした設計プロセスでは、可逆変換の結果とその線形変換の対応物との間の差である量子化ノイズが大きくなり得る。
本発明の一態様によれば、可逆変換の量子化ノイズを低減するために、複数の可逆形式を使用して線形変換構成要素を因子に分解することができる複数因子分解可逆変換構成要素を使用する。一例では、線形回転演算(linear rotation operation)が4つの異なる可逆演算に分解される(factorized)。すべての演算の中核は、3ステップの非線形演算である。しかしながら、入力/出力変数の対を、ある非線形演算の前および後に交換することができる。他のいくつかの場合には、入力/出力の符号(sign)も変更することができる。因子分解(factorization)の追加の形式によって、実質的に同じ回転角に対して異なるパラメータが導かれ、したがって可逆変換が線形非可逆変換の変換を(例えばできる限り忠実に)まねることができるようになる。
本発明の一態様によれば、複数因子分解可逆変換構成要素は、NポイントMLTで使用することができる。MLTは、変調(modulation)ステージ、前置FFT回転(pre-FFT rotation)ステージ、複素FFT(complex FFT)ステージ、および後置FFT回転(post FFT rotation)ステージを備えることができる。
変調ステージおよび前置FFT回転ステージは、複数因子分解回転演算を備える。複素FFTステージの中核は、複数因子分解バタフライ計算(multiple factorization butterfly calculation)であり、これは複数因子分解回転(factorization rotation)を介して実装される。後置FFT回転ステージの中核は、共役回転演算(conjugate rotation operation)であり、これは、通常の回転の後に虚数部の符号を変更することによって実装することができる。
エントロピー・エンコーダは、量子化された係数をデジタル式にエントロピー符号化し、適切なものであればどんなエントロピー符号化技術でも使用することができる。
本発明の他の態様は、複数因子分解可逆変換構成要素および埋込みエントロピー・エンコーダを備えるプログレッシブ・ツー・ロスレス・データ・コーダ・システムを提供する。このプログレッシブ・ツー・ロスレス・データ・コーダ・システムを使用して、オーディオおよび/または画像を符号化することができる。埋込みエントロピー・エンコーダ(例えば高性能埋込みエントロピー・コーデックなど)と結合されている複数因子分解可逆変換構成要素は、システムにロスレス機能およびFGSプログレッシブ性(fine granular scalability progressiveness;細分性スケーラビリティの漸進性)を与える。このシステムは、それが完全に復号化された場合、ロス無しに実質的に元の波形信号(オーディオなど)を復元するビットストリームを生成し、ロスレス圧縮を容易にする。より高い圧縮率が望ましい場合、そのアプリケーションは、圧縮されたビットストリームのサブセットを抽出し、ロッシーの性質を有するより高い圧縮率のビットストリームを形成することができる。こうしたスケーリングは、粒度(granularity)をシングル・バイトに落とした状態で非常に大きいビットレート範囲内で行うことができる。このシステムのプログレッシブ・ツー・ロスレス機能を使用すると、アプリケーションは、かなり高い圧縮率からロスレスまで、(例えば使用可能な帯域幅および/またはユーザの選好に基づいて)必要な圧縮量と所望の質の間のバランスを容易にとることができる。
埋込みエントロピー・エンコーダは、適切なものであればどんな埋込みエントロピー符号化技術でも使用することができる。一例では、埋込みエントロピー・エンコーダは、前に符号化された係数から聴覚マスキングしきい値を導出し、導出されたしきい値を使用して符号化の順序を最適化する、十分に拡張性のある聴覚心理オーディオ・コーダ(fully scalable psychoacoustic audio coder)を使用する。
本発明のさらに別の態様は、可逆マルチプレクサ、複数因子分解可逆変換構成要素、埋込みエントロピー・エンコーダ、およびビットストリーム・アセンブラを備えるプログレッシブ・ツー・ロスレス・オーディオ・コーダ・システムを提供する。このシステムは、最初に可逆マルチプレクサを通過する入力オーディオ波形信号を受信する。入力オーディオがステレオの場合は、L+R成分およびL−R成分に分けられる。次いで各オーディオ成分の波形信号は、複数因子分解可逆変換構成要素(例えば複数因子分解可逆変調重複変換(multiple factorization reversible modulated lapped transform)など)によって変換される。
その可逆マルチプレクサは、例えばステレオ・オーディオ入力を受信する。その可逆マルチプレクサは、ステレオ・オーディオ入力をL+R成分およびL−R成分に分ける。この場合、LおよびRは、それぞれ左および右のオーディオ・チャネル上の波形信号を表す。入力オーディオがモノラルの場合、可逆マルチプレクサはそのオーディオを通過させる。次いで各成分が別々に符号化される。
このビットストリーム・アセンブラは、埋込みエントロピー・エンコーダからL+RチャネルおよびL−Rチャネルの埋込みビットストリームを受信し、システムの最終的なビットストリームを形成する。したがってビットストリーム・アセンブラは、複数のタイム・スロットおよびチャネルの間に使用可能な符号化ビットレートを割り振り、割り振られたビットレートに従って各タイム・スロットおよびチャネルの埋込みビットストリームを切り詰めて、最終的な圧縮されたビットストリームを生成する。
上記および関連の目的を達成するために、本発明のいくつかの態様の例を、以下の説明および添付の図面と関連して本明細書に記載する。ただし、こうした態様は、本発明の原理を使用することができる様々な方法のうちのほんの数例にすぎず、本発明は、こうしたすべての態様およびその均等物を含むものとしている。本発明の他の利点および新規の特徴は、図面と併せ読めば本発明の以下の詳細な説明から明らかになるであろう。
次に、本発明を図面を参照して説明する。同じ要素の参照には、図面を通じて同じ参照番号を用いる。以下の説明では、説明の目的で多数の特定の詳細を記載して本発明を完全に理解できるようにしている。しかし、本発明をこうした特定の詳細無しに実施できることは明らかである。本発明を説明しやすくするために、他の例で、よく知られている構造および装置をブロック図の形式で示している。
「コンピュータ構成要素(computer component)」という用語は、この用途で使用するとき、ハードウェア、ハードウェアおよびソフトウェアの組合せ、ソフトウェア、または実行中のソフトウェアのいずれかのコンピュータ関連のエンティティを指すものとする。それだけには限定されないが、コンピュータ構成要素は例えば、プロセッサ上で稼働中のプロセス、プロセッサ、オブジェクト、実行ファイル、実行のスレッド、プログラム、および/またはコンピュータなどでよい。例として、サーバ上で稼働するアプリケーション、およびサーバはいずれもコンピュータ構成要素となる。1つまたは複数のコンピュータ構成要素が、プロセス、および/または実行のスレッド内に存在していてもよく、構成要素を1つのコンピュータに集中的に配置し、かつ/または2つ以上の構成要素間に分散してもよい。
図1を参照すると、本発明の一態様によるロスレス・データ・コーダ・システム100を示している。システムは、複数因子分解可逆変換構成要素(multiple factorization
reversible transform component)110およびエントロピー・エンコーダ120を備える。
システム100は、データ(画像(image)、ピクチャ、および/またはオーディオなど)をロス無しに符号化することができる。システム100は、例えばオーディオ波形信号に関連付けられたデジタル入力を(アナログ・デジタル変換機などから)受信する。システム100は、それだけには限定されないが、デジタル・オーディオ・システム、分割された階層化画像システム、写真複写機、文書スキャナ、光学式文字認識システム、PDA(personal digital assistants)、ファックス機、デジタル・カメラ、デジタル・ビデオ・カメラ、および/またはビデオ・ゲームを含む、例えば、膨大なアレイ(配列)のオーディオおよび/またはドキュメント画像のアプリケーションに使用することができる。
複数因子分解可逆変換構成要素110は、入力信号を受信し、その入力信号に対応する量子化された係数の出力を提供する。複数因子分解可逆変換構成要素110は、例えば、可逆変調重複変換(reversible modulated lapped transform:可逆MLT)、可逆DCT、可逆DST、および/または可逆FFTを使用することができる。
例えば量子化された係数の出力は、少なくとも部分的に可逆MLTに基づいて行うことができる。ロスレス圧縮の効率は、可逆MLTとその非可逆の対応物との間の類似性によって影響を受ける。従って可逆MLTは、その変換結果が非可逆MLTの結果を(例えばできるだけ)まねるように設計されている。従来のシステムでは、可逆MLTは、線形非可逆MLTを参照して、実質的に非可逆MLTのすべての成分を可逆にすることによって構築されている。
回転演算は、DCT、DST、および/またはFFTなど、圧縮によく使用される他の非可逆変換と同様に、非可逆MLTの重要な要素である。可逆MLTを構築するために、可逆回転が構築される。
Figure 0004374233
行列
Figure 0004374233
は、可逆回転演算を示すために使用される。可逆回転には一般に、以下の特性がある。
a.整数入力
Figure 0004374233
の場合、可逆回転の結果
Figure 0004374233
は量子化された係数、すなわち同様に整数値でなければならない。
b.適切な逆演算で、
Figure 0004374233
から正確に
Figure 0004374233
を復元することができる。
c.結果
Figure 0004374233
は、線形回転の結果にほぼ似ているはずである。整数の結果
Figure 0004374233
と線形回転結果の間の差は、量子化エラーとして定義される。
従来、回転は、3ステップの非線形演算に分解することができる。
Figure 0004374233
式中、c=(cosθ−1)/sinθおよびc=sinθは、演算のパラメータであり、
Figure 0004374233
は、浮動オペランドが整数に変換される整数化演算(integerize operation)を示す。回転は明らかに可逆であり、したがってステップ2で中間の整数変数zをx'およびy'から(例えば正確に)復元し、次いでステップ1で整数入力yをx'およびzから復元し、最後にステップ0で整数入力xをxおよびzから復元することができる。再度説明を簡単にするために、上三角行列
Figure 0004374233
を使用して非線形演算
Figure 0004374233
を示し、下三角行列
Figure 0004374233
を使用して非線形演算
Figure 0004374233
を示す。したがって数式(2)の可逆回転因子分解は、
Figure 0004374233
と示すことができる。
基本的な可逆回転演算が可逆変換の条件を満たす場合、数式(2)に示した因子分解を使用する可逆変換は、コンパクトなデータ表現の可逆変換をもたらすことが理解される。しかし、ある回転角θでは、量子化ノイズがかなり大きくなり、結果として品質の悪い信号表現がもたらされることがある。
注目すべきは、本発明の一態様によれば、線形変形、例えば線形回転を、例えば数式(3)における単一の可逆因子分解の形に分解する代わりに、因子分解の複数の形が使用される。一例では、可逆因子分解の適切な形が、1つまたは複数の変換パラメータに基づいて選択される。複数因子分解を使用すると、はるかに小さい量子化ノイズを実現することができ、したがって可逆変換がその線形変形の対応物をできるだけ忠実にまねることができるようになる。本明細書では、この手法を「複数因子分解可逆変換」と呼ぶ。
例えば、可逆回転を3つの追加の形式で分解することができる。
Figure 0004374233
因子分解の中核(core)は、依然として数式(3)に示した3ステップ非線形演算である。しかし、入力/出力変数の対を非線形演算の前(数式(5))および後(数式(4))に交換することができる。いくつかの場合では、入力/出力の符号も変更することができる。ほぼ同じ回転角θの場合、因子分解の追加の形式によって、異なる非線形パラメータcおよびcが導かれ、したがって可逆変換が線形非可逆変換を(例えばできるだけ忠実に)まねることができるようになる。
Δx'およびΔy'が量子化ノイズを表す、とする。量子化ノイズは、可逆変換の結果と線形非可逆変換の結果の間の差である。本発明の一態様によれば、量子化ノイズE[Δx']+E[Δy']の平均エネルギーを最低限に抑える可逆変換が望ましい。整数化演算によって、(例えば切り詰め処理や丸め処理などに基づいて)量子化ノイズが可逆変換にもたらされる。数式(4)〜(6)における係数の交換および符号の変更の演算では、追加の量子化ノイズはもたらされない。Δが、単一の整数化演算の量子化ノイズを表すとする。
Figure 0004374233
可逆変換における量子化ノイズは、
Figure 0004374233
のようにモデル化することができる。
式中、Δ−Δは、非線形ステップ0〜2での量子化ノイズである。各ステップでの量子化ノイズは独立し、等しく分散された確率変数であり、E[Δ]は単一の整数化演算の量子化ノイズの平均エネルギーを表す、とする。量子化ノイズの平均エネルギーは、
Figure 0004374233
のように計算することができる。
図2に、本発明の一態様に従って数式(3)〜(6)に示した異なる因子分解形式の量子化ノイズ対回転角を表すグラフ200を示している。「o」で表すライン210は、数式(3)に対応している。「x」で表すライン220は、数式(4)に対応している。「+」で表すライン230は、数式(5)に対応している。「◇」で表すライン240は、数式(6)に対応している。
単一の任意の分解では、量子化ノイズがある回転角で大きくなることに気づく。異なる分解間で切り替えることによって、より具体的には、分解形式(3)、(4)、(5)、および(6)をそれぞれ回転角(−0.25π,0.25π)、(−0.75π,−0.25π)、(0.25π,0.75π)、および(0.75π,1.25π)に使用することによって、量子化ノイズを多くとも3.2E[Δ]になるように制御することができる。一例では、例えば複雑さを低減するために、たとえ多少大きい量子化ノイズがあろうと、分解形式(3)〜(6)のサブセットを使用する。例えば分解形式(3)を回転角(−0.5π,0.5π)に、数式(6)を回転角(0.5π,1.5π)に使用することができる。こうした場合、量子化ノイズの上限は4E[Δ]となる。
量子化ノイズの低減を実現するために、一例では、最も近い整数への丸めを整数化演算として使用することができる。別の例では、切り詰めを整数化演算として使用することができる。しかし、最も近い整数に丸めることによって、単一ステップの量子化ノイズE[Δ]がより小さくなるので、量子化ノイズがかなり小さくなり、ロスレス圧縮性能がよりよくなり得る。
可逆演算の共通の演算は、
Figure 0004374233
の形式の非線形演算における乗算+整数化演算である。可逆変換のC/C++実装では、演算は一般に、
floor (ldexp(cf,2*SHIFT_INT)*y+0.5);
として実装される。式中、yは一般に32ビット整数、cは32ビット整数cで表される浮動小数、数cは、
cf=c*2^(-SHIFT_INT)
による32ビット整数cに関連している。式中、SHIFT_INTはシステム定数であり、一例では24である。これは、可逆変換全体の最も大量の計算を要する演算となり得る。x86システムでは、これは、イン・ライン・アセンブリとして、
_asm
{
MOV eax,y;
IMUL c; //edx:eax=x*y;
SHL edx,SHIFT_REST;
SHR eax,SHIFT_INT;
ADC eax,edx;
}
のように実装することができる。式中、SHIFT_REST=32−SHIFT_INTである。こうした演算だけで、実装を例えば10倍にスピードアップすることができる。
一例では、複数因子分解可逆変換構成要素110は、ウィンドウ変調(window modulation)およびタイプIV離散コサイン変換(DCT)に分解することができる可逆MLTを使用することができる。タイプIV離散コサイン変換(DCT)はさらに前置高速フーリエ変換(FFT)回転、複素FFT、および後置FFT回転の演算に分解することができ、それぞれはさらに複数因子分解された可逆回転に基づいて構築することができる。
図3を参照すると、本発明の一態様による8ポイントMLTを使用する複数因子分解可逆変換構成要素300を示している。MLT300は、変調ステージ310、前置FFT回転ステージ320、複素FFTステージ330、および後置FFT回転ステージ340を備える。複数因子分解可逆変換構成要素300は、複数因子分解可逆変換構成要素110によって使用できる複数因子分解可逆変換構成要素の一例である。
変調ステージ310および前置FFT回転ステージ320は、可逆的に実装できる数式(1)で示した回転演算を備える。複素FFTステージ330の中核は、バタフライ計算
Figure 0004374233
である。式中、x(i)およびy(i)は複素数である。第1の行列は可逆的に実装できる複素回転である。第2の行列は、複素マルチプレクサ(complex multiplexer)である。この例では、x(i)およびx(j)の実数部および虚数部の両方の0.25π回転が実装される。0.25π回転で
Figure 0004374233
の利得係数があり、したがって実装される可逆バタフライは、
Figure 0004374233
となる。2の絶対行列式(absolute determinant)を有する数式(10)のバタフライとは対照的に、数式(11)のバタフライの絶対行列式は1である。これは、データを拡大せず、したがってロスレス圧縮の目的により適している。バタフライ(数式(11))では、出力係数y(i)およびy(j)は等しく重み付けされており、そのためFFT演算でカスケードすることができる。
FFT後回転ステージ340の中核は、共役回転(conjugate rotation)演算であり、通常の回転の後に虚数部の符号を変更することによって実装することができる。
Figure 0004374233
数式(12)の変換は可逆的に実装できることを理解されたい。
可逆回転は、1の行列式を有しており、係数の交換および符号の変更の演算は、−1の行列式を有している。したがって可逆MLT全体の絶対行列式は1である。行列式1の変換は信号エネルギーを維持するため、可逆MLTの量子化ノイズは、変換の回転数にほぼ比例し、NポイントMLTの場合はO(NlogN)E[Δ]となる(複素FFTではバタフライごとに2回転あることに注意されたい)。こうした実装は、NポイントLU変換では長連鎖の非線形演算が原因で引き起こされる量子化ノイズがより大きくなり得るので、NポイントLU変換を介して可逆MLT(またはタイプIV DCT)を因子分解するよりも、好都合である。
図1に戻ると、エントロピー・エンコーダ120は、量子化された係数をデジタル式にエントロピー符号化する。エントロピー・エンコーダ120は、適切なものであればどんなエントロピー符号化技術でも使用することができる。したがって、適切な任意のエントロピー符号化技術を本発明とともに使用することは、添付の特許請求の範囲内に含まれるものとする。
図1は、複数因子分解可逆変換構成要素を使用するロスレス・データ・コーダ・システム(lossless data coder system)100の構成要素を示すブロック図である。ロスレス・データ・コーダ・システム100、複数因子分解可逆変換構成要素110、および/またはエントロピー・エンコーダ120は、本明細書に用語を定義した1つまたは複数のコンピュータ構成要素として実装できることを理解されたい。したがって、ロスレス・データ・コーダ・システム100、複数因子分解可逆変換構成要素110、および/またはエントロピー・エンコーダ120を実装するように動作可能なコンピュータ実行可能構成要素は、本発明によれば、それだけには限定されないが、ASIC(特定用途向け集積回路)、CD(コンパクト・ディスク)、DVD(デジタル・ビデオ・ディスク)、ROM(読取専用メモリ)、フロッピー(登録商標)ディスク、ハードディスク、EEPROM(電気消去可能プログラマブル読取専用メモリ)、およびメモリ・スティックを含むコンピュータ読取り可能媒体に格納することができる。
次に図4を参照すると、本発明の一態様によるロスレス・データ・デコーダ・システム400を示している。システム400は、エントロピー・デコーダ410、および逆変換構成要素(inverse transform component)420を備える。
エントロピー・デコーダ410は、(例えば対応するエントロピー・エンコーダによって生成された)ビットストリームを受信し、ビットストリームを復号化する。したがって、エントロピー・デコーダ410は、入力ビットストリームをデジタル式にエントロピー復号化し、復号化された情報を逆変換構成要素420に提供する。
逆変換構成要素420は、エントロピー・デコーダ410から出力値を受信する。逆変換構成要素420は、エントロピー・デコーダ410からの出力値を変換し、出力値を提供する。一例では、逆変換構成要素420は、逆可逆MLT(inverse reversible MLT)を使用して、複数因子分解可逆変換構成要素110における計算を、基本的に、元に戻す。
ロスレス・データ・デコーダ・システム400、エントロピー・デコーダ410、および/または逆変換構成要素420は、本明細書に用語を定義したコンピュータ構成要素とすることができることを理解されたい。
図5を参照すると、本発明の一態様によるプログレッシブ・ツー・ロスレス・データ・コーダ・システム500を示している。システム500は、複数因子分解可逆変換構成要素110、および埋込みエントロピー・エンコーダ510を備える。
プログレッシブ・ツー・ロスレス・データ・コーダ・システム500を使用して、オーディオおよび/または画像を符号化することができる。一例では、システム500は、標準の音響心理学的オーディオ・コーダで非可逆変換を(例えばできるだけ)まねるように設計されている可逆変換に基づいている。埋込みエントロピー・エンコーダ510(例えば高性能埋込みエントロピー・コーデック)と結合されている複数因子分解可逆変換構成要素110は、システム500にロスレス機能およびFGSプログレッシブ性を与える。システム500は、完全に復号化された場合にロス無しに実質的に元のオーディオ波形信号を復元するビットストリームを生成し、ロスレス圧縮を容易にする。より高い圧縮率が望ましい場合、アプリケーションは、圧縮されたビットストリームのサブセットを取り出し、ロッシーの性質のより高い圧縮率のビットストリームを形成することができる。こうしたスケーリングは、粒度をシングル・バイトに落とした場合を含めて、非常に大きいビットレート範囲で行うことができる。システム500のプログレッシブ・ツー・ロスレス機能を使用すると、アプリケーションは、かなり高い圧縮率からロスレスまで(例えば使用可能な帯域幅および/またはユーザの選好に基づいて)必要な圧縮量と所望の音質の間のバランスを容易にとることができる。
埋込みエントロピー・エンコーダ510は、適切なものであればどんな埋込みエントロピー符号化技術でも使用することができる。したがって、適切な任意の埋込みエントロピー符号化技術を本発明とともに使用することは、添付の特許請求の範囲内に含まれるものとする。
一例では、埋込みエントロピー・エンコーダ510は、前に符号化された係数から聴覚マスキングしきい値を導出し、導出されたしきい値を使用して符号化の順序を最適化する十分に拡張性のある音響心理学的オーディオ・コーダを使用する。音響または聴覚マスキングの背後にある基本理論を、本明細書で一般的な用語で説明する。
一般に、聴覚マスキングの背後にある基本理論は、人間は周波数のわずかな違いを聴く能力がないということである。例えば、1000Hzの信号と1001Hzの信号の間の差を識別することは非常に難しい。2つの信号が同時に再生している場合、人間がこうした信号を区別することはさらに難しくなる。さらに、いくつかの研究によって、1000Hzの信号が1010Hz、1100Hz、または990Hzの信号を聴く人間の能力に影響を与えることもあることが明らかにされている。この概念がマスキングとして知られている。1000Hzの信号が強い場合、すぐ隣の周波数の信号をマスクし、それによってリスナはそうした信号を聞き取ることができなくなる。さらに、人間の聴覚に影響を与える音響マスキングには他に2つのタイプがある。特に、以下で説明するように、継時マスキングおよびノイズ・マスキングも人間の聴覚に影響を与える。マスキングしきい値を割るオーディオ・ファイルの任意の周波数成分は人間のリスナには認識できないため、それらを破棄することができるので、これらの概念を使用してオーディオ圧縮を向上させる。
この例では、埋込みエントロピー・エンコーダ510は、拡張可能なエントロピー符号化プロセスに混在される内在聴覚マスキング(implicit auditory masking)を使用する、十分に拡張性のある一般的なオーディオ・コーダである。さらに、聴覚マスキングしきい値は、デコーダに送信されず、代わりにすでに符号化された係数から導出される。さらに、聴覚マスキングしきい値に従ってオーディオ係数を量子化するのではなく、マスキングしきい値は、係数が符号化される順序を制御するのに使用される。特に、より大きい成分は、オーディオ・エネルギー・レベルに最も貢献し、より高い聴覚マスキングしきい値をもたらす係数であるので、拡張可能な符号化(scalable coding)中、より大きいオーディオ係数が最初に符号化される。
例えば、複数因子分解可逆変換構成要素110から受信したMLT変換係数は、いくつかのセクションに分割される。このセクション分割演算によって、オーディオ・サンプリングレートのスケーラビリティ(scalability)が可能になる。こうしたスケーラビリティは、特に、復号化されたオーディオ・ファイルの個々の周波数応答が望ましい場合に有用である。例えば、デコーダに関連付けられた1つまたは複数の再生スピーカが高い周波数応答を有していない場合、あるいはデコーダが計算能力および時間のいずれかまたは両方を節約することが必要な場合、MLT変換係数の特定の高い周波数成分に対応する1つまたは複数のセクションを破棄することができる。
次いでMLT変換係数の各セクションは、埋込みビットストリームにエントロピー符号化される。これは、後のステージで切り詰めて、アセンブルし直すことができる。さらに、エントロピー・コーダの有効性を向上させるために、MLT係数をタイム・スロットと呼ぶ連続するいくつかのウィンドウにグループ化する。一例では、タイム・スロットは、16個の長いMLTウィンドウ、または128個の短いMLTウィンドウから成る。しかし、ウィンドウの数を容易に変更できることを、当分野の技術者であれば理解されたい。
特に、まず聴覚マスキングは、量子化することによって変換係数を変更するためというよりむしろ、変換係数が符号化される順序を決定するために使用される。任意の聴覚低感度係数を粗く符号化する代わりに、この例では、埋込みエントロピー・コーダ510が後のステージでこうした係数を符号化する。結局はすべての内容が符号化されるので、聴覚マスキングを使用して符号化の内容ではなく符号化順序を管理することによって、埋込みエントロピー・コーダ510は、オーディオ入力のロスレス符号化まで埋込み符号化を達成する。さらに、聴覚マスキングにおけるわずかな不正確さによっていくつかのオーディオ係数が後に符号化されるようになるため、音質の聴覚マスキングに対する感度が低減される。
第2に、この例では、すでに符号化された係数から聴覚マスキングしきい値を導出し、埋込みコーダ(例えば「内在する聴覚マスキング」など)で徐々にリファイン(refine)する。内在する聴覚マスキングを実装する際、変換係数の最も重要な部分(例えば最上位のビットプレーン)が最初に符号化される。予備の聴覚マスキングしきい値が、すでに符号化された変換係数に基づいて計算される。デコーダは、符号化された変換係数から同じ聴覚マスキングしきい値を自動的に導出するため、聴覚マスキングしきい値をデコーダに送信する必要はない。さらに、計算された聴覚マスキングしきい値が、変換係数のどの部分をリファインすべきかを管理するのに使用される。
変換係数の次の部分が符号化された後、新しい1組の聴覚マスキングしきい値が計算される。このプロセスは、所望の最終基準が満たされるまで、例えばすべての変換係数が符号化されるまで、所望の符号化ビットレートに到達するまで、あるいは所望の符号化の質に到達するまで、繰り返される。聴覚マスキングしきい値をすでに符号化された係数から導出することによって、聴覚マスキングしきい値を符号化するのに通常必要なビットが節約される。その結果、符号化の質が、特に符号化ビットレートが低いときに、向上する。
別の例では、埋込みエントロピー・エンコーダ510は、聴覚マスキングしきい値をビットストリームの先頭として運ぶ従来のコーダを使用する。
したがって、複数因子分解可逆変換構成要素110で可逆変換が行われた後、複数のウィンドウのMLT係数がタイム・スロットにグループ化される。次いで各タイム・スロットの係数は、埋込みエントロピー・エンコーダ510によってエントロピー符号化される。このエンコーダは、係数を効率的に圧縮するだけでなく、埋込み(例えばプログレッシブ)特性を備える出力ビットストリームを提供し、その結果(例えば各チャネルの)ビットストリームを任意の時点で切り詰めることができるようになる。
システム500および/または埋込みエントロピー・エンコーダ510は、本明細書で用語を定義したコンピュータ構成要素とすることができることを理解されたい。
図6を参照すると、本発明の一態様によるプログレッシブ・ツー・ロスレス・データ・デコーダ・システム600を示している。システムは、埋込みエントロピー・デコーダ610、および逆変換構成要素420を備える。
埋込みエントロピー・デコーダ610は、(例えば対応するエントロピー・エンコーダによって生成された)ビットストリームを受信し、ビットストリームを復号化する。したがって、埋込みエントロピー・デコーダ610は、入力ビットストリームをデジタル式にエントロピー復号化し、復号化された情報を逆変換構成要素420に提供する。
逆変換構成要素420は、埋込みエントロピー・デコーダ610から出力値を受信する。逆変換構成要素420は、埋込みエントロピー・デコーダ610からの出力値を変換し、出力値を提供する。一例では、逆変換構成要素420は、逆可逆MLTを使用して、複数因子分解可逆変換構成要素110における計算を、基本的に、元に戻す。
プログレッシブ・ツー・ロスレス・データ・デコーダ・システム600、および/または埋込みエントロピー・デコーダ610を、本明細書に用語を定義したコンピュータ構成要素とすることができることを理解されたい。
次に図7を参照すると、本発明の一態様によるプログレッシブ・ツー・ロスレス・ステレオ・オーディオ・コーダ・システム700を示している。システム700は、可逆マルチプレクサ710、複数因子分解可逆変換構成要素110、110、埋込みエントロピー・エンコーダ510、510、およびビットストリーム・アセンブラ720を備える。
システム700は、最初に可逆マルチプレクサ710を通過する入力オーディオ波形信号を受信する。入力オーディオがステレオの場合は、L+R成分およびL−R成分に分けられる。次いで各オーディオ成分の波形信号は、複数因子分解可逆変換構成要素110、110(例えば切り替えウィンドウなど)によって変換される。一例では、ウィンドウ・サイズは、2048個または256個のサンプルとすることができる。複数因子分解可逆変換構成要素110、110の後、連続するいくつかのウィンドウのMLT係数がタイム・スロットにグループ分けされる。
例えば、タイム・スロットは、16個の長いMLTウィンドウ、または128個の短いウィンドウから成る。したがってタイム・スロットは、入力オーディオが44.1kHzでサンプリングされた場合に約0.74秒に相当する32768個のサンプルから成る。次いでタイム・スロットの係数は、その出力ビットストリームを後の任意の時点で切り詰めることができる埋込みエントロピー・エンコーダ510、510によってエントロピー符号化される。
可逆マルチプレクサ710は、例えばステレオ・オーディオ入力を受信する。可逆マルチプレクサ710は、従来の技術を使用してステレオ・オーディオ入力をL+R成分およびL−R成分に分ける。この場合、LおよびRは、それぞれ左および右のオーディオ・チャネル上の波形信号を表す。入力オーディオがモノラルの場合、可逆マルチプレクサは、そのオーディオをそのまま通過させる。次いで各成分が別々に符号化される。
xおよびyを左および右のチャネル、x'およびy'を多重化されたチャネルL+RおよびL−Rとすると、可逆マルチプレクサは、
Figure 0004374233
あるいは、
Figure 0004374233
のように非線形形式で実装することができる。式中
Figure 0004374233
は、ここでもまた整数化演算を示す。数式(13)は、整数出力から整数入力を生成し、正確に反転することができる。整数化演算において非線形性を無視することによって、入力/出力対の間の関係を、次のような線形変換を介して公式化することができる。
Figure 0004374233
数式(15)の変換の行列式は−1である。これは、入力/出力のスペースのボリュームが等しいことを意味する。
例えば0.25π回転演算、あるいは
Figure 0004374233
を介した回転可逆マルチプレクサの代替実装形態がある。しかし、数式(16)の形式の可逆マルチプレクサは、2の絶対行列式を有しており、これはデータを拡大させ、ロスレス圧縮にはあまり有効ではない。0.25π回転演算を使用する可逆マルチプレクサは、3つの整数化演算を必要とし、3.2E[Δ]の量子化ノイズを有する。数式(13)の可逆マルチプレクサは、整数化演算が1つで済み、量子化ノイズがE[Δ]である。したがって、より好適な実装形態である。数式(13)の可逆マルチプレクサを使用すると、L−RチャネルおよびL+Rチャネルの重さみは等しくなく、L−Rチャネルは、L+Rチャネルのものよりも4倍の重さの重みを伝える。L−RチャネルおよびL+Rチャネルの量子化されたすべての係数が単に符号化されるだけなので、ロスレス符号化では重みの不均等は問題ない。ロスレス・ビットストリームが切り詰められる場合、さらにもう1つのビットプレーンを使用してL+Rチャネルを符号化することによって、重みの不均等を補償することができる。
ビットストリーム・アセンブラ720は、埋込みエントロピー・エンコーダ510および510からL+RチャネルおよびL−Rチャネルの埋込みビットストリームを受信する。ビットストリーム・アセンブラは、システム700の最終的なビットストリームを形成する。
図8に、本発明の一態様によるビットストリーム800の例を示している。ビットストリーム800は、グローバル・ヘッダ810を備え、その後に第1のタイム・スロット820からN番目のタイム・スロット820まで続く。Nは1以上の整数である。各タイム・スロット820は、L+RチャネルおよびL−Rチャネルにおける圧縮されたビットストリームの長さを記録するタイム・スロット・ヘッダ830を備え、その後にチャネル840および850の実際の埋込みビットストリームが続く。正確な波形信号の再構築が必要な場合、ビットストリーム全体が復号化される。より高い圧縮率が要求される場合、より高い圧縮率のビットストリームを形成するためにロス無しに符号化されたビットストリームからサブセットが抽出される。これは、個々のタイム・スロットのL+RチャネルおよびL−Rチャネルの埋込みビットストリームを切り詰めることによって達成されるため、この演算は非常に迅速に行うことができる。また、L−Rチャネルに関連付けられた圧縮されたビットストリームを取り除くことによって、圧縮されたオーディオをステレオからモノラルに変換することもできる。
図7に戻ると、したがってビットストリーム・アセンブラ720は、複数のタイム・スロットおよびチャネルの間に使用可能な符号化ビットレートを割り振り、割り振られたビットレートに従って各タイム・スロットおよびチャネルの埋込みビットストリームを切り詰めて、最終的な圧縮されたビットストリームを生成する。
システム700、可逆マルチプレクサ710、および/またはビットストリーム・アセンブラ720は、本明細書で用語を定義したコンピュータ構成要素とすることができることを理解されたい。
次に図9を参照すると、本発明の一態様によるプログレッシブ・ツー・ロスレス・オーディオ・デコーダ・システム900を示している。システム900は、ビットストリーム・アン・アセンブラ910、埋込みエントロピー・デコーダ610、610、逆変換構成要素420、420、および可逆デマルチプレクサ920を備える。
ビットストリーム・アン・アセンブラ910は、入力ビットストリームを(例えば対応するビットストリーム・アセンブラ720から)受信する。ビットストリーム・アン・アセンブラは、L+RチャネルおよびL−Rチャネルを分け、分けられたチャネルを埋込みエントロピー・デコーダ610、610に提供する。
各埋込みエントロピー・デコーダ610、610は、ビットストリーム・アン・アセンブラ910から情報のチャネルを受信し、ビットストリームを復号化する。したがって、埋込みエントロピー・デコーダ610、610は、入力ビットストリームをデジタル式にエントロピー復号化し、復号化された情報を逆変換構成要素420、420に提供する。
逆変換構成要素420、420は、埋込みエントロピー・デコーダ610、610から出力値を受信する。逆変換構成要素420、420は、埋込みエントロピー・デコーダ610、610からの出力値を変換し、出力値を提供する。一例では、逆変換構成要素420、420は、逆変換MLTを使用して、複数因子分解可逆変換構成要素110における計算を本質的に元に戻す。
可逆デマルチプレクサ920は、逆変換構成要素420、420の出力を受信し、出力をステレオ・オーディオ波形信号に多重分離(demultiplex)する。
システム900、ビットストリーム・アン・アセンブラ910、および/または可逆デマルチプレクサ920は、本明細書に用語を定義したコンピュータ構成要素とすることができることを理解されたい。
図10、11、12、13、および14を簡単に参照すると、本発明に従って実装できる方法を示している。説明を簡単にするために、方法は一連のブロックとして示し説明してあるが、本発明は、本発明に従って、いくつかのブロックを、本明細書に示し記載したものとは異なる順序で行う、かつ/または他のブロックと同時に行うことができるので、ブロックの順序によって限定されないことを理解されたい。さらに、本発明による方法を実装するためにすべてのブロックの例が必要となるとは限らない。
本発明は、1つまたは複数の構成要素によって実行されるプログラム・モジュールなどのコンピュータ実行可能命令の一般的な文脈で説明することができる。一般にプログラム・モジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、データ構造などを含む。一般に、プログラム・モジュールの機能は、必要に応じて様々な実施形態において組み合わせ、または分散することができる。
図10を参照すると、本発明の一態様によるロスレス・データ符号化の方法1000を示している。1010で、入力信号(例えばオーディオおよび/または画像)を受信する。1020で、少なくとも部分的に複数因子分解可逆変換(例えば可逆変調重複変換)に基づく、入力信号に対応する量子化された係数が提供される。例えば、可逆変調重複変換は、数式(3)、(4)、(5)、(6)、(9)、(10)、および/または(11)に基づいて行うことができる。複数因子分解可逆変換は、変調ステージ、前置FFT回転ステージ、複素FFTステージ、および/または後置FFT回転ステージを備えることができる。1030で、量子化された係数がエントロピー符号化される。
次に、図11を参照すると、本発明の一態様によるロスレス・データ復号化の方法1100を示している。1110で、デジタル式に符号化された入力ビットストリームを受信する。1120で、ビットストリームは、エントロピー復号化され、変換係数が提供される。1130で、変換係数の逆変換に基づく出力値が提供される。逆変換は、可逆変調重複変換に基づいて行うことができる。
図12を参照すると、本発明の一態様によるプログレッシブ・ツー・ロスレス・データ符号化の方法1200を示している。1210で、入力信号(例えばオーディオおよび/または画像)を受信する。1220で、少なくとも部分的に複数因子分解可逆変換(例えば可逆変調重複変換)に基づく、入力信号に対応する量子化された係数が提供される。例えば、複数因子分解可逆変換は、数式(3)、(4)、(5)、(6)、(9)、(10)、および/または(11)に基づいて行うことができる。複数因子分解可逆変換は、変調ステージ、前置FFT回転ステージ、複素FFTステージ、および/または後置FFT回転ステージを備えることができる。1230で、量子化された係数の埋込み符号化に基づくプログレッシブ・ビットストリームが提供される。
図13を参照すると、本発明の一態様によるプログレッシブ・ツー・ロスレスオーディオ符号化の方法1300を示している。1310で、入力信号を受信する。1320で、入力信号が(例えば可逆マルチプレクサ710などで)第1の成分(L+R)、および第2の成分(L−R)に分けられる。
1330で、少なくとも部分的に複数因子分解可逆変換(例えば可逆変調重複変換)に基づく、第1の成分に対応する量子化された係数が提供される。例えば、複数因子分解可逆重複変換は、数式(3)、(4)、(5)、(6)、(9)、(10)、および/または(11)に基づいて行うことができる。複数因子分解可逆変換は、変調ステージ、前置FFT回転ステージ、複素FFTステージ、および/または後置FFT回転ステージを備えることができる。1340で、第1の成分に関連付けられた量子化された係数の埋込み符号化に基づくプログレッシブ・ビットストリームが提供される。
1350で、少なくとも部分的に複数因子分解可逆変換(例えば可逆変調重複変換)に基づく、第2の成分に対応する量子化された係数が提供される。例えば、複数因子分解可逆変換は、数式(3)、(4)、(5)、(6)、(9)、(10)、および/または(11)に基づいて行うことができる。複数因子分解可逆変換は、変調ステージ、前置FFT回転ステージ、複素FFTステージ、および/または後置FFT回転ステージを備えることができる。1360で、第2の成分に関連付けられた量子化された係数の埋込み符号化に基づくプログレッシブ・ビットストリームが提供される。
1370で、第1および第2の成分に関連付けられた埋込みエントロピー符号化された量子化された係数のプログレッシブ・ビットストリームが、(例えばビットストリーム720で)出力ビットストリームにアセンブルされる。
図14を参照すると、本発明の一態様による複数因子分解可逆変換の方法1400を示している。1410で、複数因子分解可逆変換のうちの少なくとも1つの因子分解が行われる。1420で、少なくとも部分的に変換のパラメータに基づいて最低量の量子化ノイズを生成する因子分解が選択される。例えば、因子分解は、数式(3)、(4)、(5)、(6)、(9)、(10)、および/または(11)に基づいて行うことができる。因子分解は、上述したように変調ステージ、前置FFT回転ステージ、複素FFTステージ、および/または後置FFT回転ステージを備えることができる。
本発明の様々な態様の追加の文脈を提供するために、図15および以下の説明は、本発明の様々な態様を実装できる適切な動作環境1510の簡単な概略を提供するためのものである。本発明は、1つまたは複数のコンピュータまたは他の装置で実行されるプログラム・モジュールなどのコンピュータ実行可能命令の一般的な文脈で説明するが、本発明は、他のプログラム・モジュールとともに、かつ/またはハードウェアおよびソフトウェアの組合せとして実装することもできることを、当分野の技術者であれば理解されよう。ただし、一般にプログラム・モジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作環境1510は、適切な動作環境の一例にすぎず、本発明の使用または機能の範囲に関する限定を示唆するものではない。本発明とともに使用するのに適し得る他のよく知られているコンピュータ・システム、環境、および/または構成は、それだけには限定されないが、パーソナル・コンピュータ、ハンドヘルドまたはラップトップ装置、マルチ・プロセッサ・システム、マイクロ・プロセッサ・ベースのシステム、プログラム可能家電製品、ネットワークPC、ミニ・コンピュータ、メインフレームコ・ンピュータ、上記のシステムまたは装置を含む分散型コンピューティング環境などを含む。
図15を参照すると、本発明の様々な態様を実装するための環境1510の例が、コンピュータ1512を含んでいる。コンピュータ1512は、処理装置1514、システム・メモリ1516、およびシステム・バス1518を含む。システム・バス1518は、それだけには限定されないが、システム・メモリ1516などのシステム構成要素を処理装置1514に結合する。処理装置1514は、使用可能な様々なプロセッサのうちのどんなものでもよい。デュアルマイクロプロセッサ、および他のマルチプロセッサ構造も、処理装置1514として使用することができる。
システム・バス1518は、それだけには限定されないが、16ビットバス、Industrial Standard Architecture(ISA)、Micro−Channel Architecture(MSA)、Extended ISA(EISA)、Intelligent Drive Electronics(IDE)、VESA Local Bus(VLB)、Peripheral Component Interconnect(PCI)、Universal Serial Bus(USB)、Advanced Graphics Port(AGP)、Personal Computer Memory Card International Associationバス(PCMCIA)、およびSmall Computer Systems Interface(SCSI)を含む使用可能な様々なバス構造を使用するメモリ・バスまたはメモリ・コントローラ、周辺バスまたは外部バス、および/またはローカル・バスを含むいくつかのタイプのバス構造のうちのどんなものでもよい。
システム・メモリ1516は、揮発性メモリ1520および不揮発性メモリ1522を含む。例えば起動時など、コンピュータ1512内の要素間で情報を転送するための基本的なルーチンを含む基本入出力システム(BIOS)が不揮発性メモリ1522に格納される。一例にすぎず、それだけには限定されないが、不揮発性メモリ1522には、読取専用メモリ(ROM)、プログラム可能ROM(PROM)、電気的プログラム可能ROM(EPROM)、電気的消去可能ROM(EEPROM)、フラッシュ・メモリなどがある。揮発性メモリ1520には、外部キャッシュメモリとして働くランダム・アクセス・メモリ(RAM)などがある。一例にすぎず、それだけには限定されないが、RAMは、シンクロナスRAM(SRAM)、ダイナミックRAM(DRAM)、シンクロナスDRAM(SDRAM)、ダブル・データ・レートSDRAM(DDR SDRAM)、高性能SDRAM(ESDRAM)、シンクリンクDRAM(SLDRAM)、およびダイレクト・ラムバスRAM(DRRAM)など、多くの形態で使用可能である。
また、コンピュータ1512は、取外し可能/取外し不可、揮発性/不揮発性コンピュータ記憶媒体も含む。図15には、例えば、ディスク記憶装置1524を示している。ディスク記憶装置1524には、それだけには限定されないが、磁気ディスク・ドライブ、フロッピー(登録商標)ディスク・ドライブ、テープ・ドライブ、Jazドライブ、Zipドライブ、LS−100ドライブ、フラッシュ・メモリ・カード、またはメモリ・スティックなどの装置がある。さらに、ディスク記憶装置1524は、記憶媒体を個別に、またはそれだけには限定されないが、コンパクト・ディスクROM装置(CD−ROM)などの光ディスク・ドライブ、CD読取り可能装置(CD−R DRIVE)、CD書込み可能ドライブ(CD−RW DRIVE)、またはデジタル多目的ディスクROMドライブ(DVD−ROM)などを含む他の記憶媒体との組合せで含むことができる。ディスク・記憶装置1524のシステム・バス1518への接続を容易にするために、一般に、インターフェース1526など、取外し可能または取外し不可インターフェースを使用する。
図15は、ユーザと適した動作環境1510に記載した基本的なコンピュータ・リソースとの間の媒介として働くソフトウェアを説明していることを理解されたい。こうしたソフトウェアは、オペレーティング・システム1528を含む。オペレーティング・システム1528は、ディスク記憶装置1524に格納することができ、コンピュータ・システム1512のリソースを制御し、割り振るよう働く。システム・アプリケーション1530は、システム・メモリ1516またはディスク記憶装置1524のいずれかに格納されているプログラム・モジュール1532およびプログラム・データ1534を介して、オペレーティング・システム1528によるリソースの管理を利用する。本発明は、様々なオペレーティング・システムまたはオペレーティング・システムの組合せで実装できることを理解されたい。
ユーザは、入力装置1536によってコマンドまたは情報をコンピュータ1512に入力する。入力装置1536には、それだけには限定されないが、マウスなどのポインティング装置、トラックボール、ペン、タッチパッド、キーボード、マイクロフォン、ジョイスティック、ゲーム・パッド、パラボラ・アンテナ、スキャナ、TVチューナ・カード、デジタル・カメラ、デジタル・ビデオ・カメラ、Webカメラなどがある。これらおよび他の入力装置は、インターフェース・ポート1538を介して、システム・バス1518によって処理装置1514に接続する。インターフェース・ポート1538には、例えばシリアルポート、パラレルポート、ゲームポート、ユニバーサル・シリアル・バス(USB)などがある。出力装置1540は、入力装置1536と同じタイプのポートのいくつかを使用する。したがって、例えばUSBポートを使用して、入力をコンピュータ1512に提供し、出力情報をコンピュータ1512から出力装置1540に提供することができる。出力アダプタ1542は、特殊なアダプタを必要とする他の出力装置1540の間にモニタ、スピーカ、およびプリンタなどの一部の出力装置1540があることを示すために提供される。一例にすぎずそれだけには限定されないが、出力アダプタ1542には、出力装置1540とシステム・バス1518の間の接続の手段を提供するビデオ・カードおよびサウンドカードなどがある。他の装置および/または装置のシステムは、リモート・コンピュータ1544など入力および出力の両方の機能を提供することに注意されたい。
コンピュータ1512は、リモート・コンピュータ1544など、1つまたは複数のリモート・コンピュータへの論理接続を使用してネットワーク式環境で動作することができる。リモート・コンピュータ1544は、パーソナル・コンピュータ、サーバ、ルータ、ネットワークPC、ワークステーション、マイクロ・プロセッサ・ベースの器具、ピア装置、または他の一般のネットワーク・ノードなどでよく、一般に、コンピュータ1512に関連して記載した多くまたはすべての要素を含む。簡潔にするために、メモリ記憶装置1546のみをリモート・コンピュータ1544とともに示している。リモート・コンピュータ1544は、ネットワーク・インターフェース1548を介してコンピュータ1512に論理的に接続されており、次いで通信接続1550を介して物理的に接続されている。ネットワーク・インターフェース1548は、ローカルエリア・ネットワーク(LAN)や広域ネットワーク(WAN)などの通信ネットワークを含む。LAN技術は、光ファイバ分散データ・インターフェース(FDDI)、電線分散データ・インターフェース(CDDI)、イーサネット(登録商標)/IEEE802.3、トークンリング/IEEE802.5などを含む。WAN技術は、それだけには限定されないが、ポイント・ツー・ポイント・リンク、統合サービス・デジタル網(ISDN)およびそのバリエーションなどの回線交換ネットワーク、パケット交換ネットワーク、およびデジタル加入者線(DSL)などを含む。
通信接続1550は、ネットワーク・インターフェース1548をバス1518に接続するために使用するハードウェア/ソフトウェアを指す。通信接続1550は、簡潔にするためにコンピュータ1512内に示しているが、コンピュータ1512の外部にあってもよい。ネットワーク・インターフェース1548への接続に必要なハードウェア/ソフトウェアは、例示の目的にすぎないが、通常の電話級のモデム、ケーブル・モデム、DSLモデムなどのモデム、ISDNアダプタ、イーサネット(登録商標)カードなどの内外の技術を含む。
上記で説明してきたことは、本発明の例を含む。本発明を説明するために、構成要素または方法の考え得るすべての組合せを記載することは当然不可能であるが、本発明のさらに多くの組合せおよび置き換えが可能であることを、当分野の技術者であれば理解されよう。したがって本発明は、添付の特許請求の範囲の意図および範囲内のこうしたすべての代替、変更、変形を含むものとする。さらに、詳細な説明または特許請求の範囲で使用している範囲で、「含む」という用語は、「備える」という用語が請求項で移行的な単語(transitional word)として使用される際に解釈されるように、用語「備える」と類似の意味に含めることが意図されている。
本発明の一態様によるロスレス・データ・コーダ・システムを示すブロック図である。 本発明の一態様による様々な分解形式の場合の量子化ノイズ対回転角を示すグラフである。 本発明の一態様による8ポイントMLTを使用する複数因子分解可逆変換構成要素を示すブロック図である。 本発明の一態様によるロスレス・データ・デコーダ・システムを示すブロック図である。 本発明の一態様によるプログレッシブ・ツー・ロスレス・データ・コーダ・システムを示すブロック図である。 本発明の一態様によるプログレッシブ・ツー・ロスレス・データ・デコーダ・システムを示すブロック図である。 本発明の一態様によるプログレッシブ・ツー・ロスレス・ステレオ・オーディオ・コーダ・システムを示すブロック図である。 本発明の一態様によるビットストリームの例を示すブロック図である。 本発明の一態様によるプログレッシブ・ツー・ロスレス・オーディオ・デコーダ・システムを示すブロック図である。 本発明の一態様によるロスレス・データ符号化の方法を示すフロー図である。 本発明の一態様によるロスレス・データ復号化の方法を示すフロー図である。 本発明の一態様によるプログレッシブ・ツー・ロスレス・データ符号化の方法を示すフロー図である。 本発明の一態様によるプログレッシブ・ツー・ロスレスオーディオ符号化の方法を示すフロー図である。 本発明の一態様による複数因子分解可逆変換の方法を示すフロー図である。 本発明が機能し得る動作環境の例を示す図である。
符号の説明
100 ロスレス・データ・コーダ・システム
110 複数因子分解可逆変換構成要素
110 複数因子分解可逆変換構成要素
110 複数因子分解可逆変換構成要素
120 エントロピー・エンコーダ
300 複数因子分解可逆変換構成要素
310 変調ステージ
320 FFT前回転ステージ
330 複素FFTステージ
340 FFT後回転ステージ
400 ロスレス・データ・デコーダ・システム
410 エントロピー・デコーダ
420 逆変換構成要素
420 逆変換構成要素
420 逆変換構成要素
500 プログレッシブ・ツー・ロスレス・データ・コーダ・システム
510 埋込みエントロピー・エンコーダ
510 埋込みエントロピー・エンコーダ
510 埋込みエントロピー・エンコーダ
600 プログレッシブ・ツー・ロスレス・データ・デコーダ・システム
610 埋込みエントロピー・デコーダ
610 埋込みエントロピー・デコーダ
610 埋込みエントロピー・デコーダ
700 プログレッシブ・ツー・ロスレス・ステレオ・オーディオ・コーダ
710 可逆マルチプレクサ
720 ビットストリーム・アセンブラ
800 ビットストリーム
810 グローバル・ヘッダ
820 タイム・スロット
830 タイム・スロット・ヘッダ
840 ビットストリーム
850 ビットストリーム
900 プログレッシブ・ツー・ロスレス・オーディオ・デコーダ・システム
910 ビットストリーム・アン・アセンブラ
920 可逆デマルチプレクサ
1510 適切な動作環境
1512 コンピュータ
1514 処理装置
1516 システム・メモリ
1518 システム・バス
1520 揮発性メモリ
1522 不揮発性メモリ
1524 ディスク記憶装置
1526 インターフェース
1528 オペレーティング・システム
1530 システム・アプリケーション
1532 プログラム・モジュール
1534 プログラム・データ
1536 入力装置
1538 インターフェース・ポート
1540 出力装置
1542 出力アダプタ
1544 リモート・コンピュータ
1546 メモリ記憶装置
1548 ネットワーク・インターフェース
1550 通信接続

Claims (51)

  1. 入力信号を受信し、前記入力信号に対応する量子化された係数の出力を提供する複数因子分解可逆変換構成要素であって、係数の前記出力は、前記変換の可逆回転パラメータに基づいて複数の可逆形式の間で切り換わる複数因子分解可逆変換に、すくなくとも部分的に基づく複数因子分解可逆変換構成要素と、
    前記量子化された係数をデジタル式にエントロピー符号化するエントロピー・エンコーダと
    を備えることを特徴とするロスレス・データ・コーダ・システム。
  2. 前記複数因子分解可逆変換が複数因子分解可逆MLTであることを特徴とする請求項1に記載のシステム。
  3. 前記複数因子分解可逆MLTは、変調ステージ、前置FFT回転ステージ、複素FFTステージ、および後置FFT回転ステージをさらに備えることを特徴とする請求項2に記載のシステム。
  4. 前記変調ステージは、θを回転角として、
    Figure 0004374233
    の式で示される複数因子分解可逆回転を介して実装されることを特徴とする請求項3に記載のシステム。
  5. 前記前置FFT回転は、θを回転角として、
    Figure 0004374233
    の式で示される複数因子分解可逆回転を介して実装されることを特徴とする請求項3に記載のシステム。
  6. 前記複素FFTは、x(i)を前記入力信号の第1のチャネルの複素数表現、x(j)を前記入力信号の第2のチャネルの複素数表現、ωを回転角として
    Figure 0004374233
    の式を介して実装され、
    前記可逆複素数バタフライ(complex butterfly)は、まず前記入力信号の2つのチャネルの実数部および虚数部によって形成された変数の対の0.25π複数因子分解可逆回転を介して実装され、次いで前記第2のチャネルのωの複数因子分解可逆複素回転を介して実装されることを特徴とする請求項3に記載のシステム。
  7. 前記後置FFT回転は、θを回転角、xを前記入力信号の第1のチャネル、yを前記入力信号の第2のチャネル、x'を前記入力信号の第1の多重化チャネル、y'を前記入力信号の第2の多重化チャネルとして、
    Figure 0004374233
    の式を介して実装され、
    前記複数因子分解可逆共役回転は、まず複数因子分解可逆回転を介して実装され、次いで虚数部の符号の反転を介して実装されることを特徴とする請求項3に記載のシステム。
  8. 前記複数因子分解可逆変換構成要素は、複数の基本変換構成要素を備え、少なくとも1つの前記基本変換構成要素は可逆回転であることを特徴とする請求項1に記載のシステム。
  9. 請求項1に記載のシステムを使用することを特徴とするピクチャ・コーダ・システム。
  10. 請求項1に記載のシステムを使用することを特徴とするオーディオ・コーダ・システム。
  11. 入力ビットストリームをデジタル式にエントロピー復号化し、変換係数を提供するエントロピー・デコーダと、
    前記エントロピー・デコーダから前記変換係数を受信し、少なくとも部分的に前記変換係数の逆可逆変調重複変換に基づく出力値を提供し、複数因子可逆変換からの計算を元に戻す、逆変換構成要素と
    を備え、
    前記複数因子可逆変換は、量子化ノイズを最小化するように前記変換の可逆回転パラメータに基づいて切り換えられる複数の可逆形式を使用することを特徴とするロスレス・データ・デコーダ・システム。
  12. 請求項11に記載のシステムを使用することを特徴とするピクチャ・デコーダ・システム。
  13. 請求項11に記載のシステムを使用することを特徴とするオーディオ・デコーダ・システム。
  14. 入力信号を受信し、前記入力信号に対応する量子化された係数の出力を提供する複数因子分解可逆変換構成要素であって、係数の前記出力は、前記変換の可逆回転パラメータに基づいて複数の可逆形式の間で切り換わる複数因子分解可逆変換に、少なくとも部分的に基づく複数因子分解可逆変換構成要素と、
    前記量子化された係数をプログレッシブ・ビットストリームにデジタル式にエントロピー符号化する埋込みエントロピー・エンコーダと
    を備えることを特徴とするプログレッシブ・ツー・ロスレス・データ・コーダ・システム。
  15. 前記複数因子分解可逆変換は、可逆変調重複変換、可逆DCT、可逆DST、および可逆FFTのうちの少なくとも1つであることを特徴とする請求項14に記載のシステム。
  16. 前記複数因子分解可逆変換構成要素は、複数の基本変換構成要素を備えることを特徴とする請求項14に記載のシステム。
  17. 少なくとも1つの前記基本変換構成要素は、可逆回転であることを特徴とする請求項16に記載のシステム。
  18. 前記可逆回転は、θを回転角として、
    Figure 0004374233
    の式を介して実装されることを特徴とする請求項17に記載のシステム。
  19. 前記可逆回転は、θを回転角として、
    Figure 0004374233
    の式を介して実装されることを特徴とする請求項17に記載のシステム。
  20. 前記可逆回転は、θを回転角として
    Figure 0004374233
    の式を介して実装されることを特徴とする請求項17に記載のシステム。
  21. 前記可逆回転は、θを回転角として、
    Figure 0004374233
    の式を介して実装されることを特徴とする請求項17に記載のシステム。
  22. 前記複数因子分解可逆変換構成要素は、x(i)を前記入力信号の第1のチャネルの複素数表現、y(j)を前記入力信号の第2のチャネルの複素数表現、ωを回転角として、
    Figure 0004374233
    の式で示される可逆バタフライを使用することを特徴とする請求項14に記載のシステム。
  23. 前記複数因子分解可逆変換構成要素は、θを回転角、xを前記入力信号の第1のチャネル、yを前記入力信号の第2のチャネル、x'を前記入力信号の第1の多重化チャネル、y'を前記入力信号の第2の多重化チャネルとして、
    Figure 0004374233
    の式で示される可逆共役回転を使用することを特徴とする請求項14に記載のシステム。
  24. 前記複数因子分解可逆変換構成要素は、変調ステージ、前置FFT回転ステージ、複素FFTステージ、および後置FFT回転ステージをさらに備えることを特徴とする請求項14に記載のシステム。
  25. 請求項14に記載のシステムを使用することを特徴とするピクチャ・コーダ・システム。
  26. 請求項14に記載のシステムを使用することを特徴とするオーディオ・コーダ・システム。
  27. プログレッシブに符号化された入力ビットストリームをデジタル式にエントロピー復号化し、変換係数を提供する埋込みエントロピー・デコーダと、
    前記埋込みエントロピー・デコーダから前記変換係数を受信し、少なくとも部分的に逆可逆変調重複変換に基づく出力値を提供し、複数因子分解可逆変換からの計算を元に戻す逆変換構成要素と
    を備え、
    前記複数因子分解可逆変換は、量子化ノイズを最少にするように、前記変換の可逆回転パラメータに基づいて切り換えられる複数の可逆形式を使用することを特徴とするプログレッシブ・ツー・ロスレス・データ・デコーダ・システム。
  28. 入力オーディオ波形信号を受信し、前記入力オーディオ波形信号を第1の成分および第2の成分に分ける可逆マルチプレクサと、
    前記第1成分を受信し、前記第1成分に対応する量子化された係数の出力を提供する第1の複数因子分解可逆変換構成要素であって、係数の前記出力は、前記変換の可逆回転パラメータに基づいて複数の可逆形式の間で切り換えられる複数の可逆形式、すくなくとも部分的に基づく第1の複数因子分解可逆変換構成要素と、
    前記第2成分を受信し、前記第2成分に対応する量子化された係数の出力を提供する第2の複数因子分解可逆変換構成要素であって、係数の前記出力は、前記変換の可逆回転パラメータに基づいて複数の可逆形式の間で切り換えられる複数の可逆形式、すくなくとも部分的に基づく、第2の複数因子分解可逆変換構成要素と、
    前記第1の複数因子分解可逆変換構成要素からの前記量子化された係数をプログレッシブ・ビットストリームにデジタル式にエントロピー符号化する第1の埋込みエントロピー・エンコーダと、
    前記第2の複数因子分解可逆変換構成要素からの前記量子化された係数をプログレッシブ・ビットストリームにデジタル式にエントロピー符号化する第2の埋込みエントロピー・エンコーダと、
    前記第1の埋込みエントロピー・エンコーダおよび前記第2の埋込みエントロピー・エンコーダからの前記プログレッシブ・ビットストリームをひとつのプログレッシブ・ビットストリームにアセンブルするビットストリーム・アセンブラと
    を備えることを特徴とするプログレッシブ・ツー・ロスレス・ステレオ・オーディオ・コーダシステム。
  29. 前記可変マルチプレクサは、xを前記第1の成分、yを前記第2の成分、x'を前記第1の出力成分、y'を前記第2の出力成分として、
    Figure 0004374233
    の式を介して実装されることを特徴とする請求項28に記載のシステム。
  30. プログレッシブに符号化された入力ビットストリームを第1のチャネルおよび第2のチャネルにアンアセンブルするビットストリーム・アンアセンブラと、
    プログレッシブに符号化された入力ビットストリームの前記第1のチャネルをデジタル式にエントロピー復号化し、変換係数を提供する第1の埋込みエントロピー・デコーダと、
    プログレッシブに符号化された入力ビットストリームの前記第2のチャネルをデジタル式にエントロピー復号化し、変換係数を提供する第2の埋込みエントロピー・デコーダと、
    前記第1の埋込みエントロピー・デコーダから前記変換係数を受信し、前記変換係数についての、少なくとも部分的に逆可逆変換に基づく出力値を提供し、量子化ノイズを最少にするように、前記変換の可逆回転パラメータに基づいて切り換えられる複数の可逆形式を使用する複数因子分解可逆変換からの計算を元に戻す第1の逆変換構成要素と、
    前記第2の埋込みエントロピー・デコーダから前記変換係数を受信し、前記変換係数についての、少なくとも部分的に逆可逆変換に基づく出力値を提供し、量子化ノイズを最少にするように、前記変換の可逆回転パラメータに基づいて切り換えられる複数の可逆形式を使用する複数因子分解可逆変換からの計算を元に戻す第2の逆変換構成要素と、
    前記第1の逆変換構成要素の出力、および前記第2の逆変換構成要素の出力をオーディオ出力に組み合わせ、量子化ノイズを最少にするように、前記変換の可逆回転パラメータに基づいて切り換えられる複数の可逆形式を使用する複数因子分解可逆変換からの計算を元に戻す可逆デマルチプレクサと
    を備えることを特徴とするプログレッシブ・ツー・ロスレス・オーディオ・デコーダ・システム。
  31. 入力信号を受信すること、および
    前記入力信号に対応する量子化された係数を提供すること
    を備え、前記量子化された係数は、前記変換の可逆回転パラメータに基づいて複数の可逆形式の間で切り換わる複数因子分解可逆変換に、すくなくとも部分的に基づく
    ことを特徴とするロスレス・データ符号化の方法。
  32. 前記量子化された係数をエントロピー符号化する動作(act)と、
    変調ステージ、FFT回転前ステージ、複素FFTステージ、およびFFT回転後ステージを備えた前記複数因子分解可逆変換の動作(act)
    のうちの少なくとも1つをさらに備えることを特徴とする請求項31に記載の方法。
  33. デジタル式にエントロピー符号化された入力ビットストリームを受信すること、
    前記入力ビットストリームをエントロピー復号化し、変換係数を提供すること、および
    前記変換係数についての、逆変換に基づいた出力値を提供すること
    を備え、前記逆変換は、少なくとも部分的に逆可逆変調重複変換に基づき、複数因子分解可逆変換からの計算を元に戻し、前記複数因子分解可逆変換は、量子化ノイズを最少にするように、前記変換の可逆回転パラメータに基づいて切り換えられる複数の可逆形式を使用することを特徴とするロスレス・データ復号化の方法。
  34. 入力信号を受信すること、
    前記入力信号に対応する量子化された係数を提供することであって、前記量子化された係数は、複数因子分解可逆変換に、すくなくとも部分的に基づいており、前記複数因子分解可逆変換は、前記変換の可逆回転パラメータに、少なくとも部分的に基づいて複数の可逆形式の間で切り換わり、および
    前記量子化された係数を埋込みエントロピー符号化することに基づくプログレッシブ・ビットストリームを提供すること
    を備えることを特徴とするプログレッシブ・ツー・ロスレスオーディオ符号化の方法。
  35. 変調ステージ、前置FFT回転ステージ、複素FFTステージ、および後置FFT回転ステージを備えた前記複数分解可逆変換の動作(act)と、
    前記入力信号を第1の成分および第2の成分に分けて、
    前記第1の成分および前記第2の成分に関連つけられた前記埋込みエントロピー符号化された量子化係数の出力ビットストリームをアセンブルする動作(act)
    のうちの少なくとも1つをさらに備えることを特徴とする請求項34に記載の方法。
  36. 複数因子分解可逆変換のうち少なくともつの因子分解の間で
    記変換の可逆回転パラメータに、すくなくとも部分的に基づいて、切り換えること
    を備えることを特徴とする複数因子分解可逆変換の方法。
  37. 前記複数因子分解可逆回転の1つの因子分解は、θを回転角として、
    Figure 0004374233
    の式を介して実装されることを特徴とする請求項36に記載の方法。
  38. 前記複数因子分解可逆回転の前記1つの因子分解は、約−0.25πから約0.25πの範囲内で前記回転角θについて実装されることを特徴とする請求項37に記載の方法。
  39. 前記複数因子分解可逆回転の前記1つの分解が約−0.5πから約0.5πの範囲内で前記回転角θについて実装されることを特徴とする請求項37に記載の方法。
  40. 前記複数因子分解可逆回転の1つの分解は、θを回転角として、
    Figure 0004374233
    の式を介して実装されることを特徴とする請求項36に記載の方法。
  41. 前記複数因子分解可逆回転の前記1つの分解は、約−0.75πから約−0.25πの範囲内で前記回転角θについて実装されることを特徴とする請求項40に記載の方法。
  42. 前記複数因子分解可逆回転の1つの分解は、θを回転角として、

    Figure 0004374233
    の式を介して実装されることを特徴とする請求項36に記載の方法。
  43. 前記複数因子分解可逆回転の前記1つの分解は、約0.25πから約0.75πの範囲内で前記回転角θについて実装されることを特徴とする請求項42に記載の方法。
  44. 前記複数因子分解可逆回転の1つの分解は、θを回転角として、
    Figure 0004374233
    の式を介して実装されることを特徴とする請求項36に記載の方法。
  45. 前記複数因子分解可逆回転の前記1つの分解は、約0.75πから約1.25πの範囲内で前記回転角θについて実装されることを特徴とする請求項44に記載の方法。
  46. 前記複数因子分解可逆回転の前記1つの分解は、約0.5πから約1.5πの範囲内で前記回転角θについて実装されることを特徴とする請求項44に記載の方法。
  47. 前記複数因子分解可逆変換は、x(i)を入力信号の第1のチャネルの複素数表現、x(j)を前記入力信号の第2のチャネルの複素数表現、ωを回転角として、
    Figure 0004374233
    の式を介して実装される複数因子分解可逆複素数バタフライであり、
    前記可逆複素数バタフライは、まず前記入力信号の2つのチャネルの実数部および虚数部によって形成された変数の対の0.25π複数因子分解可逆回転を介して実装され、次いで前記第2のチャネルのωの複数因子分解可逆複素回転を介して実装されることを特徴とする請求項36に記載の方法。
  48. 前記複数因子分解可逆変換は、θを回転角、xを入力信号の第1のチャネル、yを前記入力信号の第2のチャネル、x'を前記入力信号の第1の多重化チャネル、y'を前記入力信号の第2の多重化チャネルとして、
    Figure 0004374233
    の式で示される複数因子分解可逆共役回転を使用し、前記複数因子分解可逆共役回転は、まず複数因子分解可逆回転を介して実装され、次いで虚数部の符号の反転を介して実装されることを特徴とする請求項36に記載の方法。
  49. 前記複数因子分解可逆変換は、可逆変調重複変換、可逆DCT、可逆DST、および可逆FFTのうちの少なくとも1つであることを特徴とする請求項36に記載の方法。
  50. ロスレス・データ・コーダ・システムのコンピュータ実行可能構成要素を格納するコンピュータ可読媒体であって、入力信号を受信し、前記入力信号に対応する量子化された係数の出力を提供する複数因子分解可逆変換構成要素であって、係数の前記出力は、前記変換の可逆回転パラメータに基づいて複数の可逆形式の間で切り換わる複数因子分解可逆変換に、すくなくとも部分的に、基づく、複数因子分解可逆変換構成要素と、
    前記量子化された係数をデジタル式にエントロピー符号化するエントロピー・エンコーダ構成要素と
    を備えることを特徴とするコンピュータ読み取り可能な記録媒体。
  51. 入力信号を受信する手段と、
    前記入力信号に対応する量子化された係数の出力を提供する手段であって、前記量子化された係数は、前記変換の可逆回転パラメータに基づいて複数の可逆形式の間で切り換わる複数因子分解可逆変換に、すくなくとも部分的に、基づいており
    前記量子化された係数をエントロピー符号化する手段と
    を備えることを特徴とするロスレス・データ・コーダ・システム。
JP2003361029A 2002-11-21 2003-10-21 複数因子分解可逆変換(multiplefactorizationreversibletransform)を用いたプログレッシブ・ツー・ロスレス埋込みオーディオ・コーダ(ProgressivetoLosslessEmbeddedAudioCoder:PLEAC) Expired - Fee Related JP4374233B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/300,995 US7395210B2 (en) 2002-11-21 2002-11-21 Progressive to lossless embedded audio coder (PLEAC) with multiple factorization reversible transform

Publications (2)

Publication Number Publication Date
JP2004173250A JP2004173250A (ja) 2004-06-17
JP4374233B2 true JP4374233B2 (ja) 2009-12-02

Family

ID=32229885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003361029A Expired - Fee Related JP4374233B2 (ja) 2002-11-21 2003-10-21 複数因子分解可逆変換(multiplefactorizationreversibletransform)を用いたプログレッシブ・ツー・ロスレス埋込みオーディオ・コーダ(ProgressivetoLosslessEmbeddedAudioCoder:PLEAC)

Country Status (7)

Country Link
US (1) US7395210B2 (ja)
EP (1) EP1422694A3 (ja)
JP (1) JP4374233B2 (ja)
KR (1) KR101006287B1 (ja)
CN (1) CN100442850C (ja)
AU (1) AU2003248196A1 (ja)
BR (1) BR0304611A (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7536305B2 (en) 2002-09-04 2009-05-19 Microsoft Corporation Mixed lossless audio compression
BRPI0515128A (pt) * 2004-08-31 2008-07-08 Matsushita Electric Ind Co Ltd aparelho de geração de sinal estéreo e método de geração de sinal estéreo
KR100745721B1 (ko) 2004-12-08 2007-08-03 한국전자통신연구원 임베디드 코드여기 선형예측 음성 부호화/복호화 장치 및그 방법
US8265929B2 (en) * 2004-12-08 2012-09-11 Electronics And Telecommunications Research Institute Embedded code-excited linear prediction speech coding and decoding apparatus and method
AU2005239628B2 (en) * 2005-01-14 2010-08-05 Microsoft Technology Licensing, Llc Reversible 2-dimensional pre-/post-filtering for lapped biorthogonal transform
CN101151659B (zh) * 2005-03-30 2014-02-05 皇家飞利浦电子股份有限公司 多通道音频编码器、设备、方法及其解码器、设备和方法
KR100736086B1 (ko) * 2005-09-06 2007-07-06 삼성전자주식회사 엔트로피 코딩의 성능 향상 방법 및 장치, 상기 방법을이용한 비디오 코딩 방법 및 장치
US7983335B2 (en) * 2005-11-02 2011-07-19 Broadcom Corporation AVC I—PCM data handling and inverse transform in a video decoder
US8595281B2 (en) * 2006-01-11 2013-11-26 Qualcomm Incorporated Transforms with common factors
US8849884B2 (en) 2006-03-29 2014-09-30 Qualcom Incorporate Transform design with scaled and non-scaled interfaces
US20080059201A1 (en) * 2006-09-03 2008-03-06 Chih-Hsiang Hsiao Method and Related Device for Improving the Processing of MP3 Decoding and Encoding
CN101479787B (zh) * 2006-09-29 2012-12-26 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
WO2008039041A1 (en) 2006-09-29 2008-04-03 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
CN101206860A (zh) * 2006-12-20 2008-06-25 华为技术有限公司 一种可分层音频编解码方法及装置
US8086465B2 (en) * 2007-03-20 2011-12-27 Microsoft Corporation Transform domain transcoding and decoding of audio data using integer-reversible modulated lapped transforms
US7991622B2 (en) * 2007-03-20 2011-08-02 Microsoft Corporation Audio compression and decompression using integer-reversible modulated lapped transforms
CN101046964B (zh) * 2007-04-13 2011-09-14 清华大学 基于重叠变换压缩编码的错误隐藏帧重建方法
US8185381B2 (en) * 2007-07-19 2012-05-22 Qualcomm Incorporated Unified filter bank for performing signal conversions
MX2010004220A (es) * 2007-10-17 2010-06-11 Fraunhofer Ges Forschung Codificacion de audio usando mezcla descendente.
EP2248263B1 (en) * 2008-01-31 2012-12-26 Agency for Science, Technology And Research Method and device of bitrate distribution/truncation for scalable audio coding
TWI382768B (zh) * 2008-03-24 2013-01-11 Novatek Microelectronics Corp 具有執行重疊濾波以及核心轉換的運算方法及其裝置
US8386271B2 (en) 2008-03-25 2013-02-26 Microsoft Corporation Lossless and near lossless scalable audio codec
CN101609679B (zh) * 2008-06-20 2012-10-17 华为技术有限公司 嵌入式编解码方法和装置
JP2010009624A (ja) * 2009-10-07 2010-01-14 Ntt Docomo Inc 画像信号変換方法、画像信号逆変換方法、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び、画像復号プログラム
CA2794261A1 (en) * 2010-04-19 2011-10-27 Research In Motion Limited Methods and devices for reordered parallel entropy coding and decoding
KR101206000B1 (ko) 2010-12-31 2012-11-28 전자부품연구원 Mpeg-4 als vlsi 구현을 위한 저복잡도 가변 차수 단기 예측기
CN102103859B (zh) * 2011-01-11 2012-04-11 东南大学 一种数字音频编码、解码方法及装置
US20120320972A1 (en) * 2011-06-16 2012-12-20 Samsung Electronics Co., Ltd. Apparatus and method for low-complexity optimal transform selection
WO2013121793A1 (ja) * 2012-02-16 2013-08-22 日本放送協会 多チャネル音響システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラム
GB201210373D0 (en) * 2012-06-12 2012-07-25 Meridian Audio Ltd Doubly compatible lossless audio sandwidth extension
CN108806706B (zh) * 2013-01-15 2022-11-15 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
US20160171987A1 (en) * 2014-12-16 2016-06-16 Psyx Research, Inc. System and method for compressed audio enhancement
WO2016205209A1 (en) * 2015-06-15 2016-12-22 Ascava, Inc. Performing multidimensional search, content-associative retrieval, and keyword-based search and retrieval on data that has been losslessly reduced using a prime data sieve
CN105811995A (zh) * 2016-03-04 2016-07-27 广东工业大学 一种减少量化噪声的方法
CN114531600B (zh) * 2022-02-18 2023-10-03 阿里巴巴(中国)有限公司 变换单元、现场可编程门阵列、芯片、电子设备、片上系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3302229B2 (ja) * 1994-09-20 2002-07-15 株式会社リコー 符号化方法、符号化/復号方法及び復号方法
US6873734B1 (en) * 1994-09-21 2005-03-29 Ricoh Company Ltd Method and apparatus for compression using reversible wavelet transforms and an embedded codestream
JP2914226B2 (ja) * 1995-06-16 1999-06-28 日本電気株式会社 可逆変換を可能にするディジタル信号の変換符号化方式
US5999656A (en) * 1997-01-17 1999-12-07 Ricoh Co., Ltd. Overlapped reversible transforms for unified lossless/lossy compression
US6058215A (en) * 1997-04-30 2000-05-02 Ricoh Company, Ltd. Reversible DCT for lossless-lossy compression
AU4218199A (en) * 1998-05-27 1999-12-13 Microsoft Corporation System and method for entropy encoding quantized transform coefficients of a signal
WO2001008001A1 (en) * 1999-07-23 2001-02-01 Trustees Of Boston University Integer discrete cosine transform using integer operations
US7013049B2 (en) * 2001-02-28 2006-03-14 Ricoh Company, Ltd. Image processing scheme
US6934676B2 (en) * 2001-05-11 2005-08-23 Nokia Mobile Phones Ltd. Method and system for inter-channel signal redundancy removal in perceptual audio coding
US6757648B2 (en) * 2001-06-28 2004-06-29 Microsoft Corporation Techniques for quantization of spectral data in transcoding
US7275036B2 (en) * 2002-04-18 2007-09-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding a time-discrete audio signal to obtain coded audio data and for decoding coded audio data
US7315822B2 (en) * 2003-10-20 2008-01-01 Microsoft Corp. System and method for a media codec employing a reversible transform obtained via matrix lifting

Also Published As

Publication number Publication date
KR101006287B1 (ko) 2011-01-06
US20040102963A1 (en) 2004-05-27
KR20040045287A (ko) 2004-06-01
EP1422694A3 (en) 2017-05-10
JP2004173250A (ja) 2004-06-17
CN1503572A (zh) 2004-06-09
EP1422694A2 (en) 2004-05-26
US7395210B2 (en) 2008-07-01
AU2003248196A1 (en) 2004-06-10
BR0304611A (pt) 2004-08-31
CN100442850C (zh) 2008-12-10

Similar Documents

Publication Publication Date Title
JP4374233B2 (ja) 複数因子分解可逆変換(multiplefactorizationreversibletransform)を用いたプログレッシブ・ツー・ロスレス埋込みオーディオ・コーダ(ProgressivetoLosslessEmbeddedAudioCoder:PLEAC)
RU2422987C2 (ru) Канальное кодирование на основе комплексного преобразования с частотным кодированием с расширенной полосой
US6934676B2 (en) Method and system for inter-channel signal redundancy removal in perceptual audio coding
KR100892152B1 (ko) 시간-이산 오디오 신호를 부호화하기 위한 장치 및 방법그리고 부호화 오디오 데이터를 복호화하기 위한 장치 및방법
CN102388418B (zh) 低复杂度频谱带复制(sbr)滤波器组
US8468026B2 (en) Audio decoding using variable-length codebook application ranges
JP5400143B2 (ja) オーバーラッピング変換の2つのブロック変換への因数分解
JP3814611B2 (ja) 時間離散オーディオサンプル値を処理する方法と装置
EP2054881A1 (en) Audio decoding
WO2023241205A1 (zh) 音频处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
WO2023241254A1 (zh) 音频编解码方法、装置、电子设备、计算机可读存储介质及计算机程序产品
WO2008116065A1 (en) Transform domain transcoding and decoding of audio data using integer-reversible modulated lapped transforms
JP2001044847A (ja) 可逆符号化方法、可逆復号化方法、これらの装置及びその各プログラム記録媒体
JP3487250B2 (ja) 符号化音声信号形式変換装置
KR20060036724A (ko) 오디오 신호 부호화 및 복호화 방법 및 그 장치
WO2023241222A9 (zh) 音频处理方法、装置、设备、存储介质及计算机程序产品
US20040010329A1 (en) Method for reducing buffer requirements in a digital audio decoder
Hans Optimization of digital audio for internet transmission
CN113948094A (zh) 音频编解码方法和相关装置及计算机可读存储介质
Auristin et al. New Ieee Standard For Advanced Audio Coding In Lossless Audio Compression: A Literature Review
Yang High fidelity multichannel audio compression
Huang Lossless audio coding for MPEG-4
CN115410585A (zh) 音频数据编解码方法和相关装置及计算机可读存储介质
Fejzo et al. DTS-HD: Technical Overview of Lossless Mode of Operation
Bhaskaran et al. Standards for Audio Compression

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090907

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4374233

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130911

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees