JP4794452B2 - オーディオ符号化におけるmdctデータに基づくウィンドウタイプ決定方法 - Google Patents

オーディオ符号化におけるmdctデータに基づくウィンドウタイプ決定方法 Download PDF

Info

Publication number
JP4794452B2
JP4794452B2 JP2006533960A JP2006533960A JP4794452B2 JP 4794452 B2 JP4794452 B2 JP 4794452B2 JP 2006533960 A JP2006533960 A JP 2006533960A JP 2006533960 A JP2006533960 A JP 2006533960A JP 4794452 B2 JP4794452 B2 JP 4794452B2
Authority
JP
Japan
Prior art keywords
window type
frame
short
preliminary
long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006533960A
Other languages
English (en)
Other versions
JP2007512546A (ja
Inventor
ユン、ジェングナム
Original Assignee
ソニー エレクトロニクス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー エレクトロニクス インク filed Critical ソニー エレクトロニクス インク
Publication of JP2007512546A publication Critical patent/JP2007512546A/ja
Application granted granted Critical
Publication of JP4794452B2 publication Critical patent/JP4794452B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025Detection of transients or attacks for time/frequency resolution switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Discrete Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

本発明は、包括的には、オーディオ符号化に関する。詳しくは、本発明は、オーディオ符号化におけるショートウィンドウのグループ化に関する。
著作権表示/許諾
この明細書の開示内容の一部は、著作権保護の対象となるマテリアルを含む。著作権所有者は、この明細書が特許商標庁への特許出願であると認められるファックスコピーに対しては異議を唱えないが、この他のあらゆる全ての著作権を主張する。以下の表示は、後述するソフトウェア及びデータ、並びに添付の図面に適用される。:著作権(c)2001:全ての著作権はソニーエレクトロニクスインク社に帰属する(Copyright (c) 2001, Sony Electronics, Inc., All Rights Reserved)。
標準化組織であるモーションピクチャエキスパートグループ(Motion Picture Experts Group:MPEG)は、例えば、MPEG−2アドバンスドオーディオ符号化(advanced audio coding:AAC)規格(ISO/IEC13818−7参照)及びMPEG−4AAC規格(ISO/IEC14496−3参照)等の仕様書において、データ圧縮方法を開示している。本明細書では、これらの規格を総称的にMPEG規格と呼ぶ。
MPEG規格が定義するオーディオエンコーダは、オーディオ信号を受け取り、修正離散コサイン変換(modified discrete cosine transform:MDCT)処理によってオーディオ信号を周波数スペクトルデータに変換し、レート−歪み制御メカニズムを用いて周波数スペクトルデータを量子化するための最適な換算係数を決定する。更に、オーディオエンコーダは、最適な換算係数を用いて周波数スペクトルデータを量子化し、この結果得られる量子化されたスペクトル係数を換算係数帯域(scalefactor band)にグループ化し、量子化され、グループ化された係数にハフマン符号化を施す。
MPEG規格では、隣接する変換範囲(transformation range)間の境界部分で生じる歪みを抑制するために、隣接する変換範囲が時間軸に沿って50%重複するように、オーディオ信号にMDCTを施す。更に、オーディオ信号は、(ロングウィンドウにより定義される)長い変換範囲又は(それぞれがショートウィンドウにより定義される)短い変換範囲を用いて、周波数領域にマッピングされる。ロングウィンドウは、2048個のサンプルを含み、ショートウィンドウは、256個のサンプルを含む。ロングウィンドウから生成されるMDCT係数の個数は、1024個であり、各ショートウィンドウから生成されるMDCT係数の個数は、128個である。一般的に、信号波形の変化が僅かな安定した部分では、ロングウィンドウタイプを用いる必要がある。一方、信号波形の変化が激しい動的な部分では、ショートウィンドウタイプを用いる必要がある。いずれのウィンドウタイプを用いるかは、重要である。過渡信号にロングウィンドウタイプを用いると、動的な部分に先立って、プレエコーと呼ばれる雑音が生じる。逆に、安定した信号にショートウィンドウタイプを用いると、周波数領域の解像度の不足のために、適切なビット割当が行われず、符号化効率が低下し、やはり雑音が生じる。このような問題は、特に低周波数音に顕著に表れる。
MPEG規格が提案する手法では、スペクトルデータのフレームのウィンドウタイプを決定するために、まず、時間領域オーディオデータを高速フーリエ変換(Fast Fourier Transform:FFT)し、FFT係数を算出する。次に、FFT係数を用いて、フレーム内の各換算係数帯域について、オーディオ信号強度を算出する。また、フレームの許容できる歪みレベルを判定するために、心理音響モデリングも用いられる。許容できる歪みレベルとは、スペクトルデータに重畳しても、人間の耳には聞こえない雑音の最大レベルを意味する。許容できる歪みレベル及びフレーム内の各換算係数帯域のオーディオ信号強度に基づいて心理聴覚エントロピ(perceptual entropy)が算出される。心理聴覚エントロピが所定の定数より大きければ、フレームには、ショートウィンドウタイプが用いられる。この他の場合、フレームには、ロングウィンドウタイプが用いられる。
ウィンドウタイプを決定するための上述の手法は、多くの演算を必要とする。更に、信号強度が強い場合、信号が過渡的であるか安定しているかに関わらず、心理聴覚エントロピの計算結果が高くなることがある。したがって、フレームが過渡的ではなくても、そのフレームにショートウィンドウタイプを割り当ててしまうことがある。これにより、上述のように、符号化効率が低下し、雑音が生じる。
更に、ショートウィンドウタイプを用いると決定した場合、MDCT係数の8つの連続したブロック(ショートウィンドウ)が生成される。ショートウィンドウに関連する副情報(side information)の量を削減するために、ショートウィンドウをグループ化することができる。各グループは、換算係数が同じ1つ以上の連続するショートウィンドウを含む。しかしながら、グループ化が適切に行われないと、符号の数が増加し、又は音質が劣化する。また、ショートウィンドウの数に対してグループの数が多過ぎると、共通に符号化できる筈の換算係数を繰り返して符号化することとなり、この結果符号化効率が低下する。逆に、ショートウィンドウの数に対して、グループの数が少な過ぎると、オーディオ信号の変化が激しい場合にも、共通の換算係数が用いられてしまう。この結果、音質が劣化する。MPEG規格は、ショートウィンドウをグループ化するための特定の手法は提供していない。
ロングウィンドウタイプを用いて、データの現フレーム及びデータの次フレームについて、予備的修正離散コサイン変換(MDCT)係数を算出する。そして、現在及び次フレームの算出された予備的MDCT係数を用いて、現フレームのウィンドウタイプを決定する。決定されたウィンドウタイプがロングウィンドウタイプでない場合、現フレームについて、決定されたウィンドウタイプを用いて複数の最終的なMDCT係数を算出する。
以下、添付の図面を用いて、本発明の実施例を詳細に説明する。添付の図面においては、類似する要素には、類似する参照符号を付す。添付の図面は、本発明を実現する特定の実施例を例示的に示している。これらの実施例については、当業者が本発明を実施することができるよう、詳細に説明するが、この他の実施例も可能であり、本発明の範囲から逸脱することなく、論理的、機械的、電気的、機能的及びこの他の変更を行うことができる。したがって、以下の詳細な説明は、限定的には解釈されず、本発明の範囲は、添付の請求の範囲によってのみ定義される。
まず、図1に示す符号化装置100の一実施形態により、本発明の動作の概観について説明する。符号化装置100は、本明細書では総称的にMPEG規格と呼ぶMPEG音声符号化規格(例えば、MPEG−2AAC規格、MPEG−4AAC規格等)に準拠する。符号化装置100は、フィルタバンクモジュール102と、符号化ツール104と、心理音響モデラ106と、量子化モジュール110と、ハフマン符号化モジュール114とを備える。
フィルタバンクモジュール102は、オーディオ信号を受け取り、修正離散コサイン変換(modified discrete cosine transform:MDCT)処理を実行し、オーディオ信号を周波数領域にマッピングする。このマッピングは、解析される信号を時間的に拡張し、周波数分解能を向上させる(ロングウィンドウにより定義される)長い変換範囲を用いて、又は解析される信号を時間的に縮小し、時間分解能を向上させる(ショートウィンドウにより定義される)短い変換範囲を用いて実行される。ロングウィンドウタイプは、安定した信号のみが存在する場合に使用され、ショートウィンドウタイプは、急速な信号変化がある場合に使用される。解析される信号の特性に基づくこれらの2つのタイプの処理を用いることによって、時間分解能が不十分な場合に生じるプレエコーと呼ばれる不快な雑音の発生を防止することができる。
後により詳細に説明するように、フィルタバンクモジュール102は、どのウィンドウタイプを用いたらよいかを決定し、及び決定されたウィンドウタイプを用いてMDCT係数を生成する。また、一実施形態では、フィルタバンクモジュール102は、MDCT係数を生成するためにショートウィンドウタイプが使用されている場合、グループ化を実行する役割も担う。このグループ化により、ショートウィンドウに関連する副情報(side information)の量が削減される。各グループは、換算係数が同じ1つ以上の連続するショートウィンドウを含む。
符号化ツール104は、スペクトル処理の任意のツールのセットを含む。例えば、符号化ツール104は、予測符号化を実行するためのゆらぎ雑音シェーピング(temporal noise shaping:TNS)ツール及び予測ツールを含んでいてもよく、立体音響相関符号化(stereophonic correlation coding)を実行するための強度/結合ツール(intensity/coupling tool)及びミドルサイドステレオ(M/S)ツールを含んでいてもよい。
心理音響モデラ106は、サンプルを分析し、聴覚マスキング曲線を決定する。聴覚マスキング曲線は、各サンプルに重畳しても、人間の耳には聞こえない雑音の最大レベルを示す。ここで、人間の耳に聞き取られるレベルは、人間の聴覚の心理音響モデルに基づいて判定される。聴覚マスキング曲線は、望ましい雑音スペクトルの推定値として機能する。
量子化モジュール110は、周波数スペクトルデータのための最適な換算係数を選択する。換算係数選択処理は、マスキング曲線から算出された許容される歪み及び符号化の際に指定されるビットレートから算出された許容できるビット数に基づいて行われる。最適な換算係数が選択されると、量子化モジュール110は、これらの最適な換算係数を用いて、周波数スペクトルデータを量子化する。この結果得られる量子化されたスペクトル係数は、換算係数帯域(scalefactor band:SFB)にグループ化される。各SFBは、同じ換算係数を用いて生成された係数を含む。
ハフマン符号化モジュール114は、量子化されたスペクトル係数の各グループについて、最適なハフマンコードブックを選択し、この最適なハフマンコードブックを用いてハフマン符号化処理を実行する。そして、これにより得られる可変長符号(variable length code:VLC)、符号化で用いられたコードブックを特定するデータ、量子化モジュール110によって選択された換算係数及びこの他の何らかの情報を組み合わせて、ビットストリームが生成される。
一実施形態においては、フィルタバンクモジュール102は、ウィンドウタイプ判定器108、MDCT係数算出器112及びショートウィンドウグループ化判定器116を含む。ウィンドウタイプ判定器108は、MDCT処理のために用いられるウィンドウタイプを決定する。後に詳細に説明するように、一実施形態においては、この決定は、ロングウィンドウの使用を優先するウィンドウタイプ決定方法を用いる。
MDCT係数算出器112は、決定されたウィンドウタイプを用いてMDCT係数を算出する。一実施形態においては、MDCT係数算出器112は、まず、仮定されたロングウィンドウタイプを用いて予備的MDCT係数を算出する。そして、用いられるウィンドウタイプがロングウィンドウタイプではないとウィンドウタイプ判定器108が決定した場合、MDCT係数算出器112は、決定されたウィンドウタイプを用いてMDCT係数を再計算する。この他の場合、予備的MDCT係数を再計算する必要はない。
ショートウィンドウグループ化判定器116は、ショートウィンドウタイプが使用されている場合、ショートウィンドウをどのようにグループ化するかを定義する。一実施形態においては、ショートウィンドウグループ化判定器116は、各ショートウィンドウに関連するエネルギに基づいて、ショートウィンドウを2つのグループにグループ化する予備的なグループ化を実行する。後に詳細に説明するように、2つの予備的グループのいずれかが大き過ぎる場合、大きいグループは、更に2つ以上の更なるグループに分けられる。
図2〜図9は、本発明の様々な実施形態に基づき、図1のフィルタバンクモジュール102が実行する処理のフローチャートである。この処理は、ハードウェア(例えば回路、専用ロジック等)、ソフトウェア(汎用コンピュータシステム又は専用マシン上で実行されるソフトウェア)又はこれらの両方の組合せを含む処理ロジックによって実行してもよい。ソフトウェアによって実現できる処理については、これらのフローチャートを用いて本発明を説明することにより、当業者は、適切に構成されたコンピュータによってこの処理を実行するための命令を含むプログラムを開発することができる(コンピュータのプロセッサは、メモリを含むコンピュータにより読取可能な媒体から命令を読み出し、実行する)。コンピュータにより実行可能な命令は、コンピュータプログラミング言語として書いてもよく、ファームウェアロジックとして実現してもよい。一般的に認知されている規格に準拠するプログラミング言語で書いた場合、このような命令は、様々なオペレーティングシステムにインタフェースされ、様々な種類のハードウェアプラットホームで実行できる。更に、本発明では、如何なる特定のプログラミング言語にも基づくことなく、本発明を説明する。ここに開示する本発明の処理を実現するために、様々なプログラミング言語を用いてることができることは明らかである。更に、当分野においては、動作を行い又は結果を生じるものとして、ソフトウェアを様々な呼び方で呼ぶことがある(例えば、プログラム、手続き、プロセス、アプリケーション、モジュール、ロジック等)。これらの表現は、コンピュータによるソフトウェアの実行によって、コンピュータのプロセッサが動作を実行し又は結果を生じるということを単に簡略的に表現しているに過ぎない。また、本発明の範囲から逸脱することなく、図2〜図9に示す処理ステップを省略してもよく、他のステップを追加してもよく、更に、ここで説明する処理ステップの実行順序を変更してもよい。
図2は、フレームのスペクトルデータにMDCTを実行する処理200の一実施形態のフローチャートである。
図2に示すように、処理ロジックは、まず、現フレームの1組の予備的MDCT係数を算出し、次フレームの1組の予備的MDCT係数を算出する(処理ステップ202)この演算は、現フレーム及び次フレームの両方のウィンドウタイプがロングウィンドウタイプであるとの仮定の下で実行される。現在の及び次フレームについて算出された予備的MDCT係数は、バッファに保存される。一実施形態においては、現フレーム及び次フレームは、時間軸に沿って生成されるサンプルのフレームのシーケンス(また、ブロックとも呼ばれる。)において、隣接するフレームが互いに重複(例えば、50%)するように隣接する2つのフレームである。この重複により、隣接するフレーム間の境界部分における歪みが抑制される。
処理ステップ204において、処理ロジックは、現フレームの予備的MDCT係数及び次フレームの予備的MDCT係数を用いて現フレームのウィンドウタイプを決定する。ウィンドウタイプは、ロングウィンドウの使用を優先するウィンドウタイプ決定方法を用いて決定される。このような方法の一実施形態については、図3を用いて以下で更に詳細に説明する。
判定ステップ206では、処理ロジックは、現フレームについて決定されたウィンドウタイプが、ロングウィンドウタイプであるかを判定する。これに該当する場合、処理ロジックは、決定されたウィンドウタイプを用いて、現フレームの1組の最終的なMDCT係数を算出する(処理ステップ208)。これに該当しない場合、処理ロジックは、現フレームの予備的MDCT係数を最終的なMDCT係数であるとみなす(処理ステップ210)。
図3は、ウィンドウタイプ決定処理300の一実施形態のフローチャートである。
図3に示すように、処理ロジックは、まず、次フレームにおいて、安定した信号から過渡信号への遷移のインストラクションがあるかを判定する(判定ステップ302)。一実施形態においては、この判定は、現フレームに関連するエネルギと、次フレームに関連するエネルギとの比較に基づいて行われる。フレームにおける安定した信号から過渡信号への遷移を検出するための処理の一実施形態については、図4を用いて後に詳細に説明する。
判定ステップ302における判定が該当する場合、処理ロジックは、次フレームの予備的ウィンドウタイプをショートウィンドウタイプに決定する(処理ステップ304)。この他の場合、処理ロジックは、次フレームの予備的ウィンドウタイプをロングウィンドウタイプに決定する(処理ステップ306)。
更に、処理ロジックは、次フレームの予備的ウィンドウタイプ及び前フレームのウィンドウタイプに基づいて、現フレームのウィンドウタイプを決定する(処理ステップ308)。現フレームのウィンドウタイプの決定は、ロングウィンドウタイプの使用を優先する。MPEG規格によって定義されるように、各別個のウィンドウタイプに2つの過渡的なウィンドウタイプが続くことができる一実施形態においては、処理ロジックは、現フレーム及び後続するフレームにおいて、ショートウィンドウの使用を最小化するウィンドウタイプを選択する。すなわちMPEG規格は、各別個のウィンドウタイプから2つの過渡的なウィンドウタイプについて、現フレーム又は次フレームでショートウィンドウの使用を容認する一方の過渡的なウィンドウタイプと、現フレーム又は次フレームでロングウィンドウの使用を容認する他方の過渡的なウィンドウタイプとを提供する。具体的には、MPEG規格は、以下の遷移を容認する。
a.ロングウィンドウタイプからロングウィンドウタイプ又はロングショートウィンドウタイプのいずれかへの遷移。
b.ロングショートウィンドウタイプからショートウィンドウタイプ又はショートロングウィンドウタイプのいずれかへの遷移。
c.ショートロングウィンドウタイプからロングウィンドウタイプ又はロングショートウィンドウタイプのいずれかへの遷移。
d.ショートウィンドウタイプからショートウィンドウタイプ又はショートロングウィンドウタイプのいずれかへの遷移。
すなわち、例えば、前フレームのウィンドウタイプがショートロングウィンドウタイプであり、次フレームの予備的ウィンドウタイプがロングウィンドウタイプである場合、処理ロジックは、現フレームについて、次フレームでショートウィンドウが使用されやすくなる別の選択肢であるロングショートウィンドウタイプではなく、ロングウィンドウタイプを選択する。
次フレームの予備的ウィンドウタイプ及び前フレームのウィンドウタイプに基づいて、現フレームのウィンドウタイプを決定する処理の一実施形態については、図5を用いて後に詳細に説明する。
上述したウィンドウタイプ決定方法は、MDCT演算と組み合わされ、MDCTデータに対して直接実行できるため、高速フーリエ変換(FFT)処理及び心理聴覚エントロピの演算は不要である。更に、上述したウィンドウタイプ決定方法は、ロングウィンドウの使用を優先するため、ショートウィンドウの使用を最小化することができる。この手法では、安定した信号から過渡信号への遷移のインストラクションが検出された場合のみ、ショートウィンドウを用いる。
図4は、フレームにおける安定した信号から過渡信号への遷移のインストラクションを検出する処理400の一実施形態のフローチャートである。
図4に示すように、処理ロジックは、まず、現フレームの1組のMDCT係数を算出し、次フレームの1組の予備的MDCT係数を算出する(処理ステップ402)。そして、処理ロジックは、算出されたMDCT係数の組をバッファに保存する。
処理ステップ404において、処理ロジックは、現フレームの算出された予備的MDCT係数を用いて、現フレームの総エネルギを算出する。一実施形態においては、現フレームの総エネルギは、i=0〜1023とし、現フレームにおけるi番目のMDCT係数をcurrent_coef[i]とし、Cを累算のオーバーフローを防止するために用いられる定数(例えば、16ビットレジスタの場合C=32767)として、current_total_energy=sum(current_coef[i]*current_coef[i]/C)により算出される。
処理ステップ406では、処理ロジックは、次フレームの算出された予備的MDCT係数を用いて次フレームの総エネルギを算出する。同様に次フレームの総エネルギは、i=0〜1023とし、次フレームにおけるi番目のMDCT係数をnext_coef[i]とし、Cを累算のオーバーフローを防止するために用いられる定数(例えば、16ビットレジスタの場合C=32767)として、next_total_energy=sum(next_coef[i]*next_coef[i]/C)により算出される。
処理ステップ408では、処理ロジックは、現フレームの総エネルギ及び次フレームの総エネルギを対数的に換算する。一実施形態においては、この換算は、c_pow=log(current_total_energy)及びn_pow=log(next_total_energy)に基づいて行う。処理ステップ410では、処理ロジックは、次フレームの換算された総エネルギから現フレームの換算された総エネルギを減算することによって傾斜エネルギを算出する。
次に、処理ロジックは、判定ステップ412において、傾斜エネルギが閾値(例えば、1)を超えているかを判定する。一実施形態においては、閾値は、経験的に定義される。判定ステップ412の判定の結果が該当する場合、処理ロジックは、次フレームにおいて過渡信号への遷移の可能性が高いと決定する(処理ステップ414)。
図5は、次フレームの予備的ウィンドウタイプ及び前フレームのウィンドウタイプに基づいて、現フレームのウィンドウタイプを決定する処理500の一実施形態のフローチャートである。
図5に示すように、処理ロジックは、まず、次フレームの予備的ウィンドウタイプがロングウィンドウタイプであるかを判定する(判定ステップ502)。この判定の結果が該当する場合、処理ロジックは、更に、前フレームのウィンドウタイプが、ロングウィンドウタイプ又はショートロングウィンドウタイプのいずれかであるかを判定する(判定ステップ504)。これに該当する場合、処理ロジックは、現フレームのウィンドウタイプをロングウィンドウタイプに決定する(処理ステップ506)。これ以外の場合、処理ロジックは、現フレームのウィンドウタイプをショートロングウィンドウタイプに決定する(処理ステップ508)。
判定ステップ502における判定が該当しない場合、すなわち、次フレームの予備的ウィンドウタイプがショートウィンドウタイプである場合、処理ロジックは、更に、前フレームのウィンドウタイプがロングウィンドウタイプ又はショートロングウィンドウタイプのいずれかであるかを判定する(判定ステップ510)。これに該当する場合、処理ロジックは、現フレームのウィンドウタイプをロングショートウィンドウタイプに決定する(処理ステップ512)。これ以外の場合、処理ロジックは、現フレームのウィンドウタイプをショートウィンドウタイプに決定する(処理ステップ514)。
一実施形態においては、フレームのためにショートウィンドウタイプを用いることを決定した場合、ショートウィンドウグループ化により、ショートウィンドウに関連する副情報の量を減少させる。各グループは、換算係数が同じ1つ以上の連続するショートウィンドウを含む。一実施形態においては、グループ化に関する情報は、指定されたビットストリーム要素に含まれる。一実施形態においては、グループ化に関する情報は、フレーム内のグループの数及び各フレーム内のショートウィンドウの数を含む。
図6は、フレーム内のショートウィンドウをグループ化するための処理600の一実施形態のフローチャートである。
図6に示すように、処理ロジックは、まず、フレーム内の第1のタイプのショートウィンドウ及び第2のタイプのショートウィンドウを特定する(処理ステップ602)。ショートウィンドウのタイプは、このウィンドウに関連するエネルギに基づいて特定される。ショートウィンドウのタイプを特定するための処理の一実施形態については、図7を用いて後に更に詳細に説明する。
処理ステップ604において、処理ロジックは、分類が正しくない可能性が高いショートウィンドウのタイプを調整する。一実施形態においては、ショートウィンドウの分類は、そのタイプが隣接するウィンドウのタイプに一致せず、隣接するウィンドウが同じタイプのものである場合、正しくない可能性が高い。フレーム内のショートウィンドウの数が8である一実施形態においては、この調整処理は、以下のように表現できる。win_index1〜6について、(candidate[win_index−1]=candidate[win_index+1])である場合、candidate[win_index]=candidate[win_index−1]。ここで、win_indexは、フレーム内のショートウィンドウの数を表し、candidate[win_index]、candidate[win_index−1]、candidate_[win_index+1]は、それぞれ、現在のウィンドウのタイプ、前のウィンドウのタイプ、次のウィンドウのタイプを表す。
処理ステップ606において、処理ロジックは、各ウィンドウのタイプに基づいて、フレーム内のショートウィンドウを2つの予備的グループにグループ化する。ショートウィンドウの2つの予備的グループを作成する処理の一実施形態については、図8を用いて後に更に詳細に説明する。
判定ステップ608では、処理ロジックは、いずれかの予備的グループにおけるショートウィンドウの数が閾値数を超えているかを判定する。一実施形態においては、この閾値数は、経験的に定義された定数である。この閾値数に応じて、大き過ぎる予備的グループがない、若しくはいずれか又は両方の予備的グループが大き過ぎると判断される。他の実施形態においては、閾値数は、他の予備的グループにおけるショートウィンドウの数であり、処理ロジックは、1つの予備的グループのショートウィンドウの数が、他の予備的グループのショートウィンドウの数を超えている場合、閾値を超えていると判断する。比較を用いる場合、大き過ぎると判断される予備的グループは、0個又は1個である。グループが大き過ぎる場合、異なる特性を有するショートウィンドウがグループ化されている可能性が高い。したがって、このグループに対して共通の換算係数を用いると、音質が劣化する虞がある。
処理ロジックが、判定ステップ608において、2つの予備的グループのいずれかが大き過ぎると判断した場合、処理ロジックは、大きな予備的グループを更に2つ以上最終的なグループに区切る(処理ステップ610)。最終的なグループ化は、符号化効率及び音質の間のバランスを考慮したグループ数が実現されるような手法で実行される。ショートウィンドウの最終的なグループ化を実行するための処理の一実施形態については、図9を用いて後に更に詳細に説明する。
処理ステップ612において、処理ロジックは、最終的なグループ化に基づいて、フレーム内のグループの数及び各グループ内のショートウィンドウの数を決定する。
図7は、ショートウィンドウのタイプを決定するための処理700の一実施形態のフローチャートである。
図7に示すように、処理ロジックは、まず、フレーム内の各ショートウィンドウのエネルギを算出する(処理ステップ702)。一実施形態においては、各ショートウィンドウのエネルギは、フレーム内の現在のショートウィンドウの数を[win_index]とし、これにより得られるエネルギをwin_energyとし、ショートウィンドウ内のi番目のスペクトル係数をcoef[i]として、win_energy[win_index]=log(sum(coef[i]*coef[i])+0.5]により算出される。
次に、処理ロジックは、最小のエネルギを有するショートウィンドウを発見し(処理ステップ704)、フレーム内の各ショートウィンドウについて、オフセットエネルギ値を算出する(処理ステップ706)。一実施形態においては、オフセットエネルギ値は、対応するショートウィンドウのエネルギから最小のエネルギを減算することによって算出される。
処理ステップ708において、処理ロジックは、フレーム内の全てのオフセットエネルギ値の合計をフレーム内のショートウィンドウの数で除算することにより、フレームのオフセットエネルギの平均値を算出する。
判定ステップ710において、処理ロジックは、第1のショートウィンドウについて、オフセットエネルギ値がオフセットエネルギの平均値を超えているかを判定する。これに該当する場合、処理ロジックは、ショートウィンドウが第1のタイプのものであると判定する(処理ステップ712)。この他の場合、処理ロジックは、ショートウィンドウが第2のタイプのものであると判定する(処理ステップ714)。
次に、処理ロジックは、フレーム内に更なる未処理のウィンドウがあるかを判定する(判定ステップ715)。これに該当する場合、処理ロジックは、次のショートウィンドウに移行し(処理ステップ716)、判定ステップ710における判定を行う。これ以外の場合、処理700は、終了する。
図8は、ショートウィンドウの2つの予備的グループを作成するための処理800の一実施形態のフローチャートである。
図8に示すように、処理ロジックは、まず、1組の変数を初期化する(処理ステップ802)。例えば、処理ロジックは、前のウィンドウタイプ変数の値を第1のショートウィンドウのタイプに、予備的グループ数の変数の値を1に、第1の予備的グループの長さの変数の値を1に設定することができる。
次に、処理ロジックは、フレーム内の第2のショートウィンドウから、ショートウィンドウの処理を開始する。具体的には、処理ロジックは、現在のショートウィンドウのタイプが第1のショートウィンドウのタイプと同じであるかを判定する(判定ステップ804)。これに該当する場合、処理ロジックは、第1の予備的グループの長さを1インクリメントし(処理ステップ806)、更なる未処理のショートウィンドウが残っているかを判定する(判定ステップ808)。更なる未処理のショートウィンドウが残っている場合、処理ロジックは、次のショートウィンドウに移行し(処理ステップ810)、判定ステップ804に戻る。更なる未処理のショートウィンドウが残っていない場合、処理800は、終了する。
処理ロジックが、判定ステップ804において、現在のショートウィンドウのタイプが第1のショートウィンドウのタイプと同じではないと判定した場合、処理ロジックは、予備的グループの数を2に設定し(処理ステップ812)、ショートフレームの総数(例えば、8)から第1の予備的グループの長さを減算することによって、第2の予備的グループの長さを算出する(処理ステップ814)。
図9は、ショートウィンドウの最終的なグループ化を実行するための処理900の一実施形態のフローチャートである。処理900は、フレームのショートウィンドウの数を8とするMPEG規格に基づいて実行される。
図9に示すように、処理ロジックは、第1の予備的グループの長さが閾値(例えば、4)を超えているかを判定する(判定ステップ902)。これに該当する場合、処理ロジックは、更に、第1の予備的グループの長さが8であるかを判定する(判定ステップ904)。これに該当する場合、処理ロジックは、グループの最終的な数を2に設定し、第1の最終的なグループの長さ第1の予備的グループの長さを設定し、第2の最終的なグループの長さを第2の予備的グループの長さに設定する(処理ステップ906)。これ以外の場合、処理ロジックは、グループの最終的な数を3に設定し(処理ステップ908)、第3の最終的なグループの長さを第2の予備的グループの長さに設定し(処理ステップ910)、第2の予備的グループの長さを2で除算することによって第2の最終的なグループの長さを算出し(この演算は、window_group_length[1]>>1と表される。)(処理ステップ912)、第1の予備的グループの長さから第2の最終的なグループの長さを減算することによって第1の最終的なグループの長さを算出する(処理ステップ914)。
処理ロジックが判定ステップ902において、第1の予備的グループの長さが閾値を超えていないと判定した場合、処理ロジックは、更に、第1の予備的グループの長さが閾値を下回っているかを判定する(判定ステップ916)。これに該当する場合、処理ロジックは、グループの最終的な数を3に設定し(処理ステップ917)、第2の予備的グループの長さを2で除算することによって第3の最終的なグループの長さを算出し(この演算は、window_group_length[2]>>1と表される。)(処理ステップ918)、第2の予備的グループの長さから第3の最終的なグループの長さを減算することによって第2の最終的なグループの長さを算出し(処理ステップ920)、第1の最終的なグループの長さを第1の予備的グループの長さに設定する(処理ステップ922)。
処理ロジックが、判定ステップ916において、第1の予備的グループの長さが閾値を下回っていないと判定した場合、処理ロジックは、グループの数を2に設定し、第1の最終的なグループの長さを第1の予備的グループの長さに設定し、第2の最終的なグループの長さを第2の予備的グループの長さに設定する(処理ステップ924)。
図10は、フレームのショートウィンドウのグループ化の具体例を示している。
図10に示すように、グループ化されるショートウィンドウのタイプは、グループ化ビット(grouping_bits)「11100011」で表現される。ショートウィンドウのタイプは、図7の処理700により決定できる。ショートウィンドウのこれらのタイプに基づいて、まず、図8の処理800に基づき、ショートウィンドウを2つの予備的グループにグループ化でき、これにより、3つのショートウィンドウを有する第1の予備的グループと、5つのショートウィンドウを有する第2の予備的グループとを作成する。次に、図9の処理900に基づき、閾値数を4として、第2の予備的グループを2つのグループに更に区切ることができる。この結果、3つのショートウィンドウを有する第1の最終的なグループと、3つのショートウィンドウを有する第2の最終的なグループと、2つのショートウィンドウを有する第3の最終的なグループとからなる3つの最終的なグループが作成される。
以下に示す図11を参照した説明は、本発明の実施に適したコンピュータハードウェア及び他の操作コンポーネントに関する概要を明らかにするためのものであるが、これは、適用可能な環境を制限するものではない。図11は、コンピュータシステムの一実施形態を示す図1の符号化装置100又はフィルタバンクモジュール102の実現に好適なコンピュータシステムを示している。
コンピュータシステム1140は、それぞれがシステムバス1165に接続されたプロセッサ1150と、メモリ1155と、入出力装置(input/output capability)1160とを備える。メモリ1155は、プロセッサ1150によって実行されることにより、ここに説明する処理を実現する命令を格納するよう構成されている。入出力装置1160は、プロセッサ1150によってアクセス可能なあらゆる種類のストレージ装置を含む、様々な種類の、コンピュータにより読取可能な媒体を含んでいる。なお、「コンピュータにより読取可能な媒体」という用語は、デジタル信号がエンコードされた搬送波をも含むことは、当業者にとって明らかである。コンピュータシステム1140は、メモリ1155において実行されるオペレーティングシステムソフトウェアによって制御される。入出力装置1160及びこれに関連する媒体は、このオペレーティングシステムソフトウェアと、本発明に基づく処理とに関する命令と、アクセスユニットとを格納している。図1に示すフィルタバンクモジュール102は、プロセッサ1150に接続されたそれぞれ独立した要素であってもよく、プロセッサ1150に接続されたそれぞれ独立した要素であってもよく、プロセッサ1150によって実行される、コンピュータにより実行可能な命令として実現してもよい。一実施例においては、コンピュータシステム1140は、インターネットサービスプロバイダ(Internet Service Provider:以下、ISPという。)の一部であってもよく、或いは、入出力装置1160を介してISPに接続され、インターネットを介してアクセスユニットを送受信してもよい。なお、本発明は、インターネットアクセス及びインターネットウェブサイトに限定されるものではなく、直接接続されたコンピュータシステム及びプライベートネットワークに適用してもよいことは明らかである。
なお、コンピュータシステム1140は、異なるアーキテクチャを有する様々な可能なコンピュータシステムの一例に過ぎないことは明らかである。一般的なコンピュータシステムは、少なくともプロセッサと、メモリと、プロセッサ及びメモリを接続するバスとを備えている場合が多い。なお、本発明は、マルチプロセッサシステム、ミニコンピュータ、メインフレームコンピュータ等を含む、他のコンピュータシステム構成によっても実現できることは当業者にとって明らかである。更に、本発明は、通信ネットワークを介してリンクされたリモートの処理装置によってタスクが実行される分散型コンピュータシステム環境によっても実現することができる。
オーディオ符号化においてショートウィンドウをグループ化する様々な側面について説明した。ここでは、特定の実施の形態を示したが、ここに示した特定の実施の形態に代えて、同じ目的を達成する如何なる構成を用いてもよいことは当業者にとって明らかである。したがって、本出願は、本発明のあらゆる適応例及び変形例を包含するものとする。
符号化装置の一実施形態のブロック図である。 フレームのスペクトルデータにMDCTを実行する処理の一実施形態のフローチャートである。 ウィンドウタイプ決定処理の一実施形態のフローチャートである。 フレームにおける安定した信号から過渡信号への遷移のインストラクションを検出する処理の一実施形態のフローチャートである。 次フレームの予備的ウィンドウタイプ及び前フレームのウィンドウタイプに基づいて現フレームのウィンドウタイプを決定する処理の一実施形態のフローチャートである。 フレーム内でショートウィンドウをグループ化する処理の一実施形態のフローチャートである。 ショートウィンドウのタイプを決定する処理の一実施形態のフローチャートである。 ショートウィンドウの2つの予備的グループを作成する処理の一実施形態のフローチャートである。 ショートウィンドウの最終的なグループ化を実行する処理の一実施形態のフローチャートである。 フレームのショートウィンドウのグループ化の具体例を示す図である。 本発明の実施形態の実現に適するコンピュータ環境のブロック図である。

Claims (10)

  1. コンピュータによって実行される方法であって、
    オーディオデータの次フレームにおいて、安定した信号から過渡信号への遷移の指示を検出するステップを有し、
    上記指示を検出するステップは、
    現フレーム及び次フレームそれぞれのロングウィンドウタイプを用いて、該現フレームのデータのための複数の修正離散コサイン変換(MDCT)係数を算出し、該次フレームのデータのための複数の予備的MDCT係数を算出するステップと、
    上記現フレームの複数の予備的MDCT係数を用いて該現フレームの総エネルギを算出するステップと、
    上記次フレームの複数の予備的MDCT係数を用いて該次フレームの総エネルギを算出するステップと、
    上記現フレームの総エネルギ及び上記次フレームの総エネルギを対数的に換算するステップと、
    上記次フレームの換算された総エネルギから上記現フレームの換算された総エネルギを減算することによって傾斜エネルギを算出するステップと、
    上記傾斜エネルギが閾値を超えているかを判定するステップと、
    上記傾斜エネルギが閾値を超えている場合、上記次フレームにおいて、過渡信号への遷移がある可能性が高いと判定するステップと、を含み、
    さらに、方法は、
    過渡信号への遷移がある可能性が高いと判定された場合、上記次フレームの予備的ウィンドウタイプをショートウィンドウタイプに決定し、過渡信号への遷移がある可能性が高いと判定されなかった場合、上記次フレームの予備的ウィンドウタイプをロングウィンドウタイプに決定するステップと、
    上記次フレームの予備的ウィンドウタイプ及びオーディオデータの前フレームのウィンドウタイプに基づいて、オーディオデータの現フレームのウィンドウタイプを判定するステップと、を有し、
    上記オーディオデータは、上記ウィンドウタイプによって定義される変換範囲を用いて周波数領域に変換されることを特徴としており、
    上記現フレームのウィンドウタイプを判定するステップは、
    上記前フレームのウィンドウタイプを特定するステップと、
    上記前フレームのウィンドウタイプから上記次フレームの予備的ウィンドウタイプへの遷移について、ショートウィンドウタイプよりロングウィンドウタイプを優先して、上記現フレームのためのウィンドウタイプを選択するステップと、を含み、
    上記ウィンドウタイプを選択するステップは、さらに、
    上記次フレームの予備的ウィンドウタイプがロングウィンドウタイプであり、上記前フレームのウィンドウタイプがロングウィンドウタイプ又はショート−ロングウィンドウタイプである場合、上記現フレームについて、ロングウィンドウタイプを選択するステップと、
    上記次フレームの予備的ウィンドウタイプがロングウィンドウタイプであり、上記前フレームのウィンドウタイプがショートウィンドウタイプ又はロング−ショートウィンドウタイプである場合、上記現フレームについて、ショート−ロングウィンドウタイプを選択するステップと、
    上記次フレームの予備的ウィンドウタイプがショートウィンドウタイプであり、上記前フレームのウィンドウタイプがロングウィンドウタイプ又はショート−ロングウィンドウタイプである場合、上記現フレームについて、ロング−ショートウィンドウタイプを選択するステップと、
    上記次フレームの予備的ウィンドウタイプがショートウィンドウタイプであり、上記前フレームのウィンドウタイプがショートウィンドウタイプ又はロング−ショートウィンドウタイプである場合、上記現フレームについて、ショートウィンドウタイプを選択するステップと、を含むことを特徴とする方法。
  2. 上記複数の予備的MDCT係数は、時間軸に沿って生成された複数の対応するサンプルから算出されることを特徴とする請求項1記載のウィンドウタイプ決定方法。
  3. 上記閾値は、経験的に設定されることを特徴とする請求項1記載のウィンドウタイプ決定方法。
  4. プロセッサにより実行されて、該プロセッサにウィンドウタイプ決定方法を実行させる命令を提供するコンピュータにより読取可能な媒体において、該ウィンドウタイプ決定方法は、
    オーディオデータの次フレームにおいて、安定した信号から過渡信号への遷移の指示を検出するステップを有し、
    上記指示を検出するステップは、
    現フレーム及び次フレームそれぞれのロングウィンドウタイプを用いて、該現フレームのデータのための複数の修正離散コサイン変換(MDCT)係数を算出し、該次フレームのデータのための複数の予備的MDCT係数を算出するステップと、
    上記現フレームの複数の予備的MDCT係数を用いて該現フレームの総エネルギを算出するステップと、
    上記次フレームの複数の予備的MDCT係数を用いて該次フレームの総エネルギを算出するステップと、
    上記現フレームの総エネルギ及び上記次フレームの総エネルギを対数的に換算するステップと、
    上記次フレームの換算された総エネルギから上記現フレームの換算された総エネルギを減算することによって傾斜エネルギを算出するステップと、
    上記傾斜エネルギが閾値を超えているかを判定するステップと、
    上記傾斜エネルギが閾値を超えている場合、上記次フレームにおいて、過渡信号への遷移がある可能性が高いと判定するステップと、を含み、
    さらに、方法は、
    過渡信号への遷移がある可能性が高いと判定された場合、上記次フレームの予備的ウィンドウタイプをショートウィンドウタイプに決定し、過渡信号への遷移がある可能性が高いと判定されなかった場合、上記次フレームの予備的ウィンドウタイプをロングウィンドウタイプに決定するステップと、
    上記次フレームの予備的ウィンドウタイプ及びオーディオデータの前フレームのウィンドウタイプに基づいて、オーディオデータの現フレームのウィンドウタイプを判定するステップと、を有し、
    上記オーディオデータは、上記ウィンドウタイプによって定義される変換範囲を用いて周波数領域に変換されることを特徴としており、
    上記現フレームのウィンドウタイプを判定するステップは、
    上記前フレームのウィンドウタイプを特定するステップと、
    上記前フレームのウィンドウタイプから上記次フレームの予備的ウィンドウタイプへの遷移について、ショートウィンドウタイプよりロングウィンドウタイプを優先して、上記現フレームのためのウィンドウタイプを選択するステップと、を含み、
    上記ウィンドウタイプを選択するステップは、さらに、
    上記次フレームの予備的ウィンドウタイプがロングウィンドウタイプであり、上記前フレームのウィンドウタイプがロングウィンドウタイプ又はショート−ロングウィンドウタイプである場合、上記現フレームについて、ロングウィンドウタイプを選択するステップと、
    上記次フレームの予備的ウィンドウタイプがロングウィンドウタイプであり、上記前フレームのウィンドウタイプがショートウィンドウタイプ又はロング−ショートウィンドウタイプである場合、上記現フレームについて、ショート−ロングウィンドウタイプを選択するステップと、
    上記次フレームの予備的ウィンドウタイプがショートウィンドウタイプであり、上記前フレームのウィンドウタイプがロングウィンドウタイプ又はショート−ロングウィンドウタイプである場合、上記現フレームについて、ロング−ショートウィンドウタイプを選択するステップと、
    上記次フレームの予備的ウィンドウタイプがショートウィンドウタイプであり、上記前フレームのウィンドウタイプがショートウィンドウタイプ又はロング−ショートウィンドウタイプである場合、上記現フレームについて、ショートウィンドウタイプを選択するステップと、を含むことを特徴とするコンピュータにより読取可能な媒体。
  5. 上記複数の予備的MDCT係数は、時間軸に沿って生成された複数の対応するサンプルから算出されることを特徴とする請求項記載のコンピュータにより読取可能な媒体。
  6. 上記決定された現フレームのウィンドウタイプがロングウィンドウタイプである場合、該現フレームの複数の最終的なMDCT係数として該現フレームの複数の予備的MDCT係数を用いることを特徴とする請求項記載のコンピュータにより読取可能な媒体。
  7. メモリと、
    上記メモリに接続された、少なくとも1つのプロセッサと、を備えるコンピュータシステムにおいて、
    上記少なくとも1つのプロセッサは、一連のインストラクションを実行することにより、
    オーディオデータの次フレームにおいて、安定した信号から過渡信号への遷移の指示を検出するステップを実行し、
    上記指示を検出するステップは、
    現フレーム及び次フレームそれぞれのロングウィンドウタイプを用いて、該現フレームのデータのための複数の修正離散コサイン変換(MDCT)係数を算出し、該次フレームのデータのための複数の予備的MDCT係数を算出するステップと、
    上記現フレームの複数の予備的MDCT係数を用いて該現フレームの総エネルギを算出するステップと、
    上記次フレームの複数の予備的MDCT係数を用いて該次フレームの総エネルギを算出するステップと、
    上記現フレームの総エネルギ及び上記次フレームの総エネルギを対数的に換算するステップと、
    上記次フレームの換算された総エネルギから上記現フレームの換算された総エネルギを減算することによって傾斜エネルギを算出するステップと、
    上記傾斜エネルギが閾値を超えているかを判定するステップと、
    上記傾斜エネルギが閾値を超えている場合、上記次フレームにおいて、過渡信号への遷移がある可能性が高いと判定するステップと、を含み、
    さらに、上記少なくとも1つのプロセッサがインストラクションを実行することにより、
    過渡信号への遷移がある可能性が高いと判定された場合、上記次フレームの予備的ウィンドウタイプをショートウィンドウタイプに決定し、過渡信号への遷移がある可能性が高いと判定されなかった場合、上記次フレームの予備的ウィンドウタイプをロングウィンドウタイプに決定するステップと、
    上記次フレームの予備的ウィンドウタイプ及びオーディオデータの前フレームのウィンドウタイプに基づいて、オーディオデータの現フレームのウィンドウタイプを判定するステップと、を実行し、
    上記オーディオデータは、上記ウィンドウタイプによって定義される変換範囲を用いて周波数領域に変換されることを特徴としており、
    上記現フレームのウィンドウタイプを判定するステップは、
    上記前フレームのウィンドウタイプを特定するステップと、
    上記前フレームのウィンドウタイプから上記次フレームの予備的ウィンドウタイプへの遷移について、ショートウィンドウタイプよりロングウィンドウタイプを優先して、上記現フレームのためのウィンドウタイプを選択するステップと、を含み、
    上記ウィンドウタイプを選択するステップは、さらに、
    上記次フレームの予備的ウィンドウタイプがロングウィンドウタイプであり、上記前フレームのウィンドウタイプがロングウィンドウタイプ又はショート−ロングウィンドウタイプである場合、上記現フレームについて、ロングウィンドウタイプを選択するステップと、
    上記次フレームの予備的ウィンドウタイプがロングウィンドウタイプであり、上記前フレームのウィンドウタイプがショートウィンドウタイプ又はロング−ショートウィンドウタイプである場合、上記現フレームについて、ショート−ロングウィンドウタイプを選択するステップと、
    上記次フレームの予備的ウィンドウタイプがショートウィンドウタイプであり、上記前フレームのウィンドウタイプがロングウィンドウタイプ又はショート−ロングウィンドウタイプである場合、上記現フレームについて、ロング−ショートウィンドウタイプを選択するステップと、
    上記次フレームの予備的ウィンドウタイプがショートウィンドウタイプであり、上記前フレームのウィンドウタイプがショートウィンドウタイプ又はロング−ショートウィンドウタイプである場合、上記現フレームについて、ショートウィンドウタイプを選択するステップと、を含むことを特徴とするコンピュータシステム。
  8. 上記複数の予備的MDCT係数は、時間軸に沿って生成された複数の対応するサンプルから算出されることを特徴とする請求項記載のコンピュータシステム。
  9. 上記プロセッサは、更に、上記決定された現フレームのウィンドウタイプがロングウィンドウタイプである場合、上記現フレームの複数の最終的なMDCT係数として該現フレームの複数の予備的MDCT係数を用いることを特徴とする請求項記載のコンピュータシステム。
  10. 装置であって、
    オーディオデータの次フレームにおいて、安定した信号から過渡信号への遷移の指示を検出する検出手段を有し、
    上記検出手段は、
    現フレーム及び次フレームそれぞれのロングウィンドウタイプを用いて、該現フレームのデータのための複数の修正離散コサイン変換(MDCT)係数を算出し、該次フレームのデータのための複数の予備的MDCT係数を算出する手段と、
    上記現フレームの複数の予備的MDCT係数を用いて該現フレームの総エネルギを算出する手段と、
    上記次フレームの複数の予備的MDCT係数を用いて該次フレームの総エネルギを算出する手段と、
    上記現フレームの総エネルギ及び上記次フレームの総エネルギを対数的に換算する手段と、
    上記次フレームの換算された総エネルギから上記現フレームの換算された総エネルギを減算することによって傾斜エネルギを算出する手段と、
    上記傾斜エネルギが閾値を超えているかを判定する手段と、
    上記傾斜エネルギが閾値を超えている場合、上記次フレームにおいて、過渡信号への遷移がある可能性が高いと判定する手段と、を有し、
    さらに、装置は、
    過渡信号への遷移がある可能性が高いと判定された場合、上記次フレームの予備的ウィンドウタイプをショートウィンドウタイプに決定し、過渡信号への遷移がある可能性が高いと判定されなかった場合、上記次フレームの予備的ウィンドウタイプをロングウィンドウタイプに決定する決定手段と、
    上記次フレームの予備的ウィンドウタイプ及びオーディオデータの前フレームのウィンドウタイプに基づいて、オーディオデータの現フレームのウィンドウタイプを判定する判定手段と、を備え、
    上記オーディオデータは、上記ウィンドウタイプによって定義される変換範囲を用いて周波数領域に変換されることを特徴としており、
    上記判定手段は、
    上記前フレームのウィンドウタイプを特定する手段と、
    上記前フレームのウィンドウタイプから上記次フレームの予備的ウィンドウタイプへの遷移について、ショートウィンドウタイプよりロングウィンドウタイプを優先して、上記現フレームのためのウィンドウタイプを選択する手段と、を有し、
    上記ウィンドウタイプを選択する手段は、さらに、
    上記次フレームの予備的ウィンドウタイプがロングウィンドウタイプであり、上記前フレームのウィンドウタイプがロングウィンドウタイプ又はショート−ロングウィンドウタイプである場合、上記現フレームについて、ロングウィンドウタイプを選択する手段と、
    上記次フレームの予備的ウィンドウタイプがロングウィンドウタイプであり、上記前フレームのウィンドウタイプがショートウィンドウタイプ又はロング−ショートウィンドウタイプである場合、上記現フレームについて、ショート−ロングウィンドウタイプを選択する手段と、
    上記次フレームの予備的ウィンドウタイプがショートウィンドウタイプであり、上記前フレームのウィンドウタイプがロングウィンドウタイプ又はショート−ロングウィンドウタイプである場合、上記現フレームについて、ロング−ショートウィンドウタイプを選択する手段と、
    上記次フレームの予備的ウィンドウタイプがショートウィンドウタイプであり、上記前フレームのウィンドウタイプがショートウィンドウタイプ又はロング−ショートウィンドウタイプである場合、上記現フレームについて、ショートウィンドウタイプを選択する手段と、を有することを特徴とする装置。
JP2006533960A 2003-09-29 2004-09-20 オーディオ符号化におけるmdctデータに基づくウィンドウタイプ決定方法 Expired - Fee Related JP4794452B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/674,616 2003-09-29
US10/674,616 US7325023B2 (en) 2003-09-29 2003-09-29 Method of making a window type decision based on MDCT data in audio encoding
PCT/US2004/031024 WO2005034080A2 (en) 2003-09-29 2004-09-20 A method of making a window type decision based on mdct data in audio encoding

Publications (2)

Publication Number Publication Date
JP2007512546A JP2007512546A (ja) 2007-05-17
JP4794452B2 true JP4794452B2 (ja) 2011-10-19

Family

ID=34376897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006533960A Expired - Fee Related JP4794452B2 (ja) 2003-09-29 2004-09-20 オーディオ符号化におけるmdctデータに基づくウィンドウタイプ決定方法

Country Status (7)

Country Link
US (1) US7325023B2 (ja)
EP (1) EP1676264B1 (ja)
JP (1) JP4794452B2 (ja)
KR (1) KR101157930B1 (ja)
CN (2) CN1997988B (ja)
DE (1) DE602004029065D1 (ja)
WO (1) WO2005034080A2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7325023B2 (en) * 2003-09-29 2008-01-29 Sony Corporation Method of making a window type decision based on MDCT data in audio encoding
DE602004025517D1 (de) * 2004-05-17 2010-03-25 Nokia Corp Audiocodierung mit verschiedenen codierungsrahmenlängen
US7937271B2 (en) * 2004-09-17 2011-05-03 Digital Rise Technology Co., Ltd. Audio decoding using variable-length codebook application ranges
EP1793372B1 (en) * 2004-10-26 2011-12-14 Panasonic Corporation Speech encoding apparatus and speech encoding method
KR100668319B1 (ko) * 2004-12-07 2007-01-12 삼성전자주식회사 오디오 신호의 변환방법 및 장치와 오디오 신호에적응적인 부호화방법 및 장치, 오디오 신호의 역변환 방법및 장치와 오디오 신호에 적응적인 복호화 방법 및 장치
US7546240B2 (en) * 2005-07-15 2009-06-09 Microsoft Corporation Coding with improved time resolution for selected segments via adaptive block transformation of a group of samples from a subband decomposition
MX2009006201A (es) 2006-12-12 2009-06-22 Fraunhofer Ges Forschung Codificador, decodificador y metodos para codificar y decodificar segmentos de datos que representan una corriente de datos del dominio temporal.
FR2911228A1 (fr) * 2007-01-05 2008-07-11 France Telecom Codage par transformee, utilisant des fenetres de ponderation et a faible retard.
US7761290B2 (en) 2007-06-15 2010-07-20 Microsoft Corporation Flexible frequency and time partitioning in perceptual transform coding of audio
CN101398825B (zh) * 2007-09-29 2013-07-03 三星电子株式会社 用于快速音乐分类和检索的方法和设备
EP2242047B1 (en) * 2008-01-09 2017-03-15 LG Electronics Inc. Method and apparatus for identifying frame type
CN102105930B (zh) * 2008-07-11 2012-10-03 弗朗霍夫应用科学研究促进协会 用于编码采样音频信号的帧的音频编码器和解码器
CN102216982A (zh) 2008-09-18 2011-10-12 韩国电子通信研究院 在基于修正离散余弦变换的译码器与异质译码器间转换的编码设备和解码设备
US9384748B2 (en) 2008-11-26 2016-07-05 Electronics And Telecommunications Research Institute Unified Speech/Audio Codec (USAC) processing windows sequence based mode switching
KR101315617B1 (ko) 2008-11-26 2013-10-08 광운대학교 산학협력단 모드 스위칭에 기초하여 윈도우 시퀀스를 처리하는 통합 음성/오디오 부/복호화기
WO2011013980A2 (en) * 2009-07-27 2011-02-03 Lg Electronics Inc. A method and an apparatus for processing an audio signal
CN102243872A (zh) * 2010-05-10 2011-11-16 炬力集成电路设计有限公司 对音频数字信号进行编码、解码的方法及系统
EP2645365B1 (en) * 2010-11-24 2018-01-17 LG Electronics Inc. Speech signal encoding method and speech signal decoding method
CN103325373A (zh) * 2012-03-23 2013-09-25 杜比实验室特许公司 用于传送和接收音频信号的方法和设备
US9069726B2 (en) * 2012-12-12 2015-06-30 Microsoft Technology Licensing, Llc Iteratively calculating standard deviation for streamed data
PT2959482T (pt) 2013-02-20 2019-08-02 Fraunhofer Ges Forschung Aparelho e método para codificar ou descodificar um sinal de áudio usando uma sobreposição dependente da localização de transiente
CN105247614B (zh) 2013-04-05 2019-04-05 杜比国际公司 音频编码器和解码器
EP2830058A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Frequency-domain audio coding supporting transform length switching
US10387412B1 (en) * 2015-02-12 2019-08-20 Cloud & Stream Gears Llc Incremental Z-score calculation for big data or streamed data using components
US9959877B2 (en) * 2016-03-18 2018-05-01 Qualcomm Incorporated Multi channel coding
JP7178506B2 (ja) * 2019-02-21 2022-11-25 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 位相ecu f0補間スプリットのための方法および関係するコントローラ

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134106A (ja) * 1998-10-29 2000-05-12 Matsushita Electric Ind Co Ltd オーディオ変換符号化のための周波数領域でのブロックサイズ判定適応方法
JP2001160758A (ja) * 1999-12-02 2001-06-12 Matsushita Electric Ind Co Ltd オーディオ信号のブロックに基く変換符号化におけるブロックサイズ決定方法
JP2003216188A (ja) * 2002-01-25 2003-07-30 Matsushita Electric Ind Co Ltd オーディオ信号符号化方法、符号化装置、及び記憶媒体
JP2005003912A (ja) * 2003-06-11 2005-01-06 Canon Inc オーディオ信号符号化装置、オーディオ信号符号化方法及びプログラム

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5341457A (en) 1988-12-30 1994-08-23 At&T Bell Laboratories Perceptual coding of audio signals
US4964113A (en) * 1989-10-20 1990-10-16 International Business Machines Corporation Multi-frame transmission control for token ring networks
US5642437A (en) 1992-02-22 1997-06-24 Texas Instruments Incorporated System decoder circuit with temporary bit storage and method of operation
JP2693893B2 (ja) 1992-03-30 1997-12-24 松下電器産業株式会社 ステレオ音声符号化方法
US5734789A (en) * 1992-06-01 1998-03-31 Hughes Electronics Voiced, unvoiced or noise modes in a CELP vocoder
IL104636A (en) 1993-02-07 1997-06-10 Oli V R Corp Ltd Apparatus and method for encoding and decoding digital signals
US5729556A (en) 1993-02-22 1998-03-17 Texas Instruments System decoder circuit with temporary bit storage and method of operation
US5748763A (en) 1993-11-18 1998-05-05 Digimarc Corporation Image steganography system featuring perceptually adaptive and globally scalable signal embedding
US5488665A (en) 1993-11-23 1996-01-30 At&T Corp. Multi-channel perceptual audio compression system with encoding mode switching among matrixed channels
WO1995032499A1 (fr) 1994-05-25 1995-11-30 Sony Corporation Procede de codage, procede de decodage, procede de codage-decodage, codeur, decodeur et codeur-decodeur
JP3046224B2 (ja) 1994-07-26 2000-05-29 三星電子株式会社 固定ビット率の符号化方法および装置とこれを利用した高速探索のためのトラッキング方法
TW316302B (ja) 1995-05-02 1997-09-21 Nippon Steel Corp
WO1996035269A1 (en) 1995-05-03 1996-11-07 Sony Corporation Non-linearly quantizing an information signal
US5864802A (en) 1995-09-22 1999-01-26 Samsung Electronics Co., Ltd. Digital audio encoding method utilizing look-up table and device thereof
US5956674A (en) 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US5893066A (en) 1996-10-15 1999-04-06 Samsung Electronics Co. Ltd. Fast requantization apparatus and method for MPEG audio decoding
JP3484908B2 (ja) 1997-01-27 2004-01-06 三菱電機株式会社 ビットストリーム再生装置
US5982935A (en) 1997-04-11 1999-11-09 National Semiconductor Corporation Method and apparatus for computing MPEG video reconstructed DCT coefficients
GB2326572A (en) 1997-06-19 1998-12-23 Softsound Limited Low bit rate audio coder and decoder
DE19730130C2 (de) 1997-07-14 2002-02-28 Fraunhofer Ges Forschung Verfahren zum Codieren eines Audiosignals
KR100335611B1 (ko) 1997-11-20 2002-10-09 삼성전자 주식회사 비트율 조절이 가능한 스테레오 오디오 부호화/복호화 방법 및 장치
KR100335609B1 (ko) 1997-11-20 2002-10-04 삼성전자 주식회사 비트율조절이가능한오디오부호화/복호화방법및장치
JP3515903B2 (ja) 1998-06-16 2004-04-05 松下電器産業株式会社 オーディオ符号化のための動的ビット割り当て方法及び装置
US6108622A (en) 1998-06-26 2000-08-22 Lsi Logic Corporation Arithmetic logic unit controller for linear PCM scaling and decimation in an audio decoder
US6298087B1 (en) 1998-08-31 2001-10-02 Sony Corporation System and method for decoding a variable length code digital signal
US6704705B1 (en) 1998-09-04 2004-03-09 Nortel Networks Limited Perceptual audio coding
JP3352406B2 (ja) 1998-09-17 2002-12-03 松下電器産業株式会社 オーディオ信号の符号化及び復号方法及び装置
US6282631B1 (en) 1998-12-23 2001-08-28 National Semiconductor Corporation Programmable RISC-DSP architecture
JP3739959B2 (ja) 1999-03-23 2006-01-25 株式会社リコー デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
JP3323175B2 (ja) 1999-04-20 2002-09-09 松下電器産業株式会社 符号化装置
JP2000323993A (ja) 1999-05-11 2000-11-24 Mitsubishi Electric Corp Mpeg1オーディオレイヤiii復号処理装置およびコンピュータをmpeg1オーディオレイヤiii復号処理装置として機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体
JP3762579B2 (ja) 1999-08-05 2006-04-05 株式会社リコー デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
US6542863B1 (en) 2000-06-14 2003-04-01 Intervideo, Inc. Fast codebook search method for MPEG audio encoding
US20030079222A1 (en) 2000-10-06 2003-04-24 Boykin Patrick Oscar System and method for distributing perceptually encrypted encoded files of music and movies
JP2002311996A (ja) 2001-02-09 2002-10-25 Sony Corp コンテンツ供給システム
JP3639216B2 (ja) 2001-02-27 2005-04-20 三菱電機株式会社 音響信号符号化装置
US6587057B2 (en) 2001-07-25 2003-07-01 Quicksilver Technology, Inc. High performance memory efficient variable-length coding decoder
US6732071B2 (en) 2001-09-27 2004-05-04 Intel Corporation Method, apparatus, and system for efficient rate control in audio encoding
CN1414795A (zh) * 2001-10-22 2003-04-30 矽统科技股份有限公司 在视窗中显示立体动画的装置及方法
DE60208426T2 (de) 2001-11-02 2006-08-24 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur signalkodierung, signaldekodierung und system zum verteilen von audiodaten
US6950794B1 (en) 2001-11-20 2005-09-27 Cirrus Logic, Inc. Feedforward prediction of scalefactors based on allowable distortion for noise shaping in psychoacoustic-based compression
US6662154B2 (en) 2001-12-12 2003-12-09 Motorola, Inc. Method and system for information signal coding using combinatorial and huffman codes
US7460993B2 (en) 2001-12-14 2008-12-02 Microsoft Corporation Adaptive window-size selection in transform coding
WO2003065353A1 (en) 2002-01-30 2003-08-07 Matsushita Electric Industrial Co., Ltd. Audio encoding and decoding device and methods thereof
US7110941B2 (en) 2002-03-28 2006-09-19 Microsoft Corporation System and method for embedded audio coding with implicit auditory masking
US20030215013A1 (en) 2002-04-10 2003-11-20 Budnikov Dmitry N. Audio encoder with adaptive short window grouping
KR100467617B1 (ko) 2002-10-30 2005-01-24 삼성전자주식회사 개선된 심리 음향 모델을 이용한 디지털 오디오 부호화방법과그 장치
KR100547113B1 (ko) 2003-02-15 2006-01-26 삼성전자주식회사 오디오 데이터 인코딩 장치 및 방법
US7325023B2 (en) * 2003-09-29 2008-01-29 Sony Corporation Method of making a window type decision based on MDCT data in audio encoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134106A (ja) * 1998-10-29 2000-05-12 Matsushita Electric Ind Co Ltd オーディオ変換符号化のための周波数領域でのブロックサイズ判定適応方法
JP2001160758A (ja) * 1999-12-02 2001-06-12 Matsushita Electric Ind Co Ltd オーディオ信号のブロックに基く変換符号化におけるブロックサイズ決定方法
JP2003216188A (ja) * 2002-01-25 2003-07-30 Matsushita Electric Ind Co Ltd オーディオ信号符号化方法、符号化装置、及び記憶媒体
JP2005003912A (ja) * 2003-06-11 2005-01-06 Canon Inc オーディオ信号符号化装置、オーディオ信号符号化方法及びプログラム

Also Published As

Publication number Publication date
CN101968781A (zh) 2011-02-09
JP2007512546A (ja) 2007-05-17
US7325023B2 (en) 2008-01-29
WO2005034080A3 (en) 2007-01-04
WO2005034080A2 (en) 2005-04-14
CN1997988B (zh) 2010-11-03
CN1997988A (zh) 2007-07-11
KR101157930B1 (ko) 2012-06-22
EP1676264A2 (en) 2006-07-05
EP1676264A4 (en) 2008-02-20
KR20060088542A (ko) 2006-08-04
DE602004029065D1 (de) 2010-10-21
CN101968781B (zh) 2012-06-27
EP1676264B1 (en) 2010-09-08
US20050071402A1 (en) 2005-03-31

Similar Documents

Publication Publication Date Title
JP4794452B2 (ja) オーディオ符号化におけるmdctデータに基づくウィンドウタイプ決定方法
KR101162275B1 (ko) 오디오 신호 처리 방법 및 장치
JP3762579B2 (ja) デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
JP5267362B2 (ja) オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムならびに映像伝送装置
JP6227117B2 (ja) オーディオ・エンコーダおよびデコーダ
JP4750707B2 (ja) オーディオ符号化におけるショートウィンドウグループ化方法
JP2011509426A (ja) オーディオエンコーダおよびデコーダ
US20090106030A1 (en) Method of signal encoding
EP2555191A1 (en) Method and device for audio signal denoising
US8825494B2 (en) Computation apparatus and method, quantization apparatus and method, audio encoding apparatus and method, and program
US8593321B2 (en) Computation apparatus and method, quantization apparatus and method, and program
KR101103004B1 (ko) 오디오 인코딩 시의 레이트-왜곡 제어 구조
US7426462B2 (en) Fast codebook selection method in audio encoding
US20180226082A1 (en) Audio parameter quantization
RU2828411C2 (ru) Звуковые кодирующее устройство и декодирующее устройство
JPH09288498A (ja) 音声符号化装置
US8626501B2 (en) Encoding apparatus, encoding method, decoding apparatus, decoding method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070723

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080603

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080603

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100628

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100922

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100930

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101025

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101227

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110328

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110627

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110726

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4794452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees