JP4401173B2 - 信号合成方法 - Google Patents

信号合成方法 Download PDF

Info

Publication number
JP4401173B2
JP4401173B2 JP2003586871A JP2003586871A JP4401173B2 JP 4401173 B2 JP4401173 B2 JP 4401173B2 JP 2003586871 A JP2003586871 A JP 2003586871A JP 2003586871 A JP2003586871 A JP 2003586871A JP 4401173 B2 JP4401173 B2 JP 4401173B2
Authority
JP
Japan
Prior art keywords
signal
correlation
output
output signal
input signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003586871A
Other languages
English (en)
Other versions
JP2005523624A (ja
Inventor
イェー ブレーバールト,ディルク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=29252213&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4401173(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2005523624A publication Critical patent/JP2005523624A/ja
Application granted granted Critical
Publication of JP4401173B2 publication Critical patent/JP4401173B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Burglar Alarm Systems (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Control Of Motors That Do Not Use Commutators (AREA)
  • Control Of Charge By Means Of Generators (AREA)
  • Preparation Of Compounds By Using Micro-Organisms (AREA)
  • Networks Using Active Elements (AREA)
  • Image Processing (AREA)

Description

本発明は、入力信号からの第1出力信号及び第2出力信号の同期化に関する。
音声符合化の分野において、パラメトリック音声符号化器は益々関心を集めるようになってきた。音声信号を表す送信(量子化)パラメータは、ほんの僅かな送信能力を必要とし、知覚的にオリジナル信号と著しく異ならない音声信号をもたらす受信側における復号化を可能にすることが明らかになってきた。従って、ビットレートの節約は、ステレオ信号の空間特性を表し、それ故、復号化器がステレオ信号の空間特性を再生するためことを可能にする、パラメータビットストリームと結合した1つの音声チャネルを送信することによってのみ得られることが可能である。
LチャネルとRチャネルとを有するステレオ信号の符合化のために重要である、上記の空間パラメータの1つは、LチャネルとRチャネルとの間のチャネル間相互関係である。従って、多くのシステムにおいて、符号化器により分析される信号パラメータの1つはチャネル間相互関係である。決定された相互関係は、それ故、符号化器から対応する復号化器へのモノ信号と共に送信される。
復号化器において、好ましい相互関係を有する2つの出力信号が再構成される。図1は、所謂、Lauridsenデコリレータ(decorrelator)を示している。Lauridsenデコリレータは、オールパスフィルタ101を有し、例えば、遅延が生成され、入力信号xの波形の遅延バージョンを減衰させる可能性がある。フィルタ101の出力
(外1)
Figure 0004401173
は、左チャネルLをもたらす入力に実質的に加算され(102)、右チャネルRをもたらす入力から減算される(103)。
上記の先行技術のデコリレータは、2つの出力信号が非常に小さい限り、又はレベルにおいて等しい場合でさえ、非常に適当である。しかしながら、パラメトリック音声符号化器は又、レベルの差を出力信号に適用し、所謂、振幅パニングが生じる。上記のデコリレータは、レベル差が大きい場合、生成された信号の知覚的品質が低下する問題を有する。
上記の及び他の問題は、入力信号から第1出力信号及び第2出力信号を合成する方法により解決され、その方法は:
フィルタリングされた信号を生成するために入力信号をフィルタリングする段階;
第1出力信号及び第2出力信号の間の好ましい相関を示す相関パラメータを得る段階;
第1出力信号及び第2出力信号の間の好ましいレベル差を示すレベルパラメータを得る段階;及び
第1出力信号及び第2出力信号にマトリクス演算により入力信号及びフィルタリングされた信号を変換する段階;
を有する。
従って、好ましい相関と好ましいレベル差の両方に依存するマトリクス演算を実行することにより、パラメトリック復号化器の出力信号の知覚的品質における著しい向上が達成される。
好適な実施形態において、マトリクス演算は、入力信号及びフィルタリングされた入力信号によりスパンされる空間における第1出力信号及び第2出力信号の所定の角度による共通回転を有し、ここで、所定の角度はレベルパラメータに依存する。
従って、ミキシング演算に付加回転を加えることにより、出力信号の相対レベルは、出力信号間の相関に影響を与えることなく、制御されることが可能である。
他の好適な実施形態においては、第1出力信号及び第2出力信号に入力信号の全寄与を最大化するように選択される。出力信号において存在するフィルタリングされた信号の量が最小化される、これにより、オリジナル信号が最大化される場合、信号の知覚的品質は向上されることが可能であることが認識される。
その方法が、第1出力信号及び第2出力信号の間の前記の好ましいレベル差に第1出力信号及び第2出力信号の各々をスケーリングする段階を更に有するとき、出力信号の相対レベルは、復号化器により決定されたレベルパラメータに従って好ましいレベルに対応することが確実となる。
好適な実施形態においては、入力信号をフィルタリングする段階は、入力信号をオールパスフィルタ、例えば、コムフィルタにより処理する手順を有する。コムフィルタのスペクトル間隔は周波数に対して一様に分布している。従って、低周波数において山と谷との好ましい高密度の間隔が得られるようにするために、Lauredsenデコリレータの遅延は非常に大きくする必要がある。しかしながら、これは、高周波数において、エコーが過渡入力信号に対して感知される不利点を有する。
この問題は、オールパスフィルタが周波数依存遅延を有するとき、解決されることが可能である。高周波数においては、粗い周波数分解能をもたらす、比較的小さい遅延が用いられる。低周波数においては、大きい遅延はコムフィルタの高密度の間隔をもたらす。
フィルタリングは、信号の全帯域幅において実行されることが可能である。代替として、フィルタリングは、バンド制限フィルタと結合されることが可能であり、それ故、1つ又はそれ以上の選択された周波数帯域にデコリレーションを適用することが可能である。
項マトリクス演算は、出力マルチチャネル信号の成分が入力マルチチャネル信号の線形成分である場合に、出力マルチチャネル信号に入力マルチチャネル信号を変換する演算をいう。
本発明は、上記の方法を有する異なる方法において、及び下の符合化及び復号化のための配置において、実行されることができ、他のプロダクト手段各々は、第1の独立請求項の方法に関連して説明した利点及び優位性の1つ又はそれ以上をもたらし、第1の独立請求項の方法に関連して説明され且つ従属請求項において開示される好適な実施形態に対応する1つ又はそれ以上の好適な実施形態を有する。
上記の及び以下の方法の特徴は、コンピュータ実行可能命令の実行によりもたらされる他の処理手段又はデータ処理システムにおいて実行され、且つソフトウェアにおいて実行されることが可能であることに留意する必要がある。命令は、コンピュータネットワークにより記憶媒体から又は他のコンピュータから、RAMのようなメモリにロードされるプログラム符号手段とすることが可能である。代替として、上記の特徴は、ソフトウェアとの組み合わせにおいて又はソフトウェアの代わりのハードウェア回路構成により実行されることが可能である。
本発明は、入力信号から第1出力信号及び第2出力信号を合成するための構成に更に関し、その構成は:
フィルタリングされた信号を生成するために入力信号をフィルタリングするためのフィルタ手段;
第1入力信号及び第2入力信号の間の好ましい相関を示す相関パラメータを得るための手段;
第1入力信号及び第2入力信号の間の好ましいレベル差を示すレベルパラメータを得るため手段;並びに
第1出力信号及び第2出力信号にマトリクス演算により入力信号及びフィルタリングされた信号を変換するための手段であって、マトリクス演算は相関パラメータ及びレベルパラメータに依存する、手段;
を有する。
本発明は、復号化された音声信号を供給するための装置に更に関し、その装置は;
符合化された音声信号を受信するための入力ユニット;
符合化された音声信号を復号化するための復号化器であって、上記のような及び下記におけるような第1音声信号及び第2音声信号を合成するための構成を有する、復号化器;並びに
復号化された第1音声信号及び第2音声信号を提供するための出力ユニット;
を有する。
本発明は、第1信号成分及び第2信号成分にマトリクス演算により入力信号及びフィルタリングされた信号を変換することにより入力信号から合成された第1信号成分及び第2信号成分を有する復号化されたマルチチャネル信号であって、フィルタリングされた信号は入力信号をフィルタリングすることにより生成され、マトリクス演算は、第1入力信号及び第2入力信号の間の好ましいレベル差を示すレベルパラメータと第1入力信号及び第2入力信号の間の好ましい相関を示す相関パラメータとに依存する、復号化されたマルチチャネル信号に関する。
本発明は、そのような復号化されたマルチチャネル信号を記憶した記憶媒体に更に関する。
図2は、本発明の実施形態に従ったデコリレータを示している。デコリレータは、例えば、チャネル差cを示すパラメータとチャネル間の相互相関を示すパラメータPの集合とモノ音声信号xとを生成するパラメトリック音声復号化器から、入力信号を受信するオールパスフィルタ201を有する。好適には、オールパスフィルタは、低周波数におけるより高周波数において比較的小さい遅延を提供する周波数依存性遅延を有する。これは、Schroederの位相複合(例えば、文献、M.R.Schroeder,”Synthesis of low−peak−factor signals and binarysequences with lkow autocorrelation“,IEEE Transact.Inf.Theor.,16:85−89,1970を参照)の1周期を有するオールパスフィルタと固定の遅延量を置き換えることにより達成されることが可能である。デコリレータは、復号化器から空間パラメータを受信し、チャネル間の相互相関ρ及びチャネル距離cを抽出する分析回路202を更に有する。分析回路202は、図3a乃至cに関連して説明するように、ミキシングマトリクスM(α,β)を決定する。ミキシングマトリクスの成分は、入力信号x及びフィルタリングされた信号
(外2)
Figure 0004401173
を更に受信する変換回路203に供給される。変換回路203は次式に従ってミキシング演算を実行し、
Figure 0004401173
出力信号L及びRを結果として得る。
図3a乃至cは、本発明の実施形態に従った信号生成について示している。図3aにおいて、入力信号xは水平軸で表され、フィルタリングされた信号
(外3)
Figure 0004401173
は垂直軸で表されている。2つの信号は相関を有していないため、それらは2次元空間をスパンする直交ベクトルとして表されることが可能である。
出力信号L及びRは、それぞれ、ベクトル301及び302として示されている。この表示において、信号L及びRの間の相関は、ρ=cos(α)に従って、ベクトル301及び302の間の角度α、即ち、ベクトル301及び302の間の角距離により与えられる。従って、正しい角距離を表すいずれの対のベクトルは特定の相関を有する。
それ故、所定の相関ρを有する信号L及びRに信号x及び
(外4)
Figure 0004401173
を変換するミキシングマトリクスは、次式のように表されることが可能である。
Figure 0004401173
このようにして、オールパスフィルタにより処理された信号の量は好ましい相関に依存する。更に、オールパス信号成分のエネルギーは両方の出力チャネルにおいて同じである(しかし、180°の位相シフトを伴う)。
図1のLauridsenデコリレータは、マトリクスが次式、
Figure 0004401173
により与えられる、即ち、α=90°が相関のない出力信号(ρ=0)に対応する場合に対応することに留意する必要がある。
式(3)のマトリクスに伴う問題点を示すために、左チャネルの方にパンする極端な振幅を伴う状態、即ち、左チャネルのみに特定の信号が存在する場合を仮定する。出力間の好ましい相関は0であると、更に仮定する。この場合、式(3)のミキシングマトリクスを用いた式(1)の変換についての左チャネルの出力は
Figure 0004401173
をもたらす。それ故、出力は、オールパスフィルタにより処理されたバージョン
(外5)
Figure 0004401173
と結び付いたオリジナルの信号xから成る。
しかしながら、オールパスフィルタは、通常、信号の知覚的品質を低下させるため、これは好ましくない状態にある。更に、オリジナルの信号とフィルタリングされた信号の加算は、出力信号の感知される特色のようなコムフィルタ効果をもたらす。この仮定された極端な場合、最善の解決方法は、左出力信号が入力信号から成ることである。このように、2つの出力信号の相関は尚も0である。
より適度なレベル差を有する状態においては、好適な状態は、より大きい音の出力チャネルはオリジナル信号を比較的多く含み、より小さい音の出力チャネルはフィルタリングされた信号を比較的多く含む。それ故、一般に、2つの出力両方において存在するオリジナル信号の量を最大化すること及びフィルタリングされた信号の量を最小化することが好ましい。
本発明に従って、これは、次式のような付加的な共通回転を有する、異なるミキシングマトリクスを導入することにより達成される。
Figure 0004401173
ここで、βは付加回転であり、Cは、出力信号間の相対レベル差がcに等しいことを確実にするスケーリングマトリクスであり、即ち、次式のようである。
Figure 0004401173
式(1)に式(4)のマトリクスを入れることにより、本発明に従ったマトリクス演算により生成される出力信号が得られ、次式のようになる。
Figure 0004401173
この状態について、図3bに示している。出力信号L及びRは尚も角度差αを有し、即ち、L信号及びR信号の間の相関は、L信号及びR信号両方の角度βによる付加回転と好ましいレベル差に従った信号L及び信号Rのスケーリングとにより影響されることはない。
上記のように、好適には、L及びRの合計出力におけるオリジナル信号xの量は最小化される必要がある。この条件は、次式、
Figure 0004401173
により、角度βを決定するために用いられることが可能であり、これにより、次式のような条件、
tan(β)=((1−c)/(1+c))tan(α/2)
が得られる。
この状態については、図3cに示しており、この図において、L成分及びR成分の合計はx方向に位置が合っている。
図4は、空間音声符合化のためのシステムを模式的に示している。このシステムは、符号化器401と対応する復号化器405とを有する。例えば、2002年4月22日に出願された、欧州特許出願公開第02076588.9号明細書に開示されているような、符号化器401は、耳の間のレベル差、耳の間の時間(又は、位相)差及び時間と周波数の関数としての最大相関を特定することによりマルチチャネル音声信号の空間的寄与を表す。始めに、時間/周波数スライシング回路402及び403により、R成分及びL成分はそれぞれ、例えば、変換演算が後に続く時間帯化により、幾つかの時間/周波数スロットに分割される。
一実施形態において、左入力信号及び右入力信号は、種々の時間フレームに分割され(例えば、44.1サンプリングレートにおいて2048サンプル)、ハニング(Hanning)ウィンドウの平方根を用いてウィンドウ化される。続いて、FFTが計算される。負のFFT周波数は捨てられ、結果的に得られるFFTはFFTビンのグループ(副帯域)に副分割される。副帯域において結合されるFFTビン数は周波数に依存する。より高い周波数においては、より低い周波数におけるより、より多くのビンが結合される。例えば、約1.8ERB(Equivalent Rectangular Bandwidth)に対応するFFTビンはグループ化され、例えば、全体的な可聴周波数領域を表す20個の副帯域が結果的に得られる。
続いて、分析回路404において、全ての時間/周波数スロットに対して、次の入力信号の特性であって:
2つの入力から生じる対応する帯域制限信号の相対レベルにより規定される、耳の間のレベル差、即ちILD;
耳の間の相関関数におけるピークに対応する耳の間の遅延(又は、位相シフト)により規定される、耳の間の時間(又は、位相)差(ITD又はIPD);及び
相関関数の最大値(即ち、最大ピークの位置における相関関数の値)によりパラメータ化されることができる、ITD又はILDにより説明することができない波形の類似性;
の特性が分析される。
上記の3つのパラメータは時間に対して変化する。しかしながら、両耳の聴覚システムはその処理において非常に機能が鈍いことが知られているため、上記の特性の更新レートは非常に遅い(典型的には、数十ミリ秒)。
分析回路404は、左信号及び右信号の組み合わせを有する和(又は、ドミナント)信号Sを更に生成する。それ故、L信号及びR信号は、和信号S、並びに、周波数及び時間の関数としてのパラメータP、ILD、ITD/IPDを有するパラメータP、及び相関関数の最大値の集合として符合化される。
この実施形態におけるパラメータILDがILD=k・log(c)により図2の実施形態におけるチャネル差パラメータcに関連し、ここで、kは定数であり、即ち、ILDはcの対数に比例する、ことに留意する必要がある。
一実施形態において、各々の副帯域に対して、対応するILD、ITD及び相関ρが計算される。ITD及び相関は、他のグループに属すFFTビン全てを0に設定し、左チャネル及び右チャネルから得られる(帯域制限)FFTを乗算し、逆FFT変換により後継されることにより、簡単に計算される。結果として得られる相関関数は、−64のサンプルと+63のサンプルとの間のチャネル間遅延の領域内のピークに対して走査される。ピークに対応する内部遅延はITD値として用いられ、このピークにおける相関関数の値はこの副帯域の耳の間の相関として用いられる。最終的に、ILDは、各々の副帯域に対して左チャネル及び右チャネルのパワー比を取ることにより簡単に計算される。
和信号Sは、位相補正(時間的アライメント)の後、左副帯域及び右副帯域の加算により生成される。この位相補正は、その副帯域に対して計算されたITDに続いてなされ、ITD/2を有する左チャネル副帯域と−ITD/2を有する右チャネル副帯域とを遅延させることを有する。遅延は、各々のFFTビンの位相角度の適切な修正によりその周波数領域においてなされる。続いて、和信号は、左副帯域信号及び右副帯域信号の位相修正バージョンを加算することにより計算される。最終的に、相関がない又は相関がある加算を補償するために、和信号の各々の副帯域は、対応する副帯域の相関ρを有する
√(2/(1+ρ))で乗算される。必要に応じて、和信号は、(1)負の周波数において複素共役を入れること(2)逆FFT、(3)ウィンドウ化及び(4)重複和により時間領域に変換されることができる。
好適には、空間パラメータは、それらの送信に対する要求ビットレートを減少させるために量子化される。
和信号S及びパラメータPは、復号化器405に通信される。復号化器405は、図2に関連して説明したような左信号及び右信号の間の相関を修正するデコリレータ回路406を有する。復号化器は、副帯域に対応する(量子化)ITDが与えられる、左信号の各々の副帯域を−ITD/2だけ、右信号の各々の副帯域をITD/2だけ遅延する、遅延回路407及び408を有する。復号化器は、副帯域に対するITDに従って副帯域をスケーリングし、例えば、次の段階、即ち、(1)負の周波数において複素共役を入れる段階(2)逆FFTの段階、(3)ウィンドウ化の段階、及び(4)重複和の段階を実行することにより、出力信号を時間領域に変換する。
図5は、本発明の実施形態に従ってステレオ音声信号を通信するためのシステムの模式図を示している。このシステムは、符合化音声信号を生成するための符合化装置501と、受信された符合化信号をステレオ信号に復号化するための復号化装置505とを有する。符合化装置501及び復号化装置各々は、いずれの電子装置又はそのようなそう知の一部であることが可能である。
ここで、用語、電子装置は、例えば、据え置き型又は可搬型コンピュータのようなコンピュータ、据え置き型又は可搬型無線通信装置、及び、携帯電話、ポケットベル、オーディオプレーヤ、マルチメディアプレーヤ、通信装置、即ち、電子オーガナイザ、スマートフォン、携帯情報端末(PDA)、可搬型コンピュータ等のコンピュータを有する。符合化装置501と復号化装置は、音声信号が後の再生のためのコンピュータ読み取り可能媒体に記憶される1つの電子装置において結合されることが可能である、ことに留意する必要がある。
符合化装置501は、ステレオ信号を受信するための入力ユニット511と、符号化器5左信号成分L及び右信号成分を有するステレオ音声信号を符合化するための符号化器502とを有する。符号化器502は、入力ユニット511により2つの信号成分を受信し、符合化信号Tを生成する。ステレオ信号は、例えば、ミキシング装置等のような他の電子装置により、マイクロフォンの集合からもたらされることが可能である。信号は、他のオーディオプレーヤからの出力として、無線信号として放送において、又はいずれの他の適切な手段により、更に受信されることが可能である。そのような符号化器の例については、上で、図4に関連して説明した。
一実施形態に従って、符号化器502は、復号化装置505に通信チャネル509により符合化信号Tを送信するために送信器503に接続される。送信器503は、例えば、有線の又は無線のデータリンク509により、データの通信を可能にするために適する回路構成を有することが可能である。そのような送信器の例としては、ネットワークインタフェース、ネットワークカード、無線送信器、例えば、IrDaポートにより赤外光を送信するためのLEDのような他の適切な電磁信号のための送信器、Bluetoothトランジスタのような無線ベース通信等がある。適切な送信器の他の例としては、ケーブルモデム、電話モデム、ISDN(Integrated Services Digital Network)アダプタ、DSL(Digital Subscriber Line)アダプタ、衛星放送トランシーバ、イーサネット(登録商標)アダプタ等がある。それに対して、通信チャネル509は、例えば、インターネット又は他のTCP/IPネットワークのようなパケットベースの通信ネットワーク、赤外線リンクのような狭い領域の通信リンク、Bluetooth接続又は他の無線ベースのリンク等の、いずれの適切な有線又は無線データリンクであることが可能である。
通信チャネルの他の例としては、CDPD(Cellular Digital Packet Data)ネットワーク、GSM(Global System for
Mobile)ネットワーク、CDMA(Code Division Multiple Access)ネットワーク、TDMA(Time Division Multiple Access)ネットワーク、GPRS(General Packet Radio Service)ネットワーク、UMTSネットワークのような第3世代ネットワーク
等がある。
代替として又は付加として、符合化装置は、復号化装置505に符合化ステレオ信号Tを通信するための、1つ又はそれ以上の他のインタフェース504を有することが可能である。そのようなインタフェースの例としては、例えば、フロッピー(登録商標)ディスクドライブ、読み出し/書き込みCD−ROMドライブ、DVDドライブ等のコンピュータ読み出し可能媒体510においてデータを記憶するためのディスク型ドライブがある。他の例としては、メモリカードスロット、磁気カードリーダ/ライタ、スマートカードにアクセスするためのインタフェース等がある。
それに対して、復号化器505は、送信器により送信信号を受信するための、対応する受信器508及び/又はコンピュータ読み出し可能媒体510とインタフェース504により通信された符合化ステレオ信号を受信するための他のインタフェース506を有する。復号化装置は、受信信号Tを受信し、復号化されるステレオ信号の対応する成分L´及びR´にそれを復号化する復号化器507を更に有する。本発明に従ったそのような復号化器の好適な実施形態については、上で、図4に関連して説明した。復号化装置は、ラウドスピーカの集合による再生のためのオーディオプレーヤに続いて供給されることが可能である復号化信号を出力するための出力ユニット512を更に有する。
上記の構成は、一般目的又は特定目的プログラマブルマイクロプロセッサ、デジタル信号処理器(DSP)、特定用途向け集積回路(ASIC)、プログラマブルロジックアレイ(PLA)、フィールドプログラマブルゲートアレイ(FPGA)、特定目低電子回路等、又はそれらいずれの組み合わせとすることが可能であることに留意する必要がある。
上記の実施形態は本発明を制限するのではなく例として示しており、当業者は同時提出の“特許請求の範囲”の範囲から逸脱することなく多くの代替の実施形態をデザインすることができることに、留意する必要がある。
例えば、本発明は、ステレオ音響信号に限定されるものではなく、3つ以上の入力チャネルを有する他のマルチチャネル入力信号に又、適用されることが可能である。そのようなマルチチャネル信号の例としては、DVD(Digital Versatile Disc)、SACD(Super Audio Compact Disc)等から受信される信号がある。
表現“を有する”及びそれから派生した表現は、請求項に記載されたもの以外の構成要素又は段階の存在を排除するものではない。構成要素の単数表現は、それら構成要素の複数の存在を排除するものではない。
本発明は、幾つかの別々の構成要素を有するハードウェアの手段により、そして、適切にプログラムされたコンピュータの手段により、実施されることができる。幾つかの手段を挙げた装置請求項においては、それらの幾つかの手段を、一つのハードウェア及びハードウェアの同じアイテムにより具現化することができる。特定の手段が互いに異なる独立請求項において挙げられているという単なる事実は、それらの手段の組み合わせを有利になるように用いることができないことを示すものではない。
先行技術のLauredsenデコリレータを示す図である。 本発明の実施形態に従ったデコリレータを示す図である。 本発明の実施形態に従った信号生成を示す図である。 本発明の実施形態に従った信号生成を示す図である。 本発明の実施形態に従った信号生成を示す図である。 空間音声符合化のためのシステムの模式図である。 マルチチャネル音声信号を通信するためのシステムの模式図である。

Claims (2)

  1. 入力信号から第1出力信号及び第2出力信号を合成する方法であって:
    フィルタリングされた信号を生成するように前記入力信号をフィルタリングする段階;
    前記第1出力信号と前記第2出力信号との間の好ましい相関を表す相関パラメータを得る段階;
    前記第1出力信号と前記第2出力信号との間の好ましいレベル差を表すレベルパラメータを得る段階;並びに
    前記第1出力信号及び前記第2出力信号にマトリクス演算により前記入力信号及び前記フィルタリングされた入力信号を変換する段階であって、前記マトリクス演算は前記相関パラメータ及び前記レベルパラメータに依存する、段階;
    を有する方法であり、
    前記入力信号をフィルタリングする段階は、前記入力信号をオールパスフィルタにより処理する段階を有する;
    方法
  2. 請求項1に記載の方法であって、前記オールパスフィルタは周波数に依存する遅延を有する、方法。
JP2003586871A 2002-04-22 2003-04-22 信号合成方法 Expired - Lifetime JP4401173B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP02076588 2002-04-22
EP02077863 2002-07-12
PCT/IB2003/001586 WO2003090206A1 (en) 2002-04-22 2003-04-22 Signal synthesizing

Publications (2)

Publication Number Publication Date
JP2005523624A JP2005523624A (ja) 2005-08-04
JP4401173B2 true JP4401173B2 (ja) 2010-01-20

Family

ID=29252213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003586871A Expired - Lifetime JP4401173B2 (ja) 2002-04-22 2003-04-22 信号合成方法

Country Status (11)

Country Link
US (2) US7933415B2 (ja)
EP (1) EP1500082B1 (ja)
JP (1) JP4401173B2 (ja)
KR (1) KR101021076B1 (ja)
CN (1) CN1312660C (ja)
AT (1) ATE354161T1 (ja)
AU (1) AU2003216682A1 (ja)
BR (2) BR0304541A (ja)
DE (2) DE60311794C5 (ja)
ES (1) ES2280736T3 (ja)
WO (1) WO2003090206A1 (ja)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1500082B1 (en) 2002-04-22 2007-02-14 Koninklijke Philips Electronics N.V. Signal synthesizing
SE527713C2 (sv) 2003-12-19 2006-05-23 Ericsson Telefon Ab L M Kodning av polyfoniska signaler med villkorsbegränsade filter
US7725324B2 (en) 2003-12-19 2010-05-25 Telefonaktiebolaget Lm Ericsson (Publ) Constrained filter encoding of polyphonic signals
US7809579B2 (en) 2003-12-19 2010-10-05 Telefonaktiebolaget Lm Ericsson (Publ) Fidelity-optimized variable frame length encoding
CA3035175C (en) 2004-03-01 2020-02-25 Mark Franklin Davis Reconstructing audio signals with multiple decorrelation techniques
US20090299756A1 (en) * 2004-03-01 2009-12-03 Dolby Laboratories Licensing Corporation Ratio of speech to non-speech audio such as for elderly or hearing-impaired listeners
DK3561810T3 (da) * 2004-04-05 2023-05-01 Koninklijke Philips Nv Fremgangsmåde til kodning af venstre og højre audioindgangssignaler, tilsvarende koder, afkoder og computerprogramprodukt
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
CA2572805C (en) * 2004-07-02 2013-08-13 Matsushita Electric Industrial Co., Ltd. Audio signal decoding device and audio signal encoding device
KR100745688B1 (ko) 2004-07-09 2007-08-03 한국전자통신연구원 다채널 오디오 신호 부호화/복호화 방법 및 장치
PL1769491T3 (pl) * 2004-07-14 2010-03-31 Koninl Philips Electronics Nv Przekształcanie kanałów audio
EP1776844B1 (en) 2004-07-23 2014-06-25 Koninklijke Philips N.V. System for temperature prioritised colour controlling of a solid-state lighting unit
TWI393121B (zh) 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
TWI393120B (zh) 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 用於音訊信號編碼及解碼之方法和系統、音訊信號編碼器、音訊信號解碼器、攜帶有位元流之電腦可讀取媒體、及儲存於電腦可讀取媒體上的電腦程式
EP1783745B1 (en) * 2004-08-26 2009-09-09 Panasonic Corporation Multichannel signal decoding
JP4936894B2 (ja) * 2004-08-27 2012-05-23 パナソニック株式会社 オーディオデコーダ、方法及びプログラム
WO2006022190A1 (ja) * 2004-08-27 2006-03-02 Matsushita Electric Industrial Co., Ltd. オーディオエンコーダ
JP4832305B2 (ja) * 2004-08-31 2011-12-07 パナソニック株式会社 ステレオ信号生成装置およびステレオ信号生成方法
US8135136B2 (en) 2004-09-06 2012-03-13 Koninklijke Philips Electronics N.V. Audio signal enhancement
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
EP1814104A4 (en) * 2004-11-30 2008-12-31 Panasonic Corp STEREO ENCODING APPARATUS, STEREO DECODING APPARATUS, AND METHODS THEREOF
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
US9626973B2 (en) 2005-02-23 2017-04-18 Telefonaktiebolaget L M Ericsson (Publ) Adaptive bit allocation for multi-channel audio encoding
ATE521143T1 (de) 2005-02-23 2011-09-15 Ericsson Telefon Ab L M Adaptive bitzuweisung für die mehrkanal- audiokodierung
EP1905002B1 (en) 2005-05-26 2013-05-22 LG Electronics Inc. Method and apparatus for decoding audio signal
JP4988717B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
WO2007010771A1 (ja) * 2005-07-15 2007-01-25 Matsushita Electric Industrial Co., Ltd. 信号処理装置
JP5113049B2 (ja) 2005-07-29 2013-01-09 エルジー エレクトロニクス インコーポレイティド 符号化されたオーディオ信号の生成方法及びオーディオ信号の処理方法
CN101233571B (zh) * 2005-07-29 2012-12-05 Lg电子株式会社 处理音频信号的方法和装置
TWI396188B (zh) 2005-08-02 2013-05-11 Dolby Lab Licensing Corp 依聆聽事件之函數控制空間音訊編碼參數的技術
KR100857113B1 (ko) * 2005-10-05 2008-09-08 엘지전자 주식회사 신호 처리 방법 및 이의 장치, 그리고 인코딩 및 디코딩방법 및 이의 장치
WO2007040349A1 (en) 2005-10-05 2007-04-12 Lg Electronics Inc. Method and apparatus for signal processing
US7742913B2 (en) 2005-10-24 2010-06-22 Lg Electronics Inc. Removing time delays in signal paths
BRPI0707136A2 (pt) 2006-01-19 2011-04-19 Lg Electronics Inc método e aparelho para processamento de um sinal de mìdia
WO2007088853A1 (ja) * 2006-01-31 2007-08-09 Matsushita Electric Industrial Co., Ltd. 音声符号化装置、音声復号装置、音声符号化システム、音声符号化方法及び音声復号方法
CA2637722C (en) 2006-02-07 2012-06-05 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
EP1853092B1 (en) 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
ATE436151T1 (de) * 2006-05-10 2009-07-15 Harman Becker Automotive Sys Kompensation von mehrkanalechos durch dekorrelation
JP5232791B2 (ja) * 2006-10-12 2013-07-10 エルジー エレクトロニクス インコーポレイティド ミックス信号処理装置及びその方法
US9905242B2 (en) * 2007-06-27 2018-02-27 Nec Corporation Signal analysis device, signal control device, its system, method, and program
GB2453117B (en) 2007-09-25 2012-05-23 Motorola Mobility Inc Apparatus and method for encoding a multi channel audio signal
KR101464977B1 (ko) * 2007-10-01 2014-11-25 삼성전자주식회사 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치
KR101444102B1 (ko) * 2008-02-20 2014-09-26 삼성전자주식회사 스테레오 오디오의 부호화, 복호화 방법 및 장치
KR101629862B1 (ko) 2008-05-23 2016-06-24 코닌클리케 필립스 엔.브이. 파라메트릭 스테레오 업믹스 장치, 파라메트릭 스테레오 디코더, 파라메트릭 스테레오 다운믹스 장치, 파라메트릭 스테레오 인코더
JP5366104B2 (ja) 2008-06-26 2013-12-11 オランジュ マルチチャネル・オーディオ信号の空間合成
US8233629B2 (en) * 2008-09-04 2012-07-31 Dts, Inc. Interaural time delay restoration system and method
US8258849B2 (en) * 2008-09-25 2012-09-04 Lg Electronics Inc. Method and an apparatus for processing a signal
US8346380B2 (en) * 2008-09-25 2013-01-01 Lg Electronics Inc. Method and an apparatus for processing a signal
EP2169666B1 (en) * 2008-09-25 2015-07-15 Lg Electronics Inc. A method and an apparatus for processing a signal
WO2010044158A1 (ja) * 2008-10-16 2010-04-22 パイオニア株式会社 測定用信号生成装置、測定用信号生成方法、及び測定用信号生成プログラム、並びに記録媒体
JP5309944B2 (ja) 2008-12-11 2013-10-09 富士通株式会社 オーディオ復号装置、方法、及びプログラム
KR20110022252A (ko) * 2009-08-27 2011-03-07 삼성전자주식회사 스테레오 오디오의 부호화, 복호화 방법 및 장치
WO2011045549A1 (fr) * 2009-10-16 2011-04-21 France Telecom Decodage parametrique stereo optimise
EP2369861B1 (en) * 2010-03-25 2016-07-27 Nxp B.V. Multi-channel audio signal processing
CH703771A2 (de) * 2010-09-10 2012-03-15 Stormingswiss Gmbh Vorrichtung und Verfahren zur zeitlichen Auswertung und Optimierung von stereophonen oder pseudostereophonen Signalen.
FR2966634A1 (fr) * 2010-10-22 2012-04-27 France Telecom Codage/decodage parametrique stereo ameliore pour les canaux en opposition de phase
EP2859549A4 (en) * 2012-06-08 2016-04-20 Intel Corp ECHOUNTERPRESSION ALGORITHM FOR LONG DELAYED ECHO
BR122021009025B1 (pt) 2013-04-05 2022-08-30 Dolby International Ab Método de decodificação para decodificar dois sinais de áudio e decodificador para decodificar dois sinais de áudio
EP2989631A4 (en) * 2013-04-26 2016-12-21 Nokia Technologies Oy AUDIO SIGNAL ENCODER
US9338573B2 (en) 2013-07-30 2016-05-10 Dts, Inc. Matrix decoder with constant-power pairwise panning
US10375476B2 (en) 2013-11-13 2019-08-06 Om Audio, Llc Signature tuning filters
JP6612753B2 (ja) 2013-11-27 2019-11-27 ディーティーエス・インコーポレイテッド 高チャンネル数マルチチャンネルオーディオのためのマルチプレットベースのマトリックスミキシング
RU2648632C2 (ru) 2014-01-13 2018-03-26 Нокиа Текнолоджиз Ой Классификатор многоканального звукового сигнала
CN106067819B (zh) * 2016-06-23 2021-11-26 广州市迪声音响有限公司 一种基于分量式矩阵算法的信号处理系统
US10224042B2 (en) * 2016-10-31 2019-03-05 Qualcomm Incorporated Encoding of multiple audio signals
CN110114826B (zh) 2016-11-08 2023-09-05 弗劳恩霍夫应用研究促进协会 使用相位补偿对多声道信号进行下混合或上混合的装置和方法
JP7161233B2 (ja) * 2017-07-28 2022-10-26 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 広帯域フィルタによって生成される補充信号を使用して、エンコードされたマルチチャネル信号をエンコードまたはデコードするための装置
FR3147898A1 (fr) * 2023-04-13 2024-10-18 Orange Traitement optimisé de réduction de canaux d’un signal audio stéréophonique

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5172415A (en) * 1990-06-08 1992-12-15 Fosgate James W Surround processor
JPH06178164A (ja) * 1992-12-11 1994-06-24 Matsushita Electric Ind Co Ltd 適応等化処理における安定性および収束速度の適応制御方法
CA2162569A1 (en) * 1994-06-23 1995-12-24 Yoshinori Miki Method and apparatus for receiving code division multiple access signal
US6895093B1 (en) * 1998-03-03 2005-05-17 Texas Instruments Incorporated Acoustic echo-cancellation system
US6658050B1 (en) * 1998-09-11 2003-12-02 Ericsson Inc. Channel estimates in a CDMA system using power control bits
JP2001109497A (ja) 1999-10-04 2001-04-20 Matsushita Electric Ind Co Ltd オーディオ信号符号化装置およびオーディオ信号符号化方法
JP2001188599A (ja) 1999-10-19 2001-07-10 Matsushita Electric Ind Co Ltd オーディオ信号復号装置
JP2001142493A (ja) 1999-11-16 2001-05-25 Matsushita Electric Ind Co Ltd オーディオ信号高能率符号化装置
US6973184B1 (en) * 2000-07-11 2005-12-06 Cisco Technology, Inc. System and method for stereo conferencing over low-bandwidth links
CN100429960C (zh) * 2000-07-19 2008-10-29 皇家菲利浦电子有限公司 用于获得立体声环绕和/或音频中心信号的多声道立体声转换器
DE10041512B4 (de) * 2000-08-24 2005-05-04 Infineon Technologies Ag Verfahren und Vorrichtung zur künstlichen Erweiterung der Bandbreite von Sprachsignalen
JP2004517538A (ja) * 2000-12-22 2004-06-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 多チャネル・オーディオ変換器
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
WO2003090208A1 (en) * 2002-04-22 2003-10-30 Koninklijke Philips Electronics N.V. pARAMETRIC REPRESENTATION OF SPATIAL AUDIO
EP1500082B1 (en) 2002-04-22 2007-02-14 Koninklijke Philips Electronics N.V. Signal synthesizing
WO2007010771A1 (ja) 2005-07-15 2007-01-25 Matsushita Electric Industrial Co., Ltd. 信号処理装置
CN101233571B (zh) 2005-07-29 2012-12-05 Lg电子株式会社 处理音频信号的方法和装置

Also Published As

Publication number Publication date
DE60311794D1 (en) 2007-03-29
WO2003090206A1 (en) 2003-10-30
US8798275B2 (en) 2014-08-05
DE60311794C5 (de) 2022-11-10
US20110166866A1 (en) 2011-07-07
ATE354161T1 (de) 2007-03-15
CN1647157A (zh) 2005-07-27
EP1500082B1 (en) 2007-02-14
EP1500082A1 (en) 2005-01-26
BRPI0304541B1 (pt) 2017-07-04
BR0304541A (pt) 2004-07-20
ES2280736T3 (es) 2007-09-16
US7933415B2 (en) 2011-04-26
JP2005523624A (ja) 2005-08-04
US20050254446A1 (en) 2005-11-17
DE60311794T2 (de) 2007-10-31
KR101021076B1 (ko) 2011-03-11
KR20040101552A (ko) 2004-12-02
CN1312660C (zh) 2007-04-25
AU2003216682A1 (en) 2003-11-03

Similar Documents

Publication Publication Date Title
JP4401173B2 (ja) 信号合成方法
US8817992B2 (en) Multichannel audio coder and decoder
RU2409912C2 (ru) Декодирование бинауральных аудиосигналов
JP4714416B2 (ja) 空間的オーディオのパラメータ表示
CN112219236A (zh) 空间音频参数和相关联的空间音频播放
US11096002B2 (en) Energy-ratio signalling and synthesis
JP5163545B2 (ja) オーディオ復号装置及びオーディオ復号方法
CN111316353B (zh) 确定空间音频参数编码和相关联的解码
JP2006521577A (ja) マルチチャネル信号を表す主信号と副信号の符号化
WO2019105575A1 (en) Determination of spatial audio parameter encoding and associated decoding
US20210319799A1 (en) Spatial parameter signalling
CN112567765B (zh) 空间音频捕获、传输和再现
CN117136406A (zh) 组合空间音频流
US20240357304A1 (en) Sound Field Related Rendering
US9311925B2 (en) Method, apparatus and computer program for processing multi-channel signals
US20200413211A1 (en) Spatial Audio Representation and Rendering
CN116547749A (zh) 音频参数的量化
CA3208666A1 (en) Transforming spatial audio parameters

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090909

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091020

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091027

R150 Certificate of patent or registration of utility model

Ref document number: 4401173

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131106

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term