JP4865010B2 - 第1成分と第2成分を含む信号を処理する装置と方法 - Google Patents

第1成分と第2成分を含む信号を処理する装置と方法 Download PDF

Info

Publication number
JP4865010B2
JP4865010B2 JP2009143798A JP2009143798A JP4865010B2 JP 4865010 B2 JP4865010 B2 JP 4865010B2 JP 2009143798 A JP2009143798 A JP 2009143798A JP 2009143798 A JP2009143798 A JP 2009143798A JP 4865010 B2 JP4865010 B2 JP 4865010B2
Authority
JP
Japan
Prior art keywords
signal
information
display
value
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009143798A
Other languages
English (en)
Other versions
JP2009205185A (ja
Inventor
シンハ ディープン
Original Assignee
アルカテル−ルーセント ユーエスエー インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント ユーエスエー インコーポレーテッド filed Critical アルカテル−ルーセント ユーエスエー インコーポレーテッド
Publication of JP2009205185A publication Critical patent/JP2009205185A/ja
Application granted granted Critical
Publication of JP4865010B2 publication Critical patent/JP4865010B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Description

本発明は、情報を含む信号を通信するシステムと方法に関し、特に、限られた伝送帯域を有効に活用して、例えばステレオオーディオ情報を含む信号を符号化するシステムと方法に関する。
ステレオオーディオ情報の通信はマルチメディアおよびインタネット、例えばミュージックオンディマンドサービス、CDをオンライン購入する際の音楽のプレビュー等で重要な役割を担っている。一般的にオーディオ情報を通信する帯域を効率的に用いるために、知覚オーディオ符号化(perceptual audio coding (PAC))技術が開発されている。PAC技術の詳細は、米国特許第5,285,498号(発行日1994年2月8日発明者 Johnston) と米国特許第5,040,217号(発行日1991年8月13日発明者 Brandenburg et al.) の2件の特許に開示されている。
このPAC技術によれば、オーディオ情報を表すオーディオ信号の連続した時間領域ブロックのそれぞれは周波数領域で符号化されている。具体的に説明すると各ブロックの周波数領域表示は、複数のコーダーバンド(符号化帯)に分割され、各コーダーバンドは心理的音響基準(psycho-acoustic criteria)に基づいて個別に符号化される。この方法は、オーディオ情報を大幅に圧縮し、これによりオーディオ情報の表すビットの数をオーディオ情報がより単純なデジタルフォーマット、例えばPCMフォーマットで表される場合よりも少なくしている。
従来技術においては、左側チャネル信号(L)と右側チャネル信号(R)を含むステレオオーディオ信号は、さらに符号化されて伝送帯域を節約している。例えばステレオオーディオ信号は、公知のM=(L+R)/2とS=(L−R)/2で表されるようなフォーマットで適応形の平均−減算(mean-side(M−S))の形成系でもってさらに符号化されている。このような従来のスキームは、LとRの相関を利用しているが、各コーダーバンドに対するステレオオーディオ信号の時間領域ブロックでMとSの形成を選択的に入り切りし、そしてある二重音声マスキング制限(biaural masking constraints )に適合している。
適応形M−S形成系においては、Mはステレオ信号をモノ信号として与え、Sを追加することによりLとRとの間の差に基づいてステレオの分離があ出きる。かくして、LとRの差が大きくなるとSを表すためにより多くのビットが必要となる。しかし、狭い帯域の伝送、例えば28.8kb/秒のインターネット接続においては、M−S符号化ステレオオーディオ信号は、限られた伝送帯域によるアリアシング歪みに敏感となり好ましくない。別法として狭い帯域の伝送においては、M情報を優先しS情報を犠牲にするとモード歪みが受信情報に導入され、ステレオ品質を大幅に劣化させることになる。
伝送帯域を節約するために、ステレオオーディオ信号をさらに符号化する別の従来技術は、強度ステレオ符号化(intensity stereo coding )として知られている。これの詳細は、J. Herre et al. 著の "Combined Stereo Coding," 93rd Convention, Audio Engineering Society, October 1-4, 1992を参照のこと。この強度ステレオ符号化は、LとRの音源の正確な位置を聞き分ける人間の聴覚系の能力は、高周波になるにつれて低下してくるという認識に基づいて開発されたものである。通常、LとRの一方のみの高周波成分の強度、即ち振幅を符号化することが通常用いられている。それにもかかわらず、その結果得られた符号化情報は、LとRの両方の高周波成分の再生を容易にしている。
したがって本発明の目的は、複数の信号成分を含む信号を処理する方法を提供することである。
本発明によれば、第1信号と第2信号(例、LとR)を含む伝送用の合成信号(例、ステレオオーディオ信号)の表示は、少なくとも第1信号から抽出された第1情報と、第2信号のパラメーター符号化(parametric coding )から得られた1つあるいは複数の係数に関連する第2情報を含む。第1信号は第1情報に基づいて再生され、第2信号は第1信号と第2信号に基づいて再生される。
係数が本発明のパラメータ符号化の合成信号の表示で用いられるために、伝送帯域は、合成信号を通信するのに有効に利用できる。さらにまたパラメータ符号化の設計によれば、この係数は第1信号と第2信号の間の強度関係のみならず、位相関係も記述する。その結果、本発明のパラメータ符号化の方法により得られた信号品質は、従来の強度ステレオ符号化により得られた品質よりも遙かに優れている。
通信ネットワークを介してオーディオ情報を通信する本発明の構成を表す図。 図1の装置のサーバーのブロック図。 オーディオ情報を含む図2のサーバーにより生成されたパケットのシーケンスを表す図。 図1の装置のクライアント端末がサーバーからのパケットを処理するステップを表すフローチャート図。
図1は情報、例えばステレオオーディオ情報を通信する本発明の装置100を示す。この実施例においては、本発明の装置100内のサーバー105が、ミュージックオンディマンドサービスをインターネット120を介してクライアント端末130に提供する。クライアント端末130は通常パソコンである。インターネット120はTCP/IPによりパケット内の情報を送信するパケット交換ネットワークである。
ブラウザソフトウェア、例えば、NERSCAPE NAVIGATORあるいはMICROSOFT EXPLORERブラウザを含む従来のソフトウェアがクライアント端末130内に搭載され、インターネット120上で所定のユニフォームリソースロケータ(uniform resource locator(URL))により識別されるサーバー105と情報を通信している。例えば、サーバー105により提供されるミュージックオンデマンドサービスを要求するためには、クライアント端末130内のモデム(図示せず)を用いてインターネット120との通信接続125を形成する。この実施例では、通信接続125は、28.8kb/秒の通信レートを提供する。
通信接続125が形成された後、従来の方法によれば、クライアント端末130にIPアドレスが割り当てられる。クライアント端末130のユーザは、サーバー105を特定する所定のURLでのミュージックオンデマンドサービスにアクセスし、そのサービスから音楽をリクエストする。このようなリクエストには、クライアント端末130を特定するIPアドレスと選択(要求)された音楽に関連する情報と音楽を通信するための狭い帯域を提供するクライアント端末130の通信レート(この例では28.8kb/s)が含まれる。
従来技術では、例えば音楽を表すステレオオーディオ情報は、狭い帯域を介して伝送されると、受信した信号の品質は、限られた伝送帯域のために通常大幅に劣化する。本発明によれば、パラメータ符号化技法を修正してステレオオーディオ情報を圧縮し、限られた伝送帯域を有効活用して受信信号の劣化を押さえる。以下に述べるようなパラメータ符号化技術を完全に理解するためには、左側チャネル信号Lと右側チャネル信号Rを含むステレオオーディオ信号の特性についてまず説明する。
ステレオオーディオ信号は位置特定キュー(localization cues )でもって特徴づけることができる。この位置特定キューは、可聴空間内のステレオサウンドの位置、即ち方向を規定する。ある種のサウンドは、位置を特定することができず左から右へのスパンに拡散しているものとして知覚される。いずれの場合にも位置特定キューは、(a)低周波数の位相キューと、(b)強度キューと、(c)グループ遅延あるいはエンベロープキューを含む。低周波位相キューは、信号の低周波位相領域におけるLとRの相対位相から抽出される。
具体的に説明すると、1200Hz以下の周波数成分間の位相関係が特に重要であると見られている。強度キューは、信号の高周波領域(1200Hz以上)におけるLとRの相対パワーから抽出される。エンベロープキューは、Lの信号エンベロープとRの信号エンベロープの相対位相から抽出され、この2つの信号の間のグループ遅延に基づいて決定される。(b)と(c)のキューは、位相キューとして総称されている。
本発明のパラメータ符号化技術は、限られた伝送帯域にも関わらず、伝送されるステレオオーディオ信号の位置限定キューを効率よく捕獲するものである。本発明によれば、ステレオオーディオ信号の表示は、(i)LとRの一方にのみ関連する情報と、(ii)Lに対しRをパラメータ符号化することにより得られた他の信号、例えばRに関連するパラメータ情報を含む。このようなステレオオーディオ信号の表示は、以下の説明においては「ST表示」と称する。さらにまた、Rに関連するパラメータ情報は、「param−R」と称する。
param−Rは、ステレオオーディオ信号の位置特定キューを記述するパラメータの組を量子化することにより得られる。その結果、Rは、param−RとL情報、即ち(i)と(ii)に基づいて予測される。かくして、ST表示に基づいて再生されたステレオオーディオ情報は、LとRの予測値を含み、これにより許容可能なステレオオーディオ品質を提供する。ここで、LはST表示のL情報から抽出されたものであり、Rの予測はparam−RとL情報の両方から抽出される。
ST表示内のparam−Rは、以下の関係式を用いて得られる。
Figure 0004865010
ここでRはRの周波数スペクトラムを表し、LはLの周波数スペクトラムを表し、αはparam−Rが得られた予測係数を表す。式(1)内のL に基づいたRの予測を改善するために周波数範囲に亘って複数の予測係数が用いられる。
Figure 0004865010
ここでiは周波数範囲内の予測周波数帯域のi番目の係数を表す。例えばこの実施例のようにPAC技術がオーディオ信号に適用される場合には、各i番目の予測周波数帯域は、コーダーバンド(符号化帯域)の別々の帯域と一致して、PAC技術により人間の聴覚系の限界帯域を近似する。
式(2)を参照すると、Ri の予測の成功は予測係数αiがステレオオーディオ信号の上記の位置特定キューをいかに記述するかに係っている。強度キューと位相キュー、即ち低周波位相キューとエンベロープキューを記述する改善された予測スキームを次に説明する。このスキームは、LとRにある制約を課して、その強度キューと位相キューが予測を実行する単一の領域内で得られるようにすることに依存している。単一処理理論においては、実信号が「因果律制約(causality constraint)」を満足する場合には、信号スペクトラムの実部が信号の十分な表示を与え、虚部がこの実部に基づいて何ら余分の情報を追加することなく再生することができる。
かくして、改良された予測系は、数学的に次のように表すことができる。
Figure 0004865010
式(3)に基づいて前記のパラメータ符号化は、因果律制約を時間領域内でLとRにそれぞれ課した後、Li とRi の実部から予測係数αiを計算することにより得られる。そしてparam−Rは各i番目の予測周波数バンドに対するαi に関する情報を含む。
この接合点(juncture)においては、実際には時間領域内のL(またはR)に因果律制約を課すことは、L(またはR)を表すサンプルにゼロパッディング(zero padding)を行うことにより容易に実行できる。かくして公知の方法でLi real-causal(またはRi real-causal )は、ブロックを(2N−1)個のサンプルの長さまで長くするために、Lを表すN個のサンプルに「ゼロ」を追加して、その後ゼロをパッディングしたブロックを周波数変換し、そしてその結果得られた変換の実部を取り出すことにより行われる、ここでNは所定数である。
予測をさらに向上させるために、マルチタップの予測器が用いられ、ここでαi は、i番目の予測周波数バンドに対する予測器の係数の組を表す。例えば、2−タップの予測器を用いる場合には、αi=[αi 0 αi 1]で、これは次式で表される。
Figure 0004865010
ここでrはi番目の予測バンド内のRi real-causalの周波数成分の実部の組を表し、lはi番目の予測バンド内のLi real-causalの周波数成分の実部部分の組を表し、l’はi−1番目の予測バンド内のLi real-causalの周波数成分の実部を表す。
かくして、予測器の予測係数αi 0とαi 1は、次の式を解くことにより決定できる。
Figure 0004865010
ここで、添え字Tは、標準のマトリクス転位操作を表す。かくして、
Figure 0004865010
ここで、添え字−1はマトリクスの反転操作を表す。
ここに示した実施例においては、ST表示内のparam−Rは、ステレオオーディオ信号の位置特定キュー、即ち低周波位相キュー、強度キュー、エンベロープキューを記述する予測係数αi 0とαi 1に関する情報を含む。ST表示内のL情報と共に、param−Rを用いてRを予測する。この実施例において、通信接続125により得られる通信レート28.8kb/秒では、約22kb/秒がL情報の伝送に割り当てられ、2kb/秒がparam−Rの伝送に用いられる。
式(6)に戻って、Lが弱い場合には、detG(即ち、Gの行列式)は、同じ値を持ちαi 0とαi 1を解くための式(6)は、数学的に悪い状態に置かれる。その結果、得られたαi 0とαi 1を解くことができる。かくしてparam−Rを用いることは、Lに基づいてRを予測することができなくなる。
式(6)において、数学的に悪い状態を回避するために、本発明による第2のパラメータ符号化技術を次に説明する。この第2のパラメータ符号化技術によれば、ST表示は(i)L*に関する情報と、(ii)L*に関するRのパラメータ符号化と示されたparam−R[w.r.t.L*]から得られたRに関するパラメータ情報を含む。
Figure 0004865010
ここで、a+b=1とa>>b≧0である。
前述したパラメータ符号化技術は、a=1、b=0の第2の技術の特別な場合である。いずれにせよ、本明細書は、L*に関連する一般化された第2のパラメータ符号化技術に基づいている。
符号化されるべきステレオオーディオ信号が極端に強いステレオ傾斜(偏向)(即ち、LまたはRのいずれかでほとんど完全に支配される)を含んでいる場合に特に一般化されたパラメータ符号化技術を用いるのが好ましい。aとbの値を制御することにより、一般化された技術によりL*とRの対は、ステレオの分離が減少した状態を表し、これによりパラメータ符号化の自然さを増加させる。
図2は、LとRからなる音楽を表すステレオオーディオ信号を処理するのに用いられるオーディオ符号化器203を有するサーバー105を示す。具体的に説明すると、オーディオ符号化器203内のA/Dコンバータ205がLとRをデジタル化してそれぞれL(n)、R(n)で表されるLとRのPCMサンプルを与える。ここで、nはn番目のサンプルに対する指数を表す。
L(n)とR(n)に基づいて、オーディオ符号化器203は式(7)によりリード線209上にL*(n)を生成する、ここで、aとbの値は以下に示すようにアダプタ211により選択されたものである。さらにまた、R(n)とL(n)は、それぞれミキサー207をバイパスしてリード線209b−209cに表れる。リード線209a−209cが延び、そしてこれによりそれぞれL*(n),R(n),L(n)を以下に説明するステレオ符号化器215に与える。L*(n)は、PAC符号化器217にも与えられる。
従来の方法により、PAC符号化器217はPCMサンプルL*(n)を時間領域ブロックに分割して、各ブロックに対し修正離散コサイン変換(modified discrete cosine transform(MDCT))を実行してそれに対する周波数領域の表示を与える。その結果得られたMDCTの係数を等価用のコーダーバンドに従ってグループ分けする。前述したように、これらのコーダーバンドは、人間の知覚系の臨界バンドを近似する。
PAC符号化器217はオーディオ信号サンプルL*(n)を解析して、各コーダーバンドに対する適宜の量子化レベル(即ち、量子化のステップサイズ)を決定する。この量子化レベルは、あるコーダーバンド内のオーディオ信号がノイズをいかによくマスクするかを評価することに基づいて決定される。この量子化されたMDCTの係数は、その後従来のハフマン圧縮プロセスで処理して、その結果リード線222a上にL*を表すビットストリームを生成する。
受信したL*(n)とR(n)に基づいて、パラメータのステレオ符号化器215は、パラメータ信号P*Rを生成する。P*Rは、param−R[w.r.t.L*]に関する情報を含み、これは式(6)に従ってαi 0とαi 1の予測係数を含む。その中の1と1’は、一般化されたパラメータ符号化技術に従ってLではなくL*から得られたものである。
P*Rは、従来の非線形量子化器225により量子化され、これによりリード線222b上にP*Rを表すビットストリームを提供する。リード線222aとリード線222bは、ST表示フォーマッタ231まで延びてそこで各時間領域ブロックに対応するリード線222b上のP*Rを表すビットストリームが、同一の時間領域ブロックに対応するリード線222a上のL*を表すそれに付加され、その結果処理中の音楽のST表示が得られる。この後者を同様な方法で処理した他の音楽のST標準と共にメモリ270内に記憶する。
aとbの値を選択するためにアダプタ211により行われる適応アルゴリズム(adaptation algorithm)を次に説明する。この適応アルゴリズムは、a=acur+1 の次に来る値のスムーズな予測値を見いだすものであり、これは以下の繰り返しプロセスによりステレオ符号化器215からのL(n)とR(n)の現在の時間領域ブロックの関数である。
Figure 0004865010
ここで、curはゼロ以上の繰り返し指数であり、γは1に近い値を有する定数、例えばこの実施例ではγ=0.95であり、εcurは次式で定義される。
Figure 0004865010
ここで、l(f)とR(f)はそれぞれベクトル形式のL(n)とR(n)の現在の時間領域ブロックのスペクトラム表示を表す。「・」は、内積を表す。|l(f)|と|R(f)|は、それぞれl(f)とR(f)の絶対値を表す。
a+b=1なので、アダプタ211が選択したbの値は単に1−aである。aとbは所定数であるために、アダプタ211をなくすこともできる。
選択された音楽が送られるクライアント端末130からのリクエストに応じてプロセッサ280によりパケット化器285はメモリ270から選択されたメモリのST表示を取り出し、標準のTCP/IPに従ってパケットのシーケンスを生成する。これらのパケットは、選択された音楽のST表示を共に含む情報フィールドを有する。シーケンス内の各パケットは、ヘッダに含まれるあて先アドレスとして、ミュージックオンデマンドサービスを要求しているクライアント端末130のIPアドレスを含むクライアント端末130に向けられる。
図3はこのパケットシーケンスを表す。クライアント端末130によるパケットの組立を容易にするために、各パケットのヘッダは、同期化情報を含む。特に各パケット内の同期化情報は、パケットが対応するタイムセグメントi、1≦i≦Nを表すシーケンスインデックスを含む、ここでNは選択された音楽が含むタイムシーケンスの全数である。この実施例において、各タイムセグメントは、同一の所定長さを有する。
例えば、パケット310のヘッダ内のフィールド301はパケット310が第1のタイムセグメントに対応することを表すシーケンスインデックス「1」を含み、パケット320のヘッダのフィールド303は、パケット320が第2のタイムセグメントに対応することを表すシーケンスインデックス「2」を含み、パケット430のヘッダ内のフィールド305は、パケット330が第3のタイムセグメントに対応することを表すシーケンスインデックス「3」を含む。以下、同様である。
クライアント端末130はタイムセグメントベースでサーバー105からのパケットシーケンスを処理する。これはクライアント端末130内に搭載されたソフトウェアと/またはハードウェアを用いて実現されるルーチンに従って行われる。図4は、このようなルーチン400を示す。ルーチン400のステップ407においては、各タイムセグメントiに対し、クライアント端末130はこのタイムセグメントに対応するパケットを処理するために受信しなければならない所定のタイムリミットを設定する。ステップ411において、クライアント端末130は、各受信したパケットのヘッダ内の前述したシーケンスインデックスを検査する。
受信したパケットのシーケンスインテックスの値に基づいて、ステップ414でクライアント端末130はタイムセグメントiに対するパケットをタイムリミット内に受信したか否かを決定する。予定したパケットを受信した場合には、ルーティン400はステップ417に進み、そこでクライアント端末130はパケットからST表示コンテンツを抽出する。ステップ421において、クライアント端末130は抽出されたコンテンツに対し上記のオーディオ符号化器203に対し逆機能を実行して、タイムセグメントiに対応するLとRを再生する。
あるいは、前述したタイムリミットが期待したパケットを受信する前にタイムリミットが経過した場合には、クライアント端末130はタイムセグメントiに対し公知のエラー隠蔽(error concealment )を実行する。例えば、ステップ424で示したように、近隣のタイムセグメント内でのオーディオ再生の結果に基づいて間そうする。
前述の説明は、本発明の原理を単に説明したものであり、様々な変形例が考えられる。
例えば本発明の別の方法は、ステレオオーディオ信号の位置特定キューを捕獲し、信号を効率的に表すものである。この別の方法は、周波数領域の予測に基づいているが、信号の「実」MDCT表示と共に機能するが、これは前述した複合DFT表示と異なるものである。MDCTは、2つの連続する解析ブロックの間が50%オーバラップしたブロック変換と見ることができる。即ち、変換ブロック長さBに対しては2つの連続するブロックの間でB/2だけオーバラップしている。
さらにまた、この変換はB/2実変換(周波数)出力を生成する。この変換に関する詳細は、H. Malavar 著の、"Lapped Orthogonal Transforms," Prentice Hall, Englewood Cliffs, New Jersey. を参照のこと。この別の方法は、各周波数コンテンツの位相キュー情報は、実表示中には明らかではないが、MDCT係数の展開、即ちMDCT表示の周波数ビンのブロック間相関内に埋め込まれるという発明者の認識から出ている。かくして、例えば右のMDCT係数の予測は、現在および前の変換ブロックに対する同一周波数ビン内の左側のMDCT係数に基づいて行われる別の系が静止信号に対する強度キューと位相キューを捕獲する。
例えば、このような予測は次式で表すことができる。
Figure 0004865010
ここで、「k」は現在のMDCTブロックを表すインデックスであり、「k−1」は前のブロックを表すインデックスである。この別の方法は、コンピュータの計算上のオーバヘッドを小さくしながらPACコーデックに効果的に組み込むことができる、その理由は必要とされるMDCT表示はコーデック内で利用可能となり、そしてこの別の方法は、符号化されるべきステレオオーディオ信号が比較的静止している(左右があまり違わない)場合に特によく実行される。
さらにまた、上記のパラメータ符号化系は、Lに基づいたRの表示に基づいて予測を行う。逆に、パラメータ符号化系は、Rに基づいたLの予測に基づいて予測が行われる。この場合に上記の議論は、RとLを置き換えて行われる。
さらにまた、本発明の実施例においては、パラメータ符号化技術は、パケットスイッチ通信システムにも適応できる。しかし、本発明の技術は、ハイブリッドインバンドオンチャネル(IBOC)AMシステム、ハイブリッドIBOC FMシステム、通信衛星システム、インターネット無線システム、TV放送システム等を含む放送システムにも等しく適応可能である。
最後に、サーバー105は様々なサーバー機能が個別の機能ブロックにより実行される形式で本明細書では説明した。しかし、これらの機能の1つあるいは複数は、これらのブロックの機能あるいはこれらの全ての機能が適宜プログラムされたプロセッサにより実行されるような形態で実現することもできる。
100 本発明の装置
105 サーバー
120 インターネット
125 通信接続
130 クライアント端末
203 オーディオ符号化器
205 A/Dコンバータ
207 ミキサー
209 リード線
211 アダプタ
215 ステレオ符号化器
217 PAC符号化器
222 リード線
225 量子化器
231 ST表示フォーマッタ
270 メモリ
280 プロセッサ
285 パケット化器
301,303,305 フィールド
310,320,330,430 パケット
407 各タイムセグメントに対し、タイムリミットを設定する
411 各受信したパケットのヘッダ内のシーケンスインデックスを検査する
414 タイムセグメントiに対するパケットをタイムリミット内に受信したか?
417 パケットからST表示コンテンツを取り出す
421 タイムセグメントiに対応するLとRを再生する
424 タイムセグメントiに対するオーディオエラー隠蔽を実行する

Claims (10)

  1. 第1信号及び第2信号を含む合成信号を処理する装置であって、
    第1信号及び第2信号の間の関係によって定義される位置特定キューを記述する1又はそれより多くの係数を取り出すプロセッサと、
    前記合成信号の表示を生成するコントローラであって、当該コントローラの入力が前記プロセッサの出力に接続され、前記表示が少なくとも第1信号から取り出された第1情報と、少なくとも前記1又はそれより多くの係数に関する第2情報とを含み、第2信号の値は第1情報及び第2情報に基づいてスペクトル領域において予測できるものであるコントローラと、を備えることを特徴とする装置。
  2. 前記1又はそれより多くの係数は、第2信号の少なくとも一部の位相に対する第1信号の少なくとも一部の位相を記述することを特徴とする請求項1記載の装置。
  3. 前記係数は、第2信号の少なくとも一部の強度に対する、第1信号の少なくとも一部の強度をも記述することを特徴とする請求項1記載の装置。
  4. 前記係数は、第1信号と第2信号とを因果律制約に従わせることにより取り出されることを特徴とする請求項1記載の装置。
  5. 前記第1情報は、第1信号と第2信号との組合せから取り出されることを特徴とする請求項1記載の装置。
  6. 前記第1信号と第2信号との組合せが、前記第1情報を取り出すに際して、第1信号と第2信号にそれぞれ適用される第1の値と第2の値を用いて、適応的に決定され、前記第1情報が、前記第1の値によって乗算される前記第1信号と前記第2の値によって乗算される前記第2信号との組み合わせとして決定され
    ことを特徴とする請求項5記載の装置。
  7. 第1信号と第2信号とを含む合成信号を処理する装置であって、
    第1信号と第2信号とに基づいて混成信号を生成するミキサーと、
    前記混成信号の表示を生成するために混成信号を符号化する第1符号化器と、
    前記混成信号と第信号とに応答してスペクトル領域において該第信号を予測するための1又はそれより多くの係数に関連する情報を提供する第2符号化器と、
    合成信号の表示を生成するプロセッサであって、前記合成信号の表示が、前記係数とに関連する情報の表示を含むプロセッサと、を備え
    前記1又はそれより多くの係数が第1信号及び第2信号の間の関係によって定義される位置特定キューを記述することを特徴とする合成信号の処理装置。
  8. 前記混成信号は、第1信号と第2信号にそれぞれ適用される第1の値と第2の値を用いて適応的に生成され、前記混成信号が、前記第1の値により乗算される前記第1信号と前記第2の値により乗算される前記第2信号との組み合わせとして決定されることを特徴とする請求項7記載の装置。
  9. パケットのシーケンス内の合成信号の表示をパケット化するコントローラをさらに備え、
    各パケットは他のパケットに対するパケットのシーケンス順番を表すインディケータを含むことを特徴とする請求項7記載の装置。
  10. 第1信号と第2信号とを含む合成信号を再生する装置であって、
    前記合成信号の表示を受領するインタフェースと、
    前記表示は少なくとも第1信号から得られた第1情報と、第1信号と第2信号との間の位相関係によって定義される位置特定キューを記述する係数に関連する第2情報とを含み、
    前記表示に基づいて前記合成信号を再生するプロセッサであって、前記合成信号を再生する際の表示の中の第1情報と第2情報とに基づいてスペクトル領域において第2信号の値を予測するよう動作するプロセッサと、を備えることを特徴とする信号の再生装置。
JP2009143798A 1999-12-03 2009-06-17 第1成分と第2成分を含む信号を処理する装置と方法 Expired - Fee Related JP4865010B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/454026 1999-12-03
US09/454,026 US6539357B1 (en) 1999-04-29 1999-12-03 Technique for parametric coding of a signal containing information

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000368899A Division JP2001209399A (ja) 1999-12-03 2000-12-04 第1成分と第2成分を含む信号を処理する装置と方法

Publications (2)

Publication Number Publication Date
JP2009205185A JP2009205185A (ja) 2009-09-10
JP4865010B2 true JP4865010B2 (ja) 2012-02-01

Family

ID=23802983

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2000368899A Pending JP2001209399A (ja) 1999-12-03 2000-12-04 第1成分と第2成分を含む信号を処理する装置と方法
JP2009143798A Expired - Fee Related JP4865010B2 (ja) 1999-12-03 2009-06-17 第1成分と第2成分を含む信号を処理する装置と方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2000368899A Pending JP2001209399A (ja) 1999-12-03 2000-12-04 第1成分と第2成分を含む信号を処理する装置と方法

Country Status (5)

Country Link
US (1) US6539357B1 (ja)
EP (1) EP1107232B1 (ja)
JP (2) JP2001209399A (ja)
CA (1) CA2326495C (ja)
DE (1) DE60039278D1 (ja)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961432B1 (en) * 1999-04-29 2005-11-01 Agere Systems Inc. Multidescriptive coding technique for multistream communication of signals
JP3507743B2 (ja) * 1999-12-22 2004-03-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 圧縮オーディオデータへの電子透かし方法およびそのシステム
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
US20030035553A1 (en) * 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US6804565B2 (en) * 2001-05-07 2004-10-12 Harman International Industries, Incorporated Data-driven software architecture for digital sound processing and equalization
US7447321B2 (en) 2001-05-07 2008-11-04 Harman International Industries, Incorporated Sound processing system for configuration of audio signals in a vehicle
US7451006B2 (en) * 2001-05-07 2008-11-11 Harman International Industries, Incorporated Sound processing system using distortion limiting techniques
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US8605911B2 (en) 2001-07-10 2013-12-10 Dolby International Ab Efficient and scalable parametric stereo coding for low bitrate audio coding applications
DE10154932B4 (de) * 2001-11-08 2008-01-03 Grundig Multimedia B.V. Verfahren zur Audiocodierung
JP3870193B2 (ja) 2001-11-29 2007-01-17 コーディング テクノロジーズ アクチボラゲット 高周波再構成に用いる符号器、復号器、方法及びコンピュータプログラム
WO2003085643A1 (en) * 2002-04-10 2003-10-16 Koninklijke Philips Electronics N.V. Coding of stereo signals
ATE459957T1 (de) * 2002-04-10 2010-03-15 Koninkl Philips Electronics Nv Kodierung und dekodierung für mehrkanalige signale
DE60326782D1 (de) 2002-04-22 2009-04-30 Koninkl Philips Electronics Nv Dekodiervorrichtung mit Dekorreliereinheit
EP1500083B1 (en) * 2002-04-22 2006-06-28 Koninklijke Philips Electronics N.V. Parametric multi-channel audio representation
US7492908B2 (en) * 2002-05-03 2009-02-17 Harman International Industries, Incorporated Sound localization system based on analysis of the sound field
CN100539742C (zh) * 2002-07-12 2009-09-09 皇家飞利浦电子股份有限公司 多声道音频信号编解码方法和装置
AU2003281128A1 (en) * 2002-07-16 2004-02-02 Koninklijke Philips Electronics N.V. Audio coding
SE0202770D0 (sv) 2002-09-18 2002-09-18 Coding Technologies Sweden Ab Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks
RU2005120236A (ru) 2002-11-28 2006-01-20 Конинклейке Филипс Электроникс Н.В. (Nl) Кодирование аудиосигнала
DE602004002390T2 (de) * 2003-02-11 2007-09-06 Koninklijke Philips Electronics N.V. Audiocodierung
DE602004029872D1 (de) 2003-03-17 2010-12-16 Koninkl Philips Electronics Nv Verarbeitung von mehrkanalsignalen
US20060171542A1 (en) * 2003-03-24 2006-08-03 Den Brinker Albertus C Coding of main and side signal representing a multichannel signal
US20040264713A1 (en) * 2003-06-27 2004-12-30 Robert Grzesek Adaptive audio communication code
US7792670B2 (en) * 2003-12-19 2010-09-07 Motorola, Inc. Method and apparatus for speech coding
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
CN1938760B (zh) 2004-04-05 2012-05-23 皇家飞利浦电子股份有限公司 多通道编码器
RU2392671C2 (ru) * 2004-04-05 2010-06-20 Конинклейке Филипс Электроникс Н.В. Способы и устройства для кодирования и декодирования стереосигнала
CN102122509B (zh) * 2004-04-05 2016-03-23 皇家飞利浦电子股份有限公司 多信道解码器和多信道解码方法
JP4939933B2 (ja) * 2004-05-19 2012-05-30 パナソニック株式会社 オーディオ信号符号化装置及びオーディオ信号復号化装置
DE602005011439D1 (de) * 2004-06-21 2009-01-15 Koninkl Philips Electronics Nv Verfahren und vorrichtung zum kodieren und dekodieren von mehrkanaltonsignalen
ES2373728T3 (es) * 2004-07-14 2012-02-08 Koninklijke Philips Electronics N.V. Método, dispositivo, aparato codificador, aparato decodificador y sistema de audio.
EP1769491B1 (en) * 2004-07-14 2009-09-30 Koninklijke Philips Electronics N.V. Audio channel conversion
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
US8046217B2 (en) * 2004-08-27 2011-10-25 Panasonic Corporation Geometric calculation of absolute phases for parametric stereo decoding
DE102004042819A1 (de) * 2004-09-03 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Multikanalsignals und Vorrichtung und Verfahren zum Decodieren eines codierten Multikanalsignals
KR101158709B1 (ko) 2004-09-06 2012-06-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 신호 강화
DE102004043521A1 (de) * 2004-09-08 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals oder eines Parameterdatensatzes
US7720230B2 (en) * 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
JP5106115B2 (ja) 2004-11-30 2012-12-26 アギア システムズ インコーポレーテッド オブジェクト・ベースのサイド情報を用いる空間オーディオのパラメトリック・コーディング
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
US7761304B2 (en) * 2004-11-30 2010-07-20 Agere Systems Inc. Synchronizing parametric coding of spatial audio with externally provided downmix
US7903824B2 (en) * 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
EP1866913B1 (en) * 2005-03-30 2008-08-27 Koninklijke Philips Electronics N.V. Audio encoding and decoding
US7991610B2 (en) * 2005-04-13 2011-08-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Adaptive grouping of parameters for enhanced coding efficiency
US7961890B2 (en) 2005-04-15 2011-06-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Multi-channel hierarchical audio coding with compact side information
KR101259203B1 (ko) * 2005-04-28 2013-04-29 파나소닉 주식회사 음성 부호화 장치와 음성 부호화 방법, 무선 통신 이동국 장치 및 무선 통신 기지국 장치
WO2006118179A1 (ja) * 2005-04-28 2006-11-09 Matsushita Electric Industrial Co., Ltd. 音声符号化装置および音声符号化方法
US8626503B2 (en) * 2005-07-14 2014-01-07 Erik Gosuinus Petrus Schuijers Audio encoding and decoding
EP1921605B1 (en) * 2005-09-01 2014-03-12 Panasonic Corporation Multi-channel acoustic signal processing device
US7974713B2 (en) 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
BRPI0713236B1 (pt) * 2006-07-07 2020-03-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Conceito para combinação de múltiplas fontes de áudio parametricamente codificadas
US8265941B2 (en) 2006-12-07 2012-09-11 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
JP5302207B2 (ja) 2006-12-07 2013-10-02 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
CN101071570B (zh) * 2007-06-21 2011-02-16 北京中星微电子有限公司 耦合声道的编、解码处理方法、音频编码装置及解码装置
KR100922897B1 (ko) * 2007-12-11 2009-10-20 한국전자통신연구원 Mdct 영역에서 음질 향상을 위한 후처리 필터장치 및필터방법
US8817992B2 (en) 2008-08-11 2014-08-26 Nokia Corporation Multichannel audio coder and decoder
KR101433701B1 (ko) 2009-03-17 2014-08-28 돌비 인터네셔널 에이비 적응형으로 선택가능한 좌/우 또는 미드/사이드 스테레오 코딩과 파라메트릭 스테레오 코딩의 조합에 기초한 진보된 스테레오 코딩
TWI433137B (zh) 2009-09-10 2014-04-01 Dolby Int Ab 藉由使用參數立體聲改良調頻立體聲收音機之聲頻信號之設備與方法
RU2559899C2 (ru) 2010-04-09 2015-08-20 Долби Интернешнл Аб Стереофоническое кодирование на основе mdct с комплексным предсказанием
PL3779975T3 (pl) * 2010-04-13 2023-12-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio i powiązane sposoby przetwarzania wielokanałowych sygnałów audio stereo z wykorzystaniem zmiennego kierunku predykcji
UA107771C2 (en) * 2011-09-29 2015-02-10 Dolby Int Ab Prediction-based fm stereo radio noise reduction
CN108877815B (zh) * 2017-05-16 2021-02-23 华为技术有限公司 一种立体声信号处理方法及装置
US10891960B2 (en) * 2017-09-11 2021-01-12 Qualcomm Incorproated Temporal offset estimation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8601182A (nl) * 1986-05-12 1987-12-01 Philips Nv Werkwijze en inrichting voor het opnemen en/of weergeven van een beeldsignaal en een bijbehorend audiosignaal in respektievelijk van een registratiedrager, en een registratiedrager verkregen volgens de werkwijze.
NL9000338A (nl) * 1989-06-02 1991-01-02 Koninkl Philips Electronics Nv Digitaal transmissiesysteem, zender en ontvanger te gebruiken in het transmissiesysteem en registratiedrager verkregen met de zender in de vorm van een optekeninrichting.
US5632005A (en) * 1991-01-08 1997-05-20 Ray Milton Dolby Encoder/decoder for multidimensional sound fields
JPH04324727A (ja) * 1991-04-24 1992-11-13 Fujitsu Ltd ステレオ符号化伝送方式
DE4202140A1 (de) * 1992-01-27 1993-07-29 Thomson Brandt Gmbh Verfahren zur uebertragung digitaler audio-signale
US5285498A (en) * 1992-03-02 1994-02-08 At&T Bell Laboratories Method and apparatus for coding audio signals based on perceptual model
ES2165370T3 (es) * 1993-06-22 2002-03-16 Thomson Brandt Gmbh Metodo para obtener una matriz decodificadora multicanal.
US5438623A (en) * 1993-10-04 1995-08-01 The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration Multi-channel spatialization system for audio signals
US5703877A (en) 1995-11-22 1997-12-30 General Instrument Corporation Of Delaware Acquisition and error recovery of audio data carried in a packetized data stream
DE19628292B4 (de) * 1996-07-12 2007-08-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Codieren und Decodieren von Stereoaudiospektralwerten
US5796844A (en) * 1996-07-19 1998-08-18 Lexicon Multichannel active matrix sound reproduction with maximum lateral separation

Also Published As

Publication number Publication date
JP2001209399A (ja) 2001-08-03
CA2326495A1 (en) 2001-06-03
DE60039278D1 (de) 2008-08-07
EP1107232B1 (en) 2008-06-25
EP1107232A3 (en) 2002-10-16
JP2009205185A (ja) 2009-09-10
EP1107232A2 (en) 2001-06-13
CA2326495C (en) 2004-02-03
US6539357B1 (en) 2003-03-25

Similar Documents

Publication Publication Date Title
JP4865010B2 (ja) 第1成分と第2成分を含む信号を処理する装置と方法
KR101309672B1 (ko) 부가정보 비트스트림 변환을 포함하는 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법
US5886276A (en) System and method for multiresolution scalable audio signal encoding
JP5455647B2 (ja) オーディオデコーダ
KR101178114B1 (ko) 복수의 입력 데이터 스트림을 믹싱하기 위한 장치
JP5357904B2 (ja) 変換補間によるオーディオパケット損失補償
JP4056407B2 (ja) スケーラブル無損失オーディオ符号化/復号化装置及びその方法
JP5647571B2 (ja) フルバンド拡張可能なオーディオコーデック
JPH11509388A (ja) 信号の、符号化の際の冗長度低減方法及び冗長度を低減された信号の復号化装置
JP2010170142A (ja) ビットレートスケーラブルなオーディオデータストリームを生成する方法および装置
WO2006041055A1 (ja) スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法
JP4063508B2 (ja) ビットレート変換装置およびビットレート変換方法
JP2004198485A (ja) 音響符号化信号復号化装置及び音響符号化信号復号化プログラム
KR20040054235A (ko) 비트율 조절이 가능한 스테레오 오디오 부호화 및복호화방법 및 그 장치
KR20040053501A (ko) 스테레오 오디오 부호화 방법, 그 장치, 복호화 방법 및그 장치
EP3648102B1 (en) Method and apparatus for improving the coding of side information required for coding a higher order ambisonics representation of a sound field
JP3193515B2 (ja) 音声符号化通信方式及びその装置
JP3336619B2 (ja) 信号処理装置
KR100238324B1 (ko) 오디오 신호의 에러 은닉 방법과 그 장치
JP3011038B2 (ja) 音声情報圧縮方法及び装置
JP3099876B2 (ja) 多チャネル音声信号符号化方法及びその復号方法及びそれを使った符号化装置及び復号化装置
Jin et al. A hierarchical lossless/lossy coding system for high quality audio up to 192 kHz sampling 24 bit format
JP4195598B2 (ja) 符号化方法、復号化方法、符号化装置、復号化装置、符号化プログラム、復号化プログラム
JPH10260699A (ja) 音声符号化方法および装置
JP3692959B2 (ja) 電子透かし情報埋め込み装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110216

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110516

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110519

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110812

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111017

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111109

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4865010

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees