JP4629937B2 - 音声コーディングシステムにおける双方向ピッチエンハンスメント - Google Patents

音声コーディングシステムにおける双方向ピッチエンハンスメント Download PDF

Info

Publication number
JP4629937B2
JP4629937B2 JP2001508443A JP2001508443A JP4629937B2 JP 4629937 B2 JP4629937 B2 JP 4629937B2 JP 2001508443 A JP2001508443 A JP 2001508443A JP 2001508443 A JP2001508443 A JP 2001508443A JP 4629937 B2 JP4629937 B2 JP 4629937B2
Authority
JP
Japan
Prior art keywords
pitch enhancement
speech
pulse
reverse
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001508443A
Other languages
English (en)
Other versions
JP2003504655A5 (ja
JP2003504655A (ja
Inventor
ヤン ガオ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conexant Systems LLC
Original Assignee
Conexant Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conexant Systems LLC filed Critical Conexant Systems LLC
Publication of JP2003504655A publication Critical patent/JP2003504655A/ja
Publication of JP2003504655A5 publication Critical patent/JP2003504655A5/ja
Application granted granted Critical
Publication of JP4629937B2 publication Critical patent/JP4629937B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【0001】
(関連出願の相互参照)
本出願は、1999年7月2日に出願された「Bi−Directional Pitch Enhancement In Speech Coding Systems」と称する米国仮特許出願第60/142,092号(アトーニードケット第97RSS380P)、および1999年8月2日に出願された「Bi−Directional Pitch Enhancement In Speech Coding Systems」と称する米国仮特許出願第09/365,444号(アトーニードケット第97RSS380)の優先権を主張する。
【0002】
(背景)
(1.技術分野)
本発明は、概して、音声コーディングに関し、より詳細には、再生された音声の知覚品質を向上するために、ピッチエンハンスメントを用いる低ビットレート音声コーディングシステムに関する。
【0003】
(2.関連技術の説明)
従来の音声コーディングシステムは、典型的には、符号励起線型予測音声コーディングシステムにおいて順方向ピッチエンハンスメントのみを用いる。これは、大部分は、比較的大きな帯域幅が利用できる従来の音声コードのサブフレームのサイズが、順方向ピッチエンハンスメント単独で十分な知覚品質を提供することができることに起因する。しかしながら、音声コーディングシステムで用いられる種々の通信媒体内のより低ビットレートに対しては、合成後に再生された音声の知覚品質は、高い知覚品質を維持できないでいる。
【0004】
これらの低いビットレートで動作する従来の音声コーディングシステムでは、ピッチ予測時に発生されるピッチ遅延は、通常、サブフレーム全体のサイズに比べてはるかに短い。すなわち、このピッチ遅延は、サブフレーム全体のうち比較的小さい部分を含む。この特徴は、女性および子供のようなより高い(より短い)ピッチを有するスピーカの場合にさらに助長する。従来の励起コードブック構造は、低ビットレートで動作する際に、十分高い知覚品質を提供しない。これは主には、音声信号の周期性が十分に確立されていないか、またはコードブックから抽出された励起ベクトルが、高い知覚品質を有する合成音声信号を生成するには不十分であることに起因する。
【0005】
音声コーディングシステムのサブフレームサイズがさらに大きくなるにつれて、ますます低くなるビットレートを有する通信システムに関連して一般的であるように、ピッチエンハンスメントが順方向のみに実行されるという事実によって、知覚品質を著しく低下させることになる。これは、いくつかある他の理由のうちとりわけ、多くのパルスがないことに起因した大量のデッドスペースがサブフレーム内に存在するという事実による。より高いビットレートで動作し、従ってより短いサブフレームを有する従来の音声コーディングシステムにおいて、この影響は、典型的には、人間の耳によって音声として知覚されない。このより低い知覚品質の影響は、比較的低い利用可能なビットレートを有する音声コーディングを扱うほぼすべての音声コーディングシステムで認識されている。
【0006】
従来および伝統的なシステムのさらなる制限および不利益は、このようなシステムと、図面を参照して本出願の残りの部分に記載される本発明との比較によって、当業者に明らかとなる。
【0007】
(発明の要旨)
本発明の種々の局面は、順方向ピッチエンハンスメントおよび逆方向ピッチエンハンスメントを用いる音声コーディングシステムにおいて見出され得る。本発明の特定の実施形態において、順方向ピッチエンハンスメントおよび逆方向ピッチエンハンスメントは、音声コーディングシステム全体のうち1つの部分において実行される。例えば、エンコーダおよびデコーダを含む音声コーデックを有する音声コーディングシステムにおいて、順方向ピッチエンハンスメントおよび逆方向ピッチエンハンスメントは、音声コーデックのエンコーダおよびデコーダの両方において実行される。あるいは、本発明の他の実施形態では、順方向ピッチエンハンスメントおよび逆方向ピッチエンハンスメントは、音声コーデックのデコーダでのみ実行される。特定のアプリケーションによって決定されるように、順方向ピッチエンハンスメントおよび逆方向ピッチエンハンスメントは分散型の様式で実行される。各ピッチエンハンスメントは、音声コーデックのエンコーダおよびデコーダの各々の少なくとも一部分において実行される。
【0008】
本発明の特定の実施形態において、逆方向ピッチエンハンスメントは、順方向ピッチエンハンスメント自身を用いて生成される。逆方向ピッチエンハンスメントは、以前に生成された順方向ピッチエンハンスメントの鏡像であり、逆方向ピッチエンハンスメントは、順方向ピッチエンハンスメントに依存して生成される。あるいは、本発明の別の実施形態では、逆方向ピッチエンハンスメントは、順方向ピッチエンハンスメントと独立して生成される。すなわち逆方向ピッチエンハンスメントは、以前に生成された順方向ピッチエンハンスメントと関係なく生成される。
【0009】
本発明に従って構築される音声コーディングシステムは、適切には、利用可能な帯域幅が制限された、または利用可能な帯域幅を制約した通信媒体を用いて動作する音声コーディングシステムに適合される。本発明の範囲を逸脱することなく、本発明において任意の通信媒体が用いられ得る。このような通信媒体の例には、無線通信媒体、ワイヤに基づく電話通信媒体、光ファイバ通信媒体およびイーサネット(登録商標)が含まれるが、これらに限定されない。
【0010】
本発明の他の局面、利点および新規な特徴は、添付の図面とともに本発明の以下の詳細な説明を解釈する際に、以下の詳細な説明から理解される。
【0011】
(図面の詳細な説明)
図1は、本発明によって構築される音声ピッチエンハンスメントシステム110の1実施形態100を示すシステム図である。音声ピッチエンハンスメントシステム110は、とりわけ、ピッチエンハンスメント処理回路構成要素112、音声コーディング回路構成要素114、順方向ピッチエンハンスメント回路構成要素116、逆方向ピッチエンハンスメント回路構成要素118および音声処理回路構成要素119を含む。音声ピッチエンハンスメントシステム110は、非強化(non-enhanced)音声データまたは励起信号120に対して動作し、ピッチ強化(enhanced)音声データ130を生成する。ピッチ強化音声データまたは励起信号130は、音声サブフレームに関して順方向および逆方向の両方において実行されるピッチ予測およびピッチエンハンスメントを有する音声データを含む。音声ピッチエンハンスメントシステム110は、本発明の特定の実施形態においては、励起信号に対してのみ動作し、音声ピッチエンハンスメントシステム110は、本発明の別の実施形態においては、音声データに対してのみ動作する。
【0012】
本発明の特定の実施形態において、音声ピッチエンハンスメントシステム110は、逆方向ピッチエンハンスメント回路構成要素118を用いて逆方向ピッチ予測を生成するために独立して動作する。あるいは、順方向ピッチエンハンスメント回路構成要素116および逆方向ピッチエンハンスメント回路構成要素118は、音声コーディングシステムのピッチエンハンスメント全体を生成するために協働して動作する。本発明の他の実施形態では、ピッチエンハンスメント処理回路構成要素112を用いて、順方向ピッチエンハンスメント回路構成要素116および逆方向ピッチエンハンスメント回路構成要素118をモニタリングする監視制御動作が実行される。音声処理回路構成要素119は、音声データに対して動作し、音声データの操作を実行するための、音声処理分野の当業者に公知である音声処理回路構成要素を含むが、これに限定されない。音声コーディング回路構成要素114も同様に、音声コーディング分野の当業者に公知である回路構成要素を含むが、これに限定されない。当業者に公知のこのような音声コーディングは、他の音声コーディング方法のうちとりわけ、符号励起線型予測、代数符号励起線型予測およびパルス状励起を含む。
【0013】
図2は、本発明による音声ピッチエンハンスメントを用いる分散型音声コーデック200の1実施形態を示すシステム図である。分散型音声コーデック200の音声エンコーダ220は、ピッチエンハンスメントコーディング221を実行する。ピッチエンハンスメントコーディング221は、逆方向パルスピッチ予測回路構成要素222および順方向パルスピッチ予測回路構成要素223を用いて実行される。本発明の別の実施形態において説明されるように、ピッチエンハンスメントコーディング221は、音声サブフレーム内で、順方向および逆方向の両方においてピッチ予測およびピッチエンハンスメントを生成する。分散型音声コーデック200の音声エンコーダ220はまた、音声サブフレーム内で、符号コーディング226および位置コーディング227の両方を含む音声信号のメインパルスコーディング225を実行する。音声処理回路構成要素229はまた、音声データに対して動作し、音声データの操作を実行するための音声処理分野の当業者に公知の方法を用いた音声処理を助けるために、分散型音声コーデック200の音声エンコーダ220内で用いられる。さらに、音声処理回路構成要素229は、本発明の特定の実施形態において、逆方向パルスピッチ予測回路構成要素222および順方向パルスピッチ予測回路構成要素223を協働して動作する。音声データが処理された後、分散型音声コーデック200の音声エンコーダ220によって少なくともある程度の音声データが、通信リンク210を介して分散型音声コーデック200の音声デコーダ230へと伝送される。通信リンク210は、無線通信媒体、ワイヤに基づく電話通信媒体、光ファイバ通信媒体およびイーサネット(登録商標)を含む音声データを伝送可能な任意の通信媒体であるが、これらに限定されない。音声データを伝送可能な任意の通信媒体は、本発明の範囲および意図から逸脱することなく通信リンク210に含まれる。分散型音声コーデック200の音声デコーダ230は、とりわけ、音声再生回路構成要素232、予測補償回路構成要素234および音声処理回路構成要素236を含む。
【0014】
本発明の特定の実施形態において、音声処理回路構成要素229および音声処理回路構成要素236は、分散型音声コーデック200の全体の中で、音声データに対して協働して動作する。あるいは、音声処理回路構成要素229および音声処理回路構成要素236は、音声データに対して独立して動作し、各音声処理回路構成要素が音声エンコーダ220および音声デコーダ230のそれぞれにおいて音声処理機能を実行する。音声処理回路構成要素229および音声処理回路構成要素236は、音声データに対して動作し、音声データの操作を実行するために、音声処理の分野の当業者に公知の音声処理回路構成要素を含むが、これに限定されない。メインパルスコーディング回路構成要素225も、同様に、音声コーディングの分野の当業者に公知の回路構成要素を含むが、これに限定されない。このようなメインパルスコーディング回路構成要素225の例では、当業者に公知の回路構成要素、他のメインパルスコーディング方法の中でもとりわけ、本発明の他の実施形態において上述されるような、符号励起線型予測、代数符号励起線型予測およびパルス状予測が含まれる。
【0015】
図3は、本発明による音声ピッチエンハンスメントを用いる分散型音声コーデック300の別の実施形態を示すシステム図である。分散型音声コーデック300の音声エンコーダ320は、音声サブフレーム内で、符号コーディング326および位置コーディング327の両方を含む音声信号のメインパルスコーディング325を実行する。音声処理回路構成要素329はまた、音声処理の分野の当業者に公知の方法を用いた音声処理を助けるために、分散型音声コーデック300の音声エンコーダ320内で利用され、それにより音声データに対して動作し、音声データの操作を実行する。音声データが処理された後、分散型音声コーデック300の音声エンコーダ320によって少なくともある程度の音声データが、通信リンク310を介して分散型音声コーデック300の音声デコーダ330へと伝送される。通信リンク310は、無線通信媒体、ワイヤに基づく電話通信媒体、光ファイバ通信媒体およびイーサネット(登録商標)を含む音声データを伝送可能な任意の通信媒体であるが、これらに限定されない。音声データを伝送可能な任意の通信媒体は、本発明の範囲および意図から逸脱することなく通信リンク310に含まれる。分散型音声コーデック300の音声デコーダ330は、ピッチエンハンスメントコーディング321を実行する。ピッチエンハンスメントコーディング321は、逆方向パルスピッチ予測回路構成要素322および順方向パルスピッチ予測回路構成要素323の両方を用いて実行される。本発明の種々の実施形態において上述されるように、ピッチエンハンスメントコーディング321は、音声サブフレーム内で、順方向および逆方向の両方においてピッチ予測およびピッチエンハンスメントを生成する。音声処理回路構成要素336はまた、音声処理の分野の当業者に公知の方法を用いた音声処理を助けるために、分散型音声コーデック300の音声デコーダ330内で利用され、それにより音声データに対して動作し、音声データの操作を実行する。さらに、音声処理回路構成要素339は、本発明の特定の実施形態において、逆方向パルスピッチ予測回路構成要素322および順方向パルスピッチ予測回路構成要素323を協働して動作する。
【0016】
本発明の特定の実施形態において、音声処理回路構成要素329および音声処理回路構成要素336は、分散型音声コーデック300の全体の中で、音声データに対して協働して動作する。あるいは、音声処理回路構成要素329および音声処理回路構成要素336は音声データに対して独立して動作する。各音声処理回路構成要素は、音声エンコーダ320および音声デコーダ330のそれぞれにおいて音声処理機能を実行する。音声処理回路構成要素329および音声処理回路構成要素336は、音声データに対して動作し、音声データの操作を実行するために、音声処理の分野の当業者に公知の音声処理回路構成要素を含むが、これに限定されない。メインパルスコーディング回路構成要素325も同様に、音声コーディングの分野の当業者に公知の回路構成要素を含むが、これに限定されない。このようなメインパルスコーディング回路構成要素325の例では、当業者に公知の回路構成要素、他のメインパルスコーディング方法の中でもとりわけ、本発明の他の実施形態において上述されるような、符号励起線型予測、代数符号励起線型予測およびパルス状予測が含まれる。
【0017】
図4は、本発明による音声ピッチエンハンスメントを用いる集積音声コーデック420の別の実施形態400を示すシステム図である。集積音声コーデック420は、とりわけ、低ビットレート通信リンク410を介して音声デコーダ424と通信する音声エンコーダ422を含む。低ビットレート通信リンク410は、無線通信媒体、ワイヤに基づく電話通信媒体、光ファイバ通信媒体およびイーサネット(登録商標)を含む音声データを伝送可能な任意の通信媒体であるが、これらに限定されない。音声データを伝送可能な任意の通信媒体は、本発明の範囲および意図から逸脱することなく低ビットレート通信リンク410に含まれる。ピッチエンハンスメントコーディング421が、集積音声コーディング420内で実行される。ピッチエンハンスメントコーディング421は、とりわけ、逆方向パルスピッチ予測回路構成要素422および順方向パルスピッチ予測回路構成要素423を用いて実行される。本発明の種々の実施形態において上述されるように、逆方向パルスピッチ予測回路構成要素422および順方向パルスピッチ予測回路構成要素423は、本発明の特定の実施形態では協働して動作し、本発明の別の実施形態では独立して動作する。
【0018】
実施形態400に示されるように、逆方向パルスピッチ予測回路構成要素422および順方向パルスピッチ予測回路構成要素423が、集積音声コーデック420の全体の中に含まれる。所望ならば、本発明の特定の実施形態では、逆方向パルスピッチ予測回路構成要素422および順方向パルスピッチ予測回路構成要素423の両方が、音声エンコーダ422および音声デコーダ424のそれぞれに含まれる。あるいは、本発明の他の実施形態では、逆方向パルスピッチ予測回路構成要素422または順方向パルスピッチ予測回路構成要素423のいずれか一方が、音声エンコーダ422および音声デコーダ424のいずれか一方のみに含まれる。任意の(at hand)特定のアプリケーションに応じて、ユーザは、逆方向パルスピッチ予測回路構成要素422および順方向パルスピッチ予測回路構成要素423を音声エンコーダ422および音声デコーダ424のうちいずれか一方、あるいは両方に配置するように選択し得る。本発明における種々の実施形態は、本発明の範囲および意図から逸脱することなく、様々な量の逆方向パルスピッチ予測回路構成要素422および順方向パルスピッチ予測回路構成要素423を音声エンコーダ422および音声デコーダ424に配置することを想定している。例えば、本発明の特定の実施形態では、逆方向パルスピッチ予測回路構成要素422の所定の部分が、音声エンコーダ422に配置され、一方逆方向パルスピッチ予測回路構成要素422の残りの部分が、音声デコーダ424に配置される。同様に、本発明の特定の実施形態では、順方向パルスピッチ予測回路構成要素423の所定の部分が、音声エンコーダ422に配置され、一方順方向パルスピッチ予測回路構成要素423の残りの部分が、音声デコーダ424に配置される。
【0019】
図5は、本発明によって実行される順方向ピッチエンハンスメントおよび逆方向ピッチエンハンスメントを示す音声サブフレーム510を示すコーディング図500である。メインパルスM0520は、符号励起線型予測、代数符号励起線型予測、合成音声コーディングによる分析およびパルス状励起を含む音声処理の分野の当業者に公知の任意の方法(但し、これらに限定されない)を用いて、音声サブフレーム510内で生成される。本発明の種々の実施形態で用いられる上述の方法を含む音声処理の種々の方法を用いて、順方向予測パルスM1530、順方向予測パルスM2540および順方向予測パルスM3550はすべて、音声サブフレーム510内で生成されて配置される。上述のように、本発明の特定の実施形態において、順方向予測パルスM1530、順方向予測パルスM2540および順方向予測パルスM3550の生成は、種々の処理回路構成要素を用いて実行される。さらに、逆方向予測パルスM-1560および逆方向予測パルスM-2570もまた本発明に従って生成される。
【0020】
本発明の特定の実施形態において、逆方向予測パルスM-1560および逆方向予測パルスM-2570は、順方向予測パルスM1530、順方向予測パルスM2540および順方向予測パルスM3550を用いて生成される。あるいは、本発明の他の実施形態では、逆方向予測パルスM-1560および逆方向予測パルスM-2570は、順方向予測パルスM1530、順方向予測パルスM2540および順方向予測パルスM3550と独立して生成される。逆方向予測パルスM-1560および逆方向予測パルスM-2570の独立して生成する例は、ソフトウェア内におけるインプリメンテーションであり、この場合、音声サブフレーム510の時間スケールは、ソフトウェア内で逆にされる。メインパルスM0520は、同様にして用いて、順方向予測パルスM1530、順方向予測パルスM2540および順方向予測パルスM3550と、逆方向予測パルスM-1560および逆方向予測パルスM-2570との両方を生成する。つまり、この処理は、典型的な順方向において1回実行されて、音声サブフレーム510がソフトウェハ内で逆にされた後に、この処理は、非典型的な逆方向で再度実行される。ただし、同じ数学的方法を用いる。すなわち、データは、音声サブフレーム510に関して逆にされるだけである。
【0021】
図6は、本発明による順方向音声ピッチエンハンスメントを用いて、逆方向音声ピッチエンハンスメントを生成する、本発明の実施形態600を示す機能的ブロック図を示す。ブロック610において、音声信号が処理される。ブロック620において、音声データのメインパルスがコード化される。別のプロセスのブロック655において、音声データ情報が通信リンクを介して伝送される。別のプロセスのブロック655は、コード化された音声データが伝送された後に順方向ピッチエンハンスメントおよび逆方向ピッチエンハンスメントを実行して、音声を再生する、本発明の実施形態で用いられる。ブロック630において、順方向ピッチエンハンスメントが実行され、ブロック640において、逆方向ピッチエンハンスメントが実行される。本発明の特定の実施形態において、ブロック640の逆方向ピッチエンハンスメントは、ブロック630で生成される順方向ピッチエンハンスメントの鏡像である。他の実施形態では、ブロック640の逆方向ピッチエンハンスメントは、ブロック630で生成される順方向ピッチエンハンスメントの鏡像ではない。別のプロセスのブロック650において、音声データ情報が通信リンクを介して伝送される。別のプロセスのブロック650は、コード化された音声データが伝送される前に、順方向ピッチエンハンスメントおよび逆方向ピッチエンハンスメントを実行して音声を再生する、本発明の実施形態において用いられる。ブロック660において、音声信号が再構築される/合成される。
【0022】
本発明の特定の実施形態において、ブロック640で実行される逆方向ピッチエンハンスメントは、単に、ブロック650で実行さる順方向ピッチエンハンスメントの冗長にすぎない。すなわち、ブロック640の逆方向ピッチエンハンスメントが、ブロック630で生成される順方向ピッチエンハンスメントの鏡像である。例えば、順方向ピッチエンハンスメントがブロック650で実行された後に、得られたピッチエンハンスメントは、音声処理の分野の当業者に公知の任意の方法を用いて、ブロック640で実行される逆方向ピッチエンハンスメントを生成するために、音声サブフレーム内で単にコピーされて、逆にされる。そうすることによって音声信号を合成し、再生する。
【0023】
図7は、本発明による順方向音声ピッチエンハンスメントと独立して逆方向音声ピッチエンハンスメントを実行する、本発明の実施形態700を示す機能的ブロック図を示す。ブロック710において、音声信号が処理される。ブロック720において、音声データのメインパルスがコード化される。別のプロセスのブロック755において、音声データ情報が通信リンクを介して伝送される。別のプロセスのブロック755は、コード化された音声データが伝送された後に順方向ピッチエンハンスメントおよび逆方向ピッチエンハンスメントを実行して、音声を再生する、本発明の実施形態で用いられる。ブロック730において、順方向ピッチエンハンスメントが実行され、ブロック740において、逆方向ピッチエンハンスメントが実行される。ブロック740の逆方向ピッチエンハンスメントは、音声データが逆にされた後で実行され、ブロック740の逆方向ピッチエンハンスメントは、ブロック730で実行される順方向ピッチエンハンスメントに独立して実行される。この特定の実施形態は、音声データの全体的に新しいセットが処理されているかのように、音声データが逆にされて、ブロック740の逆方向ピッチエンハンスメントが生成されるという点で、実施形態600に示されるものとは異なる。逆に、実施形態600では、得られるピッチエンハンスメント自身を用いるが、逆方向に広げられる。実施形態700の特定の実施形態において、この実施形態は、あたかも2つのセットの音声データ(1つのデータセットは、ブロック730において順方向におけるピッチ予測を生成するために処理され、もう一方のデータセットは、ブロック740において逆方向におけるピッチ予測を生成するために処理される)が各サブフレームについて処理されているかのうようであるが、それらはともに、音声データの同じサブフレームについて動作している。別のプロセスのブロック750において、音声データ情報は通信リンクを介して伝送される。別のプロセスのブロック750は、コード化された音声データが伝送される前に、ブロック730の順方向ピッチエンハンスメントおよびブロック740の逆方向ピッチエンハンスメントを実行して音声を再生する、本発明の実施形態において用いられる。ブロック760において、音声信号が再構築される/合成される。
【0024】
本発明の上記詳細な説明およびそれに関連する図面を鑑みて、他の改変例および変更例が、当業者には明らかである。また、このような他の改変例および変更例が、本発明の範囲から逸脱することなく為され得ることも理解すべきである。
【図面の簡単な説明】
【図1】 図1は、本発明によって構築される音声ピッチエンハンスメントシステムの1実施形態を示すシステム図である。
【図2】 図2は、本発明による音声ピッチエンハンスメントを用いる分散型音声コーデックの1実施形態を示すシステム図である。
【図3】 図3は、本発明による音声ピッチエンハンスメントを用いる分散型音声コーデックの別の実施形態を示すシステム図である。
【図4】 図4は、本発明による音声ピッチエンハンスメントを用いる集積音声コーデックの別の実施形態を示すシステム図である。
【図5】 図5は、本発明によるピッチエンハンスメントを実行するための、順方向予測パルスおよび逆方向予測パルスを示す音声サブフレームを示す図である。
【図6】 図6は、本発明による順方向音声ピッチエンハンスメントを用いて、逆方向音声ピッチエンハンスメントを生成する、本発明の実施形態を示す機能的ブロック図を示す。
【図7】 図7は、本発明による順方向音声ピッチエンハンスメントと独立して逆方向音声ピッチエンハンスメントを実行する、本発明の実施形態を示す機能的ブロック図を示す。

Claims (37)

  1. 励起信号に対してピッチエンハンスメントを実行する符号励起線型予測(CELP)音声コーデックであって、
    音声サブフレーム内に少なくとも1つのメインパルスを配置するように構成されたメインパルスコーディングモジュールと、
    該音声コーデックに含まれた順方向ピッチエンハンスメント回路であって、該音声サブフレームに作用し、該音声サブフレーム内に少なくとも1つの順方向予測パルスを配置するようにさらに構成された順方向ピッチエンハンスメント回路と、
    該音声コーデックに含まれた逆方向ピッチエンハンスメント回路であって、該音声サブフレームに作用し、該音声サブフレーム内に少なくとも1つの逆方向予測パルスを配置するようにさらに構成された逆方向ピッチエンハンスメント回路と
    を備える、音声コーデック。
  2. 前記順方向ピッチエンハンスメント回路および前記逆方向ピッチエンハンスメント回路は、再生のために協働して動作して前記励起信号の知覚品質を改善する、請求項1に記載の音声コーデック。
  3. 前記順方向ピッチエンハンスメント回路および前記逆方向ピッチエンハンスメント回路は、再生のために独立して動作して前記励起信号の知覚品質を改善する、請求項1に記載の音声コーデック。
  4. 励起信号に作用する符号励起線型予測(CELP)ピッチエンハンスメントシステムであって、
    音声サブフレーム内に少なくとも1つのメインパルスを配置するように構成されたメインパルスコーディングモジュールと、
    該音声サブフレームに作用するように構成された逆方向ピッチエンハンスメント回路であって、該音声サブフレーム内に少なくとも1つの逆方向予測パルスを配置するようにさらに構成され、エンコーダとデコーダとの間に配置されている逆方向ピッチエンハンスメント回路と
    該逆方向ピッチエンハンスメント回路に通信可能に接続された音声処理回路であって、該励起信号を操作するように構成された音声処理回路と
    を備える、ピッチエンハンスメントシステム。
  5. 前記逆方向ピッチエンハンスメント回路に通信可能に接続された順方向ピッチエンハンスメント回路であって、該音声サブフレームに作用し、該音声サブフレーム内に少なくとも1つの順方向予測パルスを配置するようにさらに構成された順方向ピッチエンハンスメント回路をさらに備える、請求項4に記載のピッチエンハンスメントシステム。
  6. 前記順方向ピッチエンハンスメント回路および前記逆方向ピッチエンハンスメント回路は、再生のために協働して動作して前記励起信号の知覚品質を改善する、請求項5に記載のピッチエンハンスメントシステム。
  7. 前記順方向ピッチエンハンスメント回路および前記逆方向ピッチエンハンスメント回路は、再生のために独立して動作して前記励起信号の知覚品質を改善する、請求項5に記載のピッチエンハンスメントシステム。
  8. 励起信号に対して音声ピッチエンハンスメントを実行する符号励起線型予測(CELP)方法であって、
    音声サブフレーム内に少なくとも1つのメインパルスを配置することと、
    該音声サブフレーム内に少なくとも1つの順方向予測パルスを配置することによって、該励起信号に対して順方向ピッチエンハンスメントを実行することと、
    該音声サブフレーム内に少なくとも1つの逆方向予測パルスを配置することによって、該励起信号に対して逆方向ピッチエンハンスメントを実行することと
    を包含する、方法。
  9. 前記励起信号に対して順方向ピッチエンハンスメントを実行することと、前記励起信号に対して逆方向ピッチエンハンスメントを実行することとは、再生のために独立して実行されて該励起信号の知覚品質を改善する、請求項8に記載の方法。
  10. 前記励起信号に対して順方向ピッチエンハンスメントを実行することと、前記励起信号に対して逆方向ピッチエンハンスメントを実行することとは、再生のために協働して実行されて該励起信号の知覚品質を改善する、請求項8に記載の方法。
  11. 前記励起信号に対して順方向ピッチエンハンスメントを実行することと、前記励起信号に対して逆方向ピッチエンハンスメントを実行することとが、音声コーデックを用いて実行される、請求項8に記載の方法。
  12. 前記予測パルスの各々は、前記メインパルスよりも低いゲインを有する、請求項8に記載の方法。
  13. 前記逆方向予測パルスが前記順方向予測パルスを用いて生成される、請求項8に記載の方法。
  14. 前記逆方向予測パルスと前記順方向予測パルスとが前記メインパルスを用いて生成される、請求項8に記載の方法。
  15. 励起信号に対してピッチエンハンスメントを実行する符号励起線型予測(CELP)音声コーデックであって、
    音声サブフレーム内に少なくとも1つのメインパルスを配置するように構成されたエンコーダと、
    該エンコーダに通信可能に結合された通信リンクと、
    該通信リンクを介して該エンコーダに通信可能に結合されたデコーダと、
    該音声コーデックに含まれた順方向ピッチエンハンスメント回路であって、該音声サブフレームに作用し、該音声サブフレーム内に少なくとも1つの順方向予測パルスを配置するようにさらに構成された順方向ピッチエンハンスメント回路と、
    該音声コーデックに含まれた逆方向ピッチエンハンスメント回路であって、該音声サブフレームに作用し、該音声サブフレーム内に少なくとも1つの逆方向予測パルスを配置するようにさらに構成された逆方向ピッチエンハンスメント回路と
    を備える、音声コーデック。
  16. 前記順方向ピッチエンハンスメント回路および前記逆方向ピッチエンハンスメント回路は、再生のために協働して動作して前記励起信号の知覚品質を改善する、請求項15に記載の音声コーデック。
  17. 前記順方向ピッチエンハンスメント回路および前記逆方向ピッチエンハンスメント回路は、再生のために独立して動作して前記励起信号の知覚品質を改善する、請求項15に記載の音声コーデック。
  18. 前記予測パルスの各々は、前記メインパルスよりも低いゲインを有する、請求項1に記載の音声コーデック。
  19. 前記逆方向予測パルスと前記順方向予測パルスとが前記メインパルスを用いて生成される、請求項1に記載の音声コーデック。
  20. 前記逆方向予測パルスが前記順方向予測パルスを用いて生成される、請求項1に記載の音声コーデック。
  21. 励起信号に作用する符号励起線型予測(CELP)音声ピッチエンハンスメントシステムであって、
    音声サブフレーム内に少なくとも1つのメインパルスを配置するように構成されたメインパルスコーディングモジュールと、
    該音声サブフレームに作用するように構成された逆方向ピッチエンハンスメント回路であって、該音声サブフレーム内に少なくとも1つの逆方向予測パルスを配置するようにさらに構成された逆方向ピッチエンハンスメント回路と
    を備える、音声ピッチエンハンスメントシステム。
  22. 前記逆方向ピッチエンハンスメント回路に通信可能に接続された順方向ピッチエンハンスメント回路であって、該音声サブフレームに作用し、該音声サブフレーム内に少なくとも1つの順方向予測パルスを配置するようにさらに構成された順方向ピッチエンハンスメント回路をさらに備える、請求項21に記載の音声ピッチエンハンスメントシステム。
  23. 前記順方向ピッチエンハンスメント回路および前記逆方向ピッチエンハンスメント回路は、再生のために協働して動作して前記励起信号の知覚品質を改善する、請求項22に記載の音声ピッチエンハンスメントシステム。
  24. 前記順方向ピッチエンハンスメント回路および前記逆方向ピッチエンハンスメント回路は、再生のために独立して動作して前記励起信号の知覚品質を改善する、請求項22に記載の音声ピッチエンハンスメントシステム。
  25. 前記少なくとも1つの逆方向予測パルスは、前記少なくとも1つの順方向予測パルスの鏡像である、請求項1に記載の音声コーデック。
  26. 前記少なくとも1つの逆方向予測パルスは、逆にされた前記少なくとも1つの順方向予測パルスのコピーである、請求項1に記載の音声コーデック。
  27. 前記少なくとも1つの逆方向予測パルスは、前記少なくとも1つの順方向予測パルスの鏡像である、請求項5に記載のピッチエンハンスメントシステム。
  28. 前記少なくとも1つの逆方向予測パルスは、逆にされた前記少なくとも1つの順方向予測パルスのコピーである、請求項5に記載のピッチエンハンスメントシステム。
  29. 前記少なくとも1つの逆方向予測パルスは、前記少なくとも1つの順方向予測パルスの鏡像である、請求項8に記載の方法。
  30. 前記少なくとも1つの逆方向予測パルスは、逆にされた前記少なくとも1つの順方向予測パルスのコピーである、請求項8に記載の方法。
  31. 前記少なくとも1つの逆方向予測パルスは、前記少なくとも1つの順方向予測パルスの鏡像である、請求項15に記載の音声コーデック。
  32. 前記少なくとも1つの逆方向予測パルスは、逆にされた前記少なくとも1つの順方向予測パルスのコピーである、請求項15に記載の音声コーデック。
  33. 前記少なくとも1つの逆方向予測パルスは、前記少なくとも1つの順方向予測パルスの鏡像である、請求項22に記載の音声ピッチエンハンスメントシステム。
  34. 前記少なくとも1つの逆方向予測パルスは、逆にされた前記少なくとも1つの順方向予測パルスのコピーである、請求項22に記載の音声ピッチエンハンスメントシステム。
  35. 励起信号に対してピッチエンハンスメントを実行する符号励起線型予測(CELP)音声コーデックであって、
    音声サブフレーム内で少なくとも1つのメインパルスのデータ情報を符号化するように構成された音声エンコーダモジュールと、
    データ情報を音声デコーダに伝送する伝送モジュールと、
    該音声デコーダ内に含まれた順方向ピッチエンハンスメント回路であって、該音声サブフレームに作用し、該音声サブフレーム内に少なくとも1つの順方向予測パルスを配置するようにさらに構成された順方向ピッチエンハンスメント回路と、
    該音声デコーダ内に含まれた逆方向ピッチエンハンスメント回路であって、該音声サブフレームに作用し、該音声サブフレーム内に少なくとも1つの逆方向予測パルスを配置するようにさらに構成された逆方向ピッチエンハンスメント回路と
    を備える、音声コーデック。
  36. 前記少なくとも1つの逆方向予測パルスは、前記少なくとも1つの順方向予測パルスの鏡像である、請求項35に記載の音声コーデック。
  37. 前記少なくとも1つの逆方向予測パルスは、前記少なくとも1つの順方向予測パルスの逆にされたコピーである、請求項35に記載の音声コーデック。
JP2001508443A 1999-07-02 2000-06-30 音声コーディングシステムにおける双方向ピッチエンハンスメント Expired - Lifetime JP4629937B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14209299P 1999-07-02 1999-07-02
US60/142,092 1999-07-02
US60/365,444 1999-08-02
US09/365,444 US6704701B1 (en) 1999-07-02 1999-08-02 Bi-directional pitch enhancement in speech coding systems
PCT/US2000/018232 WO2001003125A1 (en) 1999-07-02 2000-06-30 Bi-directional pitch enhancement in speech coding systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010230113A Division JP2011048387A (ja) 1999-07-02 2010-10-12 音声コーディングシステムにおける双方向ピッチエンハンスメント

Publications (3)

Publication Number Publication Date
JP2003504655A JP2003504655A (ja) 2003-02-04
JP2003504655A5 JP2003504655A5 (ja) 2007-06-21
JP4629937B2 true JP4629937B2 (ja) 2011-02-09

Family

ID=26839756

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2001508443A Expired - Lifetime JP4629937B2 (ja) 1999-07-02 2000-06-30 音声コーディングシステムにおける双方向ピッチエンハンスメント
JP2010230113A Withdrawn JP2011048387A (ja) 1999-07-02 2010-10-12 音声コーディングシステムにおける双方向ピッチエンハンスメント

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010230113A Withdrawn JP2011048387A (ja) 1999-07-02 2010-10-12 音声コーディングシステムにおける双方向ピッチエンハンスメント

Country Status (7)

Country Link
US (1) US6704701B1 (ja)
EP (1) EP1194925B1 (ja)
JP (2) JP4629937B2 (ja)
CN (1) CN1186766C (ja)
DE (1) DE60014904T2 (ja)
TW (1) TW473703B (ja)
WO (1) WO2001003125A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100841096B1 (ko) * 2002-10-14 2008-06-25 리얼네트웍스아시아퍼시픽 주식회사 음성 코덱에 대한 디지털 오디오 신호의 전처리 방법
KR100754439B1 (ko) * 2003-01-09 2007-08-31 와이더댄 주식회사 이동 전화상의 체감 음질을 향상시키기 위한 디지털오디오 신호의 전처리 방법
EP1881487B1 (en) * 2005-05-13 2009-11-25 Panasonic Corporation Audio encoding apparatus and spectrum modifying method
CN101266797B (zh) * 2007-03-16 2011-06-01 展讯通信(上海)有限公司 语音信号后处理滤波方法
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US9728200B2 (en) 2013-01-29 2017-08-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for adaptive formant sharpening in linear prediction coding
US9418671B2 (en) * 2013-08-15 2016-08-16 Huawei Technologies Co., Ltd. Adaptive high-pass post-filter
US9620134B2 (en) 2013-10-10 2017-04-11 Qualcomm Incorporated Gain shape estimation for improved tracking of high-band temporal characteristics
US10083708B2 (en) 2013-10-11 2018-09-25 Qualcomm Incorporated Estimation of mixing factors to generate high-band excitation signal
US10614816B2 (en) 2013-10-11 2020-04-07 Qualcomm Incorporated Systems and methods of communicating redundant frame information
US9384746B2 (en) 2013-10-14 2016-07-05 Qualcomm Incorporated Systems and methods of energy-scaled signal processing
US10163447B2 (en) 2013-12-16 2018-12-25 Qualcomm Incorporated High-band signal modeling
CN109767781A (zh) * 2019-03-06 2019-05-17 哈尔滨工业大学(深圳) 基于超高斯先验语音模型与深度学习的语音分离方法、系统及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0291699A (ja) * 1988-09-28 1990-03-30 Nec Corp 音声符号化復号化方式
US5495555A (en) * 1992-06-01 1996-02-27 Hughes Aircraft Company High quality low bit rate celp-based speech codec
CA2108623A1 (en) * 1992-11-02 1994-05-03 Yi-Sheng Wang Adaptive pitch pulse enhancer and method for use in a codebook excited linear prediction (celp) search loop
CA2124713C (en) * 1993-06-18 1998-09-22 Willem Bastiaan Kleijn Long term predictor
US5774837A (en) * 1995-09-13 1998-06-30 Voxware, Inc. Speech coding system and method using voicing probability determination
WO1997027578A1 (en) * 1996-01-26 1997-07-31 Motorola Inc. Very low bit rate time domain speech analyzer for voice messaging
JP2940464B2 (ja) * 1996-03-27 1999-08-25 日本電気株式会社 音声復号化装置
US6161086A (en) * 1997-07-29 2000-12-12 Texas Instruments Incorporated Low-complexity speech coding with backward and inverse filtered target matching and a tree structured mutitap adaptive codebook search
JPH11184500A (ja) * 1997-12-24 1999-07-09 Fujitsu Ltd 音声符号化方式及び音声復号化方式
US6385576B2 (en) * 1997-12-24 2002-05-07 Kabushiki Kaisha Toshiba Speech encoding/decoding method using reduced subframe pulse positions having density related to pitch
US6556966B1 (en) * 1998-08-24 2003-04-29 Conexant Systems, Inc. Codebook structure for changeable pulse multimode speech coding
US6240386B1 (en) * 1998-08-24 2001-05-29 Conexant Systems, Inc. Speech codec employing noise classification for noise compensation
CA2252170A1 (en) * 1998-10-27 2000-04-27 Bruno Bessette A method and device for high quality coding of wideband speech and audio signals
US6574593B1 (en) * 1999-09-22 2003-06-03 Conexant Systems, Inc. Codebook tables for encoding and decoding
US6604070B1 (en) * 1999-09-22 2003-08-05 Conexant Systems, Inc. System of encoding and decoding speech signals
US6581032B1 (en) * 1999-09-22 2003-06-17 Conexant Systems, Inc. Bitstream protocol for transmission of encoded voice signals

Also Published As

Publication number Publication date
CN1360716A (zh) 2002-07-24
DE60014904D1 (de) 2004-11-18
EP1194925B1 (en) 2004-10-13
CN1186766C (zh) 2005-01-26
DE60014904T2 (de) 2005-12-22
TW473703B (en) 2002-01-21
JP2011048387A (ja) 2011-03-10
EP1194925A1 (en) 2002-04-10
US6704701B1 (en) 2004-03-09
JP2003504655A (ja) 2003-02-04
WO2001003125A1 (en) 2001-01-11
WO2001003125B1 (en) 2001-02-08

Similar Documents

Publication Publication Date Title
JP2011048387A (ja) 音声コーディングシステムにおける双方向ピッチエンハンスメント
US7024358B2 (en) Recovering an erased voice frame with time warping
JP4838361B2 (ja) オーディオ信号のデコーディング方法及びその装置
US8180061B2 (en) Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding
RU2461897C2 (ru) Способ и устройство, предназначенные для эффективной передачи сигналов размерности и пачки в полосе частот и работы с максимальной половинной скоростью при широкополосном кодировании речи с переменной скоростью передачи битов для беспроводных систем мдкр
TWI395204B (zh) 一種使用下混合的音頻編碼的音頻解碼器、音頻物件編碼器、多音頻物件編碼方法、用於對多音頻物件信號進行解碼的方法,以及執行這些方法的具有程式碼的程式
JP5269039B2 (ja) オーディオエンコード及びデコード
JP3167385B2 (ja) 音声信号伝送方法
KR100462615B1 (ko) 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
JP5542306B2 (ja) オーディオ信号のスケーラブル符号化及び復号
JP4000261B2 (ja) ステレオ音響信号の処理方法と装置
CN102834862A (zh) 用于包括通用音频和语音帧的音频信号的编码器
JP6010176B2 (ja) オーディオ信号のデコーディング方法及びその装置
JPWO2007116809A1 (ja) ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法
EP2301017B1 (en) Audio apparatus
KR20070003544A (ko) 아비트러리다운믹스게인을 이용한 클리핑복원
JP3064947B2 (ja) 音声・楽音符号化及び復号化装置
JP2002221994A (ja) 音声信号の符号列のパケット組立方法、装置及びパケット分解方法、装置並びにこれらの方法を実行するプログラム、プログラムを記録する記録媒体
US5828811A (en) Speech signal coding system wherein non-periodic component feedback to periodic excitation signal source is adaptively reduced
KR100462024B1 (ko) 부가 음성 데이터를 이용한 패킷 손실 복구 방법 및 이를이용한 송수신기
KR100468960B1 (ko) 음성부호화 시스템의 양방향 피치 강화 시스템
JP3303580B2 (ja) 音声符号化装置
GB2595891A (en) Adapting multi-source inputs for constant rate encoding
EP1859441B1 (en) Low-complexity code excited linear prediction encoding
KR100304137B1 (ko) 음성압축/신장방법및시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070425

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100512

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100722

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100729

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100909

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101101

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101112

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4629937

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term