JP4820934B2 - 情報信号を符号化する方法および装置 - Google Patents

情報信号を符号化する方法および装置 Download PDF

Info

Publication number
JP4820934B2
JP4820934B2 JP2004551949A JP2004551949A JP4820934B2 JP 4820934 B2 JP4820934 B2 JP 4820934B2 JP 2004551949 A JP2004551949 A JP 2004551949A JP 2004551949 A JP2004551949 A JP 2004551949A JP 4820934 B2 JP4820934 B2 JP 4820934B2
Authority
JP
Japan
Prior art keywords
vector
error
excitation vector
correlation matrix
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004551949A
Other languages
English (en)
Other versions
JP2006505828A (ja
Inventor
ミッタル、ウダー
ピー. アシュリー、ジェームズ
エム. クルーズ、エドガルド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Original Assignee
Motorola Mobility LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Mobility LLC filed Critical Motorola Mobility LLC
Publication of JP2006505828A publication Critical patent/JP2006505828A/ja
Application granted granted Critical
Publication of JP4820934B2 publication Critical patent/JP4820934B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001Codebooks
    • G10L2019/0013Codebook search algorithms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、一般に、信号圧縮システムに関し、より詳細には、符号励振線形予測(CELP)タイプの音声符号化システムに関する。
本願は、本願と同じ日付けで出願された米国特許出願第10/290,572号、代理人書類番号第CML00808M号に関する。
デジタル音声および音響信号の圧縮はよく知られている。通信チャネルを通して信号を能率的に伝送するため、または、圧縮された信号を、固体メモリ・デバイスまたはコンピュータ・ハードディスクなどのデジタル・メディア・デバイス上に記憶するために、一般に、圧縮が必要である。多くの圧縮(または、「符号化」)技法が存在するが、デジタル音声符号化に非常によく使用され続けている1方法は、符号励振線形予測(CELP)として知られており、「合成による分析」を用いる符号化アルゴリズムの系統の1つである。合成による分析は一般に、デジタル・モデルの複数のパラメータを使用して、入力信号と比較され、歪みについて分析される候補信号のセットが合成される符号化処理のことを言う。最も低い歪みが得られるパラメータのセットは、その後、送信されるか、または、記憶され、最終的には、元の入力信号の推定値を再構築するのに使用される。CELPは、1つまたは複数のコードブックを使用する、独特の合成による分析を用いる方法であり、コードブックはそれぞれ、実質的に、コードブック・インデックスに応答してコードブックから取出される符号ベクトルのセットを含む。
たとえば、図1は、従来技術のCELPエンコーダ100のブロック図である。CELPエンコーダ100において、入力信号s(n)が、線形予測符号化(LPC)分析ブロック101に適用され、ブロック101において線形予測符号化を使用して短期スペクトル包絡線が推定される。得られるスペクトル・パラメータ(または、LPパラメータ)は、伝達関数A(z)で示される。スペクトル・パラメータがLPC量子化ブロック102に適用され、LPC量子化ブロック102は、スペクトル・パラメータを量子化して、マルチプレクサ108で使用されるのに適した量子化されたスペクトル・パラメータAq を作成する。量子化されたスペクトル・パラメータAq は、その後、マルチプレクサ108に伝達され、マルチプレクサは、量子化されたスペクトル・パラメータAq と2乗誤差最小化/パラメータ量子化ブロック107によって求められるコードブック関連のパラメータτ、β、κ、およびγのセットとに基づいて、符号化されたビット・ストリームを作成する。
量子化されたスペクトル・パラメータすなわちLPパラメータは、対応する伝達関数1/Aq (z)を有するLPC合成フィルタ105にも局所的に伝達される。LPC合成フィルタ105は、第1結合器110から結合された励振信号u(n)も受信し、量子化されたスペクトル・パラメータAq および結合された励振信号u(n)に基づいて入力信号s^(n)の推定値を作成する。結合された励振信号u(n)は以下のようにして作成される。適応コードブック符号ベクトルcτは、インデックス・パラメータτに基づいて適応コードブック(ACB)103から選択される。適応コードブック符号ベクトルcτは、その後、利得パラメータβに基づいて重み付けられ、重み付けられた適応コードブック符号ベクトルが、第1結合器110に伝達される。固定コードブック符号ベクトルcκは、インデックス・パラメータκに基づいて固定コードブック(FCB)104から選択される。固定コードブック符号ベクトルcκは、その後、利得パラメータγに基づいて重み付けられ、重み付けられた適応コードブック符号ベクトルが、第1結合器110にも伝達される。第1結合器110は、その後、適応コードブック符号ベクトルcτの重み付きの
ものを固定コードブック符号ベクトルcκの重み付きのものと結合することによって、結合された励振信号u(n)を作成する。
LPC合成フィルタ105は、入力信号推定値s^(n)を第2結合器112に伝達する。第2結合器112は、入力信号s(n)も信し、入力信号s(n)から入力信号の推定値s^(n)を減算する。入力信号s(n)と入力信号推定値s^(n)の差は、知覚的誤差重み付けフィルタ106に適用され、フィルタ106は、s^(n)とs(n)の差と重み付け関数W(z)に基づいて、知覚的に重み付けられた誤差信号e(n)を作成する。知覚的に重み付けられた誤差信号e(n)は、その後、2乗誤差最小化/パラメータ量子化ブロック107に伝達される。2乗誤差最小化/パラメータ量子化ブロック107は、誤差信号e(n)を使用して、入力信号s(n)の最良の推定値s^(n)を作成する、コードブック関連のパラメータ、τ、β、κ、およびγの最適セットを求める。
図2は、エンコーダ100に対応する従来技術のデコーダ200のブロック図である。当業者が認識するように、エンコーダ100によって実施される合成処理と同じ処理で、エンコーダ100によって作成された符号化ビット・ストリームが、デコーダ200のデマルチプレクサによって使用されて、コードブック関連のパラメータ(τ、β、κ、およびγである)の最適セットが復号される。そのため、エンコーダ100によって作成された符号化ビット・ストリームが、誤差なしでデコーダ200によって受信された場合、デコーダ200によって出力される音声s^(n)を、エンコーダ100によって作成される入力音声推定値s^(n)の厳密な複製として再構築することが可能である。
CELPエンコーダ100は理論的には有用であるが、計算の複雑さをできる限り低く維持することが望まれるエンコーダの実用的な実施態様ではない。結果として、図3は、エンコーダ100によって示すエンコーディング・システムに対して等価で、かつ、さらに実用的なシステムを利用する従来技術の例示的なエンコーダ300のブロック図である。エンコーダ100とエンコーダ300の関係をよりよく理解するために、エンコーダ100からのエンコーダ300の数学的導出を調べることが有益である。読者の便宜のために、変数がz変換によって与えられる。
図1から、知覚的誤差重み付けフィルタ106が、入力信号と推定された入力信号の差に基づいて、重み付けされた誤差信号e(n)すなわち、
Figure 0004820934
を作成する。この式から、重み付け関数W(z)が分配され、入力信号推定値s^(n)が、重み付けされたコードブック符号ベクトルのフィルタされた和に分解され得る。
Figure 0004820934
項W(z)S(z)は入力信号の重み付けされたものに対応する。重み付けされた入力信号W(z)S(z)を、SW (z)=W(z)S(z)と定義し、さらに、エンコーダ100の重み付けされた合成フィルタ105を、ここで、伝達関数H(z)=W(z)/Aq (z)で定義することによって、方程式2は以下のように書き直され得る。
Figure 0004820934
z変換表記法を使用することによって、フィルタ状態を明示的に定義する必要がない。ここで、ベクトル長Lが現在サブフレームの長さである、ベクトル表記法を使用することに移ると、方程式3は、重ね合わせの原理を使用することによって、以下のように書き直し得る。
Figure 0004820934
ここで、
・Hは、合成フィルタ303および304などの、重み付けされた合成フィルタのインパルス応答h(n)から形成され、伝達関数Hzs(z)またはH(z)に対応する、L×Lのゼロ状態重み付け合成畳み込み行列であり、その行列は、
Figure 0004820934
として表し得る。
・hzir は、前の入力からの状態による、L×1のゼロ入力応答のH(z)である。
・sW は、L×1の知覚的に重み付けされた入力信号である。
・βは、スカラー適応コードブック(ACB)利得である。
・cτは、インデックスτに応答するL×1のACB符号ベクトルである。
・γは、スカラー固定コードブック(FCB)利得である。
・cκは、インデックスκに応答するL×1のFCB符号ベクトルである。
Hを分配し、入力目標ベクトルをxW =sW −hzir とすることによって、以下の方程式が得られ得る。
Figure 0004820934
方程式6は、エンコーダ300の第3結合器307によって作成され、結合器307によって2乗誤差最小化/パラメータ・ブロック308に結合される、知覚的に重み付けられた誤差(または、歪み)ベクトルe(n)を表す。
上記式から、2乗誤差最小化/パラメータ・ブロック308によって、知覚的に重み付
けられた誤差の重み付けされものの最小化、すなわち‖e‖2 についての方程式が導出され得る。2乗誤差のノルムは、
Figure 0004820934
として与えられる。複雑さの制約のために、音声符号化システムの実用的な実施態様は通常、2乗誤差を逐次的に最小にする。すなわち、ACB成分が、まず、(FCBの寄与がゼロであると仮定することによって)最適化され、その後、FCB成分が、所与の(前に最適化された)ACB成分を使用して最適化される。ACB/FCB利得、すなわち、コードブック関連のパラメータβおよびγは、逐次的に選択されたACB/FCBの符号ベクトルcτおよびcκが与えられると、再び最適化、すなわち、量子化されてもよいし、されなくてもよい。
逐次探索(sequential search )を実施する理論は以下のようである。第1に、方程式7で提供される2乗誤差のノルムが、γ=0と設定することによって変更され、その後、展開されて、
Figure 0004820934
が作成される。2乗誤差の最小化は、その後、βに関してεの部分導関数をとり、量をゼロに設定することによって求められる。
Figure 0004820934
これによって、(逐次的に)最適なACB利得が得られる。
Figure 0004820934
最適なACB利得を方程式8に再び代入することによって、
Figure 0004820934
が与えられる。ここで、τは、逐次的に求められる最適ACBインデックス・パラメー
タ、すなわち、括弧付きの式を最小にするACBインデックス・パラメータである。xW がτに依存しないため、方程式11は、以下のように書き直し得る。
Figure 0004820934
ここで、yτを、重み付けされた合成フィルタ303によってフィルタされたACB符号ベクトルcτに等しい、すなわち、yτ=Hcτであるとすることによって、方程式13は、
Figure 0004820934
に簡略化され、同様に、方程式10は、
Figure 0004820934
に簡略化され得る。
このように、方程式13および方程式14は、最適なACBインデックスτとACB利得βを逐次的に求めるのに必要な2つの式を表す。これらの式をここで使用して、逐次的に最適なFCBインデックスおよび利得の式が求められ得る。第1に、図3から、第2結合器306が、x2 =xW −βHcτであるような、ベクトルx2 を作成することが見て分かる。ベクトルxW は、知覚的な誤差重み付けフィルタ302の出力sW (n)から、重み付けされた合成フィルタ301によってフィルタされた後の過去の励振信号u(n−L)を減算する第1結合器305によって作成される。項βHcτは、ACB符号ベクトルcτのフィルタされ重み付けされたもの、すなわち、重み付けされた合成フィルタ303によってフィルタされ、その後、ACB利得パラメータβに基づいて重み付けされたACB符号ベクトルcτである。式x2 =xW −βHcτを、方程式7に代入することによって、
Figure 0004820934
が生じる。ここで、γHcκは、FCB符号ベクトルcκのフィルタされ重み付けされたもの、すなわち、重み付けされた合成フィルタ304によってフィルタされ、その後、FCB利得パラメータγに基づいて重み付けされたFCB符号ベクトルcκである。最適なACBインデックス・パラメータτの上記導出と同様に、
Figure 0004820934
であることが明らかである。ここで、κは、逐次的な最適FCBインデックス・パラメータ、すなわち、括弧付きの式を最大にするFCBインデックス・パラメータである。κに依存しない項を集めることによって、すなわち、dT 2=xT 2HおよびΦ=HT Hとすることによって、方程式16は、
Figure 0004820934
に簡略化され得る。ここで、逐次的な最適FCB利得γは、
Figure 0004820934
として与えられる。
このように、エンコーダ300は、逐次的に、最適な励振ベクトル関連パラメータτ、β、κ、およびγを求める方法および装置を提供する。しかし、パラメータτ、β、κ、およびγを逐次求めることは、実際には最適以下である。それは、最適化の方程式が、1つのコードブック符号ベクトルの選択が、他のコードブック符号ベクトルの選択に対して与える影響を考慮していないためである。
コードブック関連パラメータτ、β、κ、およびγをよりよく最適化するために、以降で「ウッドワードおよびハンゾの論文」と呼ぶ非特許文献1は、いくつかの連携探索(joint search)手順を説明している。1つの説明された連携探索手法は、ACBおよびFCBの網羅的な探索を伴う。しかし、非特許文献1に述べられているように、こうした連携探索処理は、逐次探索処理のほぼ60倍の複雑さを伴う。ACBとFCBの両方の網羅的な探索とほぼ同じ良好な結果が得られる、非特許文献1において説明されている他の連携探索処理は、逐次探索処理に比べて、30〜40%の複雑さの増加を伴う。しかし、30〜40%の複雑さの増加であっても、プロセッサがより多数のアプリケーションを実行するように求められた場合にはプロセッサに対して望ましくない負荷がかかり、プロセッサに異常に高い負荷がかかる恐れがある。
ウッドワードJ.P.(Woodward,J.P.)およびハンゾL.(Hanzo,L.)論文名「Improvements to the Analysis−by Synthesis Loop in CELP Codecs」 114〜118ページ 1995年9月26〜28日開催のIEEE Conference on Radio Receivers and Associated Systemsにより出版
したがって、合成による分析を用いる、コードブック関連パラメータτ、β、κ、およ
びγをより能率的に求め、従来技術の連携探索処理の複雑さを伴わない方法および装置に対する必要性が存在する。
合成による分析を用いるコードブック関連パラメータτ、β、κ、およびγをより能率的に求め、従来技術の連携探索処理の複雑さを伴わない方法および装置に対する必要性に対処するために、従来のエンコーダより能率的にコードブック・パラメータを最適化するCELPエンコーダが提供される。本発明の1実施形態では、CELPエンコーダは、計算された相関行列に基づいて、励振ベクトル関連インデックスを最適化し、その行列はフィルタされた第1励振ベクトルに基づいている。エンコーダは、その後、入力信号に基づく目標信号と相関行列とに少なくとも部分的に基づいて誤差最小化基準を評価し、誤差最小化基準に応答して励振ベクトル関連インデックス・パラメータを生成する。本発明の別の実施形態では、エンコーダはまた、目標信号を逆方向にフィルタして、逆方向にフィルタされた目標信号を作成し、逆方向にフィルタされた目標信号と相関行列とに少なくとも部分的に基づいて、誤差最小化基準を評価する。本発明のさらに別の実施形態では、連携探索重み係数を参照することによって、複数の励振ベクトル関連パラメータを連携して最適化するか、または逐次最適化するかの少なくともいずれかを行うことが可能であり、それによって、最適な誤差最小化処理を呼び起こすCELPエンコーダが提供される。
一般に、本発明の1実施形態は、信号について合成による分析を用いる符号化を行う方法を包含する。本方法は、入力信号に基づいて目標信号を生成する工程と、第1励振ベクトルを生成する工程と、第1励振ベクトルに部分的に基づいて相関行列の1つまたは複数の要素を生成する工程とを含む。本方法は、目標信号と相関行列の1つまたは複数の要素とに部分的に基づいて誤差最小化基準を評価する工程と、誤差最小化基準に基づいて第2励振ベクトルに関連するパラメータを生成する工程とをさらに含む。
本発明の別の実施形態は、サブフレームについて合成による分析を用いる符号化を行う方法を包含する。本方法は、連携探索重み係数を計算する工程と、計算された連携探索重み係数に基づいて、複数の励振ベクトル関連パラメータのうちの少なくとも2つの励振ベクトル関連パラメータの連携最適化と、複数の励振ベクトル関連パラメータのうちの少なくとも2つの励振ベクトル関連パラメータの逐次最適化とのハイブリッドである最適化処理を実施する工程とを含む。
本発明のさらに別の実施形態は、合成による分析を用いる符号化を行う装置を包含する。本装置は、入力信号に基づいて目標信号を生成する手段と、第1励振ベクトルを生成するベクトル生成器と、第1励振ベクトルに部分的に基づいて相関行列の1つまたは複数の要素を生成し、相関行列の1つまたは複数の要素と目標信号とに部分的に基づいて誤差最小化基準を評価し、誤差最小化基準に基づいて第2励振ベクトルに関連するパラメータを生成する誤差最適化ユニットとを備える。
本発明のさらに別の実施形態は、サブフレームについて合成による分析を用いる符号化を行うためエンコーダを包含する。本エンコーダは、連携探索重み係数を計算し、連携探索重み係数に基づいて、複数の励振ベクトル関連パラメータのうちの少なくとも2つのパラメータの連携最適化と、複数の励振ベクトル関連パラメータのうちの少なくとも2つのパラメータの逐次最適化とのハイブリッドである最適化処理を実施するプロセッサを備える。
本発明は、図4〜図7を参照してより完全に述べることが可能である。図4は、本発明の実施形態による、合成による分析を用いる符号化処理を実施する符号励振線形予測(C
ELP)エンコーダ400のブロック図である。エンコーダ400は、1つまたは複数の、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、それらの組み合わせなどのプロセッサ、あるいは、データおよびプロセッサが実行することが可能であるプログラムを記憶する、ランダム・アクセス・メモリ(RAM)、ダイナミック・ランダム・アクセス・メモリ(DRAM)、および/または、読み出し専用メモリ(ROM)、または、それらの等価物などの、1つまたは複数の関連するメモリ・デバイスと接続する、当業者に知られている他のデバイスにおいて実施される。
図5は、本発明の実施形態による、信号を符号化する時にエンコーダ400が実行する工程の論理フロー図500である。論理フロー500は、入力信号s(n)が、知覚的誤差重み付けフィルタ404に適用される時に開始する(502)。重み付けフィルタ404は、重み付け関数W(z)によって入力信号を重み付けし、重み付けされた入力信号sW (n)を作成する(504)。重み付けされた入力信号は、ベクトル表記でベクトルsW として表し得る。さらに、過去の励振信号u(n−L)が、対応するゼロ入力応答のHzir (z)を有する重み付けされた合成フィルタ402に適用される。重み付けされた入力信号sW (n)、および、重み付けされた合成フィルタ402によって作成された過去の励信信号u(n−L)のフィルタされたものはそれぞれ、第1結合器414に伝達される。第1結合器414は、重み付けされた入力信号sW (n)から過去の励信信号u(n−L)のフィルタされたものを減算し、目標入力信号xW (n)を作成する(506)。ベクトル表記法で、目標入力信号xW (n)は、ベクトルxW として表すことが可能であり、ここで、xW =sW −hzir であり、hzir は、重み付けされた合成フィルタ402によってフィルタされた過去の励信信号u(n−L)に対応する。第1結合器414は、その後、目標入力信号xW (n)、すなわちベクトルxW を第2結合器416に伝達する。
誤差最小化ユニット420によって生成されるベクトルに起因する励振ベクトル関連パラメータτに基づいて、初期の第1励振ベクトルcτが、ベクトル生成器406によって生成される(508)。本発明の1実施形態では、ベクトル生成器406は、複数のベクトルを記憶する、適応コードブックなどの仮想コードブックであり、パラメータτは、コードブックに記憶される複数のベクトルのうちの1つのベクトルに対応するインデックス・パラメータである。こうした実施形態では、cτは適応コードブック(ACB)符号ベクトルである。本発明の別の実施形態では、ベクトル生成器406は、長期予測器(LTP)フィルタであり、パラメータτは、過去の励信信号u(n−L)の選択に対応するラグ(lag)である。
初期の第1励振ベクトルcτは、対応する伝達関数Hzs(z)、または行列表記法でHを有する、第1のゼロ状態に重み付けされた合成フィルタ408に伝達される。重み付けされた合成フィルタ408は、初期の第1励振ベクトルcτをフィルタし、信号yτ(n)、またはベクトル表記法でyτ=Hcτであるようなベクトルyτを作成する(510)。フィルタされた初期の第1励振ベクトルyτ(n)またはyτは、その後、初期の第1励振ベクトル関連利得パラメータβに基づいて第1重み付け器409によって重み付けされ(512)、重み付けされフィルタされた初期の第1励振ベクトルβyτ、またはβHcτは第2結合器416に伝達される。
第2結合器416は、目標入力信号またはベクトルxW から、重み付けされフィルタされた初期の第1励振ベクトルβyτ、またはβHcτを減算し、中間信号x2 (n)、またはベクトル表記法でx2 =xW −βHcτであるような中間ベクトルx2 を作成する(514)。第2結合器416は、その後、中間信号x2 (n)またはベクトルx2 を第3結合器418に伝達する。第3結合器418はまた、初期の第2励振ベクトルcκ、好ましくは、固定コードブック(FCB)符号ベクトルの重み付けされフィルタされたものを
受信する。初期の第2励振ベクトルcκは、初期の第2励振ベクトル関連インデックス・パラメータκ、好ましくは、FCBインデックス・パラメータに基づいて、コードブック410、好ましくは、固定コードブック(FCB)によって生成される(516)。初期の第2励振ベクトルcκは、対応する伝達関数Hzs(z)、または行列表記法でHを同様に有する、第2のゼロ状態に重み付けされた合成フィルタ412に伝達される。重み付けされた合成フィルタ412は、初期の第2励振ベクトルcκをフィルタし、信号yκ(n)、またはベクトル表記法でyκ=Hcκであるようなベクトルyκを作成する(518)。フィルタされた初期の第2励振ベクトルyκ(n)またはyκは、その後、初期の第2励振ベクトル関連利得パラメータγに基づいて第2重み付け器413によって重み付けされる(520)。重み付けされフィルタされた初期の第2励振ベクトルγyκ、またはγHcκは、その後、同様に第3結合器418に伝達される。
エンコーダ300と同様に、ここで使用する符号は以下のように定義される。
・Hは、合成フィルタ303および304などの、重み付けされた合成フィルタのインパルス応答h(n)から形成され、伝達関数Hzs(z)またはH(z)に対応する、L×Lのゼロ状態重み付け合成畳み込み行列であり、その行列は、
Figure 0004820934
として表し得る。
・hzir は、前の入力からの状態による、L×1のゼロ入力応答のH(z)である。
・sW は、L×1の知覚的に重み付けされた入力信号である。
・βは、スカラー第1励振ベクトル関連利得である。
・cτは、パラメータτに応答して生成されるL×1の第1励振ベクトルである。
・γは、スカラー第2励振ベクトル関連利得である。
・cκは、インデックス・パラメータκに応答して生成されるL×1の第2励振ベクトルである。 ベクトル生成器406は、仮想コードブックまたはLTPフィルタとしてここで述べられ、コードブック410は、固定コードブックとしてここで述べられるが、コードブックおよびそのそれぞれの符号ベクトルの配置は、本発明の精神および範囲から逸脱することなく、変わってもよいことを当業者は認識する。たとえば、第1コードブックは固定コードブックであってよく、第2コードブックは適応コードブックであってよく、または、第1コードブックと第2コードブックは共に、固定コードブックであってよい。
第3結合器418は、中間信号x2 (n)、または、中間ベクトルx2 から、重み付けされフィルタされた初期の第2励振ベクトルγyκ、またはγHcκを減算し、知覚的に重み付けされた誤差信号e(n)を作成する(522)。知覚的に重み付けされた誤差信号e(n)は、その後、誤差最小化ユニット420、好ましくは、2乗誤差最小化/パラメータ量子化ブロックに伝達される。誤差最小化ユニット420は、誤差信号e(n)を使用して、誤差信号e(n)の2乗和を最小にすることによって、エンコーダ400の性能を最適化する複数の励振ベクトル関連パラメータτ、β、κ、およびγのうちの少なくとも3つを連携して求める(524)。インデックス・パラメータτおよびκを最適化すること、すなわち、τおよびκをそれぞれ求めることによって、ベクトル生成器406による最適な第1励振ベクトルcτ*の生成、コードブック410による最適な第2励振ベクトルcκ*の生成が行われ(526)、パラメータβおよびγをそれぞれ最適化す
ることによって、最適な励振ベクトルcτ*およびcκ*のフィルタされたものについての最適重み付けが行われ(528)、それによって、入力信号s(n)の最良の推定値が作成される(530)。論理フローはその後終了する(532)。
逐次最適化処理を実施することによって複数のコードブック関連パラメータτ、β、κ、およびγの最適なセットを求めるエンコーダ300の2乗誤差最小化/パラメータ・ブロック308と違って、エンコーダ400の誤差最小化ユニット420は、工程(524)にて連携最適化処理を実施することによって、励振ベクトル関連パラメータτ、β、κ、およびγの最適なセットを求める。連携最適化処理を実施することによって、励振ベクトル関連パラメータτ、β、κ、およびγを求めることが最適化される。それは、1つの励振ベクトルの選択が、他の励振ベクトルの選択に与える効果が、各パラメータの最適化時に考慮されるためである。
ベクトル表記法で、誤差信号e(n)は、e=xW −βHcτ−γHcκであるようなベクトルeで表し得る。この式は、エンコーダ400の第3結合器418によって作成され、誤差最小化ユニット420に結合器418によって結合される、知覚的に重み付けされた誤差(または、歪み)信号e(n)、または、誤差ベクトルeを表す。工程(524)にて、エンコーダ400の誤差最小化ユニット420によって実施される連携最適化処理は、知覚的に重み付けされた2乗誤差、すなわち、‖e‖2 を最小にしようとし、以下のように導出され得る。
第3結合器418によって作成される誤差ベクトルeに基づいて、ε=‖e‖2 であるような、総計2乗誤差、または、連携誤差、εは、以下のように定義され得る。
Figure 0004820934
方程式19の展開によって、以下の方程式が作成される。
Figure 0004820934
「ベクトル生成器406/コードブック410」または「第1コードブック/第2コードブック」、方程式20に存在する交差(cross)項βγcT τT Hcκは、従来技術のエンコーダ300によって実施される逐次最適化処理には存在しない。エンコーダ400によって実施される連携最適化分析に交差項が存在していること、および、エンコーダ300によって実施される処理には交差項が存在しないことは、それぞれの最適な励振ベクトル・インデックスτおよびκ、ならびに、対応する励振ベクトルcτ*およびcκ*の選択に大きな影響を与える。上記の誤差の式、すなわち、方程式20の部分導関数をとり、部分導関数をゼロに設定すると、適切な誤差最小化基準を導出するのに使用され得る、以下の連立方程式のセットが得られる。
Figure 0004820934

方程式21および方程式22を書き直すと、以下の方程式が得られる。
Figure 0004820934
方程式23は、τまたはκに依存しない項を結合することによって、すなわち、dT =xT WHおよびΦ=HT Hとすることによって、簡略化され、以下の方程式、すなわち、
Figure 0004820934
または、等価的に、
Figure 0004820934
を作成し得る。Cを符号ベクトル・セット[cτκ]、すなわち、C=[cτκ]とし、[β γ]について解くことによって、誤差最小化ユニット420は、以下の方程式に基づいて、最適な第1および第2コードブック利得を連携して求め得る。
Figure 0004820934
方程式26は、CがL×1ベクトルではなく長さL×2行列を含むことを除けば、逐次の場合の最適利得の式、すなわち、方程式10および方程式18に非常によく似ている。ここで、連携誤差の式、すなわち、方程式20を再び参照し、方程式20をdT およびΦによって書き直すと、方程式
Figure 0004820934
または、等価的に、
Figure 0004820934
が作成される。励振ベクトル・セットC=[cτκ]および連携して最適な励振ベクトル関連利得[β γ]=dT C[CT ΦC]−1を方程式28に代入すると、以下の方程式が作成される。
Figure 0004820934
T ΦC[CT ΦC]−1=Iであるため、方程式29は、
Figure 0004820934
に変形される。
方程式30に基づくと、エンコーダ400の誤差最小化ユニット420が、最適な第1および第2励振ベクトル関連インデックスτおよびκを連携して求め得る方程式が、ここで、
Figure 0004820934
として表され得る。この方程式は、方程式13および方程式17に非常によく似ており、方程式の右辺は、誤差最小化ユニットによって評価される誤差最小化基準を含む。方程式31は、最小の重み付けされた2乗誤差に基づく、第1および第2の励振ベクトルcτ*およびcκ*と、関連する利得との両方の、同時の連携最適化を表す。
しかし、この連携最適化の実施は複雑である。簡略化した、より実施し易い代替法を提供するために、本発明の別の実施形態では、第1励振ベクトルcτは、誤差最小化ユニット420によって、好ましくは、方程式14によって前もって最適化され、残りのパラメータcκ、β、およびγは、その後、連携して最適に、誤差最小化ユニットによって求められてもよい。こうした実施形態において誤差最小化ユニット420が実行することが可
能である簡略化された式を導出する時に、方程式31の誤差最小化基準、すなわち、方程式31の右辺は、方程式を展開し、cκに独立な項を消去することによって以下のように書き直すことが可能である。
Figure 0004820934
内部行列を反転させ、仮の変数を置き換えると、第2励振ベクトル関連インデックス・パラメータκの最適化のための以下の方程式が得られる。
Figure 0004820934
ここで、M=cT τΦcτ、N=dT τ、Bκ=cT τΦcκ、Aκ=dT κ、Rκ=cT κΦcκであり、方程式32の反転行列の行列方程式、すなわち、Dκは、以下の方程式で示される。Dκ=cT τΦcτT κΦcκ−cT κΦcτT τΦcκ=MRκ−B2 κ。Mはフィルタされた第1励振ベクトルのエネルギーであり、Nは重み付けされた音声とフィルタされた第1励振ベクトルとの相関であり、Aκは反転フィルタされた目標ベクトルと第2励振ベクトルとの相関であり、Bκはフィルタされた第1励振ベクトルとフィルタされた第2励振ベクトルとの相関である。
通常、逐次探索最適化処理に比べると、連携探索最適化処理の欠点は、連携探索最適化方程式の分子および分母を計算するのに必要とされる余計な演算のせいで、連携探索最適化処理が相対的に複雑であることである。しかし、連携探索処理、すなわち、方程式33から得られる第2励振ベクトル関連インデックス最適化方程式の複雑さは、方程式33のパラメータを、方程式17と同じ形式の式を形成するように変換することによって、エンコ−ダ300によって実施される逐次探索から得られる第2コードブック・インデックス最適化方程式の複雑さにほぼ等しくされ得る。
再び、エンコーダ400を参照すると、MおよびN2 は、負ではなく、κに独立でもあるため、方程式33を解く代わりに、以下の方程式を解き得る。
Figure 0004820934
κ=MAκ、bκ=NBκ、R' κ=MN2 κ、およびD' κ=N2 κとすると、方程式34は、
Figure 0004820934
として書き直し得る。D' κ=N2 κ=N2 MRκ−N2 2 κ、R' κ=MN2 κおよびbκ=NBκであるため、R' κ=D' κ+b2 κであることによって、項R' κをD' κによって表し得る。R' κ=D' κ+b2 κの式を方程式35に代入することによって、以下の代数操作が得られる。
Figure 0004820934
方程式36cにおける定数、すなわち、「1」は、最大化処理に全く影響を与えないため、定数は除去され、その結果、方程式36cは、
Figure 0004820934
として書き直され得る。
次に、連携探索のパラメータは、従来技術の逐次FCB探索の事前計算された2つのパラメータに変換され、それによって、誤差最小化ユニット420によって実施される連携探索処理において逐次FCB探索アルゴリズムを使用することが可能になる。事前計算された2つのパラメータは、相関行列Φ' および逆方向にフィルタされた目標信号d' である。エンコーダ300によって実施される逐次探索において、逐次探索ベースのCELPエンコーダ300および方程式17を再び参照すると、最適FCB励振ベクトル・インデックスκは、以下のように誤差最小化基準から得られる。
Figure 0004820934
ここで、方程式の右辺は誤差最小化基準を含み、dT 2=xT 2HおよびΦ=HT Hである。エンコーダ400によって示す実施形態によれば、方程式37は、方程式17と形式が同じである方程式を作成するように操作され得る。より具体的には、方程式37を、分子が
2つのベクトル(その一方はκに独立である)の内積であり、分母が、相関行列Φ' もまたκに独立であるような、形式cT κΦ' cκである形式に置き得る。
第1に、方程式37の分子が、方程式17の分子と比較され、類推され、方程式37の分母を、方程式17の分母と同じ形式に置く。すなわち、
Figure 0004820934
である。方程式39から、逐次探索について、方程式15からの最適ACB利得γが使用される場合で、さらに、方程式16から、dT 2=xT 2H=(xW −βyτT Hであることに留意すると、
Figure 0004820934
が推論され得る。ここで、項d' は、誤差最小化ユニット420によって目標信号を逆方向フィルタすることによって作成される、逆方向にフィルタされた目標信号である。方程式40が知らせていることは、方程式37の分子が方程式17の分子をスケーリングしたものに過ぎないことであり、より重要なことには、エンコーダ400の誤差最小化ユニット420によって実施される連携探索処理の分子についての計算の複雑さは、全ての意図および目的について、エンコーダ300によって実施される逐次探索処理についての分子の計算の複雑さと等価であるということである。
次に、方程式37の分母が、方程式17の分母と比較され、類推されて、方程式37の分母を、方程式17の分母と同じ形式に置く。すなわち、
Figure 0004820934
である。前に定義された項を置き換えることによって、以下の等価の式の数列が導出され得る。
Figure 0004820934
Φ=HT Hが対称であるため、Φ=ΦT =HT Hである。
Figure 0004820934
ここで、y=HT τとすると、方程式41eは、
Figure 0004820934
として書き直され、相関行列Φ' は、
Figure 0004820934
として書かれ得る。結果として、誤差最小化ユニット420は、以下の方程式に基づいて、誤差最小化基準(方程式の右辺)から、連携最適化処理のための誤差最小化を最適にする最適励振ベクトル関連インデックス・パラメータκを求め得る。
Figure 0004820934
または
Figure 0004820934
方程式17および方程式44の誤差最小化基準の形式は一般に同じであるため、項d' およびΦ' は、事前に計算され得り、任意の既存の逐次探索処理を、大幅な変更なしで、連携探索処理に変換することが可能である。事前計算処理は、方程式44の分母の複雑さに基づくと、複雑に見える場合があるが、簡単な分析が示すところでは、付加される複雑さ
は、軽微でない場合でも、実際にはかなり低いと思われる。
第1に、上述したように、方程式17の分子に比べて、方程式44の分子の付加的な複雑さは些細なものである。L=40サンプルのサブフレーム長が与えられると、付加的な複雑さは、サブフレーム当たり40倍である。方程式14の最適τの計算について、M=yT ττが既に存在するため、追加の計算は必要ではない。同じことが、以下のN=xT Wτの計算について当てはまる。
次に、方程式44の分母に関して、y=HT τの生成は、長さLの約2分の1の線形畳み込み、すなわち、約40×42/2=840の乗算−累算(MAC)演算を必要とする。行列ΦのN2 Mのスケーリングは、行列Φ=HT Hの生成前にインパルス応答h(n)の要素を
Figure 0004820934
によってスケーリングすることによって能率的に実施され得る。これは、1回の2乗平方根演算と約40の乗算演算のみを必要とする。同様に、yベクトルのNによるスケーリングは、約40回の乗算演算のみを必要とする。最後に、スケーリングされたyyT 行列の生成およびスケーリングされたΦ行列からの減算は、40×40行列の次数について約840のMAC演算のみを必要とする。これは、Y=yyT が、階数1の行列として定義され(すなわち、Y(i,j)=y(i)y(j))、相関行列Φ' を、
Figure 0004820934
として形成中に能率的に生成し得るためである。方程式45から当業者に明らかなように、全ての相関行列Φ' を、一度に生成する必要はない。本発明の種々の実施形態では、誤差最小化ユニット420は、全ての相関行列を生成するのに伴うメモリ(RAM)を節約するように、所与の時刻に1つまたは複数の要素Φ' (i,j)のみを生成することが可能であり、1つまたは複数の要素を、誤差最小化基準の評価時に使用して、最適利得パラメータκ、すなわち、κを求めることが可能である。さらに、相関行列Φ' を生成するために、誤差最小化ユニット420は、対称性があるために、相関行列の上三角部または下三角部などの相関行列の一部を生成することだけが必要である。そのため、長さ40のサブフレームについて、逐次探索処理を連携探索処理へ変換するのに必要とされる総合の付加的な複雑さは、電気通信用途のための多くの音声符号化規格において見出される典型的な実施態様の場合、およそ、
サブフレーム当たり、40+840+40+40+840=1800の乗算演算
または、およそ、
1800乗算演算/サブフレーム×4サブフレーム/フレーム×50フレーム/秒=360,000演算/秒
である。コードブック探索ルーチンが、容易に五百万〜1千万演算/秒に達し得ることを考慮すると、連携探索処理についての対応する複雑さの不利益は3.6〜7.2%に過ぎない。この不利益は、同じ性能の利点を手に入れながら、従来技術のウッドワードおよびハンゾの論文に推奨される、連携探索処理についての30〜40%の不利益よりずっと能率的である。
そのため、エンコーダ400は、励振ベクトル関連インデックスを相関行列Φ' に基づ
いて最適化することによって、従来技術のエンコーダより能率的に、合成による分析を用いるパラメータτ、β、κ、およびγを求める。相関行列は、連携最適化処理の実行前に事前に計算され得る。エンコーダ400は、フィルタされた第1励振ベクトルに部分的に基づいて相関行列を生成し、フィルタされた第1励振ベクトルはまた、初期の第1励振ベクトル関連インデックス・パラメータに基づいている。エンコーダ400は、その後、目標信号および相関行列に少なくとも部分的に基づく最適な第2励振ベクトル関連インデックス・パラメータを求めることに関して誤差最小化基準を評価する。目標信号はまた入力信号に基づいている。エンコーダ400は、その後、誤差最小化基準に基づいて、最適な第2励振ベクトル関連インデックス・パラメータを生成する。本発明の別の実施形態では、エンコーダはまた、目標信号を逆方向にフィルタして、逆方向にフィルタされた目標信号d' を作成し、逆方向にフィルタされた目標信号と相関行列とに少なくとも部分的に基づいて、第2コードブック誤差最小化基準を評価する。
ここで、再び方程式44を参照すると、方程式が示すところでは、ベクトルy=0の場合、連携探索のための式は、図17に述べる逐次探索処理のための対応する式と等価になるはずである。これは重要なことである。それは、合成による分析を用いる処理において、ある最適以下か、または、非線形な演算が存在した場合、本明細書で述べる連携探索処理を使用可能にする時および使用不能にする時を動的に選択することは有利である場合がある。結果として、本発明の別の実施形態では、合成による分析を用いるエンコーダは、励振ベクトル関連パラメータの最適化のために、ハイブリッド型の連携探索/逐次探索処理を実施することが可能である。どの探索処理を行うべきかを判断するために、合成による分析を用いるエンコーダは、逐次探索処理の性能と連携探索処理の性能の間で選択する選択機構を含む。好ましくは、選択機構は、連携探索と逐次探索処理の間で、エンコーダによって均衡をとることを容易にする、連携探索重み係数λに使用を伴う。こうした実施形態では、最適な励振ベクトル関連インデックスκの式を、
Figure 0004820934
で与えることが可能である。ここで、0≦λ≦1は、連携探索重み係数を定義する。λ=1の場合、式は方程式44と同じである。λ=0の場合、定数項(M,N)の影響は、等価的に、全てのコードブック・エントリcκに及ぶため、式は、方程式17と同じ結果が得られる。極値の間の値は、逐次探索処理と連携探索処理の間の性能のある程度の兼ね合いが得られるであろう。
ここで、図6および図7を参照すると、連携探索処理と逐次探索処理の両方を実施することが可能な合成による分析を用いるエンコーダが示される。図6は、本発明の別の実施形態による、連携探索処理と逐次探索処理の両方を実施することが可能な例示的なCELPエンコーダ600のブロック図600である。図7は、連携探索処理を実施するか、または、逐次探索処理を実施するかを判断する時に、エンコーダ600によって実行される工程の論理フロー図700である。エンコーダ600は、エンコーダ600が、連携探索処理を実施するか、または、逐次探索処理を実施するかを判断することを可能にする連液探索重み係数λを利用する。エンコーダ600は、第2コードブック410によって生成される励振ベクトルcκをフィルタするゼロ状態ピッチ・プレフィルタ602を含み、連携探索重み係数λを計算し、計算された連携探索重み係数に基づいて、連携探索処理を実施するか、または、逐次探索処理を実施するかを判断する、誤差最小化ユニット、すなわち、2乗誤差最小化/パラメータ・ブロックをさらに含むことを除いてエンコーダ400
と同様である。ピッチ・プレフィルタは、当該技術分野ではよく知られており、ここでは詳細には述べない。たとえば、例示的なピッチ・プレフィルタは、ITU,Place des Nations,CH−1211 Geneva 20,スイスから入手可能なITU−T(International Telecommunication Union−Telecommunication Standardization Section)推奨G.729、および、「CS−ACELP Speech Compression System with Adaptive Pitch Prediction Filter Gain Based on a Measure of Periodicity」という名称の米国特許第5,664,055号に記載されている。
ゼロ状態ピッチ・プレフィルタの伝達関数を、
Figure 0004820934
として表すことが可能である。ここで、β' は最適な励振ベクトル関連パラメータ利得βの関数である。すなわち、β' =f(β)である。実施を容易にし、コードブック探索処理中に複雑さを最小にするために、ピッチ・プレフィルタ602は、探索処理の前に、エンコーダ600の重み付けられた合成フィルタ412の重み付けられた合成フィルタ・インパルス応答h(n)で畳み込まれる。こうした畳み込み方法は周知である。しかし、連携探索のための励振ベクトル関連利得βについての最適値をまだ求めなければならないため、従来技術の連携探索(および、同様に、ITU−T 推奨G.729に記載される逐次探索処理)は、ピッチ・プレフィルタ利得として、前のサブフレームからの量子化された励振ベクトル関連利得の関数を使用する。すなわち、β' (m)=f(βq (m−1))であり、mは現在のサブフレームを表し、m−1は前のサブフレームを表す。その量をデコーダにも利用可能にしなければならないため、量子化された利得の使用は重要である。しかし、前のサブフレームに基づくパラメータを、現在サブフレームについて使用することは、符号化される信号の特性が徐々に変化する可能性があるため、最適以下である。
ここで、図7を参照すると、エンコーダ600などのCELPエンコーダは、エンコーダ600の誤差最小化ユニット604、好ましくは、2乗誤差最小化/パラメータ・ブロックによって、連携探索重み係数λを計算し(702)、2乗誤差最小化/パラメータ・ブロックによって、また、連携探索重み係数に基づいて、ハイブリッド型連携探索/逐次探索処理を実施する(704)、すなわち、方程式46を参照すると、第1励振ベクトルおよび関連する第1励振ベクトル関連利得パラメータ、ならびに、第2励振ベクトルおよび関連する第2励振ベクトル関連利得パラメータのうちの少なくとも2つを連携して最適化するか、または、逐次的に最適化する、あるいは、2つの処理の間のどこかに位置する最適化処理を実施することによって、サブフレームの符号化のために、連携探索処理を実施するか、または、逐次探索処理を実施するかを判断する。
再び図6を参照すると、本発明の1実施形態において、エンコーダ600の誤差最小化ユニット604によって実行される最適化処理では、現在のフレームの周期性がより強調されるのが望ましい。これは、現在フレームのピッチ周期がサブフレーム長より短く、非量子化励振ベクトル関連利得βが高い時に、連携探索重み係数λをよい小さな量に調整することによって達成される。これは、式
Figure 0004820934
で記述され得る。ここで、f(β)は、f(β)=1−β2 の時に、良好な特性を有するように実験的に求められた。しかし、種々の他の関数も可能である。これは、ピッチ周期がサブフレームより小さい、周期性の高い信号について逐次探索処理を使用することをより強調する効果があり、周期性の程度は、方程式13および方程式14によって示される適応コードブック探索中に求められた。そのため、連携探索重み係数を求める時に、現在フレームの周期性が強調される時、エンコーダ600は、周期性効果(β)が低いと、連携探索処理へ向かう傾向があり、周期性効果が高いと、逐次探索処理へ向かう傾向がある。例として、ラグτがサブフレーム長より小さく、周期性の程度が比較的低い(β=0.4)時、連携探索重み係数の値は、λ=1−(0.4)2 =0.86であり、連携探索に対する86%の重み付けを表す。
本発明のさらに別の実施形態では、エンコーダ600の誤差最小化ユニット604は、係数λを非量子化励振ベクトル関連利得βとピッチ遅延との両方の関数にしてもよい。これは、式
Figure 0004820934
で記述され得る。周期性効果は、遅延がより小さい値になり、非量子化励振ベクトル関連利得βがより高い値になるとより顕著になる。そのため、励振ベクトル関連利得βが高いか、または、ピッチ遅延が低い時には、係数λが低いことが望まれる。以下の関数、すなわち、
Figure 0004820934
は、所望の結果が得られるように実験的に見出された。そのため、連携探索重み係数を求める時に、非量子化ACB利得およびピッチ遅延が強調される時、エンコーダ600は、連携最適化処理に向かう傾向があり、そうでなければ、連携探索重み係数を求めることは、逐次探索処理に向かう傾向がある。例として、ラグτ=30であり、サブフレーム長L=40より小さく、周期性の程度が比較的低い(β=0.4)時、連携探索重み係数の値は、λ=1−0.18×0.4×(1−30/40)=0.98であり、連携探索に対する98%の重み付けを表す。
要約すると、従来技術のエンコーダより能率的に励振ベクトル関連パラメータを最適化するCELPエンコーダが提供される。本発明の1実施形態では、CELPエンコーダは、計算された相関行列に基づいて励振ベクトル関連インデックスを最適化し、その行列は、フィルタされた第1励振ベクトルに基づいている。エンコーダは、その後、入力信号に
基づく目標信号と相関行列とに少なくとも部分的に基づいて、誤差最小化基準を評価し、誤差最小化基準に応答して励振ベクトル関連インデックス・パラメータを生成する。本発明の別の実施形態では、エンコーダはまた、目標信号を逆方向にフィルタして、逆方向にフィルタされた目標信号を作成し、第2コードブックを評価する。本発明のさらに別の実施形態では、連携探索重み係数を参照することによって、コードブック・インデックスを連携して最適化するか、または逐次最適化するかの少なくともいずれかを行うことが可能であり、それによって、最適な誤差最小化処理を呼び起こすCELPエンコーダが提供される。
本発明を、本発明の特定の実施形態を参照して特に示し、述べたが、請求項に記載される本発明の範囲から逸脱することなく、変更を行ってもよく、本発明の要素を等価物で置き換えてもよいことが、当業者には理解されるであろう。したがって、明細書および図面は、制限的な意味ではなく、例示的な意味で考えられるべきであり、そのような変更および置き換えはすべて、本発明の範囲内に含まれるものとする。
効果、他の利点および課題解決策を、特定の実施形態に関して上述した。しかしながら、任意の効果、利点または解決策を生じさせ得るかそれ自体より顕著になり得る、そのような効果、利点、課題解決策は、任意またはすべての請求項の重要な、必要な、または必須の特徴もしくは要素と解釈すべきではない。本明細書で使用する場合、用語「〜成る、含む、備える(comprise)」やその変化形は、非排他的な包含物をその範囲内に入れるものとし、ある要素のリストを含むプロセス、方法、物、または装置は、その要素のみを含むわけではなく、明示的に列挙されていない他の要素やそのようなプロセス、方法、物、または装置に固有の要素を含みうる。さらに、第1および第2、頂部および底部等のような関係を示す用語が使用されている場合には、これらの用語は単にあるエンティティまたは行動を他のエンティティまたは行動から区別するためだけのものである。必ずしもこのようなエンティティまたは行動を実際にそのような関係または順序にする必要もないし、そのような関係または順序を意味するものでもないこともさらに理解されたい。
(表記についての補足)
本明細書において、例えば「s^(n)」「dT 2」は、それぞれ国際出願の英文明細書では
Figure 0004820934
のようになっていたが、上付文字や下付文字を表記できないため、翻訳文では便宜的に上記のように表し、他の同様な箇所も同様に表しました。
また、cτ、κ、H、hzir 、sW 、x2 、xW 、e、‖e‖、τ、τ、yτ、κや、これらを用いたベクトル式は、国際出願の英文明細書では太字になっていたが、太字を表記できないため、翻訳文では便宜的に通常の文字で表しました。
従来技術の符号励振線形予測(CELP)エンコーダのブロック図。 従来技術のCELPデコーダのブロック図。 従来技術の別のCELPエンコーダのブロック図。 本発明の実施形態によるCELPエンコーダのブロック図。 本発明の実施形態による、信号を符号化する時の図4のCELPエンコーダによって実行される工程の論理フロー図。 本発明の実施形態による、信号を符号化する時の図4のCELPエンコーダによって実行される工程の論理フロー図。 本発明の別の実施形態によるCELPエンコーダのブロック図。 本発明の実施形態による、連携探索処理を実施するか、または、逐次探索処理を実施するかを判断する時にCELPエンコーダによって実行される工程の論理フロー図。

Claims (16)

  1. 合成による分析を用いる符号化システムにおいてベクトル関連パラメータの連携最適化を行う方法であって、
    結合器が、入力信号に基づいて目標ベクトルを生成する工程と、
    結合器と通信する誤差最小化ユニットが、励振ベクトル関連利得(β)を決定する工程と、
    差最小化ユニットが、重み付けされた合成フィルタのインパルス応答(H)に基づいて、所定の第1の相関行列(Ф)の要素を生成する工程と、
    誤差最小化ユニットが、第1励振ベクトル(C τ に基づいて相関行列(yy T )の要
    素を生成する工程と、
    誤差最小化ユニットが、ピッチ遅延(τ)と、前記利得(β)との関数として連携探索重み係数(λ)を計算する工程と、
    誤差最小化ユニットが、該計算された連携探索重み係数(λ)に基づいて、前記第1励振ベクトルに基づいて生成された相関行列(yy T の要素と第1の相関行列(Ф)の要素とを組み合わせて第2の相関行列(Ф’)の要素を生成する工程と、
    誤差最小化ユニットが、該目標ベクトルと前記第2の相関行列(Ф’)の要素とに部分的に基づいて誤差最小化基準を決定する工程と、
    誤差最小化ユニットが、該誤差最小化基準に基づいて第2励振ベクトル( κ )に関連するパラメータ(κ)を生成する工程と、
    前記ピッチ遅延(τ)および第2励振ベクトル(C κ )に関連するパラメータ(κ)に基づいて前記利得(β)を最適化する工程と、
    を含む方法。
  2. 誤差最小化ユニットが、前記目標ベクトルを逆方向にフィルタして、逆方向にフィルタされた目標ベクトルを作成する工程をさらに含み、前記誤差最小化基準を決定する工程は、該逆方向にフィルタされた目標ベクトルと前記第2の相関行列の前記要素とに基づいて、誤差最小化基準を決定する工程を含む請求項1に記載の方法。
  3. 前記誤差最小化基準に基づいて第2励振ベクトルに関連するパラメータを生成する工程は、
    前記誤差最小化基準に基づいて励振ベクトル関連インデックス・パラメータを生成する工程と、
    該励振ベクトル関連インデックス・パラメータに基づいて第2励振ベクトルを生成する工程と、を含む請求項1に記載の方法。
  4. 前記誤差最小化基準に基づいて第2励振ベクトルに関連するパラメータを生成する工程は、
    前記誤差最小化基準に基づいて第2励振ベクトルを生成する工程と、
    前記第2励振ベクトルに基づいて第2励振ベクトルに関連するパラメータを生成する工程とを含む請求項1に記載の方法。
  5. 連携探索重み係数を計算する前記工程は、サブフレームの長さを求める工程および該サブフレームのピッチ周期を求める工程を含み、前記方法は、
    誤差最小化ユニットが、該サブフレームの該求めた長さを、該サブフレームの該求めたピッチ周期と比較して、比較結果を作成する工程と、
    誤差最小化ユニットが、前記比較に基づいて連係探索重み係数を計算する工程と、を含む請求項1に記載の方法。
  6. 連携探索重み係数を計算する前記工程は、前のサブフレームに関連する利得を求める工程を含み、前記方法は、前のサブフレームに関連する利得を求めることに応答して、誤差最小化ユニットが連係探索重み係数を計算する工程をさらに含む請求項1に記載の方法。
  7. 信号について合成による分析を用いる符号化を行う装置(400)であって、
    入力信号に基づいて目標ベクトルを生成する結合器(414)と、
    励振ベクトル関連利得(β)を決定し、
    重み付けされた合成フィルタのインパルス応答(H)に基づいて、所定の第1の相関行列(Ф)の要素を生成し、
    第1励振ベクトル(C τ に基づいて相関行列(yy T )の要素を生成し、
    ピッチ遅延(τ)と、前記利得(β)との関数として連携探索重み係数(λ)を計算し、
    該計算された連携探索重み係数(λ)に基づいて、前記第1励振ベクトルに基づいて生成された相関行列(yy T の要素と第1の相関行列(Ф)の要素とを組み合わせて第2の相関行列(Ф’)の要素を生成し、
    前記第2の相関行列(Ф’)の要素と前記目標ベクトルとに部分的に基づいて誤差最小化基準を決定し、
    該誤差最小化基準に基づいて第2励振ベクトル( κ )に関連する少なくとも1つのパラメータ(κ)を生成し、
    前記ピッチ遅延(τ)および第2励振ベクトル(C κ )に関連するパラメータ(κ)に基づいて前記利得(β)を最適化する、前記結合器(414)と通信する誤差最適化ユニット(420)と、
    備える、装置。
  8. 前記誤差最小化ユニットはさらに、前記目標ベクトルを逆方向にフィルタして、逆方向にフィルタされた目標ベクトルを作成し、前記誤差最小化ユニットは、前記第2の相関行列の前記1つまたは複数の要素と該逆方向にフィルタされた目標ベクトルとに部分的に基づいて、誤差最小化基準を決定する請求項7に記載の装置。
  9. 前記誤差最小化ユニットは、前記パラメータに基づいて第1の励振ベクトル( τ )を生成するベクトル生成器(406)をさらに備え、
    誤差最適化ユニットは、前記誤差最小化基準に基づいて複数のパラメータを生成し、 前記ベクトル生成器(406)は、該複数のパラメータのうちの第1パラメータに基づいて第1励振ベクトル( τ )を生成し、
    装置は、該複数のパラメータのうちの第2パラメータに基づいて第2励振ベクトル κ )を生成するコードブック(410)をさらに備える請求項7に記載の装置。
  10. 前記複数のパラメータのうちの第3パラメータに基づいて前記第1励振ベクトル( τ )に対して第1利得を適用する第1重み付け器(409)と、
    該複数のパラメータのうちの第4パラメータに基づいて前記第2励振ベクトル( κ )に対して第2利得を適用する第2重み付け器(413)と、をさらに備える請求項に記載の装置。
  11. 置は、
    前記目標ベクトルを、該第1励振ベクトル( τ )から導出されるベクトル(βHC τ )と結合して、中間ベクトル(X 2 (n))を作成する第1結合器(416)と、
    該中間ベクトル(X 2 (n))第2励振ベクトル( κ )から導出されるベクトル(γHC κ とに基づいて誤差ベクトル(e(n))を作成する第2結合器(418)と、をさらに備え、
    前記誤差最小化ユニットは該誤差ベクトルに基づいて相関行列を生成する請求項に記載の装置。
  12. 前記サブフレームの長さおよび該サブフレームのピッチ周期に基づいて連携探索重み係数が計算され、前記装置は、該サブフレームの該求めた長さを、該サブフレームの該求めたピッチ周期と比較して、比較結果を作成する手段を備え、前記誤差最小化ユニットは、該比較結果に応答して、連係最適化と逐次最適化との組み合わせである前記最適化処理を実施する請求項7に記載の装置。
  13. 前記サブフレームは現在フレームを含み、前のサブフレームに関連する利得に基づいて連携探索重み係数が計算され、前記誤差最小化ユニットは、該前のサブフレームの求めた利得に応答して連係最適化と逐次最適化との組み合わせである前記最適化処理を実施する請求項7に記載の装置。
  14. 前記第1励振ベクトルに基づいて生成された相関行列の要素と第1の相関行列の要素とを合計して第2の相関行列の要素を生成することは、前記連携探索重み係数に基づいて、前記第1励振ベクトルに基づいて生成された相関行列の要素と第1の相関行列の要素との重み付けされた合計を生成し、第2の相関行列の要素を生成するからなる請求項7に記載の装置。
  15. 前記第1の相関行列Φは方程式Φ=HT Hにより求められ、Hは重み付けされた合成フィルタのインパルス応答である請求項1に記載の方法。
  16. 前記第1の相関行列Φは方程式Φ=HT Hにより求められ、Hは重み付けされた合成フィルタのインパルス応答である請求項7に記載の装置。
JP2004551949A 2002-11-08 2003-11-06 情報信号を符号化する方法および装置 Expired - Lifetime JP4820934B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/291,056 2002-11-08
US10/291,056 US7054807B2 (en) 2002-11-08 2002-11-08 Optimizing encoder for efficiently determining analysis-by-synthesis codebook-related parameters
PCT/US2003/035677 WO2004044890A1 (en) 2002-11-08 2003-11-06 Method and apparatus for coding an informational signal

Publications (2)

Publication Number Publication Date
JP2006505828A JP2006505828A (ja) 2006-02-16
JP4820934B2 true JP4820934B2 (ja) 2011-11-24

Family

ID=32229184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004551949A Expired - Lifetime JP4820934B2 (ja) 2002-11-08 2003-11-06 情報信号を符号化する方法および装置

Country Status (6)

Country Link
US (1) US7054807B2 (ja)
JP (1) JP4820934B2 (ja)
KR (1) KR100756207B1 (ja)
CN (1) CN100580772C (ja)
AU (1) AU2003287595A1 (ja)
WO (1) WO2004044890A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6782360B1 (en) * 1999-09-22 2004-08-24 Mindspeed Technologies, Inc. Gain quantization for a CELP speech coder
BRPI0617447A2 (pt) 2005-10-14 2012-04-17 Matsushita Electric Ind Co Ltd codificador de transformada e método de codificação de transformada
US20070230638A1 (en) * 2006-03-30 2007-10-04 Meir Griniasty Method and apparatus to efficiently configure multi-antenna equalizers
US8712766B2 (en) * 2006-05-16 2014-04-29 Motorola Mobility Llc Method and system for coding an information signal using closed loop adaptive bit allocation
FR2911227A1 (fr) * 2007-01-05 2008-07-11 France Telecom Codage par transformee, utilisant des fenetres de ponderation et a faible retard
KR101594815B1 (ko) * 2008-10-20 2016-02-29 삼성전자주식회사 적응적으로 코드북을 생성하고 사용하는 다중 입출력 통신 시스템 및 통신 방법
CN102385858B (zh) 2010-08-31 2013-06-05 国际商业机器公司 情感语音合成方法和系统
KR101748756B1 (ko) * 2011-03-18 2017-06-19 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치
US9972325B2 (en) * 2012-02-17 2018-05-15 Huawei Technologies Co., Ltd. System and method for mixed codebook excitation for speech coding
US9263053B2 (en) 2012-04-04 2016-02-16 Google Technology Holdings LLC Method and apparatus for generating a candidate code-vector to code an informational signal
US9070356B2 (en) * 2012-04-04 2015-06-30 Google Technology Holdings LLC Method and apparatus for generating a candidate code-vector to code an informational signal
WO2015025454A1 (ja) * 2013-08-22 2015-02-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声符号化装置およびその方法
CN104143335B (zh) 2014-07-28 2017-02-01 华为技术有限公司 音频编码方法及相关装置
CN109887519B (zh) * 2019-03-14 2021-05-11 北京芯盾集团有限公司 提高语音信道数据传输准确性的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0444100A (ja) * 1990-06-11 1992-02-13 Fujitsu Ltd 音声符号化方式
JPH07253795A (ja) * 1994-03-15 1995-10-03 Nippon Telegr & Teleph Corp <Ntt> 励振信号直交化音声符号化法
JPH11126096A (ja) * 1997-10-22 1999-05-11 Matsushita Electric Ind Co Ltd 音声符号化/復号化装置
JP2000515998A (ja) * 1996-07-31 2000-11-28 クゥアルコム・インコーポレイテッド コード励振形線形予測(celp)コーダにおいて励振コードブックを検索する方法およびその装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4817157A (en) * 1988-01-07 1989-03-28 Motorola, Inc. Digital speech coder having improved vector excitation source
US5754976A (en) 1990-02-23 1998-05-19 Universite De Sherbrooke Algebraic codebook with signal-selected pulse amplitude/position combinations for fast coding of speech
US5233660A (en) * 1991-09-10 1993-08-03 At&T Bell Laboratories Method and apparatus for low-delay celp speech coding and decoding
US5495555A (en) * 1992-06-01 1996-02-27 Hughes Aircraft Company High quality low bit rate celp-based speech codec
EP0751496B1 (en) * 1992-06-29 2000-04-19 Nippon Telegraph And Telephone Corporation Speech coding method and apparatus for the same
US5598504A (en) * 1993-03-15 1997-01-28 Nec Corporation Speech coding system to reduce distortion through signal overlap
WO1994023426A1 (en) * 1993-03-26 1994-10-13 Motorola Inc. Vector quantizer method and apparatus
JP2970407B2 (ja) * 1994-06-21 1999-11-02 日本電気株式会社 音声の励振信号符号化装置
JP3273455B2 (ja) * 1994-10-07 2002-04-08 日本電信電話株式会社 ベクトル量子化方法及びその復号化器
SE504010C2 (sv) * 1995-02-08 1996-10-14 Ericsson Telefon Ab L M Förfarande och anordning för prediktiv kodning av tal- och datasignaler
FR2734389B1 (fr) * 1995-05-17 1997-07-18 Proust Stephane Procede d'adaptation du niveau de masquage du bruit dans un codeur de parole a analyse par synthese utilisant un filtre de ponderation perceptuelle a court terme
US5774839A (en) * 1995-09-29 1998-06-30 Rockwell International Corporation Delayed decision switched prediction multi-stage LSF vector quantization
US6073092A (en) * 1997-06-26 2000-06-06 Telogy Networks, Inc. Method for speech coding based on a code excited linear prediction (CELP) model
US5924062A (en) * 1997-07-01 1999-07-13 Nokia Mobile Phones ACLEP codec with modified autocorrelation matrix storage and search
FI113571B (fi) * 1998-03-09 2004-05-14 Nokia Corp Puheenkoodaus
US6480822B2 (en) * 1998-08-24 2002-11-12 Conexant Systems, Inc. Low complexity random codebook structure
US6493665B1 (en) * 1998-08-24 2002-12-10 Conexant Systems, Inc. Speech classification and parameter weighting used in codebook search
US6240386B1 (en) * 1998-08-24 2001-05-29 Conexant Systems, Inc. Speech codec employing noise classification for noise compensation
US6104992A (en) * 1998-08-24 2000-08-15 Conexant Systems, Inc. Adaptive gain reduction to produce fixed codebook target signal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0444100A (ja) * 1990-06-11 1992-02-13 Fujitsu Ltd 音声符号化方式
JPH07253795A (ja) * 1994-03-15 1995-10-03 Nippon Telegr & Teleph Corp <Ntt> 励振信号直交化音声符号化法
JP2000515998A (ja) * 1996-07-31 2000-11-28 クゥアルコム・インコーポレイテッド コード励振形線形予測(celp)コーダにおいて励振コードブックを検索する方法およびその装置
JPH11126096A (ja) * 1997-10-22 1999-05-11 Matsushita Electric Ind Co Ltd 音声符号化/復号化装置

Also Published As

Publication number Publication date
US7054807B2 (en) 2006-05-30
KR20050072797A (ko) 2005-07-12
KR100756207B1 (ko) 2007-09-07
JP2006505828A (ja) 2006-02-16
US20040093207A1 (en) 2004-05-13
CN1711587A (zh) 2005-12-21
AU2003287595A1 (en) 2004-06-03
WO2004044890A1 (en) 2004-05-27
CN100580772C (zh) 2010-01-13

Similar Documents

Publication Publication Date Title
US6980951B2 (en) Noise feedback coding method and system for performing general searching of vector quantization codevectors used for coding a speech signal
JP5400701B2 (ja) 音声符号化のための方法と装置
JP4820934B2 (ja) 情報信号を符号化する方法および装置
JP2017526950A (ja) 低遅延符号化/復号のための補間による音声信号のリサンプリング
WO1992016930A1 (en) Speech coder and method having spectral interpolation and fast codebook search
US8712766B2 (en) Method and system for coding an information signal using closed loop adaptive bit allocation
JP2005515486A (ja) Celpによる音声符号間のトランスコーディング・スキーム
CN104854656B (zh) 在自相关域中利用acelp编码语音信号的装置
JP2002268686A (ja) 音声符号化装置及び音声復号化装置
JPH0341500A (ja) 低遅延低ビツトレート音声コーダ
JP3095133B2 (ja) 音響信号符号化方法
CN114844510B (en) Compression method, decompression method and transmission system for vibration signals of rotary machine
EP1334486B1 (en) System for vector quantization search for noise feedback based coding of speech
JP2001142499A (ja) 音声符号化装置ならびに音声復号化装置
JP3192051B2 (ja) 音声符号化装置
US6581030B1 (en) Target signal reference shifting employed in code-excited linear prediction speech coding
JPH02280200A (ja) 音声符号化復号化方式
JP3274451B2 (ja) 適応ポストフィルタ及び適応ポストフィルタリング方法
Zad-Issa et al. Smoothing the evolution of the spectral parameters in linear prediction of speech using target matching
CN114844510A (zh) 一种旋转机械振动信号的压缩方法、解压方法和传输系统
JP3144244B2 (ja) 音声符号化装置
JP3576805B2 (ja) 音声符号化方法及びシステム並びに音声復号化方法及びシステム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090204

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091125

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091222

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100125

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100805

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110406

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110901

R150 Certificate of patent or registration of utility model

Ref document number: 4820934

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term