JP3678519B2 - オーディオ周波数信号の線形予測解析方法およびその応用を含むオーディオ周波数信号のコーディングならびにデコーディングの方法 - Google Patents
オーディオ周波数信号の線形予測解析方法およびその応用を含むオーディオ周波数信号のコーディングならびにデコーディングの方法 Download PDFInfo
- Publication number
- JP3678519B2 JP3678519B2 JP33614096A JP33614096A JP3678519B2 JP 3678519 B2 JP3678519 B2 JP 3678519B2 JP 33614096 A JP33614096 A JP 33614096A JP 33614096 A JP33614096 A JP 33614096A JP 3678519 B2 JP3678519 B2 JP 3678519B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- audio frequency
- filter
- transfer function
- frequency signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012546 transfer Methods 0.000 claims abstract description 79
- 230000003595 spectral effect Effects 0.000 claims abstract description 28
- 230000015572 biosynthetic process Effects 0.000 claims description 88
- 238000003786 synthesis reaction Methods 0.000 claims description 87
- 230000005284 excitation Effects 0.000 claims description 66
- 230000008569 process Effects 0.000 claims description 34
- 238000001914 filtration Methods 0.000 claims description 29
- 238000001228 spectrum Methods 0.000 claims description 21
- 239000002131 composite material Substances 0.000 claims description 17
- 230000004044 response Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 230000007774 longterm Effects 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 2
- OVSKIKFHRZPJSS-UHFFFAOYSA-N 2,4-D Chemical compound OC(=O)COC1=CC=C(Cl)C=C1Cl OVSKIKFHRZPJSS-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000005428 wave function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、オーディオ周波数信号の線形予測解析方法に関連する。この方法は、予測オーディオ・コーダ、特に、CELP(Code−Excited Linear Prediction/コード励起線形予測)コーダを代表的なタイプとする合成解析コーダにおける、限定する意図ではないが、特定の応用に認められる。
【0002】
【従来の技術】
合成解析予測コーディング技術は、現在、電話周波数帯(300〜3400Hz)において電話品質を維持しつつ、会話を8キロビット/秒の低いレートでコーディングするために広く使用されている。オーディオ周波数帯(20kHz台)においては、音声信号ならびに音楽信号のストアならびに放送を含めた応用に変換コーディング技術が使用されている。しかしながら、これらの技術は比較的長い遅延時間(100ミリ秒以上)を伴い、これにより特に、インタラクティブ性が非常に重視されるグループ通信への参加時に困難が惹起される。予測技術によりもたらされる遅延はこれよりも短く、基本的に線形予測解析フレームの長さ(一般に10〜20ミリ秒)に依存し、この理由から、電話周波数帯よりはるかに広い周波数帯を有する音声信号および/または音楽信号のコーディングにおいてさえも適用が認められる。
【0003】
ビット・レート圧縮に使用される予測コーダは、信号のスペクトル包絡線のモデリングを行う。このモデリングは、位数M(狭帯域に対する一般的な値はM≒10)の線形予測解析の結果としてもたらされ、このMは、入力信号に対する線形予測係数aiの個数を決定する。これらの係数は、A(z)を次式とするとき、伝達関数が1/A(z)の形で表されるデーコーダにおいて使用される合成フィルタの特性を決定する。
【数23】
線形予測解析は、音声のコーディングだけでなく広い一般応用分野を有する。特定の応用においては、予測位数Mが、線形予測解析が獲得の目標とする変数の1つであり、解析される信号のスペクトル内に存在するピークの数の影響を受ける変数を構成する(US−A−5,142,581参照)。
【0004】
線形予測解析により演算されるフィルタは、各種のストラクチャを有することが可能であり、係数を表すためのパラメータに対する異なる選択肢をもたらす(係数ai自体、LAR、LSF、LSPパラメータ、反射、またはPARCOR係数等)。デジタル信号プロセッサ(DSP)の出現前は、演算フィルタにリカーシブ・ストラクチャが広く採用されており、例として、1971年にブダペストで開催された第7回音響学国際会議(International Congress on Acoustics)の議事録の261〜264ページに「音声解析および合成のためのデジタル・フィルタリング技術(Digital Filtering Techniques for Speech Analysisand Synthesis)」と題して掲載されたF.イタクラおよびS.サイトウによる論文に解説されたタイプのPARCOR係数を採用するストラクチャを挙げることができる(FR−A−2,284,946もしくはUS−A−3,975−587参照)。
【0005】
合成解析コーダにおいては、係数aiが、知覚重み付けフィルタの構成のためにも使用され、コーダは、このフィルタを使用して短期合成フィルタに適用される励起信号を決定し、音声信号を表す合成信号を得る。この知覚重み付けは、スペクトル内のコーディング・エラーが最も目立つ部分、すなわちフォルマント間の領域を強調する。知覚重み付けフィルタの伝達関数W(z)は、通常次に示す式により表される。
【数24】
これにおいて、γ1およびγ2は、0≦γ2≦γ1≦1を満足するスペクトル拡張係数である。ノイズのマスキングにおける改善については、1991年5月にトロントで開催されたICASSPの議事録の9〜12ページに「32kbpsにおける広帯域音声の低遅延コード励起線形予測コーディング(Low−Delay Code−Excited Linear Predictive Coding of Wideband Speech at 32 kbps)」と題して掲載されたE.オーデントリッヒ(Ordentlich)およびY.ショアム(Shoham)による論文に述べられている。この改善は、特定の重み付けに関し、フィルタW(z)とスペクトルのチルトをモデリングする他のフィルタとの組合せによる。この改善は、高いスペクトル・ダイナミック・レンジ(広帯域またはオーディオ帯域)で信号のコーディングを行う場合に特にはっきりと認められ、当該著者らは再生信号の主観的品質における顕著な改善としている。
【0006】
ほとんどの最新のCELPにおいては、線形予測係数aiが、信号スペクトルのチルトを変えることなく音声信号のフォルマントと高調波の間の周波数領域を減衰させる機能を有するポストフィルタの定義にも使用されている。このポストフィルタの伝達関数の従前のフォームは次のとおりである。
【数25】
これにおいて、Gpはフィルタの減衰を補正する利得因子、β1およびβ2は0≦β1≦β2≦1を満足する係数、μは正の定数、r1は係数aiに依存する第1の反射係数を表す。
デコーダにおいて再生される信号のスペクトルに関する内容を表し、ノイズ・マスキングの量子化ならびにデコーダにおけるポストフィルタリングの双方をコントロールするという範囲において、係数aiにより信号のスペクトル包絡線のモデリングを行い、それによりコーディングならびにデコーディングのプロセスにおける基本要素を構成する。
【0007】
【発明が解決しようとする課題】
高いダイナミック・スペクトル・レンジを伴う信号については、現在採用されている線形予測解析から、スペクトルの包絡線の忠実なモデリングは得られない。音声信号は、高い周波数より低い周波数において実質的に強いエネルギを有することが少なからずあり、このため線形予測解析では、低い周波数において正確なモデリングを得てはいても、高い周波数におけるスペクトルのモデリングを犠牲にしている。この欠点は、特に、広帯域のコーディングにおいて問題となる。
本発明の1つの目的は、線形予測解析方法を採用しているシステムにおいて、オーディオ周波数信号のスペクトルのモデリングを改善することにある。他の目的は、各種の入力信号(音声信号、音楽信号、シヌソイド信号、DTMF信号等)、各種の帯域(電話帯域、広帯域、hi−fi帯域等)、各種の記録(指向性マイクロフォン、音響アンテナ等)およびフィルタリング条件に対してこの種のシステムの性能をより均一にすることである。
【0008】
【課題を解決するための手段】
このため本発明は、オーディオ周波数信号の線形予測解析方法を提案して、オーディオ周波数信号の短期スペクトルに依存するスペクトル・パラメータを決定し当該方法は、qを1を超える整数とするとき、q個の連続する予測段階からなるものとする。各予測段階(1≦p≦q)においては、当該段階の入力信号の、あらかじめ定義された数Mp個の線形予測係数a1p,...,aMp p、第1段階の入力信号を構成する、解析がなされるオーディオ周波数信号、および、次に示す伝達関数によってフィルタリングされたp段階の入力信号から構成されるp+1段階の入力信号を表すパラメータが定義される。
【数26】
Mp個の線形予測係数は、特に、ある段階から次の段階となるごとに増加してもよい。このようにすれば、第1段階により、スペクトルないしは信号の全般的なチルトを極めて忠実に記述可能であり、それ以降の段階により、信号のフォルマントの表現を正確化することができる。高いダイナミック・レンジを伴う信号の場合、これにより、知覚的に重要となる可能性を有する他の周波数領域に対して平凡なモデリングを行うというリスクの下に行なわれる、最もエネルギの高い領域への過大な特権付与が回避される。
【0009】
本発明の第2の特徴は、この線形予測解析方法の順方向適応合成解析オーディオ周波数コーダにおける応用に関連する。そこで本発明は、次に示すステップからなるオーディオ周波数信号のコーディング方法を提案する。すなわち、
− 短期合成フィルタを定義するパラメータを決定するための、連続するフレームにデジタル化されたオーディオ周波数信号の線形予測解析;
− オーディオ周波数信号を表す合成信号を生成するための、短期合成フィルタに印加される励起信号を定義する励起パラメータの決定;および、
− 短期合成フィルタを定義するパラメータならびに励起パラメータの量子化値の生成;
であり、これにおいて線形予測解析は、前述したとおりq個の連続する段階を有するプロセスであり、短期予測フィルタは、A(z)を次式とするとき、1/A(z)の形で表される伝達関数を有するものとする。
【数27】
【0010】
コーダが励起信号の閉ループ判定を伴う合成解析コーダである場合には、このようにして求められる伝達関数A(z)を、式(2)に従って知覚重み付けフィルタの伝達関数を定義するためにも使用することができる。別の好ましい可能性は、ある段階から次の段階へ変化することができるスペクトル拡張係数γ1およびγ2を採用することであり、つまり、知覚重み付けフィルタに次式で示される伝達関数を与えることである。
【数28】
これにおいてγ1 pおよびγ2 pは、1≦p≦qとするとき、0≦γ2 p≦γ1 p≦1の関係を有するスペクトル拡張係数のペアを表す。
【0011】
さらに関連するデコーダにおいても本発明を用いることができる。本発明に従って使用されるデコーディング方法は、次に示すステップからなる。すなわち、− 短期合成フィルタを定義するパラメータならびに励起パラメータの量子化値を受取るステップであり、短期合成フィルタを定義するパラメータは、q>1とするq個の線形予測係数のセットからなり、各セットはあらかじめ定義済の数の係数を含むものとするステップ;
− 励起信号パラメータの量子化値に基づいて励起信号を生成するステップ;
− A(z)を式(7)とするとき、1/A(z)の形で表される伝達関数を有する合成フィルタを用いて励起信号をフィルタリングすることにより、合成オーディオ周波数信号を生成するステップ;
であり、
【数29】
これにおいて係数a1 p,....,aMp pは、1≦p≦qとするとき、p番目のセットの線形予測係数に対応する。
【0012】
この伝達関数A(z)は、ポストフィルタの定義に使用することも可能であり、その場合のポストフィルタの伝達関数は、前述の式(3)にあるように、A(z/β1)/A(z/β2)の項を含み、これにおいてβ1およびβ2は、0≦β1≦β2≦1の関数を有する係数を表す。
好ましい変形の1つに、ポストフィルタの伝達関数のこの項を次式によって置換えるものがある。
【数30】
これにおいてβ1 pおよびβ2 pは、1≦p≦qとするとき、0≦β1 p≦β2 p≦1の関係を有する係数のペアを表す。
【0013】
本発明は、さらに逆方向適応オーディオ周波数コーダにも適用することができる。そこで本発明は、次に示すステップからなる、連続するフレームにデジタル化される第1のオーディオ周波数信号をコード化する方法を提案する。すなわち、
− 短期合成フィルタを定義するパラメータを決定するための、第2のオーディオ周波数信号の線形予測解析を行うステップ;
− 第1のオーディオ周波数信号を表す合成信号を生成するための、短期合成フィルタに印加される励起信号を定義する励起パラメータを決定するステップであって、この合成信号は、少なくともその後に続く1つのフレームに対して前記第2のオーディオ周波数信号を構成するものとするステップ;および、
− 励起パラメータの量子化値を生成するステップ;
であり、これにおいて線形予測解析は、前述したとおりq個の連続する段階を有するプロセスであり、短期予測フィルタは、A(z)を次式とするとき、1/A(z)の形で表される伝達関数を有するものとする。
【数31】
【0014】
関連するデコーダでの具体化において、本発明は、ビット・ストリームによりコード化されたオーディオ周波数信号を連続するフレームで構成するための、次に示すステップからなる、ビット・ストリームをデコーディングする方法を提案する。すなわち、
− 励起パラメータの量子化値を受け取るステップ;
− 励起パラメータの量子化値に基づいて励起信号を生成するステップ;
− 短期合成フィルタを用いて励起信号のフィルタリングを行うことにより合成オーディオ周波数信号を生成するステップ;
− その後に続く少なくとも1つのフレームのための短期合成フィルタの係数を得るために合成信号の線形予測解析を実行するステップ;
であり、これにおいて線形予測解析は、前述したとおりq個の連続する段階を有するプロセスであり、短期予測フィルタは、A(z)を次式とするとき、1/A(z)の形で表される伝達関数を有するものとする。
【数32】
【0015】
さらに本発明は、混合オーディオ周波数コーダ/デコーダ、つまり順方向ならびに逆方向の適応スキームを採用するコーダ/デコーダの実現を可能とし、その場合、1ないし複数の第1の線形予測段階が前方解析に対応し、1ないし複数の最終段階が逆方向解析に対応する。そこで本発明は、次に示すステップからなる、連続するフレームにデジタル化された第1のオーディオ周波数信号をコーディングする方法を提案する。すなわち、
− 短期合成フィルタの第1の要素を定義するパラメータを決定するために、第1のオーディオ周波数信号を線形予測解析するステップ;
− 第1のオーディオ周波数信号を表す合成信号を生成するために、短期合成フィルタに印加される励起信号を定義する励起パラメータを決定するステップ;
− 短期合成フィルタの第1の要素を定義するパラメータの値ならびに励起パラメータの値の量子化値を生成するステップ;
− 短期合成フィルタの第1の要素の伝達関数の逆関数に対応する伝達関数を備えるフィルタにより合成信号のフィルタリングを行うステップ;および、
− 少なくとも1つのその後に続くフレームのための短期合成フィルタの第2の要素の係数を得るために、フィルタリング済の合成信号を線形予測解析するステップ;
【0016】
であり、これにおいて、第1のオーディオ周波数信号の線形予測解析は、qFを少なくとも1に等しい整数とするとき、qF個の連続する段階を伴うプロセスであり、qF個の段階を伴うこのプロセスには、各予測段階p(1≦p≦qF)において、当該段階の入力信号の、あらかじめ定義済の数MFp個の線形予測係数a1 F,p,....,aMFp F,pを表すパラメータの決定、第1段階の入力信号を構成する第1のオーディオ周波数信号、および、次に示す伝達関数を有するフィルタによってフィルタリングされたp段階の入力信号から構成されるp+1段階の入力信号が含まれ、
【数33】
短期合成フィルタの第1の要素は、AF(z)を次式とするとき、1/AF(z)の形で表される伝達関数を有するものとし、
【数34】
【0017】
フィルタリング済の合成信号の線形予測解析は、qBを少なくとも1に等しい整数とするとき、qB個の連続する段階を伴うプロセスであり、qB個の段階を伴うこのプロセスには、各予測段階p(1≦p≦qB)において、当該段階の入力信号の、あらかじめ定義済の数MBp個の線形予測係数a1 B,p,....,aMBpB,pを表すパラメータの決定、第1段階の入力信号を構成する合成信号のフィルタリング後の信号、および、次に示す伝達関数を有するフィルタによってフィルタリングされたp段階の入力信号から構成されるp+1段階の入力信号が含まれ、
【数35】
短期合成フィルタの第2の要素は、AB(z)を次式とするとき、1/AB(z)の形で表される伝達関数を有するものとし、
【数36】
【0018】
短期合成フィルタは、A(z)=AF(z).AB(z)とするとき、1/A(z)の形で表される伝達関数を有するものとする。
関連する混合デコーダでの具体化において、本発明は、ビット・ストリームによりコード化されたオーディオ周波数信号を連続するフレームで構成するための、次に示すステップからなる、ビット・ストリームをデコーディングする方法を提案する。すなわち、
− 短期合成フィルタの第1の要素を定義するパラメータおよび励起パラメータの量子化値を受取るステップであり、パラメータは、qFを少なくとも1に等しい数とし、1≦p≦qFとするとき、qF個セットの線形予測係数a1 F,p,...,aMFp F,pを表す短期合成フィルタの第1の要素を定義し、各セットpは、あらかじめ定義済の数MFp個の係数を含み、短期合成フィルタの第1の要素は、AF(z)を次式とするとき、1/AF(z)の形で表される伝達関数を有するものとするステップ;
【数37】
【0019】
− 励起パラメータの量子化値に基づいて励起信号を生成するステップ;
− 短期合成フィルタの第2の要素の伝達関数を1/AB(z)で表し、A(z)=AF(z).AB(z)とするとき、伝達関数1/A(z)を備える短期合成フィルタにより励起信号をフィルタリングすることにより合成オーディオ周波数信号を生成するステップ;
− 伝達関数AF(z)を備えるフィルタにより合成信号をフィルタリングするステップ;および、
− 少なくとも1つのその後に続くフレームのための短期合成フィルタの第2の要素の係数を得るために、フィルタリング後の合成信号の線形予測解析を行うステップ;
であり、これにおいてフィルタリング後の合成信号の線形予測解析は、前述したとおりqB個の段階を伴うプロセスであり、短期合成フィルタは、AB(z)を次式とするとき、1/A(z)=1/[AF(z).AB(z)]の形で表される伝達関数を有するものとする。
【0020】
【数38】
合成解析の分野における本発明の適用には、特に重点を置くが、ここで、本発明に従って提案される多段階線形予測解析方法が、オーディオ信号処理において他の多くの応用を有する点を指摘すべきであり、例を挙げれば、変換予測コーダ、音声認識システム、音声向上システム等への応用がある。
本発明の他の特徴ならびに利点は、以下の図面を参照した好ましいが、限定されることのない実施例により明らかになろう。
【0021】
【発明の実施の形態】
図1に示した方法においてs0(n)は、解析されるオーディオ周波数信号を表す。ここではこれがデジタル標本の形で得られるものと仮定し、整数nは、連続サンプリング回数を示すものとする。線形予測解析方法は、q個の連続する段階、51,...,5p,...,5qよりなる。各予測段階5p(1≦p≦q)において、入力信号sp-1(n)の位数Mpの線形予測が実行される。第1段階51の入力信号は、解析されるオーディオ周波数信号s0(n)からなり、段階5p+1(1≦p<q)の入力信号は、次式で示される伝達関数を使用し、p番目の段階5pの入力信号sp-1(n)にフィルタリングを適用することにより、6pで示される段階で得られる信号sp(n)からなる。
【0022】
【数39】
これにおいて係数ai p(1≦i≦Mp)は、段階5pにおいて得られる線形予測係数である。
なお、各段階51,...,5pにおいて使用し得る線形予測解析方法は、公知の技術である。
たとえば、1978年にプレンティス・ホール(Prentice−HallInt.)から出版された、L.R.ラビナー(Rabiner)およびR.W.シェーファー(Shafer)による「音声信号のデジタル処理(Digital Processing of Speech Signals)」および、1976年にベルリン、ハイデルベルグのスプリンガー・ファラーク(Springer Verlag)から出版されたJ.D.マークル(Markel)およびA.H.グレイ(Gray)による「音声の線形予測(Linear Prediction of Speech)」を参照することができる。より詳しくは、ここでは(各段階5pに対し)次のステップを含むレビンソン=ダービンのアルゴリズムを使用している。すなわち、
【0023】
− Q個の標本の解析ウィンドウに関する段階の入力信号sp-1(n)のMp個の自己相関R(i)(0≦i≦Mp):
【数40】
を算定するステップであり、これにおいてs*(n)=ap−1(n).f(n)、f(n)は長さQのウィンドイング関数とし、たとえば、方形波関数またはハミング関数とするステップ;
− 係数ai pの帰納的算定を行うステップであり、
E(0) = R(0)とし、
iが1からMpのとき次式を取り、
【数41】
jが1からi−1のとき次式を取るステップである。
【数42】
【0024】
係数ai p(i=1,...,Mp)は、最終の繰返しで得られるai p,Mpに等しく取られる。数量E(Mp)は、p段階の残存予測エラーのエネルギである。−1から1までの範囲となる係数ri pは、反射係数と呼ばれる。これらは、対数領域比LARi p=LAR(ri p)により表され、これにおいて関数LARは、LAR(r)=log10[(1−r)/(1+r)]と定義される。
多くの応用において、得られた予測係数の量子化が必要になる。この量子化は、係数ai pに対して直接実行してもよく、関連反射係数ri pもしくは対数領域比LARi pに対して実行してもよい。他の可能性としては、スペクトル・ライン・パラメータ(ライン・スペクトルのペアLSPまたはライン・スペクトル周波数LSF)の量子化がある。0とπの間で正規化されるMp個のスペクトル・ライン周波数ωi p(1≦i≦Mp)は、多項式Pp(z)=Ap(z)−z-(Mp+1)Ap(z-1)の平方根である複素数1、exp(jω2 p)、exp(jω4 p),...,exp(jωMp p)、および、多項式Qp(z)=Ap(z)+z-(Mp+1)Ap(z-1)の平方根である複素数exp(jω1 p)、exp(jω3 p),...,exp(jωp Mp-1)になる。量子化は、正規化周波数ωi pもしくはその余弦に適用してもよい。
【0025】
解析は、上記のレビンソン=ダービンの従来アルゴリズムに従って、各予測段階5pにおいて実行することができる。そのほかに、より新しく開発された、同一結果をもたらすアルゴリズム、より詳しくはスプリット・レビンソン・アルゴリズム(1992年発行の「信号処理(Signal Processing)」Vol.28の201〜212ページに掲載されたS.ソーディ(Saoudi)、J.M.ブーシェ(Boucher)およびA.Le ギヤダー(Guyader)による「音声コーディングのためのLSPパラメータ演算の効果的な新アルゴリズム(A new Efficient Algorithm to Compute the LSP Parameters for Speech Coding)」を参照されたい)の使用も効果的であり、また、チェビシェフの多項式(1986年12月発行の「音響、音声および信号処理に係るIEEE会報(IEEE Trans. on Acoustics, Speech, and Signal Processing)」Vol. ASSP−34, No.6の1419〜1426ページに掲載されたP.カバル(Kabal)およびR.P.ラマチャンドラン(Ramachandran)による「チェビシェフの多項式を使用したライン・スペクトル周波数の演算(The Computation of Line Spectrum Frequencies Using Chebyshev Polynomials)」を参照されたい)を使用してもよい。
【0026】
オーディオ周波数信号s0(n)のための短期予測フィルタを定義するために図1に示した多段階解析を実行するとき、このフィルタの伝達関数A(z)は、次式で与えられる
【数43】
この伝達関数は、M=M1+....+Mqとすれば、式(1)により与えられる従来の一般的な形を満足することがわかる。しかしながら、多段階予測プロセスにより得られる関数A(z)の係数aiは、一般に、従来の単段階予測プロセスによりもたらされる係数と異なる。
好ましくは、実行する線形予測の位数Mpを、ある段階から次の段階となるごとに増加、つまりM1<M2<...<Mqとする。これにより解析する信号のスペクトル包絡線の形状は、第1段階51(たとえばM1=2)において比較的粗くモデリングされ、このモデリングは、段階を経るごとに、第1段階によりもたらされた全般的な情報を喪失することなく正確化される。これは、知覚的な重要性を有するスペクトルの全体的なチルトといったパラメータ、特に広帯域信号および/または高いスペクトルのダイナミック・レンジを伴う信号におけるこの種のパラメータの不充分な考慮を回避することができる。
【0027】
代表的な実施例において、連続する予測段階の数qは2に等しい。目標を位数Mの合成フィルタとすれば、M1=2、M2=M−2とすることが可能であり、当該フィルタの係数aiは次のように与えられる(式(1))。
【数44】
【数45】
【数46】
【数47】
【数48】
【0028】
短期スペクトルを示すため、かつ適切であればそれを量子化するため、各段階(1≦p≦q)について前述のスペクトル・パラメータのセット(ai p、ri p、LARi p、ωi p、もしくは1≦i≦Mpについてはcosωi p)の1つを採用することが可能であり、あるいはそれに代えて、同一のスペクトル・パラメータであるが、式(9)〜(13)に従って演算される複合フィルタ用のスペクトル・パラメータを採用することができる(ai、ri、LARi、ωi、もしくは1≦i≦Mについてはcosωi)。これらのパラメータまたは他の表現パラメータの間の選択は、各特定応用による制約に依存する。
図2に示したグラフは、音声信号の30ミリ秒間の会話部分について、従来の単段階線形予測プロセスによりM=15としてそのモデリングを行った包絡線(曲線II)および、本発明に従った線形予測プロセスにより、M1=2、M2=13とするq=2段階においてそのモデリングを行った包絡線(曲線III)の比較を示す。信号のサンプリング周波数Feは16kHzである。なお、信号のスペクトル(そのフーリエ変換のモジュール)は、曲線Iにより示した。このスペクトルは、オーディオ周波数信号を表しており、全体的に、高い周波数のエネルギより低い周波数のエネルギの方が大きい。スペクトルのダイナミック・レンジは、図2に示したもの(60dB)より大きくなることもある。曲線(II)および(III)は、モデリングを行ったスペクトル包絡線|1/A(e2jπf/Fe)|に対応している。これらから本発明による解析方法が、実質的にスペクトルのモデリングを向上し、特に高い周波数(f>4kHz)ではそれが顕著であることがわかる。スペクトルの全般的なチルトならびに高い周波数におけるそのフォルマントは、多段階解析プロセスによってより重視されている。
【0029】
以下、CELPタイプの音声コーダへの応用において本発明を説明する。
図3に、CELPコーダ/デコーダに採用される音声合成プロセスを示す。励起ジェネレータ10は、インデックスkに応答して所定コードブロックに属する励起コードckを発生する。増幅器12は、励起利得βによりこの励起コードをβ倍し、結果として得られる信号を長期合成フィルタ14に通す。フィルタ14の出力信号は、この後短期合成フィルタ16に通されるが、その出力s^(^の記号はsの文字の頭部にかかる、以下同様)は、ここで合成音声信号と呼ぶものになる。この合成信号は、再生音声の主観的品質を向上すべく意図されたポストフィルタ17に印加される。ポストフィルタリングの技術は、音声コーディングの分野ではよく知られている(1995年1月発行の「会話ならびに音声処理に係るIEEE会報(IEEE Trans. on Speech and Audio Processing)」Vol. 3−1の59〜71ページに掲載されたJ.H.チェン(Chen)およびA.ガーショー(Gersho)による「コード化された音声の品質向上のための適応性ポストフィルタリング(Adaptive postfiltering for quality enhancement of coded speech)」を参照されたい)。ここに示した例において、ポストフィルタ17の係数は、短期合成フィルタ16内で特性決定するLPCパラメータから得られる。ここで、他の従来のCELPデコーダにおける場合と同様、ポストフィルタ17が長期ポストフィルタリング要素も含んでいることを理解されたい。
【0030】
前述の信号は、広帯域コーダ(50〜7000Hz)用に、たとえば16kHzに等しいサンプリング・レートFeにおいて、たとえば16ビット・ワードで表現されたデジタル信号である。合成フィルタ14および16は、概略において完全なリカーシブ・フィルタである。長期合成フィルタ14は、通常、B(z)=1−Gz-Tとするとき1/B(z)で表される伝達関数を有する。遅延Tおよび利得Gは、コーダにより適応的に決定される長期予測(LTP)パラメータを構成する。短期合成フィルタ16を定義するLPCパラメータは、コーダにおいて、音声信号の線形予測解析方法により決定される。通例によるコーダならびにデコーダにおいては、フィルタ16の伝達関数が、一般に式(1)に示したA(z)を用いて1/A(z)という形で与えられる。本発明は、同様な形の伝達関数の採用を提案するが、前述のように式(7)に示したA(z)を用いる。例として、それぞれの段階のパラメータをq=2、M1=2、M2=13(M=M1+M2=15)とすることができる。
【0031】
ここでは「励起信号」という語を用いて短期合成フィルタ14に印加される信号u(n)を表している。この励起信号は、LTP要素G.u(n−T)ならびに残存要素、もしくはイノベーション・シーケンスβck(n)を含む。合成解析コーダにおいては、残存要素の特性決定および、オプションとしてLTP要素の特性決定を行うパラメータは、知覚重み付けフィルタを使用し、閉ループにより求められる。
図4は、CELPコーダのブロック図を示す。音声信号s(n)は、デジタル信号であり、たとえば、増幅ならびにフィルタリングが施されたマイクロフォン22の出力信号を処理するアナログ/デジタル・コンバータ20によって与えられる。信号s(n)は、連続するフレームとしてΛ個の標本にデジタル化され、それぞれはL個の標本のサブフレームまたは励起フレームに分割される(例:Λ=160、L=32)。
【0032】
LPCパラメータ、LTPパラメータおよびEXCパラメータ(インデックスk、励起利得β)は、それぞれ対応する解析モジュール24、26、28によりコーダ・レベルで求められる。これらのパラメータは、効果的なデジタル送信のための公知の方法で量子化され、コーダの出力信号を生成するマルチプレクサ30に印加される。さらにこれらのパラメータは、モジュール32にも印加され、コーダの特定フィルタの初期状態が演算される。このモジュール32は、基本的に図3に示したようなデコーディング・チェーンを構成する。デコーダ同様、モジュール32は、量子化済のLPCパラメータ、LTPパラメータおよびEXCパラメータに基づいて動作する。よくあるようにデコーダにおいてLPCパラメータに補間が施される場合は、同一の補間をモジュール32において実行する。このモジュール32により、コーダ・レベルで、デコーダの合成フィルタ14、16の以前の状態、つまり対象となっているサブフレームに先行して合成パラメータならびに励起パラメータの関数として決定された状態を知ることが可能になる。
【0033】
コーディング・プロセスの第1段階では、音声信号s(n)の短期相関を解析することにより、短期解析モジュール24が短期合成フィルタを定義するLPCパラメータを決定する。この決定は、音声信号のスペクトル内容の展開を採入れることができるように、たとえばΛ個の標本の1フレーム当り1回実行される。本発明によれば、これは、図1に示した解析方法においてs0(n)=s(n)とした場合に相当する。
コーディングにおけるその後の段階では、長期予測のLTPパラメータを決定する。これらは、たとえば、L個の標本の1サブフレーム当り1回実行される。減算器34は、ヌル入力信号に対し、音声信号s(n)から短期合成フィルタ16の応答を減算する。この応答は、伝達関数1/A(z)を有するフィルタ36によって決定されるが、この伝達関数の係数はモジュール24によって決定済のLPCパラメータにより与えられ、その初期状態s^は、M=M1+...MqとするM個の合成信号の最終標本に対応するようにモジュール32により与えられる。減算器34の出力信号は、スペクトル上においてエラーが知覚的に最も気になる部位、つまりフォルマント間の領域を強調する役割を担う知覚重み付けフィルタ38に印加される。
【0034】
知覚重み付けフィルタ38の伝達関数W(z)は、W(z)=AN(z)/AP(z)で表され、これにおいてAN(z)およびAP(z)を位数MのFIR(有限インパルス応答)タイプの伝達関数とする。関数AN(z)およびAP(z)の対応する係数biおよびci(1≦i≦M)は、各フレームについて、知覚重み付け算定モジュール39により演算されてフィルタ38に印加される。第1の可能性は、0≦γ2≦γ1≦1とするとき、AN(z)=A(z/γ1)およびAP(z)=A(z/γ2)を取ることであり、これにより、式(7)に示すA(z)を用いるが、式(2)に示す従来の形まで簡単化される。q=2、M1=2かつM2=13とする広帯域信号の場合は、γ1=0.92、γ2=0.6を選択することにより好ましい結果が得られることがわかった。
【0035】
しかしながら、本発明は、ほとんど演算を追加することなく、W(z)の式(6)を採用することにより、量子化ノイズ形成に対する大きな柔軟性をもたらすことを可能にした。つまり、
【数49】
q=2、M1=2かつM2=13とする広帯域信号の場合は、γ11=0.9、γ21=0.65、γ12=0.95、γ22=0.75を選択することにより好ましい結果が得られることがわかった。項A1(z/γ11)/A1(z/γ21)により、フィルタ38の全般的なチルトの調整が可能になり、項A2(z/γ12)/A2(z/γ22)によりフォルマント・レベルにおけるマスキングの調整が可能になる。
【0036】
従来の方法においては、モジュール26が実行する閉ループLTP解析により、次に示す正規化相関を最大にする遅延Tが選択される。
【数50】
これにおいてx’(n)は、対象となっているサブフレームの間のフィルタ38の出力信号を表し、yT(n)は、コンボルーション結果u(n−T)*h’(n)を表す。この式において、h’(0)、h’(1),...,h’(L−1)は、伝達関数W(z)/A(z)の、重み付け合成フィルタのインパルス応答を示す。このインパルス応答h’は、インパルス応答演算モジュール40によって、モジュール39により与えられる係数biならびにci、および当該サブフレームに対して決定されたLPCパラメータの関数として、適切であれば量子化ならびに補間の後に演算される。標本u(n−T)は、長期合成フィルタ14の以前の状態であり、モジュール32からもたらされる。遅延Tがサブフレームの長さより短いことから、失われた標本u(n−T)は、以前の標本に基づく補間によって、あるいは音声信号から求められる。遅延Tの全体もしくは一部分が、定義済のウィンドウ内において選択される。閉ループ・サーチ・レンジを低減するため、およびそれによって演算するコンボルーションyT(n)の数を低減するためには、まず開ループ遅延T’を、たとえばフレーム当り1回決定し、その後、約T’の低減された間隔内で各サブフレームに対する閉ループ遅延を選択することができる。最も簡単な態様においては、伝達関数A(z)の逆関数を有するフィルタによるフィルタリングが可能であれば、音声信号s(n)の自己相関を最大にする遅延T’を開ループ・サーチで決定する。遅延Tが決定されれば、長期予測利得Gは次式により求まる。
【数51】
【0037】
サブフレームに関連するCELP励起をサーチするため、最適化遅延Tに対してモジュール26により演算された信号GyT(n)が、まず減算器42において信号x’(n)から減じられる。結果として得られる信号x(n)は、逆方向フィルタ44に印加され、当該フィルタは、次式で表される信号D(n)を出力する。
【数52】
これにおいて、h(0)、h(1),...,h(L−1)は、合成フィルタおよび知覚重み付けフィルタからなるフィルタのインパルス応答を示し、この応答は、モジュール40を介して演算される。換言すれば、この複合フィルタは、伝達関数W(z)/[A(z).B(z)]を有することになる。マトリクスを用いれば、これは次のように表される。
【数53】
【0038】
ベクトルDは、励起サーチ・モジュール28用の目標ベクトルを構成する。このモジュール28は、Pkおよびαkが次式で与えられるとき、正規化自己相関Pk2/αk2を最大にするコードブック内のコードワードを決定する。
【数54】
最適インデックスkが決定されれば、励起利得βは、β=Pk/αk2として得られる。
図3を参照すると、CELPデコーダは、コーダから出力されるビット・ストリームを受け取るデマルチプレクサ8を備えている。EXC励起パラメータおよび、LTP合成パラメータならびにLPC合成パラメータの量子化値は、合成信号s^を再生するためにジェネレータ10、増幅器12およびフィルタ14、16に分配され、この合成信号はポストフィルタ17に印加された後、コンバータ18においてアナログ信号に変換され、さらに増幅されてスピーカ19に印加され、オリジナルの音声が再生される。
【0039】
図3に示したデコーダの場合、LPCパラメータは、たとえば各種の線形予測段階に関連する反射係数ri p(部分相関係数ないしはPARCOR係数とも呼ばれる)の量子化インデックスからなる。モジュール15は、量子化インデックスからri pの量子化値を再生し、q個セットの線形予測係数を提供すべくその変換を行う。この変換は、たとえば、レビンソン=ダービンのアルゴリズムにおける帰納法と同じものを使用して行なわれる。
係数ai pのセットは、式(4)により与えられる伝達関数1/A1(z),...,1/Aq(z)を有する、連続するq個のフィルタ/段階からなる短期合成フィルタ16に分配される。このフィルタ16は、式(1)により与えられる伝達関数1/A(z)を有する単段階とすることも可能であり、その場合、係数aiは式(9)〜(13)に従って演算される。
【0040】
また係数ai pのセットは、ポストフィルタ17にも分配され、このポストフィルタは、たとえば、対象となっている例において次式で示される伝達関数を有する。
【数55】
これにおいてAPN(z)およびAPP(z)は、位数MのFIRタイプの伝達関数であり、Gpは利得定数、μは正の定数、r1は第1の反射係数である。反射係数r1は、複合合成フィルタの係数aiに関連する係数としてもよく、その場合、この後の演算は不要になる。さらに、r1として第1予測段階の反射係数を取ることも可能であり(r1=r1 1)、適切な場合にはこれを定数μにより調整する。項APN(z)/APP(z)については、第1の可能性は、0≦β1≦β2≦1としてAPN(z)=A(z/β1)およびAPP(z)=A(z/β2)を取ることであり、これにより、式(7)に示すA(z)を用いるが、式(3)に示す従来の形まで簡単化される。
【0041】
コーダの知覚重み付けフィルタの場合と同様、本発明においては、ある段階と次の段階の間で異なる係数β1ならびにβ2を採用することができる(式(8))。つまり、APP(z)およびAPN(z)は、次式で表される。
【数56】
q=2、M1=2かつM2=13とする広帯域信号の場合は、β1 1=0.7、β2 1=0.9、β1 2=0.95、β2 2=0.97を選択することにより好ましい結果が得られることがわかった。
【0042】
以上においては、順方向予測コーダ、つまり、線形予測解析が行われるオーディオ周波数信号がコーダの入力信号となるコーダにおける本発明の応用について説明してきた。本発明は、さらに、逆方向適応予測コーダ/デコーダ、つまり、コーダ及びデコーダにおいて合成信号の線形予測解析が行われるコーダ/デコーダにも応用できる(1992年6月発行のIEEE J. SAC, Vol.l0, No. 5の830〜848ページに掲載されたJ.H.チェン(Chen)等による「CCITT勧告の16kbit/sの音声コーディング標準のための低遅延CELPコーダ(A Low−Delay CELP Coder for the CCITT 16 kbit/s Speech Coding Standard)」を参照されたい)。図5および図6は、本発明を実施する逆方向適応CELPデコーダおよびCELPコーダをそれぞれ示す。これにおいて、図3ならびに図4にある要素に類似する要素には、同一の番号を使用している。
【0043】
逆方向適応デコーダは、短期合成フィルタ16に印加される励起信号u(n)を定義するパラメータの量子化値のみを受け取る。ここで取り上げている例においては、これらのパラメータがインデックスk、関連利得βならびにLTPパラメータとなる。合成信号s^(n)は、図3のモジュール24と同一の多段階線形予測解析モジュール124により生成される。このモジュール124は、励起信号の1フレームないしは続く数フレーム用に、LPCパラメータをフィルタ16に分配し、同時に、前述のようにして係数が求められるポストフィルタ17に分配する。
【0044】
図6に示した対応するコーダは、局部発生の合成信号に対して多段階線形予測解析を実行するが、オーディオ信号s(n)に対しては実行しない。このため、基本的に図5のデコーダの要素10、12、14、16、および124からなる局部デコーダ132が備わる。局部デコーダ132は、さらに適応辞書の標本uおよびフィルタ36の初期状態s^に対して、合成信号の解析により得られたLPCパラメータを分配し、このパラメータを知覚重み付け算定モジュール39およびモジュール40で使用し、インパルス応答hおよびh’を演算する。このほかに関して、コーダの動作は、LPC解析モジュール24が不必要になることを除けば、図4を参照して説明したコーダの動作と同一となる。デコーダには、EXCパラメータおよびLTPパラメータのみが送られる。
【0045】
図7および図8は、混合適応のCELPデコーダおよびCELPコーダをそれぞれ示すブロック図である。第1段階(1つもしくは複数)の線形予測係数は、コーダによって実行されるオーディオ周波数信号の順方向解析の結果として得られ、最終の段階(1つもしくは複数)の線形予測係数は、デコーダ(およびコーダに備わる局部デコーダ)によって実行される合成信号の逆方向解析の結果として得られる。ここでは、図3〜図6にある要素に類似する要素に対し、同一の番号を使用している。
図7に示した混合デコーダは、短期合成フィルタ16に印加される励起信号u(n)を定義するEXCパラメータおよびLTPパラメータの量子化値、およびコーダが実行する順方向解析により決定されるLPC/Fパラメータの量子化値を受け取る。このLPC/Fパラメータは、1≦p≦qFとするとき、qF個セットの線形予測係数a1F,p,...,aMFp F,pを表し、AF(z)を次式とする、フィルタ16の伝達関数1/A(z)の第1の要素1/AF(z)を定義する。
【数57】
【0046】
LPC/Fパラメータを得るために、図8に示した混合コーダは、モジュール224/Fを備え、このモジュールは、コード化されるオーディオ周波数信号s(n)に対し、qF>1であれば図1を参照して説明した方法で解析を実行し、qF=1であれば単段階の解析を実行する。
短期合成フィルタ16の伝達関数1/A(z)=1/[AF(z).AB(z)]のもう一つの要素1/AB(z)は、次式により与えられる。
【数58】
混合デコーダは、係数aiB,Pを決定するために、短期合成フィルタ16により生成された合成信号s^(n)のフィルタリングを行う伝達関数AF(z)を有する逆関数フィルタ200を備え、フィルタリング後の合成信号s^0(n)を生成する。モジュール224/Bは、qB>1であれば図1を参照して説明した方法でこの信号s^0(n)の線形予測解析を実行し、qB=1であれば単段階の線形予測解析を実行する。このようにして得られたLPC/B係数は、その後に続くフレームに対して第2の要素を定義するために合成フィルタ16に分配される。LPC/F係数と同様に、この係数はポストフィルタ17にも分配され、その要素APN(z)およびAPP(z)は、APN(z)=A(z/β1)、APP(z)=A(z/β2)の形、もしくは次に示す形になる。
【数59】
【0047】
係数のペアβ1 F,p、β2 F,pおよびβ1 B,p、β2 B,pは、0≦β1 F,p≦β2 F,p≦1および、0≦β1 B,p≦β2 B,p≦1という関係を有し、個別に最適化される。
混合コーダに備わる局部デコーダ232は、基本的に図7に示した要素10、12、14、16、200、および224/Bよりなる。局部デコーダ232は、さらに適応辞書の標本uおよびフィルタ36の初期状態s^に対して、LPC/Bパラメータを分配し、知覚重み付け算定モジュール39およびモジュール40ではこのパラメータを解析モジュール224/Fから分配されるLPC/Fパラメータとともに使用し、これによりインパルス応答hおよびh’を演算する。
知覚重み付けフィルタ38の伝達関数は、モジュール39により算定され、W(z)=A(z/γ1)/A(z/γ2)の形、もしくは次に示す形になる。
【数60】
係数のペアγ1 F,p、γ2 F,pおよびγ1 B,p、γ2 B,pは、0≦γ2 F,p≦γ2 F,p≦1および、0≦γ2 B,p≦γ1 B,p≦1という関係を有し、個別に最適化される。
【0048】
このほかの点に関して混合コーダは、図4を参照して説明したコーダと全く同じに動作する。デコーダには、EXCパラメータ、LTPパラメータおよびLPC/Fパラメータのみが送られる。
【図面の簡単な説明】
【図1】 本発明による線形予測解析方法を示すフローチャートである。
【図2】 本発明による方法の結果と、従来の線形予測解析方法による結果を比較したスペクトル図である。
【図3】 本発明を実施し得るCELPコーダを示すブロック図である。
【図4】 本発明を実施し得るCELPデコーダを示すブロック図である。
【図5】 本発明を実施し得るCELPコーダの変形例を示すブロック図である。
【図6】 本発明を実施し得るCELPデコーダの変形例を示すブロック図である。
【図7】 本発明を実施し得るCELPコーダの別の変形例を示すブロック図である。
【図8】 本発明を実施し得るCELPデコーダの別の変形例を示すブロック図である。
【符号の説明】
51…位数M1の線形予測を行う第1段階
5p…位数Mpの線形予測を行う第p段階
5q…位数Mqの線形予測を行う第q段階
Claims (22)
- オーディオ周波数信号の短期スペクトルに依存するスペクトルのパラメータを決定するための、q個の連続する予測段階(5p)からなるオーディオ周波数信号の線形予測解析方法であって、qは1を超える整数であり、各予測段階p(1≦p≦q)においては、各段階pに対してあらかじめ定義された数をMpとするとき、Mp個の当該段階の入力信号の線形予測係数a1 p,...,aMp pを表すパラメータを決定し、解析対象のオーディオ周波数信号は第1段階の入力信号(s0(n))を構成し、p+1段階の入力信号(sp(n))は、次式で示される伝達関数を有するフィルタによってフィルタリングされる、p段階の入力信号(sp-1(n))よりなることを特徴とする、オーディオ周波数信号(s0(n))の線形予測解析方法。
- 前記線形予測係数の数Mpは、ある段階から次の段階に段階が進むと増加することを特徴とする前記請求項1記載の解析方法。
- 短期合成フィルタ(16)を定義するパラメータ(LPC)を決定するため、連続フレームにデジタル化されたオーディオ周波数信号(s(n))を線形予測解析するステップ;
前記オーディオ周波数信号を表す合成信号(s^(n))を生成するため、前記短期合成フィルタ(16)に印加される励起信号(u(n))を定義する励起パラメータ(k、β、LTP)を決定するステップ;および、
前記短期合成フィルタを定義するパラメータならびに前記励起パラメータの量子化値を生成するステップ;
からなる、オーディオ周波数信号のコーディング方法であって、
qを1を超える整数とするとき、前記線形予測解析はq個の連続する段階(5p)を伴うプロセスであり、該プロセスは、各予測段階p(1≦p≦q)において、各段階pに対してあらかじめ定義された数をMpとするとき、Mp個の当該段階の入力信号の線形予測係数a1 p,...,aMp pを表すパラメータの決定、第1段階の入力信号(s0(n))を構成するコーディング対象のオーディオ周波数信号(s(n))、および、伝達関数を有するフィルタによってフィルタリングされる、p段階の入力信号(sp-1(n))よりなるp+1段階の入力信号(sp(n))を含み、
- 前記線形予測係数の数Mpは、ある段階から次の段階に段階が進むと増加することを特徴とする前記請求項3記載のコーディング方法。
- 前記励起パラメータの少なくとも一部は、前記オーディオ周波数信号(s(n))と前記合成信号(s^(n))の差を、少なくとも1つの知覚重み付けフィルタ(38)によってフィルタリングした結果として得られるエラー信号のエネルギを最小化することにより決定され、該知覚重み付けフィルタは、γ1およびγ2を0≦γ2≦γ1≦1の関係を有するスペクトル拡張係数とするとき、W(z)=A(z/γ1)/A(z/γ2)の形で表される伝達関数を有することを特徴とする、前記請求項3または4記載のコーディング方法。
- 短期合成フィルタ(16)を定義するパラメータ(LPC)ならびに励起パラメータ(k、β、LTP)の量子化値を受取るステップであって、合成フィルタを定義するパラメータは、qを1を超える整数とするとき、q個セットの線形予測係数(ai p)を定義し、各セットpは、定義済の数Mp個の係数を含むものとするステップ;
前記励起パラメータの量子化値に基づいて励起信号(u(n))を生成するステップ;および、
A(z)を次式とするとき、1/A(z)の形で表される伝達関数を有する合成フィルタ(16)により励起フィルタのフィルタリングを行うことにより合成オーディオ周波数信号(s^(n))を生成するステップであって、
を含むことを特徴とする、ビット・ストリームによってコード化されたオーディオ周波数信号を構成するためにビット・ストリームをデコーディングする方法。 - 前記合成オーディオ周波数信号(s^(n))は、β1およびβ2を0≦β2≦β1≦1の関係を有する係数とするとき、A(z/β1)/A(z/β2)の形で表される項を含む伝達関数(HPF(z))を有するポストフィルタ(17)に印加されることを特徴とする、前記請求項7記載のデコーディング方法。
- 連続するフレームにデジタル化された第1のオーディオ周波数信号をコーディングする方法において、
短期合成フィルタ(16)を定義するパラメータ(LPC)を決定するために第2のオーディオ周波数信号(s^(n))の線形予測解析を行うステップ;
前記第1のオーディオ周波数信号を表す合成信号(s^(n))を生成するため、前記短期合成フィルタ(16)に印加される励起信号(u(n))を定義する励起パラメータ(k、β、LTP)を決定するステップであって、該合成信号は、少なくとも1つのその後に続くフレームに対する前記第2のオーディオ周波数信号を構成するものとするステップ;および、
前記励起パラメータの量子化値を生成するステップ;
を含み、前記線形予測解析は、qを1を超える整数とするとき、q個の連続する段階(5p)を伴うプロセスであり、該プロセスは、各予測段階p(1≦p≦q)において、各段階pに対してあらかじめ定義された数Mpに関し、Mp個の当該段階の入力信号の線形予測係数a1 p,...,aMp pを表すパラメータの決定、第1段階の入力信号(s0(n))を構成する前記第2のオーディオ周波数信号(s^(n))、および、次式で示される伝達関数を有するフィルタによってフィルタリングされる、p段階の入力信号(sp-1(n))よりなるp+1段階の入力信号(sp(n))を含み、
- 前記線形予測係数の数Mpは、ある段階から次の段階に段階が進むと増加することを特徴とする前記請求項10記載のコーディング方法。
- 前記励起パラメータの少なくとも一部は、前記第1のオーディオ周波数信号(s(n))と前記合成信号(s^(n))の差を、少なくとも1つの知覚重み付けフィルタ(38)によってフィルタリングした結果として得られるエラー信号のエネルギを最小化することにより決定され、該知覚重み付けフィルタは、γ1およびγ2を0≦γ2≦γ1≦1の関係を有するスペクトル拡張係数とするとき、W(z)=A(z/γ1)/A(z/γ2)の形で表される伝達関数を有することを特徴とする、前記請求項10または11記載のコーディング方法。
- 励起パラメータ(k、β、LTP)の量子化値を受取るステップ;
前記励起パラメータの量子化値に基づいて励起信号(u(n))を生成するステップ;
短期合成フィルタ(16)により励起信号のフィルタリングを行うことによって合成オーディオ周波数信号(s^(n))を生成するステップ;
合成信号(s^(n))の線形予測解析を実行して、少なくとも1つのその後に続くフレームのための短期合成フィルタ(16)の係数を獲得するステップ;
を特徴とし、前記線形予測解析は、qを1を超える整数とするとき、q個の連続する段階(5p)を伴うプロセスであり、該プロセスは、各予測段階p(1≦p≦q)において、各段階pに対してあらかじめ定義された数Mpに関し、Mp個の当該段階の入力信号の線形予測係数a1 p,...,aMp pを表すパラメータの決定、第1段階の入力信号(s0(n))を構成する前記合成信号(s^(n))、および、次式で表される伝達関数を有するフィルタによってフィルタリングされる、p段階の入力信号(sp-1(n))よりなるp+1段階の入力信号(sp(n))を含み、
- 前記合成オーディオ周波数信号(s^(n))は、β1およびβ2を0≦β2≦β1≦1の関係を有する係数とするとき、A(z/β1)/A(z/β2)の形で表される項を含む伝達関数(HPF(z))を有するポストフィルタ(17)に印加されることを特徴とする、前記請求項14記載のデコーディング方法。
- 連続するフレームにデジタル化された第1のオーディオ周波数信号をコーディングする方法において、
短期合成フィルタ(16)の第1の要素を定義するパラメータ(LPC/F)を決定するために前記第1のオーディオ周波数信号(s(n))の線形予測解析を行うステップ;
前記第1のオーディオ周波数信号を表す合成信号(s^(n))を生成するために、前記短期合成フィルタ(16)に印加される励起信号(u(n))を定義する励起パラメータ(k、β、LTP)を決定するステップ;
前記短期合成フィルタ(16)の第1の要素を定義するパラメータならびに前記励起パラメータの量子化値を生成するステップ;
前記短期合成フィルタの第1の要素の伝達関数の逆関数に対応する伝達関数を有するフィルタにより、前記合成信号(s^(n))のフィルタリングを行うステップ;および、
フィルタリング後の合成信号((s^0(n))の線形予測解析を行い、少なくとも1つのその後に続くフレームのための短期合成フィルタの第2の要素の係数を得るステップ;
を含み、前記第1のオーディオ周波数の線形予測解析は、qFを少なくとも1に等しい整数とするとき、qF個の連続する段階(5p)を伴うプロセスであり、該プロセスは、各予測段階p(1≦p≦qF)において、各段階pに対してあらかじめ定義され、当該段階の入力信号の線形予測係数a1 F,p,...,aMFp F,pの個数であるMFp個のパラメータの決定、qF段階を伴うプロセスの第1段階の入力信号(s0(n))を構成する前記第1のオーディオ周波数信号、および、次式で表される伝達関数を有するフィルタによってフィルタリングされる、qF段階を伴うプロセスのp段階の入力信号(sp-1(n))よりなる、qF段階を伴うプロセスのp+1段階の入力信号(sp(n))を含み、
- 前記励起パラメータの少なくとも一部は、前記第1のオーディオ周波数信号(s(n))と前記合成信号(s^(n))の差を、少なくとも1つの知覚重み付けフィルタ(38)によってフィルタリングした結果として得られるエラー信号のエネルギを最小化することにより決定され、該知覚重み付けフィルタは、γ1およびγ2を、0≦γ2≦γ1≦1の関係を有するスペクトル拡張係数とするときW(z)=A(z/γ1)/A(z/γ2)の形で表される伝達関数を有することを特徴とする、前記請求項17記載のコーディング方法。
- 前記励起パラメータの少なくとも一部は、前記第1のオーディオ周波数信号(s(n))と前記合成信号(s^(n))の差を、少なくとも1つの知覚重み付けフィルタ(38)によってフィルタリングした結果として得られるエラー信号のエネルギを最小化することにより決定され、該知覚重み付けフィルタは、次式で表される伝達関数を有し、
- ビット・ストリームによりコード化されたオーディオ周波数信号を連続するフレームに構成するためにビット・ストリームをデコーディングする方法において、
短期合成フィルタ(16)の第1の要素を定義するパラメータ(LPC/F)ならびに励起パラメータ(k、β、LTP)の量子化値を受け取るステップであり、該パラメータは、qFを少なくとも1に等しい整数とするとき、qF個セットの線形予測係数a1 F,p,...,aMFp F,pを表す前記短期合成フィルタの第1の要素を定義し、各セットpは、あらかじめ定義された数MFpに関し、MFp個の係数、AF(z)を次式とするとき、1/AF(z)の形で表される伝達関数を有する前記短期合成フィルタ(16)の第1の要素を含むものとするステップ
前記短期合成フィルタ(16)の第2の要素の伝達関数を1/AB(z)で表し、A(z)=AF(z).AB(z)とするとき、1/A(z)の形で表される伝達関数を有する短期合成フィルタ(16)により前記励起信号をフィルタリングすることにより合成オーディオ周波数信号(s^(n))を生成するステップ;
前記合成信号(s^(n))を伝達関数AF(z)を有するフィルタによりフィルタリングするステップ;および、
フィルタリング後の合成信号(s^0(n))を線形予測解析を実行して、少なくとも1つのその後に続くフレームのための短期合成フィルタ(16)の第2の要素の係数を得るステップ;
を含み、前記フィルタリング後の合成信号の線形予測解析は、qBを少なくとも1に等しい整数とするとき、qB個の連続する段階(5p)を伴うプロセスであり、該プロセスは、各予測段階p(1≦p≦qB)において、各段階pに対してあらかじめ定義された数MBpに関し、MBp個の当該段階の入力信号の線形予測係数a1 B,p,...,aMBp B,pを表すパラメータの決定、第1段階の入力信号(s0(n))を構成する前記フィルタリング後の合成信号(s^0(n))、および、次式で表される伝達関数を有するフィルタによってフィルタリングされる、p段階の入力信号(sp-1(n))よりなる、p+1段階の入力信号(sp(n))を含み、
- 前記合成オーディオ周波数信号(s^(n))は、β1およびβ2を0≦β1≦β2≦1の関係を有する係数とするとき、A(z/β1)/A(z/β2)の形で表される項を含む伝達関数(HPF(z))を有するポストフィルタに印加されることを特徴とする、前記請求項20記載のデコーディング方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9514925A FR2742568B1 (fr) | 1995-12-15 | 1995-12-15 | Procede d'analyse par prediction lineaire d'un signal audiofrequence, et procedes de codage et de decodage d'un signal audiofrequence en comportant application |
FR9514925 | 1995-12-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09212199A JPH09212199A (ja) | 1997-08-15 |
JP3678519B2 true JP3678519B2 (ja) | 2005-08-03 |
Family
ID=9485565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33614096A Expired - Lifetime JP3678519B2 (ja) | 1995-12-15 | 1996-12-16 | オーディオ周波数信号の線形予測解析方法およびその応用を含むオーディオ周波数信号のコーディングならびにデコーディングの方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US5787390A (ja) |
EP (1) | EP0782128B1 (ja) |
JP (1) | JP3678519B2 (ja) |
KR (1) | KR100421226B1 (ja) |
CN (1) | CN1159691A (ja) |
DE (1) | DE69608947T2 (ja) |
FR (1) | FR2742568B1 (ja) |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5621852A (en) | 1993-12-14 | 1997-04-15 | Interdigital Technology Corporation | Efficient codebook structure for code excited linear prediction coding |
FR2729247A1 (fr) * | 1995-01-06 | 1996-07-12 | Matra Communication | Procede de codage de parole a analyse par synthese |
FR2729246A1 (fr) * | 1995-01-06 | 1996-07-12 | Matra Communication | Procede de codage de parole a analyse par synthese |
JPH10124088A (ja) * | 1996-10-24 | 1998-05-15 | Sony Corp | 音声帯域幅拡張装置及び方法 |
JP3064947B2 (ja) | 1997-03-26 | 2000-07-12 | 日本電気株式会社 | 音声・楽音符号化及び復号化装置 |
FI973873A (fi) * | 1997-10-02 | 1999-04-03 | Nokia Mobile Phones Ltd | Puhekoodaus |
FR2774827B1 (fr) | 1998-02-06 | 2000-04-14 | France Telecom | Procede de decodage d'un flux binaire representatif d'un signal audio |
US6223157B1 (en) * | 1998-05-07 | 2001-04-24 | Dsc Telecom, L.P. | Method for direct recognition of encoded speech data |
US6148283A (en) * | 1998-09-23 | 2000-11-14 | Qualcomm Inc. | Method and apparatus using multi-path multi-stage vector quantizer |
US6778953B1 (en) * | 2000-06-02 | 2004-08-17 | Agere Systems Inc. | Method and apparatus for representing masked thresholds in a perceptual audio coder |
CN1216368C (zh) * | 2000-11-09 | 2005-08-24 | 皇家菲利浦电子有限公司 | 用于扩展语音信号的频率范围的方法和系统 |
CN1270291C (zh) * | 2000-12-06 | 2006-08-16 | 皇家菲利浦电子有限公司 | 滤波设备和方法 |
WO2002067246A1 (en) * | 2001-02-16 | 2002-08-29 | Centre For Signal Processing, Nanyang Technological University | Method for determining optimum linear prediction coefficients |
US6590972B1 (en) * | 2001-03-15 | 2003-07-08 | 3Com Corporation | DTMF detection based on LPC coefficients |
US7062429B2 (en) * | 2001-09-07 | 2006-06-13 | Agere Systems Inc. | Distortion-based method and apparatus for buffer control in a communication system |
US6934677B2 (en) | 2001-12-14 | 2005-08-23 | Microsoft Corporation | Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands |
US7240001B2 (en) * | 2001-12-14 | 2007-07-03 | Microsoft Corporation | Quality improvement techniques in an audio encoder |
US20030216921A1 (en) * | 2002-05-16 | 2003-11-20 | Jianghua Bao | Method and system for limited domain text to speech (TTS) processing |
EP1383109A1 (fr) * | 2002-07-17 | 2004-01-21 | STMicroelectronics N.V. | Procédé et dispositif d'encodage de la parole à bande élargie |
US7502743B2 (en) * | 2002-09-04 | 2009-03-10 | Microsoft Corporation | Multi-channel audio encoding and decoding with multi-channel transform selection |
JP4676140B2 (ja) | 2002-09-04 | 2011-04-27 | マイクロソフト コーポレーション | オーディオの量子化および逆量子化 |
US7299190B2 (en) * | 2002-09-04 | 2007-11-20 | Microsoft Corporation | Quantization and inverse quantization for audio |
US7254533B1 (en) * | 2002-10-17 | 2007-08-07 | Dilithium Networks Pty Ltd. | Method and apparatus for a thin CELP voice codec |
US20040260540A1 (en) * | 2003-06-20 | 2004-12-23 | Tong Zhang | System and method for spectrogram analysis of an audio signal |
US7539612B2 (en) * | 2005-07-15 | 2009-05-26 | Microsoft Corporation | Coding and decoding scale factor information |
US8027242B2 (en) | 2005-10-21 | 2011-09-27 | Qualcomm Incorporated | Signal coding and decoding based on spectral dynamics |
US8417185B2 (en) * | 2005-12-16 | 2013-04-09 | Vocollect, Inc. | Wireless headset and method for robust voice data communication |
US7885419B2 (en) * | 2006-02-06 | 2011-02-08 | Vocollect, Inc. | Headset terminal with speech functionality |
US7773767B2 (en) | 2006-02-06 | 2010-08-10 | Vocollect, Inc. | Headset terminal with rear stability strap |
US8392176B2 (en) | 2006-04-10 | 2013-03-05 | Qualcomm Incorporated | Processing of excitation in audio coding and decoding |
CN101114415B (zh) * | 2006-07-25 | 2011-01-12 | 元太科技工业股份有限公司 | 双稳态显示器的驱动装置及其方法 |
JP5061111B2 (ja) * | 2006-09-15 | 2012-10-31 | パナソニック株式会社 | 音声符号化装置および音声符号化方法 |
CN101536311B (zh) | 2007-01-25 | 2012-09-26 | 夏普株式会社 | 脉冲输出电路、使用该脉冲输出电路的显示装置的驱动电路、显示装置及脉冲输出方法 |
US8428957B2 (en) | 2007-08-24 | 2013-04-23 | Qualcomm Incorporated | Spectral noise shaping in audio coding based on spectral dynamics in frequency sub-bands |
TWI346465B (en) * | 2007-09-04 | 2011-08-01 | Univ Nat Central | Configurable common filterbank processor applicable for various audio video standards and processing method thereof |
USD605629S1 (en) | 2008-09-29 | 2009-12-08 | Vocollect, Inc. | Headset |
FR2938688A1 (fr) | 2008-11-18 | 2010-05-21 | France Telecom | Codage avec mise en forme du bruit dans un codeur hierarchique |
KR101397512B1 (ko) | 2009-03-11 | 2014-05-22 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 선형 예측 코딩 분석을 위한 방법, 장치 및 시스템 |
US8160287B2 (en) | 2009-05-22 | 2012-04-17 | Vocollect, Inc. | Headset with adjustable headband |
US8438659B2 (en) | 2009-11-05 | 2013-05-07 | Vocollect, Inc. | Portable computing device and headset interface |
WO2011118977A2 (ko) * | 2010-03-23 | 2011-09-29 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 장치 |
KR101257776B1 (ko) * | 2011-10-06 | 2013-04-24 | 단국대학교 산학협력단 | 상태-체크 코드를 이용한 부호화 방법 및 부호화 장치 |
CN102638846B (zh) * | 2012-03-28 | 2015-08-19 | 浙江大学 | 一种基于最优量化策略的wsn通信负载降低方法 |
ES2799899T3 (es) * | 2014-01-24 | 2020-12-22 | Nippon Telegraph & Telephone | Aparato, método, programa y soporte de registro de análisis predictivo lineal |
ES2863554T3 (es) * | 2014-01-24 | 2021-10-11 | Nippon Telegraph & Telephone | Aparato de análisis predictivo lineal, método, programa y soporte de registro |
US9626983B2 (en) * | 2014-06-26 | 2017-04-18 | Qualcomm Incorporated | Temporal gain adjustment based on high-band signal characteristic |
US10542289B2 (en) * | 2015-07-16 | 2020-01-21 | Dolby Laboratories Licensing Corporation | Signal reshaping and coding for HDR and wide color gamut signals |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3975587A (en) * | 1974-09-13 | 1976-08-17 | International Telephone And Telegraph Corporation | Digital vocoder |
US4398262A (en) * | 1981-12-22 | 1983-08-09 | Motorola, Inc. | Time multiplexed n-ordered digital filter |
CA1245363A (en) * | 1985-03-20 | 1988-11-22 | Tetsu Taguchi | Pattern matching vocoder |
US4868867A (en) * | 1987-04-06 | 1989-09-19 | Voicecraft Inc. | Vector excitation speech or audio coder for transmission or storage |
JP2625998B2 (ja) * | 1988-12-09 | 1997-07-02 | 沖電気工業株式会社 | 特徴抽出方式 |
GB2235354A (en) * | 1989-08-16 | 1991-02-27 | Philips Electronic Associated | Speech coding/encoding using celp |
US5307441A (en) * | 1989-11-29 | 1994-04-26 | Comsat Corporation | Wear-toll quality 4.8 kbps speech codec |
FI98104C (fi) * | 1991-05-20 | 1997-04-10 | Nokia Mobile Phones Ltd | Menetelmä herätevektorin generoimiseksi ja digitaalinen puhekooderi |
IT1257065B (it) * | 1992-07-31 | 1996-01-05 | Sip | Codificatore a basso ritardo per segnali audio, utilizzante tecniche di analisi per sintesi. |
US5706395A (en) * | 1995-04-19 | 1998-01-06 | Texas Instruments Incorporated | Adaptive weiner filtering using a dynamic suppression factor |
US5692101A (en) * | 1995-11-20 | 1997-11-25 | Motorola, Inc. | Speech coding method and apparatus using mean squared error modifier for selected speech coder parameters using VSELP techniques |
-
1995
- 1995-12-15 FR FR9514925A patent/FR2742568B1/fr not_active Expired - Lifetime
-
1996
- 1996-12-11 US US08/763,457 patent/US5787390A/en not_active Expired - Lifetime
- 1996-12-12 EP EP96402715A patent/EP0782128B1/fr not_active Expired - Lifetime
- 1996-12-12 DE DE69608947T patent/DE69608947T2/de not_active Expired - Lifetime
- 1996-12-13 CN CN96121556A patent/CN1159691A/zh active Pending
- 1996-12-14 KR KR1019960065696A patent/KR100421226B1/ko active IP Right Grant
- 1996-12-16 JP JP33614096A patent/JP3678519B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
DE69608947D1 (de) | 2000-07-27 |
US5787390A (en) | 1998-07-28 |
EP0782128B1 (fr) | 2000-06-21 |
FR2742568B1 (fr) | 1998-02-13 |
CN1159691A (zh) | 1997-09-17 |
FR2742568A1 (fr) | 1997-06-20 |
KR970050107A (ko) | 1997-07-29 |
JPH09212199A (ja) | 1997-08-15 |
EP0782128A1 (fr) | 1997-07-02 |
DE69608947T2 (de) | 2001-02-01 |
KR100421226B1 (ko) | 2004-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3678519B2 (ja) | オーディオ周波数信号の線形予測解析方法およびその応用を含むオーディオ周波数信号のコーディングならびにデコーディングの方法 | |
JP3481390B2 (ja) | 短期知覚重み付けフィルタを使用する合成分析音声コーダに雑音マスキングレベルを適応する方法 | |
JP3566652B2 (ja) | 広帯域信号の効率的な符号化のための聴覚重み付け装置および方法 | |
EP0732686B1 (en) | Low-delay code-excited linear-predictive coding of wideband speech at 32kbits/sec | |
JP3653826B2 (ja) | 音声復号化方法及び装置 | |
JP4662673B2 (ja) | 広帯域音声及びオーディオ信号復号器における利得平滑化 | |
EP1141946B1 (en) | Coded enhancement feature for improved performance in coding communication signals | |
US5884251A (en) | Voice coding and decoding method and device therefor | |
JP3357795B2 (ja) | 音声符号化方法および装置 | |
CN111370009A (zh) | 使用语音相关的频谱整形信息编码音频信号和解码音频信号的概念 | |
JP3612260B2 (ja) | 音声符号化方法及び装置並びに及び音声復号方法及び装置 | |
JP3163206B2 (ja) | 音響信号符号化装置 | |
JP3319556B2 (ja) | ホルマント強調方法 | |
JPH06202698A (ja) | 適応ポストフィルタ | |
KR100421816B1 (ko) | 음성복호화방법 및 휴대용 단말장치 | |
JPH0455899A (ja) | 音声信号符号化方式 | |
JPH11184499A (ja) | 音声符号化方法および音声符号化方法 | |
JPH09179588A (ja) | 音声符号化方法 | |
JPH0537393A (ja) | 音声符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050510 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090520 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090520 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100520 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110520 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120520 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130520 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130520 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |