JPH11502318A - 分析/合成線形予測音声コーダ - Google Patents

分析/合成線形予測音声コーダ

Info

Publication number
JPH11502318A
JPH11502318A JP8528325A JP52832596A JPH11502318A JP H11502318 A JPH11502318 A JP H11502318A JP 8528325 A JP8528325 A JP 8528325A JP 52832596 A JP52832596 A JP 52832596A JP H11502318 A JPH11502318 A JP H11502318A
Authority
JP
Japan
Prior art keywords
excitation
pulse
bits
speech coder
code book
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8528325A
Other languages
English (en)
Other versions
JP3841224B2 (ja
Inventor
ブヨルン ミンデ,トル
ムステル,ペテル
Original Assignee
テレフオンアクチーボラゲツト エル エム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲツト エル エム エリクソン(パブル) filed Critical テレフオンアクチーボラゲツト エル エム エリクソン(パブル)
Publication of JPH11502318A publication Critical patent/JPH11502318A/ja
Application granted granted Critical
Publication of JP3841224B2 publication Critical patent/JP3841224B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Abstract

(57)【要約】 分析/合成線形予測音声コーダについて記載する。この音声コーダは、マルチ・パルス励起(MPE;34)および変換二進パルス励起(TBPE;36)を含む混成励起から成る合成部を含む。

Description

【発明の詳細な説明】 分析/合成線形予測音声コーダ 技術分野 本発明は、分析/合成線形予測音声コーダに関する。かかる音声コーダは、例 えば、セルラ無線通信システムにおいて用いられる。 発明の背景 分析/合成音声コーダ[1]は、合成部における3つの主要構成要素、即ち、 線形予測コーディング(LPC)合成フィルタ、適応コード・ブック、およびあ る種の固定励起から成る。音声の合成は、LPC合成フィルタによって励起ベク トルをフィルタ処理し、合成音声信号を生成することによって行われる。励起ベ クトルは、適応コード・ブックおよび固定励起から来たベクトルを調整したもの を互いに加算することによって形成される。分析/合成コーダの分析部は、主に 、LPC分析および励起分析から成る。励起分析とは、励起のためのインデック スまたはその他のパラメータ、例えば、コード・ブックのためのインデックス、 励起のための利得パラメータ、または励起パルスのための振幅および位置の検索 である。 分析/合成音声コーダに用いられる励起構造は、再生音声の品質、検索の複雑 度、およびビット・エラーに対するロバスト性(robustness)に関して重要であ る。高品質を達成するためには、励起は多様でなければならない。即ち、パルス 状成分およびノイズ状成分の双方を含んでなければならない。低い複雑度を達成 するためには、励起コードの検索は、構造化されたコード・ブックでは複雑度が 低い傾向があるという事実により、励起はいくらか構造化される必要がある。移 動無線環境において高いロバスト性を達成するためには、励起コードの非保護ビ ットに対するビット・エラー感度を低くしなければならない。 励起の多様性を達成するために、いわゆる混成励起手順(mixed excitation p rocedures)が提案されている[2〜8]。混成は、通常、パルス・シーケンス およびノイズ・シーケンスから成る。パルス状励起は、音声の開始部(onset)、 破裂音(plosive)および音声(voiced)部分において必要とされる。ノイズ状シ ーケンスは、無音声音響(unvoiced sound)に必要とされる。 複雑度が低い構造化励起を達成するために、いくつかの方法が提案されている 。マルチ・パルス励起(MPE:multi-pulse excitation)が[9]に記載されて おり、位置および振幅によって記述されるパルスから成る。規則的パルス励起( RPE:regular pulse excitation)が[10]に記載されており、格子(第1パ ルスの位置)およびパルス振幅によって記述された、規則的な間隔(等距離)の パルス・シーケンスから成る。変換二進パルス励起(TBPE:transformed bin ary pulse excitation)が[11〜12]に記載されており、整形マトリクスに よって変換され、一定間隔パルスのガウス状シーケンスを得る、二進パルス・シ ーケンスから成る。ベクトル和励起(VSE:vector sum excitation)が[13 ]に記載されており、多数の基本ベクトルから成り、これを組み合わせて1つの 出力ベクトルとする。基本ベクトルは、+1または−1と乗算し、合計を求めて 、励起ベクトルを形成する。低解像度検索方法は、これらの構造化励起全てのた めに存在する。 最上位ビットのロバスト性保護を達成するために[14]、インデックスの割 り当て[15]および位相位置コーディング「16]が提案されている。 発明の概要 本発明の目的は、高品質(励起の多様性)、低い音声複雑度および高いロバス ト性を移動通信環境において提供する、分析/合成線形予測音声コーダである。 この課題は、請求項1による音声コーダによって解決される。 図面の簡単な説明 本発明は、その更に別の目的および利点と共に、添付図面に関連付けて以下の 説明を参照することによって最良に理解することができよう。 図1は、典型的な分析/合成線形予測音声コーダのブロック図である。 図2は、マルチ・パルス励起(MPE)の原理を示す。 図3は、マルチ・パルス励起のためのビット割り当て方式を示す。 図4は、図3に定義したマルチ・パルス励起のビット・エラー感度を示す図で ある。 図5a〜eは、位相位置コーディング・マルチ・パルス励起の原理を示す。 図6aは、変換二進パルス励起(TBPE)の原理を示す。 図6bは、位相が2つのみという特殊な場合のためのTBPEを示す。 図7は、変換二進パルス励起のためのビット割り当て方式を示す。 図8は、変換二進パルス励起のビット・エラー感度を示す図である。 図9は、本発明の好適実施例による、マルチ・パルスおよび変換二進パルス励 起を組み合わせた場合のビット割り当て方式を示す。 図10は、本発明の好適実施例による、マルチ・パルスおよび変換二進パルス 励起の組み合わせのビット・エラー感度を示す図である。 図11は、ビット・エラー感度によってソートした、図4、図8および図10 に示したビット・エラー感度の比較を示す。 図12は、本発明による音声コーダの好適実施例のブロック図である。 好適実施例の詳細な説明 以下の記載では、ヨーロッパのGSMシステムについて引用する。しかしなが ら、本発明の原理は、その他のセルラ・システムにも同様に適用可能であること は認められよう。 図1は、典型的な分析/合成線形予測音声コーダのブロック図を示す。コーダ は、垂直中央破線の左側にある合成部、および該線の右側にある分析部から成る 。合成部は、本質的に2つの部分、即ち、励起コード発生部10と、LPC合成 フィルタ12とを含む。励起コード発生部10は、適応コード・ブック14、固 定コード・ブック16および加算器18から成る。適応コード・ブック14から 選択されたベクトルaI(n)は、利得係数gIと乗算され、信号p(n)を形成 する。同様に、固定コード・ブック16からの励起ベクトルは、利得係数gJと 乗算され、信号f(n)を形成する。信号p(n)およびf(n)は、加算器1 8において加算され、励起ベクトルex(n)を形成する。これがLPC合成フ 信号ベクトルs(n)から減算され、誤差信号e(n)を形成する。この誤差信 号は、重み付けフィルタ22に送出され、重み付き誤差ベクトルew(n)を形 成する。この重み付き誤差ベクトルの成分は、ユニット24において二乗されか つ加算されて、重み付き誤差ベクトルのエネルギの測定値を形成する。 最小化ユニット(minimization unit)26は、最も小さいエネルギ値を与える 、即ち、フィルタ12におけるフィルタ処理の後、音声信号ベクトルs(n)を 最良に近似する、適応コード・ブック14からの利得gIおよびベクトル、なら びに固定コード・ブック16からの利得gJおよびベクトルの組み合わせを選択 することにより、この重み付き誤差ベクトルを最小化する。この最適化は、2段 階に分割されている。最初の段階では、f(n)=0、および適応コード・ブッ ク14からの最良のベクトル、および対応するgIが決定されていると仮定する 。これらのパラメータを決定するアルゴリズムを、添付の補足資料に示す。これ らのパラメータが決定されると、同様のアルゴリズムにしたがってベクトルおよ び対応する利得gIが固定コード・ブック16から選択される。この場合、適応 コード・ブック14の決定されたパラメータは、それらの決定値にロックされる 。 フィルタ12のフィルタ・パラメータは、LPC分析器28において音声信号 フレームを分析することによって、各音声信号フレーム(160サンプル)毎に 更新される。この更新は、分析器28およびフィルタ12の間の破線の接続によ って印されている。更に、加算器18の出力および適応コード・ブック14間に は、遅延素子30がある。このように、適応コード・ブック14は、最終的に選 択された励起ベクトルex(n)によって更新される。これは、サブフレームを 基準に行われ、各フレームを4つのサブフレーム(40サンプル)に分割する。 先に注記したように、固定コード・ブックに使用する励起構造は、再生音声の 品質、音声の複雑度およびビット・エラーに対するロバスト性に対して重要であ る。高い質を達成するためには、励起は多様でなければならない。即ち、パルス 状成分およびノイズ状成分の双方を含まなければならない。低い複雑度を達成す るためには、励起をいくらか構造化しなければならない。励起コードの検索は、 構造化されたコード・ブックにおいて比較的複雑度が低い傾向がある。移動通信 環境において高いロバスト性を達成するためには、励起コードの非保護ビットに 対するビット・エラー感度を低くしなければならない。これは、励起コードの保 護(チャネル・コーディングされた)ビットについては、さほど重要ではない。 したがって、励起コードにおけるビット・エラー感度は、保護ビットおよび非保 護ビット間では異なるものとしなければならない。通常、非保護ビットのクラス は、高BERチャネルにおける処理能力を制限することになる。 上述のように、高いロバスト性は、チャネル・コーディング保護によって達成 可能であるが、ビットの冗長なチャネル・コーディングのために、帯域の制約が 通常これを60ないし80%のオーバーヘッドに制限する。一般的に、高い処理 能力のためには約1/2以上のコーディング・レートが必要とされるので、全て のビットを保護できない場合がある。ビットの中には、チャネル保護なしで送出 されるように、ビット・エラーに対してロバスト性を非常に高くしなければなら ないものがある。したがって、音声コーディングのビットは、不等性の高いエラ ー感度を有する必要がある。非常に高い処理能力を得るためには、通常非保護ビ ットは処理能力を制限するという事実に、特別な注意を払わなければならない。 図2に示すマルチ・パルス励起は、高いビット・レートにおいて高い品質を提 供することが知られている。例えば、各40サンプル(即ち、5ミリ秒)当たり 6ないし8パルスが、よい品質を与えることがわかっている。図2は、1サブフ レームに分散された6つのパルスを示す。励起ベクトルは、これらのパルスの位 置(例では、位置7,9,14,25,29,37)、およびパルスの振幅(例 ではAMP1〜AMP6)によって記述することができる。これらのパラメータ を発見する方法は、[9]に記載されている。通常、振幅は励起ベクトルの形状 のみを表わす。したがって、この基本ベクトル形状の増幅を表わすには、ブロッ ク利得が用いられる。図3は、6つのパルスから成る典型的なマルチ・パルス励 起のビット分散フォーマットの一例を示す。この例では、5ビットをスカラ量子 化ブロック利得(パルスのスケーリング)に用い、1ビットを各パルス・コード に用い、2ビットを各パルス振幅のスカラ量子化に、そして組み合わせ位置コー ディング方式([1]のp.360および補足資料を参照)を用いたパルス位置 のコーディングに(40位置の内6位置)=22ビットを用いる。これにより合 計で、5+6+12+22=45ビット/5ms=9kb/sとなる。 マルチ・パルス励起のビット・エラー感度は、ビットの内あるものについては 比較的高いことが知られている。これを図4に示す。この図は、励起の各ビット 位置における100%BERに対する再生音声の信号対ノイズ比を示す。このよ うに、図3のフォーマットにおける各ビット位置は個別に誤った値に設定され、 一方他のビット位置は全て正しい。再生信号は元の信号と比較され、信号対ノイ ズ比が計算される。したがって、図4における各線の長さは、当該ビット位置に おける、再生音声のエラーに対する感度を表わす。図において、高いSNRは低 いビット・エラー感度を示す。 図4から、ブロック利得の最上位ビット(ビット3〜5)はビット・エラーに 非常に敏感であり、一方ブロック利得の最下位ビット(ビット1〜2)はそれよ り感度が低いことがわかる。更に、パルスのコード(ビット28,31,34, 37,40および43)も、ビット・エラーに対して非常に敏感である。振幅ビ ット(ビット29,30,32,33,35,36,38,39,41,42, 44および45)は、ビット・エラーに対する感度はそれよりも低い。使用する 位置コーディング方式によって、パルス位置ビット(ビット6〜27)はビット ・エラーに対する感度が高くなったり低くなったりする。図3および図4におけ るような組み合わせ方式では、全てのパルス位置は一括してコーディングされ1 つのコード・ワードとなる。このコード・ワードにおけるビット・エラーは、全 てのパルス位置にわたって移動し、ビット(ビット11〜27)の多くをビット ・エラーに対して敏感にする。 パルス位置コーディングのビット・エラー感度を低下させる方法の1つに、パ ルス位置を制限することがあげられる。この種のコーディング方式の1つは、位 相位置コーディング[16]である。このパルス位置コーディング方式は、組み 合わせ方式よりも高いコーディング効率を有するが、音声の質がいくらか低下す るというトレード・オフがある。位相位置コーディングの原理を、図5a〜eに 示す。位相位置コーディングでは、位置の全数をある数のサブブロック、図では 4つのサブブロックに分割する。各サブブロックはある数の位相、図では10箇 所の位相を含む。許されるパルス位置に対して制約を設ける。各位相には許され るパルスは1つのみである。これは、パルスの位相位置とサブブロック位置とを 記述することによって位置のコーディングが可能であることを意味する。位相位 置をコーディングするには、組み合わせ方式を用いる。サブブロック位置の最上 位側ビットは、高いビット・エラー感度を有する。一方、位相位置コード・ワー ドの最下位側ビットは、それより低いビット・エラー感度を有する。 図5a〜eでは、パルスは、図2におけるパルスと同じ信号によって発生され ると仮定する。第1段階では、最も強いパルスの位置を判定する。これは、図2 の位置7のパルスに対応する。このパルスは、図5aに示されている。パルス位 置7は位相7に対応するので、他のサブブロック全ての位相7は、残りのパルス に対して禁止されたパルス位置として削除されている。図5bでは、二番目に強 いパルスを、位置14に判定する。これは、サブブロック2および位相4に対応 し、位相4は残りのパルスに対して禁止されることを示す。図5cおよび図5d において、位置25および29のパルスも同様に判定される。次に判定されるパ ルスは、図2の位置9のパルスに対応するパルスである。しかしながら、位相9 は既に禁止されている。したがって、未だ許されている位相位置の1つに、パル スの位置決めを行わなければならない。選択される位置は、目標とする例示の最 良の近似を与えるものである。この例では、パルスはサブブロック1の位相8に 位置付けられる。パルスは図2における対応するパルス(AMP2)に関してず れているので、振幅も変化している可能性があることを注記しておく。最後に、 図2の位置37におけるパルスに対応する残りのパルスを判定する。この位相( 7)も禁止されている。代わりに、サブブロック4の位相位置6に、パルスを発 生する。このパルスは、図5eにおいて破線で示されている。 マルチ・パルス励起に伴う1つの重大な問題は、受信端におけるデコーダでは 、どのパルスが最も重要であるのかがわからないことである。最も重要なパルス は、ビット・エラーに最も敏感なパルスでもある。最も重要なパルスは、通常、 コーダ内における連続検索において最初に発見され、通常最大の振幅を有する。 しかしながら、位置コーディングにより、最も敏感な情報はビット中に拡散され ている。これは、不等ビット・エラー感度を与えることが望ましいのであるが、 その代わりに、全てのビットの感度レベルを高めることになる。これに対する解 決策の1つは、パルスを2群に分割することであろう。第1群は、最初に発見さ れたパルスで構成する。こうすることにより、第1群のビット・エラーに対する 感度を高める。更に、励起コーディングを2部分に分割し、位相位置コーディン グを 用いることにより、ビットのビット・エラー感度を不等性を高める。この分割方 法の欠点は、第2群のコーディング効率が低いことである。したがって、励起の 第2群のコーディング効率を高める必要がある。また、これらのビットは、保護 せずに送出される候補であるので、低いエラー感度も必要である。 確率的コード・ブック励起は、マルチ・パルス励起よりも低いビット・レート で高い質を与えることが知られている。しかしながら、確率的コード・ブックを 検索する複雑度が高く、不可能ではないにしても、実施を困難にしている。複雑 度を低下させる技法、例えば、推移散在コード・ブック(shifted sparse code b ooks)が存在する。しかしながら、これらの技法を用いても、ビット・レートが 高くなると、複雑度は未だに高すぎる。他の欠点はビット・エラー感度である。 単一のビット・エラーがあるだけでも、デコーダはコード・ブックとは完全に異 なる確率的シーケンスの使用を余儀なくされる。 変換二進パルス励起(TBPE)は、同等のビット・レートにおいて確率的励 起効率に近いものを与えることが知られている。かかるコード・ブックの構造は 、検索の効率性を非常に高める。ROMへの格納要件も低い。励起を一層ガウス 状にするために、変換マトリクスを用いる。規則的間隔のパルスによる固有の構 造は、励起を希薄にする。この方法の重大な欠点は、コード・ブックのサイズを 大きくしつつ低い複雑度の検索方法を使用し続けると、質が低下することである 。規則的間隔は、ビット・レートを高めた場合、処理能力の向上を妨げる。TB PEは、[11〜12]に詳細に記載されており、以下でも図6a〜bを参照し て説明する。 図6aは、変換二進パルス励起の背後にある原理を示す。二進パルス・コード ・ブックは、例えば、10成分を含むベクトルから成る。各ベクトル成分は、図 6aに示すように、上(+1)または下(−1)のいずれかを指し示す。二進パ ルス・コード・ブックは、かかるベクトルの可能な組み合わせ全てを含む。この コード・ブックのベクトルは、10次元「立体」の「角」を指し示す全ベクトル の集合と考えることができる。したがって、ベクトルの先端は、10次元球体( 10−dimensional sphere)の表面上に均一に分散されている。 更に、TBPEは、1つまたはいくつかの変換マトリクス(図6aにおける MATRIX1 およびMATRIX2)を含む。これらは、予め計算されROMに格納されてい るマトリクスである。これらのマトリクスは、二進パルス・コード・ブック内に 格納されているベクトルに対する演算を行い、変換ベクトル集合を生成する。最 後に、変換ベクトルは、励起パルス格子集合上で分散される。その結果、各マト リクスに対して、4つの異なるバージョンの規則的間隔の「確率的」コード・ブ ックが得られる。これらのコード・ブックの1つからのベクトル(格子2に基づ く)を、図6aにおける最終結果として示す。検索手順の目的は、最も小さい重 み付き誤差を与える、二進コード・ブックの二進パルス・コード・ブック・イン デックス、変換マトリクス、および励起パルス格子を発見することである。 マトリクス変換段階を更に図6bに示す。この場合、二進パルス・コード・ブ ックは、2箇所の位置のみで構成されていると仮定する(これは、非現実的な仮 定であるが、変換段階の背後にある原理を例示するには役立つ)。二進パルス・ コード・ブックの可能な二進ベクトル全てが、図6bの左側部分に示されている 。これらのベクトルは、正方形である二次元「立体」の角を指し示すベクトルと 等価なものと考えることができ、図6bの左側部分では破線で示されている。こ れらのベクトルを、次にマトリクスによって変換する。このマトリクスは、例え ば、「立体」全体を回転させる、直交マトリクスでよい。変換二進ベクトルは、 X軸およびY軸上での個々の変換ベクトルの投影をそれぞれ含む。結果的に得ら れる変換二進コードを、図6bの右側部分に示す。変換の後、変換ベクトルは、 図6aを参照して説明したように、格子集合上に分散される。 図7は、典型的なTBPE励起のビット割り当てフォーマットを示す。この例 では、二段階TBPEコード・ブックが用いられ、この場合、TBPEコード・ ブック1は40サンプルのコード・ブックであり、第2段階において2つの20 サンプルのTBPEコード・ブック2A,2Bに分割される。コード・ブック1 は、二進パルス・コード・ブック・インデックスに10ビット、コード・ブック 1の格子に2ビット、コード・ブック1のマトリクスの1ビット、およびコード ・ブック1の利得に4ビットを用いる。コード・ブック2A,2Bは、二進パル ス・コード・ブック・インデックスに2x6ビット、コード・ブック格子に2x 2ビット、コード・ブック・マトリクスに2x2ビット、およびコード・ブック 利得に2x4ビットを用いる。これを合計すると、45ビット/ms=9kb/sと なる。 図7において定義した変換二進パルス励起に対するビット・エラー感度を図8 に示す。TBPEの固有の構造は、二進パルス・コード・ブックに、グレイ・コ ード化したインデックスを与える。これが意味するのは、ハミング距離に近いコ ード・ワードは、励起ベクトル距離にも近いということである。単一のビット・ エラーは、規則的なパルスの1つのコードを変化させるに過ぎない。したがって 、インデックスにおけるビット位置は、図8にでは、ほぼ等しい感度を有する( 二進パルス・コード・ブック1に対してビット1〜10、二進パルス・コード・ ブック2Aに対してビット18〜23、およびビット・パルス・コード・ブック 2Bに対してビット32〜37)。インデックス、格子およびマトリクス(ビッ ト1〜10,11〜12,13)を含む第1コード・ブックは、一層高い感度を 有する。マトリクス・ビット(ビット13)は、本例では、非常に高い感度を示 す。更に、第1コード・ブックのコード・ブック利得(ビット14〜17)は、 第2コード・ブック利得(ビット29〜31,42〜45)よりも高い感度を示 す。1つの問題は、感度がビット中に拡散されることである。通常、感度は、マ ルチ・パルス励起ビットに対するよりも低いが、僅かな不等エラー感度があるに 過ぎない。しかしながら、この構造は、固有のインデックス割り当てと低い複雑 度とを組み合わせる。これは、TBPEを、先に論じたマルチ・パルス励起の第 2部分と交換するための、強力な候補とする。 本発明において提案した構造は、いくつかのマルチ・パルスおよびTBPEコ ード・ブックを用いた混成励起である。パルスの位置は、上述の位相位置コーデ ィングのような、制限された位置コーディング方式を用いてコーディングするこ とが好ましい。パルスおよび変換二進パルス(ノイズ)シーケンスを用いた混成 励起により、質の改善が得られる。MPEおよびTBPEの検索は、複雑度が低 い方式である。マルチ・パルス・ビットおよびTBPEの混成は、不等性が高い エラー感度を示し、いくつかのビットが保護されていない、不等エラー保護方式 に最適である。 図9は、本発明の好適実施例におけるビット割り当てのフォーマットの一例を 示す。本例では、3つのマルチ・パルス、および4つの格子および2つのマトリ クスを備えた、13ビット・インデックス(13二進パルス)TBPEコード・ ブックが1つある。位相位置コーディングは、10個のサブブロックおよび4つ の位相を用いて行われる。これは、サブブロック位置に3x2log(10)= 10ビットおよび位相コード・ワードに(4位置の内3位置)=2ビット、パル ス・コードに3x1ビット、パルス振幅に3x2ビット、ブロック利得に4ビッ ト、二進パルス・コード・ブック・インデックスに13ビット、格子に2ビット 、マトリクスに1ビット、およびコード・ブック利得に4ビット与える。これを 全て合計すると、10+2+3+6+4+13+2+1+4=45ビット/ms= 9kb/sとなる。 図10は、本発明の好適実施例による混成励起のビット感度を示す。図10か ら、いくつかのマルチ・パルス(ビット1〜21)は、TBPEコード・ブック ・インデックス(ビット26〜41)よりもビット・エラーに対して敏感である ことが明らかである。位相位置コーディングは、パルス位置決め用パルスの内い くつかについて、ビット・エラーに対する感度を低くする(サブブロック位置の ビット1〜3および位相コード・ワードのビット11〜12)。パルスの振幅( ビット14〜15,17〜18,20〜21)は、コード(ビット13,16, 19)よりも感度が低い。TBPEインデックス内のビット(ビット26〜38 )は感度が等しく、この感度はパルス・コードおよび位置に比較すると非常に低 い。マルチ・パルス・ブロック利得のビットのいくつかは、他よりも感度が高い (ビット24〜25)。変換マトリクスに対するビット(ビット41)も敏感で ある。 本出願において論じ図4、図8および図10に示した3つの方式を、図11に おいて、エラー感度に関して比較する。図11では、各方式のビットは、感度が 最も高いものから最も低いものへビット・エラー感度の順序でソートされている 。図11からわかることは、マルチ・パルス励起(MPE)および混成励起(M PE&TBPE)は、最も不等性の高いエラー感度を有することである。TBP E励起は最も均一な感度を有し、この感度は通常MPE励起に対するものよりも 低い。混成励起は、通常、マルチ・パルス励起よりも感度が低く、そのために混 成励起の方がロバスト性が高くなる。また、混成励起はいくつかの非常に敏感な ビ ット(ビット1〜12)およびいくつかの不感ビット(ビット25〜45)も有 し、この励起を不等エラー保護には完全なものとしている。不感ビットの数は、 混成励起ではマルチ・パルス励起よりも多いので、非保護ビット群の処理能力は 、質の低いチャネルでは勝っている。 図12は、本発明による音声コーダの好適実施例を示す。図1の音声コーダお よび図12の音声コーダ間の本質的な相違は、図1の固定コード・ブック16が 、マルチ・パルス励起(MPE)発生器34と変換二進パルス励起(TBPE) 発生器36とから成る混成励起発生器32によって置き換えられていることであ る。対応するブロック利得は、図12では、それぞれgMおよびgTで示されてい る。発生器34,36からの励起は加算器38において加算され、混成励起は加 算器18において適応コード・ブック励起に加算される。 本発明による混成励起コーダの構造に用いられるアルゴリズムの一例を以下に 示す。このアルゴリズムは、音声コーダにおいて関連のある全ての部分を含む。 アルゴリズムは、6つの主要部から成る。MPEおよびTBPE部は、混成励起 を構成し、混成励起構造分析の内容を示すように拡張されている。例えば、各々 160サンプルから成るフレームのように、フレームを基本とする部分がLPC 分析部であり、短期合成フィルタを計算し量子化する。残りの5部分は、サブフ レームを基本とする。例えば、これらは40サンプルのサブフレーム毎に処理を 行う。これらの内第1の部分はサブフレーム前処理、即ち、パラメータ抽出であ り、第2の部分は長期分析、即ち、適応コード・ブック分析であり、第3の部分 はMPE分析であり、第4の部分はTBPE分析であり、第5の部分は状態更新 である。アルゴリズム例 LPC分析 各サブフレーム(1〜4)について行う サブフレーム前処理 LTP分析(適応コード・ブック検索) マルチ・パルス抽出(MPE) 重み付けフィルタのインパルス応答を計算する インパルス応答の自己相関関数を計算する LTP分析後のインパルス応答および重み付き残差間の相互相関関数を 計算する MPE位置および振幅を検索する 振幅およびブロック利得を量子化する MPE革新ベクトルを作る 位置コード・ワードを形成する MPE分析の後新たな重み付き残差を形成する 変換二進パルス励起(TBPE) 重み付けフィルタのインパルス応答を計算する MPE分析後のインパルス応答および重み付き残差間の相互相関関数を 計算する 各マトリクスについて行う 各格子について行う マトリクス相互相関関数を計算する 相互相関関数の符号でパルスを近似する 重み付きTBPE革新を形成し比較する TBPEコード・ワードを形成する TBPE利得を量子化する TBPE革新ベクトルを形成する 状態更新 このアルゴリズムの詳細な説明は、添付のC++プログラム・リストにおいて 見ることができる。 本発明は、添付の請求の範囲によって規定されるその精神および範囲から逸脱 することなく、様々な修正や変更が可能であることは、当業者によって理解され よう。 補足資料 この補足資料は、消去法検索において、最良の適応コード・ブック・インデッ クスiおよび対応する利得giを判定するアルゴリズムの概要を説明する。信号 は、図1にも示されている。
【手続補正書】特許法第184条の8第1項 【提出日】1997年5月14日 【補正内容】 請求の範囲 1.分析/合成線形予測音声コーダであって、合成部が、 マルチ・パルス励起(MPE)を生成する手段(34)と、 変換二進パルス励起(TBPE)を生成する手段(36)と、 前記マルチ・パルス励起および前記変換二進パルス励起を組み合わせることに よって、ロバスト音声コードを生成する手段(38)と、 から成ることを特徴とする分析/合成線形予測音声コーダ。 2.請求項1記載の音声コーダにおいて、前記マルチ・パルス励起(MPE) 生成手段(34)は、制限されたパルス位置においてパルスを発生する手段を備 えていることを特徴とする音声コーダ。 3.請求項2記載の音声コーダにおいて、前記マルチ・パルス励起(MPE) 生成手段(34)は、位相位置コーディング手段を備えていることを特徴とする 音声コーダ。 4.請求項1、2または3記載の音声コーダにおいて、前記合成部は、更に、 適応励起を生成する適応コード・ブック(14)を備えていることを特徴とする 音声コーダ。 5.請求項4記載の音声コーダにおいて、前記マルチ・パルス(MPE)励起 、変換二進パルス(TBPE)励起および適応励起を組み合わせる手段(18、 38;gI,gM,gT)を特徴とする音声コーダ。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,DE, DK,ES,FI,FR,GB,GR,IE,IT,L U,MC,NL,PT,SE),OA(BF,BJ,CF ,CG,CI,CM,GA,GN,ML,MR,NE, SN,TD,TG),AP(KE,LS,MW,SD,S Z,UG),UA(AM,AZ,BY,KG,KZ,MD ,RU,TJ,TM),AL,AM,AT,AU,AZ ,BB,BG,BR,BY,CA,CH,CN,CZ, DE,DK,EE,ES,FI,GB,GE,HU,I S,JP,KE,KG,KP,KR,KZ,LK,LR ,LS,LT,LU,LV,MD,MG,MK,MN, MW,MX,NO,NZ,PL,PT,RO,RU,S D,SE,SG,SI,SK,TJ,TM,TR,TT ,UA,UG,US,UZ,VN

Claims (1)

  1. 【特許請求の範囲】 1.分析/合成線形予測音声コーダであって、合成部が、 マルチ・パルス励起(MPE)を生成する手段(34)と、 変換二進パルス励起(TBPE)を生成する手段(36)と、 前記マルチ・パルス励起と前記変換二進パルス励起とを組み合わせる手段(3 8)と、 から成ることを特徴とする分析/合成線形予測音声コーダ。 2.請求項1記載の音声コーダにおいて、前記マルチ・パルス励起(MPE) 生成手段(34)は、制限されたパルス位置においてパルスを発生する手段を備 えていることを特徴とする音声コーダ。 3.請求項2記載の音声コーダにおいて、前記マルチ・パルス励起(MPE) 生成手段(34)は、位相位置コーディング手段を備えていることを特徴とする 音声コーダ。 4.請求項1、2または3記載の音声コーダにおいて、前記合成部は、更に、 適応励起を生成する適応コード・ブック(14)を備えていることを特徴とする 音声コーダ。 5.請求項4記載の音声コーダにおいて、前記マルチ・パルス(MPE)励起 、変換二進パルス(TBPE)励起および適応励起を組み合わせる手段(18、 38;gI,gM,gT)を特徴とする音声コーダ。
JP52832596A 1995-03-22 1996-03-06 分析/合成線形予測音声コーダ Expired - Lifetime JP3841224B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE9501026-0 1995-03-22
SE9501026A SE506379C3 (sv) 1995-03-22 1995-03-22 Lpc-talkodare med kombinerad excitation
PCT/SE1996/000296 WO1996029696A1 (en) 1995-03-22 1996-03-06 Analysis-by-synthesis linear predictive speech coder

Publications (2)

Publication Number Publication Date
JPH11502318A true JPH11502318A (ja) 1999-02-23
JP3841224B2 JP3841224B2 (ja) 2006-11-01

Family

ID=20397640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP52832596A Expired - Lifetime JP3841224B2 (ja) 1995-03-22 1996-03-06 分析/合成線形予測音声コーダ

Country Status (11)

Country Link
US (1) US5991717A (ja)
EP (1) EP0815554B1 (ja)
JP (1) JP3841224B2 (ja)
KR (1) KR100368897B1 (ja)
AU (1) AU699787B2 (ja)
CA (1) CA2214672C (ja)
DE (1) DE69613360T2 (ja)
ES (1) ES2162038T3 (ja)
RU (1) RU2163399C2 (ja)
SE (1) SE506379C3 (ja)
WO (1) WO1996029696A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013539548A (ja) * 2010-07-30 2013-10-24 クゥアルコム・インコーポレイテッド 複数段階の形状ベクトル量子化のためのシステム、方法、装置、およびコンピュータ可読媒体
RU2547241C1 (ru) * 2011-02-14 2015-04-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Аудиокодек, поддерживающий режимы кодирования во временной области и в частотной области
US9047859B2 (en) 2011-02-14 2015-06-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding and decoding an audio signal using an aligned look-ahead portion
US9153236B2 (en) 2011-02-14 2015-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio codec using noise synthesis during inactive phases
US9208792B2 (en) 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
RU2586597C2 (ru) * 2011-02-14 2016-06-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Кодирование и декодирование позиций импульсов дорожек аудиосигнала
US9384739B2 (en) 2011-02-14 2016-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for error concealment in low-delay unified speech and audio coding
US9536530B2 (en) 2011-02-14 2017-01-03 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Information signal representation using lapped transform
US9583110B2 (en) 2011-02-14 2017-02-28 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for processing a decoded audio signal in a spectral domain
US9595262B2 (en) 2011-02-14 2017-03-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Linear prediction based coding scheme using spectral domain noise shaping
US9620129B2 (en) 2011-02-14 2017-04-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding a portion of an audio signal using a transient detection and a quality result

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI955266A (fi) * 1995-11-02 1997-05-03 Nokia Telecommunications Oy Menetelmä ja laitteisto viestien välittämiseksi tietoliikennejärjestelmässä
JP3199020B2 (ja) 1998-02-27 2001-08-13 日本電気株式会社 音声音楽信号の符号化装置および復号装置
FI113571B (fi) * 1998-03-09 2004-05-14 Nokia Corp Puheenkoodaus
FR2776447B1 (fr) * 1998-03-23 2000-05-12 Comsis Codage source-canal conjoint en blocs
CN1167048C (zh) * 1998-06-09 2004-09-15 松下电器产业株式会社 语音编码设备和语音解码设备
SE521225C2 (sv) * 1998-09-16 2003-10-14 Ericsson Telefon Ab L M Förfarande och anordning för CELP-kodning/avkodning
US6292917B1 (en) * 1998-09-30 2001-09-18 Agere Systems Guardian Corp. Unequal error protection for digital broadcasting using channel classification
JP4008607B2 (ja) 1999-01-22 2007-11-14 株式会社東芝 音声符号化/復号化方法
US7272553B1 (en) * 1999-09-08 2007-09-18 8X8, Inc. Varying pulse amplitude multi-pulse analysis speech processor and method
EP1131928A1 (fr) * 1999-09-21 2001-09-12 Comsis Codage source-canal conjoint en blocs
US6529867B2 (en) * 2000-09-15 2003-03-04 Conexant Systems, Inc. Injecting high frequency noise into pulse excitation for low bit rate CELP
SE519976C2 (sv) * 2000-09-15 2003-05-06 Ericsson Telefon Ab L M Kodning och avkodning av signaler från flera kanaler
SE0004818D0 (sv) * 2000-12-22 2000-12-22 Coding Technologies Sweden Ab Enhancing source coding systems by adaptive transposition
FI119955B (fi) * 2001-06-21 2009-05-15 Nokia Corp Menetelmä, kooderi ja laite puheenkoodaukseen synteesi-analyysi puhekoodereissa
KR20050028193A (ko) * 2003-09-17 2005-03-22 삼성전자주식회사 오디오 신호에 적응적으로 부가 정보를 삽입하기 위한방법, 오디오 신호에 삽입된 부가 정보의 재생 방법, 및그 장치와 이를 구현하기 위한 프로그램이 기록된 기록 매체
US20080275709A1 (en) * 2004-06-22 2008-11-06 Koninklijke Philips Electronics, N.V. Audio Encoding and Decoding
DE102005000830A1 (de) * 2005-01-05 2006-07-13 Siemens Ag Verfahren zur Bandbreitenerweiterung
US20120045001A1 (en) * 2008-08-13 2012-02-23 Shaohua Li Method of Generating a Codebook
RU2495504C1 (ru) * 2012-06-25 2013-10-10 Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) Способ снижения скорости передачи низкоскоростных вокодеров с линейным предсказанием
BR112015025009B1 (pt) * 2013-04-05 2021-12-21 Dolby International Ab Unidades de quantização e quantização inversa, codificador e decodificador, métodos para quantizar e dequantizar
US10043528B2 (en) * 2013-04-05 2018-08-07 Dolby International Ab Audio encoder and decoder
RU2631968C2 (ru) * 2015-07-08 2017-09-29 Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России) Способ низкоскоростного кодирования и декодирования речевого сигнала
TWI723545B (zh) * 2019-09-17 2021-04-01 宏碁股份有限公司 語音處理方法及其裝置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8500843A (nl) * 1985-03-22 1986-10-16 Koninkl Philips Electronics Nv Multipuls-excitatie lineair-predictieve spraakcoder.
CA1323934C (en) * 1986-04-15 1993-11-02 Tetsu Taguchi Speech processing apparatus
CA1337217C (en) * 1987-08-28 1995-10-03 Daniel Kenneth Freeman Speech coding
SE463691B (sv) * 1989-05-11 1991-01-07 Ericsson Telefon Ab L M Foerfarande att utplacera excitationspulser foer en lineaerprediktiv kodare (lpc) som arbetar enligt multipulsprincipen
JPH0612098A (ja) * 1992-03-16 1994-01-21 Sanyo Electric Co Ltd 音声符号化装置
JP3328080B2 (ja) * 1994-11-22 2002-09-24 沖電気工業株式会社 コード励振線形予測復号器

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8831933B2 (en) 2010-07-30 2014-09-09 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for multi-stage shape vector quantization
US8924222B2 (en) 2010-07-30 2014-12-30 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coding of harmonic signals
JP2013539548A (ja) * 2010-07-30 2013-10-24 クゥアルコム・インコーポレイテッド 複数段階の形状ベクトル量子化のためのシステム、方法、装置、およびコンピュータ可読媒体
US9236063B2 (en) 2010-07-30 2016-01-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for dynamic bit allocation
US9208792B2 (en) 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
RU2547241C1 (ru) * 2011-02-14 2015-04-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Аудиокодек, поддерживающий режимы кодирования во временной области и в частотной области
US9153236B2 (en) 2011-02-14 2015-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio codec using noise synthesis during inactive phases
US9047859B2 (en) 2011-02-14 2015-06-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding and decoding an audio signal using an aligned look-ahead portion
RU2586597C2 (ru) * 2011-02-14 2016-06-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Кодирование и декодирование позиций импульсов дорожек аудиосигнала
US9384739B2 (en) 2011-02-14 2016-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for error concealment in low-delay unified speech and audio coding
US9536530B2 (en) 2011-02-14 2017-01-03 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Information signal representation using lapped transform
US9583110B2 (en) 2011-02-14 2017-02-28 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for processing a decoded audio signal in a spectral domain
US9595263B2 (en) 2011-02-14 2017-03-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Encoding and decoding of pulse positions of tracks of an audio signal
US9595262B2 (en) 2011-02-14 2017-03-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Linear prediction based coding scheme using spectral domain noise shaping
US9620129B2 (en) 2011-02-14 2017-04-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding a portion of an audio signal using a transient detection and a quality result

Also Published As

Publication number Publication date
US5991717A (en) 1999-11-23
SE9501026D0 (sv) 1995-03-22
WO1996029696A1 (en) 1996-09-26
KR100368897B1 (ko) 2003-04-11
RU2163399C2 (ru) 2001-02-20
CA2214672A1 (en) 1996-09-26
SE9501026L (sv) 1996-09-23
EP0815554B1 (en) 2001-06-13
DE69613360D1 (de) 2001-07-19
CA2214672C (en) 2005-07-05
SE506379C2 (sv) 1997-12-08
ES2162038T3 (es) 2001-12-16
DE69613360T2 (de) 2001-10-11
JP3841224B2 (ja) 2006-11-01
AU5165496A (en) 1996-10-08
EP0815554A1 (en) 1998-01-07
AU699787B2 (en) 1998-12-17
KR19980703198A (ko) 1998-10-15
SE506379C3 (sv) 1998-01-19

Similar Documents

Publication Publication Date Title
JP3841224B2 (ja) 分析/合成線形予測音声コーダ
JP4064236B2 (ja) 広帯域信号コーディング用の代数コードブック中のパルス位置と符号の索引付け方法
US6141638A (en) Method and apparatus for coding an information signal
KR100264863B1 (ko) 디지털 음성 압축 알고리즘에 입각한 음성 부호화 방법
US6385576B2 (en) Speech encoding/decoding method using reduced subframe pulse positions having density related to pitch
US5924062A (en) ACLEP codec with modified autocorrelation matrix storage and search
GB2238696A (en) Near-toll quality 4.8 kbps speech codec
JP3054438B2 (ja) 線型予測音声符号器における音源パルスの位置決め方法
US5970442A (en) Gain quantization in analysis-by-synthesis linear predicted speech coding using linear intercodebook logarithmic gain prediction
JP3396480B2 (ja) 多重モード音声コーダのためのエラー保護
CA2175264C (en) Improved codebook searching techniques
KR20040028774A (ko) 음성 신호의 연속 피치 주기들의 부호화
Atal et al. Beyond multipulse and CELP towards high quality speech at 4 kb/s
JP3583945B2 (ja) 音声符号化方法
Akamine et al. CELP coding with an adaptive density pulse excitation model
JP2853170B2 (ja) 音声符号化復号化方式
KR100409167B1 (ko) 정보 신호를 부호화하는 방법 및 장치
JP3293709B2 (ja) 励振信号直交化音声符号化法
JP2946528B2 (ja) 音声符号化復号化方法及びその装置
JP3103108B2 (ja) 音声符号化装置
JP4228630B2 (ja) 音声符号化装置および音声符号化プログラム
JPH041800A (ja) 音声帯域信号符号化方法
Akamine et al. Efficient excitation model for low bit rate speech coding
CN1179226A (zh) 基于合成的分析的线性预测语音编码器
JPH0744194A (ja) 高能率符号化方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060106

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060227

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060718

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20060627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060803

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100818

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110818

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110818

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120818

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120818

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130818

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term