JP4309060B2 - 背景雑音の再生成を伴う音声符号化 - Google Patents

背景雑音の再生成を伴う音声符号化 Download PDF

Info

Publication number
JP4309060B2
JP4309060B2 JP2000570769A JP2000570769A JP4309060B2 JP 4309060 B2 JP4309060 B2 JP 4309060B2 JP 2000570769 A JP2000570769 A JP 2000570769A JP 2000570769 A JP2000570769 A JP 2000570769A JP 4309060 B2 JP4309060 B2 JP 4309060B2
Authority
JP
Japan
Prior art keywords
parameter
latest
signal
determiner
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000570769A
Other languages
English (en)
Other versions
JP2002525665A (ja
Inventor
インゲマール ヨハンソン,
ジョナス スヴェドベリ,
アンデルス ウヴリデン,
Original Assignee
テレフオンアクチーボラゲット エル エム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=22551052&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4309060(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by テレフオンアクチーボラゲット エル エム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エル エム エリクソン(パブル)
Publication of JP2002525665A publication Critical patent/JP2002525665A/ja
Application granted granted Critical
Publication of JP4309060B2 publication Critical patent/JP4309060B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012Comfort noise or silence coding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/083Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、広く音声の符号化に関し、より具体的には、音声符号化における背景雑音の再生成(reproduction of background noise)に関する。
【0002】
【従来の技術及び発明が解決しようとする課題】
符号励振型線形予測(CELP(Code Excited Linear Prediction))による音声符号器のような線形予測方式の音声符号器においては、到来する原音声信号をフレームと呼ばれるブロックに分割するのが通例である。典型的なフレームの長さは20ミリ秒又は160サンプルであり、かかるフレーム長は、例えば在来の電話通信帯域幅を使う移動電話等で利用され、一般的に用いられている。それらのフレームは一般にサブフレームへとさらに分割され、分割されたサブフレームは5ミリ秒又は40サンプルの長さを有するものとされる場合が多い。
【0003】
上記のような在来型の音声符号器においては、声道(vocal tract)、ピッチ及びその他の特徴を表すパラメータが音声符号化のプロセス中に原音声信号から抽出される。ゆっくり変動するパラメータは、フレーム単位を基準として計算される。そのゆっくり変動するパラメータの例としては、いわゆる短期予測変数(STP(short term predictor))の声道を表すパラメータが挙げられる。STPのパラメータは、線形予測型の音声符号器における合成フィルタのフィルタ係数を定める。より速く変動するパラメータ、例えば、ピッチや新たに導入する波形で新たに導入するゲインのパラメータ(innovation shape and innovation gain parameters)などは、サブフレーム毎に計算されるのが通例である。
【0004】
各パラメータが計算された後に、それらのパラメータの量子化が行われる。STPのパラメータは、線スペクトル周波数(LSF(line spectrum frequency))による表現等の、量子化により適した表現に変換される場合が多い。STPパラメータのLSF表現への変換は、音声符号化の分野ではよく知られている。
【0005】
各パラメータが量子化されると、誤り制御符号化と検査合計の情報が付加された後にパラメータの情報のインタリーブと変調がなされる。それからパラメータの情報が通信チャネルを通じて受信機へ送信され、その受信機において、音声復号器が上述した音声符号化の手順と基本的に逆の手順を実行し、原音声信号に極めて近い音声信号を合成する。音声復号器では、合成された音声信号に対して一般に後置フィルタが適用され、感知される信号の品質が高められる。
【0006】
CELPモデルのような線形予測型のモデルを利用する音声符号器は、一般的に音声の符号化に対して極めて綿密に適合したものとなっているので、かかる符号器では背景雑音のような非音声信号(non-speech signals)を合成ないし再生成する能力に乏しい場合が多い。例えば、量子化されたパラメータの情報がチャネル・エラーにより誤って伝達される場合のように、チャネル不良がある状況の下では、背景雑音の再生成がより一層劣化する。チャネルにノイズがない状況下であっても、受信機側の聴取者にとっては、背景雑音が揺動する不安定なノイズとして感知されることが多い。CELP符号器において、この問題の主な原因となっているのは、対象とする信号と合成される信号との劣悪な相関を組み合わせて合成による分析(analysis-by-synthesis)のループで伝統的に利用されている平均二乗誤差(MSE(mean squared error))による基準である。チャネル不良がある状況下では、背景雑音のレベルが甚だしく揺動することから、その問題は既述のようにさらに悪化する。このことは、背景雑音のレベルが極めてゆっくり変動することになるため、聴取者にとっては非常に不快に感じられる。
【0007】
チャネルにノイズがない状況とチャネルにノイズがある状況の双方において感知される背景雑音の品質を改良するための一解決策としては、符号化されようとしている信号が音声か非音声かどうかについて急峻な(例えばyes又はnoの)判断をする有音無音検出器(VADs(voice activity detectors))の利用を挙げることができる。その急峻な判断(the hard decision)に基づき、復号器において別々の処理手法を適用することができる。例えば、非音声であるとの判断がされた場合、その後の復号器は、信号を背景雑音とみなすことができると共に、その背景雑音におけるスペクトルの変動を滑らかにする処理を行うことができる。しかしながらこの急峻な判断による手法には、音声処理の動作と非音声処理の動作との間での復号器の切り替えが聴取者に聞こえてしまうという難点がある。
【0008】
前述の問題に加え、背景雑音の再生成は、低く設定されたビット伝送速度(例えば8kb/s以下)ではより一層品質が低下する。設定されたビット伝送速度が低くて劣悪なチャネル状況の下では、背景雑音は、復号化された背景雑音のレベルが不自然に変動することによって生じるフラッタ効果(fluttering effect)として聞こえることが多い。
【0009】
このようなことから、CELP復号器等のような線形予測型の音声復号器においては、聴取者に背景雑音が上述したように感知される好ましくない事態を回避しつつ、その背景雑音の再生成を実現することが望ましい。
【0010】
【課題を解決するための手段】
本発明は、改良された背景雑音の再生成を提供する。デコーダは、再構成されていく信号に対し、エネルギー曲線を滑らかにする作用(energy contour smoothing)の適用を徐々に(ないしは緩やかに)増大させたり減少させたりすることができるものとする。これにより、エネルギー曲線を滑らかにする処理動作の実行中/非実行中が感知される不都合を生じることなく、エネルギー曲線を滑らかにすることによって背景雑音の再生成における問題に対処することができる。
欧州特許出願 No.0,843,301 の公報では、断続的な送信モードで動作している移動端末機において快適音( comfort noise )を発生させる方法の概要が開示されている。送信側ではランダムな励振制御パラメータを演算し、かつ、それらを受信側で調整することとしている。これによれば、送信側では背景雑音に整合した的確な快適音が発生される。それらのパラメータは、他の快適音のパラメータに加えて、音声が休止している間に演算されるだけである。音声符号化の調子が悪いパラメータについては、もとのパラメータを中間のパラメータで置き換えることとしている。
米国特許第 No.4,630,305 号は、雑音抑圧システムのための自動ゲイン選別器の概要を開示している。その雑音抑圧システムでは、雑音が多い音声信号を受信して雑音を抑圧した音声信号を生成し、音声の品質を高めている。この処理はスペクトルのゲイン調整を利用して行われ、そのゲイン調整では、個々のチャネルのゲインをそれぞれチャネル番号、チャネルの最新SNR、背景雑音の総合的な平均等、いくつかのパラメータに従って選別している。
欧州特許出願 No.0,786,760 の公報では、復号器による快適音の発生の概要が説明されており、その復号器は、特定の信号区分の間における入力信号の自己相関値の重み付け平均を利用し、背景雑音の統計的なデータを推定するものとなっている。また、急に発生する音声の間に、快適音を徐々に導入する滑らかな移行形態が紹介されている。
WO 96/34382 の公報では、信号の最新部分が音声か雑音かを判断する方法の概要が開示されている。これは、最新部分を前の部分と比較することによって行わ れており、信号の最新部分が雑音か音声かどうかがいずれ判断されることになる。
音響、音声及び信号の処理に関するIEEE国際大会の1998年梗概集 ICASSP 98,vol.1,12-15 May 1998,pages 365-368,XP002085126,Seattle,WA,US にあるIEEE論文“雑音スペクトルの適応に基づく緩やかな判断を利用した有音無音検出器”(“ A voice activity detector employing soft decision based noise spectrum adaptation ”)では、可変速音声符号化に利用する有音無音検出器(VAD)の概要が開示されている。雑音の統計的なデータが事前に分かっていることとされるが、雑音スペクトルの適応アルゴリズムに基づく緩やかな判断によって雑音の統計的なデータを推定している。
【0011】
【発明の実施の形態】
一例である図1は、CELP復号器等のような在来の線形予測型音声復号器における関連部分の例を図によって表したものであり、この図1に示した例は本発明の理解に役立つ。図1に示した在来の復号器部分において、パラメータ決定器11は、音声符号器から(図示せぬ通常の通信チャネルを介して)複数のパラメータを表す情報を受信する。それらのパラメータは、復号器によって原音声信号にできるだけ近い信号を再構成するのに利用されるものである。パラメータ決定器11は、前記符号器からの情報により、それぞれの時点におけるサブフレームないしフレームについてのエネルギー・パラメータとその他のパラメータを決定する。図1においては、エネルギー・パラメータをEnPar(i)と表すと共に、その他のパラメータ(符号13で示されているもの)をOtherPar(i)と表してある。ここで、iは、それぞれの時点におけるサブフレーム(ないしフレーム)を表すサブフレーム・インデックス(ないしフレーム・インデックス)である。それぞれのパラメータは音声再構成器15へ入力され、音声再構成器15は、前記エネルギー・パラメータ及びその他のパラメータから原音声の近似音声と背景雑音とを合成ないし再構成する。
【0012】
従来からあるエネルギー・パラメータEnPar(i)の例としては、CELPモデルで使用されている在来の固定符号帳ゲイン(fixed codebook gain)、長期予測変数(long term predictor)のゲイン、及びフレームのエネルギーを表すパラメータが含まれる。従来からあるその他のパラメータOtherPar(i)の例としては、上述したSTPパラメータのLSF表現が含まれる。図1の音声再構成器15へ入力されるエネルギー・パラメータ及びその他のパラメータは、当業者にはよく知られているものである。
【0013】
図2は、本発明に基づく代表的なCELP復号器等の線形予測型音声復号器における関連部分の例を図によって表したものである。図2の復号器は、図1に示した在来型のパラメータ決定器11を有すると共に、音声再構成器25を有している。しかし、図2中のパラメータ決定器11から出力されるエネルギー・パラメータEnPar(i)は、エネルギー・パラメータ調整器21へ入力され、エネルギー・パラメータ調整器21が順次調整されたエネルギー・パラメータEnPar(i)modを出力する。それらの調整されたエネルギー・パラメータ(以下「調整済エネルギー・パラメータ」という。)は、パラメータ決定器11により生成されたエネルギー・パラメータEnPar(i)及びその他のパラメータOtherPar(i)と同時に音声再構成器25へ入力される。
【0014】
エネルギー・パラメータ調整器21は、パラメータ決定器11により出力されたその他のパラメータから制御入力23を受け、かつ、チャネル状況を表す制御入力も受ける。これらの制御入力に応じて、エネルギー・パラメータ調整器は、選択的にエネルギー・パラメータEnPar(i)を調整すると共に調整済エネルギー・パラメータEnPar(i)modを出力する。調整済エネルギー・パラメータは、図1に例示したような在来型の復号器における背景雑音の再生成に関して聴取者が感知する上述の不都合を生じさせない改良された背景雑音の再生成を実現する。
【0015】
本発明における手法の一例では、エネルギー・パラメータ調整器21が定常的な背景雑音のみのエネルギー曲線を滑らかにすることを試みる。定常的な背景雑音とは、走行中の自動車に乗りながら移動電話機を使用している場合に現れる背景雑音のように、本質的に一定な背景雑音のことである。手法の一例では、本発明は、短期合成フィルタ係数(STPのパラメータ)の最新のものと前のものを利用し、信号の定常性の程度を表す値(measure of the stationarity)を得る。それらのパラメータは、一般にチャネル・エラーに対する対策がよくなされている。最新の短期フィルタ係数と前の短期フィルタ係数を用いる定常性の程度を表す値の一例は、次の式によって与えられる。
【0016】
【数1】
Figure 0004309060
【0017】
上記数1において、lsfは、最新のサブフレームに係る短期フィルタ係数の線スペクトル周波数表現におけるj番目の線スペクトル周波数の係数を表す。また、数1において、lsfAverは、j番目の短期フィルタ係数の線スペクトル周波数表現の、フレームN個分前からの平均値を表す。ここで、Nは、例えば8に設定することとしてもよい。このような数1における右辺の総和記号が示す演算は、短期フィルタ係数を線スペクトル周波数で表現したもののそれぞれについて行う。一例としては、典型的な10個の短期フィルタ係数(10次の合成フィルタに対応するフィルタ係数)があれば、対応する線スペクトル周波数表現は10個になるので、jは、1から10までの線スペクトル周波数表現を標示することになる。この例では、各サブフレームにつき、10個の値(それぞれの短期フィルタ係数について一つの値)が数1によって演算されることになり、その後、それらの10個の値が合計されて当該各サブフレームについての定常性程度であるdiffが与えられることになる。
【0018】
短期フィルタ係数と対応する線スペクトル周波数表現が一フレーム毎に一度だけ更新される場合であっても、数1はサブフレーム単位で適用できることに留意されたい。在来型の復号器は、それぞれの線スペクトル周波数lsfの値をサブフレーム毎に内挿補間しているので、このようにすることは可能である。すなわち、在来型CELPの復号化処理においては、それぞれのサブフレームが内挿補間されてそれぞれに割り当てられたlsf値の組を有している。上述した例を用いる場合には、それぞれのサブフレームがそれぞれに割り当てられた10個の内挿補間lsf値を有する。
【0019】
数1におけるlsfAverの項は、lsf値のサブフレーム補間を表すことができる(ただし、lsf値のサブフレーム補間でなければならないわけではない。)。例えば、lsfAverの項は、直前のN個のフレームに対応するN個のlsf値の平均か、直前のN個のフレームの4N個のサブフレームに対応する(各フレームは、補間したlsf値を使用して求めた4つのサブフレームに対応する)、4N個のlsf値の平均を表すものとすることもできる。数1においては、サンプリング周波数の半分の周波数をπとすると、通常はlsfの範囲を0〜πとすることができる。
【0020】
数1におけるlsfAverの項を計算する一方法として他に採用し得るものとしては、次式が挙げられる。
【数2】
Figure 0004309060
【0021】
ここで、lsfAver(i)、lsfAver(i−1)の項は、それぞれ、i番目、i−1番目のフレームにおけるj番目のlsf表現(線スペクトル周波数表現)に対応する。また、lsf(i)は、i番目のフレームにおけるj番目のlsf表現である。i=1の場合に当たる第1番目のフレームについては、適切な(例えば経験的に定められる)初期値をlsfAver(i−1)(=lsfAver(0))の項として選択することができる。A1、A2の値の例としては、A1=0.84、A2=0.16が挙げられる。上記数2は、上述した代表的な8フレームの移動平均よりも計算が簡単なものとなっている。
【0022】
数1の定常性程度の他の形態としては、分母のlsfAverの項をlsfに置き換えることができる。
【0023】
数1の定常性程度diffは、最新のサブフレームについてのスペクトルが、それ以前の予め定めた個数のフレームに渡って平均化した平均スペクトルからどの程度相違しているかを表している。スペクトル形状における相違は、例えば話が盛り上がり始めた時や戸を激しく閉めた時などの、信号エネルギー中の激しい変化と非常に強い相関関係がある。ほとんどのタイプの背景雑音に対してdiffは非常に小さいが、有声の音声に対してはdiffはかなり大きくなる。
【0024】
背景雑音のように符号化が困難な信号については、正確な波形整合をするよりもむしろ滑らかなエネルギー曲線を確保する方がよい(正確な波形整合を実現するのは困難である。)。定常性程度diffは、エネルギー曲線を滑らかにする作用がどの程度必要かを判断するのに利用する。エネルギー曲線を滑らかにする作用は、その滑らかにする作用の処理動作が実行中か非実行中かを聞き取ることができるように感知されるのを回避するため、緩やかに導入しなければならず、また、復号器の処理から緩やかに消失させなければならない。そこで、混合係数kを定めるためにdiffが表す定常性程度を利用することとし、その混合係数kを定める式を一例として次のように与える。
【0025】
【数3】
Figure 0004309060
【0026】
ここで、KとKは、混合係数kが、有声の音声に対してはほぼ1に等しくなり(エネルギー曲線を滑らかにする作用が全く働かず)、かつ、定常的な背景雑音に対してはほぼゼロに等しくなる(エネルギー曲線を滑らかにする作用がすべて働く)ように、選定する。KとKについての適切な値は、例えば、K=0.40とK=0.25である。図6には、そのK=0.40かつK=0.25とした例について、定常性程度diffと混合係数kとの間の関係をグラフで例示してある。混合係数kは、diffが表す程度の他の任意の関数Fにより適宜k=F(diff)として式で表現することができる。
【0027】
図2のエネルギー・パラメータ調整器21もまた、前のサブフレームに係るエネルギー・パラメータを利用し、調整済エネルギー・パラメータEnPar(i)modを生成する。例えば、調整器21は、図2における受信された在来型のエネルギー・パラメータEnPar(i)を時間平均した値を計算することができる。その時間平均値は、例えば次式によって演算することができる。
【0028】
【数4】
Figure 0004309060
【0029】
ここで、bは、エネルギー・パラメータを重み付けして合計するのに利用される。例えば、bの値を1/Mに設定し、過去のM個のサブフレームからエネルギー・パラメータ値のそのままの平均演算を行うこととしてもよい。数4による平均演算は、サブフレーム単位で実行する必要がなく、また、M個のフレームに関して実行することもできる。平均演算の基礎原理は、平均化される(個々ないし複数の)エネルギー・パラメータと望まれる処理態様とに応じて決定する。
【0030】
数4を用いてエネルギー・パラメータの時間平均値であるEnPar(i)avgを演算した後に、混合係数kを利用して、受信されたエネルギー・パラメータ値EnPar(i)の使用と平均化されたエネルギー・パラメータ値EnPar(i)avgの使用との間を緩やかにないしは徐々に切り替える動作を制御する。混合係数kの適用を表す等式としては、一例として次式が挙げられる。
【0031】
【数5】
Figure 0004309060
【0032】
数5によれば、kの値が小さい時(定常的な背景雑音の時)には主に平均化されたエネルギー・パラメータが使用されてエネルギー曲線が滑らかにされることは明らかである。一方、kの値が大きい時には主に最新のパラメータが使用される。中間的なkの値に対しては、最新のパラメータと平均化されたパラメータを混合した値が計算されることになる。ただし、上記数4及び数5による処理は、要望される任意のエネルギー・パラメータ、要望される分の数のパラメータ及び要望される任意のエネルギー・パラメータの組合せに対しても適用することが可能である。
【0033】
さて、図2におけるエネルギー・パラメータ調整器21へ入力されるチャネル状況について見てみると、このようなチャネル状況の情報は、CELP復号器のような線形予測型の復号器では従来から取得可能なものであり、例えば、チャネル復号化情報やCRC検査合計の形で取得することができる情報である。例えば、CRC検査合計にエラーがない場合、そのことはチャネル状況がよいことを表すが、与えられたサブフレームのシーケンス内でCRC検査合計に過度のエラーがある場合、そのことは符号器と復号器との間における内部状態の不整合を表すことになり得る。結局のところ、与えられたフレームがCRC検査合計にエラーを有するものである場合、そのことは当該フレームが不良フレームであることを表す。
【0034】
上述したチャネル状況がよい場合においては、エネルギー・パラメータ調整器は、例えば、控え目のアプローチを採り、数4でMを4ないし5に設定することができる。符号器と復号器で内部状態不整合の虞がある上述の場合においては、図2のエネルギー・パラメータ調整器21は、例えば、数3におけるKの値を0.4から例えば0.55に増加させることにより、混合係数kを変更することができる。数5と図6から分かるように、Kの値を増加させると、より広範囲のdiffの値に対して混合係数kがゼロのまま維持される(滑らかにする作用が最大限適用される状態が維持される)ことになり、これによって数5における時間平均したエネルギー・パラメータの項EnPar(i)avgによる寄与が強められる。チャネル状況の情報が不良フレームを表す場合には、図2のエネルギー・パラメータ調整器21は、例えば、数3におけるKの値を増加させると共に、数4におけるMの値も増加させることとすることができる。
【0035】
図3は、図2のエネルギー・パラメータ調整器21を実現する一構成例を図示したものである。図3の実施形態では、最新のサブフレームに係るEnPar(i)とlsf(i)で示した最新のサブフレームに係るlsf値とが受信されてメモリ31に記憶される。定常性決定器33は、最新のlsf値と前のlsf値をメモリ31から得ると共に、上記数1を実行して定常性程度diffを決定する。その後、前記定常性決定器がdiffを混合係数決定器35へ供給し、混合係数決定器35は、上記数3を実行して混合係数kを決定する。その後、前記混合係数決定器は混合係数kを混合ロジック37へ供給する。
【0036】
エネルギー・パラメータ平均化器39は、EnPar(i)の最新の値と前の値をメモリ31から得ると共に、上記数4を実行する。その後、前記エネルギー・パラメータ平均化器がEnPar(i)avgを混合ロジック37へ供給し、混合ロジック37は、また最新のエネルギー・パラメータEnPar(i)も受ける。混合ロジック37は、上記数5を実行してEnPar(i)modを生成し、そのEnPar(i)modは、上述したようにパラメータEnPar(i)及びOtherPar(i)と同時に音声再構成器25へ入力される。混合係数決定器35とエネルギー・パラメータ平均化器39は、それぞれ、従来から取得可能なチャネル状況の情報を制御入力として受け、そして様々なチャネル状況に応じて上述したように適切な動作を実行することができる。
【0037】
図4は、図2及び図3に示した代表的な線形予測型復号器の装置構成による代表的な処理動作を例示した図である。41では、パラメータ決定器11が符号器からの情報から音声パラメータを決定する。その後、43で定常性決定器33が背景雑音の定常性程度を決定する。45では、混合係数決定器35が定常性程度とチャネル状況の情報とに基づいて混合係数kを決定する。47では、エネルギー・パラメータ平均化器39が時間平均したエネルギー・パラメータEnPar(i)avgを決定する。49では、混合ロジック37が、最新のエネルギー・パラメータEnPar(i)及び平均化されたエネルギー・パラメータEnPar(i)avgに対して混合係数kを適用し、調整済エネルギー・パラメータEnPar(i)modを決定する(これらのエネルギー・パラメータEnPar(i)、平均化されたエネルギー・パラメータEnPar(i)avg及び調整済エネルギー・パラメータEnPar(i)modは、それぞれが1つずつである場合とそれぞれが2つ以上ある場合とがある。)。40では、調整済エネルギー・パラメータEnPar(i)modがパラメータEnPar(i)及びOtherPar(i)と同時に音声再構成器へ供給され、これらのパラメータから背景雑音を含んだ原音声の近似信号が再構成される。
【0038】
図7は、図2及び図3における音声再構成器25の一部を実現する一構成例を示したものである。図7は、エネルギー・パラメータを伴う従来からの計算方式でパラメータEnPar(i)及びEnPar(i)modがどのように音声再構成器25によって使用されるかを例示している。再構成器25は、復号器の何等かの内部状態に影響を与える従来からのエネルギー・パラメータ計算に、パラメータEnPar(i)を使用する。ここにいう復号器の何等かの内部状態とは、好ましくは符号器の対応する内部状態(例えばピッチの履歴)と整合すべきものである。再構成器25は、それ以外のすべての従来からのエネルギー・パラメータ計算に、調整されたパラメータEnPar(i)modを使用する。これに対し、図1における在来型の再構成器15は、図7中に示した従来からのエネルギー・パラメータ計算のすべてにパラメータEnPar(i)を使用する。パラメータOtherPar(i)(図2及び図3)については、在来型の再構成器15で従来から使用されていたのと同じ方式によって再構成器25で使用することができる。
【0039】
図5は、本発明に基づく通信システムの一例を示したブロック図である。図5において、本発明に基づく復号器52は、送受信機(XCVR)53内に設けられており、この送受信機53は、送受信機54と通信チャネル55を介して通信を行う。復号器52は、送受信機54内の符号器56からチャネル55を介してパラメータの情報を受信すると共に、再構成した音声及び背景雑音を送受信機53の所に居る聴取者へ提供する。一例としては、図5の送受信機53及び54が移動電話機であり、かつ、チャネル55が移動電話通信網を介する通信回線である場合を挙げることができる。本発明による音声復号器52には他にも多数の適用例があり、それらの適用例は容易に理解できる。
【0040】
本発明に基づく音声復号器は、例えば、適宜プログラムされたデジタル信号処理装置(DSP(digital signal processor))又は他のデータ処理装置を利用して容易に実現することができ、これらのデジタル信号処理装置又はデータ処理装置を単独で利用しても外部支援ロジック(external support logic)と組み合わせて利用しても容易に実現することができる。このように本発明に基づく音声復号器が実現できることは、当業者にとっては明らかである。
【0041】
本発明に基づく上述した音声の復号化によれば、エラーのない状況と不良チャネルの状況の双方において、背景雑音を再生成する能力が向上し、さらに音声の性能を許容できないように劣化させることもない。本発明における混合係数は、エネルギーを滑らかにする処理動作を滑らかに実行状態とし、あるいは、滑らかに非実行状態とするので、エネルギーを滑らかにする処理動作が実行中/非実行中となることにより、再生成される音声信号中に感知され得る劣化が生じることはない。また、エネルギーを滑らかにする処理動作で利用される以前のパラメータの情報量が比較的少ないので、再生成される音声信号の品質を低下させる虞を生じることはほとんどない。
【0042】
以上、本発明の代表的な実施形態について詳細に説明したが、これは本発明の範囲を限定するものではなく、本発明は、多種多様な形態で実施することができる。
【図面の簡単な説明】
【図1】 在来の線形予測型音声復号器における関連部分の例を示した図である。
【図2】 本発明に基づく線形予測型音声復号器における関連部分の例を示した図である。
【図3】 図2における調整器の例をより詳細に示した図である。
【図4】 図2及び図3の音声復号器によって実行することができる代表的な処理動作をフローチャートの形式で例示した図である。
【図5】 本発明に基づく通信システムの例を示した図である。
【図6】 本発明に基づく混合係数と定常性程度との間の関係をグラフで例示した図である。
【図7】 図2及び図3における音声再構成器の一部分の例をより詳細に示した図である。
【符号の説明】
11 パラメータ決定器
21 エネルギー・パラメータ調整器
25 音声再構成器
31 メモリ
33 定常性決定器
35 混合係数決定器
37 混合ロジック
39 エネルギー・パラメータ平均化器
52 復号器
53、54 送受信機
55 通信チャネル
56 符号器

Claims (23)

  1. 原音声信号についての符号化された情報から前記原音声信号の近似信号を生成する方法であって、
    前記原音声信号の最新の信号区分に係る複数の最新のパラメータを前記符号化された情報から決定する段階(11、41)と、
    前記複数の最新のパラメータのうちの少なくとも一つについて、その最新のパラメータと前記原音声信号の以前の各信号区分に係る以前の対応パラメータとを用いて調整されたパラメータを生成する段階(21)と、
    その調整されたパラメータを用いて前記原音声信号の前記最新の信号区分の近似信号を生成する段階(25)とを有し、
    前記最新のパラメータと前記以前の対応パラメータとを用いる前記段階は、
    前記原音声信号の前記最新の信号区分に係る雑音成分の定常性特性を表す定常性程度(33、43)を決定する段階と、
    前記調整されたパラメータの生成における、前記最新のパラメータに対する相対的な前記以前の対応パラメータの重要性を表す混合係数(35、45)を、前記定常性程度の関数として決定する段階とを含むことを特徴とする方法。
  2. 前記最新のパラメータが前記原音声信号の前記最新の信号区分における信号のエネルギーを表すパラメータである請求項1記載の方法。
  3. 請求項2記載の方法において、前記最新のパラメータと前記以前の対応パラメータとを用いる段階は、
    前記以前の対応パラメータを平均化処理(39、47)に用いて平均化パラメータを生成する段階と、前記平均化パラメータを前記最新のパラメータと共に用いて前記調整されたパラメータを生成する段階とを含む方法。
  4. 請求項1記載の方法において、定常性程度を決定する前記段階は、
    前記複数の最新のパラメータのうちの、前記調整されたパラメータの生成に関連する前記最新のパラメータとは別の少なくとも1つの最新のパラメータと、該別の最新のパラメータについての前記原音声信号の以前の各信号区分に係る以前の対応パラメータとを用いて前記定常性程度を決定する段階を含む、方法。
  5. 請求項4記載の方法において、前記別の最新のパラメータと該別の最新のパラメータについての以前の対応パラメータとを用いる前記段階は、
    その以前の対応パラメータに平均化処理を適用して、前記調整されたパラメータの生成に関連する前記平均化パラメータとは別の平均化パラメータを生成する段階と、該別の平均化パラメータを前記別の最新のパラメータと共に用いて前記定常性程度を決定する段階とを含む、方法。
  6. 前記別の最新のパラメータが前記原音声信号の近似信号生成において利用される合成フィルタのフィルタ係数である請求項4記載の方法。
  7. 請求項3記載の方法において、前記最新のパラメータと前記平均化パラメータとを用いる前記段階は、
    前記混合係数(35)から前記最新のパラメータと前記平均化パラメータのそれぞれに係るさらなる係数を決定する段階と、そのそれぞれのさらなる係数を前記最新のパラメータと前記平均化パラメータに乗じる段階とを含む方法。
  8. 請求項3記載の方法において、前記以前の対応パラメータを平均化処理に用いる前記段階は、その平均化処理を、前記符号化された情報の供給に利用されている通信チャネルの状況に応じて、選択的に変更する段階を含む方法。
  9. 請求項1記載の方法において、混合係数を決定する前記段階は、その混合係数を、前記符号化された情報の供給に利用されている通信チャネルの状況に応じて、選択的に変更する段階を含む方法。
  10. 前記最新のパラメータが符号励振型線形予測の音声復号化処理を実行するのに利用される固定符号帳ゲインである請求項2記載の方法。
  11. 原音声信号の近似信号を生成するための符号化された情報を受信する入力と、
    前記近似信号を出力する出力と、
    前記入力と接続され、前記原音声信号の最新の信号区分の近似信号生成において用いる複数の最新のパラメータを前記符号化された情報から決定するパラメータ決定器(11)と、
    前記パラメータ決定器と前記出力との間に接続され、前記原音声信号の前記近似信号を生成する再構成器(25)と、
    前記パラメータ決定器と前記再構成器との間に接続され、前記複数の最新のパラメータのうちの少なくとも一つと前記原音声信号の以前の各信号区分に係る以前の対応パラメータとを用いて調整されたパラメータを生成し、さらに、前記原音声信号の前記最新の信号区分の前記近似信号の生成で使用するために前記調整されたパラメータを前記再構成器へ供給する調整器(21)とを有して構成され、
    前記調整器(21)は、前記パラメータ決定器と前記再構成器との間に接続され、前記原音声信号の前記最新の信号区分に係る雑音成分の定常性特性を表す定常性程度を決定する定常性決定器(33)と、
    前記定常性決定器と前記再構成器との間に接続され、前記調整されたパラメータの生成における、前記最新のパラメータに対する相対的な前記以前の対応パラメータの重要性を表す混合係数を、前記定常性程度の関数として決定する混合係数決定器(35)とを有することを特徴とする音声復号装置。
  12. 前記最新のパラメータが前記原音声信号の前記最新の信号区分における信号のエネルギーを表すパラメータである請求項11記載の装置。
  13. 請求項12記載の装置において、前記調整器は、前記以前の対応パラメータを平均化処理に用いて平均化パラメータを生成する平均化器(39)を有し、前記平均化パラメータを前記最新のパラメータと共に用いて前記調整されたパラメータを生成することができる装置。
  14. 請求項11記載の装置において、前記定常性決定器は、前記複数の最新のパラメータのうちの、前記調整されたパラメータの生成に関連する前記最新のパラメータとは別の少なくとも1つの最新のパラメータと、該別の最新のパラメータについての前記原音声信号の以前の各信号区分に係る以前の対応パラメータとを用いて、前記定常性程度を決定することができる、装置。
  15. 請求項14記載の装置において、
    前記定常性決定器は、さらに、前記少なくとも1つの別の最新のパラメータに対応する前記以前の対応パラメータに平均化処理を適用して、前記調整されたパラメータの生成に関連する前記平均化パラメータとは別の平均化パラメータを生成することができ、かつ、該別の平均化パラメータを前記別の最新のパラメータと共に用いて前記定常性程度を決定することができる、装置。
  16. 前記別の最新のパラメータが前記原音声信号の前記近似信号生成において前記再構成器で実現される合成フィルタのフィルタ係数である請求項14記載の装置。
  17. 請求項13記載の装置において、
    前記調整器は、前記混合係数決定器(35)と前記再構成器(25)との間に接続された混合ロジック(37)を有し、
    前記混合ロジックは、前記混合係数から前記最新のパラメータと前記平均化パラメータのそれぞれに係るさらなる係数を決定すると共に、そのそれぞれのさらなる係数を前記最新のパラメータと前記平均化パラメータに乗じてそれぞれの積を生成し、さらに、それらの積に応じて前記調整されたパラメータを生成することができる装置。
  18. 請求項13記載の装置において、前記平均化器(39)は、前記符号化された情報が供給されるチャネルの状況を表す情報を受信する入力を有し、その入力への情報に応じて前記平均化処理を選択的に変更する装置。
  19. 請求項11記載の装置において、前記混合係数決定器は、前記符号化された情報が供給されるチャネルの状況を表す情報を受信する入力を有し、その入力への情報に応じて前記混合係数を選択的に変更する装置。
  20. 前記最新のパラメータが符号励振型線形予測の音声復号化処理に利用される固定符号帳ゲインである請求項12記載の装置。
  21. 符号励振型線形予測音声復号器を有する請求項11記載の音声復号装置。
  22. 通信システムにおいて利用するための送受信機の装置であって、
    送信機から通信チャネル(55)を介して情報を受信する入力と、
    前記送受信機の利用者へ出力を供給する出力と、
    前記送受信機の入力と接続された入力と前記送受信機の出力と接続された出力とを有する音声復号装置(52)とを有し、
    前記音声復号装置の前記入力は、原音声信号の近似信号を生成するための符号化された情報を前記送受信機の入力から受信し、
    前記音声復号装置の前記出力は、前記近似信号を前記送受信機の出力へ供給し、
    さらに前記音声復号装置(52)は、前記音声復号装置の前記入力と接続されたパラメータ決定器(11)と、前記パラメータ決定器と前記音声復号装置の前記出力との間に接続された再構成器(25)と、前記パラメータ決定器と前記再構成器との間に接続された調整器(21)とを有し、
    前記パラメータ決定器は、前記原音声信号の最新の信号区分の近似信号生成に用いる複数の最新のパラメータを前記符号化された情報から決定し、
    前記再構成器は、前記原音声信号の前記近似信号を生成し、
    前記調整器は、前記複数の最新のパラメータのうちの少なくとも一つと前記原音声信号の以前の各信号区分に係る以前の対応パラメータとを用いて調整されたパラメータを生成し、さらに、前記原音声信号の前記最新の信号区分の前記近似信号の生成で用いるために前記調整されたパラメータを前記再構成器へ供給し、
    前記調整器(21)は、前記パラメータ決定器と前記再構成器との間に接続され、前記原音声信号の前記最新の信号区分に係る雑音成分の定常性特性を表す定常性程度を決定する定常性決定器(33)と、
    前記定常性決定器と前記再構成器との間に接続され、前記調整されたパラメータの生成における、前記最新のパラメータに対する相対的な前記以前の対応パラメータの重要性を表す混合係数を、前記定常性程度の関数として決定する混合係数決定器(35)とを有することを特徴とする送受信機の装置。
  23. 前記送受信機の装置が移動電話機の一部を構成する請求項22記載の装置。
JP2000570769A 1998-09-16 1999-09-10 背景雑音の再生成を伴う音声符号化 Expired - Lifetime JP4309060B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/154,361 1998-09-16
US09/154,361 US6275798B1 (en) 1998-09-16 1998-09-16 Speech coding with improved background noise reproduction
PCT/SE1999/001582 WO2000016313A1 (en) 1998-09-16 1999-09-10 Speech coding with background noise reproduction

Publications (2)

Publication Number Publication Date
JP2002525665A JP2002525665A (ja) 2002-08-13
JP4309060B2 true JP4309060B2 (ja) 2009-08-05

Family

ID=22551052

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000570769A Expired - Lifetime JP4309060B2 (ja) 1998-09-16 1999-09-10 背景雑音の再生成を伴う音声符号化

Country Status (15)

Country Link
US (1) US6275798B1 (ja)
EP (2) EP1112568B1 (ja)
JP (1) JP4309060B2 (ja)
KR (1) KR100688069B1 (ja)
CN (1) CN1244090C (ja)
AU (1) AU6377499A (ja)
BR (1) BR9913754A (ja)
CA (1) CA2340160C (ja)
DE (2) DE69935233T2 (ja)
HK (1) HK1117629A1 (ja)
MY (1) MY126550A (ja)
RU (1) RU2001110168A (ja)
TW (1) TW454167B (ja)
WO (1) WO2000016313A1 (ja)
ZA (1) ZA200101222B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453285B1 (en) * 1998-08-21 2002-09-17 Polycom, Inc. Speech activity detector for use in noise reduction system, and methods therefor
JP2000172283A (ja) * 1998-12-01 2000-06-23 Nec Corp 有音検出方式及び方法
JP3451998B2 (ja) * 1999-05-31 2003-09-29 日本電気株式会社 無音声符号化を含む音声符号化・復号装置、復号化方法及びプログラムを記録した記録媒体
JP4464707B2 (ja) * 2004-02-24 2010-05-19 パナソニック株式会社 通信装置
US8566086B2 (en) * 2005-06-28 2013-10-22 Qnx Software Systems Limited System for adaptive enhancement of speech signals
US8457953B2 (en) 2007-03-05 2013-06-04 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for smoothing of stationary background noise
WO2008108721A1 (en) 2007-03-05 2008-09-12 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for controlling smoothing of stationary background noise
CN101320563B (zh) * 2007-06-05 2012-06-27 华为技术有限公司 一种背景噪声编码/解码装置、方法和通信设备
PT2491559E (pt) * 2009-10-19 2015-05-07 Ericsson Telefon Ab L M Método e estimador de fundo para a detecção de actividade de voz
JP5840075B2 (ja) * 2012-06-01 2016-01-06 日本電信電話株式会社 音声波形データベース生成装置、方法、プログラム
DE102017207943A1 (de) * 2017-05-11 2018-11-15 Robert Bosch Gmbh Signalbearbeitungsvorrichtung für ein insbesondere in ein Batteriesystem einsetzbares Kommunikationssystem

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4630305A (en) * 1985-07-01 1986-12-16 Motorola, Inc. Automatic gain selector for a noise suppression system
US4969192A (en) 1987-04-06 1990-11-06 Voicecraft, Inc. Vector adaptive predictive coder for speech and audio
IL84948A0 (en) * 1987-12-25 1988-06-30 D S P Group Israel Ltd Noise reduction system
US5179626A (en) * 1988-04-08 1993-01-12 At&T Bell Laboratories Harmonic speech coding arrangement where a set of parameters for a continuous magnitude spectrum is determined by a speech analyzer and the parameters are used by a synthesizer to determine a spectrum which is used to determine senusoids for synthesis
US5008941A (en) * 1989-03-31 1991-04-16 Kurzweil Applied Intelligence, Inc. Method and apparatus for automatically updating estimates of undesirable components of the speech signal in a speech recognition system
US5148489A (en) * 1990-02-28 1992-09-15 Sri International Method for spectral estimation to improve noise robustness for speech recognition
US5233660A (en) * 1991-09-10 1993-08-03 At&T Bell Laboratories Method and apparatus for low-delay celp speech coding and decoding
US5615298A (en) * 1994-03-14 1997-03-25 Lucent Technologies Inc. Excitation signal synthesis during frame erasure or packet loss
US5991725A (en) * 1995-03-07 1999-11-23 Advanced Micro Devices, Inc. System and method for enhanced speech quality in voice storage and retrieval systems
GB2317084B (en) 1995-04-28 2000-01-19 Northern Telecom Ltd Methods and apparatus for distinguishing speech intervals from noise intervals in audio signals
US5794199A (en) 1996-01-29 1998-08-11 Texas Instruments Incorporated Method and system for improved discontinuous speech transmission
US5960389A (en) 1996-11-15 1999-09-28 Nokia Mobile Phones Limited Methods for generating comfort noise during discontinuous transmission

Also Published As

Publication number Publication date
RU2001110168A (ru) 2003-03-10
US6275798B1 (en) 2001-08-14
WO2000016313A1 (en) 2000-03-23
DE69935233D1 (de) 2007-04-05
CN1244090C (zh) 2006-03-01
BR9913754A (pt) 2001-06-12
DE69942288D1 (de) 2010-06-02
HK1117629A1 (en) 2009-01-16
EP1879176A2 (en) 2008-01-16
EP1879176A3 (en) 2008-09-10
EP1112568A1 (en) 2001-07-04
EP1879176B1 (en) 2010-04-21
MY126550A (en) 2006-10-31
CA2340160A1 (en) 2000-03-23
EP1112568B1 (en) 2007-02-21
AU6377499A (en) 2000-04-03
TW454167B (en) 2001-09-11
ZA200101222B (en) 2001-08-16
CN1318187A (zh) 2001-10-17
JP2002525665A (ja) 2002-08-13
KR100688069B1 (ko) 2007-02-28
KR20010090438A (ko) 2001-10-18
DE69935233T2 (de) 2007-10-31
CA2340160C (en) 2010-11-30

Similar Documents

Publication Publication Date Title
JP3842821B2 (ja) 通信システムにおいて雑音を抑圧する方法および装置
JP4659216B2 (ja) 忠実度改善のためのコンフォートノイズ変動特性に基づく音声符号化
RU2469419C2 (ru) Способ и устройство для управления сглаживанием стационарного фонового шума
RU2325707C2 (ru) Способ и устройство для эффективного маскирования стертых кадров в речевых кодеках на основе линейного предсказания
US5933803A (en) Speech encoding at variable bit rate
EP1088205B1 (en) Improved lost frame recovery techniques for parametric, lpc-based speech coding systems
US20050137864A1 (en) Audio enhancement in coded domain
JP6335190B2 (ja) 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加
JP4438127B2 (ja) 音声符号化装置及び方法、音声復号装置及び方法、並びに記録媒体
US20120288109A1 (en) Apparatus and method for noise generation
KR101462293B1 (ko) 고정된 배경 잡음의 평활화를 위한 방법 및 장치
JP4309060B2 (ja) 背景雑音の再生成を伴う音声符号化
US6424942B1 (en) Methods and arrangements in a telecommunications system
US20100106490A1 (en) Method and Speech Encoder with Length Adjustment of DTX Hangover Period
JP2007525723A (ja) 音声通信のためのコンフォートノイズ生成の方法
JP6626123B2 (ja) オーディオ信号を符号化するためのオーディオエンコーダー及び方法
JPH1083199A (ja) 量子化装置及び方法
EP1544848A2 (en) Audio enhancement in coded domain
JP4034929B2 (ja) 音声符号化装置
CN100369108C (zh) 编码域中的音频增强的方法和设备
MXPA01002332A (en) Speech coding with background noise reproduction
JPH09146598A (ja) 音声符号化における雑音抑圧方法
JPH05307400A (ja) 音声伝送方式

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081014

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090108

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090421

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090507

R150 Certificate of patent or registration of utility model

Ref document number: 4309060

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140515

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term